AIGC動態歡迎閱讀

原標題：理想汽車最新成果：基于MLLM的閉環規劃智能體PlanAgent | 講座預告
關鍵字：場景,模塊,猩猩,論文,任務
文章來源：算法邦
內容字數：0字

內容摘要：

「自動駕駛新青年講座」由智猩猩企劃，致力于邀請全球知名高校、頂尖研究機構以及優秀企業的新青年，主講在環境感知、精準定位、決策規劃、控制執行等自動駕駛關鍵技術上的最新研究成果和開發實踐。在自動駕駛領域里，針對3D場景的正確理解是非常重要的。目前對于室內場景采用3D密集字幕生成取得了很好的進展，在室外場景中卻存在很大的局限性，不僅因為室內、外場景之間存在域差距，還因為當前缺乏針對室外場景的具有全面框-字幕對標注的數據。
基于當前問題，理想汽車聯合中科院自動化所等研究人員提出一種室外3D密集描述任務TOD3Cap。該任務輸入為LiDAR點云和全景相機組拍攝的一組RGB圖像，期望輸出為一組帶字幕的物體框。與TOD3Cap相關的論文收錄于ECCV 2024上.為了解決這一任務，該團隊提出了TOD3Cap網絡，利用BEV表示生成物體框提議，集成了Relation Q-Former和LLaMA-Adapter生成這些物體的豐富字幕。同時，還引入了TOD3Cap數據集，這是目前用于室外場景中3D密集字幕的最大的數據集，包含850個場景中64.3K個室外物體的2.3M個描述。軌跡規劃是自動駕駛的核心模塊

原文鏈接：理想汽車最新成果：基于MLLM的閉環規劃智能體PlanAgent | 講座預告

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。