新加坡國立大學計算機學院博士生王子涵主講~

原標題：CVPR具身智能視覺語言導航RxR競賽冠軍方案一作開講！主講具身導航中的三維場景理解 | 講座預告
文章來源：智猩猩GenAI
內容字數：4041字

具身導航中的三維場景理解

具身智能體的視覺導航能力是實現智能體在復雜環境中自主行動的重要基礎。近年來，基于開放域語言指令的視覺語言導航任務逐漸成為研究的熱點，因其在實際應用中的挑戰性和價值巨大。本文將重點介紹相關研究成果，尤其是在三維環境表征和理解方面的進展。

1. 具身導航的核心難點與基礎方法介紹

具身導航面臨諸多挑戰，包括理解單個物體、物體間關系以及空間布局。這要求智能體能夠實時更新環境表征，并與語言指令進行有效對齊。傳統方法如低噪聲點云的3D Visual Grounding在復雜環境中效果有限，因此需要創新的解決方案。

2. 動態構建地圖表征方法GridMM

中科院計算所與新加坡國立大學的研究團隊提出了GridMM，這是一種動態構建與語言指令細粒度對齊的網格記憶地圖。GridMM通過將智能體觀察到的視覺特征映射到俯視角網格地圖，并在每個網格區域內與導航指令進行語義關聯，從而實現環境表征的實時更新。該方法在ICCV 2023上獲得認可，并成為CVPR 2023 Embodied AI視覺語言導航RxR競賽的冠軍方案。

3. 基于特征場的導航前瞻探索策略HNR

另一項重要進展是HNR（Lookahead Exploration with Neural Radiance Representation），這是第一個可用于視覺語言導航的可泛化特征場。HNR通過將歷史觀察的視覺特征映射到三維空間，并利用體積渲染解碼與CLIP語義空間對齊的新視角表征，顯著提高了智能體的導航規劃能力。相關成果在CVPR 2024 Highlight中得到展示。

4. 視覺語言導航的Sim-to-Real部署

面對現實環境中機器人僅配備單目相機的挑戰，VLN-3DFF提出了一種新的Sim-to-Real方案，該方案通過3D特征場構建高性能的單目視覺語言導航模型。該模型能夠通過語義地圖預測全景范圍的可導航候選點，成功率提升超過6%。相關論文將在CoRL 2024中發表。

5. 利用3D語言數據訓練層次化特征場提升機器人導航能力

3D-LF是一個重要的研究成果，它通過大規模3D-Language數據訓練層次化特征場，實現了對物體、關系和環境布局的多層級語義表征。這項研究不僅提升了視覺語言導航的性能，也驗證了3D語言特征場在具身任務中的應用價值。

綜上所述，具身導航領域的研究進展為智能體的自主導航能力提供了新的方法和思路，尤其是在三維環境的理解和表征方面。未來的研究將繼續探索如何將這些技術有效應用于真實世界的場景中，以推動具身智能的實際應用。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下矩陣賬號之一，聚焦大模型開啟的通用人工智能浪潮。