上海AI Lab與中國科大聯培博士生朱皓怡主講預告

原標題：邁向空間感知：從3D視覺到具身智能 | 上海AI Lab與中國科大聯培博士生朱皓怡主講預告
文章來源：智猩猩GenAI
內容字數：3201字

上海AI Lab博士生朱皓怡：邁向空間感知，從3D視覺到具身智能

本文總結了上海AI Lab與中國科學技術大培博士生朱皓怡及其團隊在具身智能領域取得的三項重要研究成果，以及其即將在“智猩猩具身智能前沿講座”第18講中分享的內容概要。

1. 研究背景：提升具身智能的泛化能力

在復雜3D環境中提升智能體的泛化能力和實現高效學習是具身智能領域的一大挑戰。朱皓怡博士及其團隊的研究致力于解決這一問題，通過一系列研究成果，從3D視覺基礎模型到空間感知，逐步推進具身智能的發展。

2. 三項核心研究成果

1. PonderV2：用于3D視覺的通用預訓練范式

PonderV2是一個通用的3D視覺點云預訓練框架，它以神經渲染作為代理任務，能夠深度理解和感知三維真實世界。其核心優勢在于：統一的預訓練方式；同時支持室內外場景3D任務；靈活支持多種輸入模態；同時支持高層級語義和底層重建下游任務。在11項室內外基準測試中，PonderV2超越了SOTA性能，相關論文已收錄于TPAMI 2025。

2. Point Cloud Matters：點云數據對機器人學習和泛化能力的重要性

該研究通過OBSBench基準測試框架，系統性地評估了RGB、RGB-D和點云三種主流觀測空間在機器人學習任務中的表現。研究結果表明，基于點云的方法在17個接觸豐富操作任務中性能優于RGB和RGB-D方法，并有助于提升零樣本泛化能力。相關論文已收錄于NeurIPS 2024。

3. SPA：提升機器人3D空間感知能力的表征學習框架

SPA是一個全新的3D空間感知表征學習框架，它利用大規模多視角圖像進行可微分神經渲染，增強了傳統視覺變換器（ViT）的內在空間理解能力。在涵蓋268個任務、8個模擬器和多種策略的最全面的具身表征學習評估中，SPA在多項任務中均優于10種現有的最先進表征方法，且所需訓練數據更少。真實世界實驗驗證了SPA的有效性。

3. “智猩猩具身智能前沿講座”第18講內容概要

在12月27日晚7點的講座中，朱皓怡博士將圍繞“邁向空間感知：從3D視覺到具身智能”這一主題，詳細講解空間感知對于具身智能的重要性，并深入介紹PonderV2、Point Cloud Matters和SPA這三項研究成果，最后進行總結和展望。

4. 講者簡介

朱皓怡博士是上海AI Lab與中國科學技術大培博士生，師從王曉剛教授、歐陽萬里教授和賀通教授，本科畢業于上海交通大學人工智能班。她的研究方向包括具身智能、機器人操作和三維視覺，致力于探索人工智能在復雜環境中的學習能力及其在機器人領域的應用。她曾在NeurIPS、TPAMI等頂級會議和期刊上發表多篇高影響力論文，其中MineDojo獲NeurIPS 2022杰出論文獎。

總而言之，朱皓怡博士及其團隊的研究為提升具身智能的泛化能力和學習效率提供了新的思路和方法，其研究成果對推動具身智能領域的發展具有重要意義。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，深入關注大模型與AI智能體，及時搜羅生成式AI技術產品。