iDP3是一項(xiàng)由斯坦福大學(xué)與多所高校共同開(kāi)發(fā)的先進(jìn)3D視覺(jué)策略，旨在提升人形機(jī)器人在各種環(huán)境中的自主操作能力。與傳統(tǒng)的3D策略相比，iDP3采用自我中心的3D視覺(jué)表征，避免了對(duì)精確相機(jī)校準(zhǔn)和點(diǎn)云分割的依賴(lài)，從而使機(jī)器人能夠在真實(shí)世界中更加靈活地執(zhí)行任務(wù)。

iDP3是什么

iDP3（Improved 3D Diffusion Policy）是一種改進(jìn)型的3D視覺(jué)策略，旨在增強(qiáng)人形機(jī)器人在多樣化環(huán)境中的自主能力。該策略利用自我中心的3D視覺(jué)表征，省去了對(duì)相機(jī)校準(zhǔn)和點(diǎn)云分割的要求，使機(jī)器人能夠在現(xiàn)實(shí)世界中自如地進(jìn)行操作。iDP3在視角變化、新對(duì)象識(shí)別以及適應(yīng)新場(chǎng)景方面表現(xiàn)出顯著的泛化能力，極大地提升了人形機(jī)器人在未知環(huán)境中的實(shí)用性和靈活性。

iDP3的主要功能

• 自我中心3D視覺(jué)表征：通過(guò)自我中心的3D視覺(jué)表征，直接在相機(jī)幀內(nèi)處理3D數(shù)據(jù)，消除了對(duì)相機(jī)校準(zhǔn)和點(diǎn)云分割的需求。
• 泛化能力：
  • 視圖泛化：即使視角發(fā)生重大變化，依然能夠準(zhǔn)確抓取物體，不受訓(xùn)練時(shí)特定視角的限制。
  • 對(duì)象泛化：能夠處理在訓(xùn)練中未見(jiàn)過(guò)的物體，得益于3D表征的應(yīng)用，減少對(duì)特定對(duì)象特征的依賴(lài)。
  • 場(chǎng)景泛化：能在未曾見(jiàn)過(guò)的環(huán)境中執(zhí)行任務(wù)，即使這些環(huán)境在復(fù)雜性和噪聲水平上與訓(xùn)練環(huán)境有所不同。
• 高效率：在訓(xùn)練和部署過(guò)程中表現(xiàn)出高效性，減少對(duì)龐大數(shù)據(jù)集的依賴(lài)，快速適應(yīng)新環(huán)境。

iDP3的技術(shù)原理

• 3D視覺(jué)輸入：基于LiDAR相機(jī)獲取的3D點(diǎn)云數(shù)據(jù)，提供機(jī)器人周?chē)h(huán)境的詳細(xì)空間信息。
• 自我中心視角：與傳統(tǒng)的3D策略不同，iDP3采用自我中心視角，直接利用相機(jī)幀中的3D表示。
• 擴(kuò)大視覺(jué)輸入：通過(guò)增加采樣點(diǎn)的數(shù)量以捕捉整個(gè)場(chǎng)景，提高對(duì)場(chǎng)景的全面理解。
• 改進(jìn)的視覺(jué)編碼器：采用金字塔卷積編碼器替代傳統(tǒng)的多層感知器（MLP）視覺(jué)編碼器，提升從人類(lèi)示范中學(xué)習(xí)時(shí)的平滑性和準(zhǔn)確性。
• 更長(zhǎng)的預(yù)測(cè)視野：延長(zhǎng)預(yù)測(cè)視野，以應(yīng)對(duì)人類(lèi)專(zhuān)家的抖動(dòng)和傳感器噪聲，提升學(xué)習(xí)效果。
• 優(yōu)化和推理：在訓(xùn)練中使用AdamW優(yōu)化器，并通過(guò)DDIM（Denoising Diffusion Implicit Models）優(yōu)化和推理擴(kuò)散過(guò)程。

iDP3的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：humanoid-manipulation.github.io
• GitHub倉(cāng)庫(kù)：https://github.com/YanjieZe/Improved-3D-Diffusion-Policy
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.10803

iDP3的應(yīng)用場(chǎng)景

• 家庭自動(dòng)化：人形機(jī)器人在家庭環(huán)境中執(zhí)行清潔和整理任務(wù)。
• 工業(yè)自動(dòng)化：人形機(jī)器人在生產(chǎn)線(xiàn)上進(jìn)行精細(xì)的裝配工作。
• 醫(yī)療輔助：人形機(jī)器人在醫(yī)院中協(xié)助護(hù)理，幫助移動(dòng)患者。
• 搜索與救援：人形機(jī)器人在災(zāi)難現(xiàn)場(chǎng)進(jìn)行搜救工作。
• 教育與培訓(xùn)：人形機(jī)器人作為教學(xué)助手，展示復(fù)雜的操作過(guò)程。

常見(jiàn)問(wèn)題

• iDP3能在何種環(huán)境中工作？：iDP3能夠在多樣化的環(huán)境中靈活運(yùn)行，包括家庭、工業(yè)和戶(hù)外場(chǎng)所。
• iDP3是否需要復(fù)雜的配置？：不需要，iDP3設(shè)計(jì)上減少了對(duì)復(fù)雜配置的依賴(lài)，能夠快速部署。
• 如何獲取iDP3的技術(shù)支持？：用戶(hù)可以通過(guò)項(xiàng)目官網(wǎng)和GitHub倉(cāng)庫(kù)獲取相關(guān)的技術(shù)支持和文檔。