EnerVerse

EnerVerse – 智元機(jī)器人推出的首個(gè)機(jī)器人4D世界模型

EnerVerse 是智元機(jī)器人團(tuán)隊(duì)推出的首款機(jī)器人4D世界模型，旨在通過(guò)生成未來(lái)的具身空間來(lái)引導(dǎo)機(jī)器人完成復(fù)雜任務(wù)。該模型采用自回歸擴(kuò)散技術(shù)，結(jié)合稀疏記憶機(jī)制和錨定視角，大幅提升了4D生成能力及動(dòng)作規(guī)劃效果。實(shí)驗(yàn)表明，EnerVerse 在機(jī)器人動(dòng)作規(guī)劃的任務(wù)中已達(dá)到了領(lǐng)先水平。目前，EnerVerse 的項(xiàng)目主頁(yè)和相關(guān)論文已上線，模型與數(shù)據(jù)集也即將開(kāi)源。

EnerVerse是什么

EnerVerse 是智元機(jī)器人團(tuán)隊(duì)研發(fā)的首個(gè)機(jī)器人4D世界模型，旨在通過(guò)生成未來(lái)的具身空間來(lái)指導(dǎo)機(jī)器人完成復(fù)雜任務(wù)。該模型運(yùn)用自回歸擴(kuò)散模型，并結(jié)合稀疏記憶機(jī)制及錨定視角，顯著增強(qiáng)了4D生成能力和動(dòng)作規(guī)劃性能。實(shí)驗(yàn)結(jié)果顯示，EnerVerse 在機(jī)器人動(dòng)作規(guī)劃任務(wù)中表現(xiàn)出色，達(dá)到了當(dāng)前最優(yōu)水平。目前，其項(xiàng)目主頁(yè)和論文已經(jīng)上線，模型與數(shù)據(jù)集也將很快開(kāi)源。

EnerVerse的主要功能

• 未來(lái)空間生成：EnerVerse 使用自回歸擴(kuò)散模型，能夠生成未來(lái)的具身空間，幫助機(jī)器人在任務(wù)指導(dǎo)和實(shí)時(shí)觀察的基礎(chǔ)上進(jìn)行未來(lái)動(dòng)作規(guī)劃。
• 高效動(dòng)作規(guī)劃：在生成網(wǎng)絡(luò)的下游，EnerVerse 加入了由多層Transformer構(gòu)成的Diffusion策略頭，能夠在逆擴(kuò)散的第一步即輸出未來(lái)動(dòng)作序列，確保動(dòng)作預(yù)測(cè)的實(shí)時(shí)性。

EnerVerse的技術(shù)原理

• 自回歸擴(kuò)散模型
  • 逐塊生成：EnerVerse 采用逐塊生成的自回歸擴(kuò)散模型，通過(guò)擴(kuò)散模型為未來(lái)的具身空間建模。這種逐步生成每個(gè)時(shí)刻空間信息的方法使機(jī)器人在執(zhí)行復(fù)雜任務(wù)時(shí)，能夠整合來(lái)自多個(gè)時(shí)刻的環(huán)境數(shù)據(jù)，而不僅僅依賴局部信息。
  • 擴(kuò)散模型架構(gòu)：該模型基于結(jié)合時(shí)空注意力的UNet結(jié)構(gòu)，每個(gè)空間塊內(nèi)部通過(guò)卷積與雙向注意力建模，而塊與塊之間則通過(guò)單向因果邏輯保持時(shí)間一致性。
• 稀疏記憶機(jī)制
  • 記憶管理：借鑒大語(yǔ)言模型的上下文記憶，EnerVerse 在訓(xùn)練階段對(duì)歷史幀進(jìn)行高比例隨機(jī)掩碼處理，并在推理階段以較大時(shí)間間隔更新記憶隊(duì)列。這種機(jī)制有效降低了計(jì)算開(kāi)銷，同時(shí)顯著提升了長(zhǎng)程任務(wù)的生成能力。
• 錨定視角
  • 視角靈活性：FAV 使機(jī)器人能夠根據(jù)場(chǎng)景靈活調(diào)整視角，克服了固定多視角在狹窄或遮擋環(huán)境中的局限性。例如，在廚房等復(fù)雜場(chǎng)景中，F(xiàn)AV可以輕松應(yīng)對(duì)動(dòng)態(tài)遮擋。
  • 空間一致性：EnerVerse 基于光線投射原理，使用視線方向圖作為視角控制條件，并將2D空間注意力擴(kuò)展為跨視角的3D空間注意力，以確保生成視頻的幾何一致性。
• Diffusion策略頭
  • 高效動(dòng)作預(yù)測(cè)：在生成網(wǎng)絡(luò)的下游，加入了由多層Transformer組成的Diffusion策略頭，能夠在逆擴(kuò)散的第一步即輸出未來(lái)動(dòng)作序列，確保動(dòng)作預(yù)測(cè)的實(shí)時(shí)性。
  • 稀疏記憶支持：在動(dòng)作預(yù)測(cè)推理中，稀疏記憶隊(duì)列存儲(chǔ)真實(shí)或重建的FAV觀測(cè)結(jié)果，以提升模型對(duì)長(zhǎng)程任務(wù)的規(guī)劃能力。

EnerVerse的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://sites.google.com/view/enerverse/home
• arXiv技術(shù)論文：https://arxiv.org/pdf/2501.01895

EnerVerse的應(yīng)用場(chǎng)景

• 環(huán)境感知與決策：在自動(dòng)駕駛領(lǐng)域，EnerVerse 能通過(guò)生成未來(lái)空間輔助車輛實(shí)現(xiàn)環(huán)境感知與決策。
• 機(jī)器人操作與裝配：在工業(yè)生產(chǎn)線上，EnerVerse 能指導(dǎo)機(jī)器人完成復(fù)雜的裝配任務(wù)。通過(guò)未來(lái)空間的生成，機(jī)器人能夠更好地理解零件之間的空間關(guān)系和裝配順序，從而提升裝配效率和精度。
• 質(zhì)量檢測(cè)與維護(hù)：EnerVerse 還可用于工業(yè)設(shè)備的質(zhì)量檢測(cè)和維護(hù)。機(jī)器人利用生成的未來(lái)空間進(jìn)行全面檢查，及時(shí)發(fā)現(xiàn)潛在故障及問(wèn)題。
• 家庭服務(wù)：在家庭環(huán)境中，EnerVerse 幫助服務(wù)機(jī)器人更好地理解和規(guī)劃任務(wù)。例如，在整理房間、搬運(yùn)物品等任務(wù)中，機(jī)器人能夠通過(guò)生成未來(lái)空間預(yù)測(cè)物品的擺放位置和移動(dòng)路徑。
• 醫(yī)療輔助：在醫(yī)療領(lǐng)域，EnerVerse 可以輔助醫(yī)療機(jī)器人進(jìn)行手術(shù)操作或康復(fù)訓(xùn)練。通過(guò)生成未來(lái)空間，機(jī)器人能夠更準(zhǔn)確地規(guī)劃手術(shù)步驟或康復(fù)動(dòng)作。

常見(jiàn)問(wèn)題

• EnerVerse如何提高機(jī)器人任務(wù)執(zhí)行的效率？通過(guò)生成未來(lái)空間，EnerVerse 能夠?yàn)闄C(jī)器人提供更全面的環(huán)境理解，從而優(yōu)化動(dòng)作規(guī)劃和執(zhí)行效率。
• EnerVerse的技術(shù)原理是否復(fù)雜？EnerVerse 結(jié)合了自回歸擴(kuò)散模型、稀疏記憶機(jī)制和錨定視角，這些技術(shù)的結(jié)合使得模型在性能上具有顯著優(yōu)勢(shì)。
• 如何獲取EnerVerse的模型和數(shù)據(jù)集？EnerVerse 的模型與數(shù)據(jù)集即將開(kāi)源，具體信息將在項(xiàng)目官網(wǎng)上公布。