機器之心報道機器之心編輯部現實世界版的 Genie-2？最近，世界模型（World Models）似乎成為了 AI 領域最熱門的研究方向。繼 World Labs（李飛飛）、谷歌 DeepMind 接布自己的世界模型研究之后，Meta FAIR 的 Yann LeCun 團隊也加入了戰場，也在同一周之內發布了導航世界模型（Navigation World Models/NWM）。我們知道，Yann LeCun 一邊在不斷唱衰當前主導 LLM 領域的自回歸范式，同時也一直是世界模型的「鼓吹者」。上月中旬，該團隊就已經發布了一篇世界模型相關研究成果，但那篇研究涉及的模型規模不大，環境也較為簡單，參閱機器之心報道《LeCun 的世界模型初步實現！基于預訓練視覺特征，看一眼任務就能零樣本規劃》。而這一次，LeCun 團隊發布的 NWM 看起來能適應更復雜的環境了，并且與 World Labs 和 DeepMind 的世界模型一樣，也能基于單張圖像生成連續一致的視頻。只是 LeCun 團隊的這個世界模型更加強調世界模型的導航能力，其能夠在已知環境中按照軌跡行進，也能在未知環境中自己尋找前進道路，還能執行路徑規劃。不過整體而言，與能單圖生世界的 DeepMind Genie 2 相比，NWM 的單圖生視頻還是要稍遜一些。論文標題：Navigation World Models論文地址：https://arxiv.org/pdf/2412.03572v1項目地址：https://www.amirbar.net/nwm/從其項目網站的演示視頻看，NWM 的效果很不錯，能夠基于單張真實照片執行相當好的導航操作。只能說，世界模型，也開始卷起來了。NWM 效果演示在深入了解 NWM 的技術細節之前，我們先來看看它的實際表現如何。首先是在已知環境中按照軌跡行進的能力。NWM 能夠基于單張輸入幀和給定的輸入動作合成視頻，這個過程是自回歸式的。另需說明，在這里，模型已經已經訓練階段看過了這個環境，但軌跡是全新的。可以看到，不管是室內環境還是室外環境，NWM 都具有相當不錯的場景理解表現。NWM 也能在未知環境中導航：它不僅適用于已知環境，對于訓練中從未見過的單張輸入圖像，模型也可以根據給定的輸入動作自回歸式地預測后續幀。下面是與其它模型的對比情況，可以看到，NWM 在保證合成視頻的一致性和穩定性方面以及動作的執行效果方面都更加出色。另外，該團隊也研究了使用 NWM 和外部導航策略 NoMaD 來執行規劃。具體來說，就是讓 NoMaD 給出軌跡，再讓 NWM 來進行排名 —— 后者會生成軌跡視頻并選出其中得分最高的軌跡。整體而言，LeCun 團隊的這項 NWM 研究做出了以下貢獻：提出了導航世界模型和一種全新的條件擴散 Transformer（CDiT）；相比于標準 DiT，其能高效地擴展到 1B 參數，同時計算需求還小得多。使用來自不同機器人智能體的視頻和導航動作對 CDiT 進行了訓練，通過地或與外部導航策略一起模擬導航規劃而實現規劃，從而取得了當前最先進的視覺導航性能。通過在 Ego4D 等無動作和無獎勵的視頻數據上訓練 NWM，使其能在未曾見過的環境中取得更好的視頻預測和生成性能。導航世界模型NWM 的數學描述下面先來看看 NWM 的公式描述。直觀地說，NWM 是一個接收當前世界狀態（例如，對圖像的觀察）和導航操作（描述物體移動到哪里以及如何旋轉）的模型。然后，該模型根據智能體的視角生成下一個世界狀態。本文給出了一個第一人稱的視頻數據集，其包含智能體導航動作，其中是圖像，a_i = (u， ?) 是由平移參數給出的導航命令，控制向前 / 向后和左右，以及導航旋轉角。a_i 的導航動作可以被完全觀察到。目標是學習一個世界模型 F，即從先前的潛在觀察 s_τ 和動作 a_τ 隨機映射到未來的潛在狀態表示 s_(t+1 )：由于此公式簡單易懂，因此它可以自然地跨環境共享，并輕松擴展到更復雜的動作空間，例如控制機械臂。公式 1 模擬了動作，但無法控制時間動態（temporal dynamics）。因此，作者用時移輸入 k ∈ [T_min， T_max] 擴展此公式，設置，因此現在 a_τ 指定時間變化 k，用于確定模型應向未來（或過去）移動多少步。因此，給定當前狀態 s_τ ，可以隨機選擇 k， token 化相應的視頻幀。然后可以將導航動作近似為從時間 τ 到 τ + k 的總和：上述公式既可以學習導航動作，也可以學習時間動態。實際上，本文允許時間偏移最多 ±16 秒。擴散 Transformer 作為世界模型條件擴散 Transformer 架構。本文使用的架構是一個時間自回歸 transformer 模型，該模型利用高效的 CDiT 塊（見圖 2）。CDiT 通過將第一個注意力塊中的注意力限制在正在去噪的目標幀中的 token 上，實現了在時間上高效的自回歸建模。為了對過去幀中的 token 進行條件處理，本文還整合了一個交叉注意力層，然后，交叉注意力通過跳躍連接層將表示情境化。使用世界模型進行導航規劃接下來，文章描述了如何使用經過訓練的 NWM 來規劃導航軌跡。直觀地說，如果世界模型熟悉某個環境，可以用它來模擬導航軌跡，并選擇那些能夠達到目標的軌跡。在未知的、分布外的環境中，長期規劃可能依賴于想象力。形式上，給定潛在編碼 s_0 和導航目標 s^?，目標是尋找動作序列 (a_0， …， a_T)，以最大化到達 s^? 的可能性。定義能量函數，使得最小化能量與最大化未歸一化的感知相似度得分相對應， 并遵循關于狀態和動作的潛在約束。相似度的計算方法是，使用預訓練的 VAE 解碼器將 s^? 和 s_T 解碼為像素，然后測量感知相似度。那么問題就簡化為尋找最小化該能量函數的動作：該目標可被重新表述成一個模型預測控制（MPC）問題，并且可使用交叉熵方法（Cross-Entropy Method）來優化它。導航軌跡排名方法。假設已有一個導航策略 Π(a|s_0， s^?)，可使用 NWM 來對采樣得到的軌跡進行排名。這里，該團隊的使用了一種 SOTA 的導航策略 NoMaD 來執行機器人導航。在排名時，會從 Π 給出的多個樣本中選出能量最低的那個。實驗結果下面來看看 NWM 在實驗中實際表現。首先，數據集方面，該團隊使用了 TartanDrive、RECON 和 HuRoN。NWM 可以獲取機器人的位置和角度數據，然后推斷在當前位置的相關動作。評估指標包括絕對軌跡誤差 （ATE）和相對姿態誤差 （RPE）。對比基線包括 DIAMOND、GNM 和 NoMaD。消融實驗模型在已知環境 RECON 上對驗證集軌跡對單步 4 秒未來預測進行評估。研究人員通過測量 LPIPS、DreamSim 和 PSNR 來評估相對于地面真實框架的性能。圖 3 中提供了定性示例：模型大小和 CDiT。研究人員將 CDiT 與標準 DiT（其中所有上下文標記都作為輸入）進行比較。其中假設，對于導航已知環境，模型的容量是最重要的，圖 5 中的結果表明，CDiT 確實在具有多達 1B 個參數的模型中表現更好，同時消耗的 FLOP 不到 ×2。令人驚訝的是，即使參數數量相同（例如，CDiT-L 與 DiT-XL 相比），CDiT 也可以快 4 倍，并且表現更好。目標數量。在給定固定上下文的情況下訓練具有可變目標狀態數量的模型，將目標數量從 1 更改為 4。每個目標都是在當前狀態的 ±16 秒窗口內隨機選擇的。表 1 中報告的結果表明，使用 4 個目標可顯著提高所有指標的預測性能。上下文大小。研究人員在訓練模型的同時將條件幀的數量從 1 變為 4（見表 1）。不出所料，更多的上下文帶來了幫助，而對于較短的上下文，模型通常會「迷失方向」，導致預測不佳。時間和動作條件。研究人員同時使用時間和動作條件訓練模型，并測試每個輸入對預測性能的貢獻程度。結果包含在表 1 中。研究人員發現，使用時間運行模型只會導致性能不佳，而不使用時間條件也會導致性能略有下降。這證實了兩種輸入對模型都有好處。視頻預測與合成這里評估的是模型遵從真實動作和預測未來狀態的能力。以第一張圖像和上下文幀為條件，該模型需要根據 ground truth 動作，以自回歸方式預測下一個狀態，并給每個預測提供反饋。通過比較在 1、2、4、8 和 16 秒的 ground truth 圖像，再得出在 RECON 數據集上的 FID 和 LPIPS 值，可以對這些預測結果進行比較。圖 4 展示了在 4 FPS 和 1 FPS 幀率下，NWM 與 DIAMOND 的性能情況。可以明顯看到，NWM 的預測準確度比 DIAMOND 好得多。一開始的時候，NWM 1 FPS 的表現更好，但 8 秒之后，它就會因為累積誤差和上下文損失而被 4 FPS 版本超過。生成質量。為了評估視頻質量，該團隊以 4 FPS 的速度自回歸預測生成了一些 16 秒長的視頻，同時這是基于 ground truth 動作的。然后，再使用 FVD 評估生成視頻的質量，并與 DIAMOND 進行比較。圖 6 中的結果表明 NWM 輸出的視頻質量更高。使用 NWM 執行規劃接下來的實驗衡量了 NWM 執行導航的能力。規劃。實驗表明，這個世界模型可以有效地執行目標導向的導航。基于過去的觀察和目標圖像，NWM 可以使用交叉熵方法找到一條軌跡，同時盡可能降低預測圖像和目標圖像之間的 LPIPS 相似度，實驗結果見下表 2，可以看到 NWM 的規劃能力足以比肩 SOTA 策略。帶約束條件的規劃。在使用 NWM 進行規劃時，還可以指定約束條件，比如要求智能體走直線或只轉彎一次。表 3 的結果表明，NWM 可以在滿足約束的同時進行有效規劃，并且規劃性能變化不大。下圖 9 中包含了左右優先約束下的規劃軌跡案例。使用導航世界模型進行排序。NWM 可以增強目標條件導航中已有的導航策略。研究者根據過去觀察結果和目標圖像對 NoMaD 進行條件化，采樣了 n ∈ {16，32} 條軌跡，其中每條軌跡長度為 8，并通過使用 NWM 來自回歸地遵循動作以對這些軌跡進行評估。最后，研究者通過測量與目標圖像的 LPIPS 相似性來對每條軌跡的最終預測結果進行排序，結果如下圖 7 所示。他們還在上表 2 中報告了 ATE 和 RPE，發現對軌跡進行排序可以產生 SOTA 導航性能，并且采樣的軌跡越多結果越好。泛化到未知環境的能力研究者嘗試添加未標注的數據，并詢問 NWM 是否可以使用想象力在新環境中做出預測。他們在所有域內數據集以及來自 Ego4D 的未標注視頻子數據集上訓練了一個模型，并且只能訪問時移操作。研究者訓練了一個 CDiT-XL 模型，并在 Go Stanford 數據集以及其他隨機圖像上對該模型進行了測試。結果如下表 4 所示，可以發現，在未標注數據上進行訓練可以顯著提升各項視頻預測結果，包括提高生成質量。研究者在下圖 8 中提供了一些定性案例。相較于域內（上圖 3），模型崩潰得更快并且在生成想象環境的遍歷時還會產生幻覺路徑。更多實驗細節請參閱原論文。?THE END轉載請聯系本公眾號獲得授權投稿或尋求報道：liyazhou@jiqizhixin.com