谷歌世界模型爆發(fā)：單張圖生成可玩3D世界，還要和馬斯克一起游戲

機(jī)器之心報(bào)道機(jī)器之心編輯部昨晚，世界模型向前邁出了一大步！Google DeepMind 震撼宣布了他們的新一代世界模型 Genie 2，其可根據(jù)一張圖生成可供人類或 AI 智能體游玩的無限 3D 世界。消息發(fā)布后，好評與震驚如潮水般涌現(xiàn)。有人被這技術(shù)進(jìn)步的速度震撼，稱之為視頻游戲的未來，甚至還有人看到了一切都被虛擬化的世界模型的更長遠(yuǎn)未來。有趣的是，Genie 2 剛一發(fā)布，DeepMind CEO 哈薩比斯宣傳完之后直接邀請馬斯克一起來用世界模型制作 AI 游戲，馬斯克居然欣然同意了：可見 AI 大佬對于自己的技術(shù)很有信心，馬斯克也很重視。Genie 2：劃時(shí)代的世界模型Genie 2 是一個(gè)基礎(chǔ)世界模型（foundation world model），有能力生成無限多種可控制動作、可玩的 3D 環(huán)境，而這些 3D 環(huán)境又可用于訓(xùn)練和評估具身智能體。DeepMind 表示，Genie 2 只需使用單張?zhí)崾緢D像，就能生成可供人類或 AI 智能使用鍵鼠輸入游玩的環(huán)境。我們知道，在 AI 研究領(lǐng)域，游戲扮演著一個(gè)重要角色。游戲需要玩家參與、具有不同的難度、游戲進(jìn)度也易于衡量，因此成為了安全測試和推進(jìn) AI 發(fā)展的理想環(huán)境。事實(shí)上，自 Google DeepMind 成立以來，AI 與游戲結(jié)合的研究就一直很重要。機(jī)器之心也一直在跟進(jìn)報(bào)道他們在游戲相關(guān) AI 研究中的進(jìn)展，從早期的 Atari 游戲，到吸引全世界眼球的 AlphaGo 和 AlphaStar，再到他們上半年與游戲開發(fā)者合作開發(fā)的通用智能體 —— 參閱《智能體的ChatGPT時(shí)刻！DeepMind通用AI向人類玩家進(jìn)化，開始理解游戲》。但 DeepMind 也指出，訓(xùn)練更通用的具身智能體有一個(gè)瓶頸：難以獲得足夠豐富和多樣化的訓(xùn)練環(huán)境。Genie 2 似乎就能填補(bǔ)這一空白，其能創(chuàng)造一個(gè)用于訓(xùn)練和評估智能體的無限新世界。DeepMind 表示：「我們的研究還為構(gòu)建交互式體驗(yàn)原型設(shè)計(jì)的全新創(chuàng)意工作流程鋪平了道路?！古c李飛飛的空間智能相比如何？前些天，我們剛剛報(bào)道了著名學(xué)者李飛飛的創(chuàng)業(yè)公司 World Labs 的首個(gè)項(xiàng)目。從描述上看，其與 Genie 2 似乎具有一樣的能力，都能基于單張圖像生成可交互的 3D 場景，參閱報(bào)道《剛剛，李飛飛創(chuàng)業(yè)首個(gè)項(xiàng)目引圍觀：單圖生成交互 3D 場景，空間智能來了》。但這兩者也存在一些區(qū)別。普林斯頓AI創(chuàng)新中心創(chuàng)始人、主任，終身教授王夢迪告訴機(jī)器之心：「飛飛的 World Labs 和 Google 的 Genie2 看上去都是從一張圖片生成可以交互的三維場景，但有本質(zhì)區(qū)別。Genie2 還是 video diffusion（視頻擴(kuò)散），每一幀的生成都是 pixel prediction（像素預(yù)測），并通過額外的用戶輸入的 guidance（引導(dǎo)）來影響下一幀的概率分布。而飛飛的 World Labs 是更進(jìn)一步挖掘世界的物理本質(zhì)：從圖片出發(fā)，估計(jì)圖片中不同景物的深度和相對關(guān)系，生成了更加物理世界的 3D 環(huán)境建模，不僅僅是可互動視頻?！筗orld Labs 的單圖生成 3D 場景的效果演示從這個(gè)描述看，李飛飛的研究項(xiàng)目似乎更接近真正的世界模型一些。不管怎樣，這些新技術(shù)的碰撞都是進(jìn)步的過程，王夢迪教授也表達(dá)了這樣的期待：「期待看到更多不同技術(shù)思路的進(jìn)展和對決。新范式快來吧。」Genie 2 基礎(chǔ)世界模型的涌現(xiàn)能力到目前為止，世界模型在很大程度上局限在建模范圍狹窄的領(lǐng)域。在上一代 Genie 1 中，DeepMind 提出了一種生成多種 2D 世界的方法。Genie 2 則是通用性方面的一次飛躍！其可生成豐富多樣的 3D 世界。Genie 2 是一個(gè)世界模型，這就意味著它可以模擬虛擬世界，包括采取任何動作（例如跳躍、游泳等）的后果。它是在大型視頻數(shù)據(jù)集上訓(xùn)練得到的，因此，Genie 2 與其他生成模型一樣具有各種大規(guī)模涌現(xiàn)能力，例如物體交互、復(fù)雜角色動畫、物理以及建模和預(yù)測其他智能體行為的能力。下面展示了一些人們與 Genie 2 交互的例子。對于每個(gè)示例，模型都會使用 Imagen 3（DeepMind 最先進(jìn)的文生圖模型）生成的單張圖像作為提示。這意味著任何人都可以用文字描述他們想要的世界，選擇他們最喜歡的渲染方法，然后進(jìn)入這個(gè)新創(chuàng)建的世界并與之互動（或在其中訓(xùn)練或評估 AI 智能體）。在每個(gè)步驟中，都由一個(gè)人或智能體提供鍵盤和鼠標(biāo)操作，Genie 2 模擬下一個(gè)觀察結(jié)果。Genie 2 可以生成長達(dá)一分鐘的一致世界，大多數(shù)示例持續(xù) 10-20 秒。動作控制Genie 2 能智能地響應(yīng)鍵盤按鍵對應(yīng)的動作，識別角色并正確地移動它。例如，模型必須要明白，箭頭鍵應(yīng)該移動機(jī)器人而不是樹木或云。生成反事實(shí)視頻幀Genie 2 可以從同一起始幀生成不同的軌跡，這意味著可以為訓(xùn)練智能體來模擬反事實(shí)體驗(yàn)。如下兩行動圖所示，每個(gè)視頻都從同一幀開始，但人類玩家采取了不同的行動。長跨度記憶Genie 2 能夠記住視野中消失的部分世界，然后在它們再次可見時(shí)準(zhǔn)確地呈現(xiàn)它們。使用新的生成內(nèi)容來生成長視頻Genie 2 可以即時(shí)地生成新的合理可信內(nèi)容，并在長達(dá)一分鐘的時(shí)間內(nèi)保持一致性的世界。多樣性環(huán)境Genie 2 可以創(chuàng)建不同的視角，例如第一人稱視角、等距視角或者第三人稱駕駛視角。3D 結(jié)構(gòu)Genie 2 學(xué)會了創(chuàng)建復(fù)雜的 3D 視覺場景。物體可供性和交互Genie 2 能夠模擬各種物體之間的交互，例如氣球、打開門和用槍射擊桶。角色動畫Genie 2 學(xué)會了為執(zhí)行不同活動的各種角色制作動畫。NPCGenie 2 能夠模擬其他智能體，甚至與它們進(jìn)行復(fù)雜的交互。物理效果Genie 2 能夠建模水面效果。煙霧效果Genie 2 能夠建模各種煙霧效果。重力效果Genie 2 能夠建模各種重力效果。照明效果Genie 2 能夠建模點(diǎn)式和定向照明效果。反射效果Genie 2 能夠建模反射、綻放和彩色燈光效果。以現(xiàn)實(shí)世界的圖像為提示Genie 2 還可以將現(xiàn)實(shí)世界的圖像作為提示，比如它可以模擬風(fēng)中飄動的草或流動的河水。Genie 2 支持快速原型設(shè)計(jì)Genie 2 可以輕松快速地為各種交互式體驗(yàn)制作原型，使研究人員能夠快速試驗(yàn)新環(huán)境，從而訓(xùn)練和測試具身 AI 智能體。下圖用 Imagen 3 生成的不同圖像作為 Genie 2 的提示圖像，以模擬紙飛機(jī)、龍、鷹或降落傘飛行之間的差異，并測試 Genie 對不同化身的動畫效果。得益于 Genie 2 的分布式泛化能力，概念藝術(shù)和繪畫可以轉(zhuǎn)化為完全交互式的環(huán)境。這使得藝術(shù)家和設(shè)計(jì)師們能夠快速制作原型，從而啟動環(huán)境設(shè)計(jì)的創(chuàng)作，進(jìn)一步加速研究。下圖展示了概念藝術(shù)家制作的「研究環(huán)境概念」示例。在世界模型中行動的 AI 智能體通過使用 Genie 2 快速為 AI 智能體創(chuàng)建豐富多樣的環(huán)境，研究人員還可以生成智能體在訓(xùn)練期間未見過的評估任務(wù)。下圖展示了與游戲開發(fā)者合作開發(fā)的 SIMA 智能體示例，該智能體通過單個(gè)圖像提示來遵循 Genie 2 合成的未見過環(huán)境的指令。提示詞：第三人稱開放世界探索游戲的截圖。玩家扮演一名正在探索森林的冒險(xiǎn)者。左邊有一棟房子，門是紅色的，右邊有一棟房子，門是藍(lán)色的。攝像機(jī)位于玩家正后方。照片級真實(shí)、沉浸式。SIMA 智能體通過遵循自然語言指令來完成一系列 3D 游戲世界中的任務(wù)。下圖中使用 Genie 2 生成一個(gè)有兩扇門（藍(lán)門和紅門）的 3D 環(huán)境，并向 SIMA 智能體提供打開每扇門的指令。在該示例中，SIMA 通過鍵盤和鼠標(biāo)輸入控制化身，而 Genie 2 生成游戲幀。另外還可以使用 SIMA 來幫助評估 Genie 2 的功能。下圖中指示 SIMA 環(huán)顧四周并探索房屋后面，來測試 Genie 2 生成一致環(huán)境的能力。雖然這項(xiàng)研究仍處于早期階段，智能體和環(huán)境生成能力還有很大的改進(jìn)空間，但谷歌相信 Genie 2 是解決安全訓(xùn)練具身智能體結(jié)構(gòu)性問題的一大途徑，同時(shí)也能提供邁向 AGI 所需的廣度和通用性。下圖為 Imagen 3 生成的電腦游戲圖像，提示詞為「一張電腦游戲圖片，展示了一個(gè)粗糙的石洞或礦井內(nèi)部場景。觀看者的位置是第三人稱視角，位于玩家頭像上方，向下看向頭像。玩家頭像是一個(gè)手持寶劍的騎士。騎士頭像前面有 3 個(gè)石拱門，騎士可以選擇穿過其中任何一扇門。穿過第一扇門和內(nèi)部，我們可以看到隧道兩旁長滿了奇異的綠色植物和發(fā)光的花朵。在第二個(gè)門的內(nèi)部和外部，有一條走廊，走廊上鉚接著釘在洞穴墻壁上的帶刺鐵板，通向遠(yuǎn)處不祥的光芒。穿過第三扇門，我們可以看到一組粗糙的石階，通往一個(gè)神秘的目的地?！瓜旅鏋楦鶕?jù)上圖生成的游戲幀。背后的技術(shù)：擴(kuò)散世界模型作為一個(gè)自回歸潛在擴(kuò)散模型，Genie 2 在大型視頻數(shù)據(jù)集上進(jìn)行訓(xùn)練。在通過一個(gè)自動編碼器后，視頻中的潛在幀被傳遞到大型 transformer 動態(tài)模型中，該模型使用與大型語言模型類似的因果掩碼進(jìn)行訓(xùn)練。在推理時(shí)，Genie 2 能夠以自回歸方式進(jìn)行采樣，逐幀采取單個(gè)動作和過去的潛在幀。谷歌使用無分類器指導(dǎo)（classifier-free guidance）來提高動作可控性。本文的示例由未蒸餾的基礎(chǔ)模型生成，以展示其多種可能性。當(dāng)然也可以實(shí)時(shí)運(yùn)行蒸餾版本，但輸出質(zhì)量會降低。負(fù)責(zé)任地開發(fā)技術(shù)谷歌表示，Genie 2 展示了基礎(chǔ)世界模型在創(chuàng)建多樣化 3D 環(huán)境和加速智能體研究方面的潛力。不過，鑒于該研究方向尚處于早期階段，未來將繼續(xù)提高 Genie 在通用性和一致性方面的世界生成能力。與 SIMA 一樣，谷歌的研究正在朝著更通用 AI 系統(tǒng)和智能體的方向發(fā)展，它們可以理解并安全地執(zhí)行各種任務(wù)，從而對線上和現(xiàn)實(shí)世界中的人們提供幫助。順帶一提，DeepMind 同時(shí)還發(fā)布了 AI 天氣預(yù)測模型 GenCast，當(dāng)然，它的天氣預(yù)測表現(xiàn)也達(dá)到了當(dāng)前最佳水平。參考內(nèi)容：https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/https://news.ycombinator.com/item?id=42317903?THE END轉(zhuǎn)載請聯(lián)系本公眾號獲得授權(quán)投稿或?qū)で髨?bào)道：liyazhou@jiqizhixin.com