WonderPlay – 斯坦福聯合猶他大學推出的動態3D場景生成框架

WonderPlay 是由斯坦福大學與猶他大合開發的創新框架，能夠根據單幅圖像和用戶定義的動作生成動態的3D場景。該系統結合了物理模擬和視頻生成技術，通過物理求解器生成初步的3D動態效果，再利用視頻生成器合成更真實的視頻，從而實現動態3D場景的閉環更新。WonderPlay 支持多種物理材質（如剛體、布料、液體、氣體等）和多種動作（如重力、風力、點力等），讓用戶能夠輕松與場景互動，創造出豐富多彩的動態效果。

WonderPlay 是什么

WonderPlay 是一種全新的框架，旨在從單張圖片及用戶設定的動作中生成動態3D場景。它利用物理模擬與視頻生成的結合，通過物理求解器來模擬初步的3D動態，然后驅動視頻生成器合成更為真實的視頻，以更新動態3D場景，實現模擬與生成之間的良性循環。WonderPlay 具備多種物理材質的支持，用戶可以通過簡單的操作與場景互動，從而生成多樣化的動態效果。

WonderPlay 的主要功能

• 單圖動態場景生成：用戶只需提供一張圖片和設定的動作，即可生成動態3D場景，展現動作的物理反饋。
• 多材質支持：支持剛體、布料、液體、氣體、彈性體、顆粒等多種物理材質，滿足各種場景需求。
• 動作響應：系統支持重力、風力、點力等多種動作輸入，使用戶能夠直觀地與場景交互，生成不同的動態效果。
• 視覺與物理逼真度：通過物理模擬的精確性與視頻生成的豐富性，生成符合物理規律且視覺上逼真的動態場景。
• 交互式體驗：配備交互式查看器，用戶可以探索生成的動態3D場景，提升沉浸式體驗。

WonderPlay 的技術原理

• 混合生成式模擬器：結合物理求解器與視頻生成器，通過物理求解器模擬初步的3D動態，并利用視頻生成器合成真實的視頻，以更新動態3D場景，從而實現模擬與生成的閉環。
• 空間變化雙模態控制：在視頻生成階段，通過（流場）和外觀（RGB）雙模態信號控制視頻生成器，根據場景區域的動態變化調整生成器的職責，確保生成的視頻在動態和外觀上更接近物理模擬的結果。
• 3D場景重建：從輸入的圖像中重建背景與物體，背景通過快速分層高斯曲面（FLAGS）表示，而物體則構建為具有拓撲連接性的“拓撲高斯曲面”，以估計物體的材質屬性，為后續的模擬與生成奠定基礎。

WonderPlay 的項目地址

• 項目官網：https://kyleleey.github.io/WonderPlay/
• arXiv技術論文：https://arxiv.org/pdf/2505.18151

WonderPlay 的應用場景

• AR/VR場景構建：用于創建沉浸式虛擬環境，支持用戶與場景進行動態交互。
• 影視特效制作：快速生成動態場景原型，輔助特效制作，提升視覺效果。
• 教育與職業培訓：模擬物理現象和工作環境，增強教學和培訓的實踐性。
• 游戲開發：生成動態場景和交互效果，提高游戲的真實感和趣味性。
• 廣告與營銷：制作動態廣告內容，提供互動體驗，增強觀眾的參與感。

常見問題

• WonderPlay 能支持哪些類型的圖像？：WonderPlay 可以處理各種類型的圖像，包括自然景觀、城市建筑以及人物等。
• 我如何能夠開始使用 WonderPlay？：您可以訪問項目官網，按照提供的指導進行操作。
• WonderPlay 的學習曲線如何？：WonderPlay 旨在提供用戶友好的界面，用戶可通過簡單的操作快速上手。
• 這個框架適合哪些行業？：WonderPlay 廣泛適用于影視制作、教育、游戲開發及廣告營銷等多個領域。