全面梳理200+篇前沿論文，視覺生成模型理解物理世界規律的通關密碼，都在這篇綜述里了！

AI如何掌握物理世界，通向世界模型

原標題：全面梳理200+篇前沿論文，視覺生成模型理解物理世界規律的通關密碼，都在這篇綜述里了！
文章來源：機器之心
內容字數：4516字

生成式“物理AI”綜述：賦予視覺生成模型物理規律

機器之心AIxiv專欄報道了悉尼大學、西澳大學等機構發表的綜述論文《Generative Physical AI in Vision: A Survey》，深入探討如何將物理規律融入視覺生成模型，以提升其對真實世界的刻畫能力。該論文定義了生成式“物理AI”的核心概念，并對現有方法進行了全面的梳理和總結。

1. 生成式“物理AI”的核心概念

論文首先明確了幾個關鍵概念：物理模擬（依據物理模型讓數據隨時間演變）、物理理解（從數據推斷物理模型或參數）、生成（用生成模型創造新內容）。根據是否理解物理規律，生成分為無物理感知生成和物理感知生成。后者又細分為基于顯式物理模擬（PAG-E）和無顯式物理模擬（PAG-I）兩類。

2. 基于顯式物理模擬的生成 (PAG-E)：六大范式

PAG-E根據“物理模擬”與“生成模型”的融合方式，被歸納為六大范式：

1. 生成后模擬 (Gen-to-Sim): 先生成內容，再添加物理屬性使其可模擬和交互，例如PIE-NeRF和PhysGaussian。
2. 生成中模擬 (Sim-in-Gen): 將物理模擬直接集成到生成模型中，例如PhysGen和PhyCAGE。
3. 生成與模擬并行 (Gen-and-Sim): 生成和模擬同時進行或緊密關聯，例如PAC-NeRF和iPAC-NeRF。
4. 模擬約束生成 (Sim-Constrained Gen): 物理模擬為生成模型提供訓練約束或指導，例如PhysComp、Atlas3D和DiffuseBot。
5. 生成約束模擬 (Gen-Constrained Sim): 生成模型為模擬過程提供指導或先驗知識，例如Physics3D和DreamPhysics。
6. 模擬評估生成 (Sim-Evaluated Gen): 生成內容旨在用于基于模擬的部署，例如PhysPart和PhyScene。

3. 無顯式物理模擬的生成 (PAG-I)

PAG-I指一些無需顯式物理模擬，也能展現一定物理推理能力的模型。例如，PhyT2V利用大語言模型提升文生視頻模型的物理真實性；Generative Interactive Dynamics模擬物體受外力影響的變化；Motion Prompting利用軌跡控制視頻生成；CoCoGen在采樣過程中注入物理信息。

4. 物理評估：衡量模型的物理“實力”

論文分析了評估圖像或視頻生成模型物理刻畫能力的方法。傳統指標不足，因此研究者提出了專門的數據集和指標，例如PhyBench、PhyGenBench和VideoPhy，以及人工評估和自動評估（例如利用視覺語言模型LVMs）。

5. 未來展望

論文展望了生成式“物理AI”的未來方向，包括改進評估方式、提升可解釋性、物理知識增強的大模型、神經-符號混合模型、生成式模擬引擎以及跨學科應用等。

更多相關研究成果可訪問https://github.com/BestJunYu/Awesome-Physics-aware-Generation。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺