Matrix-Game 2.0 – 昆侖萬維推出的自研世界模型

Matrix-Game 2.0 是昆侖萬維 SkyWork AI 推出的自研世界模型，是業內首個開源的通用場景實時長序列交互式生成模型。它采用視覺驅動的交互方案，具備低延遲、高幀率的長序列交互性能，能以 25 FPS 的速度生成連續視頻內容，并支持分鐘級生成時長，適用于游戲開發、虛擬現實和影視制作等領域。

Matrix-Game 2.0 產品介紹

Matrix-Game 2.0，由昆侖萬維 SkyWork AI 傾力打造，是一款性的自研世界模型，旨在為交互式生成領域注入全新活力。作為業界首個全面開源的通用場景實時長序列交互式生成模型，它不僅代表了技術的突破，也預示著交互式世界模型發展的新紀元。

核心功能

• 流暢的實時視頻生成：Matrix-Game 2.0 能夠以每秒 25 幀（25 FPS）的速度，在各種復雜場景中穩定輸出連續視頻內容，并且生成時長可擴展至分鐘級別，為用戶帶來更流暢、更逼真的視覺體驗。
• 直觀的交互控制：用戶可以通過簡單的指令，如鍵盤方向鍵或鼠標操作，探索和操控虛擬環境，實現與虛擬世界的無縫互動，精準響應用戶的操作意圖。
• 視覺驅動的建模方式：模型采用以視覺為核心的交互世界建模方案，側重于通過視覺感知和物理規律學習來構建虛擬世界，擺脫了對語言提示的依賴，從而更真實、更準確地模擬現實世界。
• 廣泛的場景適應性：Matrix-Game 2.0 具備出色的跨領域適應能力，能夠模擬多種風格和環境，包括城市、野外等不同空間類型，以及真實、油畫等多種視覺風格。
• 增強的物理模擬：模型能夠使角色在面對臺階、障礙物等復雜地形時，展現出符合物理規律的行為，從而增強沉浸感和可控性。

產品官網

• 官方網站：https://matrix-game-v2.github.io/

應用領域

• 游戲開發：Matrix-Game 2.0 能夠生成逼真且符合物理規律的可交互視頻，支持角色動態行為和場景互動，為游戲開發者提供更強大的創作工具，例如在《GTA》和《我的世界》等游戲場景中模擬車輛運作或角色移動。
• 虛擬現實（VR）：該模型可以實時生成高質量的虛擬環境，讓用戶通過簡單指令探索和操控虛擬世界，為 VR 應用提供強大的技術支持。
• 影視制作：Matrix-Game 2.0 能夠快速生成高質量的虛擬場景和動態內容，幫助影視制作團隊高效地創建復雜的視覺效果和動畫場景。
• 具身智能：為具身智能體訓練與數據生成提供技術支持，為智能體在虛擬環境中的訓練和測試提供了高效的解決方案。
• 虛擬人與智能交互系統：Matrix-Game 2.0 的實時交互能力和對物理規則的理解使其成為虛擬人和智能交互系統的理想解決方案，能生成自然流暢的動作和響應。

常見問題解答

1. Matrix-Game 2.0 的核心技術是什么？

Matrix-Game 2.0 采用了視覺驅動交互世界建模、3D 因果變分自編碼器（3D Causal VAE）、多模態擴散 Transformer（DiT）、自回歸擴散生成機制、分布匹配蒸餾（DMD）和 KV 緩存機制等多項關鍵技術。

2. Matrix-Game 2.0 的生成速度如何？

Matrix-Game 2.0 能夠以 25 FPS 的速度生成視頻內容，并支持分鐘級的生成時長。

3. Matrix-Game 2.0 支持哪些交互方式？

用戶可以通過鍵盤方向鍵、鼠標操作等簡單指令與虛擬環境進行交互。

4. Matrix-Game 2.0 的開源程度如何？

Matrix-Game 2.0 是業內首個全面開源的通用場景實時長序列交互式生成模型。