Muse目前生成游戲視頻的分辨率僅為300×180像素。

原標題：微軟聯手Xbox！首個游戲視頻模型登Nature，AI成游戲視頻剪輯大師
文章來源：智東西
內容字數：6688字

微軟Muse：基于AI的游戲視頻生成模型

近日，微軟發布了首個世界和人類行動模型（WHAM）Muse，并在國際頂級學術期刊《Nature》上發表相關論文。Muse是一個能夠生成游戲視頻的AI模型，其參數量高達16億，基于近7年的Xbox游戲數據進行訓練，能夠理解游戲物理和3D環境，生成玩家動作和視覺效果。

1. Muse模型的核心能力與數據

Muse模型的核心能力在于生成一致性、多樣性和持久性的游戲視頻。它能生成長達兩分鐘與真實游戲效果相近的視頻，并提供不同的攝像機角度、角色和游戲工具。此外，開發者可以添加新元素，Muse會自動將其合理融入畫面。

Muse的訓練數據來自Xbox游戲《Bleeding Edge》的7張地圖，包含約50萬個匿名游戲會話數據，總計27.89 TiB，相當于7年多的人類游戲時間。為了保護用戶隱私，所有個人身份信息（Xbox用戶ID）均已刪除。

2. 模型訓練與評估

Muse的訓練過程使用了VQGAN圖像編碼器，將圖像編碼為Tokens序列。研究人員通過調整Tokens數量來平衡圖像質量、生成速度和上下文長度。模型采用自回歸采樣生成新的序列，并允許修改Tokens以調整圖像或控制器動作。

模型評估方面，研究人員使用了Fréchet視頻距離（FVD）衡量一致性，Wasserstein距離衡量動作與真實玩家動作的接近程度。結果表明，Muse生成的視頻在一致性、多樣性和持久性方面都接近人類真實水平。

3. 多學科協作與技術細節

Muse的開發由微軟研究員、Xbox Games Studios和Ninja Theory合作完成。研究人員首先進行了用戶研究，確定了生成模型需要具備的一致性、多樣性、持久性等關鍵能力，以此指導模型的設計和訓練。

訓練初期，研究人員使用V100集群進行訓練，并最終擴展到100個GPU，并最終遷移到H100進行大規模訓練。 通過不斷改進，Muse能夠處理更高分辨率的圖像，并支持所有7張《Bleeding Edge》地圖。

4. 開源與未來展望

目前，微軟已開源Muse的權重和樣本數據，并提供了一個可視化的交互界面WHAM Demonstrator，方便開發者進行體驗和研究。Muse的出現展現了生成式AI在游戲領域的巨大潛力，未來有望重塑游戲體驗，并催生更多基于AI的新穎游戲。

盡管目前Muse生成的視頻分辨率僅為300×180像素，但這項研究仍具有里程碑式的意義，為未來更高質量、更逼真的AI游戲視頻生成奠定了基礎。

聯系作者

文章來源：智東西
作者微信：
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。