AnimaX – 北航聯合清華等推出的3D動畫生成框架

AnimaX 是一款由北京航空航天大學、清華大學、香港大學等院校聯合推出的前沿 3D 動畫生成框架，它巧妙地融合了視頻擴散模型的動作先驗與基于骨骼的動畫結構。 憑借將視頻中的動作知識有效遷移到 3D 領域的卓越能力，AnimaX 能夠支持擁有任意骨骼結構的多樣化關節網格。

AnimaX：開啟 3D 動畫新紀元

AnimaX，這款由國內頂尖學府傾力打造的 3D 動畫生成框架，正在引領行業變革。它以視頻擴散模型的強大動作先驗為基石，結合基于骨骼的動畫結構，實現了視頻動作知識向 3D 領域的無縫遷移。 這款框架能夠兼容各種骨骼結構，支持多樣化的關節網格，為 3D 動畫的創作提供了無限可能。AnimaX 采用獨特的多視圖、多幀 2D 姿態圖來表征 3D 動作，并結合聯合視頻姿態擴散模型，融合共享位置編碼和模態感知嵌入，確保視頻與姿態序列的時空同步，從而生成高質量的 3D 動畫。 經過在包含 16 萬個綁定序列的大規模數據集上的精心訓練，AnimaX 在泛化能力、動作逼真度和生成效率方面均表現出色，為類別無關的 3D 動畫提供了可擴展的解決方案。

AnimaX 的核心功能

• 骨骼結構定制：AnimaX 能夠完美適配各種 3D 模型，無論是人類、動物還是家具，只要擁有不同的骨骼拓撲結構，都能輕松駕馭。
• 文本驅動的動畫創作：只需通過簡單的文本描述，用戶即可輕松定義動畫內容，AnimaX 將根據文本提示生成相應的動畫序列。
• 多視角呈現一致性：生成的動畫在多個視角下均保持高度一致，確保從不同角度觀察時，動畫的連貫性和真實感得以完美呈現。
• 高效的動畫生成：AnimaX 采用前饋式方法，能夠在極短的時間內生成高質量的 3D 動畫，大幅提升動畫制作效率。

AnimaX 的技術解析

• 聯合視頻姿態擴散模型：AnimaX 通過將 3D 動作轉化為多視圖、多幀的 2D 姿態圖，并利用視頻擴散模型的強大動作先驗，保證了與 3D 骨骼動畫的完美兼容性。 聯合視頻姿態擴散模型使 AnimaX 能夠同步生成視頻及其對應的 2D 姿態序列，這種聯合生成策略確保了視頻和姿態之間的高度時空對齊。
• 共享位置編碼與模態感知嵌入：為了確保視頻和姿態序列之間的時空同步，AnimaX 引入了共享位置編碼，幫助模型更好地理解和對齊不同模態（RGB 視頻和姿態圖）中的空間信息。 模態感知嵌入則用于區分不同模態的數據，確保模型能夠正確處理 RGB 視頻和姿態圖之間的差異。
• 多視角一致性保障：AnimaX 采用多視圖注意力機制和相機條件嵌入，保證生成的視頻在多個視角下保持一致。 這種設計使模型能夠學習不同視角之間的空間對應關系，從而生成一致的多視圖視頻。
• 3D 動作重建與動畫：通過三角測量方法，AnimaX 將生成的多視圖姿態序列轉化為 3D 關節位置。 隨后，利用逆向學將 3D 關節位置轉換為關節角度，驅動 3D 模型的動畫。
• 大規模數據集的支撐：AnimaX 在一個精心策劃的、包含 16 萬個綁定序列的大規模數據集上進行了訓練。 該數據集涵蓋了包括人類、動物、家具等多種類別，確保模型具備出色的泛化能力。

探索 AnimaX 的世界

• 項目官網：https://anima-x.github.io/
• GitHub 倉庫：https://github.com/anima-x/anima-x
• 技術論文（arXiv）：https://arxiv.org/pdf/2506.19851

AnimaX 的應用場景

• 游戲開發：加速角色和環境動畫的創作，提升開發效率和內容豐富度。
• 影視制作：為動畫電影、視覺特效和虛擬角色生成動畫，增強視覺表現力。
• 虛擬現實（VR）與增強現實（AR）：創建虛擬角色和動態環境動畫，提升沉浸式體驗。
• 廣告與營銷：制作生動的產品演示動畫，吸引觀眾眼球，提高互動性。
• 教育與培訓：生成虛擬實驗和模擬訓練動畫，提升教學效果和培訓質量。