AnimaX – 北航聯(lián)合清華等推出的3D動(dòng)畫生成框架

AnimaX 是一款由北京航空航天大學(xué)、清華大學(xué)、香港大學(xué)等院校聯(lián)合推出的前沿 3D 動(dòng)畫生成框架，它巧妙地融合了視頻擴(kuò)散模型的動(dòng)作先驗(yàn)與基于骨骼的動(dòng)畫結(jié)構(gòu)。 憑借將視頻中的動(dòng)作知識(shí)有效遷移到 3D 領(lǐng)域的卓越能力，AnimaX 能夠支持擁有任意骨骼結(jié)構(gòu)的多樣化關(guān)節(jié)網(wǎng)格。

AnimaX：開啟 3D 動(dòng)畫新紀(jì)元

AnimaX，這款由國內(nèi)頂尖學(xué)府傾力打造的 3D 動(dòng)畫生成框架，正在引領(lǐng)行業(yè)變革。它以視頻擴(kuò)散模型的強(qiáng)大動(dòng)作先驗(yàn)為基石，結(jié)合基于骨骼的動(dòng)畫結(jié)構(gòu)，實(shí)現(xiàn)了視頻動(dòng)作知識(shí)向 3D 領(lǐng)域的無縫遷移。 這款框架能夠兼容各種骨骼結(jié)構(gòu)，支持多樣化的關(guān)節(jié)網(wǎng)格，為 3D 動(dòng)畫的創(chuàng)作提供了無限可能。AnimaX 采用獨(dú)特的多視圖、多幀 2D 姿態(tài)圖來表征 3D 動(dòng)作，并結(jié)合聯(lián)合視頻姿態(tài)擴(kuò)散模型，融合共享位置編碼和模態(tài)感知嵌入，確保視頻與姿態(tài)序列的時(shí)空同步，從而生成高質(zhì)量的 3D 動(dòng)畫。 經(jīng)過在包含 16 萬個(gè)綁定序列的大規(guī)模數(shù)據(jù)集上的精心訓(xùn)練，AnimaX 在泛化能力、動(dòng)作逼真度和生成效率方面均表現(xiàn)出色，為類別無關(guān)的 3D 動(dòng)畫提供了可擴(kuò)展的解決方案。

AnimaX 的核心功能

• 骨骼結(jié)構(gòu)定制：AnimaX 能夠完美適配各種 3D 模型，無論是人類、動(dòng)物還是家具，只要擁有不同的骨骼拓?fù)浣Y(jié)構(gòu)，都能輕松駕馭。
• 文本驅(qū)動(dòng)的動(dòng)畫創(chuàng)作：只需通過簡(jiǎn)單的文本描述，用戶即可輕松定義動(dòng)畫內(nèi)容，AnimaX 將根據(jù)文本提示生成相應(yīng)的動(dòng)畫序列。
• 多視角呈現(xiàn)一致性：生成的動(dòng)畫在多個(gè)視角下均保持高度一致，確保從不同角度觀察時(shí)，動(dòng)畫的連貫性和真實(shí)感得以完美呈現(xiàn)。
• 高效的動(dòng)畫生成：AnimaX 采用前饋式方法，能夠在極短的時(shí)間內(nèi)生成高質(zhì)量的 3D 動(dòng)畫，大幅提升動(dòng)畫制作效率。

AnimaX 的技術(shù)解析

• 聯(lián)合視頻姿態(tài)擴(kuò)散模型：AnimaX 通過將 3D 動(dòng)作轉(zhuǎn)化為多視圖、多幀的 2D 姿態(tài)圖，并利用視頻擴(kuò)散模型的強(qiáng)大動(dòng)作先驗(yàn)，保證了與 3D 骨骼動(dòng)畫的完美兼容性。 聯(lián)合視頻姿態(tài)擴(kuò)散模型使 AnimaX 能夠同步生成視頻及其對(duì)應(yīng)的 2D 姿態(tài)序列，這種聯(lián)合生成策略確保了視頻和姿態(tài)之間的高度時(shí)空對(duì)齊。
• 共享位置編碼與模態(tài)感知嵌入：為了確保視頻和姿態(tài)序列之間的時(shí)空同步，AnimaX 引入了共享位置編碼，幫助模型更好地理解和對(duì)齊不同模態(tài)（RGB 視頻和姿態(tài)圖）中的空間信息。 模態(tài)感知嵌入則用于區(qū)分不同模態(tài)的數(shù)據(jù)，確保模型能夠正確處理 RGB 視頻和姿態(tài)圖之間的差異。
• 多視角一致性保障：AnimaX 采用多視圖注意力機(jī)制和相機(jī)條件嵌入，保證生成的視頻在多個(gè)視角下保持一致。 這種設(shè)計(jì)使模型能夠?qū)W習(xí)不同視角之間的空間對(duì)應(yīng)關(guān)系，從而生成一致的多視圖視頻。
• 3D 動(dòng)作重建與動(dòng)畫：通過三角測(cè)量方法，AnimaX 將生成的多視圖姿態(tài)序列轉(zhuǎn)化為 3D 關(guān)節(jié)位置。 隨后，利用逆向?qū)W將 3D 關(guān)節(jié)位置轉(zhuǎn)換為關(guān)節(jié)角度，驅(qū)動(dòng) 3D 模型的動(dòng)畫。
• 大規(guī)模數(shù)據(jù)集的支撐：AnimaX 在一個(gè)精心策劃的、包含 16 萬個(gè)綁定序列的大規(guī)模數(shù)據(jù)集上進(jìn)行了訓(xùn)練。 該數(shù)據(jù)集涵蓋了包括人類、動(dòng)物、家具等多種類別，確保模型具備出色的泛化能力。

探索 AnimaX 的世界

• 項(xiàng)目官網(wǎng)：https://anima-x.github.io/
• GitHub 倉庫：https://github.com/anima-x/anima-x
• 技術(shù)論文（arXiv）：https://arxiv.org/pdf/2506.19851

AnimaX 的應(yīng)用場(chǎng)景

• 游戲開發(fā)：加速角色和環(huán)境動(dòng)畫的創(chuàng)作，提升開發(fā)效率和內(nèi)容豐富度。
• 影視制作：為動(dòng)畫電影、視覺特效和虛擬角色生成動(dòng)畫，增強(qiáng)視覺表現(xiàn)力。
• 虛擬現(xiàn)實(shí)（VR）與增強(qiáng)現(xiàn)實(shí)（AR）：創(chuàng)建虛擬角色和動(dòng)態(tài)環(huán)境動(dòng)畫，提升沉浸式體驗(yàn)。
• 廣告與營銷：制作生動(dòng)的產(chǎn)品演示動(dòng)畫，吸引觀眾眼球，提高互動(dòng)性。
• 教育與培訓(xùn)：生成虛擬實(shí)驗(yàn)和模擬訓(xùn)練動(dòng)畫，提升教學(xué)效果和培訓(xùn)質(zhì)量。