AnimaX – 北航聯(lián)合清華等推出的3D動畫生成框架
AnimaX 是一款由北京航空航天大學(xué)、清華大學(xué)、香港大學(xué)等院校聯(lián)合推出的前沿 3D 動畫生成框架,它巧妙地融合了視頻擴散模型的動作先驗與基于骨骼的動畫結(jié)構(gòu)。 憑借將視頻中的動作知識有效遷移到 3D 領(lǐng)域的卓越能力,AnimaX 能夠支持擁有任意骨骼結(jié)構(gòu)的多樣化關(guān)節(jié)網(wǎng)格。
AnimaX:開啟 3D 動畫新紀元
AnimaX,這款由國內(nèi)頂尖學(xué)府傾力打造的 3D 動畫生成框架,正在引領(lǐng)行業(yè)變革。它以視頻擴散模型的強大動作先驗為基石,結(jié)合基于骨骼的動畫結(jié)構(gòu),實現(xiàn)了視頻動作知識向 3D 領(lǐng)域的無縫遷移。 這款框架能夠兼容各種骨骼結(jié)構(gòu),支持多樣化的關(guān)節(jié)網(wǎng)格,為 3D 動畫的創(chuàng)作提供了無限可能。AnimaX 采用獨特的多視圖、多幀 2D 姿態(tài)圖來表征 3D 動作,并結(jié)合聯(lián)合視頻姿態(tài)擴散模型,融合共享位置編碼和模態(tài)感知嵌入,確保視頻與姿態(tài)序列的時空同步,從而生成高質(zhì)量的 3D 動畫。 經(jīng)過在包含 16 萬個綁定序列的大規(guī)模數(shù)據(jù)集上的精心訓(xùn)練,AnimaX 在泛化能力、動作逼真度和生成效率方面均表現(xiàn)出色,為類別無關(guān)的 3D 動畫提供了可擴展的解決方案。
AnimaX 的核心功能
- 骨骼結(jié)構(gòu)定制:AnimaX 能夠完美適配各種 3D 模型,無論是人類、動物還是家具,只要擁有不同的骨骼拓撲結(jié)構(gòu),都能輕松駕馭。
- 文本驅(qū)動的動畫創(chuàng)作:只需通過簡單的文本描述,用戶即可輕松定義動畫內(nèi)容,AnimaX 將根據(jù)文本提示生成相應(yīng)的動畫序列。
- 多視角呈現(xiàn)一致性:生成的動畫在多個視角下均保持高度一致,確保從不同角度觀察時,動畫的連貫性和真實感得以完美呈現(xiàn)。
- 高效的動畫生成:AnimaX 采用前饋式方法,能夠在極短的時間內(nèi)生成高質(zhì)量的 3D 動畫,大幅提升動畫制作效率。
AnimaX 的技術(shù)解析
- 聯(lián)合視頻姿態(tài)擴散模型:AnimaX 通過將 3D 動作轉(zhuǎn)化為多視圖、多幀的 2D 姿態(tài)圖,并利用視頻擴散模型的強大動作先驗,保證了與 3D 骨骼動畫的完美兼容性。 聯(lián)合視頻姿態(tài)擴散模型使 AnimaX 能夠同步生成視頻及其對應(yīng)的 2D 姿態(tài)序列,這種聯(lián)合生成策略確保了視頻和姿態(tài)之間的高度時空對齊。
- 共享位置編碼與模態(tài)感知嵌入:為了確保視頻和姿態(tài)序列之間的時空同步,AnimaX 引入了共享位置編碼,幫助模型更好地理解和對齊不同模態(tài)(RGB 視頻和姿態(tài)圖)中的空間信息。 模態(tài)感知嵌入則用于區(qū)分不同模態(tài)的數(shù)據(jù),確保模型能夠正確處理 RGB 視頻和姿態(tài)圖之間的差異。
- 多視角一致性保障:AnimaX 采用多視圖注意力機制和相機條件嵌入,保證生成的視頻在多個視角下保持一致。 這種設(shè)計使模型能夠?qū)W習(xí)不同視角之間的空間對應(yīng)關(guān)系,從而生成一致的多視圖視頻。
- 3D 動作重建與動畫:通過三角測量方法,AnimaX 將生成的多視圖姿態(tài)序列轉(zhuǎn)化為 3D 關(guān)節(jié)位置。 隨后,利用逆向?qū)W將 3D 關(guān)節(jié)位置轉(zhuǎn)換為關(guān)節(jié)角度,驅(qū)動 3D 模型的動畫。
- 大規(guī)模數(shù)據(jù)集的支撐:AnimaX 在一個精心策劃的、包含 16 萬個綁定序列的大規(guī)模數(shù)據(jù)集上進行了訓(xùn)練。 該數(shù)據(jù)集涵蓋了包括人類、動物、家具等多種類別,確保模型具備出色的泛化能力。
探索 AnimaX 的世界
- 項目官網(wǎng):https://anima-x.github.io/
- GitHub 倉庫:https://github.com/anima-x/anima-x
- 技術(shù)論文(arXiv):https://arxiv.org/pdf/2506.19851
AnimaX 的應(yīng)用場景
- 游戲開發(fā):加速角色和環(huán)境動畫的創(chuàng)作,提升開發(fā)效率和內(nèi)容豐富度。
- 影視制作:為動畫電影、視覺特效和虛擬角色生成動畫,增強視覺表現(xiàn)力。
- 虛擬現(xiàn)實(VR)與增強現(xiàn)實(AR):創(chuàng)建虛擬角色和動態(tài)環(huán)境動畫,提升沉浸式體驗。
- 廣告與營銷:制作生動的產(chǎn)品演示動畫,吸引觀眾眼球,提高互動性。
- 教育與培訓(xùn):生成虛擬實驗和模擬訓(xùn)練動畫,提升教學(xué)效果和培訓(xùn)質(zhì)量。
? 版權(quán)聲明
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載。
相關(guān)文章
暫無評論...