Make-It-Animatable：中科大與騰訊聯(lián)手打造智能即時(shí)動(dòng)畫(huà)生成資產(chǎn)系統(tǒng)

Make-It-Animatable是由中國(guó)科學(xué)技術(shù)大學(xué)與騰訊PCG聯(lián)合開(kāi)發(fā)的一種數(shù)據(jù)驅(qū)動(dòng)框架，能夠在短短一秒鐘內(nèi)將任何3D人形模型轉(zhuǎn)換為可用于角色動(dòng)畫(huà)的狀態(tài)，無(wú)論其外觀或姿勢(shì)如何。該框架通過(guò)生成高質(zhì)量的混合權(quán)重、骨骼和姿勢(shì)變換，支持多種3D表示形式，包括網(wǎng)格和3D高斯斑點(diǎn)。與傳統(tǒng)方法相比，Make-It-Animatable在質(zhì)量和速度上均顯著提升，確保了對(duì)模型的準(zhǔn)確性和魯棒性，特別適用于非標(biāo)準(zhǔn)骨架結(jié)構(gòu)的角色。

什么是Make-It-Animatable

Make-It-Animatable是一個(gè)先進(jìn)的數(shù)據(jù)驅(qū)動(dòng)框架，由中國(guó)科學(xué)技術(shù)大學(xué)與騰訊PCG共同推出。它能夠在不到一秒的時(shí)間內(nèi)使任何3D人形模型準(zhǔn)備好進(jìn)行角色動(dòng)畫(huà)，無(wú)論模型的形態(tài)和姿勢(shì)如何。該框架的核心在于生成高質(zhì)量的混合權(quán)重和骨骼，同時(shí)支持多種3D表現(xiàn)形式，如網(wǎng)格和3D高斯斑點(diǎn)。通過(guò)從粗到細(xì)的表示和結(jié)構(gòu)感知建模策略，該框架確保了模型的準(zhǔn)確性和魯棒性，適用于多種骨架結(jié)構(gòu)的角色。

主要功能

• 即時(shí)動(dòng)畫(huà)準(zhǔn)備：快速將任何3D人形模型轉(zhuǎn)換為可動(dòng)畫(huà)的狀態(tài)，無(wú)論其形狀和姿勢(shì)如何。
• 自動(dòng)生成動(dòng)畫(huà)資產(chǎn)：自動(dòng)創(chuàng)建高質(zhì)量的骨骼、混合權(quán)重和姿勢(shì)變換，為動(dòng)畫(huà)制作提供所需數(shù)據(jù)。
• 支持多種3D數(shù)據(jù)格式：兼容包括3D網(wǎng)格和3D高斯斑點(diǎn)在內(nèi)的多種3D數(shù)據(jù)表示。
• 精細(xì)到粗糙的多級(jí)表示：采用從精細(xì)到粗糙的多級(jí)表示方法，提升模型關(guān)鍵區(qū)域的細(xì)節(jié)捕捉能力。
• 結(jié)構(gòu)感知建模：識(shí)別并適應(yīng)非標(biāo)準(zhǔn)骨架結(jié)構(gòu)，提升模型的適應(yīng)性與準(zhǔn)確度。

技術(shù)原理

• 基于粒子的形狀自編碼器：利用粒子自編碼器技術(shù)進(jìn)行3D形狀的編碼和解碼，支持多種3D表示。
• 從粗到細(xì)的表示策略：首先進(jìn)行粗略的形狀和關(guān)節(jié)位置預(yù)測(cè)，然后逐步細(xì)化以提高精度。
• 結(jié)構(gòu)感知的骨骼建模：結(jié)合骨骼的拓?fù)浣Y(jié)構(gòu)來(lái)提高骨骼預(yù)測(cè)的準(zhǔn)確性，尤其是處理復(fù)雜骨骼結(jié)構(gòu)時(shí)。
• 混合權(quán)重和骨骼位置預(yù)測(cè)：利用深度學(xué)習(xí)技術(shù)預(yù)測(cè)每個(gè)頂點(diǎn)的混合權(quán)重和骨骼位置，實(shí)現(xiàn)精準(zhǔn)的蒙皮效果。
• 姿勢(shì)變換的預(yù)測(cè)：預(yù)測(cè)模型從當(dāng)前姿勢(shì)向標(biāo)準(zhǔn)休息姿勢(shì)的變換，以便應(yīng)用多種動(dòng)畫(huà)效果。

項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：jasongzy.github.io/Make-It-Animatable
• GitHub倉(cāng)庫(kù)：https://github.com/jasongzy/Make-It-Animatable
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.18197
• 在線(xiàn)體驗(yàn)Demo：https://make-it-animatable.jasongzy.com/

應(yīng)用場(chǎng)景

• 視頻游戲開(kāi)發(fā)：迅速生成游戲角色動(dòng)畫(huà)，降低手動(dòng)調(diào)整骨骼和蒙皮所需的時(shí)間，從而提升游戲開(kāi)發(fā)效率。
• 電影和電視制作：在影視作品中制作CG角色動(dòng)畫(huà)，提升動(dòng)畫(huà)的真實(shí)感和制作速度。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在VR和AR應(yīng)用中快速生成逼真的3D角色，增強(qiáng)用戶(hù)體驗(yàn)。
• 動(dòng)畫(huà)電影和系列：動(dòng)畫(huà)制作團(tuán)隊(duì)能夠迅速制作出高質(zhì)量的動(dòng)畫(huà)序列，節(jié)省時(shí)間和成本。
• 模擬和訓(xùn)練軟件：在軍事或醫(yī)療模擬軟件中，快速生成逼真的角色動(dòng)作，為模擬訓(xùn)練提供支持。

常見(jiàn)問(wèn)題

• Make-It-Animatable支持哪些3D格式？：該框架支持多種3D格式，包括3D網(wǎng)格和3D高斯斑點(diǎn)。
• 如何提高模型的動(dòng)畫(huà)質(zhì)量？：通過(guò)采用多級(jí)表示和結(jié)構(gòu)感知建模技術(shù)，Make-It-Animatable能有效提高模型動(dòng)畫(huà)質(zhì)量。
• 使用Make-It-Animatable需要具備哪些技術(shù)背景？：雖然有一定的技術(shù)背景會(huì)有幫助，但該框架的設(shè)計(jì)旨在簡(jiǎn)化動(dòng)畫(huà)準(zhǔn)備過(guò)程，使更多用戶(hù)能夠輕松上手。
• 是否可以在不同的應(yīng)用場(chǎng)景中使用Make-It-Animatable？：是的，該框架適用于視頻游戲、電影制作、VR/AR應(yīng)用等多個(gè)領(lǐng)域。