UniRig

UniRig – 清華聯(lián)合 VAST 開源的通用自動骨骼綁定框架

UniRig是清華大學(xué)計算機系與VAST聯(lián)合開發(fā)的前沿自動骨骼綁定框架，專為處理復(fù)雜且多樣化的3D模型而設(shè)計。基于強大的自回歸模型和骨骼點交叉注意力機制，UniRig能夠生成高質(zhì)量的骨骼結(jié)構(gòu)和精確的蒙皮權(quán)重，大幅提升動畫制作的效率和質(zhì)量。

UniRig是什么

UniRig是由清華大學(xué)計算機系與VAST共同推出的一種創(chuàng)新性自動骨骼綁定框架，旨在處理復(fù)雜多樣的3D模型。該框架利用大型自回歸模型和骨骼點交叉注意力機制，生成高質(zhì)量的骨骼結(jié)構(gòu)和蒙皮權(quán)重。UniRig引入了Rig-XL數(shù)據(jù)集，包含超過14,000個3D模型，涵蓋多種類型，廣泛應(yīng)用于訓(xùn)練和評估。與現(xiàn)有的學(xué)術(shù)和商業(yè)方法相比，UniRig在骨骼綁定和精度方面表現(xiàn)出顯著優(yōu)勢，能夠無縫適用于從動漫角色到復(fù)雜有機和無機結(jié)構(gòu)的多種對象，極大地提升動畫制作的效率。

UniRig的主要功能

• 自動骨骼生成：為各類3D模型（如人類、動物、虛構(gòu)角色等）自動生成拓撲結(jié)構(gòu)合理的骨骼樹。
• 蒙皮權(quán)重預(yù)測：預(yù)測每根骨骼對模型頂點的影響權(quán)重，確保在骨骼動畫驅(qū)動下，網(wǎng)格自然變形。
• 支持多樣化模型：適用于多種類型的3D模型，包括復(fù)雜的有機和無機結(jié)構(gòu)。
• 高效動畫制作：顯著提高動畫制作效率，減少手動操作所需的時間和工作量。
• 動態(tài)效果支持：生成支持物理模擬的骨骼屬性（如彈簧骨骼）。

UniRig的技術(shù)原理

• 骨骼樹標記化：將骨骼樹結(jié)構(gòu)轉(zhuǎn)換為序列化標記，以便自回歸模型高效處理。特殊標記（如<type>）用于表示骨骼類型（如彈簧骨骼、模板骨骼），通過深度優(yōu)先搜索（DFS）算法提取線性骨骼鏈，緊湊表示骨骼結(jié)構(gòu)。骨骼樹標記化能夠減少序列長度，從而提高模型的訓(xùn)練和推理效率。
• 自回歸模型：基于Transformer構(gòu)建的自回歸模型（例如Skeleton Tree GPT）用于預(yù)測骨骼樹。模型逐個生成標記以構(gòu)建骨骼樹，確保生成的骨骼結(jié)構(gòu)在拓撲上有效。模型的輸入包括從3D網(wǎng)格采樣的點云和可選的類別信息，輸出為表示骨骼樹的標記序列。
• 骨骼點交叉注意力機制：通過點云編碼器和骨骼編碼器分別提取點云和骨骼樹特征，利用交叉注意力機制結(jié)合特征，以預(yù)測蒙皮權(quán)重。
• 大規(guī)模數(shù)據(jù)集：為訓(xùn)練和評估UniRig，研究人員構(gòu)建了Rig-XL數(shù)據(jù)集，包含超過14,000個3D模型，涵蓋多種類別。數(shù)據(jù)集的多樣性和規(guī)模使UniRig能夠?qū)W習(xí)不同類型的骨骼結(jié)構(gòu)和蒙皮權(quán)重，提升模型的泛化能力。
• 物理模擬輔助訓(xùn)練：在訓(xùn)練過程中引入物理模擬，通過模擬骨骼在物理力（如重力、彈性力）下的，評估預(yù)測的蒙皮權(quán)重和骨骼屬性的合理性。間接監(jiān)督方法引導(dǎo)模型學(xué)習(xí)更逼真的蒙皮權(quán)重，從而提高動畫的真實感。

UniRig的項目地址

• 項目官網(wǎng)：https://zjp-shadow.github.io/works/UniRig/
• GitHub倉庫：https://github.com/VAST-AI-Research/UniRig
• HuggingFace模型庫：https://huggingface.co/VAST-AI/UniRig
• arXiv技術(shù)論文：https://zjp-shadow.github.io/works/UniRig/static/supp/UniRig.pdf

UniRig的應(yīng)用場景

• 動畫制作：快速生成骨骼和蒙皮權(quán)重，減少手動操作，提升動畫制作效率。
• 虛擬角色：為虛擬角色（如VTuber）生成自然流暢的骨骼綁定，支持實時動畫。
• 游戲開發(fā)：快速生成角色和物體的骨骼綁定，支持動態(tài)效果，增強游戲視覺效果。
• 3D內(nèi)容創(chuàng)作：適用于建筑設(shè)計、工業(yè)設(shè)計等領(lǐng)域，支持多樣化3D模型的骨骼綁定。
• 教育領(lǐng)域：作為教學(xué)工具，幫助學(xué)習(xí)者迅速掌握骨骼動畫的基本概念。

常見問題

• UniRig如何使用？：用戶可以通過項目官網(wǎng)或GitHub倉庫獲取詳細的使用說明和示例代碼。
• UniRig支持哪些3D模型格式？：UniRig支持多種常見的3D模型格式，具體格式可參考項目文檔。
• UniRig的性能如何？：UniRig在多種測試中表現(xiàn)優(yōu)異，尤其在骨骼綁定和精度方面明顯優(yōu)于傳統(tǒng)方法。
• 如何參與UniRig的開發(fā)？：用戶可以通過GitHub提交問題和建議，亦可貢獻代碼或文檔。