HumanRig – 阿里高德推出的3D人形角色自動(dòng)綁定任務(wù)數(shù)據(jù)集

HumanRig 是阿里巴巴團(tuán)隊(duì)推出的一項(xiàng)創(chuàng)新性研究項(xiàng)目，專(zhuān)注于 3D 人形角色的自動(dòng)綁定技術(shù)。它旨在克服當(dāng)前綁定技術(shù)面臨的局限性，尤其是由于缺乏高質(zhì)量數(shù)據(jù)集而導(dǎo)致的發(fā)展障礙。通過(guò)提供一個(gè)大規(guī)模且高質(zhì)量的數(shù)據(jù)集，并結(jié)合前沿的自動(dòng)綁定框架，HumanRig 促進(jìn)了 3D 角色動(dòng)畫(huà)制作的自動(dòng)化進(jìn)程。

HumanRig是什么

HumanRig 是由阿里巴巴團(tuán)隊(duì)開(kāi)發(fā)的 3D 人形角色自動(dòng)綁定項(xiàng)目，旨在解決現(xiàn)有技術(shù)因缺少高質(zhì)量數(shù)據(jù)集而受到限制的問(wèn)題。該項(xiàng)目通過(guò)提供一個(gè)包含 11,434 個(gè) T 姿態(tài)網(wǎng)格的大規(guī)模數(shù)據(jù)集，填補(bǔ)了現(xiàn)有數(shù)據(jù)集在規(guī)模、多樣性和骨架一致性方面的空白。所有模型遵循統(tǒng)一的骨骼拓?fù)浣Y(jié)構(gòu)，涵蓋真實(shí)人物、卡通角色以及擬人化動(dòng)物等多種角色類(lèi)型。HumanRig 的自動(dòng)綁定框架采用先驗(yàn)引導(dǎo)骨架估計(jì)器（PGSE）和網(wǎng)格-骨架互注意網(wǎng)絡(luò)（MSMAN），實(shí)現(xiàn)了高效的骨架關(guān)節(jié)回歸和蒙皮權(quán)重估計(jì)，性能超越了現(xiàn)有的方法。

HumanRig的主要功能

• 提供大規(guī)模高質(zhì)量數(shù)據(jù)集：HumanRig 是首個(gè)專(zhuān)為 3D 人形角色自動(dòng)綁定設(shè)計(jì)的龐大數(shù)據(jù)集，包含 11,434 個(gè)高質(zhì)量的 AI 生形網(wǎng)格，所有模型均為 T-pose 形態(tài)，并嚴(yán)格遵循行業(yè)標(biāo)準(zhǔn)骨骼拓?fù)浣Y(jié)構(gòu)，適用于主流動(dòng)畫(huà)引擎。此數(shù)據(jù)集在規(guī)模、多樣性和骨架一致性方面具備顯著優(yōu)勢(shì)。
• 先驗(yàn)引導(dǎo)骨架估計(jì)器（PGSE）：基于 2D 先驗(yàn)信息投射到 3D 空間，快速生成粗略骨架，從而顯著降低綁定任務(wù)的復(fù)雜性。
• U形 Point Transformer作為網(wǎng)格編碼器：不依賴(lài)于 3D 網(wǎng)格的邊信息，增強(qiáng)了復(fù)雜網(wǎng)格上的綁定魯棒性。
• 網(wǎng)格-骨架互注意力網(wǎng)絡(luò)（MSMAN）：在高級(jí)語(yǔ)義空間中融合網(wǎng)格與骨架特征，實(shí)現(xiàn)了骨架構(gòu)建與蒙皮的聯(lián)合優(yōu)化。

HumanRig的技術(shù)原理

• HumanRig 數(shù)據(jù)集構(gòu)建：
  • 生成多樣化 2D 圖像：通過(guò) AI 技術(shù)從文本描述生成多樣化的 T-pose 角像。
  • 生成高質(zhì)量 3D 網(wǎng)格：利用 InstantMesh 和 Unique3D 等工具，將 2D 圖像轉(zhuǎn)換為高質(zhì)量的 3D 網(wǎng)格。
  • 篩選與優(yōu)化：從 17,268 個(gè)初始網(wǎng)格中篩選出 14,662 個(gè)高質(zhì)量模型，并使用 Mixamo 半自動(dòng)化工具進(jìn)行骨骼綁定，最終形成 11,434 個(gè)高質(zhì)量綁定模型。
• 自動(dòng)綁定流程：
  • 骨架初始化：通過(guò) PGSE 模塊生成初步骨架。
  • 特征提取：使用基于 MLP 的骨架編碼器和 U 形 Point Transformer 分別提取骨架和網(wǎng)格特征。
  • 特征融合與優(yōu)化：通過(guò) MSMAN 模塊融合骨架和網(wǎng)格特征，實(shí)現(xiàn)精細(xì)化的骨架關(guān)節(jié)回歸和蒙皮權(quán)重估計(jì)。
  • 生成動(dòng)畫(huà)角色：最終將優(yōu)化后的骨架與蒙皮權(quán)重結(jié)合，生成可用于動(dòng)畫(huà)制作的角色。

HumanRig的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://c8241998.github.io/HumanRig/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.02317

HumanRig的應(yīng)用場(chǎng)景

• 游戲開(kāi)發(fā)：在游戲制作中，HumanRig 的自動(dòng)綁定技術(shù)顯著減少了角色動(dòng)畫(huà)制作的時(shí)間和成本，尤其在處理復(fù)雜角色模型時(shí)表現(xiàn)尤為出色。
• 影視制作：在影視行業(yè)，HumanRig 的自動(dòng)綁定技術(shù)能夠快速生成高質(zhì)量的角色綁定，大幅提升制作效率。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)應(yīng)用中，實(shí)時(shí)交互的角色動(dòng)畫(huà)是提升沉浸感的關(guān)鍵。HumanRig 的自動(dòng)綁定技術(shù)為虛擬角色提供實(shí)時(shí)的骨骼動(dòng)畫(huà)支持，確保動(dòng)作自然流暢。
• 3D 數(shù)字人：借助自動(dòng)綁定技術(shù)，高德地圖可快速生成個(gè)性化的 3D 數(shù)字人，為用戶(hù)提供更具互動(dòng)性和趣味性的導(dǎo)航體驗(yàn)。

常見(jiàn)問(wèn)題

• HumanRig 的數(shù)據(jù)集如何獲得？：用戶(hù)可以通過(guò)項(xiàng)目官網(wǎng)獲取相關(guān)數(shù)據(jù)集和資源。
• HumanRig 的自動(dòng)綁定過(guò)程是否復(fù)雜？：HumanRig 采用了先進(jìn)的技術(shù)框架，使得自動(dòng)綁定過(guò)程顯著簡(jiǎn)化，用戶(hù)只需關(guān)注最終效果。
• HumanRig 支持哪些動(dòng)畫(huà)引擎？：生成的模型遵循行業(yè)標(biāo)準(zhǔn)的骨骼拓?fù)浣Y(jié)構(gòu)，兼容主流的動(dòng)畫(huà)引擎。