3DHM – 3D人體動(dòng)作生成框架，單張圖片生成任意視頻動(dòng)作

3DHM是什么

3DHM（3D Human Motions）是一項(xiàng)由加州大學(xué)伯克利分校的研究團(tuán)隊(duì)開(kāi)發(fā)的先進(jìn)3D人體動(dòng)作生成技術(shù)。該技術(shù)能夠依托單張人物照片，生成可進(jìn)行3D控制的動(dòng)態(tài)人體視頻，實(shí)現(xiàn)靜態(tài)圖像向動(dòng)態(tài)視頻的轉(zhuǎn)換。通過(guò)對(duì)人體不可見(jiàn)部分的先驗(yàn)知識(shí)的學(xué)習(xí)，并結(jié)合特定的3D序列，3DHM可以渲染出適合的服裝和紋理，生成全新的身體姿態(tài)。這項(xiàng)技術(shù)在電影特效、虛擬現(xiàn)實(shí)和游戲開(kāi)發(fā)等多個(gè)領(lǐng)域展現(xiàn)出廣泛的應(yīng)用潛力，為動(dòng)畫(huà)制作和人體動(dòng)作模擬開(kāi)辟了新局面。

3DHM的主要功能

• 動(dòng)作生成：3DHM可以根據(jù)文本描述生成相關(guān)的3D人體動(dòng)作，如跑步、舞蹈、打籃球等。
• 動(dòng)作編輯：支持基于掩碼的編輯功能，用戶可以選擇特定的動(dòng)作部分進(jìn)行調(diào)整，例如改變動(dòng)作的持續(xù)時(shí)間或細(xì)節(jié)。
• 動(dòng)作評(píng)估：提供評(píng)估腳本，用于分析生成動(dòng)作的質(zhì)量和真實(shí)性。
• 紋理修復(fù)：通過(guò)單張照片生成不完整的紋理，并利用擴(kuò)散模型進(jìn)行修復(fù)，以生成完整的紋理圖案。
• 人體渲染：基于3D人體姿勢(shì)的渲染流程，可以生成目標(biāo)人物在不同姿勢(shì)下的逼真渲染，包括衣物、發(fā)型和隱藏區(qū)域的合理填充。
• 動(dòng)作模仿：3DHM框架能夠模仿目標(biāo)視頻中的動(dòng)作，包括肢體和服裝、人物外觀的變化。
• 3D控制：3DHM能夠使用多種合成相機(jī)軌跡來(lái)渲染人物，生成一系列忠實(shí)于目標(biāo)的3D姿態(tài)，確保視覺(jué)效果與輸入圖像相似。

3DHM的技術(shù)原理

• 紋理修復(fù)（Inpainting Diffusion）：通過(guò)單張照片生成不完整的紋理圖案，并采用擴(kuò)散模型進(jìn)行修復(fù)。首先，從照片中提取可見(jiàn)的紋理圖案及其對(duì)應(yīng)的mask，然后將這些輸入傳入擴(kuò)散模型以生成完整的紋理圖案。
• 人體渲染（Rendering Diffusion）：在第二階段，目標(biāo)是獲得更真實(shí)的人物渲染，包括衣物、發(fā)型和身體形狀等細(xì)節(jié)。將第一階段生成的紋理圖案應(yīng)用于演員的3D身體網(wǎng)格序列，生成模仿者執(zhí)行演員動(dòng)作的中間渲染，隨后將其與原始照片一起輸入渲染擴(kuò)散，生成真實(shí)外觀的人物。
• 預(yù)測(cè)模型4DHumans：3DHM框架充分利用來(lái)自先進(jìn)預(yù)測(cè)模型4DHumans的準(zhǔn)確3D姿勢(shì)預(yù)測(cè)，模型能夠精確跟蹤人體動(dòng)作并提取演員視頻中的3D姿勢(shì)。

3DHM的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://boyiliee.github.io/3DHM
• Github倉(cāng)庫(kù)：https://github.com/Boyiliee/3DHM
• arXiv技術(shù)論文：https://arxiv.org/pdf/2401.10889

3DHM的應(yīng)用場(chǎng)景

• 電影特效制作：3DHM可用于生成復(fù)雜的角色動(dòng)畫(huà)，減少手動(dòng)制作的工作量，提高電影特效的真實(shí)感與效率。
• 虛擬現(xiàn)實(shí)（VR）：在VR應(yīng)用中，3DHM能夠?qū)崟r(shí)生成用戶身體的3D模型，提升沉浸感和互動(dòng)體驗(yàn)。
• 游戲開(kāi)發(fā)：游戲開(kāi)發(fā)者可以利用3DHM快速生成多樣化的角色動(dòng)畫(huà)，增強(qiáng)游戲的豐富性與開(kāi)發(fā)效率。
• 舞蹈與體操：3DHM能夠生成舞蹈或體操等動(dòng)作的高質(zhì)量視頻內(nèi)容，適用于體育訓(xùn)練和表演藝術(shù)的數(shù)字化展示。
• 動(dòng)作模仿：3DHM能夠精準(zhǔn)模仿目標(biāo)視頻中的動(dòng)作，包括肢體及服裝和人物外觀的變化，適合用于動(dòng)作捕捉和動(dòng)畫(huà)制作。