GeneMAN是一款由上海AI實(shí)驗(yàn)室、北京大學(xué)、南洋理工大學(xué)和上海交通大合開發(fā)的3D人形創(chuàng)建框架，能夠從單張圖片中生成高保真的3D人體模型。該框架不依賴傳統(tǒng)的參數(shù)化人體模型，而是利用大量高質(zhì)量的人類數(shù)據(jù)集，包括3D掃描、多視角視頻、單張照片和合成數(shù)據(jù)，來訓(xùn)練人類特定的2D和3D先驗(yàn)?zāi)Ｐ汀?/p>

GeneMAN是什么

GeneMAN是一個(gè)先進(jìn)的3D人形創(chuàng)建框架，由上海AI實(shí)驗(yàn)室與多所頂尖高校聯(lián)合研發(fā)。它的主要功能是從一張普通的圖片中生成高保真的3D人體模型。該框架通過結(jié)合多種高質(zhì)量的數(shù)據(jù)集，包括3D掃描、多視角視頻以及單張照片，訓(xùn)練出人類特定的2D和3D先驗(yàn)?zāi)Ｐ汀eneMAN采用幾何初始化、雕刻流程和多空間紋理細(xì)化技術(shù)，實(shí)現(xiàn)了從自然環(huán)境的圖像中提取高質(zhì)量3D人體模型的能力，能夠適應(yīng)不同的人體比例、姿勢(shì)和服裝。

GeneMAN的主要功能

• 處理多樣化的人體比例：無論是全身、半身還是特寫，GeneMAN均能生成相應(yīng)的3D模型。
• 適應(yīng)不同的服裝和姿勢(shì)：能夠處理多種服裝設(shè)計(jì)和各種姿勢(shì)，包括自然姿勢(shì)及常見物品的使用。
• 處理野外圖像：特別擅長處理自然環(huán)境下的圖像，這些圖像通常包含復(fù)雜背景和多變的光照條件。
• 生成高質(zhì)量的紋理：通過多空間紋理細(xì)化流程，GeneMAN能夠生成與輸入圖像細(xì)節(jié)一致的高質(zhì)量3D人體紋理。

GeneMAN的技術(shù)原理

• 2D和3D人類先驗(yàn)?zāi)Ｐ陀?xùn)練：
  • 文本到圖像擴(kuò)散模型：用于生成2D人類先驗(yàn)的訓(xùn)練模型。
  • 視圖條件擴(kuò)散模型：用于生成3D人類先驗(yàn)的訓(xùn)練模型。
• 幾何初始化與雕刻流程：
  • 無模板幾何初始化：采用NeRF（神經(jīng)輻射場(chǎng)）技術(shù)生成無模板的3D幾何形狀。
  • 結(jié)合先驗(yàn)與損失：利用GeneMAN的2D和3D先驗(yàn)及結(jié)構(gòu)化差異損失（SDS損失）來引導(dǎo)幾何初始化。
  • 參考損失：確保生成的3D模型與輸入圖像的對(duì)齊。
  • 高分辨率細(xì)化：將NeRF生成的模型轉(zhuǎn)換為DMTet（深度多面體網(wǎng)格），進(jìn)行高分辨率的幾何細(xì)化。
• 多空間紋理細(xì)化流程：
  • 粗紋理生成：通過多視圖紋理技術(shù)生成初步紋理。
  • 潛在空間細(xì)化：在潛在空間中對(duì)紋理進(jìn)行迭代細(xì)化。
  • 像素空間細(xì)化：利用優(yōu)化UV圖在像素空間中獲得細(xì)致紋理，基于2D先驗(yàn)的ControlNet進(jìn)行優(yōu)化。

GeneMAN的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：roooooz.github.io/GeneMAN
• GitHub倉庫：https://github.com/roooooz/GeneMAN（即將開源）
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.18624

GeneMAN的應(yīng)用場(chǎng)景

• 虛擬試衣：用戶只需上傳自己的全身照片，GeneMAN便可生成3D模型，幫助用戶在線試穿服裝，提升試衣體驗(yàn)的真實(shí)感。
• 游戲和娛樂：在游戲和影視制作中，GeneMAN可用于創(chuàng)建或修改角色模型，實(shí)現(xiàn)更個(gè)性化、逼真的角色設(shè)計(jì)。
• 增強(qiáng)現(xiàn)實(shí)（AR）和虛擬現(xiàn)實(shí)（VR）：在AR和VR應(yīng)用中，生成用戶的3D化身，增強(qiáng)沉浸感和交互性。
• 時(shí)尚設(shè)計(jì)：設(shè)計(jì)師能夠快速將設(shè)計(jì)草圖轉(zhuǎn)化為3D模型，加快設(shè)計(jì)流程。
• 健身和健康管理：通過分析用戶的3D模型，GeneMAN能夠提供個(gè)性化的健身指導(dǎo)和健康建議。

常見問題

• GeneMAN支持哪些類型的圖片？：GeneMAN可以處理多種類型的圖片，包括全身照、半身照和特寫照片。
• 生成的3D模型可以用于什么用途？：生成的3D模型可以廣泛應(yīng)用于虛擬試衣、游戲角色設(shè)計(jì)、增強(qiáng)現(xiàn)實(shí)等多個(gè)領(lǐng)域。
• 如何訪問GeneMAN的開源代碼？：用戶可以訪問GeneMAN的GitHub倉庫，獲取即將開源的代碼。