FaceLift – Adobe 聯(lián)合加州大學(xué)推出的單張圖像到 3D 頭部模型生成技術(shù)

FaceLift是什么

FaceLift是由Adobe與加州大學(xué)默塞德分校共同開發(fā)的一項(xiàng)創(chuàng)新技術(shù)，旨在將單一的人臉圖像轉(zhuǎn)換為360度的3D頭部模型。該技術(shù)采用兩階段的處理流程：首先，利用基于擴(kuò)散的多視圖生成模型，從一張正面人臉圖像生成一致的側(cè)面和背面視圖；接著，將生成的視圖輸入GS-LRM重建器，輸出詳細(xì)的3D高斯表示。FaceLift能夠精準(zhǔn)地保留個(gè)體的身份特征，生成高質(zhì)量的3D頭部模型，展現(xiàn)出豐富的幾何和紋理細(xì)節(jié)。

FaceLift的主要功能

• 單圖像3D頭部重建：快速而高效地從一張人臉圖像重建出完整的360度3D頭部模型，包括面部及頭發(fā)的精細(xì)細(xì)節(jié)。
• 多視圖一致性：生成的3D模型在不同角度下保持一致性，確保從任何視角觀看都能獲得優(yōu)質(zhì)的視覺效果。
• 身份特征保持：在重建過程中，準(zhǔn)確保留個(gè)體的身份特征，即使是在生成不可見視圖時(shí)也能確保高度一致性。
• 4D新視圖合成：支持視頻輸入，實(shí)現(xiàn)4D新視圖合成，在時(shí)間序列內(nèi)生成一致的3D模型，適應(yīng)動(dòng)態(tài)場景。
• 與2D重動(dòng)畫技術(shù)的無縫集成：與2D面部重動(dòng)畫技術(shù)完美結(jié)合，支持3D面部動(dòng)畫，為數(shù)字娛樂和虛擬現(xiàn)實(shí)應(yīng)用提供強(qiáng)力支持。

FaceLift的技術(shù)原理

• 多視圖擴(kuò)散模型：
  • 輸入處理：利用圖像條件擴(kuò)散模型，以單張正面人臉圖像為輸入，生成多角度圖像，包括側(cè)面和背面視圖。
  • 擴(kuò)散模型核心：采用Stable Diffusion V2-1-unCLIP模型，借助CLIP圖像編碼器生成的嵌入作為條件信號(hào)，確保生成圖像的身份與多視圖的一致性。
  • 多視圖注意力機(jī)制：通過多視圖注意力機(jī)制，模型在不同視圖之間共享信息，生成多視角一致的RGB圖像。
• GS-LRM重建器：
  • 輸入融合：將生成的多視圖圖像及其對(duì)應(yīng)的相機(jī)姿態(tài)輸入GS-LRM模型，生成詳細(xì)的3D高斯表示。
  • 3D高斯表示：使用3D高斯作為基礎(chǔ)表示，特別適合捕捉人類頭部的復(fù)雜細(xì)節(jié)，如頭發(fā)。每個(gè)2D像素對(duì)應(yīng)一個(gè)3D高斯，其參數(shù)包括RGB顏色、尺度、旋轉(zhuǎn)四元數(shù)、不透明度和射線距離等。
  • 變換器架構(gòu)：GS-LRM采用變換器架構(gòu)，從一組姿態(tài)圖像中回歸像素對(duì)齊的3D高斯，生成詳盡的3D模型。
• 優(yōu)化與評(píng)估：
  • 損失函數(shù)：在訓(xùn)練過程中，結(jié)合均方誤差和感知損失來優(yōu)化模型，確保生成的3D模型在視覺上與真實(shí)圖像高度一致。
  • 評(píng)估指標(biāo)：采用PSNR、SSIM、LPIPS和DreamSim等標(biāo)準(zhǔn)評(píng)估重建質(zhì)量，并基于ArcFace進(jìn)行身份特征保持的評(píng)估。

FaceLift的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://www.wlyu.me/FaceLift/
• GitHub倉庫：https://github.com/weijielyu/FaceLift
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.17812

FaceLift的應(yīng)用場景

• 虛擬現(xiàn)實(shí)（VR）與增強(qiáng)現(xiàn)實(shí)（AR）：創(chuàng)建真實(shí)感十足的3D虛擬角色，提供身臨其境的體驗(yàn)，支持實(shí)時(shí)互動(dòng)。
• 數(shù)字娛樂：生成高質(zhì)量的3D角色模型，適用于電影、電視劇、游戲開發(fā)及動(dòng)畫制作，提高制作效率與質(zhì)量。
• 遠(yuǎn)程存在系統(tǒng)：在視頻會(huì)議和遠(yuǎn)程協(xié)作中，以3D形式展示用戶，增強(qiáng)交流的自然感和沉浸感。
• 社交媒體與內(nèi)容創(chuàng)作：生成個(gè)性化的3D頭像，為內(nèi)容創(chuàng)作者提供創(chuàng)作工具，豐富創(chuàng)作內(nèi)容。
• 醫(yī)療與教育：生成逼真的3D人體模型，用于醫(yī)學(xué)教育、虛擬手術(shù)模擬及文化遺產(chǎn)保護(hù)與虛擬博物館展示。

常見問題

• FaceLift支持哪些輸入格式？：FaceLift支持單張人臉圖像及視頻輸入，能夠從中生成3D模型。
• 生成的3D模型可以用于哪些領(lǐng)域？：生成的3D模型廣泛應(yīng)用于虛擬現(xiàn)實(shí)、數(shù)字娛樂、醫(yī)療教育等領(lǐng)域，具有廣泛的應(yīng)用潛力。
• 如何訪問FaceLift的技術(shù)文檔和代碼？：用戶可以通過項(xiàng)目官網(wǎng)和GitHub倉庫獲取相關(guān)技術(shù)文檔和源代碼。
• FaceLift的生成時(shí)間是多久？：生成時(shí)間因輸入圖像的復(fù)雜性和系統(tǒng)性能而異，通常在幾秒到幾分鐘之間。