幾何紋理重建新SOTA!浙大提出SIFU:單圖即可重建高質(zhì)量3D人體模型
AIGC動態(tài)歡迎閱讀
原標(biāo)題:幾何紋理重建新SOTA!浙大提出SIFU:單圖即可重建高質(zhì)量3D人體模型
關(guān)鍵字:模型,紋理,人體,特征,側(cè)視圖
文章來源:新智元
內(nèi)容字?jǐn)?shù):7738字
內(nèi)容摘要:
新智元報道編輯:LRS
【新智元導(dǎo)讀】最近來自浙江大學(xué)ReLER實驗室的研究人員提出SIFU模型,一種側(cè)視圖條件隱函數(shù)模型用于單張圖片3D人體重建。模型通過引入人體側(cè)視圖作為先驗條件,并結(jié)合擴散模型進行紋理增強,在幾何與紋理重建測試中均達到SOTA,并且在真實世界中具有多種應(yīng)用場景。在AR、VR、3D打印、場景搭建以及電影制作等多個領(lǐng)域中,高質(zhì)量的穿著衣服的人體3D模型非常重要。
傳統(tǒng)的方法創(chuàng)建這些模型不僅需要大量時間,還需要能夠捕捉多視角照片的專業(yè)設(shè)備,此外還依賴于技術(shù)熟練的專業(yè)人員。SIFU重建3D人體模型用于場景搭建
與此相反,在日常生活中,我們最常見的是通過手機相機拍攝的或在各種網(wǎng)頁上找到的人像照片。
因此,一種能從單張圖像準(zhǔn)確重建3D人體模型的方法可以顯著降低成本,并簡化創(chuàng)作的過程。以往方法(左)與本文方法技術(shù)路線比較(右)
以往的深度學(xué)習(xí)模型用于3D人體重建,往往需要經(jīng)過三個步驟:從圖像中提取2D特征,將2D特征轉(zhuǎn)到3D空間,以及3D特征用于人體重建。
然而這些方法在2D特征轉(zhuǎn)換到3D空間的階段,往往忽略了人體先驗的引入,導(dǎo)致特征的提取不夠充分,最終重建結(jié)果上會出現(xiàn)各
原文鏈接:幾何紋理重建新SOTA!浙大提出SIFU:單圖即可重建高質(zhì)量3D人體模型
聯(lián)系作者
文章來源:新智元
作者微信:AI_era
作者簡介:智能+中國主平臺,致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展,關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響,領(lǐng)航中國新智能時代。