Hi3DGen – 港中文、字節(jié)、清華聯(lián)合推出的3D幾何生成框架

Hi3DGen是什么

Hi3DGen 是由香港中文大學(xué)（深圳）、字節(jié)跳動和清華大學(xué)的研究人員聯(lián)手開發(fā)的一款高保真3D幾何生成框架。該系統(tǒng)能夠從2D圖像轉(zhuǎn)換為高質(zhì)量的3D模型，利用法線圖作為中間表示，Hi3DGen 在生成豐富幾何細(xì)節(jié)方面表現(xiàn)出色，遠(yuǎn)超現(xiàn)有技術(shù)。其框架包括三個核心組件：圖像法線估計器、法線到幾何的學(xué)習(xí)方法以及3D數(shù)據(jù)合成管道。

Hi3DGen的主要功能

• 高保真3D模型生成：將2D圖像轉(zhuǎn)化為細(xì)節(jié)豐富的3D幾何模型。
• 圖像法線估計：通過噪聲注入和雙流訓(xùn)練，解耦低頻與高頻圖像模式，實(shí)現(xiàn)穩(wěn)定且清晰的法線估計。
• 法線到幾何學(xué)習(xí)：基于法線圖的正則化技術(shù)，提升3D幾何生成的保真度。
• 3D數(shù)據(jù)合成：構(gòu)建高質(zhì)量的3D數(shù)據(jù)集，以支持模型的訓(xùn)練。

Hi3DGen的技術(shù)原理

• 圖像法線估計器：該組件通過噪聲注入和雙流訓(xùn)練，分離圖像的低頻和高頻模式。低頻模式負(fù)責(zé)整體形狀和結(jié)構(gòu)，而高頻模式則聚焦于細(xì)節(jié)和紋理，從而生成可泛化、穩(wěn)定且清晰的法線圖，為后續(xù)3D幾何生成提供高質(zhì)量的中間表示。
• 法線到幾何學(xué)習(xí)方法：利用法線圖作為正則化手段，對潛在擴(kuò)散模型進(jìn)行訓(xùn)練，增強(qiáng)3D幾何生成的細(xì)節(jié)保留。
• 3D數(shù)據(jù)合成管道：通過合成高質(zhì)量的3D數(shù)據(jù)集，支持模型學(xué)習(xí)2D圖像與3D幾何之間的映射關(guān)系。
• 兩階段生成過程：Hi3DGen 采用兩階段生成策略：
  • 第一階段：基礎(chǔ)多視角生成：使用預(yù)訓(xùn)練的視頻擴(kuò)散模型，依據(jù)額外的相機(jī)姿態(tài)進(jìn)行微調(diào)，將單視角圖像轉(zhuǎn)換為低分辨率的3D感知序列圖像（軌道視頻）。
  • 第二階段：3D感知多視角細(xì)化：輸入第一階段生成的低分辨率多視角圖像到3D感知視頻到視頻細(xì)化器，進(jìn)一步提升圖像的分辨率與紋理細(xì)節(jié)。
• 3D高斯散射（3DGS）：從生成的高分辨率多視角圖像中學(xué)習(xí)隱式3D模型，并通過3DGS渲染額外的插值視圖。
• 基于SDF的重建：利用基于SDF（Signed Distance Function）的重建技術(shù)，從增強(qiáng)的密集視圖中提取高質(zhì)量的3D網(wǎng)格。

Hi3DGen的項目地址

• 項目官網(wǎng)：https://stable-x.github.io/Hi3DGen/
• Github倉庫：https://github.com/Stable-X/Hi3DGen

Hi3DGen的應(yīng)用場景

• 游戲開發(fā)：能夠快速生成高質(zhì)量的3D游戲資產(chǎn)，涵蓋角色、道具及場景等。
• 影視制作：用于創(chuàng)建逼真的3D特效和動畫，有效節(jié)省傳統(tǒng)建模所需的時間和成本。
• 3D可視化：支持從不同視角查看和分析3D模型，適用于建筑設(shè)計和工業(yè)設(shè)計等領(lǐng)域。
• 虛擬攝影：生成多角度的高質(zhì)量圖像，用于在線展示和市場營銷。
• 文物保護(hù)：從文物單張照片重建3D模型，以實(shí)現(xiàn)數(shù)字化保存和研究。
• 醫(yī)學(xué)成像：從醫(yī)學(xué)圖像（如X光、CT）生成3D模型，輔助臨床診斷和治療。

常見問題

• Hi3DGen的使用條件是什么？：需要具備基本的圖像處理和機(jī)器學(xué)習(xí)知識，以便有效使用該框架進(jìn)行3D模型生成。
• 生成的3D模型質(zhì)量如何？：Hi3DGen 采用先進(jìn)的算法，能夠生成高保真度和細(xì)節(jié)豐富的3D模型，適合多種應(yīng)用場景。
• 是否支持大規(guī)模數(shù)據(jù)集的訓(xùn)練？：是的，Hi3DGen 提供了構(gòu)建高質(zhì)量3D數(shù)據(jù)集的支持，適合大規(guī)模訓(xùn)練需求。
• 如何獲取技術(shù)支持？：可以通過項目官網(wǎng)或Github倉庫提交問題，團(tuán)隊會提供相應(yīng)的技術(shù)支持。