Hi3DGen

Hi3DGen – 港中文、字節、清華聯合推出的3D幾何生成框架

Hi3DGen是什么

Hi3DGen 是由香港中文大學（深圳）、字節跳動和清華大學的研究人員聯手開發的一款高保真3D幾何生成框架。該系統能夠從2D圖像轉換為高質量的3D模型，利用法線圖作為中間表示，Hi3DGen 在生成豐富幾何細節方面表現出色，遠超現有技術。其框架包括三個核心組件：圖像法線估計器、法線到幾何的學習方法以及3D數據合成管道。

Hi3DGen的主要功能

• 高保真3D模型生成：將2D圖像轉化為細節豐富的3D幾何模型。
• 圖像法線估計：通過噪聲注入和雙流訓練，解耦低頻與高頻圖像模式，實現穩定且清晰的法線估計。
• 法線到幾何學習：基于法線圖的正則化技術，提升3D幾何生成的保真度。
• 3D數據合成：構建高質量的3D數據集，以支持模型的訓練。

Hi3DGen的技術原理

• 圖像法線估計器：該組件通過噪聲注入和雙流訓練，分離圖像的低頻和高頻模式。低頻模式負責整體形狀和結構，而高頻模式則聚焦于細節和紋理，從而生成可泛化、穩定且清晰的法線圖，為后續3D幾何生成提供高質量的中間表示。
• 法線到幾何學習方法：利用法線圖作為正則化手段，對潛在擴散模型進行訓練，增強3D幾何生成的細節保留。
• 3D數據合成管道：通過合成高質量的3D數據集，支持模型學習2D圖像與3D幾何之間的映射關系。
• 兩階段生成過程：Hi3DGen 采用兩階段生成策略：
  • 第一階段：基礎多視角生成：使用預訓練的視頻擴散模型，依據額外的相機姿態進行微調，將單視角圖像轉換為低分辨率的3D感知序列圖像（軌道視頻）。
  • 第二階段：3D感知多視角細化：輸入第一階段生成的低分辨率多視角圖像到3D感知視頻到視頻細化器，進一步提升圖像的分辨率與紋理細節。
• 3D高斯散射（3DGS）：從生成的高分辨率多視角圖像中學習隱式3D模型，并通過3DGS渲染額外的插值視圖。
• 基于SDF的重建：利用基于SDF（Signed Distance Function）的重建技術，從增強的密集視圖中提取高質量的3D網格。

Hi3DGen的項目地址

• 項目官網：https://stable-x.github.io/Hi3DGen/
• Github倉庫：https://github.com/Stable-X/Hi3DGen

Hi3DGen的應用場景

• 游戲開發：能夠快速生成高質量的3D游戲資產，涵蓋角色、道具及場景等。
• 影視制作：用于創建逼真的3D特效和動畫，有效節省傳統建模所需的時間和成本。
• 3D可視化：支持從不同視角查看和分析3D模型，適用于建筑設計和工業設計等領域。
• 虛擬攝影：生成多角度的高質量圖像，用于在線展示和市場營銷。
• 文物保護：從文物單張照片重建3D模型，以實現數字化保存和研究。
• 醫學成像：從醫學圖像（如X光、CT）生成3D模型，輔助臨床診斷和治療。

常見問題

• Hi3DGen的使用條件是什么？：需要具備基本的圖像處理和機器學習知識，以便有效使用該框架進行3D模型生成。
• 生成的3D模型質量如何？：Hi3DGen 采用先進的算法，能夠生成高保真度和細節豐富的3D模型，適合多種應用場景。
• 是否支持大規模數據集的訓練？：是的，Hi3DGen 提供了構建高質量3D數據集的支持，適合大規模訓練需求。
• 如何獲取技術支持？：可以通過項目官網或Github倉庫提交問題，團隊會提供相應的技術支持。