Dive3D

Dive3D – 北大聯合小紅書推出的文本到3D生成框架

Dive3D是北京大學與小紅書攜手打造的文本到3D生成框架，它顛覆性地采用了分數隱式匹配（SIM）損失，從而避免了模式坍塌問題，極大地提升了3D生成內容的多樣性。Dive3D在文本契合度、用戶偏好和視覺保真度上均表現出色，并在GPTEval3D基準測試中取得了優異成績，展現了其在生成高質量、多樣化3D資產方面的強大實力。

Dive3D：開啟3D創作新紀元

Dive3D，作為一款前沿的文本到3D生成框架，由北京大學與小紅書強強聯手推出。它憑借創新的分數隱式匹配（SIM）損失，巧妙規避了模式坍塌的困擾，從而實現了3D內容生成多樣性的飛躍。Dive3D不僅在文本理解方面表現卓越，還兼顧了用戶偏好和視覺真實感，在GPTEval3D基準測試中斬獲佳績，充分證明了其生成高質量、多樣化3D資產的強大能力。

Dive3D的核心功能

多樣化3D內容生成：根據文本提示詞，Dive3D能夠創作出風格迥異、細節豐富的3D模型，有效避免了傳統方法生成的單一和同質化結果。
高質量3D模型生成：Dive3D生成的3D模型擁有出色的視覺保真度，包括精細的紋理、逼真的幾何形狀以及恰當的光照效果等。
卓越的文本對齊能力：Dive3D生成的3D模型能夠精準地與輸入的文本描述相符，準確地呈現文本中描述的各種元素和特征。
支持多種3D表示形式：Dive3D支持多種3D表示形式，包括神經輻射場（NeRF）、高斯點云（Gaussian Splatting）和網格（Mesh）等，滿足不同應用場景和用戶的多元化需求。

Dive3D的技術解析

分數隱式匹配（SIM）損失：Dive3D的核心技術。傳統的基于KL散度的損失函數易導致模式尋求行為，限制了生成的多樣性。SIM損失直接匹配生成內容的概率密度梯度場（分數）和擴散先驗的分數，鼓勵模型探索多個高概率區域，在保證保真度的同時提升生成的多樣性。
統一的散度視角框架：Dive3D將擴散蒸餾和獎勵引導優化整合到一個基于散度的框架中。框架包括三個核心的散度損失，條件擴散先驗損失（CDP）、無條件擴散先驗損失（UDP）和獎勵損失（ER）。通過合理地組合和調整損失的權重，在生成的多樣性、文本對齊和視覺質量之間取得平衡。
基于擴散模型的優化：Dive3D利用預訓練的2D擴散模型（如Stable Diffusion）作為先驗知識，基于多視圖渲染將3D表示優化為與文本提示相匹配的2D圖像。在優化過程中，迭代地對3D模型進行渲染、計算損失并更新模型參數，讓生成的3D模型的渲染圖像逐漸接近預訓練擴散模型所期望的圖像分布。
高效的優化算法：Dive3D采用高效的優化算法和策略，以提高優化效率。例如，引入分類器引導（Classifier-Free Guidance，CFG）技術，在優化過程中更好地平衡文本條件和無條件的生成效果；基于合理設置噪聲時間表和優化步長等參數，加快優化收斂速度，減少生成時間。