ConsistentDreamer

ConsistentDreamer – 華為推出的單張圖像生成 3D 資產技術

ConsistentDreamer 是華為慕尼黑研究中心開發的一項創新技術，旨在將單張圖像轉換為視圖一致的 3D 資產。通過多視圖先驗圖像的引導和高斯優化方法，該技術有效解決了傳統多視圖生成技術在一致性方面的不足。ConsistentDreamer 通過生成固定視角的多視圖圖像，結合分數蒸餾采樣（SDS）損失和擴散模型，優化 3D 模型的粗略形狀，并通過動態任務權重的調整，實現對細節的精細化處理。

ConsistentDreamer是什么

ConsistentDreamer 是一項前沿的圖像到 3D 資產生成技術，由華為慕尼黑研究中心推出。該技術能夠從單一圖像生成視圖一致的 3D 網格，克服了傳統方法在多視圖一致性方面的挑戰。通過多視圖先驗圖像的引導以及高斯優化的手段，ConsistentDreamer 生成一系列固定視角的多視圖圖像，并利用分數蒸餾采樣（SDS）損失和擴散模型來優化 3D 模型的基礎形狀。該技術通過動態調整任務權重，平衡基礎形狀與細節的優化過程，同時引入不透明度、深度失真和法線對齊損失，進一步細化生成的表面。

ConsistentDreamer

ConsistentDreamer的主要功能

增強3D一致性：通過引入結構化噪聲和自監督一致性訓練，ConsistentDreamer 在不同視圖中保持高度一致的編輯結果，有效解決了傳統2D擴散模型在多視圖生成中的不一致性問題。
高分辨率紋理生成：該框架能夠生成具有精細紋理和高清晰度的編輯結果，尤其在復雜場景（如 ScanNet++ 大規模室內場景）中表現優異。
復雜圖案編輯能力：ConsistentDreamer 是首個成功編輯復雜圖案（如方格或格子圖案）的方法。
多視圖上下文輸入：通過將周圍視圖作為輸入，ConsistentDreamer 為2D擴散模型提供了豐富的上下文信息，增強了模型的3D感知能力。
并行化編輯流程：ConsistentDreamer 采用多 GPU 并行處理技術，通過分離 NeRF 擬合與擴散模型生成，實現高效的場景編輯。
指令引導的場景編輯：該框架支持根據自然語言指令對3D場景進行編輯，生成與指令高度一致的高質量結果。

ConsistentDreamer的技術原理

多視圖先驗圖像引導：ConsistentDreamer 從單張輸入圖像生成一組固定視角的多視圖先驗圖像，作為優化過程中的參考，提供豐富的上下文信息以支持3D模型生成。
分數蒸餾采樣（SDS）：通過SDS損失優化3D模型的粗略形狀，具體而言，基于預訓練的擴散模型（如 Zero-1-to-3）生成隨機視圖，確保視圖之間的一致性。
動態任務權重平衡：引入基于同方差不確定性的動態任務權重，以平衡粗略形狀和細節優化，確保每次迭代的穩定性和效率。
不透明度、深度失真和法線對齊損失：ConsistentDreamer 引入這些損失函數，以提高網格提取質量，確保生成的 3D 網格具有清晰的表面和高質量的紋理。
多視圖上下文輸入與一致性訓練：ConsistentDreamer 將周圍視圖作為輸入，為擴散模型提供豐富的3D上下文信息，通過自監督一致性訓練增強3D感知能力。