Edify 3D 是 NVIDIA 推出的創新性3D資產生成解決方案，可以通過文本提示或參考圖像迅速合成高質量的3D模型。該系統能夠在短短兩分鐘內生成具有精細幾何形狀、清晰拓撲結構及高分辨率紋理的3D資產，廣泛應用于視頻游戲設計、擴展現實（XR）、模擬訓練等多個領域。

Edify 3D是什么

Edify 3D 是 NVIDIA 開發的一種先進的3D資產生成工具，可以通過輸入的文本描述或參考圖像快速生成高質量的3D模型。該技術結合了多視圖擴散模型和基于Transformer的重建模型，大幅提升了3D內容制作的效率與可擴展性。在不超過兩分鐘的時間內，Edify 3D能夠生成細致的幾何形狀、清晰的拓撲結構，以及具有4K分辨率的紋理和基于物理的渲染（PBR）材質，滿足各類快速生產的需求。

Edify 3D的主要功能

• 文本轉3D生成：通過文本描述生成詳細的3D資產，具備精細的幾何形狀和高分辨率紋理。
• 圖像轉3D生成：從參考圖像中自動識別并生成相應的3D模型。
• 快速生成：在兩分鐘內高效生成高質量的3D資產，滿足快速開發需求。
• 高分辨率紋理：支持生成高達4K分辨率的紋理，確保視覺效果的出色。
• PBR材質支持：生成的3D資產具有基于物理的渲染材質，在不同光照條件下保持真實感。
• UV貼圖和材質圖：生成的資產附帶有序的UV貼圖和材質圖，便于后續的編輯與渲染。

Edify 3D的技術原理

• 多視圖擴散模型：使用多視圖擴散模型合成對象的RGB外觀及表面法線圖像，處理文本提示和相機姿態，從多個視角合成對象外觀。
• 基于Transformer的重建模型：利用合成的多視圖RGB和表面法線圖像，通過Transformer模型預測3D形狀的幾何、紋理和材質。
• 跨視圖注意力機制：多視圖擴散模型擴展自注意層，跨不同視點進行注意力分配，以提高視點一致性。
• 高分辨率上采樣：通過上采樣ControlNet提升多視圖RGB圖像的分辨率，并對紋理和表面法線進行條件化處理。
• PBR渲染：在生成過程中運用基于物理的渲染技術，確保材質和光照效果的真實。
• 網格后處理：生成的3D網格經過后處理，包括重新拓撲為四邊形網格和UV映射生成，滿足藝術和設計需求。

Edify 3D的項目地址

• 項目官網：research.nvidia.com/labs/dir/edify-3d
• arXiv技術論文：https://arxiv.org/pdf/2411.07135

Edify 3D的應用場景

• 視頻游戲設計：游戲開發者能夠快速生成中世紀城堡的3D模型，包括城墻、塔樓及其內部結構，以及相應的紋理和材質，為即將推出的策略游戲做好素材準備。
• 擴展現實（XR）：虛擬現實體驗設計師可創建逼真的海底世界，包含各種海洋生物和珊瑚礁，為潛水愛好者提供沉浸式的虛擬潛水體驗。
• 電影和視頻制作：電影制作團隊能夠生成未來城市的3D場景，用于科幻電影中的關鍵追逐戲，展現摩天大樓、飛行汽車和異形植物等元素。
• 模擬和訓練：軍事訓練模擬器中，生成復雜的城市環境和戰場地形，供士兵進行戰術訓練和實戰模擬。
• 建筑和城市規劃：城市規劃師依據最新城市設計草案，快速生成3D城市模型，涵蓋新的住宅區、商業中心及公園，以便進行公眾展示和反饋收集。

常見問題

• Edify 3D的使用難度如何？：Edify 3D的用戶界面友好，適合各類用戶，甚至是非專業人士也能快速上手。
• 生成的3D資產可以導出到哪些格式？：生成的3D資產支持多種格式導出，便于與其他軟件進行兼容。
• 是否需要高性能計算設備？：雖然推薦使用高性能計算設備來獲得最佳效果，但Edify 3D也可在較為普通的設備上運行。