BAG – 港中文聯合騰訊推出的3D可穿戴資產生成技術

BAG是什么

BAG（Body-Aligned 3D Wearable Asset Generation）是一項由香港中文大學與騰訊共同研發的先進3D可穿戴資產生成技術。該技術巧妙結合了多視圖圖像擴散模型和控制網絡（ControlNet），通過分析人體的形狀與姿態信息，自動生成完美契合人體的3D可穿戴資產，如服裝和配飾。BAG的核心在于利用多視圖生成器與3D擴散模型。首先，通過多視圖圖像擴散模型生成與人體對齊的多視圖圖像，接著將這些圖像輸入3D擴散模型，轉化為3D資產。經過物理模擬與優化，生成的資產能夠自然而然地貼合人體，避免穿透問題。

BAG的主要功能

• 多視圖圖像生成：基于人體形狀與姿態信息，利用多視圖圖像擴散模型生成與人體完美對齊的多視圖圖像。
• 3D資產生成：將生成的多視圖圖像輸入3D擴散模型，創造出高質量的3D服裝與配飾。
• 多樣化與個性化：支持從單一資產到多個組件的生成，滿足不同場景下的多樣化需求。
• 高效適配：快速生成與多種人體模型相適配的資產，適用于虛擬服裝試穿、游戲開發、虛擬現實（VR）和增強現實（AR）等領域。

BAG的技術原理

• 視圖圖像擴散模型：BAG首先構建了一個擴散模型，能夠將單一圖像轉化為一致的多視圖圖像，并在大規模的Objaverse數據集上進行訓練，確保多樣性與泛化能力。通過控制網絡（ControlNet），模型能夠生成與人體對齊的多視圖圖像，控制信號利用目標人體的多視圖2D投影，其中像素值表示規范化空間中的人體表面XYZ坐標。
• 3D形狀生成：生成的多視圖圖像被輸入本地的3D擴散模型中，以生成資產的3D形狀。通過多視圖輪廓監督恢復相似變換（Sim3），確保生成的3D資產與人體模型在空間上完美對齊。
• 物理模擬與優化：為確保生成的3D資產能夠自然貼合人體，BAG采用物理模擬技術來解決資產與身體之間的穿透問題。通過代理網格保留資產的基本幾何形狀，作為布料模擬的代表，最終實現無穿透的完美對齊。

BAG的項目地址

• 項目官網：https://bag-3d.github.io/
• arXiv技術論文：https://arxiv.org/pdf/2501.16177

BAG的應用場景

• 虛擬服裝試穿：BAG能夠根據用戶的身體模型迅速生成適合的3D服裝和配飾，用戶可以在虛擬環境中實時試穿不同風格的服裝，提升購物體驗，減少因尺碼不合適引起的退貨率。
• 游戲開發：在游戲開發中，BAG可為游戲角色提供多樣化的服裝與配飾，支持個性化定制，豐富玩家的角色體驗。
• 虛擬現實（VR）和增強現實（AR）：BAG生成的3D資產可以無縫集成到VR和AR應用中，為用戶提供沉浸式的服裝試穿與設計體驗，可以在虛擬展廳中試穿多種風格的服裝。
• 時尚設計：設計師可以利用BAG快速生成與迭代3D服裝模型，加快設計流程，并在虛擬環境中預覽設計效果，降低設計成本。

常見問題

• BAG如何確保生成資產的質量？：BAG利用多視圖圖像和3D擴散模型，結合物理模擬技術，確保生成的3D資產不僅美觀，而且在物理上與人體模型自然貼合。
• 該技術適用于哪些領域？：BAG廣泛應用于虛擬服裝試穿、游戲開發、虛擬現實（VR）和增強現實（AR）、以及時尚設計等多個領域。
• 如何訪問BAG的更多信息？：您可以訪問BAG的官方網站以及相關技術論文，獲取更多詳細信息。