劍指專業領域零部件級3D生成！Meta聯手牛津推出全新多視圖擴散模型

原標題：劍指專業領域零部件級3D生成！Meta聯手牛津推出全新多視圖擴散模型
文章來源：新智元
內容字數：4918字

Meta與牛津大學合作推出PartGen：實現零部件級3D模型生成

當前AI生成的3D模型質量已很高，但通常缺乏結構信息，難以進行零部件操作。Meta與牛津大學的研究人員為此推出了全新的多視圖擴散模型PartGen，它能夠生成由可分離子結構組成的3D模型，滿足專業應用和創意工作流的需求。

1. PartGen的核心功能與工作流程

PartGen能夠以文本、圖像或非結構化3D對象為輸入，生成具有可分離子結構的3D模型。它采用兩階段方案：第一階段，多視圖生成器生成3D對象的多個視圖，并提取視圖一致的部分分割；第二階段，另一個多視圖擴散模型單獨處理每個部分，填充遮擋信息，并最終通過3D重建網絡重建完整的3D零件。PartGen在生成過程中考慮了整個對象的上下文，確保各部分緊密集成，并能有效重建被遮擋的部分。

2. 解決的關鍵問題與技術方法

PartGen解決了兩個關鍵問題：自動將3D對象分割成多個部分，以及即使在部分遮擋或不可見的情況下，也能提取高質量、完整的3D零部件。針對分割問題，PartGen將零件分割轉換為隨機多視圖一致性著色問題，利用微調的多視圖圖像生成器生成顏色編碼的分割圖，從大量數據中學習如何將對象分解為多個部分。對于重建問題，PartGen微調另一個多視圖生成器來補全零件視圖，同時考慮整個對象的上下文，即使零件在原始視圖中不可見也能可靠重建。最后，使用3D重建網絡生成最終的零件模型。

3. 數據集與訓練過程

PartGen的訓練數據集包含140,000個由藝術家生成的3D資產，經過篩選后，最終用于訓練的包含45,000個對象（210,000個零部件）。訓練過程中，對多視圖生成器、零件分割和補全網絡分別進行數據預處理和模型微調。

4. 下游應用與優勢

PartGen可在部件感知文本到3D生成、部件感知圖像到3D生成以及真實世界3D對象分解等場景中應用。它能夠有效生成具有不同部件的3D對象，即使在嚴重重疊的情況下也能良好運行。此外，生成的零件可以被單獨編輯、替換或刪除，這對于3D建模、游戲開發、機器人和具身人工智能等領域具有重要意義。PartGen將現有的3D生成方法從非結構化升級為零部件組合的方法，極大地提升了3D模型的靈活性和可編輯性。