5秒完成3D生成，真香合成數據集已開源，上交港中文新框架超越Instant3D

AIGC動態歡迎閱讀

原標題：5秒完成3D生成，真香合成數據集已開源，上交港中文新框架超越Instant3D
關鍵字：視圖,數據,模型,圖像,質量
文章來源：量子位
內容字數：0字

內容摘要：

陳林投稿自凹非寺量子位 | 公眾號 QbitAI使用大模型合成的數據，就能顯著提升3D生成能力？
來自上海交大、香港中文大學等團隊還真做到了。
他們推出Bootstrap3D框架，結合微調的具備3D感知能力的多模態大模型。這個框架能夠自動生成任意數量的高質量的多視角圖片數據，助力多視圖擴散模型的訓練。
結果表明，新的合成數據能夠顯著提高現有3D生成模型的生成物體的美學質量和文本prompt的控制能力。
目前，Bootstrap3D的數據集已經全面開源。
用大模型合成數據近年來，3D內容生成技術迎來了飛速發展。然而，相對于2D圖片生成，生成高質量的3D物體仍面臨諸多挑戰。
其中核心的瓶頸即在于3D數據，尤其是高質量數據的不足。
為了解決這一問題，研究團隊推出Bootstrap3D框架，通過自動生成多視圖圖像數據來解決3D內容生成中高質量數據不足的問題。
具體來說，這個框架采用了2D和視頻擴散模型來生成多視圖圖像，并利用一個經過微調的3D多模態大模型對生成的數據進行質量篩選和描述重寫。
通過這種方式，Bootstrap3D能夠自動產生大量高質量的3D圖像數據，從而“自舉”出一個足夠大的

原文鏈接：5秒完成3D生成，真香合成數據集已開源，上交港中文新框架超越Instant3D