彌合2D和3D生成領(lǐng)域之間的次元壁，X-Dreamer實(shí)現(xiàn)高質(zhì)量的文本到3D生成

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：彌合2D和3D生成領(lǐng)域之間的次元壁，X-Dreamer實(shí)現(xiàn)高質(zhì)量的文本到3D生成

關(guān)鍵字：損失,模型,對(duì)象,橢球,幾何

文章來(lái)源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：14904字

內(nèi)容摘要：機(jī)器之心專(zhuān)欄機(jī)器之心編輯部本文介紹了一個(gè)名為 X-Dreamer 的框架，它主要由CG-LoRA和AMA損失兩種關(guān)鍵創(chuàng)新組成，實(shí)現(xiàn)了彌合 text-to-2D 和 text-to-3D 間的領(lǐng)域差距，實(shí)現(xiàn)了高質(zhì)量的 3D 生成。近年來(lái)，在預(yù)訓(xùn)練的擴(kuò)散模型 [1, 2, 3] 的開(kāi)發(fā)推動(dòng)下，自動(dòng) text-to-3D 內(nèi)容創(chuàng)建取得了重大進(jìn)展。其中，DreamFusion [4] 引入了一種有效的方法，該方法利用預(yù)訓(xùn)練的 2D 擴(kuò)散模型 [5] 從文本中自動(dòng)生成 3D 資產(chǎn)，從而無(wú)需專(zhuān)門(mén)的 3D 資產(chǎn)數(shù)據(jù)集。DreamFusion 引入的一項(xiàng)關(guān)鍵創(chuàng)新是分?jǐn)?shù)蒸餾采樣 (SDS) 算法。該算法利用預(yù)訓(xùn)練的 2D 擴(kuò)散模型對(duì)單個(gè) 3D 表示進(jìn)行評(píng)估，例如 NeRF [6]，從而對(duì)其進(jìn)行優(yōu)化，以確保來(lái)自任何攝像機(jī)視角的渲染圖像與給定文本保持較高的一致性。受開(kāi)創(chuàng)性 SDS 算法的啟發(fā)，出現(xiàn)了幾項(xiàng)工作 […

原文鏈接：點(diǎn)此閱讀原文：彌合2D和3D生成領(lǐng)域之間的次元壁，X-Dreamer實(shí)現(xiàn)高質(zhì)量的文本到3D生成

聯(lián)系作者

文章來(lái)源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專(zhuān)業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)