MagicClay：智能文本驅(qū)動3D模型雕刻工具，輕松實現(xiàn)細(xì)節(jié)創(chuàng)作

MagicClay 是 Adobe 最新推出的一款創(chuàng)新3D建模工具，旨在通過結(jié)合網(wǎng)格和有向距離場（SDF）技術(shù)，為藝術(shù)家提供一種全新的建模體驗。用戶可以基于文本提示對3D模型的特定部分進(jìn)行雕刻，同時保持其他區(qū)域的完整性。MagicClay 不僅支持生成具有紋理的三維模型，還允許藝術(shù)家進(jìn)行非破壞性的局部編輯，使得3D建模過程更加直觀和精細(xì)。

MagicClay是什么

MagicClay 是一款先進(jìn)的3D建模工具，由 Adobe 開發(fā)，集成了網(wǎng)格和有向距離場（SDF）技術(shù)。它允許藝術(shù)家根據(jù)文本提示來雕刻模型的特定區(qū)域，而不影響模型的其他部分。該工具支持創(chuàng)建具有豐富紋理的三維作品，并且能夠進(jìn)行非破壞性編輯，使得藝術(shù)家在進(jìn)行調(diào)整和細(xì)化時更加靈活。MagicClay 將文本到圖像的生成能力轉(zhuǎn)化為可實際應(yīng)用的建模工具，極大地提升了創(chuàng)作效率。

MagicClay的主要功能

• 文本驅(qū)動的3D雕刻：用戶可以通過輸入文本提示，精準(zhǔn)指導(dǎo)3D模型特定區(qū)域的雕刻，便于局部編輯。
• 混合表示技術(shù)：結(jié)合三角網(wǎng)格與有向距離場（SDF）的優(yōu)勢，提供直觀的建模體驗與拓?fù)潇`活性。
• 非破壞性編輯：在編輯選定區(qū)域時，模型的其他部分保持不變，確保原始模型的完整性。
• 逐步編輯能力：支持對同一模型進(jìn)行多次細(xì)致編輯，幫助藝術(shù)家逐步完善設(shè)計。
• 保留原始屬性：編輯過程中保留模型的頂點組等原始屬性，便于后續(xù)的動畫處理。
• 高分辨率渲染：高效渲染SDF，實現(xiàn)細(xì)膩的體積渲染效果。

MagicClay的技術(shù)原理

• 混合網(wǎng)格與SDF表示：采用混合表示方法，同時利用三角網(wǎng)格和SDF，增強(qiáng)了建模的直觀性與靈活性。
• 一致性維護(hù)機(jī)制：在優(yōu)化過程中，確保網(wǎng)格與SDF之間保持一致性，利用多視圖一致性損失和自適應(yīng)重構(gòu)技術(shù)同步兩者。
• 可微分渲染：通過可微分渲染技術(shù)，從不同視角渲染網(wǎng)格和SDF，確保RGB渲染、不透明度和法線圖的一致性。
• 局部化與凍結(jié)損失：通過局部化損失和凍結(jié)損失，確保編輯只在用戶選定的區(qū)域內(nèi)進(jìn)行，未選定區(qū)域保持不變。
• 格重建：利用可微分網(wǎng)格重建技術(shù)，如ROAR，實現(xiàn)網(wǎng)格拓?fù)涞膭討B(tài)更新，包括面分割、邊折疊和邊翻轉(zhuǎn)。
• 表面平滑與正則化：通過網(wǎng)格的顯式表示定義平滑項，利用Laplacian向量編碼局部曲率變化，促進(jìn)網(wǎng)格的平滑性。
• SDF正則化：采用Eikonal損失等特定損失函數(shù)，鼓勵SDF學(xué)習(xí)有效的距離場表示。

MagicClay的項目地址

• 項目官網(wǎng)：amirbarda.github.io/MagicClay.github.io
• GitHub倉庫：https://github.com/amirbarda/MagicClay
• arXiv技術(shù)論文：https://arxiv.org/pdf/2403.02460

MagicClay的應(yīng)用場景

• 3D藝術(shù)創(chuàng)作：藝術(shù)家可以利用文本提示快速實現(xiàn)創(chuàng)意構(gòu)思，進(jìn)行3D雕塑和模型創(chuàng)作，無需具備復(fù)雜的建模技能。
• 游戲開發(fā)：游戲設(shè)計師可以快速原型設(shè)計并迭代游戲角色、道具和環(huán)境，從而提高開發(fā)效率。
• 動畫制作：在動畫電影和電視制作中，MagicClay 幫助創(chuàng)建和修改復(fù)雜的3D角色和場景，同時保留動畫所需的頂點權(quán)重和綁定。
• 虛擬現(xiàn)實（VR）和增強(qiáng)現(xiàn)實（AR）：在VR和AR應(yīng)用中，設(shè)計并優(yōu)化虛擬對象和環(huán)境，以提供更豐富和動態(tài)的用戶體驗。
• 教育和培訓(xùn)：在教育領(lǐng)域，MagicClay 可作為教學(xué)工具，幫助學(xué)生理解3D建模的基本概念，基于實踐進(jìn)行3D設(shè)計學(xué)習(xí)。