MagicClay 是 Adobe 最新推出的一款創(chuàng)新3D建模工具，旨在通過(guò)結(jié)合網(wǎng)格和有向距離場(chǎng)（SDF）技術(shù)，為藝術(shù)家提供一種全新的建模體驗(yàn)。用戶可以基于文本提示對(duì)3D模型的特定部分進(jìn)行雕刻，同時(shí)保持其他區(qū)域的完整性。MagicClay 不僅支持生成具有紋理的三維模型，還允許藝術(shù)家進(jìn)行非破壞性的局部編輯，使得3D建模過(guò)程更加直觀和精細(xì)。

MagicClay是什么

MagicClay 是一款先進(jìn)的3D建模工具，由 Adobe 開(kāi)發(fā)，集成了網(wǎng)格和有向距離場(chǎng)（SDF）技術(shù)。它允許藝術(shù)家根據(jù)文本提示來(lái)雕刻模型的特定區(qū)域，而不影響模型的其他部分。該工具支持創(chuàng)建具有豐富紋理的三維作品，并且能夠進(jìn)行非破壞性編輯，使得藝術(shù)家在進(jìn)行調(diào)整和細(xì)化時(shí)更加靈活。MagicClay 將文本到圖像的生成能力轉(zhuǎn)化為可實(shí)際應(yīng)用的建模工具，極大地提升了創(chuàng)作效率。

MagicClay的主要功能

• 文本驅(qū)動(dòng)的3D雕刻：用戶可以通過(guò)輸入文本提示，精準(zhǔn)指導(dǎo)3D模型特定區(qū)域的雕刻，便于局部編輯。
• 混合表示技術(shù)：結(jié)合三角網(wǎng)格與有向距離場(chǎng)（SDF）的優(yōu)勢(shì)，提供直觀的建模體驗(yàn)與拓?fù)潇`活性。
• 非破壞性編輯：在編輯選定區(qū)域時(shí)，模型的其他部分保持不變，確保原始模型的完整性。
• 逐步編輯能力：支持對(duì)同一模型進(jìn)行多次細(xì)致編輯，幫助藝術(shù)家逐步完善設(shè)計(jì)。
• 保留原始屬性：編輯過(guò)程中保留模型的頂點(diǎn)組等原始屬性，便于后續(xù)的動(dòng)畫(huà)處理。
• 高分辨率渲染：高效渲染SDF，實(shí)現(xiàn)細(xì)膩的體積渲染效果。

MagicClay的技術(shù)原理

• 混合網(wǎng)格與SDF表示：采用混合表示方法，同時(shí)利用三角網(wǎng)格和SDF，增強(qiáng)了建模的直觀性與靈活性。
• 一致性維護(hù)機(jī)制：在優(yōu)化過(guò)程中，確保網(wǎng)格與SDF之間保持一致性，利用多視圖一致性損失和自適應(yīng)重構(gòu)技術(shù)同步兩者。
• 可微分渲染：通過(guò)可微分渲染技術(shù)，從不同視角渲染網(wǎng)格和SDF，確保RGB渲染、不透明度和法線圖的一致性。
• 局部化與凍結(jié)損失：通過(guò)局部化損失和凍結(jié)損失，確保編輯只在用戶選定的區(qū)域內(nèi)進(jìn)行，未選定區(qū)域保持不變。
• 格重建：利用可微分網(wǎng)格重建技術(shù)，如ROAR，實(shí)現(xiàn)網(wǎng)格拓?fù)涞膭?dòng)態(tài)更新，包括面分割、邊折疊和邊翻轉(zhuǎn)。
• 表面平滑與正則化：通過(guò)網(wǎng)格的顯式表示定義平滑項(xiàng)，利用Laplacian向量編碼局部曲率變化，促進(jìn)網(wǎng)格的平滑性。
• SDF正則化：采用Eikonal損失等特定損失函數(shù)，鼓勵(lì)SDF學(xué)習(xí)有效的距離場(chǎng)表示。

MagicClay的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：amirbarda.github.io/MagicClay.github.io
• GitHub倉(cāng)庫(kù)：https://github.com/amirbarda/MagicClay
• arXiv技術(shù)論文：https://arxiv.org/pdf/2403.02460

MagicClay的應(yīng)用場(chǎng)景

• 3D藝術(shù)創(chuàng)作：藝術(shù)家可以利用文本提示快速實(shí)現(xiàn)創(chuàng)意構(gòu)思，進(jìn)行3D雕塑和模型創(chuàng)作，無(wú)需具備復(fù)雜的建模技能。
• 游戲開(kāi)發(fā)：游戲設(shè)計(jì)師可以快速原型設(shè)計(jì)并迭代游戲角色、道具和環(huán)境，從而提高開(kāi)發(fā)效率。
• 動(dòng)畫(huà)制作：在動(dòng)畫(huà)電影和電視制作中，MagicClay 幫助創(chuàng)建和修改復(fù)雜的3D角色和場(chǎng)景，同時(shí)保留動(dòng)畫(huà)所需的頂點(diǎn)權(quán)重和綁定。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在VR和AR應(yīng)用中，設(shè)計(jì)并優(yōu)化虛擬對(duì)象和環(huán)境，以提供更豐富和動(dòng)態(tài)的用戶體驗(yàn)。
• 教育和培訓(xùn)：在教育領(lǐng)域，MagicClay 可作為教學(xué)工具，幫助學(xué)生理解3D建模的基本概念，基于實(shí)踐進(jìn)行3D設(shè)計(jì)學(xué)習(xí)。