D-Edit是一款創(chuàng)新的多功能圖像編輯框架，結(jié)合了圖像和文本的處理能力，利用預(yù)訓(xùn)練的擴(kuò)散模型及獨(dú)特的提示（prompts）技術(shù)，實(shí)現(xiàn)對(duì)圖像中特定項(xiàng)目的精準(zhǔn)控制和編輯。該框架支持多種編輯任務(wù)，包括基于圖像、文本及掩碼的編輯，以及項(xiàng)目移除等，展現(xiàn)出卓越的靈活性和多樣化的編輯能力。

D-Edit是什么

D-Edit是一款前沿的圖像編輯框架，旨在通過(guò)圖像和文本的結(jié)合，為用戶(hù)提供精確的項(xiàng)目編輯功能。它通過(guò)將圖像分解為多個(gè)項(xiàng)目，并為每個(gè)項(xiàng)目分配獨(dú)特的提示，來(lái)實(shí)現(xiàn)對(duì)項(xiàng)目的解耦控制。用戶(hù)可以通過(guò)修改提示、掩碼或項(xiàng)目與提示之間的關(guān)聯(lián)，輕松實(shí)現(xiàn)各類(lèi)編輯效果。D-Edit是首個(gè)實(shí)現(xiàn)基于掩碼編輯的項(xiàng)目編輯框架，可同時(shí)處理圖像和文本的編輯需求。

D-Edit的主要功能

• 基于文本的編輯：用戶(hù)可以通過(guò)更改與特定項(xiàng)目關(guān)聯(lián)的文本提示，替換或編輯圖像中的對(duì)象。
• 基于圖像的編輯：支持用戶(hù)用參考圖像中的項(xiàng)目替換目標(biāo)圖像中的元素。
• 基于掩碼的編輯：用戶(hù)能夠編輯特定項(xiàng)目的掩碼，包括移動(dòng)、調(diào)整大小和改變形狀，從而改進(jìn)項(xiàng)目的外觀。
• 項(xiàng)目移除：用戶(hù)可以通過(guò)刪除與項(xiàng)目相關(guān)的掩碼和提示組合，輕松移除圖像中的特定項(xiàng)目，并讓周?chē)鷧^(qū)域自然填補(bǔ)空白。
• 多功能圖像編輯：在一個(gè)統(tǒng)一的框架內(nèi)實(shí)現(xiàn)以上所有編輯功能，提供靈活而多樣的圖像編輯能力。

D-Edit的技術(shù)原理

• 項(xiàng)目提示交互：D-Edit將圖像分解為多個(gè)項(xiàng)目，并為每個(gè)項(xiàng)目分配獨(dú)特的提示，這些提示在預(yù)訓(xùn)練的擴(kuò)散模型中被專(zhuān)門(mén)學(xué)習(xí)，以控制特定項(xiàng)目。
• 解耦的交叉注意力層：該框架引入了解耦的交叉注意力機(jī)制，使模型能夠?qū)⒚總€(gè)項(xiàng)目的控制流與相應(yīng)的提示分開(kāi)處理，從而實(shí)現(xiàn)精準(zhǔn)的項(xiàng)目級(jí)編輯。
• 兩步優(yōu)化過(guò)程：
  • 提示注入：將新的標(biāo)記（tokens）注入文本編碼器的詞匯表中，并隨機(jī)初始化這些標(biāo)記的嵌入。
  • 模型微調(diào)：優(yōu)化文本編碼器的嵌入矩陣和UNet模型的權(quán)重，以建立項(xiàng)目與提示之間的關(guān)聯(lián)，使模型能夠基于給定的項(xiàng)目提示重建原始圖像。
  • 編輯操作的度：在建立項(xiàng)目與提示的關(guān)聯(lián)后，D-Edit支持用戶(hù)通過(guò)改變提示、掩碼或項(xiàng)目與提示之間的映射，進(jìn)行各種編輯操作。
• 靈活性和控制力：D-Edit的設(shè)計(jì)使用戶(hù)在編輯過(guò)程中能夠?qū)μ囟?xiàng)目進(jìn)行精確控制，同時(shí)保持整體圖像的自然和諧感。通過(guò)調(diào)整提示和掩碼，用戶(hù)可以實(shí)現(xiàn)從細(xì)微調(diào)整到完全替換的多種編輯效果。

D-Edit的項(xiàng)目地址

• GitHub倉(cāng)庫(kù)：https://github.com/collovlabs/d-edit
• arXiv技術(shù)論文：https://arxiv.org/pdf/2403.04880
• 在線(xiàn)體驗(yàn)Demo：https://huggingface.co/spaces/Collov-Labs/d-edit

D-Edit的應(yīng)用場(chǎng)景

• 數(shù)字藝術(shù)創(chuàng)作：藝術(shù)家和設(shè)計(jì)師可以利用D-Edit創(chuàng)建獨(dú)特的數(shù)字藝術(shù)作品，通過(guò)編輯圖像中的特定元素，營(yíng)造出獨(dú)特的視覺(jué)效果。
• 照片編輯：普通用戶(hù)能夠?qū)€(gè)人照片進(jìn)行個(gè)性化編輯，例如更換背景、調(diào)整姿勢(shì)、改變服裝樣式等。
• 廣告和營(yíng)銷(xiāo)：市場(chǎng)營(yíng)銷(xiāo)人員可以輕松更改廣告圖像中的特定元素，例如產(chǎn)品、標(biāo)志或文本，以滿(mǎn)足不同營(yíng)銷(xiāo)活動(dòng)的需求。
• 時(shí)尚和服裝：時(shí)尚設(shè)計(jì)師可以展示服裝設(shè)計(jì)的不同版本，通過(guò)改變顏色、紋理或款式來(lái)探索不同的設(shè)計(jì)可能性。
• 建筑和城市規(guī)劃：建筑師和城市規(guī)劃者能夠編輯建筑設(shè)計(jì)圖像，調(diào)整建筑外觀或城市布局。

常見(jiàn)問(wèn)題

Q1：D-Edit適合哪些用戶(hù)使用？
A1：D-Edit適合藝術(shù)家、設(shè)計(jì)師、市場(chǎng)營(yíng)銷(xiāo)專(zhuān)業(yè)人士以及任何希望對(duì)圖像進(jìn)行個(gè)性化編輯的普通用戶(hù)。

Q2：D-Edit的學(xué)習(xí)曲線(xiàn)如何？
A2：D-Edit設(shè)計(jì)簡(jiǎn)潔，用戶(hù)友好，初學(xué)者可以快速上手，同時(shí)高級(jí)用戶(hù)可以利用其豐富的功能進(jìn)行深入編輯。

Q3：D-Edit支持哪些文件格式？
A3：D-Edit支持多種常見(jiàn)圖像格式，包括JPEG、PNG等，確保用戶(hù)可以輕松導(dǎo)入和導(dǎo)出圖像。