PartEdit – KAUST推出的細(xì)粒度圖像編輯方法

PartEdit是什么

PartEdit是由KAUST開(kāi)發(fā)的一種基于預(yù)訓(xùn)練擴(kuò)散模型的細(xì)粒度圖像編輯工具。該方法通過(guò)優(yōu)化特定的文本標(biāo)記（稱為“部分標(biāo)記”），使得擴(kuò)散模型能夠精確定位并編輯圖像中的各個(gè)對(duì)象部分。部分標(biāo)記生成與對(duì)象部分對(duì)應(yīng)的非二進(jìn)制掩碼，使得在每個(gè)擴(kuò)散步驟中都能準(zhǔn)確識(shí)別需要編輯的區(qū)域。結(jié)合特征混合與自適應(yīng)閾值策略，PartEdit能夠無(wú)縫整合編輯內(nèi)容，同時(shí)保留未編輯區(qū)域的原貌。此技術(shù)無(wú)需對(duì)模型進(jìn)行重新訓(xùn)練，便能實(shí)現(xiàn)高質(zhì)量的編輯效果。PartEdit不僅支持真實(shí)圖像的編輯，還能同時(shí)處理多個(gè)對(duì)象部分，為創(chuàng)作者提供了強(qiáng)大的工具，以實(shí)現(xiàn)精準(zhǔn)且富有創(chuàng)意的圖像修改。

PartEdit的主要功能

• 精準(zhǔn)定位與編輯對(duì)象部分：能夠?qū)D像中的各個(gè)對(duì)象部分（如頭部、車身、引擎蓋等）進(jìn)行精確定位和編輯，滿足用戶的細(xì)致修改需求。
• 無(wú)縫集成編輯內(nèi)容：利用優(yōu)化的非二進(jìn)制掩碼和自適應(yīng)閾值策略，將編輯信息與原圖無(wú)縫融合，避免突兀的過(guò)渡效果。
• 高質(zhì)量視覺(jué)效果：生成的編輯圖像保持高視覺(jué)質(zhì)量，確保未修改區(qū)域的原始細(xì)節(jié)和整體圖像風(fēng)格的一致性。
• 支持多種編輯類型：可實(shí)現(xiàn)語(yǔ)義編輯（如更換對(duì)象部分）和風(fēng)格調(diào)整（如改變顏色、材質(zhì)等），并生成傳統(tǒng)方法難以處理的復(fù)雜概念。
• 真實(shí)圖像編輯：結(jié)合圖像反轉(zhuǎn)技術(shù)，支持對(duì)真實(shí)照片進(jìn)行編輯，而不僅限于合成圖像。
• 多部分同時(shí)編輯：在推理過(guò)程中可同時(shí)編輯多個(gè)部分，無(wú)需重新訓(xùn)練模型，提高編輯效率。

PartEdit的技術(shù)原理

• 預(yù)訓(xùn)練擴(kuò)散模型：依托預(yù)訓(xùn)練的擴(kuò)散模型（如SDXL）的強(qiáng)大生成能力，通過(guò)逆向擴(kuò)散過(guò)程生成圖像，利用文本提示引導(dǎo)生成過(guò)程。
• 部分標(biāo)記（Part Tokens）：通過(guò)優(yōu)化特定文本標(biāo)記，提升模型對(duì)對(duì)象部分的理解。這些標(biāo)記在擴(kuò)散過(guò)程中每一步生成可靠的非二進(jìn)制掩碼，用于準(zhǔn)確定位編輯區(qū)域。
• 優(yōu)化過(guò)程：使用二元交叉熵（BCE）損失函數(shù)，并結(jié)合少量標(biāo)注數(shù)據(jù)（如PASCAL-Part或PartImageNet），優(yōu)化部分標(biāo)記，在不同UNet層和時(shí)間步中生成與對(duì)象部分相對(duì)應(yīng)的注意力圖。
• 特征混合與自適應(yīng)閾值策略：在每個(gè)時(shí)間步和UNet層，依據(jù)非二進(jìn)制掩碼將源圖像特征與編輯圖像特征混合。自適應(yīng)閾值策略用于平滑編輯區(qū)域與未編輯區(qū)域的過(guò)渡，確保編輯自然流暢。
• 時(shí)間步選擇：分析不同時(shí)間步的圖像生成狀態(tài)，選擇中間時(shí)間步優(yōu)化大型部分的定位，對(duì)小型部分結(jié)合中間和后期時(shí)間步，以實(shí)現(xiàn)最佳定位效果。
• 真實(shí)圖像反轉(zhuǎn)：針對(duì)真實(shí)圖像的編輯，結(jié)合圖像反轉(zhuǎn)技術(shù)（如Ledits++或EF-DDPM）估計(jì)真實(shí)圖像的擴(kuò)散軌跡，作為源路徑進(jìn)行編輯。

PartEdit的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://partedit.github.io/PartEdit/
• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.04050

PartEdit的應(yīng)用場(chǎng)景

• 藝術(shù)創(chuàng)作與設(shè)計(jì)：幫助藝術(shù)家和設(shè)計(jì)師迅速實(shí)現(xiàn)創(chuàng)意構(gòu)思。
• 影視與游戲制作：在影視和游戲的視覺(jué)效果制作中，快速修改角色外觀或場(chǎng)景元素。
• 廣告設(shè)計(jì)：廣告設(shè)計(jì)師可以快速生成多種產(chǎn)品廣告的視覺(jué)效果。
• 虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）：在VR和AR應(yīng)用中及時(shí)修改虛擬環(huán)境中的對(duì)象。
• 教育行業(yè)：在教育領(lǐng)域，創(chuàng)建教學(xué)材料，幫助學(xué)生更好地理解復(fù)雜概念。

常見(jiàn)問(wèn)題

• PartEdit是否需要培訓(xùn)？：PartEdit不需要重新訓(xùn)練模型，用戶可以直接使用現(xiàn)有的預(yù)訓(xùn)練模型進(jìn)行編輯。
• 可以編輯哪些類型的圖像？：PartEdit支持對(duì)真實(shí)圖像及合成圖像進(jìn)行編輯，適用范圍廣泛。
• PartEdit的編輯效果如何？：PartEdit生成的編輯圖像在視覺(jué)上保持高質(zhì)量，未編輯區(qū)域的細(xì)節(jié)得以保留。
• 支持同時(shí)編輯多個(gè)部分嗎？：是的，PartEdit支持在推理時(shí)同時(shí)編輯多個(gè)部分，提升了編輯效率。