DiffBrush

DiffBrush – 北郵聯(lián)合清華等機構推出的圖像生成與編輯框架

DiffBrush是什么

DiffBrush是由北京郵電大學、清華大學、中國電信人工智能研究所和西北工業(yè)大合開發(fā)的一款圖像生成與編輯框架。用戶無需進行復雜的訓練，即可通過簡單的手繪草圖直觀地操控圖像生成過程。該工具利用預訓練的文本到圖像（T2I）模型，結合顏色引導、實例及語義引導、潛在空間再生等先進技術，精確地掌控生成圖像的顏色、語義及實例分布。DiffBrush兼容多種T2I模型（如Stable Diffusion、SDXL等），并支持LoRA風格調(diào)整。用戶在畫布上輕松繪制實例的輪廓和顏色，即可生成符合其需求的圖像。DiffBrush有效地克服了傳統(tǒng)T2I模型對文本提示的依賴，提高了AI繪畫的可用性，為用戶提供了更為直觀和高效的創(chuàng)作體驗。

DiffBrush

DiffBrush的主要功能

用戶友好的圖像生成：用戶可以通過手繪草圖來控制生成圖像的內(nèi)容，無需掌握復雜的文本提示或技術知識。
顏色控制：根據(jù)用戶繪制的顏色信息，精確控制生成圖像中相應區(qū)域的顏色。
實例與語義控制：用戶可以繪制實例的輪廓并標注語義信息，以控制生成圖像中特定對象的位置和語義屬性。
圖像編輯：允許用戶在現(xiàn)有圖像的基礎上進行編輯，如添加、修改或替換圖像中的對象。
風格化生成：支持與LoRA（低秩自適應）風格調(diào)整結合，生成不同藝術風格的圖像，如油畫、國畫等。
多模型兼容：兼容多種T2I模型（如Stable Diffusion、SDXL、Flux等），具備廣泛的適用性。

DiffBrush的技術原理

擴散模型的引導機制：基于預訓練的T2I模型（如Stable Diffusion）的擴散過程，DiffBrush通過修改去噪方向，引導生成圖像朝向用戶手繪的草圖靠攏。
顏色引導：通過擴散模型的潛在空間與顏色空間的高度相似性，用戶繪制的顏色信息被編碼到潛在空間中，利用能量函數(shù)（如MSE損失）引導生成圖像的顏色與用戶的需求一致。
實例與語義引導：利用擴散模型中的注意力機制（如交叉注意力和自注意力），根據(jù)用戶繪制的實例輪廓作為監(jiān)督目標，調(diào)整注意力圖的分布，確保生成圖像中對象的位置和語義符合用戶需求。
潛在空間再生：通過迭代優(yōu)化初始噪聲分布，使其接近用戶手繪草圖的目標分布，從而在擴散過程的早期階段進一步提升生成圖像的質(zhì)量。
用戶交互與兼容性：將用戶的手繪草圖與文本提示結合，提供簡單的用戶界面以實現(xiàn)直觀交互。DiffBrush支持多種預訓練的T2I模型，用戶可根據(jù)需要調(diào)整引導強度等超參數(shù)，以獲得最佳生成效果。

DiffBrush的項目地址

arXiv技術論文：https://arxiv.org/pdf/2502.20904

DiffBrush的應用場景

創(chuàng)意繪畫：藝術家和設計師能夠快速將手繪創(chuàng)意轉(zhuǎn)化為高質(zhì)量圖像，支持多種風格，便于實現(xiàn)藝術構思。
圖像編輯：用戶可在已有圖片上輕松添加、替換或修改內(nèi)容，適合普通用戶和設計師使用。
教育工具：可用于藝術與設計教學，幫助學生通過手繪理解色彩、構圖和創(chuàng)意表達。
游戲設計：快速生成游戲場景、角色或動畫草圖，支持風格化輸出，助力創(chuàng)意迭代。
廣告設計：根據(jù)創(chuàng)意草圖迅速生成廣告圖像，滿足客戶對色彩和布局的需求，提高設計效率。