OmniBooth：華為諾亞方舟與港科大攜手打造創(chuàng)新圖像生成框架，推動智能創(chuàng)作新體驗

OmniBooth是華為諾亞方舟實驗室與香港科技大學(xué)研究團隊聯(lián)手打造的圖像生成框架。該框架支持通過文本提示或圖像參考進行空間控制與實例級定制，用戶可以通過自定義的掩碼以及相關(guān)的文本或圖像，實現(xiàn)對圖像中對象位置與屬性的精確掌控，從而提升文本到圖像合成技術(shù)的可控性與實用性。

OmniBooth是什么

OmniBooth是一個創(chuàng)新的圖像生成框架，旨在通過文本提示或圖像參考實現(xiàn)空間控制與實例定制。該框架利用用戶定義的掩碼，以及與之相關(guān)的文本或圖像，精準(zhǔn)地操控圖像中對象的位置和特征，從而提升圖像合成的靈活性和實用性。OmniBooth的核心在于高維潛在控制信號的創(chuàng)新應(yīng)用，能夠無縫融合空間信息、文本與圖像條件，實現(xiàn)細致入微的圖像合成控制。

OmniBooth的主要功能

• 多模態(tài)指令控制：支持通過文本提示或圖像參考來指導(dǎo)圖像生成，實現(xiàn)在不同模態(tài)下的圖像合成。
• 空間控制與實例級定制：用戶可以自定義掩碼，并通過文本或圖像來精準(zhǔn)控制圖像中對象的定位和屬性，實現(xiàn)個性化定制。
• 高維潛在控制信號：該框架利用潛在控制信號的技術(shù)，整合空間、文本和圖像條件，提供統(tǒng)一的表示方式。
• 靈活性和實用性：用戶可根據(jù)需求選擇文本或圖像作為多模態(tài)輸入，顯著增強生成圖像的靈活性與實用性。

OmniBooth的技術(shù)原理

• 多模態(tài)嵌入提取：
  • 文本嵌入：使用CLIP文本編碼器提取文本提示的嵌入向量。
  • 圖像嵌入：應(yīng)用DINOv2特征提取器獲取圖像參考的嵌入向量，確保圖像的身份和空間特征得以保留。
• 潛在控制信號：文本與圖像的嵌入向量被繪制到高維潛在控制信號中，這些信號包含豐富的空間信息和潛在特征。
• 空間變形技術(shù)：通過空間變形技術(shù)，將圖像嵌入有效轉(zhuǎn)換并整合到潛在控制信號中，保持圖像的細節(jié)與結(jié)構(gòu)。
• 特征對齊網(wǎng)絡(luò)與邊緣損失函數(shù)：
  • 開發(fā)特征對齊網(wǎng)絡(luò)，將條件信息注入潛在特征中。
  • 提出邊緣損失，以增強高頻區(qū)域的監(jiān)督，從而提升生成圖像的質(zhì)量與結(jié)構(gòu)對齊。
• 多尺度訓(xùn)練與隨機模態(tài)選擇策略：在訓(xùn)練階段，該模型采用多尺度訓(xùn)練和隨機模態(tài)選擇策略，以提升對不同分辨率和模態(tài)輸入的適應(yīng)能力。

OmniBooth的項目地址

• 項目官網(wǎng)：len-li.github.io/omnibooth
• GitHub倉庫：https://github.com/EnVision-Research/OmniBooth
• HuggingFace模型庫：https://huggingface.co/lilelife/OmniBooth
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.04932

OmniBooth的應(yīng)用場景

• 數(shù)據(jù)集生成：為機器學(xué)習(xí)模型生成所需的合成數(shù)據(jù)集，尤其在現(xiàn)實世界數(shù)據(jù)難以獲得的情況下。
• 內(nèi)容創(chuàng)作：藝術(shù)家和設(shè)計師可以通過文本或圖像指導(dǎo)，創(chuàng)作新的圖像內(nèi)容，如插畫、概念藝術(shù)等。
• 游戲與娛樂：在游戲開發(fā)中，快速生成游戲環(huán)境、角色和道具的原型設(shè)計。
• 虛擬現(xiàn)實（VR）與增強現(xiàn)實（AR）：為虛擬環(huán)境創(chuàng)建逼真的背景和對象，以提升用戶體驗。
• 廣告與營銷：根據(jù)客戶需求快速生成廣告圖像和營銷材料。

常見問題

• OmniBooth支持哪些輸入格式？：OmniBooth支持文本提示和圖像參考作為輸入，用戶可以根據(jù)需要靈活選擇。
• 如何自定義圖像生成？：用戶可以定義掩碼并提供相應(yīng)的文本或圖像，精確控制圖像中對象的位置和屬性。
• OmniBooth適用于哪些行業(yè)？：它可廣泛應(yīng)用于數(shù)據(jù)生成、藝術(shù)創(chuàng)作、游戲開發(fā)、虛擬現(xiàn)實等多個行業(yè)。