OmniBooth是華為諾亞方舟實驗室與香港科技大學研究團隊聯手打造的圖像生成框架。該框架支持通過文本提示或圖像參考進行空間控制與實例級定制，用戶可以通過自定義的掩碼以及相關的文本或圖像，實現對圖像中對象位置與屬性的精確掌控，從而提升文本到圖像合成技術的可控性與實用性。

OmniBooth是什么

OmniBooth是一個創新的圖像生成框架，旨在通過文本提示或圖像參考實現空間控制與實例定制。該框架利用用戶定義的掩碼，以及與之相關的文本或圖像，精準地操控圖像中對象的位置和特征，從而提升圖像合成的靈活性和實用性。OmniBooth的核心在于高維潛在控制信號的創新應用，能夠無縫融合空間信息、文本與圖像條件，實現細致入微的圖像合成控制。

OmniBooth的主要功能

• 多模態指令控制：支持通過文本提示或圖像參考來指導圖像生成，實現在不同模態下的圖像合成。
• 空間控制與實例級定制：用戶可以自定義掩碼，并通過文本或圖像來精準控制圖像中對象的定位和屬性，實現個性化定制。
• 高維潛在控制信號：該框架利用潛在控制信號的技術，整合空間、文本和圖像條件，提供統一的表示方式。
• 靈活性和實用性：用戶可根據需求選擇文本或圖像作為多模態輸入，顯著增強生成圖像的靈活性與實用性。

OmniBooth的技術原理

• 多模態嵌入提取：
  • 文本嵌入：使用CLIP文本編碼器提取文本提示的嵌入向量。
  • 圖像嵌入：應用DINOv2特征提取器獲取圖像參考的嵌入向量，確保圖像的身份和空間特征得以保留。
• 潛在控制信號：文本與圖像的嵌入向量被繪制到高維潛在控制信號中，這些信號包含豐富的空間信息和潛在特征。
• 空間變形技術：通過空間變形技術，將圖像嵌入有效轉換并整合到潛在控制信號中，保持圖像的細節與結構。
• 特征對齊網絡與邊緣損失函數：
  • 開發特征對齊網絡，將條件信息注入潛在特征中。
  • 提出邊緣損失，以增強高頻區域的監督，從而提升生成圖像的質量與結構對齊。
• 多尺度訓練與隨機模態選擇策略：在訓練階段，該模型采用多尺度訓練和隨機模態選擇策略，以提升對不同分辨率和模態輸入的適應能力。

OmniBooth的項目地址

• 項目官網：len-li.github.io/omnibooth
• GitHub倉庫：https://github.com/EnVision-Research/OmniBooth
• HuggingFace模型庫：https://huggingface.co/lilelife/OmniBooth
• arXiv技術論文：https://arxiv.org/pdf/2410.04932

OmniBooth的應用場景

• 數據集生成：為機器學習模型生成所需的合成數據集，尤其在現實世界數據難以獲得的情況下。
• 內容創作：藝術家和設計師可以通過文本或圖像指導，創作新的圖像內容，如插畫、概念藝術等。
• 游戲與娛樂：在游戲開發中，快速生成游戲環境、角色和道具的原型設計。
• 虛擬現實（VR）與增強現實（AR）：為虛擬環境創建逼真的背景和對象，以提升用戶體驗。
• 廣告與營銷：根據客戶需求快速生成廣告圖像和營銷材料。

常見問題

• OmniBooth支持哪些輸入格式？：OmniBooth支持文本提示和圖像參考作為輸入，用戶可以根據需要靈活選擇。
• 如何自定義圖像生成？：用戶可以定義掩碼并提供相應的文本或圖像，精確控制圖像中對象的位置和屬性。
• OmniBooth適用于哪些行業？：它可廣泛應用于數據生成、藝術創作、游戲開發、虛擬現實等多個行業。