DreamOmni – 港中文、字節等機構共同推出的統一圖像生成和編輯模型

DreamOmni是什么

DreamOmni 是由香港中文大學、字節跳動和香港科技大合開發的一款綜合圖像生成與編輯模型。該模型融合了文本到圖像（T2I）生成技術以及多種圖像編輯功能，包括指令式編輯、圖像修復、拖拽編輯和參考圖像生成。DreamOmni 采用了一種高效的合成數據管道，旨在解決高質量編輯數據的創建難題，支持模型的訓練與擴展。通過聯合訓練T2I與編輯任務，DreamOmni 強化了對概念的理解，有效提升了圖像生成的質量。在多項實驗評估中，DreamOmni 在圖像生成與編輯任務上展現了顯著的優勢。

DreamOmni的主要功能

• 綜合圖像生成與編輯：DreamOmni 能夠處理文本轉圖像（T2I）生成及多種圖像編輯任務，如指令式編輯、修復（包括修復和擴展）、拖拽編輯以及參考圖像生成。
• 高效合成數據管道：通過類似貼紙的元素，DreamOmni 能夠高效、準確地合成大規模的高質量編輯數據，支持統一模型的訓練。
• 聯合訓練機制：將 T2I 數據與各類編輯任務的數據結合進行訓練，提升模型對特定概念的理解，改善生成質量，增強編輯能力。
• 多任務處理能力：模型具備理解和執行添加、移除、替換等操作的能力，同時能夠處理圖像的平移、旋轉和縮放等編輯任務。

DreamOmni的技術原理

• 框架設計理念：將 T2I 模型與多種編輯任務整合，以實現多任務學習的目標。
• 視覺-語言模型（VLM）：基于 VLM 技術統一編碼視覺和語言提示，將編碼后的提示與噪聲潛在表示結合，實現聯合計算。
• 合成數據生成機制：通過合成拼貼數據管道，DreamOmni 能夠高效創建精確的編輯數據，支持添加、刪除、替換等操作，以及拖拽編輯和參考圖像生成。
• 多模態輸入兼容性：該框架設計簡潔，兼容多模態輸入，使 DreamOmni 能夠處理復雜的提示和圖像條件。
• 分階段訓練策略：DreamOmni 采用從低分辨率到高分辨率的分階段訓練策略，優化模型性能和訓練效率。
• 優化技術應用：使用 Rectified Flow 等技術優化模型，以線性插值的方式在噪聲和數據之間進行前向過程，提高生成質量和效率。

DreamOmni的項目地址

• 項目官網：zj-binxia.github.io/DreamOmni-ProjectPage
• arXiv技術論文：https://arxiv.org/pdf/2412.17098

DreamOmni的應用場景

• 數字藝術創作：藝術家和設計師可以利用 DreamOmni 快速生成或編輯圖像，將創意概念轉化為視覺作品。
• 游戲開發：游戲開發者可使用該模型創建游戲資產，如角色、環境與道具，或者對現有游戲元素進行編輯。
• 電影與娛樂產業：在電影制作中，DreamOmni 可用于生成特效背景或編輯現有場景圖像，從而節省成本和時間。
• 廣告與營銷：營銷人員可以快速生成吸引人的廣告圖像和宣傳材料，以適應不同的廣告渠道。
• 教育與培訓：在教育領域，DreamOmni 可用于創建教學材料，如圖解和模擬場景，從而增強學習體驗。