UNO

UNO – 字節跳動推出的創新AI圖像生成框架

UNO

UNO概述

UNO是字節跳動推出的一款創新型AI圖像生成框架，旨在克服傳統模型在生成多主體圖像時所面臨的限制。通過獨特的“少到多”泛化策略，UNO能夠高效地生成單一主體與多個主體的高質量圖像，成功解決了在多主體場景中保持一致性的問題。該框架以擴散變換器為基礎，生成具有高一致性的多主體數據，并采用漸進式跨模態對齊技術，通過分階段的模型訓練逐步提升生成效果。此外，UNO引入了通用旋轉位置嵌入（UnoPE），支持生成多種分辨率和長寬比的圖像。

UNO的主要功能

單主體定制生成：UNO能夠根據提供的參考圖像生成在不同場景、姿勢或風格中保持相同主體特征的圖像。
多主體組合生成：用戶可以輸入多個參考圖像，UNO將生成一幅包含所有參考主體的新圖像。
虛擬試穿與產品展示：UNO支持虛擬試穿功能，能夠將特定產品（如服裝、飾品等）應用于各種人物模型，展示其實際效果，同時保持產品的原始特性。
風格化生成：UNO具備風格轉換能力，可以為參考主體生成不同風格的圖像。
強大的泛化能力：UNO在多個任務中展現出卓越的泛化能力，能適用于多種應用場景，包括單主體和多主體驅動的圖像生成，涵蓋id、tryon、style等領域。

UNO的技術原理

高一致性數據合成管道：UNO利用擴散變換器的內在上下文生成特性，合成高一致性的多主體配對數據，從而自動創建大規模、高質量的訓練數據，解決了數據獲取的難題。
漸進式跨模態對齊：UNO的訓練過程分為兩個階段：
- 第一階段：使用單主體上下文生成的數據對預訓練的文本到圖像（T2I）模型進行微調，使其具備處理單主體生成任務的能力。
- 第二階段：引入多主體數據繼續訓練，增強模型處理復雜場景的能力。這種逐步對齊的方式使模型更好地適應從單主體到多主體的生成任務。
通用旋轉位置嵌入（UnoPE）：UNO通過引入通用旋轉位置嵌入（UnoPE），有效解決了擴展視覺主體控制時的屬性混淆問題。UnoPE為文本和圖像標記分配特定位置索引，調控多模態標記之間的交互，幫助模型專注于從文本特征中提取布局信息，同時保持良好的文本可控性和主體相似性。
模型架構：UNO基于開源模型FLUX.1 dev，繼承其文生圖基礎能力和多模態注意力機制，采用通用定制化模型框架，支持從文本到圖像的迭代訓練，通過獨特的漸進式跨模態對齊和通用旋轉位置嵌入等機制，實現單主體和多主體生成中的高一致性和可控性。
數據管理與模型進化：UNO采用“模型-數據共同進化”的新范式，以較弱的模型生成訓練數據，從而訓練出更強的模型，使模型在訓練過程中逐步適應多樣化場景，能夠有效應對實際應用中可能遇到的復雜情況。