AI文本到圖像生成框架，提升單步擴散模型的效率和性能

產品名稱：SNOOPI
產品簡介：SNOOPI是創新的文本到圖像生成框架，基于增強單步擴散模型的指導提升模型性能和控制力。SNOOPI包括PG-SB（適當指導 – SwiftBrush）和NASA（負向遠離轉向注意力）兩種技術。PG-SB用隨機尺度的無分類器引導方法，增強訓練穩定性；NASA用交叉注意力機制整合負面提示，有效抑制生成圖像中的不期望元素。
詳細介紹：

SNOOPI是什么

SNOOPI是創新的文本到圖像生成框架，基于增強單步擴散模型的指導提升模型性能和控制力。SNOOPI包括PG-SB（適當指導 – SwiftBrush）和NASA（負向遠離轉向注意力）兩種技術。PG-SB用隨機尺度的無分類器引導方法，增強訓練穩定性；NASA用交叉注意力機制整合負面提示，有效抑制生成圖像中的不期望元素。實驗結果顯示，SNOOPI在多個評估指標上顯著超越基線模型，尤其在HPSv2得分達到31.08，樹立了單步擴散模型的新標桿。

SNOOPI的主要功能

• 提高單步文本到圖像擴散模型的效率：將多步驟的文本到圖像擴散模型簡化為單步模型，提高生成效率，減少計算資源的需求。
• 增強模型的穩定性和控制性：基于PG-SB和NASA技術，SNOOPI在訓練和推理過程中提供更穩定的性能，支持對生成的圖像進行更精細的控制。
• 支持負面提示引導：SNOOPI用NASA技術，實現對負面提示的支持，使在圖像生成過程中排除不想要的元素，提升圖像生成的實際應用價值。
• 提升圖像質量：SNOOPI能生成高質量、高分辨率的圖像，其HPSv2得分達到31.08，顯示了在圖像質量上的優勢。
• 跨模型背板兼容性：SNOOPI能在不同的模型背板上有效工作，包括PixArt-α、SDv1.5和SDv2.1等，顯示了廣泛的適用性。

SNOOPI的技術原理

• 隨機尺度分類器引導：PG-SB（Proper Guidance – SwiftBrush）在訓練過程中變化教師模型的指導比例，擴大輸出分布，讓模型適應不同的擴散模型背板，同時保持競爭力的性能。
• 負向提示整合：NASA（Negative-Away Steer Attention）基于交叉注意力機制將負面提示融入單步擴散模型中，調整中間特征空間的注意力權重，減少不希望的特征在生成圖像中的出現。
• 模型輸出對齊：VSD框架用預訓練的擴散模型增強基于文本的生成，確保生成的圖像與教師模型的概率密度對齊。
• 特征過濾：基于NASA機制，SNOOPI在特征空間中過濾掉不想要的特征，能在生成圖像之前排除不需要的元素，減少混合偽影的出現。

SNOOPI的項目地址

• 項目官網：snoopi-onestep.github.io
• GitHub倉庫：https://github.com/VinAIResearch/SNOOPI
• HuggingFace模型庫：https://huggingface.co/papers/2412.02687
• arXiv技術論文：https://arxiv.org/pdf/2412.02687

SNOOPI的應用場景

• 數字藝術創作：藝術家和設計師快速生成具有特定風格或元素的圖像，提高創作效率。
• 游戲開發：在游戲設計中，快速生成游戲環境、角色概念圖或其他游戲資產。
• 廣告和營銷：營銷人員根據文案快速生成吸引人的廣告圖像，提高營銷材料的吸引力和個性化。
• 社交媒體內容生成：社交媒體用戶和內容創作者生成個性化的圖像和帖子，增加互動和參與度。
• 電影和娛樂產業：在電影制作和娛樂產業中，生成特效圖像、背景或故事板。