Diffusion Self-Distillation（擴散自蒸餾，簡稱DSD）是一項前沿的零樣本定制圖像生成技術，由斯坦福大學的吳佳俊團隊研發。該技術利用預訓練的文本到圖像擴散模型，自動生成數據集，并對其進行微調，以便執行文本條件的圖像到圖像轉換任務。DSD通過生成圖像網格并利用視覺語言模型篩選，創建出高質量的配對數據集，從而實現無需人工干預的身份保持定制圖像生成。

XX是什么

Diffusion Self-Distillation（DSD）是一種全新的圖像生成方法，能夠在多種上下文中生成特定實例的圖像，同時保持其身份特征。該技術的核心在于零樣本學習，用戶無需為特定實例提供訓練數據，只需應用預訓練模型即可完成生成任務。DSD的自動化數據配對功能則依賴于自生成的數據集和視覺語言模型的輔助，確保創建出高質量的訓練數據對。

主要功能

• 身份保持的定制圖像生成：在不同的情境下生成特定實例的圖像，確保其身份特征的一致性。
• 零樣本學習：無需特定實例的訓練數據，直接利用預訓練模型進行圖像生成。
• 自動化數據配對：借助視覺語言模型自動篩選，創建高質量的訓練數據對。
• 圖像到圖像的轉換：支持將輸入圖像轉換為符合特定文本條件的輸出圖像，例如改變光照效果、風格或其他視覺屬性。
• 廣泛的適用性：適用于多種文本條件的圖像生成任務，包括個性化、重光照、深度控制和指令跟隨等。

產品官網

• 項目官網：primecai.github.io/dsd
• arXiv技術論文：https://arxiv.org/pdf/2411.18616

應用場景

• 藝術創作：藝術家可以在各種風格和背景中創作，同時保持作品中角色或對象的一致性。
• 游戲開發：在游戲設計中，快速生成具有一致身份特征的角色或物品，以適應不同的游戲場景。
• 電影和動畫制作：電影制作人能夠在不同場景中保持角色一致性，或在不同光照條件下重新渲染場景。
• 廣告和營銷：營銷人員能夠定制廣告圖像，確保品牌形象在各類媒體中保持一致。
• 個性化商品：根據用戶上傳的圖像生成個性化商品，例如定制的T恤、杯子和手機殼等，同時保持品牌元素的一致性。

常見問題

• DSD如何實現身份保持的生成？：DSD通過生成高質量的配對數據集和利用預訓練模型的上下文生成能力，確保在不同情境下保持身份一致性。
• 是否需要大量的訓練數據？：不需要。DSD采用零樣本學習，利用預訓練模型即可進行生成，無需針對特定實例的訓練數據。
• DSD適用哪些領域？：DSD廣泛適用于藝術創作、游戲開發、電影制作、廣告營銷和個性化商品等多個領域。