Diffusion Self-Distillation（擴散自蒸餾，簡稱DSD）是一項前沿的零樣本定制圖像生成技術(shù)，由斯坦福大學(xué)的吳佳俊團隊研發(fā)。該技術(shù)利用預(yù)訓(xùn)練的文本到圖像擴散模型，自動生成數(shù)據(jù)集，并對其進行微調(diào)，以便執(zhí)行文本條件的圖像到圖像轉(zhuǎn)換任務(wù)。DSD通過生成圖像網(wǎng)格并利用視覺語言模型篩選，創(chuàng)建出高質(zhì)量的配對數(shù)據(jù)集，從而實現(xiàn)無需人工干預(yù)的身份保持定制圖像生成。

XX是什么

Diffusion Self-Distillation（DSD）是一種全新的圖像生成方法，能夠在多種上下文中生成特定實例的圖像，同時保持其身份特征。該技術(shù)的核心在于零樣本學(xué)習(xí)，用戶無需為特定實例提供訓(xùn)練數(shù)據(jù)，只需應(yīng)用預(yù)訓(xùn)練模型即可完成生成任務(wù)。DSD的自動化數(shù)據(jù)配對功能則依賴于自生成的數(shù)據(jù)集和視覺語言模型的輔助，確保創(chuàng)建出高質(zhì)量的訓(xùn)練數(shù)據(jù)對。

主要功能

• 身份保持的定制圖像生成：在不同的情境下生成特定實例的圖像，確保其身份特征的一致性。
• 零樣本學(xué)習(xí)：無需特定實例的訓(xùn)練數(shù)據(jù)，直接利用預(yù)訓(xùn)練模型進行圖像生成。
• 自動化數(shù)據(jù)配對：借助視覺語言模型自動篩選，創(chuàng)建高質(zhì)量的訓(xùn)練數(shù)據(jù)對。
• 圖像到圖像的轉(zhuǎn)換：支持將輸入圖像轉(zhuǎn)換為符合特定文本條件的輸出圖像，例如改變光照效果、風(fēng)格或其他視覺屬性。
• 廣泛的適用性：適用于多種文本條件的圖像生成任務(wù)，包括個性化、重光照、深度控制和指令跟隨等。

產(chǎn)品官網(wǎng)

• 項目官網(wǎng)：primecai.github.io/dsd
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.18616

應(yīng)用場景

• 藝術(shù)創(chuàng)作：藝術(shù)家可以在各種風(fēng)格和背景中創(chuàng)作，同時保持作品中角色或?qū)ο蟮囊恢滦浴?/li>
• 游戲開發(fā)：在游戲設(shè)計中，快速生成具有一致身份特征的角色或物品，以適應(yīng)不同的游戲場景。
• 電影和動畫制作：電影制作人能夠在不同場景中保持角色一致性，或在不同光照條件下重新渲染場景。
• 廣告和營銷：營銷人員能夠定制廣告圖像，確保品牌形象在各類媒體中保持一致。
• 個性化商品：根據(jù)用戶上傳的圖像生成個性化商品，例如定制的T恤、杯子和手機殼等，同時保持品牌元素的一致性。

常見問題

• DSD如何實現(xiàn)身份保持的生成？：DSD通過生成高質(zhì)量的配對數(shù)據(jù)集和利用預(yù)訓(xùn)練模型的上下文生成能力，確保在不同情境下保持身份一致性。
• 是否需要大量的訓(xùn)練數(shù)據(jù)？：不需要。DSD采用零樣本學(xué)習(xí)，利用預(yù)訓(xùn)練模型即可進行生成，無需針對特定實例的訓(xùn)練數(shù)據(jù)。
• DSD適用哪些領(lǐng)域？：DSD廣泛適用于藝術(shù)創(chuàng)作、游戲開發(fā)、電影制作、廣告營銷和個性化商品等多個領(lǐng)域。