產(chǎn)品名稱：SnapGen
產(chǎn)品簡(jiǎn)介：SnapGen是Snap Inc、香港科技大學(xué)、墨爾本大學(xué)等機(jī)構(gòu)聯(lián)合推出的文本到圖像（T2I）擴(kuò)散模型，能在移動(dòng)設(shè)備上快速生成高分辨率（1024×1024像素）的圖像，且只需1.4秒。模型用379M參數(shù)實(shí)現(xiàn)這一性能，顯著減少模型大小和計(jì)算需求，同時(shí)在GenEval指標(biāo)上達(dá)到0.66的高分，超越許多參數(shù)量更大的SDXL和IF-XL模型。
詳細(xì)介紹：

SnapGen是什么

SnapGen是Snap Inc、香港科技大學(xué)、墨爾本大學(xué)等機(jī)構(gòu)聯(lián)合推出的文本到圖像（T2I）擴(kuò)散模型，能在移動(dòng)設(shè)備上快速生成高分辨率（1024×1024像素）的圖像，且只需1.4秒。模型用379M參數(shù)實(shí)現(xiàn)這一性能，顯著減少模型大小和計(jì)算需求，同時(shí)在GenEval指標(biāo)上達(dá)到0.66的高分，超越許多參數(shù)量更大的SDXL和IF-XL模型。SnapGen基于優(yōu)化網(wǎng)絡(luò)架構(gòu)、跨架構(gòu)知識(shí)蒸餾和對(duì)抗性步驟蒸餾等技術(shù)，實(shí)現(xiàn)在移動(dòng)設(shè)備上的高效圖像生成。

SnapGen的主要功能

• 高分辨率圖像生成：在移動(dòng)設(shè)備上快速生成高達(dá)1024×1024像素的高分辨率圖像。
• 快速生成能力：在1.4秒內(nèi)完成圖像生成，顯著提高生成效率。
• 優(yōu)化的模型大小：SnapGen模型參數(shù)僅為379M，在圖像質(zhì)量上超越參數(shù)量更大的模型。
• 跨架構(gòu)知識(shí)蒸餾：基于從更大的模型中轉(zhuǎn)移知識(shí)，提高小型模型的生成質(zhì)量。
• 對(duì)抗性步驟蒸餾：結(jié)合對(duì)抗性訓(xùn)練和知識(shí)蒸餾，實(shí)現(xiàn)幾步生成高質(zhì)量圖像的能力。

SnapGen的技術(shù)原理

• 網(wǎng)絡(luò)架構(gòu)優(yōu)化：對(duì)去噪U(xiǎn)Net和自動(dòng)編碼器（AE）的網(wǎng)絡(luò)架構(gòu)進(jìn)行深入檢查，獲得延遲和性能之間的最佳平衡，減少模型參數(shù)和計(jì)算復(fù)雜性，同時(shí)保持圖像生成質(zhì)量。
• 多級(jí)知識(shí)蒸餾：基于跨架構(gòu)從更大的模型中提取知識(shí)，用多級(jí)方法指導(dǎo)模型的訓(xùn)練，在保持較小模型尺寸的同時(shí)，實(shí)現(xiàn)高質(zhì)量的圖像生成。
• 時(shí)間步長(zhǎng)感知的縮放：在訓(xùn)練過(guò)程中，采用時(shí)間步長(zhǎng)感知的縮放技術(shù)，結(jié)合多個(gè)訓(xùn)練目標(biāo)，適應(yīng)不同時(shí)間步長(zhǎng)的預(yù)測(cè)難度。
• 對(duì)抗性訓(xùn)練：結(jié)合對(duì)抗性訓(xùn)練和知識(shí)蒸餾，用幾步教師模型實(shí)現(xiàn)快速的高質(zhì)量圖像生成。
• 集成對(duì)抗性指導(dǎo)：在知識(shí)蒸餾過(guò)程中，整合對(duì)抗性指導(dǎo)，進(jìn)一步提升生成圖像的質(zhì)量和真實(shí)感。
• 高效的訓(xùn)練技術(shù)：引入改進(jìn)的訓(xùn)練技術(shù)，包括流匹配作為目標(biāo)，及在訓(xùn)練中用logit-normal采樣，提高訓(xùn)練穩(wěn)定性和生成質(zhì)量。

SnapGen的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：snap-research.github.io/snapgen
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.09619

SnapGen的應(yīng)用場(chǎng)景

• 社交媒體內(nèi)容創(chuàng)作：用戶快速生成個(gè)性化圖像，用在社交媒體平臺(tái)如Snapchat的帖子或故事。
• 移動(dòng)應(yīng)用集成：在移動(dòng)應(yīng)用中集成SnapGen，提供用戶即興創(chuàng)作圖像的功能，如虛擬試衣、濾鏡效果預(yù)覽等。
• 游戲和娛樂(lè)：用在游戲內(nèi)資產(chǎn)的快速生成，或在移動(dòng)游戲中提供玩家自定義角色和環(huán)境的能力。
• 教育和培訓(xùn)：用SnapGen生成教學(xué)材料中的圖像，如科學(xué)圖解或歷史場(chǎng)景，增強(qiáng)學(xué)習(xí)體驗(yàn)。
• 新聞和媒體：記者和媒體工作者快速生成新聞報(bào)道中需要的圖像，提高報(bào)道的吸引力和表現(xiàn)力。