文本驅(qū)動的風格變革：在線試玩助力生成效果飛躍！

圖像生成在風格轉(zhuǎn)換這塊更強了。

原標題：在線試玩 | 對齊、生成效果大增，文本驅(qū)動的風格轉(zhuǎn)換迎來進階版
文章來源：機器之心
內(nèi)容字數(shù)：6476字

研究背景與目的

隨著生成式人工智能技術(shù)的發(fā)展，文本驅(qū)動的風格遷移成為圖像生成領(lǐng)域的重要研究方向。該技術(shù)旨在將參考圖像的風格與特定文本提示相結(jié)合，生成具有特定風格的圖像。然而，傳統(tǒng)的風格遷移方法存在著風格過擬合和文本控制失效等問題。為此，來自西湖大學等機構(gòu)的研究團隊提出了一種新的方法——StyleStudio，旨在解決這些挑戰(zhàn)。

主要貢獻

StyleStudio的研究團隊提出了三項核心創(chuàng)新，以應(yīng)對風格遷移中的主要問題：

跨模態(tài)自適應(yīng)實例正則化技術(shù) (Cross-Modal AdaIN)：該技術(shù)通過自適應(yīng)平衡文本與風格條件的影響，減少了信息沖突，提高了生成質(zhì)量。
基于風格圖像的無分類器生成引導 (Style-CFG)：這種方法允許選擇性地突出特定風格元素，同時過濾掉無關(guān)特征，解決了風格模糊的問題。
教師模型穩(wěn)定圖像生成：利用Stable Diffusion模型作為教師模型，替換生成過程中的注意力圖，以穩(wěn)定圖像布局，確保生成結(jié)果符合文本要求。

實驗與結(jié)果

研究團隊通過定性與定量實驗驗證了StyleStudio的有效性。結(jié)果顯示，所提出的方法在文本對齊、布局穩(wěn)定性和風格特征保留等方面均優(yōu)于現(xiàn)有的風格遷移方法。用戶調(diào)研實驗也表明，StyleStudio在多個指標上表現(xiàn)突出，成功實現(xiàn)了對風格元素的可控調(diào)整。