CSGO是一款由南京理工大學與小紅書等機構聯合研發的圖像風格遷移與文本到圖像生成的創新項目。其主要目標是為用戶提供多樣化且豐富的圖像創作工具。CSGO通過先進的數據構建流程，生成并清洗風格化數據三元組，并建立了IMAGStyle這一大規模風格遷移數據集。基于此數據集，CSGO框架實現了圖像驅動的風格遷移、文本驅動的風格化合成和文本編輯驅動的風格化合成，極大地提升了圖像生成過程中的風格控制能力。

CSGO是什么

CSGO（Content-Style Composition in Text-to-Image Generation）是南京理工大學與小紅書等機構共同推出的一個圖像風格遷移和文本到圖像生成的研究項目。該項目旨在為用戶提供更為豐富和多樣的圖像創作工具。CSGO引入了一種創新的數據構建流程，用以生成和清理風格化數據三元組，并創建了一個名為IMAGStyle的大規模風格遷移數據集。利用這一數據集，CSGO框架通過端到端的訓練方式，成功實現圖像驅動和文本驅動的風格化合成，顯著提升了圖像生成過程中的風格控制能力。

CSGO的主要功能

• 圖像驅動的風格遷移：用戶可以將一種圖像的風格應用到另一種圖像上，實現視覺上的風格轉換，同時保持原始內容的語義。
• 文本驅動的風格化合成：通過輸入文本描述，系統能夠生成具有特定風格的圖像，展現了其在理解自然語言和將文本轉化為視覺風格方面的能力。
• 文本編輯驅動的風格化合成：用戶在生成圖像后，可以通過編輯文本描述進一步調整圖像的風格，從而實現更高水平的創作控制。
• 端到端訓練模型：CSGO采用端到端的訓練方法，使模型在輸入和輸出之間形成連續的學習過程，從而提高了效率和效果。
• 特征注入技術：該技術通過的特征注入方式，將內容和風格特征明確解耦，分別提取并融合到生成的圖像中，以確保內容的準確性和風格的一致性。

CSGO的技術原理

• 數據構建流程：CSGO利用自動化的數據構建流程來生成和清洗風格化數據三元組，包括內容圖像、風格圖像及其對應的風格化結果圖像。
• 端到端訓練模型：模型通過直接從輸入學習到輸出，提升了訓練效率和效果，避免分階段處理的復雜性。
• 特征注入技術：
  • 內容控制：通過預訓練的ControlNet和額外的可學習交叉注意力層，將內容特征注入到基礎模型中，確保保留原始內容的語義和布局。
  • 風格控制：通過預訓練的圖像編碼器和風格投影層，提取風格特征并將其注入到模型的上采樣塊和的風格控制模塊中。
• 擴散模型：CSGO利用擴散模型逐步去除噪聲生成圖像，確保在風格遷移過程中保持內容的完整性。
• 內容對齊評分（CAS）：該評分用于衡量生成圖像與原始內容圖像在內容上的一致性，從而評估風格遷移的質量。

CSGO的項目地址

• 項目官網：csgo-gen.github.io
• GitHub倉庫：https://github.com/instantX-research/CSGO
• HuggingFace模型庫：https://huggingface.co/spaces/xingpng/CSGO
• arXiv技術論文：https://arxiv.org/pdf/2408.16766

CSGO的應用場景

• 藝術創作：藝術家和設計師利用CSGO探索新的藝術風格，創作獨特的數字藝術作品，或在保持內容主題不變的情況下嘗試不同的視覺表現手法。
• 數字娛樂：在游戲開發與電影制作中，CSGO被用來生成具有特定風格的場景和角色概念圖，為數字內容創作提供多樣化的視覺元素。
• 設計行業：設計師可以基于CSGO快速生成設計草圖和原型，通過不同的風格化圖像展示產品設計，或在設計過程中迅速迭代和測試不同的視覺風格。
• 廣告營銷：營銷人員利用CSGO生成吸引人的廣告視覺內容，針對目標受眾對產品圖像進行風格化，或根據品牌形象定制獨特的視覺風格。
• 社交媒體內容創作：內容創作者和影響者使用CSGO為社交媒體平臺（如Instagram、小紅書等）創作風格化內容，提升視覺吸引力和個性化表達。