DynamicControl – 騰訊優(yōu)圖聯(lián)合南洋理工等機構推出的動態(tài)條件控制圖像生成新框架

DynamicControl是什么

DynamicControl是騰訊優(yōu)圖與南洋理工大學、浙江大學等研究機構聯(lián)合開發(fā)的一種新型文本生成圖像（T2I）框架，集成了多模態(tài)大語言模型（MLLM）的推理能力。該系統(tǒng)通過靈活選擇不同的條件，實現(xiàn)了動態(tài)的多控制對齊，顯著提升了圖像生成的可控性，同時保證了圖像的質量和與文本的對齊度。DynamicControl支持多種控制信號的靈活組合，能夠根據(jù)條件的重要性和內(nèi)部關系自適應選擇合適的條件數(shù)量和類型，從而優(yōu)化生成的圖像與源圖像之間的相似性。

DynamicControl的主要功能

• 動態(tài)條件組合：DynamicControl允許不同控制信號的靈活組合，支持自適應選擇條件的數(shù)量和類型，從而實現(xiàn)更可靠和細致的圖像合成。
• 條件評估器：通過集成多模態(tài)大型語言模型（MLLM），構建高效的條件評估器，依據(jù)雙循環(huán)控制器的評分優(yōu)化條件的排序。
• 增強可控性：實驗結果表明，DynamicControl顯著增強了生成圖像的可控性，而不會影響圖像質量或與文本的對齊效果。
• 解決多條件問題：該框架克服了現(xiàn)有方法在處理多條件時效率低下或依賴固定條件數(shù)量的局限性，提供了一種全面管理多種條件的方法。

DynamicControl的技術原理

• 雙循環(huán)控制器（Double-Cycle Controller）：DynamicControl通過雙循環(huán)控制器為所有輸入條件生成初步的真實分數(shù)排序。控制器利用預訓練的條件生成模型和判別模型，為每個圖像條件和文本提示生成圖像，提取相應的圖像條件，并評估提取條件與輸入條件之間的相似性，以及與源圖像的像素級匹配，進而得出組合分數(shù)排名。
• 多模態(tài)大語言模型（MLLM）：DynamicControl整合了多模態(tài)大型語言模型（如LLaVA）以構建高效的條件評估器，該評估器將多種條件及提示指令作為輸入，使用雙循環(huán)控制器的評分優(yōu)化條件的最佳排序。
• 多控制適配器（Multi-Control Adapter）：該框架提出了一種創(chuàng)新且高效的多控制適配器，能夠自適應選擇不同條件，實現(xiàn)動態(tài)的多控制對齊。適配器從動態(tài)視覺條件中學習特征圖，并將其集成以調制ControlNet，從而增強對生成圖像的控制能力。
• 動態(tài)條件選擇：DynamicControl支持動態(tài)組合不同的控制信號，能夠自適應選擇不同數(shù)量和類型的條件，以確保訓練過程能夠針對各種數(shù)據(jù)輸入的獨特需求進行量身定制，提升模型的有效性和效率。
• 自適應機制：DynamicControl的自適應機制使得動態(tài)和多樣化的控制條件在數(shù)量和類型上無沖突，訓練過程中的使用依據(jù)每個數(shù)據(jù)集的具體特征而定。

DynamicControl的項目地址

• 項目官網(wǎng)：https://hithqd.github.io/projects/Dynamiccontrol
• Github倉庫：https://github.com/hithqd/DynamicControl
• arXiv技術論文：https://arxiv.org/pdf/2412.03255

DynamicControl的應用場景

• 藝術創(chuàng)作：DynamicControl可以在藝術創(chuàng)作中發(fā)揮作用，幫助藝術家根據(jù)特定的視覺要求生成圖像，例如創(chuàng)作具有特定風格或元素的藝術作品。
• 游戲設計：在游戲設計領域，DynamicControl能夠快速生成游戲背景、角色或道具的概念圖，從而提高設計效率。
• 廣告制作：在廣告行業(yè)，DynamicControl可以根據(jù)廣告文案和視覺需求生成引人注目的廣告圖像，助力品牌傳播。
• 個性化內(nèi)容生成：隨著AI繪畫和寫作工具的普及，DynamicControl能夠滿足用戶對個性化和定制內(nèi)容的需求，提供更符合個人偏好的視覺作品。

常見問題

• DynamicControl如何提升圖像生成的可控性？：通過動態(tài)選擇和組合不同的控制條件，DynamicControl能夠根據(jù)具體需求生成更加精準的圖像，避免了傳統(tǒng)方法中對條件的固定依賴。
• 該框架適用于哪些領域？：DynamicControl廣泛適用于藝術創(chuàng)作、游戲設計、廣告制作以及個性化內(nèi)容生成等多個領域，能夠滿足不同用戶的需求。
• 如何訪問DynamicControl的技術文檔？：用戶可以通過訪問項目官網(wǎng)或GitHub倉庫獲取詳細的技術文檔和使用指南。