ComfyGen是一種由NVIDIA與特拉維夫大學(xué)的研究者們共同開發(fā)的創(chuàng)新文本到圖像生成系統(tǒng)。該系統(tǒng)依托大型語言模型（LLM）自動構(gòu)建與用戶文本提示相匹配的工作流，從而顯著提升圖像生成的質(zhì)量。ComfyGen突破了傳統(tǒng)單體模型在圖像生成過程中的局限性，整合了多種專業(yè)組件，如微調(diào)基礎(chǔ)模型、LoRAs、嵌入和超分辨率步驟，形成復(fù)雜而高效的工作流。

ComfyGen的主要功能

• 智能工作流生成：根據(jù)用戶提供的文本提示，自動生成最適合的圖像生成工作流。
• 多元組件協(xié)作：將微調(diào)基礎(chǔ)模型、LoRAs、嵌入和超分辨率步驟等多種專業(yè)組件結(jié)合，構(gòu)建復(fù)雜的生成流程。
• 圖像質(zhì)量提升：通過優(yōu)化工作流，顯著提高生成圖像的質(zhì)量，使其更符合用戶的文本要求。
• 自動化流程設(shè)計：降低設(shè)計有效工作流所需的專業(yè)知識，實現(xiàn)過程的自動化，適應(yīng)多樣化的文本提示。
• LLM預(yù)測整合：利用大型語言模型（LLM）來預(yù)測和選擇與文本提示最匹配的圖像生成流程。

ComfyGen的技術(shù)原理

• 數(shù)據(jù)收集與訓(xùn)練集構(gòu)建：研究團隊收集了一系列由人類創(chuàng)造的ComfyUI工作流，通過隨機交換工作流參數(shù)（如基礎(chǔ)模型、LoRAs、采樣器等）來增強數(shù)據(jù)集。隨后，利用一組文本提示生成圖像，并通過美學(xué)和人類偏好預(yù)測器對圖像進行評分，形成包含提示、工作流和分?jǐn)?shù)的三元組數(shù)據(jù)集。
• LLM預(yù)測：ComfyGen依賴于LLM來預(yù)測給定文本提示的最佳工作流，主要采用兩種方法：
  • 上下文方法（ComfyGen-IC）：向LLM提供一個包含不同類別工作流及其得分的表格，以選擇最合適的新文本提示工作流。
  • 微調(diào)方法（ComfyGen-FT）：通過微調(diào)LLM，在給定文本提示和目標(biāo)分?jǐn)?shù)的情況下，預(yù)測能夠?qū)崿F(xiàn)目標(biāo)分?jǐn)?shù)的工作流。
• 工作流生成：在推理階段，ComfyGen接受文本提示和高分?jǐn)?shù)作為輸入，LLM將預(yù)測出一個與條件相符的工作流。
• 圖像生成與評估：使用預(yù)測出的工作流生成圖像，并通過人類偏好和圖像質(zhì)量評估指標(biāo)來評估生成結(jié)果。

ComfyGen的項目地址

• 項目官網(wǎng)：comfygen-paper.github.io
• arXiv技術(shù)論文：https://arxiv.org/pdf/2410.01731v1

ComfyGen的應(yīng)用場景

• 藝術(shù)創(chuàng)作：藝術(shù)家和設(shè)計師利用ComfyGen生成特定風(fēng)格和主題的圖像，加快創(chuàng)作進程并探索新穎的視覺概念。
• 游戲開發(fā)：游戲開發(fā)者使用ComfyGen迅速生成游戲中的背景、角色概念圖及其他元素，提高開發(fā)效率。
• 廣告與營銷：市場營銷團隊借助ComfyGen設(shè)計廣告圖像和宣傳材料，確保其與廣告文案及品牌信息相契合。
• 影視及娛樂行業(yè)：電影制作人和視覺特效團隊使用ComfyGen創(chuàng)作電影場景概念圖或特效圖像，以輔助前期制作和視覺效果設(shè)計。
• 教育與研究：教育工作者和研究人員利用ComfyGen生成教學(xué)材料中的插圖，進行科學(xué)可視化時創(chuàng)造精確的圖像。

常見問題

• ComfyGen能生成什么樣的圖像？ ComfyGen可以生成多種風(fēng)格和主題的圖像，適用于藝術(shù)創(chuàng)作、游戲開發(fā)、廣告設(shè)計等多個領(lǐng)域。
• 使用ComfyGen需要具備什么樣的專業(yè)知識？ ComfyGen通過自動化設(shè)計流程，降低了對專業(yè)知識的需求，用戶只需提供文本提示即可生成相應(yīng)圖像。
• ComfyGen的生成速度如何？ 生成速度會因輸入的復(fù)雜性和所需的圖像質(zhì)量而有所不同，但系統(tǒng)旨在提供快速且高質(zhì)量的圖像生成。
• 如何訪問ComfyGen？ 用戶可以通過其官方網(wǎng)站或arXiv技術(shù)論文獲取更多信息和使用指南。