Inf-DiT – 清華聯(lián)合智譜 AI 推出的超高分辨率圖像生成模型

什么是Inf-DiT

Inf-DiT是由清華大學(xué)和智譜AI聯(lián)合開發(fā)的一種基于擴(kuò)散模型的圖像上采樣方法，旨在生成超高分辨率圖像。該方法創(chuàng)新性地引入了單向塊注意力機(jī)制（UniBA），將生成過程中的空間復(fù)雜度從O(N^2)降低到O(N)，有效解決了傳統(tǒng)擴(kuò)散模型在處理大尺寸圖像時(shí)所面臨的內(nèi)存消耗問題。Inf-DiT利用擴(kuò)散變換器（DiT）框架，能夠靈活應(yīng)對(duì)各種形狀和分辨率的圖像上采樣任務(wù)，并通過多種技術(shù)手段提升生成圖像的局部和全局一致性。實(shí)驗(yàn)結(jié)果顯示，Inf-DiT在超高分辨率圖像生成和超分辨率任務(wù)中均達(dá)到了領(lǐng)先的性能。

Inf-DiT的主要功能

• 生成超高分辨率圖像：Inf-DiT能夠生成高分辨率圖像，突破了傳統(tǒng)擴(kuò)散模型在高分辨率圖像生成過程中的內(nèi)存限制，適用于需要細(xì)致細(xì)節(jié)和豐富紋理的復(fù)雜設(shè)計(jì)、廣告、海報(bào)及壁紙等應(yīng)用場(chǎng)景。
• 靈活的圖像上采樣：該方法支持各種形狀和分辨率的圖像上采樣任務(wù)，為不同需求的圖像質(zhì)量提升提供強(qiáng)大的技術(shù)支持。
• 增強(qiáng)局部和全局一致性：Inf-DiT通過全局圖像嵌入和鄰近低分辨率塊的交叉注意力機(jī)制，有效增強(qiáng)生成圖像的局部和全局一致性，確保生成的圖像在細(xì)節(jié)和整體結(jié)構(gòu)上均符合預(yù)期。
• 零樣本文本控制能力：具備零樣本文本控制功能，能根據(jù)用戶提供的文本提示引導(dǎo)和調(diào)整生成的圖像，提升生成圖像的多樣性與可控性。

Inf-DiT的技術(shù)原理

• 單向塊注意力機(jī)制（UniBA）：該機(jī)制將圖像分割成多個(gè)塊，在每個(gè)擴(kuò)散步驟中順序生成這些塊，每個(gè)批次同時(shí)生成部分塊，并可根據(jù)內(nèi)存允許并行生成任意數(shù)量的塊，極大降低了生成過程的空間復(fù)雜度。
• 擴(kuò)散變換器（DiT）結(jié)構(gòu)：Inf-DiT采用擴(kuò)散變換器結(jié)構(gòu)，結(jié)合了Vision Transformer（ViT）的優(yōu)勢(shì)，以注意力機(jī)制作為圖像塊之間交互的主要方式，提升了模型的性能和擴(kuò)展性。
• 全局圖像嵌入：為了增強(qiáng)生成圖像的全局語義一致性，Inf-DiT通過預(yù)訓(xùn)練的CLIP模型從低分辨率圖像中提取全局圖像嵌入，并將其融入到擴(kuò)散變換器的時(shí)間嵌入中，讓模型能更好地利用高層語義信息。
• 鄰近低分辨率塊的交叉注意力機(jī)制：在生成高分辨率圖像時(shí)，為了減少圖像不連續(xù)的情況，Inf-DiT在變換器的第一層引入了鄰近低分辨率塊的交叉注意力機(jī)制，使每個(gè)塊能夠關(guān)注周圍的3×3低分辨率塊，提升局部一致性。

Inf-DiT的項(xiàng)目地址

• GitHub倉庫：https://github.com/THUDM/Inf-DiT
• arXiv技術(shù)論文：https://arxiv.org/pdf/2405.04312

Inf-DiT的應(yīng)用場(chǎng)景

• 設(shè)計(jì)與創(chuàng)意領(lǐng)域：用于生成高分辨率的建筑效果圖，以展示建筑細(xì)節(jié)和整體布局，幫助客戶和設(shè)計(jì)師更好地理解設(shè)計(jì)方案。
• 娛樂與媒體產(chǎn)業(yè)：提升影視畫面的分辨率與清晰度，增強(qiáng)視覺效果，以滿足不同播放媒介的需求。
• 印刷與出版行業(yè)：將低分辨率的書籍插圖和封面圖像上采樣到適合印刷的高分辨率，確保印刷質(zhì)量。
• 科技與研究領(lǐng)域：提高醫(yī)學(xué)影像的分辨率，幫助醫(yī)生更準(zhǔn)確地進(jìn)行診斷與分析。

常見問題

• Inf-DiT適用于哪些類型的圖像？：Inf-DiT可以處理各種形狀和分辨率的圖像，適用于多種應(yīng)用場(chǎng)景。
• 如何使用Inf-DiT生成圖像？：用戶可以通過提供低分辨率圖像和文本提示，利用Inf-DiT進(jìn)行圖像上采樣和生成。
• Inf-DiT的性能如何？：根據(jù)實(shí)驗(yàn)結(jié)果，Inf-DiT在超高分辨率圖像生成及超分辨率任務(wù)中表現(xiàn)出色，達(dá)到了領(lǐng)先的性能。