Qihoo-T2X

Qihoo-T2X – 360 AI 研究院和中山大學(xué)開源的高效多模態(tài)生成模型

Qihoo-T2X是什么

Qihoo-T2X 是由360 AI 研究院與中山大合開發(fā)的一款高效多模態(tài)生成模型，基于代理標(biāo)記化擴(kuò)散 Transformer（PT-DiT）架構(gòu)。該模型引入了稀疏代理標(biāo)記注意力機(jī)制，顯著減少了傳統(tǒng)擴(kuò)散 Transformer 在全局自注意力計(jì)算中的冗余，結(jié)合窗口注意力和移位窗口注意力，提升了細(xì)節(jié)建模的能力。Qihoo-T2X 可支持多項(xiàng)任務(wù)，包括文本到圖像（T2I）、文本到視頻（T2V）以及文本到多視圖（T2MV）生成。

Qihoo-T2X的主要功能

• 文本到圖像生成：根據(jù)用戶輸入的文本描述，生成高質(zhì)量且分辨率極高的圖像，確保生成內(nèi)容與文本描述高度一致，適合用于創(chuàng)意設(shè)計(jì)和藝術(shù)創(chuàng)作等領(lǐng)域。
• 文本到視頻生成：能夠根據(jù)文本描述生成連貫的視頻內(nèi)容，支持動(dòng)態(tài)場(chǎng)景和視頻序列的生成，適用于視頻創(chuàng)作和動(dòng)畫制作。
• 文本到多視圖生成：根據(jù)文本描述生成同一物體或場(chǎng)景的多角度圖像，適合于3D對(duì)象的多視角展示，支持虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用。
• 高效生成能力：基于優(yōu)化的代理標(biāo)記化注意力機(jī)制，顯著降低了計(jì)算復(fù)雜度，使得高分辨率圖像和長(zhǎng)視頻的生成更加高效，從而減少了訓(xùn)練和推理成本。

Qihoo-T2X的技術(shù)原理

• 代理標(biāo)記化注意力機(jī)制：傳統(tǒng)的擴(kuò)散 Transformer 采用全局自注意力機(jī)制，計(jì)算復(fù)雜度較高且存在冗余。PT-DiT 通過(guò)在每個(gè)時(shí)空窗口內(nèi)計(jì)算平均標(biāo)記作為代理標(biāo)記，減少了計(jì)算量，并通過(guò)交叉注意力機(jī)制將全局語(yǔ)義信息注入所有潛在標(biāo)記，確保有效的信息傳播。
• 窗口注意力與移位窗口注意力：為增強(qiáng)局部細(xì)節(jié)建模，PT-DiT 引入窗口注意力機(jī)制，針對(duì)局部窗口內(nèi)的標(biāo)記進(jìn)行自注意力計(jì)算。移位窗口注意力機(jī)制則用于避免窗口劃分造成的“網(wǎng)格效應(yīng)”，進(jìn)一步提升生成質(zhì)量。
• 稀疏代理標(biāo)記的高效處理：通過(guò)稀疏代理標(biāo)記機(jī)制，PT-DiT 在處理高分辨率圖像和長(zhǎng)視頻時(shí)，顯著降低了計(jì)算復(fù)雜度，同時(shí)保持生成內(nèi)容的質(zhì)量。
• 多任務(wù)適應(yīng)能力：PT-DiT 的架構(gòu)設(shè)計(jì)允許其無(wú)縫適應(yīng)圖像生成、視頻生成和多視圖生成等多種任務(wù)，無(wú)需進(jìn)行重大結(jié)構(gòu)調(diào)整。

Qihoo-T2X的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://360cvgroup.github.io/Qihoo-T2X/
• GitHub倉(cāng)庫(kù)：https://github.com/360CVGroup/Qihoo-T2X
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.04005

Qihoo-T2X的應(yīng)用場(chǎng)景

• 創(chuàng)意設(shè)計(jì)與藝術(shù)創(chuàng)作：基于文本描述，快速生成高質(zhì)量藝術(shù)圖像，支持多種風(fēng)格，助力設(shè)計(jì)流程，加速藝術(shù)家的創(chuàng)意靈感。
• 視頻內(nèi)容生成：生成連貫的動(dòng)畫視頻，適合于廣告、宣傳以及動(dòng)畫制作，降低視頻創(chuàng)作的成本和時(shí)間。
• 教育與培訓(xùn)：生成教學(xué)用圖像和視頻，幫助學(xué)生理解復(fù)雜概念，支持虛擬實(shí)驗(yàn)室和動(dòng)態(tài)教學(xué)資源。
• 娛樂(lè)與游戲開發(fā)：生成虛擬場(chǎng)景、角色和動(dòng)態(tài)內(nèi)容，適用于游戲開發(fā)、虛擬現(xiàn)實(shí)（VR）和增強(qiáng)現(xiàn)實(shí)（AR）應(yīng)用，提升用戶沉浸感。
• 廣告與營(yíng)銷：快速生成個(gè)性化的廣告圖像和視頻，提高營(yíng)銷效果，滿足品牌視覺(jué)內(nèi)容的需求。