GigaTok – 港大聯(lián)合字節(jié)推出用于自回歸圖像生成的視覺分詞器

GigaTok 是一種先進(jìn)的視覺分詞器，專為自回歸圖像生成設(shè)計(jì)，擁有高達(dá) 30 億的參數(shù)量。其獨(dú)特之處在于采用語(yǔ)義正則化技術(shù)，將分詞器特征與預(yù)訓(xùn)練視覺編碼器（如 DINOv2）的語(yǔ)義特征進(jìn)行對(duì)齊。這一創(chuàng)新方法有效地限制了潛在空間的復(fù)雜度，成功解決了在擴(kuò)展過程中重建質(zhì)量與生成質(zhì)量之間的矛盾。

GigaTok是什么

GigaTok 是一種用于自回歸圖像生成的視覺分詞器，其參數(shù)規(guī)模達(dá)到 30 億。通過引入語(yǔ)義正則化技術(shù)，GigaTok 有效對(duì)齊了分詞器特征與預(yù)訓(xùn)練視覺編碼器（如 DINOv2）的語(yǔ)義特征，從而有效約束了潛在空間的復(fù)雜性，解決了視覺分詞器在擴(kuò)展時(shí)面臨的重建質(zhì)量與生成質(zhì)量之間的挑戰(zhàn)。此外，GigaTok 采用了一維分詞器架構(gòu)，顯著提高了可擴(kuò)展性，優(yōu)先擴(kuò)展解碼器以更高效地分配計(jì)算資源，并引入熵?fù)p失來穩(wěn)定大規(guī)模模型的訓(xùn)練過程。

GigaTok的主要功能

• 卓越的圖像重建能力：GigaTok 將視覺分詞器擴(kuò)展至 30 億參數(shù)的規(guī)模，顯著提升了圖像重建的質(zhì)量。通過語(yǔ)義正則化技術(shù)，分詞器特征與預(yù)訓(xùn)練視覺編碼器的語(yǔ)義特征對(duì)齊，有效避免了潛在空間復(fù)雜度的過高。
• 增強(qiáng)下游生成效果：在下游自回歸生成任務(wù)中，GigaTok 顯示出了優(yōu)異的表現(xiàn)，成功解決了傳統(tǒng)方法中重建質(zhì)量與生成質(zhì)量的矛盾。借助語(yǔ)義正則化和優(yōu)化擴(kuò)展策略，GigaTok 在生成任務(wù)中實(shí)現(xiàn)了更加出色的質(zhì)量和泛化能力。
• 優(yōu)化表示學(xué)習(xí)：GigaTok 通過擴(kuò)展視覺分詞器規(guī)模及結(jié)合語(yǔ)義正則化，顯著提升了下游自回歸模型的表示學(xué)習(xí)效果。實(shí)驗(yàn)結(jié)果表明，使用 GigaTok 訓(xùn)練的模型在進(jìn)行線性探測(cè)時(shí)準(zhǔn)確率有顯著提高。
• 創(chuàng)新擴(kuò)展策略：GigaTok 提出了具有一維分詞器架構(gòu)的創(chuàng)新設(shè)計(jì)，相比于傳統(tǒng)的二維分詞器，其可擴(kuò)展性更為出色。優(yōu)先擴(kuò)展解碼器，并引入熵?fù)p失以確保大規(guī)模模型訓(xùn)練的穩(wěn)定性。

GigaTok的技術(shù)原理

• 混合架構(gòu)設(shè)計(jì)：GigaTok 結(jié)合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）和 Transformer 的混合架構(gòu)，達(dá)到高效特征提取和潛在空間編碼的目的。編碼部分通過 CNN 塊逐步下采樣圖像，隨后利用 Transformer 層和向量量化器生成離散的潛在編碼。解碼器則利用 Transformer 層和 CNN 解碼器將潛在編碼重建為圖像，支持一維（1D）和二維（2D）分詞器，其中 1D 分詞器在擴(kuò)展性方面表現(xiàn)更為優(yōu)越。
• 語(yǔ)義正則化：為了解決分詞器擴(kuò)展時(shí)潛在空間復(fù)雜性過高的問題，GigaTok 引入了語(yǔ)義正則化技術(shù)。通過將分詞器的特征與預(yù)訓(xùn)練視覺編碼器的語(yǔ)義特征進(jìn)行對(duì)齊，約束潛在空間的復(fù)雜性。具體實(shí)現(xiàn)上，通過對(duì)比學(xué)習(xí)框架，確保分詞器中間特征與預(yù)訓(xùn)練模型的語(yǔ)義空間一致，從而在擴(kuò)展模型規(guī)模時(shí)保持生成質(zhì)量。
• 非對(duì)稱擴(kuò)展策略：在擴(kuò)展編碼器和解碼器時(shí)，GigaTok 優(yōu)先擴(kuò)展解碼器，以更高效地分配計(jì)算資源，避免因編碼器過于復(fù)雜而導(dǎo)致潛在空間失控。
• 熵?fù)p失：GigaTok 通過引入熵?fù)p失來穩(wěn)定大規(guī)模分詞器的訓(xùn)練，鼓勵(lì)更高的碼本使用率，確保模型在訓(xùn)練過程中保持穩(wěn)定，避免因復(fù)雜度增加而導(dǎo)致的訓(xùn)練崩潰。

GigaTok的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://silentview.github.io/GigaTok/
• Github倉(cāng)庫(kù)：https://github.com/SilentView/GigaTok
• arXiv技術(shù)論文：https://arxiv.org/pdf/2504.08736

GigaTok的應(yīng)用場(chǎng)景

• 圖像生成與合成：GigaTok 在自回歸圖像生成領(lǐng)域表現(xiàn)卓越，能夠生成高質(zhì)量圖像，適用于藝術(shù)創(chuàng)作、游戲開發(fā)、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域，幫助用戶快速生成符合需求的圖像內(nèi)容。
• 圖像編輯與增強(qiáng)：GigaTok 可用于圖像編輯任務(wù)，例如將前景物體無(wú)縫融合到背景圖像中，提高整體視覺效果。
• 數(shù)據(jù)增強(qiáng)與預(yù)訓(xùn)練：憑借其高效的圖像分詞和重建能力，GigaTok 能為機(jī)器學(xué)習(xí)模型提供優(yōu)質(zhì)的預(yù)訓(xùn)練數(shù)據(jù)。
• 多模態(tài)學(xué)習(xí)：GigaTok 的語(yǔ)義正則化技術(shù)使其能夠與文本生成模型相結(jié)合，實(shí)現(xiàn)文本到圖像的生成。因此，其多模態(tài)能力在智能創(chuàng)作、虛擬助手等領(lǐng)域展現(xiàn)出廣闊的應(yīng)用前景。
• 醫(yī)學(xué)圖像處理：GigaTok 的高保真圖像重建能力可廣泛應(yīng)用于醫(yī)學(xué)圖像的生成與處理，例如生成高質(zhì)量的醫(yī)學(xué)影像以用于診斷或研究。

常見問題

• GigaTok的使用難度大嗎？：GigaTok 設(shè)計(jì)的用戶友好，提供詳細(xì)的文檔和示例，便于研究人員和開發(fā)者上手使用。
• GigaTok的性能如何？：GigaTok 在各類自回歸圖像生成任務(wù)中展現(xiàn)出優(yōu)越的性能，生成的圖像質(zhì)量高，且在多個(gè)評(píng)測(cè)標(biāo)準(zhǔn)上均有出色表現(xiàn)。
• 如何獲取GigaTok的最新版本？：用戶可以通過其官網(wǎng)或Github倉(cāng)庫(kù)獲取GigaTok的最新版本和更新信息。