TokenSwift

TokenSwift – 超長文本生成加速框架，90分鐘內(nèi)生成10萬Token文本

TokenSwift是一款由北京通用人工智能研究院團(tuán)隊(duì)開發(fā)的超長文本生成加速框架，其強(qiáng)大的功能使得在90分鐘內(nèi)生成10萬Token的文本成為可能。與傳統(tǒng)自回歸模型需要近5小時(shí)的生成時(shí)間相比，TokenSwift的速度提升達(dá)到了三倍，同時(shí)不損失生成質(zhì)量。得益于多Token生成與復(fù)用、動(dòng)態(tài)KV緩存更新和上下文懲罰機(jī)制等先進(jìn)技術(shù)，TokenSwift有效減少了模型加載延遲，優(yōu)化了緩存更新時(shí)間，確保了生成文本的多樣性。

TokenSwift是什么

TokenSwift 是北京通用人工智能研究院團(tuán)隊(duì)推出的超長文本生成加速框架，能夠在90分鐘內(nèi)生成10萬Token的文本。相比傳統(tǒng)自回歸模型的近5小時(shí)，TokenSwift的速度提升達(dá)到了三倍，同時(shí)保持了生成質(zhì)量的無損。該框架利用多Token生成與Token重用、動(dòng)態(tài)KV緩存更新以及上下文懲罰機(jī)制等技術(shù)，顯著降低了模型加載延遲，優(yōu)化了緩存更新時(shí)間，并確保生成文本的多樣性。它支持多種規(guī)模和架構(gòu)的模型，包括1.5B、7B、8B、14B的多頭注意力（MHA）和分組查詢注意力（GQA）模型。

TokenSwift的主要功能

• 加速超長文本生成：TokenSwift可以顯著縮短超長文本的生成時(shí)間，傳統(tǒng)自回歸模型生成10萬Token的文本可能需要近5個(gè)小時(shí)，而TokenSwift僅需90分鐘，效率提高了300%。
• 保持生成質(zhì)量：在加速生成的同時(shí)，TokenSwift確保了文本輸出的質(zhì)量和多樣性，原始模型的輸出質(zhì)量得以保留。
• 兼容多種模型：TokenSwift支持不同規(guī)模和架構(gòu)的多種模型，包括1.5B、7B、8B和14B的模型，以及多頭注意力（MHA）和分組查詢注意力（GQA）架構(gòu)。

TokenSwift的技術(shù)原理

• 多Token并行生成與復(fù)用：TokenSwift借鑒了Medusa等先進(jìn)方法，引入額外的線性層，使得模型能夠在一次前向傳播中同時(shí)生成多個(gè)草稿Token。系統(tǒng)基于生成文本中的n-gram頻率信息，自動(dòng)檢索并復(fù)用高頻短語，從而減少模型的重新加載次數(shù)，提高整體效率。
• 動(dòng)態(tài)KV緩存管理策略：TokenSwift在KV緩存管理方面采用動(dòng)態(tài)更新策略，生成過程中保留初始KV緩存，并根據(jù)Token的重要性對(duì)后續(xù)緩存進(jìn)行有序替換。
• 樹結(jié)構(gòu)的多候選Token驗(yàn)證：為確保生成結(jié)果與目標(biāo)模型預(yù)測(cè)的一致性，TokenSwift引入了樹形注意力機(jī)制。通過構(gòu)建包含多個(gè)候選Token組合的樹形結(jié)構(gòu)，采用并行驗(yàn)證的方式，從中隨機(jī)選擇最長且有效的n-gram作為最終輸出，確保生成過程的無損性和多樣性。
• 上下文懲罰機(jī)制：為了進(jìn)一步減少重復(fù)生成現(xiàn)象，TokenSwift設(shè)計(jì)了一種上下文懲罰方法。在生成過程中對(duì)近期生成的Token施加懲罰，使得模型在選擇下一Token時(shí)更傾向于多樣化輸出，有效降低重復(fù)現(xiàn)象的發(fā)生。

TokenSwift的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://bigai-nlco.github.io/TokenSwift/
• Github倉庫：https://github.com/bigai-nlco/TokenSwift
• HuggingFace模型庫：https://huggingface.co/TokenSwift
• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.18890

TokenSwift的應(yīng)用場景

• 內(nèi)容創(chuàng)作與文案生成：TokenSwift在短時(shí)間內(nèi)生成高質(zhì)量文本內(nèi)容，非常適合內(nèi)容創(chuàng)作者、廣告公司和媒體機(jī)構(gòu)，顯著提高工作效率。
• 智能客服與機(jī)器人：在智能客服和機(jī)器人應(yīng)用中，TokenSwift能迅速生成詳盡的回答，尤其在處理復(fù)雜問題或提供長篇解釋時(shí)，能帶來更高效、更連貫的對(duì)話體驗(yàn)。
• 學(xué)術(shù)研究與論文撰寫：對(duì)于學(xué)術(shù)研究和論文撰寫，TokenSwift能幫助研究人員快速生成文獻(xiàn)綜述、實(shí)驗(yàn)報(bào)告或論文草稿，節(jié)省大量時(shí)間和精力。
• 代碼生成與編程輔助：在編程領(lǐng)域，TokenSwift可用于生成復(fù)雜的代碼片段或文檔，幫助開發(fā)者迅速構(gòu)建和優(yōu)化代碼。