2.5%KV緩存保持大模型90%性能，大模型金字塔式信息匯聚模式探秘｜開(kāi)源

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：2.5%KV緩存保持大模型90%性能，大模型金字塔式信息匯聚模式探秘｜開(kāi)源
關(guān)鍵字：緩存,注意力,模型,性能,任務(wù)
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

蔡澤凡 投稿量子位 | 公眾號(hào) QbitAI用KV緩存加速大模型的顯存瓶頸，終于迎來(lái)突破。
北大、威斯康辛-麥迪遜、微軟等聯(lián)合團(tuán)隊(duì)提出了全新的緩存分配方案，只用2.5%的KV cache，就能保持大模型90%的性能。
這下再也不用擔(dān)心KV占用的顯存容量過(guò)高，導(dǎo)致顯卡不夠用了。
該方法名為PyramidKV，顧名思義，在KV緩存壓縮的過(guò)程中融入了金字塔型的信息匯聚方式。
在內(nèi)存受限的情況下，PyramidKV表現(xiàn)非常出色，既保留了長(zhǎng)上下文理解能力，又顯著減少了內(nèi)存使用。
目前，PyramidKV相關(guān)代碼已經(jīng)在GitHub開(kāi)源。
引入金字塔信息匯聚方式隨著模型尺寸的增大，推理需要的時(shí)間越來(lái)越多。KV cache作為推理加速的關(guān)鍵技術(shù)，通過(guò)緩存之前的解碼步驟中計(jì)算出的Transformer的K和V矩陣減少后續(xù)解碼時(shí)間。
但是，隨著序列長(zhǎng)度增大，需要緩存的KV cache會(huì)快速增長(zhǎng)，占用大量顯存。針對(duì)這一問(wèn)題，之前的工作設(shè)計(jì)策略是對(duì)KV cache進(jìn)行壓縮。
實(shí)際上，長(zhǎng)文本的推理加速和顯存節(jié)省作為一個(gè)重要的話題，這涉及到廣泛的大模型下游應(yīng)用，比如檢索增強(qiáng)生成（Retrieval-Augment

原文鏈接：2.5%KV緩存保持大模型90%性能，大模型金字塔式信息匯聚模式探秘｜開(kāi)源

聯(lián)系作者

文章來(lái)源：量子位
作者微信：QbitAI
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破