20倍壓縮比！微軟提出大模型提示壓縮框架LLMLingua

AIGC動態歡迎閱讀

原標題：20倍壓縮比！微軟提出大模型提示壓縮框架LLMLingua

關鍵字：提示,模型,方法,語言,比例

文章來源：夕小瑤科技說

內容字數：7242字

內容摘要：夕小瑤科技說 原創作者 | 智商掉了一地、兔子醬近期，越來越多研究在探索大型語言模型（LLM）在實際應用中的推理和生成能力。隨著 ChatGPT 等模型的廣泛研究與應用，如何在保留關鍵信息的同時，壓縮較長的提示成為當前大模型研究的問題之一。為了加速模型推理并降低成本，微軟的新文章提出了一種粒度粗到細的提示壓縮方法 LLMLingua，它在對齊后采用了經過良好訓練的較小語言模型，通過給提示動態分配不同的壓縮比率，在高壓縮比率下保持語義完整性。雖然 token 級的壓縮提示的格式難以被人類理解，但 LLM 可以很好地進行解釋。實驗證明，這種方法在 20 倍的壓縮下性能損失仍較小，這不僅能夠降低計算成本，還為處理 LLM 中更長的上下文提供了潛在解決方案。論文題目: LLMLingua: Compressing Prompts for Accelerated Inference of Large…

原文鏈接：點此閱讀原文：20倍壓縮比！微軟提出大模型提示壓縮框架LLMLingua

聯系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI應用開發者、算法工程師和研究人員。一線作者均來自清北、國外頂級AI實驗室和互聯網大廠，兼備媒體sense與技術深度。