最多400萬token上下文、推理提速22倍，StreamingLLM火了，已獲GitHub 2.5K星

AIGC動態歡迎閱讀

原標題：最多400萬token上下文、推理提速22倍，StreamingLLM火了，已獲GitHub 2.5K星

關鍵字：注意力,報告,模型,窗口,研究者

文章來源：機器之心

內容字數：5205字

內容摘要：機器之心報道編輯：蛋醬如果你體驗過與任何一款對話式 AI 機器人的交流，你一定能想起某些極具「挫敗感」的時刻。比如，你在前一天的對話中講述過的要點，被 AI 忘得干干凈凈……這是因為當前的多數 LLM 只能記住有限的上下文，就像為考試而臨時抱佛腳的學生，稍加盤問就會「露出馬腳」。想象一下，如果 AI 助手在中能夠根據上下文參考幾周或幾個月前的對話，或者，你可以要求 AI 助手總結長達數千頁的報…

原文鏈接：點此閱讀原文：最多400萬token上下文、推理提速22倍，StreamingLLM火了，已獲GitHub 2.5K星

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺