AIGC動態(tài)歡迎閱讀

原標題：一覽大模型長文本能力
關鍵字：模型,位置,文本,數據,侵權
文章來源：算法邦
內容字數：11828字

內容摘要：

智猩猩和智東西發(fā)起主辦的2024中國生成式AI大會將于4月18-19日在北京舉辦。主會場將進行開幕式、大模型專場、AI Infra專場和AIGC應用專場；分會場將進行具身智能技術研討會、AI智能體技術研討會和中國智算中心創(chuàng)新論壇。掃名，也可咨詢。導讀本文是作者BPSk從數據層面、模型層面、評估層面對大模型長文本能力技術點總結以及對業(yè)內優(yōu)秀工作的匯總。
本文只做技術分享，如有侵權，聯系刪文。前言
如今的大模型被應用在各個場景，其中有些場景則需要模型能夠支持處理較長文本的能力(比如8k甚至更長)，其中已經有很多開源或者閉源模型具備該能力比如GPT4、Baichuan2-192K等等。
那關于LLM的長文本能力，目前業(yè)界通常都是怎么做的？有哪些技術點或者方向？今天我們就來總結一波，供大家快速全面了解。
當然也有一些關于LLM長文本的綜述，感興趣的小伙伴可以看看，比如：
《Advancing Transformer Architecture in Long-Context Large Language Models: A Comprehensive Survey》
https://arxi

原文鏈接：一覽大模型長文本能力

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，連接AI新青年，講解研究成果，分享系統(tǒng)思考。