今日arXiv最熱NLP大模型論文：清華提出LongAlign，打破長上下文對齊瓶頸，數據、訓練策略、評估基準一網打盡

AIGC動態歡迎閱讀

原標題：今日arXiv最熱NLP大模型論文：清華提出LongAlign，打破長上下文對齊瓶頸，數據、訓練策略、評估基準一網打盡
關鍵字：解讀,模型,數據,指令,長上
文章來源：夕小瑤科技說
內容字數：9891字

內容摘要：

夕小瑤科技說 原創編輯 | 謝年年隨著LLMs的發展，其支持的上下文長度越來越長。僅一年時間，GPT-4就從一開始的4K、8K拓展到了128k。
128k什么概念？相當于一本300頁厚的書。這是當初只支持512個tokens的BERT時代不敢想象的事情。
隨著上下文窗口長度的增加，可以提供更豐富的語義信息，從而減少LLM的出錯率和“幻覺”發生的可能性，提升用戶體驗。
但現有的構建長上下文LLMs的工作主要集中在上下文擴展方面，即位置編碼擴展和長文本的持續訓練。
而清華團隊轉而關注長上下文對齊的角度，即指令微調LLMs處理長文本提示，提供了一種全面的方法——LongAlign。
瞄準上下文對齊中缺乏長指令跟隨數據集、訓練效率低下以及缺乏強大的評估基準等挑戰，作者構建了多樣化的長指令數據集、采用了高效的訓練策略，以及開發針對長上下文指令跟隨能力的評估基準LongAlign-chat。
實驗結果顯示，LongAlign在長上下文任務中的表現顯著優于現有方法，提升幅度高達30%。不僅如此，LongAlign還保持了模型在處理短、通用任務的能力，沒有出現性能退化。
論文標題： LongAlign

原文鏈接：今日arXiv最熱NLP大模型論文：清華提出LongAlign，打破長上下文對齊瓶頸，數據、訓練策略、評估基準一網打盡

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI一線開發者、互聯網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備行業嗅覺與報道深度。