AIGC動態歡迎閱讀

原標題：ACL 2024 | 提升大模型持續學習性能，哈工大、度小滿提出共享注意力框架SAPT
關鍵字：注意力,任務,模塊,模型,災難性
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本論文作者趙偉翔是哈爾濱工業大學社會計算與信息檢索研究中心 2021 級直博生，導師為趙妍妍教授和秦兵教授，主要研究方向為對話系統、大語言模型對齊等。他曾以第一作者在 ACL、AAAI、IJCAI、COLING 等會議上發表論文。
個人主頁: https://circle-hit.github.io/
在大模型實際部署落地的過程中，如何賦予大模型持續學習的能力是一個至關重要的挑戰。這使其能夠動態適應新的任務并不斷獲得新的知識。大模型的持續學習主要面臨兩個重大挑戰，分別是災難性遺忘和知識遷移。災難性遺忘是指模型在學習新任務時，會忘記其已掌握的舊任務。知識遷移則涉及到如何在學習新任務時有效地應用舊任務的知識來提升新任務學習的效果。
為了有效應對以上難題，哈工大聯合

原文鏈接：ACL 2024 | 提升大模型持續學習性能，哈工大、度小滿提出共享注意力框架SAPT

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺