利用公開知識定向提升大模型，騰訊優圖&上交大提出新方法，性能達SOTA

AIGC動態歡迎閱讀

原標題：利用公開知識定向提升大模型，騰訊優圖&上交大提出新方法，性能達SOTA
關鍵字：模型,數據,任務,騰訊,性能
文章來源：量子位
內容字數：0字

內容摘要：

優圖實驗室投稿量子位 | 公眾號 QbitAI告別傳統指令微調，大模型特定任務性能提升有新方法了。
一種新型開源增強知識框架，可以從公開數據中自動提取相關知識，針對性提升任務性能。
與基線和SOTA方法對比，本文方法在各項任務上均取得了更好的性能。
該方法由上海交通大學和騰訊優圖實驗室共同提出。
研究背景近年來，LLMs 在眾多任務和領域取得了顯著發展，但為了在實際業務場景發揮模型的專業能力，通常需要在領域特定或任務特定的數據上進行指令微調。傳統的指令微調往往需要大量的有標注數據和計算資源，對于實際業務場景這是很難獲得的。
另一方面，開源社區提供了大量的微調模型和指令數據集。這些開源知識的存在使得在特定任務上LLM在特定領域上的適配和應用成為了可能。但是，使用開源的各類SFT模型以及任務相關的數據集時，仍有以下關鍵問題需要解決：
少量有標注樣本場景下，直接對模型微調或進行in-context-learning的效果往往不能滿足需求，如何利用這些少量的樣本和海量的外部知識（開源世界的模型，數據）對目前已有的知識進行補充，提升模型的任務能力和泛化性能？
開源社區中有大量微調且對齊的模型和

原文鏈接：利用公開知識定向提升大模型，騰訊優圖&上交大提出新方法，性能達SOTA