利用公開知識(shí)定向提升大模型，騰訊優(yōu)圖&上交大提出新方法，性能達(dá)SOTA

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：利用公開知識(shí)定向提升大模型，騰訊優(yōu)圖&上交大提出新方法，性能達(dá)SOTA
關(guān)鍵字：模型,數(shù)據(jù),任務(wù),騰訊,性能
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

優(yōu)圖實(shí)驗(yàn)室投稿量子位 | 公眾號(hào) QbitAI告別傳統(tǒng)指令微調(diào)，大模型特定任務(wù)性能提升有新方法了。
一種新型開源增強(qiáng)知識(shí)框架，可以從公開數(shù)據(jù)中自動(dòng)提取相關(guān)知識(shí)，針對(duì)性提升任務(wù)性能。
與基線和SOTA方法對(duì)比，本文方法在各項(xiàng)任務(wù)上均取得了更好的性能。
該方法由上海交通大學(xué)和騰訊優(yōu)圖實(shí)驗(yàn)室共同提出。
研究背景近年來，LLMs 在眾多任務(wù)和領(lǐng)域取得了顯著發(fā)展，但為了在實(shí)際業(yè)務(wù)場景發(fā)揮模型的專業(yè)能力，通常需要在領(lǐng)域特定或任務(wù)特定的數(shù)據(jù)上進(jìn)行指令微調(diào)。傳統(tǒng)的指令微調(diào)往往需要大量的有標(biāo)注數(shù)據(jù)和計(jì)算資源，對(duì)于實(shí)際業(yè)務(wù)場景這是很難獲得的。
另一方面，開源社區(qū)提供了大量的微調(diào)模型和指令數(shù)據(jù)集。這些開源知識(shí)的存在使得在特定任務(wù)上LLM在特定領(lǐng)域上的適配和應(yīng)用成為了可能。但是，使用開源的各類SFT模型以及任務(wù)相關(guān)的數(shù)據(jù)集時(shí)，仍有以下關(guān)鍵問題需要解決：
少量有標(biāo)注樣本場景下，直接對(duì)模型微調(diào)或進(jìn)行in-context-learning的效果往往不能滿足需求，如何利用這些少量的樣本和海量的外部知識(shí)（開源世界的模型，數(shù)據(jù)）對(duì)目前已有的知識(shí)進(jìn)行補(bǔ)充，提升模型的任務(wù)能力和泛化性能？
開源社區(qū)中有大量微調(diào)且對(duì)齊的模型和

原文鏈接：利用公開知識(shí)定向提升大模型，騰訊優(yōu)圖&上交大提出新方法，性能達(dá)SOTA