大模型提示學(xué)習(xí)樣本量有玄機，自適應(yīng)調(diào)節(jié)方法好

AIGC動態(tài)歡迎閱讀

原標(biāo)題：大模型提示學(xué)習(xí)樣本量有玄機，自適應(yīng)調(diào)節(jié)方法好
關(guān)鍵字：示例,實例,數(shù)量,數(shù)據(jù),鄰域
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：8226字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 芒果
引言：探索文本分類中的個性化示例數(shù)量在自然語言處理（NLP）領(lǐng)域，預(yù)測模型已經(jīng)從零開始訓(xùn)練演變?yōu)槭褂脴?biāo)記數(shù)據(jù)對預(yù)訓(xùn)練模型進行微調(diào)。這種微調(diào)的極端形式涉及到上下文學(xué)習(xí)（In-Context Learning, ICL），其中預(yù)訓(xùn)練生成模型的輸出（凍結(jié)的解碼器參數(shù)）僅通過輸入字符串（稱為指令或提示）的變化來控制。ICL的一個重要組成部分是在提示中使用少量標(biāo)記數(shù)據(jù)實例作為示例。盡管現(xiàn)有工作在推理過程中對每個數(shù)據(jù)實例使用固定數(shù)量的示例，但本研究提出了一種根據(jù)數(shù)據(jù)動態(tài)調(diào)整示例數(shù)量的新方法。這類似于在k-最近鄰（k-NN）分類器中使用可變大小的鄰域。該研究提出的自適應(yīng)ICL（Adaptive ICL, AICL）工作流程中，在特定數(shù)據(jù)實例上的推理過程中，通過分類器的Softmax后驗概率來預(yù)測使用多少示例。這個分類器的參數(shù)是基于ICL中正確推斷每個實例標(biāo)簽所需的最佳示例數(shù)量來擬合的，假設(shè)與訓(xùn)練實例相似的測試實例應(yīng)該使用相同（或接近匹配）的少量示例數(shù)量。實驗表明，AICL方法在多個標(biāo)準(zhǔn)數(shù)據(jù)集上的文本分類任務(wù)中取得了改進。
論文標(biāo)題：‘One size doesn’t

原文鏈接：大模型提示學(xué)習(xí)樣本量有玄機，自適應(yīng)調(diào)節(jié)方法好

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網(wǎng)中高管和機構(gòu)投資人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報道深度。