當(dāng)prompt策略遇上分治算法,南加大、微軟讓大模型煉成「火眼金睛」

AIGC動態(tài)歡迎閱讀
原標(biāo)題:當(dāng)prompt策略遇上分治算法,南加大、微軟讓大模型煉成「火眼金睛」
關(guān)鍵字:模型,策略,問題,任務(wù),提示
文章來源:機(jī)器之心
內(nèi)容字?jǐn)?shù):5747字
內(nèi)容摘要:
機(jī)器之心專欄
機(jī)器之心編輯部近年來,大語言模型(LLMs)由于其通用的問題處理能力而引起了大量的關(guān)注。現(xiàn)有研究表明,適當(dāng)?shù)奶崾驹O(shè)計(prompt enginerring),例如思維鏈(Chain-of-Thoughts),可以解鎖 LLM 在不同領(lǐng)域的強(qiáng)大能力。
然而,在處理涉及重復(fù)子任務(wù)和 / 或含有性內(nèi)容的任務(wù)(例如算術(shù)計算和段落級別長度的虛假新聞檢測)時,現(xiàn)有的提示策略要么受限于表達(dá)能力不足,要么會受到幻覺引發(fā)的中間錯誤的影響。
為了使 LLM 更好地分辨并盡可能避免這種中間錯誤,來自南加州大學(xué)、微軟的研究者提出了一種基于分治算法的提示策略。這種策略利用分治程序來引導(dǎo) LLM。論文地址:https://arxiv.org/pdf/2402.05359.pdf
具體來講,我們將一個大任務(wù)的解決過程解耦為三個子過程:子問題劃分、子問題求解以及子問題合并。理論分析表明,我們的策略可以賦予 LLM 超越固定深度 Transformer 的表達(dá)能力。實驗表明,我們提出的方法在受到中間錯誤和性內(nèi)容困擾的任務(wù)中(例如大整數(shù)乘法、幻覺檢測和錯誤信息檢測)可以比經(jīng)典的提示策略獲得更好的性能
原文鏈接:當(dāng)prompt策略遇上分治算法,南加大、微軟讓大模型煉成「火眼金睛」
聯(lián)系作者
文章來源:機(jī)器之心
作者微信:almosthuman2014
作者簡介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺

粵公網(wǎng)安備 44011502001135號