AIGC動態(tài)歡迎閱讀

原標(biāo)題：當(dāng)prompt策略遇上分治算法，南加大、微軟讓大模型煉成「火眼金睛」
關(guān)鍵字：模型,策略,問題,任務(wù),提示
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5747字

內(nèi)容摘要：

機(jī)器之心專欄
機(jī)器之心編輯部近年來，大語言模型（LLMs）由于其通用的問題處理能力而引起了大量的關(guān)注。現(xiàn)有研究表明，適當(dāng)?shù)奶崾驹O(shè)計（prompt enginerring），例如思維鏈（Chain-of-Thoughts），可以解鎖 LLM 在不同領(lǐng)域的強(qiáng)大能力。
然而，在處理涉及重復(fù)子任務(wù)和 / 或含有性內(nèi)容的任務(wù)（例如算術(shù)計算和段落級別長度的虛假新聞檢測）時，現(xiàn)有的提示策略要么受限于表達(dá)能力不足，要么會受到幻覺引發(fā)的中間錯誤的影響。
為了使 LLM 更好地分辨并盡可能避免這種中間錯誤，來自南加州大學(xué)、微軟的研究者提出了一種基于分治算法的提示策略。這種策略利用分治程序來引導(dǎo) LLM。論文地址：https://arxiv.org/pdf/2402.05359.pdf
具體來講，我們將一個大任務(wù)的解決過程解耦為三個子過程：子問題劃分、子問題求解以及子問題合并。理論分析表明，我們的策略可以賦予 LLM 超越固定深度 Transformer 的表達(dá)能力。實驗表明，我們提出的方法在受到中間錯誤和性內(nèi)容困擾的任務(wù)中（例如大整數(shù)乘法、幻覺檢測和錯誤信息檢測）可以比經(jīng)典的提示策略獲得更好的性能

原文鏈接：當(dāng)prompt策略遇上分治算法，南加大、微軟讓大模型煉成「火眼金睛」

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺