重要的事情說兩遍！Prompt「復讀機」，顯著提高LLM推理能力

AIGC動態(tài)歡迎閱讀

原標題：重要的事情說兩遍！Prompt「復讀機」，顯著提高LLM推理能力
關(guān)鍵字：問題,數(shù)據(jù),提示,應用題,模型
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：alan
【新智元導讀】盡管大模型能力非凡，但干細活的時候還是比不上人類。為了提高LLM的理解和推理能力，Prompt「復讀機」誕生了。眾所周知，人類的本質(zhì)是復讀機。
我們遵循復讀機的自我修養(yǎng)：敲黑板，劃重點，重要的事情說三遍。
but，事實上同樣的方法對付AI也有奇效！
有研究證明，在提問的時候故意重復一遍——也就是復制粘貼，即可顯著提高LLM的推理能力。
論文地址：https://arxiv.org/pdf/2309.06275
看下面的例子：
作者認為，通常情況下，問題中的重點token（比如這里的tennis balls）無法看到位于它后面的token（上圖）。
相比之下，使用重讀（re-reading，RE2）的方法，允許「tennis balls」在第二遍中看到自己對應的整個問題（How many tennis balls does he have now?），從而達到雙向理解的效果（下圖）。
實驗表明，在14個數(shù)據(jù)集上的112個實驗中，RE2技術(shù)都能帶來一致的性能提升，無論是經(jīng)過指令調(diào)整的模型（如ChatGPT），還是未經(jīng)調(diào)整的模型（如Llama）。
實

原文鏈接：重要的事情說兩遍！Prompt「復讀機」，顯著提高LLM推理能力

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：