大模型多跳推理有解啦，北大化繁為簡，用30B模型擊敗百億模型

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型多跳推理有解啦，北大化繁為簡，用30B模型擊敗百億模型

關(guān)鍵字：問題,快手,模型,答案,數(shù)據(jù)

文章來源：夕小瑤科技說

內(nèi)容字?jǐn)?shù)：8239字

內(nèi)容摘要：夕小瑤科技說 原創(chuàng)作者 | 謝年年、python我們?nèi)粘Ｉ钪械脑S多問題都是復(fù)雜的多跳問題。比如“《堅(jiān)如磐石》中飾演黎志田的演員在《三體》中飾演什么角色？”要回答這個(gè)問題，我們得先知道《堅(jiān)如磐石》中飾演黎志田的演員是誰，還得熟知《三體》的演員表，并將兩者的答案對(duì)應(yīng)起來。這對(duì)LLM來說是一個(gè)非常大的挑戰(zhàn)，要求其能夠熟練地將復(fù)雜的問題分解成多個(gè)子問題，每個(gè)子問題的答案還不能出錯(cuò)，最后才能正確回答這個(gè)復(fù)雜的問題。再加上LLM容易產(chǎn)生幻覺并且無法獲得最新知識(shí)，即使是簡單的子問題也很有可能犯錯(cuò)，一步錯(cuò)步步錯(cuò)，離正確答案越來越遠(yuǎn)。最近，北大團(tuán)隊(duì)提出了一種約束問題分解策略，將復(fù)雜問題分解轉(zhuǎn)化為“分解-查詢”深度優(yōu)先搜索框架，能夠引導(dǎo)大型語言模型在問答任務(wù)中有效地利用外部知識(shí)，并設(shè)置一個(gè)可靠的問答庫限制幻覺風(fēng)險(xiǎn)。實(shí)驗(yàn)表明，D Q用200個(gè)訓(xùn)練示例，以30B的小模型擊敗了570B規(guī)模的大模型，并且在67%的…

原文鏈接：點(diǎn)此閱讀原文：大模型多跳推理有解啦，北大化繁為簡，用30B模型擊敗百億模型

聯(lián)系作者

文章來源：夕小瑤科技說

作者微信：xixiaoyaoQAQ

作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國外頂級(jí)AI實(shí)驗(yàn)室和互聯(lián)網(wǎng)大廠，兼?zhèn)涿襟wsense與技術(shù)深度。