LLM 實(shí)際上可以從預(yù)訓(xùn)練數(shù)據(jù)中學(xué)習(xí)出一種通用推理方法。

原標(biāo)題：大模型不會推理，為什么也能有思路？有人把原理搞明白了
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：7216字

大語言模型的推理能力：程序性知識的驅(qū)動

近日，倫敦大學(xué)學(xué)院（UCL）等機(jī)構(gòu)發(fā)布了一項(xiàng)研究，探討了大語言模型（LLM）在推理任務(wù)中采用的泛化策略。該研究的核心發(fā)現(xiàn)是，大模型的推理能力實(shí)際上是基于預(yù)訓(xùn)練數(shù)據(jù)中的程序性知識，而非簡單的檢索答案。這一結(jié)論可能會改變我們對大模型推理的理解。

研究背景

自大模型問世以來，學(xué)術(shù)界對其推理能力的本質(zhì)進(jìn)行了廣泛討論。盡管一些研究者認(rèn)為大模型在推理時只是從參數(shù)中檢索中間步驟的答案，但新的研究表明，模型實(shí)際上是在利用預(yù)訓(xùn)練階段獲得的程序性知識。

實(shí)驗(yàn)設(shè)計(jì)與發(fā)現(xiàn)

研究者們對包含500萬個文檔的數(shù)據(jù)集進(jìn)行了分析，評估了兩個不同規(guī)模模型（7B和35B）在處理事實(shí)問題和數(shù)學(xué)推理時的表現(xiàn)。以下是研究的五大主要發(fā)現(xiàn)：

1. 文檔影響力正相關(guān)：對相同推理任務(wù)的查詢，文檔的影響力得分之間存在顯著的正相關(guān)性，表明這些文檔與相似問題相關(guān)。
2. 推理時依賴程度較低：模型在推理時對每個文檔的依賴程度顯著低于回答事實(shí)問題時，說明推理過程更依賴于一組通用文檔。
3. 答案出現(xiàn)頻率差異：事實(shí)問題的答案在相關(guān)文檔現(xiàn)的頻率遠(yuǎn)高于推理問題，后者的答案幾乎未在相關(guān)文檔中找到。
4. 推理文檔形式：對推理查詢有影響力的文檔通常采用逐步推理形式，提供算術(shù)和代碼解決方案。
5. 數(shù)據(jù)來源差異：事實(shí)查詢的主要數(shù)據(jù)來源包括，而推理查詢則主要依賴數(shù)學(xué)、StackExchange和代碼。

研究結(jié)論

研究表明，大語言模型通過應(yīng)用程序性知識進(jìn)行推理，而非簡單檢索。這意味著在預(yù)訓(xùn)練過程中，關(guān)注高質(zhì)量和多樣化的程序數(shù)據(jù)可能比覆蓋所有情況更為有效。這一發(fā)現(xiàn)對未來人工智能的發(fā)展具有重要意義，可能會推動我們重新審視模型設(shè)計(jì)的方向。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺