深度揭秘CoT！普林斯頓耶魯發(fā)布最新報(bào)告：大模型既有記憶推理、也有概率推理

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：深度揭秘CoT！普林斯頓耶魯發(fā)布最新報(bào)告：大模型既有記憶推理、也有概率推理
關(guān)鍵字：概率,模型,準(zhǔn)確率,報(bào)告,任務(wù)
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRS
【新智元導(dǎo)讀】研究人員通過(guò)案例研究，利用大型語(yǔ)言模型（LLMs）如GPT-4、Claude 3和Llama 3.1，探索了思維鏈（CoT）提示在解碼移位密碼任務(wù)中的表現(xiàn)；CoT提示雖然提升了模型的推理能力，但這種能力并非純粹的符號(hào)推理，而是結(jié)合了記憶和概率推理的復(fù)雜過(guò)程。「推理」是非常能展現(xiàn)「人類(lèi)智能」的一項(xiàng)能力，需要結(jié)合現(xiàn)有證據(jù)和過(guò)去的經(jīng)驗(yàn)，以邏輯和系統(tǒng)的方式思考某件事情，進(jìn)而做出決策。
大型語(yǔ)言模型（LLMs）以其通用性，在多項(xiàng)任務(wù)上都取得了出色的性能，雖然思維鏈（CoT）提示已經(jīng)證明了大模型具備多步推理能力，但這種能力到底來(lái)自于「抽象泛化」（abstract generalization）還是「淺層啟發(fā)式」（shallow heuristics），仍然沒(méi)有定論。
為了深入理解影響 CoT 推理的因素，普林斯頓大學(xué)、耶魯大學(xué)的研究人員最近發(fā)布了一項(xiàng)案例研究，使用三個(gè)大模型（GPT-4、Claude 3 和 Llama 3.1）利用CoT提示來(lái)執(zhí)行解碼移位密碼（decoding shift ciphers）的符號(hào)推理任務(wù)。論文地址：https://arxiv

原文鏈接：深度揭秘CoT！普林斯頓耶魯發(fā)布最新報(bào)告：大模型既有記憶推理、也有概率推理