LeCun引戰(zhàn)，LLM根本不會(huì)推理！大模型「涌現(xiàn)」，終究離不開(kāi)上下文學(xué)習(xí)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：LeCun引戰(zhàn)，LLM根本不會(huì)推理！大模型「涌現(xiàn)」，終究離不開(kāi)上下文學(xué)習(xí)

關(guān)鍵字：模型,能力,指令,研究人員,任務(wù)

文章來(lái)源：新智元

內(nèi)容字?jǐn)?shù)：10929字

內(nèi)容摘要：新智元報(bào)道編輯：潤(rùn)拉燕【新智元導(dǎo)讀】前段時(shí)間，LeCun轉(zhuǎn)發(fā)了2篇長(zhǎng)文，集中討論了LLM的規(guī)劃推理能力和涌現(xiàn)能力的來(lái)源。作者認(rèn)為，LLM本身不具有規(guī)劃推理能力，而涌現(xiàn)出來(lái)的能力，根源應(yīng)該都是上下文學(xué)習(xí)的結(jié)果。大語(yǔ)言模型到底會(huì)不會(huì)推理？涌現(xiàn)出來(lái)的各種能力到底來(lái)源是什么？前段時(shí)間，LeCun在自己上轉(zhuǎn)發(fā)了好幾篇文章，集中討論了這個(gè)問(wèn)題：「自回歸LLM無(wú)法制定計(jì)劃（并且無(wú)法真正推理）」。而LeCun轉(zhuǎn)發(fā)第二篇論文，則討論了LLM涌現(xiàn)能力。原推表示，不管大伙相不相信LLM的涌現(xiàn)能力，這篇文章都值得一讀：「經(jīng)過(guò)了超過(guò)1000次的系列實(shí)驗(yàn)，我們證明了大語(yǔ)言模型所謂的涌現(xiàn)能力，其實(shí)僅僅是上下文學(xué)習(xí)而已。」LLM真的能推理和規(guī)劃嗎？Subbarao Kambhampat的文章認(rèn)為，網(wǎng)上對(duì)于LLM能夠推理和規(guī)劃的說(shuō)法，本身不太站得住腳，但是學(xué)界對(duì)于這個(gè)問(wèn)題，也開(kāi)始進(jìn)行了很嚴(yán)肅地研究。至少以他之前針對(duì)GP…

原文鏈接：點(diǎn)此閱讀原文：LeCun引戰(zhàn)，LLM根本不會(huì)推理！大模型「涌現(xiàn)」，終究離不開(kāi)上下文學(xué)習(xí)

聯(lián)系作者

文章來(lái)源：新智元

作者微信：AI_era

作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。