梅蘭妮·米切爾|大模型和世界模型
原標(biāo)題:梅蘭妮·米切爾|大模型和世界模型
文章來(lái)源:人工智能學(xué)家
內(nèi)容字?jǐn)?shù):24582字
大型語(yǔ)言模型與世界模型:深度解讀
本文探討了大型語(yǔ)言模型(LLM)是否真正理解其“世界”,以及它們是否擁有類似人類的“世界模型”。文章分為兩部分,首先回顧了以往人工智能系統(tǒng)的脆弱性,然后深入分析了LLM中世界模型存在的證據(jù)和反駁意見。
1. 以往人工智能的脆弱性
早期的機(jī)器學(xué)習(xí)系統(tǒng)往往依賴于“捷徑”或“表面啟發(fā)式”來(lái)解決問(wèn)題,而非學(xué)習(xí)一般概念。例如,一個(gè)訓(xùn)練用于識(shí)別皮膚病變的深度神經(jīng)網(wǎng)絡(luò),會(huì)錯(cuò)誤地將帶有標(biāo)尺的圖像識(shí)別為惡性,因?yàn)樗谟?xùn)練數(shù)據(jù)中觀察到這種關(guān)聯(lián),而非真正理解病變的特征。類似的現(xiàn)象也出現(xiàn)在自然語(yǔ)言處理和強(qiáng)化學(xué)習(xí)領(lǐng)域,系統(tǒng)往往依賴于訓(xùn)練數(shù)據(jù)中的表面特征,而非深層次的理解。
2. 大模型中涌現(xiàn)世界模型的爭(zhēng)論
大型語(yǔ)言模型的出現(xiàn)引發(fā)了關(guān)于其能力的激烈爭(zhēng)論。OpenAI 聯(lián)合創(chuàng)始人Ilya Sutskever認(rèn)為L(zhǎng)LM已經(jīng)學(xué)習(xí)了強(qiáng)大的世界模型,而其他人則認(rèn)為其成功更多地依賴于對(duì)大量訓(xùn)練數(shù)據(jù)的記憶和檢索。學(xué)術(shù)界對(duì)此觀點(diǎn)存在明顯分歧,一項(xiàng)調(diào)查顯示,對(duì)LLM是否能夠理解自然語(yǔ)言的觀點(diǎn)幾乎五五開。
3. 什么是世界模型?
“世界模型”在人工智能領(lǐng)域是一個(gè)流行但缺乏統(tǒng)一定義的概念。它通常被描述為對(duì)外部世界各個(gè)方面進(jìn)行內(nèi)部模擬的表征,能夠捕捉因果結(jié)構(gòu)并進(jìn)行預(yù)測(cè)。文章引用了不同類型的模型,例如靜態(tài)查找表、地圖、太陽(yáng)系儀和模擬器,來(lái)解釋世界模型的不同層次。作者認(rèn)為,人類的世界模型能夠讓我們快速理解復(fù)雜情境、預(yù)測(cè)未來(lái)并進(jìn)行反事實(shí)推理。
4. 大模型中世界模型的證據(jù):奧賽羅案例
文章以?shī)W賽羅游戲?yàn)槔?,詳?xì)分析了支持LLM擁有世界模型的證據(jù)。研究人員訓(xùn)練了一個(gè)Transformer網(wǎng)絡(luò)(OthelloGPT)來(lái)預(yù)測(cè)游戲的合法走法。通過(guò)探測(cè)技術(shù)分析其內(nèi)部激活,發(fā)現(xiàn)其內(nèi)部激活編碼了棋盤狀態(tài)。起初,簡(jiǎn)單的線性探測(cè)器效果不佳,但更強(qiáng)大的非線性探測(cè)器能夠以高精度預(yù)測(cè)棋盤狀態(tài),這似乎表明OthelloGPT擁有隱式世界模型。然而,后續(xù)研究表明,OthelloGPT可能并非擁有一個(gè)連貫的世界模型,而是依賴于大量的局部啟發(fā)式規(guī)則的集合。
5. 世界模型與啟發(fā)式方法
后續(xù)研究表明,OthelloGPT 的成功可能并非源于一個(gè)抽象的世界模型,而是依賴于大量特定于游戲的局部啟發(fā)式規(guī)則。這些規(guī)則雖然能產(chǎn)生準(zhǔn)確的預(yù)測(cè),但缺乏抽象性和泛化能力,在面對(duì)新情況時(shí)容易失效。類似的啟發(fā)式方法集合可能也存在于其他LLM任務(wù)中。
6. 結(jié)論
文章總結(jié)認(rèn)為,目前缺乏有力證據(jù)支持LLM擁有類似人類的抽象世界模型。雖然在特定領(lǐng)域(如奧賽羅)觀察到LLM似乎擁有某種對(duì)世界狀態(tài)的內(nèi)部表示,但這些表示更可能是大量局部啟發(fā)式規(guī)則的集合,而非一個(gè)連貫、抽象的世界模型。未來(lái)研究需要更嚴(yán)格地定義“世界模型”,并關(guān)注其在不同任務(wù)中的泛化能力和魯棒性。
聯(lián)系作者
文章來(lái)源:人工智能學(xué)家
作者微信:
作者簡(jiǎn)介:致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)