梅蘭妮·米切爾｜大模型和世界模型

原標(biāo)題：梅蘭妮·米切爾｜大模型和世界模型
文章來源：人工智能學(xué)家
內(nèi)容字?jǐn)?shù)：24582字

大型語言模型與世界模型：深度解讀

本文探討了大型語言模型（LLM）是否真正理解其“世界”，以及它們是否擁有類似人類的“世界模型”。文章分為兩部分，首先回顧了以往人工智能系統(tǒng)的脆弱性，然后深入分析了LLM中世界模型存在的證據(jù)和反駁意見。

1. 以往人工智能的脆弱性

早期的機(jī)器學(xué)習(xí)系統(tǒng)往往依賴于“捷徑”或“表面啟發(fā)式”來解決問題，而非學(xué)習(xí)一般概念。例如，一個訓(xùn)練用于識別皮膚病變的深度神經(jīng)網(wǎng)絡(luò)，會錯誤地將帶有標(biāo)尺的圖像識別為惡性，因為它在訓(xùn)練數(shù)據(jù)中觀察到這種關(guān)聯(lián)，而非真正理解病變的特征。類似的現(xiàn)象也出現(xiàn)在自然語言處理和強(qiáng)化學(xué)習(xí)領(lǐng)域，系統(tǒng)往往依賴于訓(xùn)練數(shù)據(jù)中的表面特征，而非深層次的理解。

2. 大模型中涌現(xiàn)世界模型的爭論

大型語言模型的出現(xiàn)引發(fā)了關(guān)于其能力的激烈爭論。OpenAI 聯(lián)合創(chuàng)始人Ilya Sutskever認(rèn)為LLM已經(jīng)學(xué)習(xí)了強(qiáng)大的世界模型，而其他人則認(rèn)為其成功更多地依賴于對大量訓(xùn)練數(shù)據(jù)的記憶和檢索。學(xué)術(shù)界對此觀點存在明顯分歧，一項調(diào)查顯示，對LLM是否能夠理解自然語言的觀點幾乎五五開。

3. 什么是世界模型？

“世界模型”在人工智能領(lǐng)域是一個流行但缺乏統(tǒng)一定義的概念。它通常被描述為對外部世界各個方面進(jìn)行內(nèi)部模擬的表征，能夠捕捉因果結(jié)構(gòu)并進(jìn)行預(yù)測。文章引用了不同類型的模型，例如靜態(tài)查找表、地圖、太陽系儀和模擬器，來解釋世界模型的不同層次。作者認(rèn)為，人類的世界模型能夠讓我們快速理解復(fù)雜情境、預(yù)測未來并進(jìn)行反事實推理。

4. 大模型中世界模型的證據(jù)：奧賽羅案例

文章以奧賽羅游戲為例，詳細(xì)分析了支持LLM擁有世界模型的證據(jù)。研究人員訓(xùn)練了一個Transformer網(wǎng)絡(luò)（OthelloGPT）來預(yù)測游戲的合法走法。通過探測技術(shù)分析其內(nèi)部激活，發(fā)現(xiàn)其內(nèi)部激活編碼了棋盤狀態(tài)。起初，簡單的線性探測器效果不佳，但更強(qiáng)大的非線性探測器能夠以高精度預(yù)測棋盤狀態(tài)，這似乎表明OthelloGPT擁有隱式世界模型。然而，后續(xù)研究表明，OthelloGPT可能并非擁有一個連貫的世界模型，而是依賴于大量的局部啟發(fā)式規(guī)則的集合。

5. 世界模型與啟發(fā)式方法

后續(xù)研究表明，OthelloGPT 的成功可能并非源于一個抽象的世界模型，而是依賴于大量特定于游戲的局部啟發(fā)式規(guī)則。這些規(guī)則雖然能產(chǎn)生準(zhǔn)確的預(yù)測，但缺乏抽象性和泛化能力，在面對新情況時容易失效。類似的啟發(fā)式方法集合可能也存在于其他LLM任務(wù)中。

6. 結(jié)論

文章總結(jié)認(rèn)為，目前缺乏有力證據(jù)支持LLM擁有類似人類的抽象世界模型。雖然在特定領(lǐng)域（如奧賽羅）觀察到LLM似乎擁有某種對世界狀態(tài)的內(nèi)部表示，但這些表示更可能是大量局部啟發(fā)式規(guī)則的集合，而非一個連貫、抽象的世界模型。未來研究需要更嚴(yán)格地定義“世界模型”，并關(guān)注其在不同任務(wù)中的泛化能力和魯棒性。

聯(lián)系作者

文章來源：人工智能學(xué)家
作者微信：
作者簡介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機(jī)構(gòu)