大模型對語言有自己的理解！MIT論文揭示大模型“思維過程” | ICML 24

AIGC動態歡迎閱讀

原標題：大模型對語言有自己的理解！MIT論文揭示大模型“思維過程” | ICML 24
關鍵字：模型,語義,程序,探測器,狀態
文章來源：量子位
內容字數：0字

內容摘要：

克雷西發自凹非寺量子位 | 公眾號 QbitAI大模型對現實世界，可以形成自己的理解！
MIT的一項研究發現，隨著模型能力越強，它對現實的理解可能不僅是簡單模仿。
比如大模型沒有聞過氣味，是否就意味著它不能理解氣味？
研究發現，它可以自發模擬一些概念，方便理解。
這項研究意味著，大模型未來有希望更深入理解語言和世界，論文已被頂會ICML 24接收。
這篇論文的作者是MIT計算機與人工智能實驗室（CSAIL）華裔博士生Charles Jin和他的導師Martin Rinard教授。
研究當中，作者讓大模型只學習代碼文本，結果發現模型逐漸掌握了其背后的含義。
Rinard教授表示，這項研究直接針對現代人工智能的一個核心問題——
大模型的能力僅僅是由于大規模的統計相關性，還是對它們要處理的現實問題產生了有意義的理解？
△來源：MIT官網同時這項研究也引發了不少討論。
有網友表示，雖然大模型對語言的理解可能和人類不同，但這項研究至少說明了模型做的絕不僅僅是對訓練數據的記憶。
讓大模型學習純代碼為了探究大模型能否產生語義層面的理解，作者構建了一個由程序代碼及其對應輸入輸出組成的合成數據集。

原文鏈接：大模型對語言有自己的理解！MIT論文揭示大模型“思維過程” | ICML 24