谷歌蘋果曝出LLM驚人，自主識別錯(cuò)誤卻裝糊涂！AI幻覺背后藏著更大秘密

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：谷歌蘋果曝出LLM驚人，自主識別錯(cuò)誤卻裝糊涂！AI幻覺背后藏著更大秘密
關(guān)鍵字：錯(cuò)誤,模型,答案,研究人員,真實(shí)性
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：桃子
【新智元導(dǎo)讀】大模型幻覺，究竟是怎么來的？谷歌、蘋果等機(jī)構(gòu)研究人員發(fā)現(xiàn)，大模型知道的遠(yuǎn)比表現(xiàn)的要多。它們能夠在內(nèi)部編碼正確答案，卻依舊輸出了錯(cuò)誤內(nèi)容。到現(xiàn)在為止，我們?nèi)耘f對大模型「幻覺」如何、為何產(chǎn)生，知之甚少。
最近，來自Technion、谷歌和蘋果的研究人員發(fā)現(xiàn)，LLM「真實(shí)性」的信息集中在特定的token，而且并得均勻分布。
正如論文標(biāo)題所示，「LLM知道的往往要比表現(xiàn)出來的更多」。
論文地址：https://arxiv.org/pdf/2410.02707
不僅如此，他們還發(fā)現(xiàn)，內(nèi)部表征可以用來預(yù)測LLM可能會(huì)犯錯(cuò)的錯(cuò)誤類型。
它的優(yōu)勢在于，未來有助于開發(fā)出針對性的解決方案。
最后，研究團(tuán)隊(duì)還解釋了，大模型內(nèi)部編碼和外部行為之間存在的差異：
它們可能在內(nèi)部編碼了正確答案，卻持續(xù)生成錯(cuò)誤答案。
幻覺，如何定義？事實(shí)錯(cuò)誤、偏見，以及推理失誤，這些統(tǒng)稱為「幻覺」。
以往，大多數(shù)關(guān)于幻覺的研究，都集中在分析大模型的外部行為，并檢查用戶如何感知這些錯(cuò)誤。
然而，這些方法對模型本身如何編碼、處理錯(cuò)誤提供了有限的見解。
近期另有一些研究表明，LLM內(nèi)部狀態(tài)其實(shí)「知道」

原文鏈接：谷歌蘋果曝出LLM驚人，自主識別錯(cuò)誤卻裝糊涂！AI幻覺背后藏著更大秘密

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：