大模型在裝傻！谷歌蘋(píng)果最新發(fā)現(xiàn)：LLM知道但不告訴你，掌握知識(shí)比表現(xiàn)出來(lái)的多

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型在裝傻！谷歌蘋(píng)果最新發(fā)現(xiàn)：LLM知道但不告訴你，掌握知識(shí)比表現(xiàn)出來(lái)的多
關(guān)鍵字：錯(cuò)誤,模型,答案,數(shù)據(jù),真實(shí)性
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：alan
【新智元導(dǎo)讀】近日，來(lái)自谷歌和蘋(píng)果的研究表明：AI模型掌握的知識(shí)比表現(xiàn)出來(lái)的要多得多！這些真實(shí)性信息集中在特定的token中，利用這一屬性可以顯著提高檢測(cè)LLM錯(cuò)誤輸出的能力。大模型的應(yīng)用歷來(lái)受幻覺(jué)所擾。
這個(gè)幻覺(jué)可以指代LLM產(chǎn)生的任何類(lèi)型的錯(cuò)誤：事實(shí)不準(zhǔn)確、偏見(jiàn)、常識(shí)推理失敗等等。
——是因?yàn)榇竽Ｐ蛯W(xué)半天白學(xué)了嗎？并不是。
近日，來(lái)自谷歌和蘋(píng)果的研究表明：AI模型掌握的知識(shí)比表現(xiàn)出來(lái)的更多！
論文地址：https://arxiv.org/pdf/2410.02707
研究人員在LLM內(nèi)部表示上訓(xùn)練分類(lèi)器，以預(yù)測(cè)與生成輸出的真實(shí)性相關(guān)的各種特征。
結(jié)果表明LLM的內(nèi)部狀態(tài)編碼反映出的真實(shí)性信息，比以前認(rèn)識(shí)到的要多得多。
這些真實(shí)性信息集中在特定的token中，利用這一屬性可以顯著提高檢測(cè)LLM錯(cuò)誤輸出的能力。
雖說(shuō)這種錯(cuò)誤檢測(cè)無(wú)法在數(shù)據(jù)集中泛化，但好處是，模型的內(nèi)部表示可用于預(yù)測(cè)模型可能犯的錯(cuò)誤類(lèi)型，從而幫助我們制定緩解錯(cuò)誤的策略。
研究揭示了LLM內(nèi)部編碼和外部行為之間的差異：可能編碼了正確的答案，卻生成了不正確的答案。
——簡(jiǎn)單來(lái)說(shuō)就是，LLM它知道，

原文鏈接：大模型在裝傻！谷歌蘋(píng)果最新發(fā)現(xiàn)：LLM知道但不告訴你，掌握知識(shí)比表現(xiàn)出來(lái)的多

聯(lián)系作者

文章來(lái)源：新智元
作者微信：
作者簡(jiǎn)介：