大模型幻覺問題無解？理論證明校準(zhǔn)的LM必然會(huì)出現(xiàn)幻覺

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：大模型幻覺問題無解？理論證明校準(zhǔn)的LM必然會(huì)出現(xiàn)幻覺
關(guān)鍵字：幻覺,模型,事實(shí),語言,概率
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：8768字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：Panda W理論證明！校準(zhǔn)的語言模型必然出現(xiàn)幻覺。大型語言模型（LLM）雖然在諸多下游任務(wù)上展現(xiàn)出卓越的能力，但其實(shí)際應(yīng)用還存在一些問題。其中，LLM 的「幻覺（hallucination）」問題是一個(gè)重要缺陷。
幻覺是指由人工智能算法生成看似合理但卻虛假或有誤導(dǎo)性的響應(yīng)。自 LLM 爆火以來，研究人員一直在努力分析和緩解幻覺問題，該問題讓 LLM 很難廣泛應(yīng)用。
現(xiàn)在，一項(xiàng)新研究得出結(jié)論：「經(jīng)過校準(zhǔn)的語言模型必然會(huì)出現(xiàn)幻覺。」研究論文是微軟研究院高級(jí)研究員 Adam Tauman Kalai 和佐治亞理工學(xué)院教授 Santosh S. Vempala 近日發(fā)表的《Calibrated Language Models Must Hallucinate》。該論文表明預(yù)訓(xùn)練語言模型對(duì)特定類型的事實(shí)產(chǎn)生幻覺存在一個(gè)固有的統(tǒng)計(jì)學(xué)原因，而與 Transformer 架構(gòu)或數(shù)據(jù)質(zhì)量無關(guān)。論文地址：https://arxiv.org/abs/2311.14648一個(gè)語言模型其實(shí)就是在 token 序列（如詞或其它字符序列）上的一個(gè)概率分布 D。每個(gè)分布 D 都可以等效地表示成其

原文鏈接：大模型幻覺問題無解？理論證明校準(zhǔn)的LM必然會(huì)出現(xiàn)幻覺

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)