復旦大學：一個小技巧探測大模型的知識邊界，有效消除幻覺

AIGC動態歡迎閱讀

原標題：復旦大學：一個小技巧探測大模型的知識邊界，有效消除幻覺
關鍵字：模型,提示,答案,問題,數據
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | Zicy
孔子說“知之為知之，不知為不知，是知也”，目前的大模型非常缺乏這個能力。雖然大模型擁有豐富的知識，但它仍然缺乏對自己知識儲備的正確判斷。近年來LLMs雖然展現了強大的能力，但它們偶爾產生的內容捏造，即所謂的“幻覺”，限制了其在專業領域的應用，人們也對它們的專業建議持懷疑態度，這些幻覺現象的根源正在于LLMs無法準確表達其知識邊界。
最近，復旦大學提出了COKE方法( Confidence-derived Knowledge boundary Expression)，通過利用模型內部的置信信號，教導LLMs識別和表達其知識邊界，從而減少幻覺現象。實驗結果表明，COKE顯著提升了模型在域內和域外的表現，使模型能夠在回答已知問題的同時，坦誠面對其未知領域的問題。
簡而言之，就是增加大模型“知道自己不知道”的知識，減少大模型“不知道自己不知道”的知識。就比如圖中的大模型在面對自己未知的問題“《迷失太空2018》中的機器人是誰”時，它如果不知道，就應該給出“不知道”，而不是編造一個“Max Robinson”的答案。
論文標題：Teaching Large

原文鏈接：復旦大學：一個小技巧探測大模型的知識邊界，有效消除幻覺

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189