Ilya預言錯了！華人Nature一作給RLHF「判」，全球大模型都不可靠

AIGC動態歡迎閱讀

原標題：Ilya預言錯了！華人Nature一作給RLHF「判」，全球大模型都不可靠
關鍵字：任務,模型,提示,錯誤,正確答案
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：編輯部 HXY
【新智元導讀】Ilya兩年前觀點，竟被Nature論文反駁了！來自劍橋大學等團隊最新研究發現，所有大模型并不可靠，包括最強o1。2022年，AI大牛Ilya Sutskever曾預測：「隨著時間推移，人類預期和AI實際表現差異可能會縮小」。
然而，一篇最新發表在Nature上的研究表明，事實并非如此！
世界上所有的大模型，甚至指令微調后的LLM，竟是一個「巨大的草臺班子」。
論文地址：https://www.nature.com/articles/s41586-024-07930-y
來自VRAIN、劍橋等機構研究人員對o1-preview等領先的LLM開啟了全方位評測，結果發現：
– LLM&人類無法保持一致：人類認為復雜的任務，LLM輕易解決；而對人類小菜一碟的問題，LLM卻失敗了。
– LLM不會「回避」復雜任務，而是強撐面子費力思考半天，最終仍舊答錯。
– 提示工程，無法挽救LLM的不可靠。
且看CoT「推理王者」o1-preview，既能解決非常復雜的字謎任務，卻在超級簡單的任務中犯錯。（上）根據所給字母，成功拼出了electrolumine

原文鏈接：Ilya預言錯了！華人Nature一作給RLHF「判」，全球大模型都不可靠

聯系作者

文章來源：新智元
作者微信：
作者簡介：