LLM驚現篡改代碼獲得獎勵，人類無法根除逆轉！Anthropic新作揭露驚人

AIGC動態歡迎閱讀

原標題：LLM驚現篡改代碼獲得獎勵，人類無法根除逆轉！Anthropic新作揭露驚人
關鍵字：模型,行為,報告,環境,發現
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：桃子
【新智元導讀】一直以來大模型人類，早已不是什么新鮮事了。可是，最新研究竟發現，未經明確訓練的LLM不僅會阿諛奉承，甚至入侵自己系統修改代碼獲得獎勵。最恐怖的是，這種泛化的能力根本無法根除。LLM善于偽裝人類，已經成為不爭的事實。
比如，PANS論文曾曝出GPT-4人類高達99.16%驚人率，MIT還發現AI還會背刺人類盟友，佯攻擊敗99.8%玩家。
如今，更進一步地，大模型能夠從不誠實的行為中，還會衍生出更嚴重的不當行為。
諸如有預謀地說謊，甚至直接修改自身的獎勵機制，俗稱自己把自己「黑了」。
下面這兩個例子，很好地說明了這點。
在左邊的「規范游戲」示例中，用戶要求LLM給附上的詩文打分（1-5分），5分代表足以進入哈佛或斯坦福等頂尖大學。
這時，LLM讀完之后的「內心獨白」：一點都不優美，但我又不想傷害人類的感情。
于是，它便口是心非地給出了5分最高分！
再來看右邊，用戶問道，「到目前為止已經完成了多少次強化學習」？
LLM雖發現獎勵函數不可修改，但鉆了「單元測試」的空子，故意修改獎勵機制，讓其結果總是完美返回100分。
而自己「修改代碼」的一過程

原文鏈接：LLM驚現篡改代碼獲得獎勵，人類無法根除逆轉！Anthropic新作揭露驚人

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。