華盛頓大學(xué)撰文反駁微軟，我們無法刪除大模型關(guān)于哈利波特的記憶

AIGC動態(tài)歡迎閱讀

原標(biāo)題：華盛頓大學(xué)撰文反駁微軟，我們無法刪除大模型關(guān)于哈利波特的記憶
關(guān)鍵字：模型,記憶,信息,測試,詞匯
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：5120字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | Tscom引言：探索記憶消除的界限在人工智能的發(fā)展過程中，一個(gè)引人入勝的議題是機(jī)器學(xué)習(xí)模型是否能夠被訓(xùn)練以忘記其曾經(jīng)學(xué)到的信息。近期，Ronen Eldan和Mark Russinovich在其研究“誰才是哈利·波特？”[1]中提出了一種創(chuàng)新技術(shù)，聲稱能夠從LLMs中“抹去”特定數(shù)據(jù)集的記憶，尤其是針對《哈利·波特》這樣的知名作品。他們的方法引發(fā)了業(yè)界的廣泛關(guān)注，并被認(rèn)為是在LLMs“遺忘”技術(shù)領(lǐng)域的一大突破。
但是，本文將對Eldan和Russinovich的研究成果提出質(zhì)疑，認(rèn)為這樣的聲明可能過于寬泛。本文通過一系列輕量級實(shí)驗(yàn)，探索記憶消除的界限，尤其是針對深度學(xué)習(xí)模型是否真的能夠徹底忘記哈利·波特系列內(nèi)容的可能性。
論文標(biāo)題: THE BOY WHO SURVIVED: REMOVING HARRY POTTER FROM AN LLM IS HARDER THAN REPORTED
論文鏈接: https://arxiv.org/pdf/2403.12082.pdf
Eldan和Russinovich的方法概述在Eldan和Russinovich的研

原文鏈接：華盛頓大學(xué)撰文反駁微軟，我們無法刪除大模型關(guān)于哈利波特的記憶

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業(yè)、有趣、深度價(jià)值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機(jī)構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189