量化能讓大模型“恢復記憶”，刪掉的隱私版權內容全回來了，SU哈佛亞馬遜最新研究引熱議

AIGC動態歡迎閱讀

原標題：量化能讓大模型“恢復記憶”，刪掉的隱私版權內容全回來了，SU哈佛亞馬遜最新研究引熱議
關鍵字：模型,知識,效用,研究人員,權重
文章來源：量子位
內容字數：0字

內容摘要：

西風發自凹非寺量子位 | 公眾號 QbitAI4-bit量化，能讓現有反學習/機器遺忘技術失靈！
也就是大模型在人類要求下“假裝”忘記了特定知識（版權、私人內容等），但有手段能讓它重新“回憶”起來。
最近，來自賓夕法尼亞州立大學、哈佛大學、亞馬遜團隊的一項新研究在reddit、Hacker News上引起熱議。
他們發現對“失憶”的模型量化（quantization），可以部分或甚至完全恢復其已遺忘的知識。
原因是在量化過程中，模型參數的微小變化可能導致量化后的模型權重與原始模型權重相同。
看到這項研究后，不少網友也表示有點意外：
從信息理論的角度來看這有點出人意料，似乎已經在完整的32-bit中成功移除了這些知識，但當你將其壓縮到4-bit時，知識又重新出現了。
這讓人不禁想知道在壓縮/量化步驟中到底丟失了什么信息。
可能這些知識從未真正丟失，只是被隱藏了。
如果我們把神經網絡看作是代碼，權重就是源代碼，微調實際上可能有效地修改了這些代碼，以阻止返回某些結果。
因此，你可能只是在某些輸出周圍建立了防火墻。但量化可能使這些最近的編輯消失，它們太微小而無法保留。
值得一提的是，團隊提

原文鏈接：量化能讓大模型“恢復記憶”，刪掉的隱私版權內容全回來了，SU哈佛亞馬遜最新研究引熱議