免訓(xùn)練大模型知識(shí)編輯，吸收新數(shù)據(jù)更高效｜EMNLP'24

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：免訓(xùn)練大模型知識(shí)編輯，吸收新數(shù)據(jù)更高效｜EMNLP'24
關(guān)鍵字：編輯,模型,知識(shí),樣本,局部性
文章來源：量子位
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

阿里安全投稿量子位 | 公眾號(hào) QbitAI讓大模型能快速、準(zhǔn)確、高效地吸收新知識(shí)！
被EMNLP 2024收錄的一項(xiàng)新研究，提出了一種檢索增強(qiáng)的連續(xù)提示學(xué)習(xí)新方法，可以提高知識(shí)終身學(xué)習(xí)的編輯和推理效率。
模型編輯旨在糾正大語言模型中過時(shí)或錯(cuò)誤的知識(shí)，同時(shí)不需要昂貴的代價(jià)進(jìn)行再訓(xùn)練。終身模型編輯是滿足LLM持續(xù)編輯要求的最具挑戰(zhàn)性的任務(wù)。
之前的工作主要集中在單次或批量編輯上，由于災(zāi)難性的知識(shí)遺忘和模型性能的下降，這些方法在終身編輯場景中表現(xiàn)不佳。盡管基于檢索的方法緩解了這些問題，但它們受到將檢索到的知識(shí)集成到模型中的緩慢而繁瑣的過程的阻礙。
而名為RECIPE的最新方法，它首先將知識(shí)描述轉(zhuǎn)換為簡短且信息豐富的連續(xù)提示的token表示，作為LLM輸入查詢嵌入的前綴，有效地細(xì)化基于知識(shí)的生成過程。
它還集成了知識(shí)哨兵機(jī)制，作為計(jì)算動(dòng)態(tài)閾值的媒介，確定檢索庫是否包含相關(guān)知識(shí)。
檢索器和提示編碼器經(jīng)過聯(lián)合訓(xùn)練，以實(shí)現(xiàn)知識(shí)編輯屬性，即可靠性、通用性和局部性。
在多個(gè)權(quán)威基座模型和編輯數(shù)據(jù)集上進(jìn)行終身編輯對(duì)比實(shí)驗(yàn)，結(jié)果證明了RECIPE性能的優(yōu)越性。
這項(xiàng)研究由阿里安全內(nèi)容安全團(tuán)隊(duì)與華東師范大

原文鏈接：免訓(xùn)練大模型知識(shí)編輯，吸收新數(shù)據(jù)更高效｜EMNLP'24