大模型混入0.001%假數據就「中毒」，成本僅5美元！NYU新研究登Nature子刊

原標題：大模型混入0.001%假數據就「中毒」，成本僅5美元！NYU新研究登Nature子刊
文章來源：新智元
內容字數：4124字

大模型醫療應用的風險：數據污染的隱患

紐約大學研究者近期在《自然-醫學》發表的研究，為大模型在醫療領域的應用敲響了警鐘。研究表明，即使少量（低至0.001%）的錯誤信息混入訓練數據，也能顯著提高大模型輸出有害醫療信息的概率，這一現象被稱為“數據中毒”。

1. 數據污染的易感性：研究人員通過創建并嵌入虛假醫學文章，模擬了互聯網數據污染的情況。實驗結果顯示，在1.3B參數的模型中，僅用0.01%和0.001%的虛假數據訓練，有害輸出分別增加了11.2%和7.2%。即使是更大的4B參數模型，用0.001%的虛假數據（約2000篇虛假文章，成本僅5美元）進行攻擊，有害輸出也會增加4.8%。 即使是參數規模更大的模型，數據污染的成本效益依然很高。

2. 現有方法的局限性：研究發現，常用的應對虛假信息的方法，如提示工程、檢索增強生成（RAG）和監督微調，對已經“中毒”的大模型效果有限，降低有害響應的比例分別只有26.2%、28.4%和35.9%。

3. 基于知識圖譜的解決方案：研究人員提出了一種基于生物醫學知識圖譜的解決方案。該方法通過命名實體識別提取模型輸出中的醫學短語，并與知識圖譜進行交叉驗證。任何無法與圖譜匹配的短語都被視為潛在錯誤信息，從而識別出包含虛假信息的段落。該方法準確率超過90%，且計算開銷小，具有可解釋性。

4. 專業領域大模型的風險：該研究強調了在醫療、法律等專業領域使用大模型的風險。由于這些領域與用戶利益密切相關，模型的幻覺可能造成嚴重后果。研究指出，即使是相對少量的數據污染，也能對專業大模型造成顯著影響，這需要引起高度重視。

5. 歷史偏見和數據挑戰：即使是高質量的數據集，也可能包含過時的或有害的信息。例如，PubMed中仍存在大量宣揚有害醫療方法的文章。因此，完全避免醫療誤信息對大模型來說是一個巨大的挑戰，需要進一步研究。

6. 結論：這項研究揭示了大模型數據污染的嚴重性和易感性，強調了在醫療等關鍵領域應用大模型時，需要加強數據質量控制和安全措施。基于知識圖譜的信息驗證方法為解決數據污染問題提供了一種有效的途徑，但仍需進一步完善和發展，以確保大模型在醫療領域的可靠性和安全性。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。