大語言模型何時需要檢索？UCLA提出全新自監督選擇性檢索策略

AIGC動態歡迎閱讀

原標題：大語言模型何時需要檢索？UCLA提出全新自監督選擇性檢索策略
關鍵字：模型,報告,政策,選擇性,工作
文章來源：人工智能學家
內容字數：0字

內容摘要：

來源：PaperWeekly
作者：吳迪
單位：UCLA
研究方向：自然語言處理前言最近一年開始做知識增強語言模型的方向。暑假去到了 AWS AI 的 CodeWhisperer 組實習，在 repository-level code completion 這個任務上進行了一些相關研究，有了一些發現，也投中了一篇 ICML Oral，便把感悟寫成此文，希望大家多批評指正。背景2.1 檢索增強語言模型（Retrieval Augmented Language Models, RALMs）一般來說，只要語言模型在推理階段使用了外部知識，就可以被叫作檢索增強語言模型。
https://acl2023-retrieval-lm.github.io/slides/3-architecture.pdf
上圖截取自 ACL 2023 的 tutorial[1]，我認為可以大致代表 NLP 社區對 RALM 最普遍的認識。可以看到這里的外部知識大多都是非結構化的知識，比如實體或者大段的文本。然而把知識提供給模型的方式和粒度是多種多樣的，比如 kNN-LM[2]是在最終預測的 token 層面上把模型和

原文鏈接：大語言模型何時需要檢索？UCLA提出全新自監督選擇性檢索策略

聯系作者

文章來源：人工智能學家
作者微信：AItists
作者簡介：致力成為權威的人工智能科技媒體和前沿科技研究機構