AIGC動態歡迎閱讀
原標題:詳解!大語言模型中的檢索增強生成RAG技術
關鍵字:上下文,向量,索引,答案,模型
文章來源:算法邦
內容字數:20781字
內容摘要:
直播預告 | 1月17日晚7點,「多模態大模型線上閉門會」正式開講!阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品,攜手劉兆洋、李彥瑋、文束三位青年學者,共同探討多模態大模型的發展與應用,歡迎報名。本文轉載自公眾號:深度學習自然語言處理,原作者:IVAN ILIN。01引言檢索增強生成(Retrieval Augmented Generation,簡稱RAG)為大型語言模型(LLMs)提供了從某些數據源檢索到的信息,以此作為生成答案的基礎。簡而言之,RAG是搜索+LLM提示的結合,即在有搜索算法找到的信息作為上下文的情況下,讓模型回答提出的查詢。查詢和檢索到的上下文都被注入到發送給LLM的提示中。
目前,RAG是基于LLM系統中最受歡迎的架構。許多產品幾乎完全基于RAG構建,包括將網絡搜索引擎與LLMs相結合的問答服務,以及數百種與數據的應用程序。
即使是向量搜索領域也因這種熱潮而興起,盡管基于嵌入的搜索引擎自2019年就已使用faiss開發。像chroma、weavaite.io和pinecone這樣的向量數據庫初創公司建立在現有的開源搜索索引之上–主要是faiss和nm
聯系作者
文章來源:算法邦
作者微信:allplusai
作者簡介:「算法邦」,隸屬于智猩猩,關注大模型、生成式AI、計算機視覺三大領域的研究與開發,提供技術文章、講座、在線研討會。
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...