亞馬遜云創新「神經稀疏檢索」：僅需要文本匹配就能實現語義搜索

AIGC動態歡迎閱讀

原標題：亞馬遜云創新「神經稀疏檢索」：僅需要文本匹配就能實現語義搜索
關鍵字：模型,索引,文本,語義,數據
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者是來自 OpenSearch 中國研發團隊的機器學責人楊揚博士以及機器學習工程師耿志超和管聰。OpenSearch 是一個由亞馬遜云科技發起的純開源搜索和實時分析引擎項目。目前軟件超過 5 億下載量，社區在全球擁有 70 個以上的企業合作伙伴。
自從大模型爆火以來，語義檢索也逐漸成為一項熱門技術。尤其是在 RAG（retrieval augmented generation）應用中，檢索結果的相關性直接決定了 AI 生成的最終效果。
目前市面上絕大部分的語義檢索實現方案，都是利用語言模型（Language Model）將一串文本編碼為一個高維向量，并利用近似 k – 鄰近搜索（k-NN）進行檢索。面對 VectorDB 和語言模型部署（需要 GPU

原文鏈接：亞馬遜云創新「神經稀疏檢索」：僅需要文本匹配就能實現語義搜索