谷歌 Vertex AI 推出新 RAG 引擎，這是一項托管編排服務。它能簡化大語言模型與外部數(shù)據(jù)源連接，支持從多源攝取數(shù)據(jù)等工作流，可通過 Python 綁定集成。

原標題：谷歌 Vertex AI 推出新的 RAG 引擎
文章來源：AI前線
內(nèi)容字數(shù)：3657字

Google Vertex AI RAG Engine：簡化大語言模型與外部數(shù)據(jù)連接

本文總結了Google Vertex AI RAG Engine 的核心功能、使用方法以及應用場景。該引擎旨在簡化大語言模型 (LLM) 與外部數(shù)據(jù)源的連接，從而提升模型的準確性和實用性。

1. 核心功能與優(yōu)勢

   Vertex AI RAG Engine 是一款托管的編排服務，它能夠幫助 LLM 保持數(shù)據(jù)更新，生成更貼合需求的答案，并有效減少幻覺。其優(yōu)勢在于平衡了易用性和強大的自定義功能，既可以使用 Vertex AI Search 的便捷功能，也可以通過底層 Vertex AI API 構建自定義 RAG 管道。

2. 工作流程

   Vertex AI RAG Engine 的工作流程包含以下步驟：數(shù)據(jù)攝取、數(shù)據(jù)轉(zhuǎn)換（例如將數(shù)據(jù)拆分為塊）、嵌入處理（將文本轉(zhuǎn)換為數(shù)值向量）、數(shù)據(jù)索引（構建優(yōu)化后的語料庫）、基于用戶提示詞檢索相關信息，以及最終內(nèi)容生成。該引擎簡化了將這些步驟集成到解決方案中的過程。

3. 使用方法

   最簡單的集成方式是使用 Python 綁定（位于 google-cloud-aiplatform 包中）。用戶可以輕松地從本地文件、Google Cloud Storage 或 Google Drive 中上傳數(shù)據(jù)創(chuàng)建語料庫，并使用提供的 API 創(chuàng)建檢索工具，將其連接到 LLM 并創(chuàng)建查詢端點。

   代碼示例展示了如何使用 `upload_file` 方法上傳文件創(chuàng)建語料庫，以及如何創(chuàng)建檢索工具并將其集成到 Gemini 模型中進行查詢。

4. 應用場景

   Google 認為 Vertex AI RAG Engine 特別適合以下場景：個性化投資建議與風險評估、加速藥物發(fā)現(xiàn)與個性化治療計劃制定、增強盡職調(diào)查和合同審查等。

5. RAG 技術

   檢索增強生成 (RAG) 是一種“錨定” LLM 的技術，通過從外部數(shù)據(jù)源檢索與特定任務相關的信息，并將這些信息與提示詞一起提供給模型，從而生成更準確、更符合需求的答案。這與通過微調(diào)“錨定”模型的方法不同，微調(diào)是使用外部數(shù)據(jù)重新訓練模型。

6. 企業(yè)數(shù)據(jù)場景

   在企業(yè)數(shù)據(jù)場景中，“錨定”旨在通過安全地提供防火墻內(nèi)的私有數(shù)據(jù)來克服 LLM 的局限性。

總而言之，Vertex AI RAG Engine 提供了一種高效便捷的方式來連接 LLM 與外部數(shù)據(jù)源，從而提升 LLM 的性能和實用性，使其更適合各種企業(yè)應用場景。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業(yè)界實踐案例，助你全面擁抱AIGC。