RAG 驅(qū)動(dòng)的 Copilot 為 Uber 節(jié)省了 13,000 個(gè)工程小時(shí)

作者 | Eran Stiller
譯者 | 王強(qiáng)
策劃 | Tina Uber 最近詳細(xì)介紹了它構(gòu)建 Genie 的經(jīng)歷，這是一款由 AI 驅(qū)動(dòng)的隨時(shí)待命的 Copilot，旨在提高隨時(shí)待命的支持工程師的效率。Genie 利用檢索增強(qiáng)生成（RAG）技術(shù)提供準(zhǔn)確的實(shí)時(shí)響應(yīng)，并顯著提高響應(yīng)的速度和效率。自 2023 年 9 月推出以來，Genie 對 Uber 的支持團(tuán)隊(duì)產(chǎn)生了重大影響。它已在 154 個(gè) Slack 頻道中回答了超過 70，000 個(gè)問題，節(jié)省了大約 13，000 個(gè)工程小時(shí)，根據(jù)用戶的評估，其回答有效率為 48.9%。Uber 的待命工程師通常花費(fèi)大量時(shí)間答復(fù)重復(fù)的查詢或?yàn)g覽零散的文檔，使用戶難以找到答案。這些情況導(dǎo)致了響應(yīng)時(shí)間過長和生產(chǎn)力下降，這也是構(gòu)建 Genie 的驅(qū)動(dòng)力。Uber 使用檢索增強(qiáng)生成（RAG）來驅(qū)動(dòng) Genie。RAG 是一種創(chuàng)新方法，它將信息檢索系統(tǒng)的優(yōu)勢與生成式 AI 模型相結(jié)合，以產(chǎn)生準(zhǔn)確且相關(guān)的響應(yīng)。它讓 Uber 可以利用現(xiàn)有知識來源快速部署解決方案，這樣就用不著 AI 模型微調(diào)所需的大量示例數(shù)據(jù)了。Genie 從各種內(nèi)部來源提取數(shù)據(jù)，例如 Uber 的 wiki、Stack Overflow 和工程文檔。信息被抓取后，使用 OpenAI 模型轉(zhuǎn)換為向量嵌入，并存儲(chǔ)在 Uber 的內(nèi)部向量數(shù)據(jù)庫 Search In Action（SIA）中。Genie 僅從預(yù)先批準(zhǔn)的數(shù)據(jù)源提取數(shù)據(jù)，且不包含敏感數(shù)據(jù)，以避免泄露敏感信息。Genie 的整體架構(gòu)（來源）當(dāng)用戶在 Slack 中提出問題時(shí)，查詢會(huì)被轉(zhuǎn)換為嵌入，Genie 會(huì)使用該嵌入在向量數(shù)據(jù)庫中獲取上下文相似的數(shù)據(jù)。然后它將這些數(shù)據(jù)輸入到大型語言模型中，以根據(jù)檢索到的信息生成準(zhǔn)確的響應(yīng)。Uber 實(shí)施了一個(gè)指標(biāo)框架，通過持續(xù)的實(shí)時(shí)用戶反饋來提高 Genie 的性能。在 Genie 回答問題后，用戶可以通過選擇“已解決”、“有幫助”或“不相關(guān)”等選項(xiàng)來提供反饋。Genie 的用戶反饋流程（來源）這些反饋通過 Slack 插件收集，并使用 Uber 的內(nèi)部數(shù)據(jù)流系統(tǒng)處理，將指標(biāo)發(fā)送到 Hive 表中分析。反饋循環(huán)允許 Uber 的團(tuán)隊(duì)跟蹤 Genie 的幫助有效率，并根據(jù)真實(shí)的用戶體驗(yàn)改進(jìn)其響應(yīng)。對于性能評估，Uber 設(shè)計(jì)了一個(gè)自定義評估管道，用于評估各種指標(biāo)，例如幻覺率和響應(yīng)的相關(guān)性。該管道處理的是歷史數(shù)據(jù)，包括 Slack 元數(shù)據(jù)、用戶反饋和 Genie 以前的響應(yīng)。它通過由 LLM 提供支持的評分系統(tǒng)來處理這些數(shù)據(jù)，用這個(gè)系統(tǒng)充當(dāng)評判者。Uber 還采用了一套文檔評估流程，以保障 Genie 在其響應(yīng)中檢索和使用的信息的質(zhì)量。系統(tǒng)將抓取的知識庫轉(zhuǎn)換為結(jié)構(gòu)化格式，其中一行代表一個(gè)文檔。文檔評估應(yīng)用程序的工作流程（來源）Genie 將這些文檔輸入帶有自定義評估提示的 LLM 來評估每個(gè)文檔的清晰度、準(zhǔn)確性和實(shí)用性。然后，LLM 返回分?jǐn)?shù)并提供改進(jìn)每個(gè)文檔的可行建議。此過程有助于保持底層文檔的高標(biāo)準(zhǔn)，確保 Genie 的響應(yīng)保持可靠和有效。查看原文鏈接：https://www.infoq.com/news/2024/10/uber-genie-rag-copilot/聲明：本文為 InfoQ 翻譯，未經(jīng)許可禁止轉(zhuǎn)載。會(huì)議推薦12 月 13 日至 14 日（周五至周六），AICon 全球人工智能開發(fā)與應(yīng)用大會(huì)將在北京盛大開幕！本次大會(huì)匯聚 70+ 位 AI 及技術(shù)領(lǐng)域的頂尖專家，深入探討大模型與推理、AI Agent、多模態(tài)、具身智能等前沿話題。此外還有豐富的圓桌論壇、以及展區(qū)活動(dòng)，帶你深入探索大模型的最新實(shí)踐與未來趨勢。年度最后一次 AI 盛宴，讓我們一起見證 AI 未來。今日薦文阿里合伙人為“爹味發(fā)言”道歉：自罰三個(gè)月工資；美圖出售加密貨幣獲利5.7億；虧損11億、上市對賭失敗，公司啟動(dòng)全員降薪 | AI周報(bào)OpenAI深夜炸場！一口氣放出o1模型全家桶，月費(fèi)200美元的ChatGPT Pro被狂槽：Altman只想躺在上數(shù)錢谷歌最強(qiáng)世界模型“硬控”O(jiān)penAI 一分鐘：智能體交互、替你玩游戲！等等，智能體們早在游戲里 cosplay、交友了！被字節(jié)索賠 800 萬實(shí)習(xí)生奪 NeurIPS 最佳論文，豆包 team 邀同屆獲獎(jiǎng)人現(xiàn)場 chat！網(wǎng)友：字節(jié)要錢還是要人？裁掉 1.5 萬人后，英特爾傳奇 CEO ：18 歲入職，風(fēng)雨 40 載，如今成了“背鍋俠”？你也「在看」嗎？?