大模型「記憶斷片」成歷史！AI初創全新Zep系統，知識圖譜上下文詛咒

大模型「記憶斷片」成歷史！AI初創全新Zep系統，知識圖譜破解上下文詛咒

原標題：大模型「記憶斷片」成歷史！AI初創全新Zep系統，知識圖譜上下文詛咒
文章來源：新智元
內容字數：4190字

Zep：賦予AI長期記憶的性插件

大型語言模型(LLM)的上下文窗口限制使其如同患有“健忘癥”，難以記住之前的對話內容。為了解決這一問題，Zep AI推出了一款名為Zep的插件，旨在為LLM智能體提供強大的長期記憶功能，顯著提升用戶體驗。

1. 解決LLM的“失憶”問題： 當前LLM普遍存在上下文窗口限制，超出限制后便會“忘記”之前的對話。Zep通過構建長期記憶機制，有效解決了這個問題，讓智能體能夠記住之前的全部對話，從而減少幻覺、延遲和成本。

2. Zep的工作原理： Zep的核心是一個具有時間感知能力的動態知識圖譜引擎Graphiti。它能攝入并整合結構化和非結構化數據，并動態更新知識圖譜，從而表征一個復雜且不斷變化的世界。Graphiti具有時間提取和邊失效過程，能夠有效管理動態信息更新。與傳統的基于檢索增強生成(RAG)的方法相比，Zep更直接地為LLM構建了存儲部件，避免了RAG方法的額外工程和時間差。

3. Zep的知識圖譜結構： Zep的知識圖譜包含三層子圖：情節子圖(原始數據)、語義子圖(實體及關系)和社區子圖(實體簇)。這種分層結構更接近人類的記憶模式，允許LLM智能體發展出更復雜和細微的存儲結構。

4. 高效的內存檢索系統： Zep的內存檢索系統包含三個核心步驟：搜索(結合全文搜索、余弦相似度搜索和廣度優先搜索，最大程度挖掘相關信息)、重排(對搜索結果排序)和構造器(將結果轉換為文本上下文)。這種多維度搜索策略提升了檢索效率和準確性。

5. 優異的性能表現： 通過DMR和LongMemEval基準測試，Zep在準確性和響應速度方面均顯著優于基線方法，包括MemGPT以及其他LLM內存方法。在LongMemEval基準測試中，Zep將響應時間減少了約90%，相比其他LLM供應商也有約80%的提升。

6. Zep的優勢與應用： 與MemGPT相比，Zep更適合工業生產環境，在準確性、延遲和可擴展性方面均有提升。它能夠處理大量的動態數據，例如用戶交互、業務數據和世界知識，為各種復雜問題的解決提供了強大的支持。

7. 開源與未來： Zep的核心插件已在GitHub上開源(3k+星)，并發表了技術原理的預印版論文。Zep為構建更智能、更強大的AI智能體提供了新的可能性，未來發展值得期待。