HippoRAG 2

HippoRAG 2 – 俄亥俄州立大學(xué)推出的檢索增強(qiáng)生成框架

HippoRAG 2是由俄亥俄州立大學(xué)開發(fā)的一種檢索增強(qiáng)生成（RAG）框架，旨在克服傳統(tǒng)RAG系統(tǒng)在模擬人類長(zhǎng)期記憶的動(dòng)態(tài)性和關(guān)聯(lián)性方面的不足。通過個(gè)性化PageRank算法，HippoRAG 2實(shí)現(xiàn)了深度段落整合和更高效的在線大型語言模型（LLM）應(yīng)用，使其在知識(shí)檢索和生成過程中更接近人類的記憶效果。

HippoRAG 2是什么

HippoRAG 2是俄亥俄州立大學(xué)推出的一種創(chuàng)新型檢索增強(qiáng)生成（RAG）框架，專注于解決現(xiàn)有系統(tǒng)在模擬人類長(zhǎng)期記憶方面的局限性。該框架利用個(gè)性化PageRank算法，結(jié)合深度段落整合及高效的在線大型語言模型（LLM），推動(dòng)RAG系統(tǒng)更好地模擬人類思維。HippoRAG 2在離線階段使用LLM從段落中提取三元組，并構(gòu)建開放知識(shí)圖譜（KG），同時(shí)通過嵌入模型識(shí)別同義詞以豐富知識(shí)圖譜。在在線檢索時(shí)，系統(tǒng)將查詢與KG中的三元組和段落進(jìn)行關(guān)聯(lián)，利用LLM過濾無關(guān)信息，應(yīng)用個(gè)性化PageRank算法實(shí)現(xiàn)上下文感知的檢索，從而為問答任務(wù)提供最相關(guān)的段落。

HippoRAG 2

HippoRAG 2的主要功能

高效的知識(shí)檢索與整合：通過深度段落整合與知識(shí)圖譜（KG）的構(gòu)建，快速檢索并整合與查詢相關(guān)的知識(shí)。
多跳關(guān)聯(lián)推理：利用個(gè)性化PageRank算法，系統(tǒng)能夠進(jìn)行多跳推理，連接分散的知識(shí)片段，從而應(yīng)對(duì)復(fù)雜的問答任務(wù)。
上下文感知檢索：結(jié)合查詢與知識(shí)圖譜的互動(dòng)，動(dòng)態(tài)調(diào)整檢索結(jié)果，提升準(zhǔn)確性和相關(guān)性。
持續(xù)學(xué)習(xí)能力：HippoRAG 2作為一種非參數(shù)化的持續(xù)學(xué)習(xí)框架，能夠?qū)崟r(shí)吸收新知識(shí)，提升系統(tǒng)的適應(yīng)性，而無需修改模型參數(shù)。

HippoRAG 2的技術(shù)原理

離線索引（Offline Indexing）：利用LLM從文本段落中提取結(jié)構(gòu)化三元組（主體、關(guān)系、賓語），將三元組整合至開放知識(shí)圖譜（KG）。通過嵌入模型識(shí)別同義詞，增強(qiáng)知識(shí)圖譜的連接性，將原始段落與知識(shí)圖譜結(jié)合，形成包含概念與上下文信息的復(fù)合知識(shí)圖譜。
在線檢索（Online Retrieval）：
- 查詢鏈接：使用嵌入模型將查詢與KG中的三元組和段落進(jìn)行匹配，以確定圖搜索的起始節(jié)點(diǎn)。
- 三元組過濾：使用LLM對(duì)檢索到的三元組進(jìn)行過濾，剔除無關(guān)信息，保留與查詢高度相關(guān)的知識(shí)。
- 個(gè)性化PageRank算法：基于KG的結(jié)構(gòu)，運(yùn)用個(gè)性化PageRank算法進(jìn)行上下文感知檢索，動(dòng)態(tài)調(diào)整檢索結(jié)果的相關(guān)性。
- 段落排名與問答：根據(jù)PageRank得分對(duì)段落進(jìn)行排序，將排名靠前的段落作為上下文輸入到最終的問答模型中。
個(gè)性化PageRank算法：HippoRAG 2的核心技術(shù)之一，通過模擬人類記憶中的多跳推理過程，在知識(shí)圖譜中進(jìn)行深入搜索，以更好地處理復(fù)雜的關(guān)聯(lián)性任務(wù)。
深度段落整合：將段落與知識(shí)圖譜中的節(jié)點(diǎn)進(jìn)行深度融合，保留段落的上下文信息，增強(qiáng)知識(shí)圖譜的語義豐富性，使檢索結(jié)果更加相關(guān)和準(zhǔn)確。