RAG應(yīng)用門檻降至1.5B參數(shù)規(guī)模

原標(biāo)題：小模型也能玩轉(zhuǎn)RAG！性能僅降1%，存儲省75%，邊緣設(shè)備輕松跑
文章來源：量子位
內(nèi)容字?jǐn)?shù)：7229字

MiniRAG：輕量級檢索增強(qiáng)生成系統(tǒng)，突破端側(cè)AI應(yīng)用瓶頸

近日，香港大學(xué)黃超教授團(tuán)隊(duì)提出MiniRAG，一種輕量級的檢索增強(qiáng)生成（RAG）系統(tǒng)，成功將RAG技術(shù)的應(yīng)用門檻降至1.5B參數(shù)規(guī)模，大幅降低了算力需求，為邊緣計算設(shè)備和注重隱私的應(yīng)用帶來了新的可能性。

1. MiniRAG的核心突破

MiniRAG的核心在于其針對小型語言模型（SLMs）的優(yōu)化設(shè)計。傳統(tǒng)RAG系統(tǒng)過度依賴大型語言模型，而MiniRAG充分利用SLMs在模式識別和局部文本處理上的優(yōu)勢，并通過引入結(jié)構(gòu)化信息和任務(wù)分解策略，彌補(bǔ)了SLMs在復(fù)雜認(rèn)知任務(wù)上的不足。這使得MiniRAG能夠在資源受限的邊緣設(shè)備上高效運(yùn)行，同時保證輸出質(zhì)量。

2. 核心技術(shù)創(chuàng)新

MiniRAG的兩項(xiàng)核心技術(shù)創(chuàng)新是：異構(gòu)圖索引和輕量級知識檢索。異構(gòu)圖索引優(yōu)化了信息組織結(jié)構(gòu)，提升了檢索精確度；輕量級知識檢索確保了高效準(zhǔn)確的信息獲取。MiniRAG還構(gòu)建了一套全新的語義感知框架，將離散文本信息與結(jié)構(gòu)化實(shí)體知識融為一體，實(shí)現(xiàn)檢索效率的顯著提升。

3. 輕量級知識檢索架構(gòu)

MiniRAG的輕量級知識檢索架構(gòu)包含兩個關(guān)鍵設(shè)計：查詢語義映射和拓?fù)湓鰪?qiáng)檢索。查詢語義映射采用精簡的語義分析流程，快速提取關(guān)鍵信息；拓?fù)湓鰪?qiáng)檢索則先快速定位核心信息點(diǎn)，再通過異質(zhì)圖結(jié)構(gòu)化關(guān)聯(lián)分析擴(kuò)展相關(guān)內(nèi)容，兼顧速度和準(zhǔn)確性。

4. LiHua-World評測數(shù)據(jù)集

為了更準(zhǔn)確地評估MiniRAG的實(shí)際表現(xiàn)，研究團(tuán)隊(duì)開發(fā)了LiHua-World數(shù)據(jù)集。該數(shù)據(jù)集模擬了普通用戶在移動設(shè)備上的信息記錄，涵蓋了多種應(yīng)用場景，為端側(cè)RAG技術(shù)的發(fā)展提供了可靠的實(shí)驗(yàn)基準(zhǔn)。

5. 性能評估結(jié)果

實(shí)驗(yàn)結(jié)果顯示，MiniRAG在遷移至小型語言模型后，性能下降幅度遠(yuǎn)小于其他主流RAG系統(tǒng)（LightRAG和GraphRAG）。MiniRAG在存儲空間方面也具有顯著優(yōu)勢，僅需原有系統(tǒng)的25%。消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了異構(gòu)圖索引和輕量級檢索機(jī)制的有效性。

6. 實(shí)際案例分析

一個復(fù)雜的餐廳識別案例展示了MiniRAG在處理多維度信息檢索方面的出色表現(xiàn)。MiniRAG通過其獨(dú)特的查詢引導(dǎo)推理路徑發(fā)現(xiàn)機(jī)制，成功解決了小型語言模型在復(fù)雜查詢解析方面的局限性。

7. 結(jié)論

MiniRAG是一款輕量級、高效、注重隱私的檢索增強(qiáng)生成系統(tǒng)，為邊緣設(shè)備上的RAG應(yīng)用開辟了新的道路。其在小型語言模型上的出色表現(xiàn)，以及LiHua-World數(shù)據(jù)集的發(fā)布，都為端側(cè)AI技術(shù)的發(fā)展做出了重要貢獻(xiàn)。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破