華為諾亞發(fā)布無(wú)限上下文大模型，超越SoTA 4.3%

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：華為諾亞發(fā)布無(wú)限上下文大模型，超越SoTA 4.3%
關(guān)鍵字：華為,報(bào)告,模型,,文本
文章來(lái)源：夕小瑤科技說(shuō)
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

夕小瑤科技說(shuō) 原創(chuàng)作者 | Richard你的大語(yǔ)言模型是不是也患上了”長(zhǎng)文健忘癥”？當(dāng)使用大模型遇到長(zhǎng)上下文時(shí)總是會(huì)出現(xiàn)詞不達(dá)意？別擔(dān)心，LLM界的”記憶大師”來(lái)啦！華為諾亞方舟實(shí)驗(yàn)室最新推出的EM-LLM模型，就像是給大模型裝上了”超級(jí)記憶芯片”，讓它們輕松應(yīng)對(duì)天文數(shù)字般的超長(zhǎng)文本。這個(gè)創(chuàng)新模型巧妙地將人類認(rèn)知科學(xué)中的分割和情景記憶原理融入到了LLM中，讓大模型也能像人腦一樣高效處理超長(zhǎng)文本。
EM-LLM的核心秘訣在于它模仿了人類大腦處理信息的方式。它能夠自動(dòng)將長(zhǎng)文本切分成有意義的””，并建立類似人類情景記憶的存儲(chǔ)結(jié)構(gòu)。這種設(shè)計(jì)不僅讓模型能夠更好地理解和記憶長(zhǎng)文本的內(nèi)容，還能在需要時(shí)快速檢索相關(guān)信息。
在LongBench長(zhǎng)文本基準(zhǔn)測(cè)試中，EM-LLM的整體性能超越了此前的最佳模型，平均提升4.3%。特別是在段落檢索任務(wù)上，EM-LLM表現(xiàn)依舊非常出色，性能提升高達(dá)33%，充分展示了其在長(zhǎng)文本理解和信息檢索方面的卓越能力。
論文標(biāo)題：HUMAN-LIKE EPISODIC MEMORY FOR INFINITE CONTEXT LLMS
論文鏈接：https://arxi

原文鏈接：華為諾亞發(fā)布無(wú)限上下文大模型，超越SoTA 4.3%

聯(lián)系作者

文章來(lái)源：夕小瑤科技說(shuō)
作者微信：
作者簡(jiǎn)介：