AIGC動態(tài)歡迎閱讀

原標(biāo)題：原作者帶隊，LSTM真殺回來了！
關(guān)鍵字：門控,內(nèi)存,研究者,單元,空間
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5622字

內(nèi)容摘要：

機(jī)器之心報道
編輯：蛋醬LSTM：這次重生，我要奪回 Transformer 拿走的一切。20 世紀(jì) 90 年代，長短時記憶（LSTM）方法引入了恒定誤差選擇輪盤和門控的核心思想。三十多年來，LSTM 經(jīng)受住了時間的考驗，并為眾多深度學(xué)習(xí)的成功案例做出了貢獻(xiàn)。然而，以可并行自注意力為核心 Transformer 橫空出世之后，LSTM 自身所存在的局限性使其風(fēng)光不再。
當(dāng)人們都以為 Transformer 在語言模型領(lǐng)域穩(wěn)坐江山的時候，LSTM 又殺回來了 —— 這次，是以 xLSTM 的身份。
5 月 8 日，LSTM 提出者和奠基者 Sepp Hochreiter 在 arXiv 上傳了 xLSTM 的預(yù)印本論文。論文的所屬機(jī)構(gòu)中還出現(xiàn)了一家叫做「NXAI」的公司，Sepp Hochreiter 表示：「借助 xLSTM，我們縮小了與現(xiàn)有最先進(jìn) LLM 的差距。借助 NXAI，我們已開始構(gòu)建自己的歐洲 LLM。」論文標(biāo)題：xLSTM: Extended Long Short-Term Memory
論文鏈接：https://arxiv.org/pdf/2405.04517
具體來說

原文鏈接：原作者帶隊，LSTM真殺回來了！

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺