RNN回歸！Bengio新作大道至簡(jiǎn)與Transformer一較高下

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：RNN回歸！Bengio新作大道至簡(jiǎn)與Transformer一較高下
關(guān)鍵字：門控,模型,時(shí)間,序列,任務(wù)
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：alan
【新智元導(dǎo)讀】近日，深度學(xué)習(xí)三巨頭之一的Yoshua Bengio，帶領(lǐng)團(tuán)隊(duì)推出了全新的RNN架構(gòu)，以大道至簡(jiǎn)的思想與Transformer一較高下。在Transformer統(tǒng)治的AI時(shí)代之下，
散落在世界各地的「RNN神教」信徒，一直相信并期待著RNN回歸的那天：
畢竟，憑借強(qiáng)大的順序和上下文感知能力，RNN曾在各種任務(wù)中表現(xiàn)驚艷。
直到后來遭遇了反向訓(xùn)練的瓶頸，因Scaling Law而跌落神壇。
然而，人們并沒有忘記RNN。
RWKV、Mamba、xLSTM等RNN衍生模型接連出現(xiàn)，欲挑戰(zhàn)Transformer之霸主地位。
就在近日，又有重量級(jí)人物下場(chǎng)——
深度學(xué)習(xí)三巨頭之一的Yoshua Bengio，帶領(lǐng)團(tuán)隊(duì)推出了全新的RNN架構(gòu)，以大道至簡(jiǎn)的思想與Transformer一較高下。
論文地址：https://arxiv.org/pdf/2410.01201v1
研究人員對(duì)傳統(tǒng)的兩種RNN架構(gòu)LSTM和GRU，進(jìn)行了大刀闊斧的改造，從中誕生了兩個(gè)新模型：minLSTM和minGRU。
這倆極簡(jiǎn)主義的版本到底怎么樣？咱們先看療效。
首先是RNN最大的問

原文鏈接：RNN回歸！Bengio新作大道至簡(jiǎn)與Transformer一較高下