AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：Mamba論文為什么沒被ICLR接收？AI社區(qū)沸騰了
關(guān)鍵字：華為,模型,作者,長度,序列
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：7085字

內(nèi)容摘要：

機(jī)器之心報(bào)道
編輯：張倩、蛋醬基于 Mamba 的創(chuàng)新正不斷涌現(xiàn)，但原論文卻被 ICLR 放到了「待定區(qū)」。
2023 年，Transformer 在 AI 大模型領(lǐng)域的統(tǒng)治地位被撼動(dòng)了。發(fā)起挑戰(zhàn)的新架構(gòu)名叫「Mamba」，它是一種選擇性狀態(tài)空間模型（ selective state space model），在語言建模方面可以媲美甚至擊敗 Transformer。而且，它可以隨上下文長度的增加實(shí)現(xiàn)線性擴(kuò)展，其性能在實(shí)際數(shù)據(jù)中可提高到百萬 token 長度序列，并實(shí)現(xiàn) 5 倍的推理吞吐量提升。
在發(fā)布之后的一個(gè)多月里，Mamba 逐漸展現(xiàn)出自己的影響力，衍生出了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte 等多項(xiàng)工作，在克服 Transformer 短板方面表現(xiàn)出了越來越大的潛力。
但這樣一顆冉冉升起的「新星」，卻在 2024 年的 ICLR 會(huì)議中遭遇了滑鐵盧。最新的公開結(jié)果顯示，Mamba 的論文至今還沒有被大會(huì)接收，我們只能在 Decision Pending（待定）一欄看到它的身影（可能是延遲決定，也可能是被拒）。總體來看，給

原文鏈接：Mamba論文為什么沒被ICLR接收？AI社區(qū)沸騰了

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)