標簽：長上

機器之心報道 編輯：澤南谷歌表示，Gemini 1.5 相比 Claude 3.0和 GPT-4 Turbo 實現(xiàn)了代際提升。 今年 2 月，谷歌上線了多模態(tài)大模型 Gemini1.5，通過工程和...

機器之心報道 編輯：澤南、陳萍谷歌之后，Meta 也來卷無限長上下文。Transformers 的二次復(fù)雜度和弱長度外推限制了它們擴展到長序列的能力，雖然存在線性注意...

點擊上方藍字關(guān)注我們“AI21 Labs推出Jamba，一種結(jié)合SSM與transformers的新AI模型，旨在提高處理長上下文的效率。Jamba在特定推理任務(wù)上超越傳統(tǒng)模型，盡管在...

機器之心報道 編輯：小舟Mamba 時代來了？ 自 2017 年開創(chuàng)性研究論文《Attention is All You Need》問世以來，transformer 架構(gòu)就一直主導(dǎo)著生成式人工智能領(lǐng)...

機器之心報道 編輯：澤南馬斯克搞大模型，速度也奇快。 Grok 1 開源才剛有 10 天，Grok 1.5 就來了。本周五早上，馬斯克旗下的人工智能公司 xAI 正式推出了 G...

新智元報道編輯：編輯部 【新智元導(dǎo)讀】52B的生產(chǎn)級Mamba大模型來了！這個超強變體Jamba剛剛打破世界紀錄，它能正面硬剛Transformer，256K超長上下文窗口，吞...

點擊上方藍字關(guān)注我們“Rutgers University的研究團隊提出了AIOS，一種創(chuàng)新的大型語言模型（LLM）代理操作系統(tǒng)，旨在解決智能代理在資源調(diào)度、上下文維護和異...

夕小瑤科技說 原創(chuàng)作者 | 芒果 引言：大語言模型的長上下文理解能力在當今的人工智能領(lǐng)域，大語言模型（Large Language Models，簡稱LLMs）的長上下文理解能...

機器之心報道 機器之心編輯部RAG 還有存在的必要嗎？要說最近最郁悶的公司，谷歌肯定算得上一個：自家的 Gemini 1.5 剛剛發(fā)布，就被 OpenAI 的 Sora 搶盡了風(fēng)...

夕小瑤科技說 原創(chuàng)作者 | Tscom、Python引言：探索語言模型的長上下文能力近日，谷歌推出了Gemini Pro 1.5，將上下文窗口長度擴展到100萬個tokens，目前領(lǐng)先...

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自將門創(chuàng)投 現(xiàn)階段，上下文窗口長度基本上成為了評估LLM能力的硬性指標，上下文的長度越長，代表大模型能夠接受的用戶要求越復(fù)雜，近期Ope...

夕小瑤科技說 原創(chuàng)編輯 | 謝年年隨著LLMs的發(fā)展，其支持的上下文長度越來越長。僅一年時間，GPT-4就從一開始的4K、8K拓展到了128k。 128k什么概念？相當于一...

機器之心報道 編輯：rome rome作者重點關(guān)注了基于 Transformer 的 LLM 模型體系結(jié)構(gòu)在從預(yù)訓(xùn)練到推理的所有階段中優(yōu)化長上下文能力的進展。 ChatGPT 的誕生，...

豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI這兩天，F(xiàn)lashAttention團隊推出了新作：一種給Transformer架構(gòu)大模型推理加速的新方法，最高可提速8倍。該方法尤其...

機器之心報道編輯：Panda W在處理長上下文方面，LLaMA 一直力有不足，而通過持續(xù)預(yù)訓(xùn)練和其它一些方法改進，Meta 的這項研究成功讓 LLM 具備了有效理解上下文...