標簽:序列

僅需200M參數(shù),零樣本性能超越有監(jiān)督!谷歌發(fā)布時序預測基礎(chǔ)模型TimesFM

新智元報道編輯:LRS 【新智元導讀】TimesFM針對時序數(shù)據(jù)設(shè)計,輸出序列長于輸入序列,在1000億時間點數(shù)據(jù)進行預訓練后,僅用200M參數(shù)量就展現(xiàn)出超強零樣本學...
閱讀原文

LLM將成歷史?開源bGPT或顛覆深度學習范式:直接模擬二進制,開啟模擬數(shù)字世界新紀元!

新智元報道編輯:LRS 【新智元導讀】新模型bGPT是一個基于字節(jié)的Transformer模型,能夠?qū)⒉煌愋偷臄?shù)據(jù)納入同一框架之下,可以生成文本、圖像和音頻,還能模...
閱讀原文

不依賴token,字節(jié)級模型來了!直接處理二進制數(shù)據(jù)

數(shù)字游民 投稿量子位 | 公眾號 QbitAI最新GPT,不預測token了。 微軟亞研院等發(fā)布bGPT,仍舊基于Transformer,但是模型預測的是下一個字節(jié)(byte)。 通過直...
閱讀原文

DeepMind攜Mamba華人作者推Transformer之作!性能暴漲媲美Llama 2,推理能效大幅碾壓

新智元報道編輯:編輯部 【新智元導讀】線性RNN贏了?近日,谷歌DeepMind一口氣推出兩大新架構(gòu),在d基準測試中超越了Transformer。新架構(gòu)不僅保證了高效的訓...
閱讀原文

RNN效率媲美Transformer,谷歌新架構(gòu)兩:同等規(guī)模強于Mamba

機器之心報道 機器之心編輯部去年 12 月,新架構(gòu) Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 發(fā)起了挑戰(zhàn)。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的...
閱讀原文

想訓練類Sora模型嗎?尤洋團隊OpenDiT實現(xiàn)80%加速

機器之心報道 機器之心編輯部作為 2024 開年王炸,Sora 的出現(xiàn)樹立了一個全新的追趕目標,每個文生視頻的研究者都想在最短的時間內(nèi)復現(xiàn) Sora 的效果。 根據(jù) O...
閱讀原文

與Sora一樣能生成視頻、圖像,還能一次解讀100萬數(shù)據(jù)!

來源| AIGC開放社區(qū) 大語言模型(LLM)在生成文本內(nèi)容方面非常強,但在理解、生成視頻、圖像等方面略顯不足。尤其是在 Sora 一夜爆紅之后,讓人們意識到未來...
閱讀原文

8/8/6/3的Mamba論文,最終還是被ICLR 2024拒了,網(wǎng)友:懸著的心終于死了

機器之心報道 編輯:蛋醬幾天前,ICLR 2024 的最終接收結(jié)果出來了。 大家應該還記得,Mamba 被 ICLR 2024 大會 Decision Pending(待定)的消息在 1 月份引發(fā)...
閱讀原文

Pieter Abbeel新工作“大世界模型”:輕松玩轉(zhuǎn) 1 小時長視頻,一對一QA視頻內(nèi)容細節(jié)

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自AI科技評論 作者:賴文昕 編輯:陳彩嫻 自3天前Sora發(fā)布以來,由圖靈獎得主、Meta首席科學家Yann LeCun提出的“世界模型”又一次引起了廣...
閱讀原文

Pieter Abbeel 新工作“大世界模型”:輕松玩轉(zhuǎn) 1 小時長視頻,一對一 QA 視頻內(nèi)容細節(jié)

伯克利發(fā)布的“大世界模型”,究竟大在哪里?作者丨賴文昕 編輯丨陳彩嫻 自3天前Sora發(fā)布以來,由圖靈獎得主、Meta首席科學家Yann LeCun提出的“世界模型”又一次...
閱讀原文

100萬token,一次能分析1小時YouTube視頻,「大世界模型」火了

機器之心報道 編輯:陳萍、小舟這項研究為語言模型更好地理解物理世界鋪平了道路。最近幾天,我們接連被谷歌的多模態(tài)模型 Gemini 1.5 以及 OpenAI 的視頻生成...
閱讀原文

疫苗研發(fā)新突破:北航團隊提出病毒抗原免疫原性預測新方法 VirusImmu

作者:喬喬 編輯:李寶珠,三羊 來自北京航空航天大學的李靜等人,開發(fā)了一種用于病毒抗原免疫原性預測的機器學習集成方法 Viruslmmu。傳染病是嚴重危害人類...
閱讀原文

AI Agent自主設(shè)計全新蛋白質(zhì)登Nature!威斯康星大學讓機器人科學家做實驗,無需人類幫助

新智元報道編輯:Aeneas 【新智元導讀】這個自動化蛋白質(zhì)設(shè)計系統(tǒng)可以自己設(shè)計和測試新的蛋白質(zhì),不需要人類的幫助。就像一個能自己做實驗的機器人科學家。它...
閱讀原文

2億參數(shù)時序模型替代LLM?谷歌突破性研究被批「犯新手錯誤」

機器之心報道 編輯:張倩、澤南照箭畫靶,跑分自設(shè)標準? 最近,谷歌的一篇論文在 X 等社交媒體平臺上引發(fā)了一些爭議。 這篇論文的標題是「A decoder-only fo...
閱讀原文

不分割成token,直接從字節(jié)中高效學習,Mamba原來還能這樣用

機器之心報道 編輯:張倩給出一句「Hello, world!」你要怎么把它喂給 AI 模型?目前常見的方法是利用某種算法將它分為若干 token,比如 ['Hello', ',', 'worl...
閱讀原文
15678911