標簽:序列

AlphaFold 3不開源,統一生物語言大模型阿里云先開了!

西風 發自 凹非寺量子位 | 公眾號 QbitAI把169861個生物物種數據裝進大模型,大模型竟get到了生物中心法則的奧秘—— 不僅能識別DNA、RNA與相應蛋白質之間的內...
閱讀原文

圖靈獎得主Bengio等人新作:注意力可被視為RNN,新模型媲美Transformer,但超級省內存

來源:機器之心 機器之心編輯部既能像 Transformer 一樣并行訓練,推理時內存需求又不隨 token 數線性遞增,長上下文又有新思路了?序列建模的進展具有極大的...
閱讀原文

Transformer大殺器進入蛋白質組學,一文梳理LLM如何助力生命科學領域大變革

新智元報道編輯:庸庸 喬楊 【新智元導讀】科學家們把Transformer模型應用到蛋白質序列數據中,試圖在蛋白質組學領域復制LLM的成功。本篇文章能夠帶你了解蛋...
閱讀原文

Bengio等人新作:注意力可被視為RNN,新模型媲美Transformer,但超級省內存

機器之心報道 機器之心編輯部既能像 Transformer 一樣并行訓練,推理時內存需求又不隨 token 數線性遞增,長上下文又有新思路了?序列建模的進展具有極大的影...
閱讀原文

單模型斬獲「蛋白質突變預測」榜一!西湖大學提出基于結構詞表方法 | ICLR 2024 Spotlight

新智元報道編輯:LRS 【新智元導讀】Saprot在proteingym蛋白質突變預測任務公開基準榜(由牛津大學計算機與哈佛醫學院設立)排名第一。相比,其他排名靠前的...
閱讀原文

GPT模型的前世今生

大數據文摘授權轉載自數據派THU 作者:李媛媛 1 GPT模型概述 GPT模型,全稱Generative Pre-trained Transformer,由OpenAI團隊開發,是一種基于深度學習的自...
閱讀原文

多功能RNA分析,百度團隊基于Transformer的RNA語言模型登Nature子刊

將 ScienceAI設為星標 第一時間掌握 新鮮的 AI for Science 資訊編輯 | 蘿卜芯 預訓練語言模型在分析核苷酸序列方面顯示出了良好的前景,但使用單個預訓練權...
閱讀原文

ICML 2024 | 大語言模型預訓練新前沿:「最佳適配打包」重塑文檔處理標準

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術...
閱讀原文

思維鏈不存在了?紐約大學最新研究:推理步驟可「省略」

新智元報道編輯:alan 【新智元導讀】思維鏈技術,可能要被推翻了!來自紐約大學的最新研究表明:大模型并沒有利用思維鏈的推理能力,它只是偷偷加了計算!紅...
閱讀原文

AlphaFold 3輕松應對核酸、脂類分子?科學家迫不及待地更新了評測

將 ScienceAI設為星標 第一時間掌握 新鮮的 AI for Science 資訊編輯 | 蘿卜皮 「如果這可以重現的話,這就是我們所知的世界末日!功能建模的新時代已經開始...
閱讀原文

3倍生成速度還降內存成本,超越Medusa2的高效解碼框架終于來了

機器之心報道 編輯:亞鸝高效解碼n -token序列,CLLMs+Jacobi解碼框架。?????? 傳統上,大型語言模型(LLMs)被認為是順序解碼器,逐個解碼每個token。 來自...
閱讀原文

拋棄自回歸,連接一致性Diffusion和LLM!UCSD上交新作熱度緊追AF 3

新智元報道編輯:喬楊 好困 【新智元導讀】來自加州大學圣地亞哥分校和上海交通大學的幾位研究者發表了他們關于「一致性大語言模型」的研究成果(Consistency...
閱讀原文

Transformer來了:一篇新的論文轟動網絡,它為什么這么厲害?

點擊上方藍字關注我們在人工智能的世界里,每一次技術的飛躍都讓我們離真正的智能更近一步。最近,LSTM(長短期記憶網絡)的發明者們發布了一篇新論文,介紹...
閱讀原文

30篇論文,就能掌握當今科技90%的知識!ILYA公布神級論文清單(上)

點擊上方藍字關注我們“Ilya Sutskever向John Carmack推薦了一份精選的閱讀清單,內含約30篇尖端的研究論文。這份清單不僅僅是學術文獻的簡單羅列,它被賦予了...
閱讀原文

讓機器準確「看懂」手物交互動作,清華大學等提出GeneOH Diffusion方法

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術...
閱讀原文
1345679,596