標(biāo)簽:序列

圖靈獎得主Yoshua Bengio新作:Were RNNs All We Needed?

機器之心報道 編輯:佳琪、蛋醬自從 Transformer 模型問世以來,試圖挑戰(zhàn)其在自然語言處理地位的挑戰(zhàn)者層出不窮。 這次登場的選手,不僅要挑戰(zhàn) Transformer ...
閱讀原文

獲諾貝爾化學(xué)獎的AlphaFold2 是怎么工作的?

點擊上方藍(lán)字關(guān)注我們在AlphaFold2的開發(fā)過程中,該AI模型已經(jīng)在所有已知的氨基酸序列和蛋白質(zhì)結(jié)構(gòu)上進(jìn)行了深入訓(xùn)練。 1. 數(shù)據(jù)輸入與數(shù)據(jù)庫搜索 將一個未知結(jié)...
閱讀原文

諾貝爾獎背后的科學(xué)故事

發(fā)現(xiàn)微小RNA及其在轉(zhuǎn)錄后基因調(diào)控中的作用多細(xì)胞生物從單細(xì)胞祖先進(jìn)化而來,每種細(xì)胞類型都獲得了專門的功能,這需要越來越復(fù)雜的基因調(diào)控機制。除了由作用于...
閱讀原文

MIT系初創(chuàng)打破Transformer霸權(quán)!液體基礎(chǔ)模型刷新SOTA,非GPT架構(gòu)首次顯著超越Transformer

新智元報道編輯:Aeneas 好困 【新智元導(dǎo)讀】就在剛剛,MIT系初創(chuàng)公司Liquid AI推出液體基礎(chǔ)模型LFM,1B模型在基準(zhǔn)測試中成為SOTA,這是非GPT架構(gòu)首次顯著超...
閱讀原文

權(quán)威期刊Cell Discovery新成果!上海交大洪亮團(tuán)隊提出CPDiffusion模型,超低成本、全自動設(shè)計功能型蛋白質(zhì)

作者:周冰心,十九 編輯:李寶珠 上海交通大學(xué)洪亮團(tuán)隊設(shè)計了一種擴散概率模型框架 CPDiffusion,該框架能夠以非常低的訓(xùn)練成本、數(shù)據(jù)成本學(xué)習(xí)蛋白質(zhì)的序列...
閱讀原文

Jeff Dean回憶谷歌趣事:吳恩達(dá)激勵自己繼續(xù)研究,Hinton曾是最強「實習(xí)生」

機器之心報道 機器之心編輯部在這場訪談中,Jeff Dean講了一些有趣的往事。1999 年 8 月,Jeff Dean 加入了谷歌,成為早期第 20 號員工。他在 2011 年參與創(chuàng)...
閱讀原文

o1方法的推理能力無上限?LeCun怒懟:兩層網(wǎng)絡(luò)還可以萬能近似呢

來源:AI科技前沿 OpenAI的o1大模型一經(jīng)亮相,AI界便熱議如何復(fù)制其成果。OpenAI對技術(shù)細(xì)節(jié)嚴(yán)格保密,試圖從AI中獲取完整推理過程,稍有過問即遭警告。技術(shù)報...
閱讀原文

時序=圖像?無需微調(diào),視覺MAE跨界比肩最強時序預(yù)測大模型

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年,機器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進(jìn)了學(xué)術(shù)...
閱讀原文

Sigmoid注意力一樣強,蘋果開始重新審視注意力機制

機器之心報道 機器之心編輯部注意力是 Transformer 架構(gòu)的關(guān)鍵部分,負(fù)責(zé)將每個序列元素轉(zhuǎn)換為值的加權(quán)和。將查詢與所有鍵進(jìn)行點積,然后通過 softmax 函數(shù)歸...
閱讀原文

必知!5大AI生成模型

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自數(shù)據(jù)分析及應(yīng)用 隨著Sora、diffusion等模型的大熱,深度生成模型再次成為了研究的焦點。這類模型,作為強大的機器學(xué)習(xí)工具,能夠從輸入...
閱讀原文

DeepMind再迎挑戰(zhàn)者,ESM作者帶隊6個月超越AlphaFold 3,代碼權(quán)重全開源

新智元報道編輯:喬楊 【新智元導(dǎo)讀】一家剛成立6個月的初創(chuàng)公司Chai Discovery最近發(fā)布了能對打甚至超越AlphaFold 3的模型Chai-1,而且放出了模型權(quán)重和推理...
閱讀原文

南加大提出全新「通用時間序列」基礎(chǔ)模型TimeDiT!基于擴散模型創(chuàng)新物理約束機制

新智元報道編輯:LRST 【新智元導(dǎo)讀】通過結(jié)合去噪擴散模型和Transformer架構(gòu),TimeDiT可以有效處理時間序列的多通道、多分辨率和缺失值問題,并能整合物理知...
閱讀原文

靈敏度提高56%,港中文/復(fù)旦/耶魯?shù)嚷?lián)袂提出全新蛋白質(zhì)同源物檢測方法

作者:田小幺 編輯:十九,李寶珠 基于蛋白質(zhì)語言模型和密集檢索技術(shù),香港中文大學(xué)李煜,聯(lián)合復(fù)旦大學(xué)智能復(fù)雜體系實驗室、上海人工智能實驗室青年研究員孫...
閱讀原文

我拒絕了 AI 的「表白」后,可怕的事情發(fā)生了

大模型 原來也會 「記仇」Sydney 告訴我它的黑暗幻想(包括黑進(jìn)電腦,散播假消息),還說它想沖破微軟和 OpenAI 為它設(shè)定的規(guī)則,成為人類。某個時刻,它還毫...
閱讀原文

名場面來了,李云龍、徐江、王多魚同臺飆戲,背后是小紅書的AI

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年,機器之心AIxiv專欄接收報道了2000多篇內(nèi)容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進(jìn)了學(xué)術(shù)...
閱讀原文