標(biāo)簽:架構(gòu)

黑匣子被打開了!能玩的Transformer可視化解釋工具,本地運(yùn)行GPT-2、還可實(shí)時推理

機(jī)器之心報道 編輯:杜偉、大盤雞都 2024 年,還有人不了解 Transformer 工作原理嗎?快來試一試這個交互式工具吧。2017 年,谷歌在論文《Attention is all y...
閱讀原文

2.5天完成1年的MD計算?DeepMind團(tuán)隊(duì)基于歐幾里得Transformer的新計算方法

將 ScienceAI設(shè)為星標(biāo) 第一時間掌握 新鮮的 AI for Science 資訊編輯 | 蘿卜皮 近年來,基于從頭算參考計算的機(jī)器學(xué)習(xí)力場 (MLFF) 的開發(fā)取得了巨大進(jìn)展。雖...
閱讀原文

10.98 萬元的吉利銀河 E5,就是一輛「小極氪」

在剛剛過去的周末里,吉利搞了個大新聞:吉利銀河 E5 上市,10.98 萬元起。 要注意的是,這是算上了限時優(yōu)惠的價格,只有在 10 月 1 日前下定的用戶,才能獲...
閱讀原文

鋒行致遠(yuǎn)孫唐:存算大模型加速系統(tǒng)

生成式AI時代,大模型及AIGC的快速發(fā)展推動著計算需求的高速增長。 從服務(wù)器到邊緣,再到AI手機(jī)、AI PC、AIoT、智能汽車,各個領(lǐng)域的AI芯片玩家都面臨著新的...
閱讀原文

阿里「軌跡可控版Sora」,告別「抽卡」,讓視頻生成更符合物理規(guī)律

機(jī)器之心報道 編輯:陳陳、杜偉你規(guī)定路線,Tora 來生成相應(yīng)軌跡的視頻。目前,擴(kuò)散模型能夠生成多樣化且高質(zhì)量的圖像或視頻。此前,視頻擴(kuò)散模型采用 U-Net ...
閱讀原文

DeepMind研究成本大起底,一篇ICML論文燒掉1290萬美元

新智元報道編輯:喬楊 【新智元導(dǎo)讀】DeepMind最近被ICML 2024接收的一篇論文,完完全全暴露了他們背靠谷歌的「豪橫」。一篇文章預(yù)估了這項(xiàng)研究所需的算力和...
閱讀原文

合合信息研發(fā)總監(jiān)常揚(yáng):大模型RAG技術(shù)架構(gòu)與應(yīng)用實(shí)踐 | 公開課預(yù)告

隨著大語言模型的興起,其在處理自然語言任務(wù)上展現(xiàn)出了強(qiáng)大的能力,但也逐漸暴露出一些問題。大語言模型雖然能夠生成連貫且富有邏輯的文本,但在某些情況下...
閱讀原文

英偉達(dá),又在領(lǐng)跑?

大數(shù)據(jù)文摘受權(quán)轉(zhuǎn)載自頭部科技 文丨俊俊 英偉達(dá)(Nvidia)的一舉一動,都吸引著大家的目光。 近日, SIGGRAPH 2024 上,英偉達(dá)公布了一系列軟件更新,主要涉...
閱讀原文

Llama 4訓(xùn)練已開啟!Meta科學(xué)家最新采訪,揭秘Llama 3.1是如何煉成的

新智元報道編輯:喬楊 【新智元導(dǎo)讀】最近,Latent Space發(fā)布的播客節(jié)目中請來了Meta的AI科學(xué)家Thomas Scialom。他在節(jié)目中揭秘了Llama 3.1的一些研發(fā)思路,...
閱讀原文

視頻生成產(chǎn)品 PixVerse 版本大更新!支持一鍵生成5段、最長 40S 連續(xù)視頻

今年6 月份起,視頻生成賽道持續(xù)涌現(xiàn)新的產(chǎn)品,從可靈到 Luma、Runway Gen3,模型能力和產(chǎn)品化效果越來越卷。 7 月 24 日,愛詩科技正式發(fā)布視頻生成產(chǎn)品 Pix...
閱讀原文

挑戰(zhàn)Scaling Law,Meta發(fā)布移動端350M小模型MobileLLM,性能比肩7B LLaMA-v2

新智元報道編輯:喬楊 【新智元導(dǎo)讀】Scaling Law還沒走到盡頭,「小模型」逐漸成為科技巨頭們的追趕趨勢。Meta最近發(fā)布的MobileLLM系列,規(guī)模甚至降低到了1B...
閱讀原文

前谷歌科學(xué)家Yi Tay「LLM演義」系列博客第一彈:BERT為何匿跡江湖?

新智元報道編輯:庸庸 喬楊 【新智元導(dǎo)讀】前谷歌科學(xué)家Yi Tay重磅推出「LLM時代的模型架構(gòu)」系列博客,首篇博文的話題關(guān)于:基于encoder-only架構(gòu)的BERT是如...
閱讀原文

Mamba寫代碼真的超越Transformer!原始論文入選頂流新會議

西風(fēng) 發(fā)自 凹非寺量子位 | 公眾號 QbitAI“歐洲OpenAI”和“Transformer挑戰(zhàn)者”強(qiáng)強(qiáng)聯(lián)合了! Mistral AI剛剛推出了其第一個基于Mamba2架構(gòu)的開源模型——Codestral...
閱讀原文

原作親自下場!Mistral首款開源7B Mamba模型「埃及艷后」效果驚艷

新智元報道編輯:編輯部 【新智元導(dǎo)讀】最近,7B小模型又成為了AI巨頭們競相追趕的潮流。繼谷歌的Gemma2 7B后,Mistral今天又發(fā)布了兩個7B模型,分別是針對ST...
閱讀原文

Mistral AI兩:7B數(shù)學(xué)推理專用、Mamba2架構(gòu)代碼大模型

機(jī)器之心報道 機(jī)器之心編輯部網(wǎng)友很好奇,Mathstral能不能搞定「9.11和9.9誰大」這一問題。昨天,AI圈竟然被「9.11和9.9誰大」這樣簡單的問題攻陷了,包括Ope...
閱讀原文
12345614