標(biāo)簽：吞吐量

WPS接入DeepSeek，秒變辦公神器！

WPS 大家經(jīng)常用來(lái)日常寫(xiě)作，雖然本身提供了AI功能，但可惜需要會(huì)員，本文教你三分鐘接入最火的DeepSeek，讓W(xué)PS秒變辦公神器。 DeepSeek API申請(qǐng)地址：http:/...
閱讀原文

AI賺錢(qián)副業(yè)~AI生成影視解說(shuō)，半個(gè)月漲粉變現(xiàn)3.5W+！

這兩年大家都在感嘆生活不易，然而我想說(shuō)的是，機(jī)會(huì)還是有的，但問(wèn)題不在于有沒(méi)有，而在于你是否能夠認(rèn)準(zhǔn)機(jī)會(huì)，然后抓住它。 接觸過(guò)很多咨詢項(xiàng)目的人，發(fā)現(xiàn)...

AlphaFold3重磅開(kāi)源，諾獎(jiǎng)級(jí)AI顛覆世界！GitHub斬獲1.8k星，本地即可部署

新智元報(bào)道編輯：靜音 【新智元導(dǎo)讀】六個(gè)月的爭(zhēng)議后，諾獎(jiǎng)級(jí)AI AlphaFold3開(kāi)源了。這個(gè)在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)領(lǐng)域掀起波瀾的AI——期待它的開(kāi)源推動(dòng)更多科學(xué)家的大...
閱讀原文

專家模型不要專家并行！微軟開(kāi)源MoE新路徑

新智元報(bào)道編輯：alan 【新智元導(dǎo)讀】近日，來(lái)自微軟的研究人員開(kāi)源了使用全新方法訓(xùn)練的MoE大模型，不走尋常路，且編碼和數(shù)學(xué)表現(xiàn)出色。繼Phi家族之后，微軟...
閱讀原文

vLLM vs TensorRT-LLM 性能對(duì)比測(cè)試，基于0910較新版本

大會(huì)預(yù)告12月5日-6日，2024中國(guó)生成式AI大會(huì)（上海站）將舉辦。上?？拼笾斫淌?、博導(dǎo)顧家遠(yuǎn)，騰訊優(yōu)圖實(shí)驗(yàn)室天衍研究中心負(fù)責(zé)人吳賢，銀河通用機(jī)器人合伙人...
閱讀原文

北大林宙辰團(tuán)隊(duì)全新混合序列建模架構(gòu)MixCon：性能遠(yuǎn)超Mamba

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過(guò)去數(shù)年，機(jī)器之心AIxiv專欄接收?qǐng)?bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級(jí)實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

三個(gè)程序員奮戰(zhàn)三天重寫(xiě)推理堆棧，Grok-2 mini直接提速兩倍，馬斯克親發(fā)賀電

機(jī)器之心報(bào)道 機(jī)器之心編輯部一直在用 Grok-2 的用戶可能察覺(jué)到，這兩天，它好像變快了：上周，xAI 發(fā)布了 Grok-2 聊天機(jī)器人，并在 X 平臺(tái)上以每月 8 美元的...
閱讀原文

要想賺錢(qián)，AI模型該大該小？賈揚(yáng)清：論AI模型經(jīng)濟(jì)學(xué)的技巧

賣模型就像感恩節(jié)賣火雞，快才能賺錢(qián)。作者丨劉潔 編輯丨岑峰 最近的AI社區(qū)，關(guān)于模型規(guī)模的討論有些活躍。 一方面，此前在大模型開(kāi)發(fā)奉為“圣經(jīng)”的Scaling La...
閱讀原文

賈揚(yáng)清點(diǎn)贊：3K star量的SGLang上新，加速Llama 405B推理秒殺vLLM、TensorRT-LLM

機(jī)器之心報(bào)道 編輯：張倩用來(lái)運(yùn)行 Llama 3 405B 優(yōu)勢(shì)明顯。 最近，Meta 開(kāi)源了最新的 405B 模型（Llama 3.1 405B），把開(kāi)源模型的性能拉到了新高度。由于模型...
閱讀原文

拆分Transformer注意力，韓國(guó)團(tuán)隊(duì)讓大模型解碼提速20倍

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI只要將注意力切塊，就能讓大模型解碼提速20倍。 來(lái)自韓國(guó)科學(xué)技術(shù)研究院、LG和DeepMind的研究人員，提出了一種新的...
閱讀原文

Transformer并非萬(wàn)能：Jamba在效率和吞吐量上大幅超越

點(diǎn)擊上方藍(lán)字關(guān)注我們“AI21 Labs推出Jamba，一種結(jié)合SSM與transformers的新AI模型，旨在提高處理長(zhǎng)上下文的效率。Jamba在特定推理任務(wù)上超越傳統(tǒng)模型，盡管在...
閱讀原文

Mamba架構(gòu)第一次做大！混合Transformer，打敗Transformer

豐色 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI精彩精彩，第一個(gè)把爆火Mamba架構(gòu)真正擴(kuò)展到足夠大的工作來(lái)了。 520億參數(shù)，還是Mamba+Transformer混合架構(gòu)。 它的名...
閱讀原文

Attention isn’t all you need！Mamba混合大模型開(kāi)源：三倍Transformer吞吐量

機(jī)器之心報(bào)道 編輯：小舟Mamba 時(shí)代來(lái)了？ 自 2017 年開(kāi)創(chuàng)性研究論文《Attention is All You Need》問(wèn)世以來(lái)，transformer 架構(gòu)就一直主導(dǎo)著生成式人工智能領(lǐng)...
閱讀原文

Mamba超強(qiáng)進(jìn)化體一舉顛覆Transformer！單張A100跑140K上下文

新智元報(bào)道編輯：編輯部 【新智元導(dǎo)讀】52B的生產(chǎn)級(jí)Mamba大模型來(lái)了！這個(gè)超強(qiáng)變體Jamba剛剛打破世界紀(jì)錄，它能正面硬剛Transformer，256K超長(zhǎng)上下文窗口，吞...
閱讀原文

業(yè)界首次！搭載英偉達(dá)GPU，50倍性能提升！Zilliz發(fā)布Milvus 2.4向量數(shù)據(jù)庫(kù)

在上周在美國(guó)硅谷圣何塞召開(kāi)的NVIDIA GTC大會(huì)上，Zilliz[1] 發(fā)布了 Milvus 2.4 [2]版本。這是一款革命性的向量數(shù)據(jù)庫(kù)系統(tǒng)，它在業(yè)界首次采用了英偉達(dá) GPU 的...
閱讀原文

比GPT-4快18倍，世界最快大模型Groq登場(chǎng)！每秒500 token破紀(jì)錄，自研LPU是英偉達(dá)GPU 10倍

新智元報(bào)道編輯：桃子 好困 【新智元導(dǎo)讀】卷瘋了！世界最快的大模型Groq一夜之間爆火，能夠每秒輸出近500個(gè)token。如此神速的響應(yīng)，背后全憑自研的LPU。一覺(jué)...
閱讀原文