標(biāo)簽：緩存

月之暗面kimi底層推理系統(tǒng)方案揭秘

7月2日晚七點(diǎn)，「NVIDIA 機(jī)器人技術(shù)公開(kāi)課」正式開(kāi)講，NVIDIA解決方案架構(gòu)總監(jiān)舒家明將以《NVIDIA Isaac 加速機(jī)器人3D視覺(jué)感知與機(jī)械臂軌跡規(guī)劃》為主題進(jìn)行...
閱讀原文

最火AI角色扮演流量已達(dá)谷歌搜索20%！每秒處理2萬(wàn)推理請(qǐng)求，Transformer作者公開(kāi)優(yōu)化秘訣

夢(mèng)晨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI什么AI應(yīng)用每秒處理20000個(gè)AI推理請(qǐng)求，達(dá)到2024年谷歌搜索流量的1/5？ 答案是獨(dú)角獸Character.ai，由Transformer作...
閱讀原文

2.5%KV緩存保持大模型90%性能，大模型金字塔式信息匯聚模式探秘｜開(kāi)源

蔡澤凡 投稿量子位 | 公眾號(hào) QbitAI用KV緩存加速大模型的顯存瓶頸，終于迎來(lái)突破。 北大、威斯康辛-麥迪遜、微軟等聯(lián)合團(tuán)隊(duì)提出了全新的緩存分配方案，只用2....
閱讀原文

Transformer本可以深謀遠(yuǎn)慮，但就是不做

機(jī)器之心報(bào)道 機(jī)器之心編輯部語(yǔ)言模型是否會(huì)規(guī)劃未來(lái) token？這篇論文給你答案。 「別讓 Yann LeCun 看見(jiàn)了。」Yann LeCun 表示太遲了，他已經(jīng)看到了。今天要...
閱讀原文

關(guān)于 RAG、AI Agent、多模態(tài)，我們的理解與探索

嘉賓 | 王元編輯 | 李忠良引言：在這個(gè)快速發(fā)展的數(shù)字時(shí)代，生成式 AI 不僅僅是一個(gè)概念，而是正在被塑造成為未來(lái)技術(shù)生態(tài)系統(tǒng)的核心。隨著 LLM 的崛起，我們...
閱讀原文

加速知識(shí)檢索：伯克利&DeepMind聯(lián)合研究，RaLMSpec讓語(yǔ)言模型服務(wù)飛速提升2-7倍！

夕小瑤科技說(shuō) 原創(chuàng)作者 | 智商掉了一地、賣(mài)萌醬近年來(lái)，隨著大型語(yǔ)言模型（LLM）的出現(xiàn)，在多樣化的 NLP 任務(wù)上取得了令人矚目的成果。然而，知識(shí)密集型任務(wù)...
閱讀原文

吞吐量提升5倍，聯(lián)合設(shè)計(jì)后端系統(tǒng)和前端語(yǔ)言的LLM接口來(lái)了

機(jī)器之心報(bào)道 機(jī)器之心編輯部大型語(yǔ)言模型 (LLM) 越來(lái)越多地用于需要多個(gè)鏈?zhǔn)缴烧{(diào)用、高級(jí) prompt 技術(shù)、控制流以及與外部環(huán)境交互的復(fù)雜任務(wù)。然而，用于...
閱讀原文

今日Arxiv最熱NLP大模型論文：清華大學(xué)讓大語(yǔ)言模型自動(dòng)并行自回歸解碼，速度提升高達(dá)4倍！

夕小瑤科技說(shuō) 原創(chuàng)作者 | 賽博馬良 本文內(nèi)容由 賽博馬良「AI論文解讀達(dá)人」 智能體生成，人工整理排版。 「AI論文解讀達(dá)人」 可提供最熱AI論文推薦、論文解讀...
閱讀原文

吞吐量提升近30倍！田淵棟團(tuán)隊(duì)最新論文解決大模型部署難題

新智元報(bào)道編輯：alan【新智元導(dǎo)讀】大語(yǔ)言模型在實(shí)際部署中，存在內(nèi)存和輸入長(zhǎng)度限制的問(wèn)題。最近，田淵棟團(tuán)隊(duì)一舉解決這兩大難題，將推理系統(tǒng)的吞吐量提高...
閱讀原文

不到1000行代碼，PyTorch團(tuán)隊(duì)讓Llama 7B提速10倍

機(jī)器之心報(bào)道編輯：陳萍PyTorch 團(tuán)隊(duì)親自教你如何加速大模型推理。在過(guò)去的一年里，生成式 AI 發(fā)展迅猛，在這當(dāng)中，文本生成一直是一個(gè)特別受歡迎的領(lǐng)域，很...
閱讀原文

OpenAI大佬甩出「喵喵GPT」黑客！分享ChatGPT成功的秘密：極限壓榨GPU資源

新智元報(bào)道編輯：潤(rùn)【新智元導(dǎo)讀】OpenAI的工程團(tuán)隊(duì)經(jīng)理（Engineering Manager）Evan Morikawa在一個(gè)開(kāi)發(fā)者活動(dòng)中分享了如何帶領(lǐng)OpenAI的工程團(tuán)隊(duì)來(lái)應(yīng)對(duì)ChatG...
閱讀原文

GPT-4變笨加劇，被曝緩存歷史回復(fù)：一個(gè)笑話(huà)講八百遍，讓換新的也不聽(tīng)

豐色 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI有網(wǎng)友找到了GPT-4變“笨”的又一證據(jù)。他質(zhì)疑：OpenAI會(huì)緩存歷史回復(fù)，讓GPT-4直接復(fù)述以前生成過(guò)的答案。最明顯的例...
閱讀原文

LLM吞吐量提高2-4倍，模型越大效果越好！UC伯克利、斯坦福等開(kāi)源高效內(nèi)存管理機(jī)制PagedAttention

新智元報(bào)道編輯：LRS【新智元導(dǎo)讀】吞吐量上不去有可能是內(nèi)存背鍋！無(wú)需修改模型架構(gòu)，減少內(nèi)存浪費(fèi)就能提高吞吐量！?雖然大型語(yǔ)言模型（LLM）的性能表現(xiàn)足夠...
閱讀原文

6.7k Star量的vLLM出論文了，讓每個(gè)人都能輕松快速低成本地部署LLM服務(wù)

機(jī)器之心專(zhuān)欄編輯：Panda利用操作系統(tǒng)的虛擬內(nèi)存管理方法來(lái)提升LLM推理吞吐量。今年六月，來(lái)自加州大學(xué)伯克利分校等機(jī)構(gòu)的一個(gè)研究團(tuán)隊(duì)開(kāi)源了（目前已有 6700...
閱讀原文

RTX 5090最新爆料：架構(gòu)大改，性能提升70%

機(jī)器之心報(bào)道編輯：小舟關(guān)于英偉達(dá)下一代旗艦 GPU RTX5090，人們一直抱有期待和猜測(cè)。早在 2021 年，知名爆料者 kopite7kimi 就稱(chēng)英偉達(dá)將推出代號(hào)為「Blackw...
閱讀原文