標(biāo)簽：內(nèi)存

Agent技術(shù)洞察01：增強(qiáng)大語言模型 Agents 的工作記憶能力

直播預(yù)告 | 6月14日上午10點(diǎn)，「智猩猩AI新青年講座」第239講正式開講，莫納什大學(xué)在讀博士馬鑫將直播講解《DiT架構(gòu)在視頻生成模型中的應(yīng)用與擴(kuò)展》，歡迎掃...
閱讀原文

手機(jī)流暢運(yùn)行470億大模型：上交大發(fā)布LLM手機(jī)推理框架PowerInfer-2，提速29倍

夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI蘋果一出手，在手機(jī)等移動設(shè)備上部署大模型不可避免地成為行業(yè)關(guān)注焦點(diǎn)。 然而，目前在移動設(shè)備上運(yùn)行的模型相對較小...
閱讀原文

這個(gè)團(tuán)隊(duì)做了OpenAI沒Open的技術(shù)，開源OpenRLHF讓對齊大模型超簡單

機(jī)器之心報(bào)道 編輯：Panda隨著大型語言模型（LLM）規(guī)模不斷增大，其性能也在不斷提升。盡管如此，LLM 依然面臨著一個(gè)關(guān)鍵難題：與人類的價(jià)值和意圖對齊。在解...
閱讀原文

斯坦福讓“GPU高速運(yùn)轉(zhuǎn)”的新工具火了，比FlashAttention2更快

西風(fēng) 發(fā)自 凹非寺量子位 | 公眾號 QbitAIAI算力資源越發(fā)緊張的當(dāng)下，斯坦福新研究將GPU運(yùn)行效率再提升一波—— 內(nèi)核只有100行代碼，讓H100比使用FlashAttention...
閱讀原文

4倍內(nèi)存效率，生成和超分雙SOTA！清華&智譜AI發(fā)布最新Inf-DiT模型

直播預(yù)告 | 5月28日10點(diǎn)，「智猩猩AI新青年講座」第236講正式開講，密歇根大學(xué)安娜堡分校在讀博士生張揮杰將直播講解《利用多級框架和多解碼器架構(gòu)提高擴(kuò)散模...
閱讀原文

開創(chuàng)性CVM算法40多年計(jì)數(shù)難題！計(jì)算機(jī)科學(xué)家擲硬幣算出「哈姆雷特」獨(dú)特單詞

新智元報(bào)道編輯：桃子 【新智元導(dǎo)讀】預(yù)估一個(gè)數(shù)組中不重復(fù)數(shù)字的個(gè)數(shù)，最簡便的方法是什么？計(jì)算機(jī)科學(xué)家們提出了一種全新CVM算法，通過利用隨機(jī)性，預(yù)估出...
閱讀原文

告別3D高斯Splatting算法，帶神經(jīng)補(bǔ)償?shù)念l譜剪枝高斯場SUNDAE開源了

AIxiv專欄是機(jī)器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機(jī)器之心AIxiv專欄接收報(bào)道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實(shí)驗(yàn)室，有效促進(jìn)了學(xué)術(shù)...
閱讀原文

只需百行代碼，讓H100提速30%，斯坦福開源全新AI加速框架

機(jī)器之心報(bào)道 機(jī)器之心編輯部提高 GPU 利用率，就是這么簡單。AI 的快速發(fā)展，伴隨而來的是大計(jì)算量。這就自然而然的引出了一個(gè)問題：如何減少 AI 對計(jì)算的需...
閱讀原文

從零開始手搓GPU，照著英偉達(dá)CUDA來，只用兩個(gè)星期

機(jī)器之心報(bào)道 編輯：澤南、小舟從學(xué)習(xí)芯片的基礎(chǔ)知識開始。「我花兩周時(shí)間零經(jīng)驗(yàn)從頭開始構(gòu)建 GPU，這可比想象的要難多了。」總有人說老黃的芯片供不應(yīng)求，大...
閱讀原文

壞了，我的RTX 3090 GPU在對我唱歌！

機(jī)器之心報(bào)道 機(jī)器之心編輯部這你敢信？！ 在一個(gè)昏暗的機(jī)箱里，一臺 RTX 3090 GPU「唱」著經(jīng)典英語兒歌《一閃一閃亮晶晶》（Twinkle,Twinkle,Little Star）...
閱讀原文

原作者帶隊(duì)，LSTM真殺回來了！

機(jī)器之心報(bào)道 編輯：蛋醬LSTM：這次重生，我要奪回 Transformer 拿走的一切。20 世紀(jì) 90 年代，長短時(shí)記憶（LSTM）方法引入了恒定誤差選擇輪盤和門控的核心思...
閱讀原文

僅用250美元，Hugging Face技術(shù)主管手把手教你微調(diào)Llama 3

機(jī)器之心報(bào)道 編輯：趙陽大語言模型的微調(diào)一直是說起來容易做起來難的事兒。近日 Hugging Face 技術(shù)主管 Philipp Schmid 發(fā)表了一篇博客，詳細(xì)講解了如何利用...
閱讀原文

老黃親自上門送超算！OpenAI奧特曼簽收后到斯坦福演講GPT-5

夢晨 發(fā)自 凹非寺量子位 | 公眾號 QbitAI皮衣老黃親自上門送貨！OpenAI收到世界上第一臺DGX H200超算。???????? 致推進(jìn)人工智能、計(jì)算和人類發(fā)展。 這下呼吁...
閱讀原文

索尼 PS5 Pro 或年底發(fā)布，開發(fā)者已收到適配通知

PS5 PRO 即將發(fā)布? 距離索尼發(fā)布 PS5 已經(jīng)過去三年多了，其全球銷量也已經(jīng)達(dá)到了驚人的四千多萬臺。 現(xiàn)在，它的升級款有新消息了。有爆料稱今年 11 月份，會...
閱讀原文

直接擴(kuò)展到無限長，谷歌Infini-Transformer終結(jié)上下文長度之爭

機(jī)器之心報(bào)道 編輯：小舟、陳萍不知 Gemini 1.5 Pro 是否用到了這項(xiàng)技術(shù)。 谷歌又放大招了，發(fā)布下一代 Transformer 模型 Infini-Transformer。 Infini-Trans...
閱讀原文