標簽:內存

圖解當紅推理框架vLLM的核心技術PagedAttention

生成式AI時代最火AI芯片峰會下月來襲!9月6-7日,智猩猩發起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設有開幕式、數據中心AI芯片專場、邊緣/端側AI芯...
閱讀原文

357元!樹莓派5推出2GB版本:比4GB版便宜16%,除內存外幾乎無減配

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI50美元(約357人民幣),更便宜的樹莓派5它來了! 剛剛,樹莓派宣布Raspberry Pi 5正式上線2GB版本,而且是現貨發...
閱讀原文

從電梯故障到編程新寵,Rust為何連續七年稱霸「最受推崇語言」

新智元報道編輯:喬楊 【新智元導讀】幾十年來,程序員一直用C和C++編寫關鍵系統,現在Rust正逐漸成為這類任務的首選。在StackOverflow每年發布的開發者調查...
閱讀原文

Mamba再次挑戰霸主Transformer!首個通用Mamba開源大模型一鳴驚人

新智元報道編輯:編輯部 【新智元導讀】TII開源全球第一個通用的大型Mamba架構模型Falcon Mamba 7B,性能與Transformer架構模型相媲美,在多個基準測試上的均...
閱讀原文

類腦計算有望徹底改變計算領域,甚至超越人腦,豐田合作綜述類腦計算的興起

將 ScienceAI設為星標 第一時間掌握 新鮮的 AI for Science 資訊編輯 |KX 最近,微軟系統故障導致全球大范圍宕機。計算已經成為我們生活中不可或缺的一部分。...
閱讀原文

想跑千億大模型?算力廠商放大招!CPU通用服務器成為新選擇

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI千億參數規模的大模型推理,服務器僅用4顆CPU就能實現! 在一臺CPU通用服務器上,浪潮信息成功跑通了102B大模型推...
閱讀原文

GPU訓Llama 3.1瘋狂崩潰,竟有大廠用CPU服務器跑千億參數大模型?

新智元報道編輯:編輯部 【新智元導讀】是時候用CPU通用服務器跑千億參數大模型了!馬斯克19天建成由10萬塊H100串聯的世界最大超算,已全力投入Grok 3的訓練...
閱讀原文

顛覆傳統架構!華人科學家 20 年心血:AI 能效提高 1000 倍,未來需求井噴!

整理 | Tina、褚杏娟 近日,明尼蘇達大學科學與工程學院的一組研究人員展示了一種數據永遠不會離開內存的新模型,稱為計算隨機存取存儲器(CRAM)。與目前的...
閱讀原文

30B!每秒100tokens!這是AMD對AI PC的“幻想時間”

夕小瑤科技說 原創作者 | 谷雨龍澤隨著AI的高速發展,從去年開始,掛在服務器的云端AI模型已經不能滿足技術發燒友的胃口了,AI PC應運而生。 AI PC就是內嵌個...
閱讀原文

五年后的今天,訓練GPT-2只需不到700刀、24小時,Karpathy又整新活

機器之心報道 編輯:杜偉、澤南論老黃賣鏟子的技術含量。2019 年 2 月,OpenAI 發布了 GPT-2,因為在文本生成上的優異表現,以及對于預訓練 Transformer 架構...
閱讀原文

H100利用率飆升至75%!英偉達親自下場FlashAttention三代升級,比標準注意力快16倍

明敏 克雷西 發自 凹非寺量子位 | 公眾號 QbitAI大模型訓練推理神作,又更新了! 主流大模型都在用的FlashAttention,剛剛升級第三代。 時隔一年,FlashAtten...
閱讀原文

Adam有了mini版:內存占用少一半,吞吐量提升50%

機器之心報道 編輯:panda在訓練大型語言模型(LLM)時,Adam(W) 基本上已經成為了人們默認使用的優化器。 Adam 盡管性能優異,但使用成本很高。具體來說,Ad...
閱讀原文

ICML 2024高分論文 | 零階優化器微調大模型,大幅降低內存

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業的頂級實驗室,有效促進了學術...
閱讀原文

甲骨文首次將LLMs引入數據庫,集成Llama 3和Mistral,和數據庫高效對話

夕小瑤科技說 原創作者 | 21# 信息時代,數據為王。數據庫作為數據存儲&管理的一種方式,正在以勢不可擋的趨勢與AI結合。 前有OpenAI 收購了數據庫初創公...
閱讀原文

蘋果 Xcode 新功能不支持部分入門款 Mac,8GB 內存真不夠用了?

8GB 內存 終究不夠用就在前不久,WWDC 2024 正式謝幕。作為「全球開發者大會」,這場發布會的核心群體當然是全球的開發者們。 除了一系列新系統外,蘋果還推...
閱讀原文