標簽：精度

大模型時代最火AI芯片峰會來啦！！9月6-7日，由智猩猩聯合主辦的2024全球AI芯片峰會將在北京舉行。峰會設有數據中心AI芯片、智算集群技術論壇等7大板塊。目前...

大模型時代最火AI芯片峰會來啦！！9月6-7日，由智猩猩聯合主辦的2024全球AI芯片峰會將在北京舉行。峰會設有數據中心AI芯片、智算集群技術論壇等7大板塊。目前...

新智元報道編輯：LRST 好困 【新智元導讀】T-MAC是一種創新的基于查找表（LUT）的方法，專為在CPU上高效執行低比特大型語言模型（LLMs）推理而設計，無需權重...

微軟亞洲研究院 投稿量子位 | 公眾號 QbitAI有CPU就能跑大模型，性能甚至超過NPU/GPU！ 沒錯，為了優化模型端側部署，微軟亞洲研究院提出了一種新技術——T-MAC...

模型工具鏈團隊 投稿量子位 | 公眾號 QbitAI單卡搞定Llama 3.1（405B），最新大模型壓縮工具來了！ 最近Llama-3.1登上開源頂峰，但其最強的405B版本模型900多...

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...

夕小瑤科技說 原創作者 | 谷雨龍澤隨著AI的高速發展，從去年開始，掛在服務器的云端AI模型已經不能滿足技術發燒友的胃口了，AI PC應運而生。 AI PC就是內嵌個...

機器之心報道 編輯：陳陳、小舟740 TFLOPS！迄今最強 FlashAttention 來了。隨著大型語言模型（LLM）加速落地，擴展模型上下文窗口變得越來越重要。然而，Tra...

明敏 克雷西 發自 凹非寺量子位 | 公眾號 QbitAI大模型訓練推理神作，又更新了！ 主流大模型都在用的FlashAttention，剛剛升級第三代。 時隔一年，FlashAtten...

新智元報道編輯：LRST 好困 【新智元導讀】拯救4bit擴散模型精度，僅需時間特征維護——以超低精度量化技術重塑圖像內容生成！近日，北航、莫納什、UT Austin聯...

夕小瑤科技說 原創作者 | 任同學大語言模型在多個領域大放異彩，但它們的高內存和計算成本限制了廣泛使用。神經架構搜索（NAS）能自動找到最優模型架構，減少...

西風 發自 凹非寺量子位 | 公眾號 QbitAI清華類腦計算研究中心施路平團隊新成果，登上最新一期Nature封面。 團隊研發出世界首款類腦互補視覺芯片——“天眸芯”。...

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術...

夢晨 明敏 發自 凹非寺量子位 | 公眾號 QbitAIAlphaFold 3再登Nature！ 這次重磅升級，不再僅限于蛋白質結構預測——可以以前所未有的精度預測所有生命分子的結...

克雷西 發自 凹非寺量子位 | 公眾號 QbitAIFP8和更低的浮點數量化精度，不再是H100的“專利”了！ 老黃想讓大家用INT8/INT4，微軟DeepSpeed團隊在沒有英偉達官...