AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：CPU反超NPU，llama.cpp生成速度翻5倍！LLM端側(cè)部署新范式T-MAC開源
關(guān)鍵字：權(quán)重,模型,范式,矩陣,精度
文章來源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：LRST 好困
【新智元導(dǎo)讀】T-MAC是一種創(chuàng)新的基于查找表（LUT）的方法，專為在CPU上高效執(zhí)行低比特大型語言模型（LLMs）推理而設(shè)計(jì)，無需權(quán)重反量化，支持混合精度矩陣乘法（mpGEMM），顯著降低了推理開銷并提升了計(jì)算速度。?
為增強(qiáng)設(shè)備上的智能性，在邊緣設(shè)備部署大型語言模型（LLMs）成為了一個(gè)趨勢，比如微軟的Windows 11 AI + PC。
目前部署的大語言模型多會(huì)量化到低比特。然而，低比特LLMs在推理過程中需要進(jìn)行低精度權(quán)重和高精度激活向量的混合精度矩陣乘法（mpGEMM）?，F(xiàn)有的系統(tǒng)由于硬件缺乏對mpGEMM的原生支持，不得不將權(quán)重反量化以進(jìn)行高精度計(jì)算。這種間接的方式導(dǎo)致了顯著的推理開銷，并且無法隨著比特?cái)?shù)進(jìn)一步降低而獲得加速。
為此，微軟亞洲研究院、中國科學(xué)技術(shù)大學(xué)、中國科學(xué)院大學(xué)的研究人員聯(lián)合開發(fā)了T-MAC。T-MAC采用基于查找表（LUT）的計(jì)算范式，無需反量化，直接支持混合精度矩陣乘，其高效的推理性能以及其統(tǒng)一且可擴(kuò)展的特性為在資源受限的邊緣設(shè)備上實(shí)際部署低比特LLMs鋪平了道路。代碼：https://github.com/mic

原文鏈接：CPU反超NPU，llama.cpp生成速度翻5倍！LLM端側(cè)部署新范式T-MAC開源

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：