大模型終端部署新趨勢：硬件直接支持混合矩陣乘法

AIGC動態歡迎閱讀

原標題：大模型終端部署新趨勢：硬件直接支持混合矩陣乘法
關鍵字：模型,乘法,精度,硬件,數據類型
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com在人工智能領域，模型參數的增多往往意味著性能的提升。但隨著模型規模的擴大，其對終端設備的算力與內存需求也日益增加。低比特量化技術，由于可以大幅降低存儲和計算成本并提升推理效率，已成為實現大模型在資源受限設備上高效運行的關鍵技術之一。然而，如果硬件設備不支持低比特量化后的數據模式，那么低比特量化的優勢將無法發揮。
為了解決這一問題，微軟亞洲研究院推出了全新的數據編譯器 Ladder 和算法 T-MAC，使當前只支持對稱精度計算的硬件能夠直接運行混合精度矩陣乘法。測試結果表明，Ladder 在支持 GPU 原本不支持的自定義數據類型方面，最高提速可達 14.6 倍；T-MAC 在搭載了最新高通 Snapdragon X Elite 芯片組的 Surface AI

原文鏈接：大模型終端部署新趨勢：硬件直接支持混合矩陣乘法

聯系作者

文章來源：機器之心
作者微信：
作者簡介：