想跑千億大模型？算力廠商放大招！CPU通用服務器成為新選擇

AIGC動態歡迎閱讀

原標題：想跑千億大模型？算力廠商放大招！CPU通用服務器成為新選擇
關鍵字：模型,內存,服務器,參數,浪潮
文章來源：量子位
內容字數：0字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI千億參數規模的大模型推理，服務器僅用4顆CPU就能實現！
在一臺CPU通用服務器上，浪潮信息成功跑通了102B大模型推理。
如果推廣開來，沒有專用芯片的傳統行業，不必更換硬件，也能用上AI了。
△浪潮信息通用服務器NF8260G7服務器成功運行千億參數大模型這套方案以極低的延時，近乎實時地進行推理運算。
如此之大的模型，只靠CPU運行，究竟是怎么實現的？
4顆CPU帶動千億大模型？用CPU在單臺通用服務器設備中運行大模型推理，特別是千億參數的龐然大物，困難是可想而知的。
要想高效運行千億參數大模型，計算、內存、通信等硬件資源的需求量都非常巨大。
內存方面，千億參數大約需要200~300GB的顯存空間才放得下。
除了內存資源，千億參數大模型在運行過程中，對數據計算、計算單元之間及計算單元與內存之間通信的帶寬要求也非常高。
按照BF16的精度計算，要想使千億參數大模型的運行時延小于100ms，內存與計算單元之間的通信帶寬至少要在每秒2TB以上。
就算解決了這些硬件需求，軟件的優化適配同樣是一個難題。
由于涉及到大量的并行運算，現有的大模型

原文鏈接：想跑千億大模型？算力廠商放大招！CPU通用服務器成為新選擇

聯系作者

文章來源：量子位
作者微信：
作者簡介：