在解決了「能或不能」的問題之后，推理成本是大語言模型落地最后最關鍵的挑戰

原標題：英特爾至強6獨享MRDIMM，內存帶寬飆升，加速推理達2.4倍！
文章來源：新智元
內容字數：7605字

英特爾至強6性能核處理器：內存帶寬升級與大模型推理

本文總結了新智元報道中關于英特爾至強6性能核處理器（特別是6980P和6972P型號）的關鍵信息，重點關注其內存帶寬提升對大語言模型推理性能的影響。

1. 架構分析與內核數量

   文章推測至強6性能核處理器的芯片布局更接近5×10，而非之前的預測5×9。每個芯片約有44個內核，通過屏蔽少量內核構成不同的型號，例如128核的6980P。值得注意的是，內存控制器區域比預期大得多，占據6個網格，這引發了關于其額外功能（例如MRDIMM支持）的猜測。

2. NUMA與集群模式

   至強6性能核處理器支持不同的NUMA（非統一內存訪問）模式，包括SNC3 Mode（每個計算單元芯片作為一個SNC）和HEX Mode（訪問所有內存）。SNC3 Mode是默認模式，適合虛擬化、容器化應用和并行計算；HEX Mode則更適合大型數據庫、部分科學計算和CXL內存擴展場景。不同模式的內存訪問時延差異較大，與內核和內存控制器之間的距離相關。

3. MRDIMM：內存帶寬的顯著提升

   至強6性能核處理器獨占性地支持MRDIMM（多路復用數據緩沖器），大幅提升內存帶寬。MRDIMM通過多路復用數據緩沖器（MDB）和改進的寄存時鐘驅動器（MRCD）實現帶寬翻倍。更高的內存容量（例如使用256GB MRDIMM）也進一步增強了其優勢，尤其利好AI訓練和大型數據庫應用。雖然輕量級應用可能無法充分利用MRDIMM的帶寬提升，但對于計算密集型應用（如加密、科學計算、AI訓練和推理）則有顯著益處。

4. 內存帶寬與大模型推理

   文章指出，大語言模型推理對內存帶寬的需求非常高。在測試中，大語言模型推理性能提升超過30%，而傳統推理任務的提升較小。以Llama3 8B模型為例，至強6972P（96核）的推理性能是至強8592+（64核）的2.4倍以上，這主要歸功于內存帶寬的顯著提升（約為2.4倍），而非單純的內核數量增加。在算力非瓶頸的情況下，內存容量和帶寬決定了模型規模上限和token輸出上限。

5. 結語：推理成本的挑戰與解決方案

   至強6性能核處理器結合MRDIMM，在內存帶寬和容量方面取得了顯著進步，這對于大語言模型推理等應用至關重要。在解決了“能或不能”的問題后，推理成本成為大語言模型落地的關鍵挑戰。至強6性能核處理器配MRDIMM的組合，為降低推理成本提供了新的思路，并為科學計算、大型數據庫等傳統重負荷領域帶來了顯著益處。CXL內存擴展技術更能進一步提升性能。

聯系作者

文章來源：新智元
作者微信：
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。