性能對標Llama 3，算力消耗僅1/19！源2.0-M32大幅提升模算效率

AIGC動態(tài)歡迎閱讀

原標題：性能對標Llama 3，算力消耗僅1/19！源2.0-M32大幅提升模算效率
關鍵字：模型,浪潮,企業(yè),信息,專家
文章來源：智東西
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

模更強，算更優(yōu)！集成32個專家、模算效率大幅提升，浪潮信息讓大模型應用火力全開。
作者|程茜
編輯|漠影
智東西5月28日報道，今天，浪潮信息發(fā)布基于MoE的源2.0-M32開源大模型，全面開源且支持免費可商用，全系列模型參數(shù)和代碼均可免費下載使用。源2.0-M32采用基于注意力機制的門控網(wǎng)絡技術，包含32個專家模塊，參數(shù)量為400億，模型運行時激活參數(shù)為37億。同時，該模型在模型性能全面對標700億參數(shù)規(guī)模Llama 3的同時，訓練、微調、推理過程中的算力開銷顯著低于業(yè)界的頭部開源模型Llama3-70B，源2.0-M32單Token下訓練和推理所需的算力資源僅為Llama3-70B的1/19。
在模型推理運行階段，源2.0-M32處理每Token所需算力為7.4GFLOPs，Llama3-70B所需算力為140GFLOPs。
在模型微調訓練階段，對1萬條平均長度為1024 Token的樣本進行全量微調，M32消耗算力為0.0026PD（PetaFLOPs/s-day），Llama3-70B為0.05PD。
可以看出，源2.0-M32正在提升模型性能與降低算力消耗上齊頭并進，成為浪潮

原文鏈接：性能對標Llama 3，算力消耗僅1/19！源2.0-M32大幅提升模算效率

聯(lián)系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報道人工智能主導的前沿技術發(fā)展，和技術應用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革，服務產(chǎn)業(yè)升級。