32專家MoE大模型免費商用！性能全面對標Llama3，單token推理消耗僅5.28%

AIGC動態歡迎閱讀

原標題：32專家MoE大模型免費商用！性能全面對標Llama3，單token推理消耗僅5.28%
關鍵字：模型,專家,浪潮,數據,信息
文章來源：量子位
內容字數：0字

內容摘要：

克雷西 發自 凹非寺量子位 | 公眾號 QbitAI每個token只需要5.28%的算力，精度就能全面對標Llama 3。
開源大模型，再添一位重量級選手——
來自浪潮信息的32專家MoE模型，源2.0-M32。
不僅擁有極高的回報投入比，而且全面開放，訓練代碼和模型權重都可任意下載，商業使用也免費、無需授權。
那么，這到底是怎樣的一款模型？
1/19算力消耗，性能對標Llama 3首先了解一下模型的基本信息，源2.0-M32模型采用MoE架構，專家數量為32，總參數量40B，激活專家數為2，激活參數量3.7B。
精度上，源2.0-M32在多個測評數據集上全面對標Llama3（70B，以下同），在MATH（數學競賽）和ARC-C（科學推理）榜單還上超越了Llama3。
舉個例子，在求解一道中文數學題目時，源2.0-M32能夠用中文進行完整、準確作答，而Llama3雖然能理解中文題目，但回答時還是用了英文。
而且看一下Llama3的答案，雖然前面的過程也沒什么問題，但最終得到的結果錯得離譜，硬生生把一堆整數的和算出了小數點。
在實現與業界領先開源大模型性能相當的同時，在模型的訓練、推理和

原文鏈接：32專家MoE大模型免費商用！性能全面對標Llama3，單token推理消耗僅5.28%

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破