國內首個開源千億參數MoE大模型來了！性能超Grok-1，單張GPU可跑

AIGC動態歡迎閱讀

原標題：國內首個開源千億參數MoE大模型來了！性能超Grok-1，單張GPU可跑
關鍵字：騰訊,模型,參數,智能,專家
文章來源：智東西
內容字數：4516字

內容摘要：

APUS-xDAN-4.0（MoE）參數規模1360億，可在消費級顯卡4090上運行。
作者|程茜
編輯|心緣
智東西4月2日報道，今天，全球移動互聯網公司APUS與大模型創企新旦智能宣布，聯手開源國內首個千億參數的MoE（混合專家模型）APUS-xDAN大模型4.0，這也是國內首個可以在消費級顯卡上運行的千億MoE中英文大模型。
APUS-xDAN-4.0（MoE）參數規模為1360億，可在消費級顯卡4090上運行，據APUS實測，其綜合性能超過GPT-3.5，達到GPT-4的90%。
數學能力上，測評基準GSM8K的測評得分為79，理解能力MMLU達到73分。
項目地址：
https://github.com/shootime2021/APUS-xDAN-4.0-moe?tab=readme-ov-file
推薦智東西年度會議。4月18-19日，2024中國生成式AI大會將在北京舉行。免費報名或購票通道開放中，期待你的參會~01.
數學、推理能力碾壓
推理成本下降400%
APUS-xDAN-4.0（MoE）在GitHub的頁面顯示了基準測評結果，其與Mixtral-8x7B（Mo

原文鏈接：國內首個開源千億參數MoE大模型來了！性能超Grok-1，單張GPU可跑

聯系作者

文章來源：智東西
作者微信：zhidxcom
作者簡介：智能產業新媒體！智東西專注報道人工智能主導的前沿技術發展，和技術應用帶來的千行百業產業升級。聚焦智能變革，服務產業升級。