單個4090可推理，2000億稀疏大模型「天工MoE」開源

AIGC動態歡迎閱讀

原標題：單個4090可推理，2000億稀疏大模型「天工MoE」開源
關鍵字：報告,模型,切分,參數,天工
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心發布
機器之心編輯部在大模型浪潮中，訓練和部署最先進的密集 LLM 在計算需求和相關成本上帶來了巨大挑戰，尤其是在數百億或數千億參數的規模上。為了應對這些挑戰，稀疏模型，如專家混合模型（MoE），已經變得越來越重要。這些模型通過將計算分配給各種專門的子模型或「專家」，提供了一種經濟上更可行的替代方案，有可能以極低的資源需求達到甚至超過密集型模型的性能。
6 月 3 日，開源大模型領域又傳來重要消息：昆侖萬維宣布開源 2 千億稀疏大模型 Skywork-MoE，在保持性能強勁的同時，大幅降低了推理成本。
Skywork-MoE 基于此前昆侖萬維開源的 Skywork-13B 模型中間 checkpoint 擴展而來，是首個完整將 MoE Upcycling 技術應用并落地的開源千億 MoE 大模型，也是首個支持用單臺 4090 服務器推理的開源千億 MoE 大模型。
讓大模型社區更為關注的是，Skywork-MoE 的模型權重、技術報告完全開源，免費商用，無需申請。
模型權重下載地址：
? https://huggingface.co/Skywork/Skywork-MoE-ba

原文鏈接：單個4090可推理，2000億稀疏大模型「天工MoE」開源

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺