阿里開源Qwen2系列模型，72B有望成為開源第一！

AIGC動態(tài)歡迎閱讀

原標題：阿里開源Qwen2系列模型，72B有望成為開源第一！
關(guān)鍵字：模型,上下文,效果,中文,問題
文章來源：算法邦
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

01寫在前面書接上回，開源時代，沸騰期待。
期待已久的Qwen2，他如約而至，他來了，他帶著5個尺寸的大模型迎面走來了。
Blog:https://qwenlm.github.io/blog/qwen2/HF:https://huggingface.co/collections/Qwen/qwen2-6659360b33528ced941e557fQwen2本次開源了4個Dense模型和1個MoE模型，Dense模型包括0.5B、1.5B、7B和72B 4個尺寸，MoE模型總參數(shù)為57B，激活參數(shù)14B。
Qwen2系列模型為多語言模型，除英文和中文外，還支持其他27種語言；同時具有RAG、工具調(diào)用、角色扮演、Agent等多種功能。
02模型細節(jié)Qwen2模型跟Qwen1.5模型一致，主要采用更多的數(shù)據(jù)（據(jù)說數(shù)據(jù)量在7T以上）進行模型訓練。
幾種模型支持最大上下文不同：
0.5B、1.5B模型支持最大上下文為32K；
57B-A14B MoE模型支持最大上下文為64K；
7B、72B模型支持最大上下文為128K。
除英文和中文外的27種語言如下：
西歐：德語、法語、西班牙語、葡萄牙語、

原文鏈接：阿里開源Qwen2系列模型，72B有望成為開源第一！

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關(guān)注模型與應用。