騰訊混元康戰(zhàn)輝:將開源大模型訓(xùn)練代碼,但數(shù)據(jù)開源意義不大
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:騰訊混元康戰(zhàn)輝:將開源大模型訓(xùn)練代碼,但數(shù)據(jù)開源意義不大
關(guān)鍵字:騰訊,模型,企鵝,能力,數(shù)據(jù)
文章來源:AI前線
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
11 月 5 日,騰訊混元宣布最新的 MoE 模型“混元 Large“以及混元 3D 生成大模型“ Hunyuan3D-1.0”正式開源,支持企業(yè)及開發(fā)者精調(diào)、部署等不同場(chǎng)景的使用需求,且免費(fèi)可商用。
其中,騰訊混元 Large 是目前開源領(lǐng)域參數(shù)規(guī)模最大、效果最好的 MoE 模型,而騰訊混元 3D 生成大模型則是業(yè)界首個(gè)同時(shí)支持文字、圖像生成 3D 的開源大模型。目前,兩個(gè)模型均已經(jīng)在騰訊業(yè)務(wù)場(chǎng)景中落地應(yīng)用,經(jīng)過實(shí)踐的檢驗(yàn),是面向?qū)嵱脠?chǎng)景的應(yīng)用級(jí)大模型。“現(xiàn)在開源真的一點(diǎn)不晚”
在騰訊機(jī)器學(xué)習(xí)平臺(tái)總監(jiān)、騰訊混元大語言模型算法負(fù)責(zé)人康戰(zhàn)輝看來,去年大模型如火如荼,開源也是百花齊放,但如今來看,還是各歸各位。“底層模型不是 C 端產(chǎn)品,不存在入口、流量,這個(gè)我們可以沉下心來長期深耕,所以現(xiàn)在開源真的一點(diǎn)不晚。”
騰訊混元這次開源的 Large 模型總參數(shù)量 389B,激活參數(shù)量 52B ,上下文長度高達(dá) 256K。根據(jù)公開測(cè)評(píng)結(jié)果,騰訊混元 Large 在 CMMLU、MMLU、CEval、MATH 等多學(xué)科綜合評(píng)測(cè)集以及中英文 NLP 任務(wù)、代碼和數(shù)學(xué)等 9 大維度全面領(lǐng)先,超過 Ll
原文鏈接:騰訊混元康戰(zhàn)輝:將開源大模型訓(xùn)練代碼,但數(shù)據(jù)開源意義不大
聯(lián)系作者
文章來源:AI前線
作者微信:
作者簡介: