0門檻免費(fèi)商用！孟子3-13B大模型正式開源，萬億token數(shù)據(jù)訓(xùn)練

AIGC動態(tài)歡迎閱讀

原標(biāo)題：0門檻免費(fèi)商用！孟子3-13B大模型正式開源，萬億token數(shù)據(jù)訓(xùn)練
關(guān)鍵字：模型,峰會,語料,能力,范圍內(nèi)
文章來源：量子位
內(nèi)容字?jǐn)?shù)：4046字

內(nèi)容摘要：

白交 發(fā)自 凹非寺量子位 | 公眾號 QbitAI瀾舟科技官宣：孟子3-13B大模型正式開源！
這一主打高性價比的輕量化大模型，面向?qū)W術(shù)研究完全開放，并支持免費(fèi)商用。
在MMLU、GSM8K、HUMAN-EVAL等各項基準(zhǔn)測評估中，孟子3-13B都表現(xiàn)出了不錯的性能。
尤其在參數(shù)量20B以內(nèi)的輕量化大模型領(lǐng)域，在中英文語言能力方面尤為突出，數(shù)學(xué)和編程能力也位于前列。
△以上結(jié)果基于5-shot。據(jù)介紹，孟子3-13B大模型是基于Llama架構(gòu)，數(shù)據(jù)集規(guī)模高達(dá)3T Tokens。
語料精選自網(wǎng)頁、百科、社交、媒體、新聞，以及高質(zhì)量的開源數(shù)據(jù)集。通過在萬億tokens上進(jìn)行多語言語料的繼續(xù)訓(xùn)練，模型的中文能力突出并且兼顧多語言能力。
孟子3-13B大模型開源只需兩步，就能使用孟子3-13B大模型了。
首先進(jìn)行環(huán)境配置。
pipinstall-rrequirements.txt
然后快速開始。
importtorchfromtransformersimportAutoModelForCausalLM,AutoTokenizertokenizer=AutoTokenizer.from_pret

原文鏈接：0門檻免費(fèi)商用！孟子3-13B大模型正式開源，萬億token數(shù)據(jù)訓(xùn)練

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破