CPM-Bee大模型官網(wǎng),百億參數(shù)的開源中英文雙語(yǔ)基座大模型
CPM-Bee是一個(gè)開源的雙語(yǔ)預(yù)訓(xùn)練語(yǔ)言模型，參數(shù)量為10B，擁有十余種原生能力和強(qiáng)大的通用語(yǔ)言能力，并支持結(jié)構(gòu)化輸入和輸出。它是CPM-Live直播訓(xùn)練過程中的第二個(gè)里程碑。訓(xùn)練過程是低成本和環(huán)境友好的。我們將發(fā)布各種壓縮版本以適應(yīng)不同的硬件配置。CPM-Bee采用了開放的許可協(xié)議，發(fā)布后的模型和代碼將完全開放。
CPM-Bee大模型官網(wǎng): https://live.openbmb.org/models/bee
Github地址: https://github.com/OpenBMB/CPM-Bee
Hugging Face地址: https://huggingface.co/openbmb/cpm-bee-10b

? CPM-Bee商用申請(qǐng)通道?發(fā)送申請(qǐng)郵件至 cpm@modelbest.cn 獲取授權(quán)證書
自O(shè)penBMB開源社區(qū)成立以來，我們就堅(jiān)定不移地踐行“讓大模型飛入千家萬(wàn)戶”的理念，開發(fā)模型全流程加速系統(tǒng)以高效支持大模型的預(yù)訓(xùn)練、微調(diào)、應(yīng)用和推理，并發(fā)起?百億大模型訓(xùn)練直播項(xiàng)目CPM-Live。
終于！CPM-Live 第二階段的進(jìn)度條終于拉到了100%，我們迎來了CPM-Live第二個(gè)里程碑：CPM-Bee 開源發(fā)布！

??模型介紹

CPM-Bee是一個(gè)完全開源、允許商用的百億參數(shù)中英文基座模型，也是CPM-Live訓(xùn)練的第二個(gè)里程碑。它采用Transformer自回歸架構(gòu)（auto-regressive），在超萬(wàn)億（trillion）高質(zhì)量語(yǔ)料上進(jìn)行預(yù)訓(xùn)練，擁有強(qiáng)大的基礎(chǔ)能力。開發(fā)者和研究者可以在CPM-Bee基座模型的基礎(chǔ)上在各類場(chǎng)景進(jìn)行適配來以創(chuàng)建特定領(lǐng)域的應(yīng)用模型。

• ??開源可商用：OpenBMB始終秉承“讓大模型飛入千家萬(wàn)戶”的開源精神，CPM-Bee基座模型將完全開源并且可商用，以推動(dòng)大模型領(lǐng)域的發(fā)展。我們鼓勵(lì)全球范圍內(nèi)的科研機(jī)構(gòu)、企業(yè)和個(gè)人開發(fā)者在遵守開源許可協(xié)議的前提下，地在CPM-Bee基座模型上進(jìn)行創(chuàng)新。
• ??中英雙語(yǔ)性能優(yōu)異： CPM-Bee基座模型在預(yù)訓(xùn)練語(yǔ)料上進(jìn)行了嚴(yán)格的篩選和配比，同時(shí)在中英雙語(yǔ)上具有亮眼表現(xiàn)，具體可參見評(píng)測(cè)任務(wù)和結(jié)果。
• ??超大規(guī)模高質(zhì)量語(yǔ)料： CPM-Bee基座模型在超萬(wàn)億語(yǔ)料進(jìn)行訓(xùn)練，是開源社區(qū)內(nèi)經(jīng)過語(yǔ)料最多的模型之一。同時(shí)，我們對(duì)預(yù)訓(xùn)練語(yǔ)料進(jìn)行了嚴(yán)格的篩選、清洗和后處理以確保質(zhì)量。
• 
  ?OpenBMB大模型系統(tǒng)生態(tài)支持： OpenBMB大模型系統(tǒng)在高性能預(yù)訓(xùn)練、適配、壓縮、部署、工具開發(fā)了一系列工具，CPM-Bee基座模型將配套所有的工具腳本，高效支持開發(fā)者進(jìn)行進(jìn)階使用。
• ??對(duì)話和工具使用能力： 結(jié)合OpenBMB在指令微調(diào)和工具學(xué)習(xí)的探索，我們?cè)贑PM-Bee基座模型的基礎(chǔ)上進(jìn)行微調(diào)，訓(xùn)練出了具有強(qiáng)大對(duì)話和工具使用能力的實(shí)例模型，API和內(nèi)測(cè)將于近期開放。

Read this in?English.
說明：CPM-Bee是一個(gè)基座模型，即從零開始通過預(yù)訓(xùn)練得來。我們鼓勵(lì)用戶在自己的場(chǎng)景和數(shù)據(jù)上適配/微調(diào)/對(duì)齊后再進(jìn)行使用。例如，WebCPM?以CPM-Bee為基座，在人類網(wǎng)絡(luò)檢索的序列化數(shù)據(jù)上進(jìn)行適配，獲得了復(fù)雜問答和上網(wǎng)檢索的能力。后續(xù)我們將會(huì)發(fā)布更多在CPM-Bee基座模型基礎(chǔ)上適配的模型。

本倉(cāng)庫(kù)主要提供 CPM-Bee 基座模型