腦海大模型

“鵬城·腦海”大模型官網(wǎng)地址：https://openi.pcl.ac.cn/extension/mind

鵬城·腦海（PengCheng Mind）通用AI大模型

2023年9月21日上午，鵬城實(shí)驗(yàn)室主任、中國工程院院士高文在2023華為全聯(lián)接大會(huì)上正式發(fā)布了“鵬城·腦海”（PengCheng Mind）通用AI大模型，以國產(chǎn)化基座大模型為新一代AI大模型發(fā)展構(gòu)筑新基點(diǎn)。

高文主任介紹，“鵬城·腦海”通用AI大模型以稠密型架構(gòu)實(shí)現(xiàn)2000億參數(shù)，依托“鵬城云腦II”國產(chǎn)化AI算力平臺(tái)進(jìn)行全程預(yù)訓(xùn)練，采用了MindSpore昇思國產(chǎn)化深度學(xué)習(xí)框架，完善了大規(guī)模并行訓(xùn)練策略、底層算子性能和容錯(cuò)機(jī)制，顯著提升了國產(chǎn)算力平臺(tái)的訓(xùn)練效率，并構(gòu)建了一套涵蓋中文、英文及50余個(gè)“”沿線國家及地區(qū)語種的多樣化語料數(shù)據(jù)集和數(shù)據(jù)質(zhì)量評(píng)估工具集。本次發(fā)布的是以中文為核心的“鵬城·腦海”基礎(chǔ)版，將在OpenI啟智社區(qū)向全社會(huì)開源。

啟智免費(fèi)算力

免費(fèi)使用A100等 GPU 及國產(chǎn) NPU 算力資源，一站式AI開發(fā)協(xié)作平臺(tái)，OpenI啟智AI協(xié)作平臺(tái)官網(wǎng)入口網(wǎng)址。

腦海大模型版本

此次發(fā)布的腦海大模型包括“兩千億參數(shù)”和“七十億參數(shù)”的PengCheng-Mind 200B、PengCheng-Mind 7B，均是基于“中國算力網(wǎng)”國產(chǎn)化AI算力平臺(tái)和“MindSpore”國產(chǎn)化深度學(xué)習(xí)框架的全國產(chǎn)大模型。其中PengCheng-Mind 7B的模型，支持NPU版本到GPU版本的轉(zhuǎn)換。

腦海大模型歷史消息

2023年5月29日，在第二屆粵港澳區(qū)（廣東）算力產(chǎn)業(yè)大會(huì)暨首屆中國算力網(wǎng)大會(huì)上，中國工程院院士、鵬城實(shí)驗(yàn)室主任高文透露：鵬城實(shí)驗(yàn)室將推出“鵬城·腦海”大模型計(jì)劃，打造國內(nèi)首個(gè)完全自主可控、安全可控、開源開放的自然語言預(yù)訓(xùn)練大模型底座。面向數(shù)字政務(wù)、智慧金融、智能制造等應(yīng)用場(chǎng)景，鵬城實(shí)驗(yàn)室將開放基于“鵬城·腦海”大模型底座的合作，共建國產(chǎn)自主可控預(yù)訓(xùn)練大模型健康生態(tài)。

鵬城實(shí)驗(yàn)室

鵬城實(shí)驗(yàn)室，又稱深圳網(wǎng)絡(luò)空間科學(xué)與技術(shù)省實(shí)驗(yàn)室，是中央批準(zhǔn)成立的突破型、引領(lǐng)型、平臺(tái)型一體化的網(wǎng)絡(luò)通信領(lǐng)域新型科研機(jī)構(gòu)，始建于2018年3月，主要從事該領(lǐng)域戰(zhàn)略性、前瞻性、...

依托“鵬城云腦”，誕生了全球首個(gè)全開源的兩千億參數(shù)中文預(yù)訓(xùn)練語言大模型“鵬城·盤古”、全球首個(gè)知識(shí)增強(qiáng)千億大模型“鵬城-百度·文心”、性能達(dá)國際先進(jìn)水平的十億參數(shù)視覺大模型“鵬城·大圣”等大模型。

鵬程·盤古α大模型

鵬程·盤古α是業(yè)界首個(gè)2000億...

文心大模型

文心大模型創(chuàng)意應(yīng)用空間是一...