AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：國(guó)產(chǎn)GPU萬(wàn)卡集群終于來(lái)了！摩爾線(xiàn)程CEO張建中：做難而正確的事
關(guān)鍵字：集群,模型,線(xiàn)程,報(bào)告,華為
文章來(lái)源：智東西
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

萬(wàn)卡集群殺出國(guó)產(chǎn)GPU黑馬！萬(wàn)P算力萬(wàn)億參數(shù)，零代碼修改可遷移。
作者|ZeR0
編輯|漠影
“AI主戰(zhàn)場(chǎng)，萬(wàn)卡是最低標(biāo)配！”
在2024世界人工智能大會(huì)開(kāi)幕前夕，摩爾線(xiàn)程創(chuàng)始人兼CEO張建中拋出一句擲地有聲的斷言。
為什么必須是萬(wàn)卡？大模型行業(yè)變化很快，客戶(hù)希望兩周內(nèi)結(jié)束戰(zhàn)斗，最遲也得在1個(gè)月內(nèi)訓(xùn)練完。假設(shè)訓(xùn)練一個(gè)5000億參數(shù)模型，有15TB數(shù)據(jù)，如果只有1000P算力，3年都訓(xùn)不完；如果將時(shí)間鎖到兩周或1個(gè)月，10000P是最低保障。
在海外，擁有1.8萬(wàn)億參數(shù)的GPT-4大模型需要用25000張A100 GPU訓(xùn)100天，折算成H100則需要1000張；Meta今年推出2個(gè)24576張H100集群，用于訓(xùn)練Llama 3等新模型；本周馬斯克自曝新版Grok 3訓(xùn)練用了10萬(wàn)張H100 GPU。
在國(guó)內(nèi)，萬(wàn)卡集群建設(shè)高歌猛進(jìn)。去年7月，華為昇騰AI集群規(guī)模擴(kuò)展至16000卡；10月，科大訊飛宣布啟動(dòng)萬(wàn)卡集群算力平臺(tái)“飛星一號(hào)”；今年3月，天翼云上海臨港國(guó)產(chǎn)萬(wàn)卡算力池啟用；4月，中國(guó)移動(dòng)宣布今年將商用3個(gè)自主可控萬(wàn)卡集群……一眾云大廠更是囤卡攢算力專(zhuān)業(yè)戶(hù)，將大模型訓(xùn)練集群規(guī)模卷向1

原文鏈接：國(guó)產(chǎn)GPU萬(wàn)卡集群終于來(lái)了！摩爾線(xiàn)程CEO張建中：做難而正確的事

聯(lián)系作者

文章來(lái)源：智東西
作者微信：zhidxcom
作者簡(jiǎn)介：智能產(chǎn)業(yè)新媒體！智東西專(zhuān)注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來(lái)的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。