國(guó)產(chǎn)GPU萬(wàn)卡集群終于來(lái)了!摩爾線(xiàn)程CEO張建中:做難而正確的事

AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:國(guó)產(chǎn)GPU萬(wàn)卡集群終于來(lái)了!摩爾線(xiàn)程CEO張建中:做難而正確的事
關(guān)鍵字:集群,模型,線(xiàn)程,報(bào)告,華為
文章來(lái)源:智東西
內(nèi)容字?jǐn)?shù):0字
內(nèi)容摘要:
萬(wàn)卡集群殺出國(guó)產(chǎn)GPU黑馬!萬(wàn)P算力萬(wàn)億參數(shù),零代碼修改可遷移。
作者|ZeR0
編輯|漠影
“AI主戰(zhàn)場(chǎng),萬(wàn)卡是最低標(biāo)配!”
在2024世界人工智能大會(huì)開(kāi)幕前夕,摩爾線(xiàn)程創(chuàng)始人兼CEO張建中拋出一句擲地有聲的斷言。
為什么必須是萬(wàn)卡?大模型行業(yè)變化很快,客戶(hù)希望兩周內(nèi)結(jié)束戰(zhàn)斗,最遲也得在1個(gè)月內(nèi)訓(xùn)練完。假設(shè)訓(xùn)練一個(gè)5000億參數(shù)模型,有15TB數(shù)據(jù),如果只有1000P算力,3年都訓(xùn)不完;如果將時(shí)間鎖到兩周或1個(gè)月,10000P是最低保障。
在海外,擁有1.8萬(wàn)億參數(shù)的GPT-4大模型需要用25000張A100 GPU訓(xùn)100天,折算成H100則需要1000張;Meta今年推出2個(gè)24576張H100集群,用于訓(xùn)練Llama 3等新模型;本周馬斯克自曝新版Grok 3訓(xùn)練用了10萬(wàn)張H100 GPU。
在國(guó)內(nèi),萬(wàn)卡集群建設(shè)高歌猛進(jìn)。去年7月,華為昇騰AI集群規(guī)模擴(kuò)展至16000卡;10月,科大訊飛宣布啟動(dòng)萬(wàn)卡集群算力平臺(tái)“飛星一號(hào)”;今年3月,天翼云上海臨港國(guó)產(chǎn)萬(wàn)卡算力池啟用;4月,中國(guó)移動(dòng)宣布今年將商用3個(gè)自主可控萬(wàn)卡集群……一眾云大廠更是囤卡攢算力專(zhuān)業(yè)戶(hù),將大模型訓(xùn)練集群規(guī)模卷向1
原文鏈接:國(guó)產(chǎn)GPU萬(wàn)卡集群終于來(lái)了!摩爾線(xiàn)程CEO張建中:做難而正確的事
聯(lián)系作者
文章來(lái)源:智東西
作者微信:zhidxcom
作者簡(jiǎn)介:智能產(chǎn)業(yè)新媒體!智東西專(zhuān)注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展,和技術(shù)應(yīng)用帶來(lái)的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革,服務(wù)產(chǎn)業(yè)升級(jí)。

粵公網(wǎng)安備 44011502001135號(hào)