小扎自曝砸重金訓Llama 4,24萬塊GPU齊發(fā)力!預計2025年發(fā)布

AIGC動態(tài)歡迎閱讀
原標題:小扎自曝砸重金訓Llama 4,24萬塊GPU齊發(fā)力!預計2025年發(fā)布
關(guān)鍵字:元宇宙,報告,美元,模型,集群
文章來源:新智元
內(nèi)容字數(shù):0字
內(nèi)容摘要:
新智元報道編輯:桃子
【新智元導讀】沒想到,多模態(tài)Llama 4已經(jīng)緊鑼密鼓地開始訓練中了。小扎表示,將投入Llama 3的十倍計算量訓練模型,預計2025年發(fā)布。他不惜重金購買GPU,就是害怕為時已晚。Llama 3.1剛發(fā)布不久,Llama 4已完全投入訓練中。
這幾天,小扎在二季度財報會上稱,Meta將用Llama 3的十倍計算量,訓練下一代多模態(tài)Llama 4,預計在2025年發(fā)布。
這筆賬單,老黃又成為最大贏家
十倍計算量,是什么概念?
要知道,Llama 3是在兩個擁有24,000塊GPU集群完成訓練。也就是說,Llama 4訓練要用24萬塊GPU。那么,Meta存貨還夠不夠?
還記得小扎曾在年初宣布,計劃到年底要部署35萬塊英偉達H100。
他還透露了更多的細節(jié),Meta內(nèi)部將為訓練LLM打造兩個單集群,一個配備22,000塊H100,另一個集群配備24,000塊。
有網(wǎng)友曾回顧了Llama模型迭代過程中,GPU的用量如何增長的:
Llama 1:2048塊GPU
Llama 2:4096塊GPU
Llama 3.1:16384塊GPU
或斥資400億美金,小扎不愿為時
原文鏈接:小扎自曝砸重金訓Llama 4,24萬塊GPU齊發(fā)力!預計2025年發(fā)布
聯(lián)系作者
文章來源:新智元
作者微信:
作者簡介:
? 版權(quán)聲明
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載。
相關(guān)文章
暫無評論...

粵公網(wǎng)安備 44011502001135號