AIGC動態(tài)歡迎閱讀

原標題：小扎自曝砸重金訓Llama 4，24萬塊GPU齊發(fā)力！預計2025年發(fā)布
關(guān)鍵字：元宇宙,報告,美元,模型,集群
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：桃子
【新智元導讀】沒想到，多模態(tài)Llama 4已經(jīng)緊鑼密鼓地開始訓練中了。小扎表示，將投入Llama 3的十倍計算量訓練模型，預計2025年發(fā)布。他不惜重金購買GPU，就是害怕為時已晚。Llama 3.1剛發(fā)布不久，Llama 4已完全投入訓練中。
這幾天，小扎在二季度財報會上稱，Meta將用Llama 3的十倍計算量，訓練下一代多模態(tài)Llama 4，預計在2025年發(fā)布。
這筆賬單，老黃又成為最大贏家
十倍計算量，是什么概念？
要知道，Llama 3是在兩個擁有24,000塊GPU集群完成訓練。也就是說，Llama 4訓練要用24萬塊GPU。那么，Meta存貨還夠不夠？
還記得小扎曾在年初宣布，計劃到年底要部署35萬塊英偉達H100。
他還透露了更多的細節(jié)，Meta內(nèi)部將為訓練LLM打造兩個單集群，一個配備22,000塊H100，另一個集群配備24,000塊。
有網(wǎng)友曾回顧了Llama模型迭代過程中，GPU的用量如何增長的：
Llama 1：2048塊GPU
Llama 2：4096塊GPU
Llama 3.1：16384塊GPU
或斥資400億美金，小扎不愿為時

原文鏈接：小扎自曝砸重金訓Llama 4，24萬塊GPU齊發(fā)力！預計2025年發(fā)布

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡介：