Meta公開 Llama-3基礎訓練設施：使用了49,000個H100

AIGC動態歡迎閱讀

原標題：Meta公開 Llama-3基礎訓練設施：使用了49,000個H100
關鍵字：集群,報告,解讀,模型,解決方案
文章來源：AI前線
內容字數：3717字

內容摘要：

來源 | 授權轉載自AIGC開放社區（公眾號ID:AIGCOPEN）
3 月 13 日，社交、科技巨頭 Meta 在官網公布了兩個全新的 24K H100 GPU 集群（49,152 個），專門用于訓練大模型 Llama-3。
此外，Llama-3 使用了 RoCEv2 網絡，基于 Tectonic/Hammerspace 的 NFS/FUSE 網絡存儲，繼續使用了 PyTorch 機器學習庫。
從訓練進度來看，估計 Llama-3 最快將于 4 月末或 5 月中旬上線。受 Sora 影響，很可能是一個多模態模型，并且會繼續開源。
Meta 表示，預計到 2024 年底，將擁有 600,000 個 H100 的算力。
Meta首席科學家確認Meta 龐大的 AI 算力集群Meta 作為全球市值最高的科技公司之一，對 AI 的投入一直非常大，致力于構建造福全人類的 AGI（通用人工智能）。
早在 2022 年 1 月 24 日，Meta 首次公布了 AI 研究超級集群 (RSC) 的詳細信息，擁有 16,000 個英偉達 A100 GPU。
該集群在開發全球最受歡迎的類 ChatGPT

原文鏈接：Meta公開 Llama-3基礎訓練設施：使用了49,000個H100

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。