OpenAI陷巨大算力荒，國內大廠搶先破局！打破單芯片限制，算力效率提升33%

AIGC動態歡迎閱讀

原標題：OpenAI陷巨大算力荒，國內大廠搶先破局！打破單芯片限制，算力效率提升33%
關鍵字：模型,算法,效率,系統,集群
文章來源：新智元
內容字數：10018字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】一切計算皆AI已成為行業。大模型參數規模從千億走向萬億，從單一走向MoE，對算力的需求愈加龐大。我們需要理清的是，單芯片所帶來的算力驅動已無法滿足LLM發展。國內AI不行，是因為芯片不行？
我們跟國外的差距，是因為和英偉達芯片的差距過大？
最近，圈內有許多這樣的論調。
其實深挖下去，就會發現事實完全不是這樣。即使是英偉達最先進的芯片，依然無法滿足當下人工智能在算力上的需求。
隨著模型參數量和數據量的增加，智慧不斷涌現，我們對更大集群的需求，也更加迫切。無論是國外，還是在國內，大家離終點都很遙遠。
算力≠芯片如今，大規模神經網絡的訓練現狀是這樣的。
新鮮出爐的8B和70B參數的Llama 3訓練，需要24576塊H100組成的集群。
小扎曾透露截止今年底，Meta將建成由35萬塊H100搭建的基礎設施
而據稱有1.8萬億參數的GPT-4，是在10000-25000張A100上完成了訓練。
爆火的Sora訓練參數量可能僅有30億，爆料稱，估計使用了4200-10500塊H100訓了1個月。
特斯拉FSD V12，則是在1000萬個海量視頻片段進行

原文鏈接：OpenAI陷巨大算力荒，國內大廠搶先破局！打破單芯片限制，算力效率提升33%

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。