【深度萬文】10 萬卡 H100 集群的盡頭……

AIGC動態(tài)歡迎閱讀

原標題：【深度萬文】10 萬卡 H100 集群的盡頭……
關鍵字：網(wǎng)絡,集群,交換機,機架,節(jié)點
文章來源：智猩猩AGI
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

7月25日上午10點，中國科學技術大學與微軟亞洲研究院聯(lián)合培養(yǎng)博士生張博文將在智猩猩直播講解微軟亞洲研究院開源成果GaussianCube，主題為《結構化3DGS為高質量3D生成帶來新思路》。歡迎掃名~GPT-4 在約 2 萬塊 A100 上訓練 90-100 天，如果利用 10 萬卡的 H100 集群，則僅僅需要 4 天時間。微軟/OpenAI、Meta、xAI 都在集中建設 10 萬卡 H100 集群，單是硬件投入就高達 40 億美金，單集群就需要 150 MW 的功耗，每年的電力成本 1.239 億美金，約占硬件投入成本的 3%。
10 萬卡 H100 集群的盡頭還遠不是電力。在算力組網(wǎng)時，為了避免繳納更多的英偉達稅，越來越多的頭部客戶正在摒棄 Infiniband 方案，而選擇以太網(wǎng)方案。除了在初始硬件投入就能節(jié)約 4 億美金之外，每年還能進一步節(jié)約 400多萬美金的電費。
有人認為，自 GPT-4 發(fā)布以來，LLM 的能力便一直停滯不前。之所以如此，是因為沒有人能夠大規(guī)模地提高專用于單個模型訓練的算力。已發(fā)布的模型的體量與 GPT-4 大致相當（約 2×1025 FLOP

原文鏈接：【深度萬文】10 萬卡 H100 集群的盡頭……

聯(lián)系作者

文章來源：智猩猩AGI
作者微信：
作者簡介：