Transformer正在耗盡Transformer｜甲子光年

AIGC動態(tài)歡迎閱讀

原標題：Transformer正在耗盡Transformer｜甲子光年
關鍵字：數(shù)據(jù)中心,報告,字節(jié)跳動,騰訊,電力
文章來源：甲子光年
內(nèi)容字數(shù)：9570字

內(nèi)容摘要：

新的GPT還沒來，AI數(shù)據(jù)中心先遇到困難了。作者｜艾倫??
編輯｜王博 趙健?
模型微調(diào)平臺OpenPipe創(chuàng)始人Kyle Corbitt近期爆了一個料。
他與微軟工程師的中，微軟工程師透露了以下信息：
GPT-6正在訓練中
在不同地區(qū)之間的GPU上配置InfiniBand（無限帶寬）級別的連接很困難
而在一個州內(nèi)放置（使用）超過10萬個H100，就會使電網(wǎng)癱瘓有網(wǎng)友做了計算，如果十萬個H100同時開啟，功耗將達到70MW。正常來說一般大型電廠輸出功率能達到2000MW，70MW負載其實并不大，但突然在電網(wǎng)中增加70MW的負載，就很容易讓電網(wǎng)系統(tǒng)出問題。
OpenAI CEO 薩姆·奧爾特曼（Sam Altman）上周在訪談中提到：“今年OpenAI將會發(fā)布一個令人驚嘆的模型，即將發(fā)布的模型相當于200個中等大小模型的混合。”
而在前段時間舉行的“博世互聯(lián)世界2024”大會上，埃隆·馬斯克（Elon Musk）表示，自己在一年多前就預測到了芯片短缺，接下來短缺的會是降壓變壓器（step-down transformer），而明年將沒有足夠的電力來運行所有的芯片。
馬斯克還講了一個并

原文鏈接：Transformer正在耗盡Transformer｜甲子光年

聯(lián)系作者

文章來源：甲子光年
作者微信：jazzyear
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業(yè)服務版塊，立足中國科技創(chuàng)新前沿陣地，動態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術升級案例，推動人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應用與落地。