AIGC動態歡迎閱讀

原標題：2030年，Scaling Law會到達極限嗎？GPT-6能出來嗎？
關鍵字：數據,規模,模型,數據中心,電力
文章來源：Founder Park
內容字數：0字

內容摘要：

9 月 2 日，馬斯克發文稱，其人工智能公司 xAI 的團隊上線了一臺被稱為「Colossus」的訓練集群，總共有 100000 個英偉達的 H100 GPU。
他還表示，接下來的幾個月里Colossus 的規模將擴大一倍，達到 200,000 個 GPU，其中 5 萬個是更為先進的 H200。
毫無疑問，AI訓練的規模正以驚人速度進化，年增長率已經高達400%。
不過，這種狂飆能持續到2030年嗎？
EPOCHAI 的這篇文章論證了四個可能存在的增長瓶頸：供電、芯片產能、數據稀缺、延遲。
到2030年，AI訓練的計算量有望達到2e^29 FLOP，預示著新一代AI模型的誕生。準備好迎接AI的下一個大了嗎？這可能需要數千億的投資，但回報可能是性的。
一些有意思的點：
2030年，很可能可以實現2e^29 FLOP的訓練規模，2030的模型能力和現在相比，就像GPT-4和GPT-2的區別。
分布式訓練有潛力克服集中式訓練的電力瓶頸，實現比單一園區更大的訓練規模。
到2030年，GPU的年產量預計將增長30%到100%。
五年內人類將耗盡全部文字語料，音視頻數據或將緩解窘境，但質量

原文鏈接：2030年，Scaling Law會到達極限嗎？GPT-6能出來嗎？

聯系作者

文章來源：Founder Park
作者微信：
作者簡介：