OpenAI把微軟電網(wǎng)搞崩!GPT-6被曝25年發(fā)布,訓(xùn)練刷爆10萬張H100
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:OpenAI把微軟電網(wǎng)搞崩!GPT-6被曝25年發(fā)布,訓(xùn)練刷爆10萬張H100
關(guān)鍵字:模型,微軟,電力,電網(wǎng),項(xiàng)目
文章來源:新智元
內(nèi)容字?jǐn)?shù):7106字
內(nèi)容摘要:
新智元報(bào)道編輯:編輯部
【新智元導(dǎo)讀】GPT-5還未發(fā)布,GPT-6已經(jīng)在路上了?微軟工程師曝出,為GPT-6搭建10萬個(gè)H100訓(xùn)練集群,整個(gè)電網(wǎng)卻被搞崩。通往AGI大關(guān),還需要電力難題。GPT-6也被電力卡脖子了——部署十萬個(gè)H100時(shí),整個(gè)電網(wǎng)發(fā)生了崩潰!
就在剛剛,微軟工程師爆料,10萬個(gè)H100基建正在緊鑼密鼓地建設(shè)中,目的就是訓(xùn)練GPT-6。
微軟工程師吐槽說,團(tuán)隊(duì)在部署跨區(qū)域GPU間的infiniband級別鏈接時(shí)遇到了困難。
Corbitt:為何不考慮直接將所有設(shè)備部署在同一個(gè)地區(qū)呢?
微軟工程師:這確實(shí)是我們最初的方案。但問題是,一旦我們在同一個(gè)州部署超過100,000個(gè)H100 GPU,電網(wǎng)就會因無法負(fù)荷而崩潰。
這是創(chuàng)業(yè)者Kyle Corbitt在社交媒體上,分享自己與一位微軟工程師關(guān)于GPT-6訓(xùn)練集群項(xiàng)目的對話
沒想到,GPT-5還沒發(fā),微軟就已悄悄為OpenAI開始訓(xùn)練GPT-6了。
同在今天,一張「OpenAI內(nèi)部時(shí)間線」圖片在網(wǎng)上瘋轉(zhuǎn)。
圖中清晰標(biāo)注出:OpenAI早在2022年8月-10月之間開始了GPT-5(代號Arrakis)的訓(xùn)練,2023
原文鏈接:OpenAI把微軟電網(wǎng)搞崩!GPT-6被曝25年發(fā)布,訓(xùn)練刷爆10萬張H100
聯(lián)系作者
文章來源:新智元
作者微信:AI_era
作者簡介:智能+中國主平臺,致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展,關(guān)注人機(jī)融合、人工智能和機(jī)器人對人類社會與文明進(jìn)化的影響,領(lǐng)航中國新智能時(shí)代。