AIGC動態(tài)歡迎閱讀

原標題：前谷歌科學家離職創(chuàng)業(yè)1年，自述訓練LLM卡在算力上！買卡就像中彩票，Karpathy轉(zhuǎn)贊
關(guān)鍵字：集群,模型,硬件,提供商,代碼
文章來源：新智元
內(nèi)容字數(shù)：8977字

內(nèi)容摘要：

新智元報道編輯：桃子
【新智元導讀】一家大模型初創(chuàng)公司從創(chuàng)立到訓練出大模型，要克服怎樣的難題？前谷歌科學家離職后創(chuàng)業(yè)一年，發(fā)文自述算力是訓練大模型的難點。前谷歌大腦科學家Yi Tay去年3月離職后，創(chuàng)辦了一家初創(chuàng)公司。
創(chuàng)業(yè)一年，他發(fā)文表示「痛并快樂著」。
在這篇博文中，我討論了：
1. 在不同計算提供商中采購計算和差異的經(jīng)驗。我們最大的發(fā)現(xiàn)/驚喜是差異超級不同，幾乎是人們可以獲得的「硬件彩票」！
2. 討論「野外」基礎(chǔ)設(shè)施/代碼，并過渡到我在谷歌的習慣
3. 訓練模型時的新思維方式。
在整個創(chuàng)業(yè)過程中，他認為最大的困難便是——算力稀缺、算力提供商差異巨大，讓大模型的訓練比預期要難得多。
對此，Yi Tay寫了一篇長文，自述了從0開始如何創(chuàng)辦一家公司，籌集資金、購買芯片，訓練出了能夠與Gemini pro/GPT 3.5，甚至超越其他LLM的模型。
Karpathy對此表示深刻地贊同：「這篇文章精彩地討論了一個鮮為人知的話題：訓練LLM的難點」。
在大公司維護計算集群的時候，隨著規(guī)模擴大，集群管理更像是生物學而非工程學。
工程師需要像「保姆」一樣密切監(jiān)控訓練過程，關(guān)注關(guān)鍵指標，一旦出

原文鏈接：前谷歌科學家離職創(chuàng)業(yè)1年，自述訓練LLM卡在算力上！買卡就像中彩票，Karpathy轉(zhuǎn)贊

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。