Ilya認錯，Scaling Law崩了？自曝SSI秘密技術路線取代OpenAI

AIGC動態歡迎閱讀

原標題：Ilya認錯，Scaling Law崩了？自曝SSI秘密技術路線取代OpenAI
關鍵字：模型,時間,更多,數據,性能
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：Aeneas 好困
【新智元導讀】Ilya終于承認，自己關于Scaling的說法錯了！現在訓練模型已經不是「越大越好」，而是找出Scaling的對象究竟應該是什么。他自曝，SSI在用全新方法擴展預訓練。而各方巨頭改變訓練范式后，英偉達GPU的壟斷地位或許也要打破了。昨天，The Information爆料，傳統的大模型Scaling Law已經撞墻，OpenAI下一代旗艦Orion遭遇瓶頸。
就在剛剛，路透社也發文表示，由于當前方法受到限制，OpenAI和其他公司正在尋求通向更智能AI的新途徑。
有趣的是，昨天拱火的The Information，今天又急忙發出一篇文章來滅火。
他們強調，昨天的文章只是在說改進大模型必須找到新方法，并不是說Scaling Law已經終結。
但一個不爭的事實就是：硅谷幾大主要AI實驗室正在陷入困境。訓練這些大規模的LLM動輒需要花費數千美元，但復雜系統還經常崩潰。往往需要數月時間，才知道模型能否按預期工作。
比起GPT-4o，Orion幾乎沒有任何改進；谷歌的Gemini 2.0，被曝也存在同樣問題；Anthropic據傳也已暫停Opu

原文鏈接：Ilya認錯，Scaling Law崩了？自曝SSI秘密技術路線取代OpenAI

聯系作者

文章來源：新智元
作者微信：
作者簡介：