Ilya承認Scaling Law到頭了，Meta和谷歌尋找替代o1的方法

AIGC動態(tài)歡迎閱讀

原標題：Ilya承認Scaling Law到頭了，Meta和谷歌尋找替代o1的方法
關鍵字：模型,規(guī)模,測試,數(shù)據,團隊
文章來源：夕小瑤科技說
內容字數(shù)：0字

內容摘要：

夕小瑤科技說 原創(chuàng)作者 | 小鹿近期，全球科技界的目光都集中在OpenAI即將推出的下一代模型上，究竟會是o2還是GPT-5？
o2代表了全新的訓練范式，而GPT-5則代表了繼續(xù)Scaling Law的路線。
實際上，這個問題已經在11月份的時候，有Reddit網友向Altman提出過：
Altman最新談到OpenAI的動態(tài)時，與OpenAI尋求新路徑的努力是相呼應的–下一代技術不會是GPT的簡單迭代。
為什么不再是GPT-5了？首先，GPT系列模型，即生成式預訓練Transformer模型，其核心特點是依靠數(shù)據驅動的Scaling Law來推動性能的提升。
論文《Scaling Laws for Neural Language Models》提出語言建模性能隨著模型大小、數(shù)據集大小和用于訓練的計算量的增加而平穩(wěn)提升。為了獲得最佳性能，這三個因素必須同時擴大。當不受其他兩個因素的限制時，經驗性能與每個單獨因素之間具有冪律關系。然而，隨著技術的不斷進步，這種依賴于數(shù)據量和模型規(guī)模增長的模式開始顯現(xiàn)出其局限性，優(yōu)化和改進的速度逐漸放緩。
OpenAI的資深前合伙人，同時也是早期推動暴力

原文鏈接：Ilya承認Scaling Law到頭了，Meta和谷歌尋找替代o1的方法

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：