連OpenAI都推不動Scaling Law了？MIT把「測試時訓練」系統研究了一遍，發現還有路

AIGC動態歡迎閱讀

原標題：連OpenAI都推不動Scaling Law了？MIT把「測試時訓練」系統研究了一遍，發現還有路
關鍵字：模型,任務,測試,研究者,方法
文章來源：機器之心
內容字數：0字

內容摘要：

機器之心報道
機器之心編輯部昨天，The Information 的一篇文章讓 AI 社區炸了鍋。
這篇文章透露，OpenAI 下一代旗艦模型的質量提升幅度不及前兩款旗艦模型之間的質量提升，因為高質量文本和其他數據的供應量正在減少，原本的 Scaling Law（用更多的數據訓練更大的模型）可能無以為繼。此外，OpenAI 研究者 Noam Brown 指出，更先進的模型可能在經濟上也不具有可行性，因為花費數千億甚至數萬億美元訓練出的模型會很難盈利。
這篇文章引發了業界對于未來 AI 迭代方向的討論 —— 雖然 Scaling Law 放緩這一說法令人擔憂，但其中也不乏樂觀的聲音。有人認為，雖然從預訓練來看，Scaling Law 可能會放緩；但有關推理的 Scaling Law 還未被充分挖掘，OpenAI o1 的發布就證明了這一點。它從后訓練階段入手，借助強化學習、原生的思維鏈和更長的推理時間，把大模型的能力又往前推了一步。這種范式被稱為「測試時計算」，相關方法包括思維鏈提示、多數投票采樣（self-consistency）、代碼執行和搜索等。其實，除了測試時計算，還有另外一個近

原文鏈接：連OpenAI都推不動Scaling Law了？MIT把「測試時訓練」系統研究了一遍，發現還有路

聯系作者

文章來源：機器之心
作者微信：
作者簡介：