連OpenAI都推不動Scaling Law了？MIT把「測試時訓練」系統(tǒng)研究了一遍，發(fā)現(xiàn)還有路

AIGC動態(tài)歡迎閱讀

原標題：連OpenAI都推不動Scaling Law了？MIT把「測試時訓練」系統(tǒng)研究了一遍，發(fā)現(xiàn)還有路
關鍵字：模型,任務,測試,研究者,方法
文章來源：機器之心
內容字數(shù)：0字

內容摘要：

機器之心報道
機器之心編輯部昨天，The Information 的一篇文章讓 AI 社區(qū)炸了鍋。
這篇文章透露，OpenAI 下一代旗艦模型的質量提升幅度不及前兩款旗艦模型之間的質量提升，因為高質量文本和其他數(shù)據(jù)的供應量正在減少，原本的 Scaling Law（用更多的數(shù)據(jù)訓練更大的模型）可能無以為繼。此外，OpenAI 研究者 Noam Brown 指出，更先進的模型可能在經(jīng)濟上也不具有可行性，因為花費數(shù)千億甚至數(shù)萬億美元訓練出的模型會很難盈利。
這篇文章引發(fā)了業(yè)界對于未來 AI 迭代方向的討論 —— 雖然 Scaling Law 放緩這一說法令人擔憂，但其中也不乏樂觀的聲音。有人認為，雖然從預訓練來看，Scaling Law 可能會放緩；但有關推理的 Scaling Law 還未被充分挖掘，OpenAI o1 的發(fā)布就證明了這一點。它從后訓練階段入手，借助強化學習、原生的思維鏈和更長的推理時間，把大模型的能力又往前推了一步。這種范式被稱為「測試時計算」，相關方法包括思維鏈提示、多數(shù)投票采樣（self-consistency）、代碼執(zhí)行和搜索等。其實，除了測試時計算，還有另外一個近

原文鏈接：連OpenAI都推不動Scaling Law了？MIT把「測試時訓練」系統(tǒng)研究了一遍，發(fā)現(xiàn)還有路