這屆NeurIPS將被銘記成預訓練終結的一屆會議

原標題：OpenAI附議Ilya預訓練終結！“但Scaling Law還沒死”
文章來源：量子位
內(nèi)容字數(shù)：3115字

Scaling Law的未來探討

在最近的NeurIPS會議上，OpenAI的Noam Brown分享了對Scaling Law的深刻見解，討論了AI預訓練的未來和推理計算的重要性。這場演講引發(fā)了關于AI發(fā)展方向的熱烈討論，尤其是在預訓練即將終結的背景下，Scaling Law是否仍然適用的問題。

1. Scaling Law的演變

Noam Brown回顧了自2019年以來，AI領域從GPT-2到GPT-4的巨大進步，這些成就主要得益于數(shù)據(jù)和算力的規(guī)模擴大。然而，他指出，盡管大語言模型在許多方面表現(xiàn)出色，但在解決簡單問題上仍存在不足，例如井字棋。這引發(fā)了一個關鍵問題：我們是否仍需繼續(xù)投入更多資源訓練更強大的AI？

2. 推理計算的重要性

Brown強調(diào)，推理計算的成本在過去的Scaling中被低估。他提到，在撲克模型的擴展中，雖然模型規(guī)模每年擴大五倍，但效果卻不明顯。相反，增加推理時間可以顯著提高模型表現(xiàn)，20秒的搜索時間相當于將模型規(guī)模擴大100000倍。此外，他還提到AlphaGo Zero的成功，證明了推理時間的重要性。

3. 對未來的展望

Brown預見o1將在推理計算能力方面取得更高的成就，認為未來的AI將能在多步推理和自我博弈中展現(xiàn)出更強的能力。他的團隊正致力于多智能體AI的研究，并積極招募人才。

4. 業(yè)內(nèi)爭議與觀點

盡管Brown的觀點引起了廣泛關注，但也有業(yè)內(nèi)人士對此提出異議。他們認為，推理時間計算并不新鮮，許多游戲的早期發(fā)展也曾專注于此。此外，他們指出，過于強調(diào)預訓練可能導致推理計算成本被忽視，從而影響用戶體驗。

5. 結語

這場關于Scaling Law的討論不僅揭示了當前AI研究的復雜性，也為未來的發(fā)展指明了方向。雖然預訓練時代可能接近尾聲，但推理計算的潛力仍待進一步探討。科學家們的持續(xù)探索將為AI的未來帶來更多可能性。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業(yè)新突破