從百度的Scaling Law啟示，Anthropic CEO的靈感之旅：探尋人工智能的無限可能

但最終OpenAI驗證了它！

原標題：遺憾不？原來百度2017年就研究過Scaling Law，連Anthropic CEO靈感都來自百度
文章來源：機器之心
內容字數：6466字

Scaling Law的起源與發展

根據機器之心的報道，百度早在2017年就進行了關于Scaling Law的研究，驗證了深度學習模型的泛化誤差與模型大小之間的冪律關系。然而，此時他們使用的是LSTM模型，而非后來的Transformer，并未將這一發現命名為“Scaling Law”。在追求AGI的過程中，Scaling Law成為了一個重要的研究方向，這一理論提示學術界在模型規模與計算能力的擴展上可能遇到瓶頸。

Scaling Law的廣泛認知

Scaling Law的概念通常歸功于OpenAI在2020年發布的一篇論文《Scaling Laws for Neural Language Models》。該論文詳細闡述了模型性能如何隨參數量、數據量和計算資源的增加而呈指數提升。盡管OpenAI在大模型領域取得了顯著的進展，但關于這一理論的最早發現和驗證過程卻鮮有深入探討。

Dario Amodei的貢獻

Anthropic的CEO Dario Amodei在一次播客中提到，他在2014年至2015年期間在百度工作的經歷對他理解Scaling Law有重要影響。在此期間，他觀察到隨著計算資源和數據量的增加，模型的表現顯著提升。雖然當時他并未深入研究，但這一直覺為后來的工作奠定了基礎。

百度的研究成果

百度在2017年發布的論文《DEEP LEARNING SCALING IS PREDICTABLE,EMPIRICALLY》展現了在多種應用領域中，深度學習的泛化誤差與訓練集規模之間的冪律關系。研究者們強調，通過增加訓練數據和計算資源，可以有效提高模型的準確性，提供了可預測的學習曲線和模型大小關系，為深度學習的實踐應用提供了指導。