但最終OpenAI驗證了它！

原標題：遺憾不？原來百度2017年就研究過Scaling Law，連Anthropic CEO靈感都來自百度
文章來源：機器之心
內容字數：6466字

Scaling Law的起源與發展

根據機器之心的報道，百度早在2017年就進行了關于Scaling Law的研究，驗證了深度學習模型的泛化誤差與模型大小之間的冪律關系。然而，此時他們使用的是LSTM模型，而非后來的Transformer，并未將這一發現命名為“Scaling Law”。在追求AGI的過程中，Scaling Law成為了一個重要的研究方向，這一理論提示學術界在模型規模與計算能力的擴展上可能遇到瓶頸。

Scaling Law的廣泛認知

Scaling Law的概念通常歸功于OpenAI在2020年發布的一篇論文《Scaling Laws for Neural Language Models》。該論文詳細闡述了模型性能如何隨參數量、數據量和計算資源的增加而呈指數提升。盡管OpenAI在大模型領域取得了顯著的進展，但關于這一理論的最早發現和驗證過程卻鮮有深入探討。

Dario Amodei的貢獻

Anthropic的CEO Dario Amodei在一次播客中提到，他在2014年至2015年期間在百度工作的經歷對他理解Scaling Law有重要影響。在此期間，他觀察到隨著計算資源和數據量的增加，模型的表現顯著提升。雖然當時他并未深入研究，但這一直覺為后來的工作奠定了基礎。

百度的研究成果

百度在2017年發布的論文《DEEP LEARNING SCALING IS PREDICTABLE,EMPIRICALLY》展現了在多種應用領域中，深度學習的泛化誤差與訓練集規模之間的冪律關系。研究者們強調，通過增加訓練數據和計算資源，可以有效提高模型的準確性，提供了可預測的學習曲線和模型大小關系，為深度學習的實踐應用提供了指導。

總結與反思

盡管百度在Scaling Law領域的早期研究沒有得到及時的轉化應用，但這一理論的提出為深度學習的發展提供了重要的視角。隨著技術的進步，Scaling Law的研究仍將繼續推動AI領域的創新與發展。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺