Scaling Law觸礁「數據墻」？Epoch AI發文預測LLM到2028年耗盡所有文本數據

AIGC動態歡迎閱讀

原標題：Scaling Law觸礁「數據墻」？Epoch AI發文預測LLM到2028年耗盡所有文本數據
關鍵字：數據,政策,報告,模型,文本
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊
【新智元導讀】訓練數據的數量和質量，對LLM性能的重要性已經是不言自明的事實。然而，Epoch AI近期的一篇論文卻給正在瘋狂擴展的AI模型們潑了冷水，他們預測，互聯網上可用的人類文本數據將在四年后，即2028年耗盡。數據和算力，是AI大模型最重要的兩把「鏟子」。
算力方面，英偉達的不斷創新和各家代工廠的產能提高，讓世界各處的數據中心拔地而起，研究人員暫時不用擔心計算資源。
然而，近些年來，數據成為愈發嚴峻的問題。
根據華爾街日報的報道，OpenAI在訓練GPT-5時已經遇到了文本數據不足的問題，正在考慮使用Youtube公開視頻轉錄出的文本。
關于「數據耗盡」這個問題，非營利研究機構Epoch AI在6月4日發布了一篇最新論文。
根據他們的預測，未來10年內，數據增長的速度無法支撐起大模型的擴展，LLM會在2028年耗盡互聯網上的所有文本數據。
論文地址：https://arxiv.org/abs/2211.04325
目前這篇論文已被ICML 2024接收。著名的硅谷天才少年Alexandr Wang也轉發了這篇論文，并附上了自己的一番見解。
他創辦的Sca

原文鏈接：Scaling Law觸礁「數據墻」？Epoch AI發文預測LLM到2028年耗盡所有文本數據

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。