用于訓練AI的數據已經枯竭，預訓練時代結束。

原標題：AI真的要“斷糧”了？OpenAI創始人的最新警告震動全球，但他可能忽略了這個事實…
文章來源：AI范兒
內容字數：4480字

預訓練模式的未來：AI發展的新挑戰與機遇

在最近的NeurIPS會議上，OpenAI的聯合創始人Ilya Sutskever提出了一個引發廣泛討論的觀點：“我們熟知的預訓練模式必將終結。”這一論斷引發了關于AI發展基石的深刻反思。預訓練通常被視為AI模型開發的第一步，然而，Sutskever認為，訓練數據正面臨耗竭的危機。

數據的有限性：石油與AI的類比

Sutskever將訓練數據比作一種不可再生資源，盡管數據本身可以復制，但AI系統從中提取的知識和洞察力卻是有限的。他強調，AI系統需要真正有價值的新數據才能提升能力。雖然現有的數據規模龐大，但如果沒有新的、有質量的數據，AI的表現將難以突破。

對“數據枯竭”觀點的反思

筆者對此觀點持有保留態度。首先，重新學習已有數據可以帶來新的理解和啟發；其次，互聯網每天都有新的內容生成，現有的數據并未達到完全枯竭的階段。優化數據利用效率和模型架構，仍有廣闊的提升空間。

突破瓶頸的可能方向

面對預訓練模式的挑戰，Sutskever提出了幾個潛在的突破方向，包括：發展真正具有思考能力的AI代理、創造高質量的合成數據以及在推理階段投入更多資源。未來的AI系統將不僅依賴模式匹配，而是能夠像人類一樣進行逐步推理，提升其行為的可預測性。

新公司的成立與未來展望

在理念轉變的推動下，Sutskever于2024年創立了Safe Superintelligence Inc（SSI），致力于開發安全的超智能系統。盡管面臨“數據危機”，但通過提升數據質量、改進處理方法以及深化對已有數據的理解，AI行業仍有機會迎來新的發展階段。

結語

在當前AI發展的挑戰與機遇并存的時代，誰能在數據質量提升、已有數據深度挖掘及新數據獲取方面取得突破，誰就有可能成為未來AI時代的引領者。

聯系作者

文章來源：AI范兒
作者微信：
作者簡介：專注于探索 AIGC，發掘人工智能的樂趣。