你可能想象不到，就在幾天前的NeurIPS會議上，OpenAI的聯合創始人Ilya Sutskever拋出了一個令整個AI圈震驚的觀點：”我們熟知的預訓練模式必將終結。”等等，預訓練不是AI發展的基石嗎？為什么會終結？預訓練是 AI 模型開發的第一階段，大語言模型通過互聯網、書籍等海量未標記數據來學習模式。讓我們先回到AI發展的核心驅動力 – 算法、算力、數據這”三駕馬車”。如今，隨著硬件升級和數據中心擴建，算力呈指數級增長；隨著技術突破和持續創新，算法不斷進步。?在演講中，Sutskever 表示：AI的訓練數據，正像石油一樣，面臨著耗竭的危機。雖然計算能力在硬件升級、算法改進和數據中心擴建的推動下不斷提升，但一個無法改變的事實是：”我們只有一個互聯網”。Sutskever將訓練數據比作不可再生資源，這個比喻格外深刻。雖然數據本身可以被復制，但AI系統能從中提取的實質性知識和洞察是有限的，這種限制無法通過簡單的數據復制來突破。就像反復閱讀同一本書并不會獲得新的知識一樣，AI系統需要真正有價值的新數據才能提升能力。不過，筆者對這個觀點并不完全認同。中國古人講“溫故而知新”，同樣的內容在不同階段重新學習，往往能獲得新的理解和啟發。對AI系統來說也是如此，隨著算法的進步和模型架構的改進，重新處理已有數據可能會挖掘出此前未能發現的模式和關聯。而且，現有的互聯網數據質量參差不齊，如果能通過更好的數據清洗和篩選提升訓練數據的質量，可能比簡單地擴大數據規模帶來更顯著的效果提升。當然，高質量的新數據依然是AI發展的重要推動力，它能為模型帶來全新的知識領域和應用場景。關鍵在于如何平衡和優化這兩個維度：一方面深化對已有數據的理解，另一方面不斷拓展新的數據來源。而且，互聯網也并非靜態存在，每天都有海量新的內容被創造出來。更值得深思的是，如果說目前的數據已經接近枯竭，那就意味著現有的大模型已經用盡了世界上所有的有效數據，卻只達到了目前這樣的水平——這顯然不夠令人信服。事實上，我們有理由相信，無論是在數據利用效率還是模型架構上，都還有很大的優化空間。因此，僅僅因為可能面臨”數據枯竭”就斷言AI發展將遇到天花板，似乎還為時尚早。從十層神經網絡到現實的瓶頸為了更好的理解預訓練，讓我們回溯到10年前。2014年，Sutskever提出了一個看似簡單的”深度學習假設”：一個十層神經網絡就能模仿人類在瞬間完成的任何任務。選擇十層的原因很實際——當時的技術條件只能支持這個規模。這個假設建立在人工神經元和生物神經元的相似性基礎上。但有一個關鍵的區別：人腦可以自我重構，而AI系統需要與其參數規模相匹配的海量訓練數據。這就像一個永遠饑餓的巨人，需要越來越多的“養料”才能繼續成長。這個想法開創了預訓練時代，催生了GPT-2、GPT-3等里程碑式的模型。這一重大進展要歸功于前OpenAI同事Alec Radford和Anthropic創始人Dario Amodei的貢獻。但現在，Sutskever認為這種方法似乎已經觸及天花板。有意思的是，Alec Radford和Dario Amodei倒沒有提出這樣的觀點。突破瓶頸：三個可能的方向面對這一挑戰，Sutskever指出了幾個潛在的突破方向：- AI代理：發展具有真正思考能力的系統，不再依賴純數據訓練- 合成數據：創造高質量的新型訓練數據，他稱這是”重大挑戰”- 增強推理計算：在推理階段投入更多計算資源，而不是一味擴大預訓練規模他預測，下一代模型將具有”真正的代理特性”。”代理” (Agent) 已成為 AI 領域的熱詞，雖然他沒有詳細解釋，但業內普遍認為這指的是能夠自主執行任務、做決策并與軟件交互的 AI 系統。盡管當前系統的”代理性”還很初級，但隨著思考和推理能力的發展，這種情況將發生改變。除了代理特性，他表示未來的系統還將具備推理能力。不同于當前主要依賴模式匹配的 AI，未來的 AI 系統將能夠像人類思考一樣逐步推理。Sutskever 指出，系統的推理能力越強，其行為就越難預測，就像頂級國際象棋 AI 的走法經常讓特級大師也感到意外一樣。”它們能夠從有限數據中獲取洞察，”他說，”而且不會產生混淆。”而且向真實推理的轉變可能有助于減少AI的”幻覺”現象。在演講中，他還將 AI 系統的發展與進化生物學做了對比，引用了關于物種大腦和體重關系的研究。他指出，大多數哺乳動物的大腦體重比遵循一定規律，但人類祖先卻呈現出完全不同的發展軌跡。圖：Ilya Sutskever 將人工智能系統的擴展與進化生物學進行了比較他認為，就像進化找到了人類大腦發展的新路徑，AI 可能也會找到突破當前預訓練模式的新方向。從理論到實踐：SSI的新探索圖：OpenAI聯合創始人，前首席科學家Ilya Sutskever理念的轉變促使Sutskever在2024年5月離開OpenAI后創立了Safe Superintelligence Inc（SSI）。這家估值50億美元的創業公司已獲得超過10億美元融資，致力于開發安全的超智能系統。這場“數據危機”很可能重塑整個AI行業的發展路徑。但與1970年代的石油危機不同，數據資源的優化還有更多可能性：提升數據質量、改進處理方法、深化對已有數據的理解，以及探索新的學習范式。在這個充滿挑戰和機遇的時代，誰能在數據質量提升、已有數據深度挖掘以及新數據獲取三個維度取得突破，誰就可能成為下一個AI時代的引領者。? AI范兒要進“交流群”，請關注公眾號獲取進群方式投稿、需求合作或報道請添加公眾號獲取聯系方式往期推薦分手不要體面！OpenAI前首席科學家Ilya成立新公司，正面硬剛OpenAI30篇論文，就能掌握當今科技90%的知識！ILYA公布神級論文清單(上）僅靠合成數據無法實現 AGIAI訓練數據成本高昂，僅剩巨頭玩得起！點這里?關注我，記得標星哦～點個在看你最好看