你可能想象不到，就在幾天前的NeurIPS會議上，OpenAI的聯(lián)合創(chuàng)始人Ilya Sutskever拋出了一個令整個AI圈震驚的觀點：”我們熟知的預訓練模式必將終結。”等等，預訓練不是AI發(fā)展的基石嗎？為什么會終結？預訓練是 AI 模型開發(fā)的第一階段，大語言模型通過互聯(lián)網、書籍等海量未標記數(shù)據來學習模式。讓我們先回到AI發(fā)展的核心驅動力 – 算法、算力、數(shù)據這”三駕馬車”。如今，隨著硬件升級和數(shù)據中心擴建，算力呈指數(shù)級增長；隨著技術突破和持續(xù)創(chuàng)新，算法不斷進步。?在演講中，Sutskever 表示：AI的訓練數(shù)據，正像石油一樣，面臨著耗竭的危機。雖然計算能力在硬件升級、算法改進和數(shù)據中心擴建的推動下不斷提升，但一個無法改變的事實是：”我們只有一個互聯(lián)網”。Sutskever將訓練數(shù)據比作不可再生資源，這個比喻格外深刻。雖然數(shù)據本身可以被復制，但AI系統(tǒng)能從中提取的實質性知識和洞察是有限的，這種限制無法通過簡單的數(shù)據復制來突破。就像反復閱讀同一本書并不會獲得新的知識一樣，AI系統(tǒng)需要真正有價值的新數(shù)據才能提升能力。不過，筆者對這個觀點并不完全認同。中國古人講“溫故而知新”，同樣的內容在不同階段重新學習，往往能獲得新的理解和啟發(fā)。對AI系統(tǒng)來說也是如此，隨著算法的進步和模型架構的改進，重新處理已有數(shù)據可能會挖掘出此前未能發(fā)現(xiàn)的模式和關聯(lián)。而且，現(xiàn)有的互聯(lián)網數(shù)據質量參差不齊，如果能通過更好的數(shù)據清洗和篩選提升訓練數(shù)據的質量，可能比簡單地擴大數(shù)據規(guī)模帶來更顯著的效果提升。當然，高質量的新數(shù)據依然是AI發(fā)展的重要推動力，它能為模型帶來全新的知識領域和應用場景。關鍵在于如何平衡和優(yōu)化這兩個維度：一方面深化對已有數(shù)據的理解，另一方面不斷拓展新的數(shù)據來源。而且，互聯(lián)網也并非靜態(tài)存在，每天都有海量新的內容被創(chuàng)造出來。更值得深思的是，如果說目前的數(shù)據已經接近枯竭，那就意味著現(xiàn)有的大模型已經用盡了世界上所有的有效數(shù)據，卻只達到了目前這樣的水平——這顯然不夠令人信服。事實上，我們有理由相信，無論是在數(shù)據利用效率還是模型架構上，都還有很大的優(yōu)化空間。因此，僅僅因為可能面臨”數(shù)據枯竭”就斷言AI發(fā)展將遇到天花板，似乎還為時尚早。從十層神經網絡到現(xiàn)實的瓶頸為了更好的理解預訓練，讓我們回溯到10年前。2014年，Sutskever提出了一個看似簡單的”深度學習假設”：一個十層神經網絡就能模仿人類在瞬間完成的任何任務。選擇十層的原因很實際——當時的技術條件只能支持這個規(guī)模。這個假設建立在人工神經元和生物神經元的相似性基礎上。但有一個關鍵的區(qū)別：人腦可以自我重構，而AI系統(tǒng)需要與其參數(shù)規(guī)模相匹配的海量訓練數(shù)據。這就像一個永遠饑餓的巨人，需要越來越多的“養(yǎng)料”才能繼續(xù)成長。這個想法開創(chuàng)了預訓練時代，催生了GPT-2、GPT-3等里程碑式的模型。這一重大進展要歸功于前OpenAI同事Alec Radford和Anthropic創(chuàng)始人Dario Amodei的貢獻。但現(xiàn)在，Sutskever認為這種方法似乎已經觸及天花板。有意思的是，Alec Radford和Dario Amodei倒沒有提出這樣的觀點。突破瓶頸：三個可能的方向面對這一挑戰(zhàn)，Sutskever指出了幾個潛在的突破方向：- AI代理：發(fā)展具有真正思考能力的系統(tǒng)，不再依賴純數(shù)據訓練- 合成數(shù)據：創(chuàng)造高質量的新型訓練數(shù)據，他稱這是”重大挑戰(zhàn)”- 增強推理計算：在推理階段投入更多計算資源，而不是一味擴大預訓練規(guī)模他預測，下一代模型將具有”真正的代理特性”。”代理” (Agent) 已成為 AI 領域的熱詞，雖然他沒有詳細解釋，但業(yè)內普遍認為這指的是能夠自主執(zhí)行任務、做決策并與軟件交互的 AI 系統(tǒng)。盡管當前系統(tǒng)的”代理性”還很初級，但隨著思考和推理能力的發(fā)展，這種情況將發(fā)生改變。除了代理特性，他表示未來的系統(tǒng)還將具備推理能力。不同于當前主要依賴模式匹配的 AI，未來的 AI 系統(tǒng)將能夠像人類思考一樣逐步推理。Sutskever 指出，系統(tǒng)的推理能力越強，其行為就越難預測，就像頂級國際象棋 AI 的走法經常讓特級大師也感到意外一樣。”它們能夠從有限數(shù)據中獲取洞察，”他說，”而且不會產生混淆。”而且向真實推理的轉變可能有助于減少AI的”幻覺”現(xiàn)象。在演講中，他還將 AI 系統(tǒng)的發(fā)展與進化生物學做了對比，引用了關于物種大腦和體重關系的研究。他指出，大多數(shù)哺乳動物的大腦體重比遵循一定規(guī)律，但人類祖先卻呈現(xiàn)出完全不同的發(fā)展軌跡。圖：Ilya Sutskever 將人工智能系統(tǒng)的擴展與進化生物學進行了比較他認為，就像進化找到了人類大腦發(fā)展的新路徑，AI 可能也會找到突破當前預訓練模式的新方向。從理論到實踐：SSI的新探索圖：OpenAI聯(lián)合創(chuàng)始人，前首席科學家Ilya Sutskever理念的轉變促使Sutskever在2024年5月離開OpenAI后創(chuàng)立了Safe Superintelligence Inc（SSI）。這家估值50億美元的創(chuàng)業(yè)公司已獲得超過10億美元融資，致力于開發(fā)安全的超智能系統(tǒng)。這場“數(shù)據危機”很可能重塑整個AI行業(yè)的發(fā)展路徑。但與1970年代的石油危機不同，數(shù)據資源的優(yōu)化還有更多可能性：提升數(shù)據質量、改進處理方法、深化對已有數(shù)據的理解，以及探索新的學習范式。在這個充滿挑戰(zhàn)和機遇的時代，誰能在數(shù)據質量提升、已有數(shù)據深度挖掘以及新數(shù)據獲取三個維度取得突破，誰就可能成為下一個AI時代的引領者。? AI范兒要進“交流群”，請關注公眾號獲取進群方式投稿、需求合作或報道請?zhí)砑庸娞柅@取聯(lián)系方式往期推薦分手不要體面！OpenAI前首席科學家Ilya成立新公司，正面硬剛OpenAI30篇論文，就能掌握當今科技90%的知識！ILYA公布神級論文清單(上）僅靠合成數(shù)據無法實現(xiàn) AGIAI訓練數(shù)據成本高昂，僅剩巨頭玩得起！點這里?關注我，記得標星哦～點個在看你最好看