預訓練時代已經結束了

原標題：Ilya Sutskever 在 NeurIPS 2024 的演講：預訓練時代已經結束了
文章來源：AI前線
內容字數：10392字

Ilya Sutskever 在 NeurIPS 2024 的演講：預訓練時代終結與超級智能展望

本文總結了 Ilya Sutskever 在 NeurIPS 2024 上的演講要點，該演講回顧了過去十年人工智能技術的進步，并對未來發展方向進行了展望。Sutskever 認為預訓練時代已經結束，并提出了對超級智能的思考。

1. 十年回顧：Sequence to Sequence 學習的三個要點

Sutskever 回顧了其十年前的論文《Sequence to sequence learning with neural networks》，總結了該論文的三個核心要點：在文本上訓練的自回歸模型、大型神經網絡以及大型數據集。他解釋了當時“人類在幾分之一秒內能做的事情”這一假設的背景，以及為什么他們關注十層神經網絡（當時的技術限制）。

2. 預訓練時代的終結

Sutskever 提出，預訓練時代已經結束。他認為，雖然計算能力不斷提升，但數據增長卻有限，互聯網數據如同“化石燃料”，已經被大量使用。未來，人工智能發展需要探索新的方向。

3. 預訓練時代后的探索方向

Sutskever 提出了預訓練時代結束后可能的發展方向，包括：Agent、合成數據以及推理時間計算。他以生物學中的哺乳動物大腦大小與身體大小關系為例，說明自然界存在多種發展路徑，人工智能領域也一樣。

4. 超級智能的展望

Sutskever 探討了超級智能的特性，認為它將在質量上與現有智能不同，并提出了幾個關鍵特征：代理化、真正的推理能力、從有限數據中理解事物以及自我意識。他強調，這樣的系統將具有驚人的能力，但也可能帶來新的挑戰。

5. 問答環節

問答環節中，Sutskever 談到了：

1. 人類認知的生物結構探索：他認為生物啟發對人工智能有幫助，但生物研究的局限性也較大，不排除未來有新的發現。
2. 推理能力和模型自我糾正：他認為未來具備推理能力的模型可以自我糾正，發現并理解自身的幻覺。
3. 人工智能的權利：他承認這是一個需要更多思考的問題，并認為未來人工智能可能要求與人類一樣的權利，這并非完全是壞事。
4. LLM 的多跳推理與分布外泛化：他認為這個問題沒有簡單的答案，因為“分布內”和“分布外”的定義本身也在不斷演變。

總而言之，Sutskever 的演講不僅回顧了人工智能領域的過去十年，更重要的是對未來發展方向進行了大膽的預測，并引發了對超級智能以及相關倫理問題的深刻思考。他認為預訓練時代已經結束，新的挑戰與機遇等待著人工智能領域的探索者們。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。