Andrej Karpathy 最新視頻盛贊 DeepSeek：R1 正在發現人類思考的邏輯并進行復現

如果只是模仿人類玩家、AI 是無法超越人類的，但純 RL 算法卻能突破人類限制。

原標題：Andrej Karpathy 最新視頻盛贊 DeepSeek：R1 正在發現人類思考的邏輯并進行復現
文章來源：AI科技評論
內容字數：13108字

AI大模型進化與強化學習的崛起：解讀Andrej Karpathy最新視頻

近日，Andrej Karpathy發布時長3小時的視頻，深入探討AI大模型的進化歷程，特別是強化學習(RL)在其中扮演的關鍵角色。AI科技評論對視頻后半部分進行了總結，提煉出以下關鍵觀點：

1. 強化學習在大模型中仍處于起步階段

視頻指出，當前大語言模型的訓練過程類似于教育孩子：預訓練和監督微調已較為成熟，但強化學習訓練仍處于早期階段，尚未成為行業標準。雖然RL的思路簡單——試錯學習，但實際操作中涉及諸多細節，例如最優解選擇、訓練量確定、參數設置等，都需要精心設計。DeepSeek-R1論文的發布，首次公開討論了RL在大語言模型中的應用，并強調其在提升模型推理能力方面的作用，重新激發了公眾對RL訓練LLM的興趣。

2. DeepSeek-R1的突出表現

DeepSeek-R1在數學問題求解上的表現令人印象深刻。隨著訓練迭代次數增加，其準確率持續攀升，并展現出“思維鏈”（CoT）能力——模型通過更長的響應、嘗試多種方法、回溯等步驟來提高準確性，這與人類解決問題的方式非常相似。雖然OpenAI的模型也運用RL技術，但DeepSeek-R1公開展示了完整的推理過程，而OpenAI則出于“蒸餾風險”的考慮，只展示結果總結。兩者性能不相上下。

3. 純RL超越人類限制

視頻以AlphaGo為例，說明純RL算法可以超越人類限制。模仿人類玩家的監督學習模型最終會遇到瓶頸，而RL則能夠通過自我對弈，發現人類從未想到的策略，從而取得更好的結果。這證明了RL的強大學習能力，它不受人類表現的限制，能夠探索出更優的解決方案。

4. RLHF的優勢與不足

從人類反饋中進行強化學習(RLHF)能夠提升模型性能，尤其在難以驗證的領域（如摘要生成、詩歌創作）中效果顯著。RLHF降低了數據標注難度，只需對模型生成的多個選項進行排序，無需進行復雜的創意寫作。但RLHF也存在不足：其基于對人類判斷的模擬，可能存在誤導；強化學習容易“”模型，導致錯誤決策。

5. LLM的未來發展趨勢

未來，LLM將具備更強的多模態能力，能夠處理文本、音頻和圖像等多種數據類型。此外，能夠執行長期任務的“智能體”將出現，人類將成為這些智能體的監督者。最后，作者提出了“瑞士奶酪”模型能力框架，提醒人們LLM并非完美無缺，會在特定情況下出現隨機失敗，需要謹慎使用。

聯系作者

文章來源：AI科技評論
作者微信：
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。