AI大牛卡帕西盛贊DeepSeek！對著論文夸了半小時，稱其思維能力“難以置信”

AI大牛卡帕西談DeepSeek。

原標題：AI大牛卡帕西盛贊DeepSeek！對著論文夸了半小時，稱其思維能力“難以置信”
文章來源：智東西
內(nèi)容字數(shù)：6557字

卡帕西詳解DeepSeek-R1：強化學習引領(lǐng)大模型新篇章

本文總結(jié)了AI大牛安德烈·卡帕西在其3.5小時YouTube課程中關(guān)于DeepSeek-R1及強化學習的精彩內(nèi)容。課程中，卡帕西重點闡述了強化學習在大型語言模型訓練中的關(guān)鍵作用，以及DeepSeek-R1研究的突破性意義。

1. DeepSeek-R1：強化學習的可靠驗證

卡帕西將大語言模型的訓練過程分為三個階段：預訓練、監(jiān)督微調(diào)(SFT)和強化學習(RL)。他強調(diào)，強化學習是“一切調(diào)整到位的環(huán)節(jié)”。DeepSeek-R1論文的重大貢獻在于首次公開討論了強化學習在大型語言模型中的應用，并分享了其如何賦予模型推理能力。DeepSeek-R1在AIME數(shù)學競賽中的表現(xiàn)印證了這一點：通過不斷試錯和獎勵正確答案，模型準確率持續(xù)提升，并涌現(xiàn)出類似人類的解題策略，甚至發(fā)現(xiàn)了更長的答案能提升準確率的規(guī)律。這種“aha moment”體現(xiàn)了強化學習的強大潛力，卡帕西認為這是RL應用于大語言模型最令人難以置信的成果。

2. 強化學習的巨大潛力：超越監(jiān)督學習的局限

卡帕西將DeepSeek-R1的成功與AlphaGo的成就進行類比。AlphaGo通過強化學習，超越了人類圍棋頂尖高手，甚至創(chuàng)造出“神之一手”——人類難以預料的制勝策略。這證明了強化學習能夠突破監(jiān)督學習的限制，發(fā)現(xiàn)人類未知的解決方案。卡帕西認為，在大語言模型領(lǐng)域持續(xù)擴展強化學習，有可能解鎖人類從未設想過的思考方式，例如發(fā)現(xiàn)新的類比、全新的思考策略，甚至發(fā)明更適合思考的語言。

3. 未來趨勢：多模態(tài)AI、Agents和測試時訓練

卡帕西還展望了未來AI發(fā)展的幾個重要趨勢：首先是多模態(tài)AI，他認為音頻、圖片、視頻等數(shù)據(jù)與文本數(shù)據(jù)沒有本質(zhì)區(qū)別，都可以被token化，因此大語言模型的訓練方法同樣適用于多模態(tài)AI。其次是Agents，即具備自主規(guī)劃和執(zhí)行復雜任務能力的AI系統(tǒng)。最后是測試時訓練(test-time training)，這將允許模型根據(jù)新數(shù)據(jù)微調(diào)參數(shù)，從而更好地適應特定問題。