打「推理補丁」之外，實現更強的AI還有哪些不一樣的思路？

機器之心PRO · 會員通訊 Week 49—- 本周為您解讀 ③個值得細品的AI & Robotics業內要事 —-1.在推理階段給大模型「打補丁」之外，實現更強 AI 還有哪些不一樣的思路？o1 離 AGI 還有多遠？在推理階段給大模型「打補丁」之外，實現 AGI 還有哪些思路？流式深度 RL 方法有哪些優勢？對 Richard Sutton 推崇的持續學習有何影響？蘇格拉底式的學習方法可能是實現自我完善 AI 的重要途徑？存在哪些挑戰？…2.皮卡丘的世界模型會比 Meta 先解鎖 AR 元宇宙嗎？元宇宙的熱度被又被世界模型拉回來了？All in 的 Meta 有哪些技術儲備？World Labs 的大世界模型會更有機會嗎？谷歌DeepMind 新發的 Genie 2 有多強？用寶可夢Go訓練的世界模型會更強嗎？…3. 諾獎得主論壇：AI4S 下一步還要跨過什么坎？諾獎的主都聊了哪些AI4S的話題？Hassabis最喜歡AlphaFold 的哪些用例？GeNome 對材料學有什么影響？AI4S在應用中有哪些「副作用」？……本期完整版通訊含 3 項專題解讀 + 29 項本周 AI & Robotics 賽道要事速遞，其中技術方面 9項，國內方面 8 項，國外方面 12 項。本期通訊總計 23477 字，可免費試讀至 7%消耗99微信豆即可兌換完整本期解讀（約合人民幣9.9元）要事解讀① 打「推理補丁」之外，實現更強的AI還有哪些不一樣的思路？日期：11 月 2 日：o1 模型的推出將研究方向從預訓練帶向了推理層，盡管給大模型「打補丁」的方式取得了一定效果，但無限地通過擴展測試時間計算，就能實現通用人工智能嗎？規模能擴展到什么程度？計算資源、時間成本問題如何解決？無限的知識和數據是否意味著大模型具有真實的泛化能力？強化學習之父 Richard Sutton 這樣形容當下的業內研究方向，「就像是在路燈下找鑰匙的問題，我丟了鑰匙會在路燈下找，因為那里能看見，盡管那可能不是鑰匙所在的地方。」近期，有兩項新的研究工作跳出了「在路燈下找鑰匙」的視野范圍，指出了實現更強 AI 的兩個可能方向。o1 還不能稱為 AGI：推理計算之外，實現 AGI 還有哪些不一樣的思路？1、近期，OpenAI o1 模型的推出將 Scaling Laws 范式從預訓練帶向了推理層。隨后國內多家大廠、AI 創企也陸續發布了類 o1 推理模型，如 R1-Lite（DeepSeek）、k0-math（月之暗面）、QwQ（阿里）等。AI 業內的關注點逐漸轉向推理層。2、 盡管 o1 等推理模型在復雜推理等方面的能力顯著提升，但 o1 帶來的范式轉變僅是從記住答案到記住正確的推理邏輯，從而輸出正確結論。「測試時訓練」技術像是一塊「補丁」，通過給大模型一個「臨時記憶」，臨時調整反應，讓大模型能夠回答問題。盡管大模型能夠輸出正確的答案，但并不意味著其能真正理解或具有推理能力。3、除了通過語言大模型方向來加強深度學習來實現 AGI 的主流路線之外，AI 業內的大佬們提出了一些不同的思路，如 Yann Lecun 提出的世界模型路線，Richard Sutton 提出的持續學習等。4、近期，有兩項新的研究工作跳出了「如何更好地讓語言模型在 Pre-training 階段學習知識、在 Post-training/Inference 階段提高表現」的視野范圍，指出了實現更強 AI 的兩個可能思路。① 受到 Richard Sutton 的高度評價的阿爾伯塔大學的一項研究工作，提出了一個新的深度強化學習算法「stream-x」，解決了流式深度強化學習中的流式障礙問題，為持續學習和終身學習提供了支撐；② Google DeepMind 近期的一項工作提出了一種創新性的 AI 遞歸自我完善的新方法，即「蘇格拉底式學習」，突破了傳統訓練數據的局限，是實現自主且自我完善的人工智能的重要途徑。阿爾伯塔的 stream-x 算法：解決「流式障礙」，為實現持續學習提供可能1、阿爾伯塔大學近期的一項新工作，得到了強化學習之父 Richard Sutton 的推薦。該工作提出了一個新的深度強化學習（Deep Reinforcement Learning，DRL）算法「stream-x」，解決了流式深度強化學習中的流式障礙問題。[1]① 「stream-x」算法能夠在沒有經驗回放（Experience Replay）、目標網絡（Target Networks）或批量更新（Batch Updates）的情況下進行有效的學習。② 研究者發現，「stream AC」算法能夠在沒有存儲和重用樣本的情況下，通過實時處理數據流，實現與 PPO 算法相近的學習效果和任務性能，甚至在某些復雜環境中超越了批量強化學習算法的性能。2、相比于目前主流的批量學習，流式學習有很大的發展空間，適應于計算資源受限和需要實時決策的環境。特別是在 TinyML 領域，流式強化學習的優勢更大。