北大對齊團隊獨家解讀：OpenAI o1開啟「后訓(xùn)練」時代強化學(xué)習(xí)新范式

AIGC動態(tài)歡迎閱讀

原標(biāo)題：北大對齊團隊獨家解讀：OpenAI o1開啟「后訓(xùn)練」時代強化學(xué)習(xí)新范式
關(guān)鍵字：模型,過程,能力,任務(wù),數(shù)據(jù)
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.comOpenAI o1 在數(shù)學(xué)、代碼、長程規(guī)劃等問題取得顯著的進(jìn)步。一部分業(yè)內(nèi)人士分析其原因是由于構(gòu)建足夠龐大的邏輯數(shù)據(jù)集，再加上類似 AlphaGo 中 MCTS 和 RL 的方法直接搜索，只要提供足夠的計算量用于搜索，總可以搜到最后的正確路徑。然而，這樣只是建立起問題和答案之間的更好的聯(lián)系，如何泛化到更復(fù)雜的問題場景，技術(shù)遠(yuǎn)不止這么簡單。AlphaGo 是強化學(xué)習(xí)在圍棋領(lǐng)域中的一大成功，成功擊敗了當(dāng)時的世界冠軍。早在去年，Deepmind 的 CEO Demis Hassabis 便強調(diào)用 Tree Search 來增強模型的推理能力。根據(jù)相關(guān)人士推測，o1 的模型訓(xùn)練數(shù)據(jù)截止到去年十月份，而有關(guān) Q * 的爆料大約是去年 11 月

原文鏈接：北大對齊團隊獨家解讀：OpenAI o1開啟「后訓(xùn)練」時代強化學(xué)習(xí)新范式