国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

僅靠邏輯題,AI數學競賽能力飆升!微軟、九坤投資:7B小模型也能逼近o3-mini

AIGC動態8個月前發布 機器之心
521 0 0

在完全未見過的美國數學奧林匹克(AIME)測試中,該模型的推理性能提升了125%!

僅靠邏輯題,AI數學競賽能力飆升!微軟、九坤投資:7B小模型也能逼近o3-mini

原標題:僅靠邏輯題,AI數學競賽能力飆升!微軟、九坤投資:7B小模型也能逼近o3-mini
文章來源:機器之心
內容字數:6931字

DeepSeek R1:僅用5000條合成數據,大幅提升AI數學競賽水平

機器之心AIxiv專欄報道了微軟亞洲研究院、九坤投資和研究員合作完成的一項最新研究,該研究揭秘了DeepSeek R1模型如何通過低成本強化學習,在邏輯推理測試中取得顯著突破。該研究論文題為《Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning》,已發布在arXiv上。

1. 研究目標及方法

該研究旨在探究強化學習在提升大型語言模型 (LLM) 邏輯推理能力中的有效性,并解答一系列關鍵問題,例如:最佳強化學習算法選擇、冷啟動與基于基礎模型啟動的差異、模型輸出長度與推理能力的關系、特定詞匯與推理能力的關聯,以及強化學習與監督微調的優劣比較等。

研究團隊采用完全由程序合成的邏輯謎題作為訓練數據,這些謎題具有難度可控、答案明確等優點,有效避免了自然語言任務中常見的模糊性。他們設計了一個基于規則的獎勵系統,幾乎杜絕了模型作弊行為,并通過 REINFORCE++ 算法進行訓練。

2. 關鍵發現

研究發現,僅需5000條合成邏輯謎題,7B參數規模的小模型就能在邏輯推理測試中超越OpenAI o1,逼近o3-mini-high的性能。在未見過的美國數學奧林匹克(AIME)測試中,推理性能提升了125%。

一些有趣的發現包括:

  1. 詞匯與推理能力: 諸如“verify”、“check”等反思性詞匯的出現與推理性能提升相關,但并非所有此類詞匯都具有積極作用。“recheck”反而可能表明模型猶豫不決,增加錯誤概率。
  2. 語言混雜: 中英夾雜會降低模型性能,建議在獎勵系統中加入語言一致性懲罰。
  3. “頓悟時刻”: 研究并未發現模型訓練過程中存在突如其來的“Aha moment”,與反思相關的詞匯在訓練初期就已經出現,只是頻率較低。
  4. 強化學習vs.監督微調: 強化學習在不依賴數據結構的情況下,以極低的數據代價實現了高效進化,展現出強大的泛化性,優于監督微調。
  5. 輸出長度與性能: 模型輸出長度的增加并不一定代表推理性能的提升,過長的輸出反而可能導致“過度思考”和錯誤。

3. 代碼和數據開源

該團隊完整開源了全流程代碼、參數設置、訓練數據和設計經驗,為后續研究提供了寶貴的參考。

4. 結論

這項研究證明了強化學習在提升LLM邏輯推理能力方面的巨大潛力,并為未來研究提供了諸多有價值的經驗和啟示。其低成本、高效率的訓練方法,為AI在數學及其他邏輯推理領域的應用開辟了新的道路。


聯系作者

文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        日韩欧美123| 欧美精品日韩综合在线| 亚洲bt欧美bt精品| 国产黄色精品网站| 欧美一区二区免费视频| 亚洲三级电影全部在线观看高清| 裸体歌舞表演一区二区| 91精品国产一区二区三区| 亚洲精品视频在线观看免费| 国产精品88888| 国产欧美视频一区二区| 蜜乳av一区二区三区| 91麻豆精品国产91久久久久| 亚洲国产sm捆绑调教视频 | 麻豆91精品91久久久的内涵| 欧美色成人综合| 舔着乳尖日韩一区| 久久伊人蜜桃av一区二区| 国产一区二区不卡老阿姨| 久久精品视频一区二区| 不卡在线视频中文字幕| 亚洲午夜久久久久久久久久久| 欧美色图第一页| 国产高清精品久久久久| 亚洲欧美国产高清| 日韩写真欧美这视频| 国产成人精品免费| 午夜精品国产更新| 亚洲永久精品国产| 欧美日韩1234| 91视频91自| 懂色av噜噜一区二区三区av| 亚洲精品中文字幕在线观看| 久久伊人蜜桃av一区二区| 欧美日韩精品欧美日韩精品| 一本色道久久综合亚洲aⅴ蜜桃| 韩国精品主播一区二区在线观看| 亚洲精品老司机| 亚洲欧美电影院| 亚洲线精品一区二区三区| 1区2区3区国产精品| 亚洲美女屁股眼交3| 中文字幕一区二区三| 一区二区三区四区中文字幕| 亚洲精品日韩一| 国产综合色在线视频区| 欧美老人xxxx18| 26uuu精品一区二区| 欧美va亚洲va香蕉在线| 91精品国产色综合久久不卡蜜臀| 国产精品麻豆欧美日韩ww| 高清在线观看日韩| 日韩色在线观看| 亚洲一区在线播放| 国产在线看一区| 日韩精品中午字幕| 欧美高清在线一区二区| 日韩毛片在线免费观看| 麻豆精品视频在线观看| 欧美一区二区在线播放| 国产欧美日韩另类一区| 亚洲一区成人在线| 欧美午夜精品一区二区蜜桃| 国产亚洲精品bt天堂精选| 欧美日韩精品一区二区| 精品视频在线免费观看| 欧美精品在线视频| 精品国产一区二区在线观看| 色视频成人在线观看免| 成人夜色视频网站在线观看| 99精品欧美一区二区蜜桃免费| www.久久精品| 欧美精品一卡两卡| 精品美女被调教视频大全网站| 国产调教视频一区| 中文字幕一区二区三区四区| 久久精品人人做| 亚洲乱码日产精品bd| 三级成人在线视频| 国产一区二区三区四区在线观看| 成人小视频免费观看| 91色九色蝌蚪| 久久网这里都是精品| 亚洲综合精品自拍| 丁香婷婷综合色啪| 日韩美一区二区三区| 日韩精品国产欧美| 91精品国产综合久久久久久久久久| 亚洲mv大片欧洲mv大片精品| 欧美午夜影院一区| 无码av免费一区二区三区试看 | 亚洲欧美日韩国产一区二区三区| 激情av综合网| 亚洲国产中文字幕在线视频综合 | 欧美色爱综合网| 亚洲欧洲av色图| 91在线观看成人| 亚洲男人的天堂一区二区| jiyouzz国产精品久久| 欧美一级高清片| 成人影视亚洲图片在线| 欧美国产精品一区二区| 99精品久久99久久久久| 亚洲一区二区三区精品在线| 精品国产乱码久久久久久老虎| 精品一区二区三区欧美| 一区二区欧美精品| 国产亚洲一区二区三区在线观看| 成人免费观看av| 精品一区二区精品| 精品视频在线免费看| 视频一区在线播放| 中文字幕一区二区三区精华液| 97精品国产露脸对白| 国产日本欧美一区二区| 日本二三区不卡| 韩国一区二区视频| 亚洲一区二区三区自拍| 欧美成人a在线| a在线播放不卡| 国产成a人亚洲精| 国产美女精品人人做人人爽| 精品一区二区三区在线观看| 蜜臀久久久99精品久久久久久| 亚洲影院免费观看| 久久成人羞羞网站| 天堂午夜影视日韩欧美一区二区| 久久久欧美精品sm网站| 欧美一区二区三区视频| 色狠狠av一区二区三区| 99re这里只有精品首页| 国产精品一区免费视频| 激情偷乱视频一区二区三区| 欧美aaaaaa午夜精品| 奇米在线7777在线精品| 国产91精品露脸国语对白| 99久久精品久久久久久清纯| 欧美视频精品在线观看| 精品剧情v国产在线观看在线| 欧美精品一区二区三区蜜臀| 一区二区三区蜜桃网| 洋洋av久久久久久久一区| 亚洲一区在线观看免费| 亚洲欧美乱综合| 亚洲国产成人va在线观看天堂| 亚洲精品国产视频| 亚洲一区二区精品视频| 视频一区视频二区中文| 国产成人在线影院| 在线区一区二视频| 久久久久久**毛片大全| 日韩有码一区二区三区| 色视频成人在线观看免| 亚洲欧美在线视频| 欧美国产国产综合| 一区二区激情小说| 韩日精品视频一区| 欧美丝袜丝交足nylons图片| 日韩美女在线视频| 亚洲二区在线观看| 国产精品一区二区久激情瑜伽| 色综合天天在线| 久久精品在这里| 六月婷婷色综合| 精品久久久久久无| 国产乱码精品一区二区三| 国产亚洲成年网址在线观看| 成人性生交大合| 欧美国产日韩在线观看| 久久精品国产秦先生| 色999日韩国产欧美一区二区| 久久精品综合网| 国产精品18久久久久久vr| 日韩三级中文字幕| 精品无码三级在线观看视频| 26uuu另类欧美| 欧美午夜免费电影| 亚洲欧美日韩综合aⅴ视频| 日韩午夜小视频| 国产精品一色哟哟哟| 国产亚洲综合在线| 成人国产视频在线观看| 亚洲视频你懂的| 91精品国产免费| 国产盗摄精品一区二区三区在线 | 日本伊人色综合网| 欧美不卡一区二区三区四区| 久久国产日韩欧美精品| 久久婷婷国产综合精品青草| 成人免费视频一区| 日本亚洲一区二区| 久久女同精品一区二区| 欧美伊人精品成人久久综合97| 不卡一区在线观看| 国产成人啪免费观看软件| 九色porny丨国产精品| 欧美国产日韩a欧美在线观看| 欧美日韩国产高清一区二区| 国产91色综合久久免费分享| 毛片基地黄久久久久久天堂|