国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

僅靠邏輯題,AI數學競賽能力飆升!微軟、九坤投資:7B小模型也能逼近o3-mini

AIGC動態8個月前發布 機器之心
521 0 0

在完全未見過的美國數學奧林匹克(AIME)測試中,該模型的推理性能提升了125%!

僅靠邏輯題,AI數學競賽能力飆升!微軟、九坤投資:7B小模型也能逼近o3-mini

原標題:僅靠邏輯題,AI數學競賽能力飆升!微軟、九坤投資:7B小模型也能逼近o3-mini
文章來源:機器之心
內容字數:6931字

DeepSeek R1:僅用5000條合成數據,大幅提升AI數學競賽水平

機器之心AIxiv專欄報道了微軟亞洲研究院、九坤投資和研究員合作完成的一項最新研究,該研究揭秘了DeepSeek R1模型如何通過低成本強化學習,在邏輯推理測試中取得顯著突破。該研究論文題為《Logic-RL: Unleashing LLM Reasoning with Rule-Based Reinforcement Learning》,已發布在arXiv上。

1. 研究目標及方法

該研究旨在探究強化學習在提升大型語言模型 (LLM) 邏輯推理能力中的有效性,并解答一系列關鍵問題,例如:最佳強化學習算法選擇、冷啟動與基于基礎模型啟動的差異、模型輸出長度與推理能力的關系、特定詞匯與推理能力的關聯,以及強化學習與監督微調的優劣比較等。

研究團隊采用完全由程序合成的邏輯謎題作為訓練數據,這些謎題具有難度可控、答案明確等優點,有效避免了自然語言任務中常見的模糊性。他們設計了一個基于規則的獎勵系統,幾乎杜絕了模型作弊行為,并通過 REINFORCE++ 算法進行訓練。

2. 關鍵發現

研究發現,僅需5000條合成邏輯謎題,7B參數規模的小模型就能在邏輯推理測試中超越OpenAI o1,逼近o3-mini-high的性能。在未見過的美國數學奧林匹克(AIME)測試中,推理性能提升了125%。

一些有趣的發現包括:

  1. 詞匯與推理能力: 諸如“verify”、“check”等反思性詞匯的出現與推理性能提升相關,但并非所有此類詞匯都具有積極作用。“recheck”反而可能表明模型猶豫不決,增加錯誤概率。
  2. 語言混雜: 中英夾雜會降低模型性能,建議在獎勵系統中加入語言一致性懲罰。
  3. “頓悟時刻”: 研究并未發現模型訓練過程中存在突如其來的“Aha moment”,與反思相關的詞匯在訓練初期就已經出現,只是頻率較低。
  4. 強化學習vs.監督微調: 強化學習在不依賴數據結構的情況下,以極低的數據代價實現了高效進化,展現出強大的泛化性,優于監督微調。
  5. 輸出長度與性能: 模型輸出長度的增加并不一定代表推理性能的提升,過長的輸出反而可能導致“過度思考”和錯誤。

3. 代碼和數據開源

該團隊完整開源了全流程代碼、參數設置、訓練數據和設計經驗,為后續研究提供了寶貴的參考。

4. 結論

這項研究證明了強化學習在提升LLM邏輯推理能力方面的巨大潛力,并為未來研究提供了諸多有價值的經驗和啟示。其低成本、高效率的訓練方法,為AI在數學及其他邏輯推理領域的應用開辟了新的道路。


聯系作者

文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        天天综合色天天| 91麻豆福利精品推荐| 精品一区二区av| 日韩一区二区免费视频| 九色|91porny| 国产欧美一区二区三区沐欲| 国产一区二区三区免费看| 欧美激情中文字幕一区二区| 成人晚上爱看视频| 亚洲国产精品久久久久秋霞影院| 3d动漫精品啪啪| 国产精品888| 亚洲激情图片一区| 精品国产亚洲一区二区三区在线观看| 狠狠狠色丁香婷婷综合激情| 国产精品久久三区| 91精品国产综合久久精品麻豆| 裸体健美xxxx欧美裸体表演| 国产精品你懂的| 8x福利精品第一导航| 国产xxx精品视频大全| 亚洲午夜一区二区三区| 国产视频不卡一区| 欧美视频在线观看一区二区| 激情综合色综合久久综合| 亚洲欧美激情小说另类| 亚洲精品一区在线观看| 精品视频1区2区| av色综合久久天堂av综合| 精品一区二区三区影院在线午夜 | 欧美老肥妇做.爰bbww| 激情偷乱视频一区二区三区| 亚洲精品欧美专区| 欧美经典一区二区| 欧美一区二区三区免费视频| 99re成人精品视频| 国产一区二区成人久久免费影院 | 亚洲综合视频网| 久久久精品日韩欧美| 91精品一区二区三区久久久久久 | 香蕉久久夜色精品国产使用方法 | 欧美白人最猛性xxxxx69交| 91久久香蕉国产日韩欧美9色| 久久精品国产澳门| 青青草精品视频| 亚洲电影激情视频网站| 亚洲图片另类小说| 国产精品家庭影院| 国产精品成人一区二区三区夜夜夜| 日韩美女天天操| 欧美一区二区三区视频免费 | 激情伊人五月天久久综合| 亚洲国产wwwccc36天堂| 亚洲精品成a人| 亚洲女人****多毛耸耸8| 国产日本欧美一区二区| 国产日韩欧美激情| 国产精品嫩草久久久久| 国产精品久久久久婷婷| 亚洲欧美日韩成人高清在线一区| 亚洲品质自拍视频网站| 一区二区三区日韩欧美精品| 亚洲激情中文1区| 亚洲图片欧美色图| 午夜电影一区二区| 天天影视网天天综合色在线播放| 亚洲国产精品久久不卡毛片 | 精品视频在线免费看| 欧美日本乱大交xxxxx| 7777女厕盗摄久久久| 欧美一级黄色大片| 久久精品欧美一区二区三区不卡| 国产亚洲综合色| 国产精品国产三级国产aⅴ中文 | 欧美日韩三级一区二区| 日韩网站在线看片你懂的| 久久蜜桃一区二区| 日韩美女精品在线| 图片区日韩欧美亚洲| 狠狠色狠狠色综合| av色综合久久天堂av综合| 欧美人狂配大交3d怪物一区| 91精品国产91久久久久久最新毛片 | 欧美男生操女生| 这里只有精品视频在线观看| 久久―日本道色综合久久| 综合欧美亚洲日本| 日韩高清一级片| 国产盗摄一区二区| 欧美日韩色综合| 国产欧美久久久精品影院| 亚洲一区二区三区四区五区黄| 日韩av不卡在线观看| 国产91富婆露脸刺激对白| 欧美日韩在线精品一区二区三区激情| 精品国产1区2区3区| 亚洲欧美激情小说另类| 黄色日韩三级电影| 欧美日韩不卡一区二区| 欧美国产日产图区| 免费视频一区二区| 一本到不卡精品视频在线观看| 欧美大尺度电影在线| 亚洲一区在线观看视频| 国产一区在线不卡| 日韩一区二区不卡| 日韩激情视频网站| 在线影视一区二区三区| 国产偷国产偷精品高清尤物| 日本在线播放一区二区三区| 色伊人久久综合中文字幕| 久久久久久久久久久久久夜| 日韩精彩视频在线观看| 在线免费一区三区| 国产精品对白交换视频| 国产老妇另类xxxxx| 日韩一区二区三区免费看 | 一本色道久久加勒比精品| 精品国产3级a| 麻豆91在线观看| 91精品国产综合久久婷婷香蕉| 一区二区三区中文字幕在线观看| 国产成人高清在线| 国产午夜精品福利| 成人免费av资源| 久久九九久久九九| 国产精品18久久久久| 久久综合中文字幕| 久久国产精品无码网站| 精品成人一区二区| 国内外精品视频| 久久综合给合久久狠狠狠97色69| 蜜桃在线一区二区三区| 欧美精品免费视频| 日韩高清不卡在线| 日韩视频在线永久播放| 日本va欧美va精品发布| 日韩一区二区电影网| 精品一区二区三区视频在线观看 | 亚洲图片自拍偷拍| 欧美日本在线一区| 久久99热狠狠色一区二区| www成人在线观看| 成人免费观看av| 一区二区三区在线观看网站| 欧美精品一二三| 老司机一区二区| 中文字幕第一区二区| 色香蕉成人二区免费| 亚洲图片一区二区| 精品三级在线观看| 不卡一区二区三区四区| 亚洲小说欧美激情另类| 欧美videos中文字幕| 99九九99九九九视频精品| 亚洲美女屁股眼交| 6080日韩午夜伦伦午夜伦| 国产成都精品91一区二区三| 亚洲青青青在线视频| 91精品综合久久久久久| 国产成人在线观看免费网站| 亚洲欧美一区二区三区孕妇| 91精品国产aⅴ一区二区| 国产.欧美.日韩| 亚洲国产精品精华液网站| 久久亚洲精品小早川怜子| 一本色道亚洲精品aⅴ| 老司机午夜精品| 亚洲综合在线免费观看| 日韩欧美一区二区免费| 91小宝寻花一区二区三区| 看国产成人h片视频| 亚洲欧美一区二区视频| 精品国产乱码久久久久久浪潮| 色av一区二区| 丁香亚洲综合激情啪啪综合| 亚洲3atv精品一区二区三区| 国产精品网曝门| 67194成人在线观看| 一本大道av伊人久久综合| 国内国产精品久久| 日韩av午夜在线观看| 一区二区三区在线免费观看| 日本一区二区三区视频视频| 欧美日韩精品免费| 95精品视频在线| 成人app在线| 国产精品一二三区在线| 麻豆一区二区99久久久久| 亚洲第一久久影院| 亚洲三级在线免费观看| 国产女人18水真多18精品一级做| 91精品欧美久久久久久动漫| 91女厕偷拍女厕偷拍高清| 丁香网亚洲国际| 国产成人啪免费观看软件| 久久精品国产99| 久色婷婷小香蕉久久| 日本aⅴ亚洲精品中文乱码| 亚洲成人精品一区|