rStar-Math – 微軟推出的小模型復雜推理與自進化SLMs的創新技術

rStar-Math是微軟亞洲研究院推出的一項前沿研究項目，利用蒙特卡洛樹搜索（MCTS）驅動的深度思考，使得小型語言模型（SLMs）在數學推理方面的表現達到甚至超越OpenAI的大型模型。該項目通過自我進化的深度思考，顯著提升了模型性能，無需依賴于更高級模型的數據蒸餾。

rStar-Math是什么

rStar-Math是微軟亞洲研究院開發的一項創新性研究項目，通過蒙特卡洛樹搜索（MCTS）實現深度推理，使小型語言模型（SLMs）在數學推理的能力上達到甚至超過OpenAI的大型模型。該項目不依賴于從更高階模型進行數據蒸餾，而是通過自我進化的方式提升模型的性能。rStar-Math引入了三種創新技術：代碼增強的逐步驗證推理軌跡合成、基于Q值的過程偏好模型（PPM）訓練方法，以及四輪自我進化的訓練策略。在MATH基準測試中，rStar-Math將Qwen2.5-Math-7B的準確率從58.8%提升至90.0%，并在AIME 2024測試中平均解決了53.3%的問題，超越了OpenAI的o1-preview模型。rStar-Math展現了模型的內在自我反思能力，能夠在推理過程中識別并糾正錯誤的步驟。

rStar-Math的主要功能

• 生成高質量的數學推理軌跡：依托蒙特卡洛樹搜索（MCTS）生成逐步驗證的推理軌跡，確保每個推理步驟的準確性和高質量。
• 自我進化：通過四輪自我進化，不斷優化策略模型和過程偏好模型（PPM）的性能，以應對更復雜的數學問題。
• 提升模型準確率：在多項數學基準測試中，顯著提高模型的準確率，例如在MATH基準測試中將Qwen2.5-Math-7B的準確率從58.8%提升至90.0%。
• 自我反思能力：該模型能夠在推理過程中識別并修正錯誤的步驟，展現出卓越的自我反思能力。

rStar-Math的技術原理

• 代碼增強的逐步驗證推理軌跡合成
  • MCTS驅動的深度思考：將復雜的數學問題分解為多項單步生成任務，基于MCTS逐步構建搜索樹，生成推理軌跡。
  • 代碼執行驗證：策略模型生成自然語言（NL）推理步驟及相應的Python代碼。
  • Q值標注：通過終端引導標注和PPM增強標注兩種方法，為每個步驟自動分配Q值，引導MCTS節點選擇并識別高質量步驟。
• 過程偏好模型（PPM）訓練方法
  • 避免直接使用Q值：傳統的Q值作為獎勵標簽可能存在噪聲和不準確的問題。rStar-Math通過構建步驟級的正負偏好對，利用成對排名損失來訓練PPM，從而提升標簽的可靠性。
  • 偏好對構建：為每個步驟選擇Q值最高的兩個步驟作為正例，Q值最低的兩個步驟作為負例。PPM通過這些偏好對進行訓練，預測每個步驟的獎勵標簽。
• 四輪自我進化
  • 初始強策略模型：第一輪使用DeepSeek-Coder-V2-Instruct作為初始策略模型，通過MCTS rollout生成訓練數據。
  • 可靠PPM訓練：第二輪利用更新后的策略模型進行更可靠的Q值標注，訓練出第一個可靠的PPM。
  • PPM增強MCTS：第三輪使用可靠的PPM進行MCTS，生成更高質量的推理軌跡，覆蓋更多數學和競賽級問題。
  • 解決挑戰性問題：第四輪增加MCTS rollout次數和不同的隨機種子，以提高對競賽級問題的覆蓋率。

rStar-Math的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2501.04519

rStar-Math的應用場景

• 教育輔導：為學生提供個性化的數學學習輔導，幫助他們逐步解決復雜的數學問題，提高解題能力和理解力。
• 科研支持：輔助數學家和科學家探討復雜的數學問題，生成初步解題思路和驗證步驟，加速研究進程。
• 金融科技：在金融風險評估和量化交易中，基于精準的數學模型和推理，預測市場風險并優化交易策略。
• 工程設計：在工程設計和系統優化中，運用數學推理優化系統參數，提升系統的性能和可靠性。
• 數據分析：在企業數據分析中，基于數學模型和推理，從大量數據中提取有價值的信息，支持市場預測和業務決策。