rStar-Math

rStar-Math – 微軟推出的小模型復雜推理與自進化SLMs的創新技術

rStar-Math是微軟亞洲研究院推出的一項前沿研究項目，利用蒙特卡洛樹搜索（MCTS）驅動的深度思考，使得小型語言模型（SLMs）在數學推理方面的表現達到甚至超越OpenAI的大型模型。該項目通過自我進化的深度思考，顯著提升了模型性能，無需依賴于更高級模型的數據蒸餾。

rStar-Math是什么

rStar-Math是微軟亞洲研究院開發的一項創新性研究項目，通過蒙特卡洛樹搜索（MCTS）實現深度推理，使小型語言模型（SLMs）在數學推理的能力上達到甚至超過OpenAI的大型模型。該項目不依賴于從更高階模型進行數據蒸餾，而是通過自我進化的方式提升模型的性能。rStar-Math引入了三種創新技術：代碼增強的逐步驗證推理軌跡合成、基于Q值的過程偏好模型（PPM）訓練方法，以及四輪自我進化的訓練策略。在MATH基準測試中，rStar-Math將Qwen2.5-Math-7B的準確率從58.8%提升至90.0%，并在AIME 2024測試中平均解決了53.3%的問題，超越了OpenAI的o1-preview模型。rStar-Math展現了模型的內在自我反思能力，能夠在推理過程中識別并糾正錯誤的步驟。

rStar-Math

rStar-Math的主要功能

生成高質量的數學推理軌跡：依托蒙特卡洛樹搜索（MCTS）生成逐步驗證的推理軌跡，確保每個推理步驟的準確性和高質量。
自我進化：通過四輪自我進化，不斷優化策略模型和過程偏好模型（PPM）的性能，以應對更復雜的數學問題。
提升模型準確率：在多項數學基準測試中，顯著提高模型的準確率，例如在MATH基準測試中將Qwen2.5-Math-7B的準確率從58.8%提升至90.0%。
自我反思能力：該模型能夠在推理過程中識別并修正錯誤的步驟，展現出卓越的自我反思能力。

rStar-Math的技術原理

代碼增強的逐步驗證推理軌跡合成
- MCTS驅動的深度思考：將復雜的數學問題分解為多項單步生成任務，基于MCTS逐步構建搜索樹，生成推理軌跡。
- 代碼執行驗證：策略模型生成自然語言（NL）推理步驟及相應的Python代碼。
- Q值標注：通過終端引導標注和PPM增強標注兩種方法，為每個步驟自動分配Q值，引導MCTS節點選擇并識別高質量步驟。
過程偏好模型（PPM）訓練方法
- 避免直接使用Q值：傳統的Q值作為獎勵標簽可能存在噪聲和不準確的問題。rStar-Math通過構建步驟級的正負偏好對，利用成對排名損失來訓練PPM，從而提升標簽的可靠性。
- 偏好對構建：為每個步驟選擇Q值最高的兩個步驟作為正例，Q值最低的兩個步驟作為負例。PPM通過這些偏好對進行訓練，預測每個步驟的獎勵標簽。
四輪自我進化
- 初始強策略模型：第一輪使用DeepSeek-Coder-V2-Instruct作為初始策略模型，通過MCTS rollout生成訓練數據。
- 可靠PPM訓練：第二輪利用更新后的策略模型進行更可靠的Q值標注，訓練出第一個可靠的PPM。
- PPM增強MCTS：第三輪使用可靠的PPM進行MCTS，生成更高質量的推理軌跡，覆蓋更多數學和競賽級問題。
- 解決挑戰性問題：第四輪增加MCTS rollout次數和不同的隨機種子，以提高對競賽級問題的覆蓋率。