START – 阿里聯合中科大推出的自學推理模型

XX是什么

START（Self-Taught Reasoner with Tools）是阿里巴巴集團與中國科學技術大合開發的一種新型工具增強型推理模型。該模型通過結合外部工具（如Python代碼執行器），顯著提升了大型語言模型（LLMs）的推理能力。START運用“Hint-infer”技術在推理過程中引入提示，以激勵模型使用外部工具，同時通過“Hint-RFT”框架實現自我學習和微調。START在長鏈推理（Long CoT）的基礎上，增加了工具調用的功能，從而在復雜數學問題、科學問答和編程挑戰中顯著提高了準確性與效率。該模型在多個基準測試中表現優異，超越了現有的推理模型，成為首個將長鏈推理與工具集成相結合的開源模型。

START的主要功能

• 復雜計算與驗證：通過調用Python代碼執行器，進行復雜的數算、邏輯驗證與模擬。
• 自我調試與優化：START能夠執行代碼并驗證輸出，自動識別錯誤并進行調試，提升答案的準確性。
• 多策略探索：基于提示引導模型嘗試多種推理路徑與方法，增強其在處理復雜問題時的靈活性與適應能力。
• 提升推理效率：借助工具調用與自我驗證，減少模型在復雜任務中的幻覺現象，從而提高推理的效率與可靠性。

START的技術原理

• 長鏈推理：繼承長鏈推理的優勢，將問題分解為多個中間推理步驟，模擬人類的深入思考過程，從而提高模型在復雜任務中的推理能力。
• 工具集成：START通過調用外部工具（如Python代碼執行器）來補充傳統長鏈推理的不足，模型在推理過程中生成代碼并用工具驗證結果。
• Hint-infer：在推理過程中插入人工設計的提示，激勵模型調用外部工具，指引其在特定節點進行工具調用，無需額外的示范數據。
• Hint-RFT：結合Hint-infer與拒絕采樣微調（RFT），對模型生成的推理軌跡進行評分、過濾與調整，進一步提升模型的工具使用能力。
• 自學習框架：基于主動學習方法，從模型生成的推理軌跡中篩選出有價值的數據進行微調，實現模型自我學習如何更高效地使用工具。
• 測試時擴展：在推理結束時插入提示，以增加模型的思考時間和工具調用次數，從而提高推理的準確性與成功率。

START的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2503.04625

START的應用場景

• 數學問題求解：用于解決復雜的數學題目，如數學競賽與高等數學問題，通過代碼驗證提高準確性。
• 科學研究輔助：幫助處理物理、化學與生物等領域的復雜計算與科學問題。
• 編程與調試：生成代碼并自動進行調試，解決編程難題，提升開發效率。
• 跨學科問題解決：綜合運用多學科知識，解決工程設計、數據分析等復雜任務。
• 教育與學習：作為智能輔導工具，輔助學生學習數學與科學，提供詳細的解題過程與反饋。

常見問題

• START如何提升推理能力？通過結合外部工具和長鏈推理技術，START能夠在復雜任務中提供更高的準確性和效率。
• 使用START需要哪些前置知識？用戶需具備一定的Python編程基礎，以便理解模型生成的代碼和結果。
• START適合哪些用戶群體？START適用于數學和科學研究人員、編程開發者以及對復雜問題有求解需求的用戶。
• START的開源情況如何？START是首個將長鏈推理與工具集成相結合的開源模型，用戶可使用和改進。