WebShaper – 阿里通義推出的AI訓練數據合成系統

WebShaper 是阿里巴巴通義實驗室研發的創新 AI 訓練數據合成系統，其核心在于通過形式化建模和智能體擴展機制，為 AI 智能體提供高質量、可擴展的訓練數據。它首次引入基于集合論的“知識投影”（Knowledge Projection， KP）概念，通過交集、并集和遞歸操作，構建復雜問題結構，精準控制推理路徑和任務復雜度。

WebShaper 產品介紹

WebShaper 是一個由阿里巴巴通義實驗室傾力打造的 AI 訓練數據合成系統。它利用前沿技術，致力于為 AI 智能體（Agent）的訓練提供優質且可擴展的數據資源。通過巧妙的形式化建模和獨特的智能體擴展機制，WebShaper 能夠幫助 AI 智能體在復雜的推理任務中表現出色。

主要功能

• 形式化建模與知識投影：WebShaper 采用基于集合論的方法，對信息搜尋（IS）任務進行形式化建模。核心在于“知識投影”（Knowledge Projection， KP）概念，它將復雜的信息搜尋任務分解為集合操作（如交集、并集、遞歸）。通過這些操作，系統可以構造出復雜的問題結構，從而精確控制推理路徑和任務難度。
• 智能體擴展機制：WebShaper 獨具特色的在于其“自出題”能力。系統通過 Expander 智能體，從簡單的“種子問題”出發，逐步擴展為復雜的推理任務。Expander 智能體利用搜索、摘要、驗證等工具，構建邏輯清晰、難度遞增的問題，并驗證答案的正確性，從而確保推理鏈條的清晰性和任務結構的可控性。
• 高質量數據生成：WebShaper 生成的訓練數據不再依賴于猜測，而是可控、可解釋且可擴展的高質量任務。它突破了預檢索數據的局限，實現了更廣泛的任務類型、更強大的能力激發和更全面的知識覆蓋，從而減少了數據合成中的錯誤和冗余信息。
• Agent 訓練策略：WebShaper 采用了監督微調（SFT）與 GRPO 強化學習相結合的訓練策略，幫助 AI 智能體在模糊、多跳信息中逐步掌握推理與檢索能力。訓練從高質量的訓練軌跡開始，通過獎勵機制引導模型進行多步推理，避免“走捷徑”或“猜答案”。

產品官網

由于產品仍在持續研發中，目前暫無的產品官網。您可以關注以下資源，獲取最新信息：

• Github 倉庫：https://github.com/Alibaba-NLP/WebAgent
• HuggingFace 模型庫：https://huggingface.co/datasets/Alibaba-NLP/WebShaper
• arXiv 技術論文：https://arxiv.org/pdf/2507.15061

應用場景

• 學術研究：協助研究人員快速收集、整理相關文獻，進行跨學科的知識發現。
• 市場分析：應用于市場調研、競爭分析和投資決策支持。幫助企業分析師自動收集行業數據、分析市場趨勢、評估競爭對手的策略。
• 智能學習：成為智能學習助手，輔助學生進行深度學習和研究性學習。
• 生活助手：在出行規劃、健康查詢、生活決策等場景下，即開即用，為用戶提供個性化的信息支持。
• 醫療健康：幫助用戶查詢醫療健康信息，提供專業的醫療建議和健康咨詢。

常見問題

Q: WebShaper 與其他數據合成工具有什么區別？

A: WebShaper 采用基于集合論的形式化建模方法，通過智能體擴展機制生成高質量、可控的訓練數據。這種方法能夠更精確地控制推理路徑和任務復雜度，從而生成更復雜、更貼近實際應用場景的數據。

Q: WebShaper 的未來發展方向是什么？

A: WebShaper 將繼續探索更先進的智能體擴展機制和訓練策略，以支持更復雜的 AI 智能體訓練。同時，它將積極拓展應用場景，為各個領域提供更強大的數據支持。