Seed-Thinking-v1.5 – 字節跳動推出的最新思考模型

Seed-Thinking-v1.5 是字節跳動推出的一款先進推理智能模型，采用了混合專家（MoE）架構，擁有高達 200B 的總參數量，每次激活 20B 參數。該模型在諸多基準測試中表現突出，如在 AIME 2024 測試中獲得 86.7 分，在 Codeforces 評測中 pass@8 指標達到了 55.0 分，在 GPQA 測試中得分為 77.3 分。此外，Seed-Thinking-v1.5 在非推理任務中的勝率比 DeepSeek R1 高出 8%，展現了其強大的適應能力。該模型將于 4 月 17 日通過火山引擎開放接口供用戶體驗。

Seed-Thinking-v1.5是什么

Seed-Thinking-v1.5 是字節跳動開發的一款推理智能模型，采用混合專家（MoE）架構，具有總計 200B 的參數量，并在運行時激活 20B 參數。該模型在多個權威測試中表現優異，如 AIME 2024 測試得分 86.7，Codeforces 評測中的 pass@8 指標達到 55.0%，以及 GPQA 測試得分 77.3。在非推理任務中，其勝率比 DeepSeek R1 高出 8%，顯示了廣泛的應用潛力。Seed-Thinking-v1.5 的開發依賴于經過精心挑選的訓練數據、先進的強化學習框架、雙層獎勵系統及高效的基礎設施。該模型將于 4 月 17 日通過火山引擎的開放接口供用戶體驗。

Seed-Thinking-v1.5的主要功能

• 卓越的推理能力：Seed-Thinking-v1.5 在多個權威基準測試中表現優異，例如在 AIME 2024 測試中獲得 86.7 分，在 Codeforces 評測中 pass@8 指標達到 55.0%，在 GPQA 測試中得分為 77.3，顯示出其在 STEM 領域和編程能力上的強大推理能力。
• 廣泛的泛化能力：該模型在非推理任務中的表現同樣出色，勝率超出 DeepSeek R1 8%，展現了其在復雜用戶場景中的處理能力。
• 高效的基礎設施：為支持大規模訓練，Seed-Thinking-v1.5 采用了 HybridFlow 編程模型和流式推理系統（SRS），通過三層并行架構（張量/專家/序列并行）優化了訓練效率。

Seed-Thinking-v1.5的技術原理

• 混合專家模型（MoE）架構：該模型采用混合專家模型架構，擁有 200B 的總參數量，每次激活 20B 參數，既保持高性能，又顯著降低了計算資源的消耗，提升了模型效率。
• 強化學習算法
  • VAPO 和 DAPO 框架：為應對強化學習中的不穩定性問題，研究團隊提出了 VAPO（面向 Actor-Critic）和 DAPO（面向 Policy Gradient）兩大框架。這些方法提供了穩定的訓練軌跡，優化了推理模型。
  • 獎勵建模：團隊設計了兩種獎勵建模方案，Seed-Verifier 和 Seed-Thinking-Verifier。后者通過詳細的推理過程，有效解決了獎勵、預測不確定性和邊界情況處理等問題。
• 數據處理與增強
  • 可驗證問題：涵蓋數學、編程和邏輯謎題，通過嚴格篩選與增強（例如將選擇題轉為填空題），確保模型獲得真實的推理能力。
  • 非可驗證問題：如創意寫作和對話，通過動態過濾低方差樣本，避免模型陷入局部優化。
  • 數據增強策略：例如由模型生成候選答案，并結合人工驗證修正錯誤參，以提升數據可靠性。
• 分布式訓練基礎設施
  • 混合并行架構：結合張量并行、專家并行和上下文并行，支持高效的大規模訓練。
  • 流式生成系統（SRS）：通過異步處理和動態資源調度，提升長文本生成效率 3 倍，解決了傳統同步框架的“拖尾問題”。
  • 自動調優系統：根據實時負載動態選擇最優計算配置，平衡內存與計算資源。

Seed-Thinking-v1.5的項目地址

• Github倉庫：https://github.com/ByteDance-Seed/Seed-Thinking-v1.5

Seed-Thinking-v1.5的性能表現

• 數學推理：在 AIME 2024 測試中獲得 86.7 分，與 OpenAI 的 o3-mini-high 持平。
• 編程任務：在 Codeforces 評測中，pass@8 指標達到 55.0%，優于 DeepSeek-R1。
• 科學問答：在 GPQA 測試中準確率達 77.3%，接近頂尖模型水平。
• 非推理任務：在非推理任務中，勝率比 DeepSeek R1 高出 8%，展現出較強的泛化能力。

Seed-Thinking-v1.5的應用場景

• 科學問答：Seed-Thinking-v1.5 在科學問答方面表現卓越，能夠理解和回答涉及科學概念和原理的復雜問題，適合教育和研究領域。
• 創意寫作：該模型可生成跨時空對話，如模擬歷史人物的內心獨白或融合不同領域術語的敘事，具有在內容創作、廣告、劇本編寫等領域的潛在應用價值。
• 邏輯推理：在處理需要邏輯分析和推理的問題時，Seed-Thinking-v1.5 顯示出顯著優勢，適合法律分析、市場策略規劃等需要邏輯判斷的場景。
• 教育輔助：Seed-Thinking-v1.5 的推理能力能夠幫助學生解決數學和科學問題，提供編程練習反饋，輔助語言學習。