豆包代碼大模型震撼發(fā)布：性能直逼OpenAI與Claude，編程語言的新紀元來臨！

目前還只是Preview版

原標題：豆包代碼大模型曝光！在字節(jié)最新開源基準里，多種編程語言性能僅次于OpenAI/Claude
文章來源：量子位
內容字數(shù)：5659字

字節(jié)推出全新代碼大模型評估基準FullStack Bench

近日，字節(jié)跳動發(fā)布了全新的代碼大模型評估基準FullStack Bench，旨在更真實地評估AI編程水平。該評估基準首次綜合了全棧編程和多語言編程，涵蓋超過11類真實場景和16種編程語言，共包含3374個問題。這一數(shù)據(jù)集借鑒了全球最大的程序員技術問答社區(qū)Stack Overflow的數(shù)據(jù)，覆蓋范圍遠超以往的評估基準。

1. FullStack Bench的亮點

FullStack Bench的設計目標在于解決現(xiàn)有基準難以反映真實世界編程復雜性的問題。與HumanEval等基準相比，F(xiàn)ullStack Bench的題目類型多樣，應用領域廣泛，能夠更全面地評估模型的綜合編程能力。每個問題均由編程專家設計，并經(jīng)過AI和人工驗證，確保數(shù)據(jù)質量。

2. SandboxFusion工具的發(fā)布

為了方便開發(fā)者評估模型能力，字節(jié)團隊還開源了SandboxFusion工具。這款工具支持多種編程語言和代碼評估數(shù)據(jù)集，幫助開發(fā)者在單服務器上高效測試模型的代碼能力。

3. 模型評測結果

基于FullStack Bench的評測顯示，閉源模型在整體表現(xiàn)上優(yōu)于開源模型。OpenAI的o1-preview模型在數(shù)學編程領域表現(xiàn)最佳，而一些開源模型如DeepSeek-Coder-v2也在特定領域取得了顯著成績。評測結果表明，不同模型在不同難度和編程語言上的表現(xiàn)差異明顯，尤其是在高難度的問題上，閉源模型的表現(xiàn)更為突出。