HumanEval測(cè)試多種語(yǔ)言達(dá)到SOTA

原標(biāo)題：最強(qiáng)代碼模型刷新：Mistral新品上線(xiàn)即登頂，上下文窗口增至256k
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：2671字

歐洲版OpenAI的代碼模型CodeStral 2501登頂代碼競(jìng)技場(chǎng)

Mistral AI的代碼模型CodeStral 2501在Copilot Arena代碼競(jìng)技場(chǎng)中取得第一名，與DeepSeek V2.5和Claude 3.5 Sonnet并列。這標(biāo)志著代碼模型領(lǐng)域的一個(gè)重大進(jìn)步，其性能在多個(gè)基準(zhǔn)測(cè)試中都達(dá)到了最先進(jìn)水平（SOTA）。

性能提升與新特性

1. 速度提升：CodeStral 2501使用了更高效的架構(gòu)和分詞器，生成速度比前一代快約2倍。
2. 上下文窗口擴(kuò)大：上下文窗口從之前的32k增長(zhǎng)到256k，是之前的8倍。
3. SOTA性能：在HumanEval等傳統(tǒng)測(cè)試和Copilot Arena中，CodeStral 2501在多個(gè)指標(biāo)上取得了SOTA成績(jī)，尤其在代碼補(bǔ)全（FIM）方面表現(xiàn)出色。
4. 多語(yǔ)言支持：支持80多種編程語(yǔ)言，并在Python、C++、JS等常用語(yǔ)言中取得SOTA成績(jī)，甚至實(shí)現(xiàn)了C#語(yǔ)言得分過(guò)半。不過(guò)在Java語(yǔ)言上的表現(xiàn)有所下降。
5. FIM性能提升：在FIM（單行精確匹配）任務(wù)中，CodeStral 2501的平均成績(jī)以及Python、Java和JS三個(gè)單項(xiàng)均比前一代有所進(jìn)步，并優(yōu)于OpenAI FIM API 3.5 Turbo等其他模型。

Copilot Arena競(jìng)技場(chǎng)

Copilot Arena是由卡內(nèi)基梅隆大學(xué)和UC伯克利的研究人員與LMArena合作推出的開(kāi)源編程工具，用戶(hù)可以提交問(wèn)題，系統(tǒng)隨機(jī)選擇兩個(gè)模型匿名輸出，用戶(hù)根據(jù)輸出選擇優(yōu)勝者。CodeStral 2501在超過(guò)1.7萬(wàn)場(chǎng)battle中脫穎而出，取得了第一名的成績(jī)。

可用性與定價(jià)

CodeStral 2501可以通過(guò)Mistral的合作方Continue.dev在VSCode或Jetbrains系列IDE中使用，也可以通過(guò)API自行部署。定價(jià)為每百萬(wàn)輸入/輸出token 0.3/0.9美元或歐元。

總結(jié)

CodeStral 2501的出現(xiàn)標(biāo)志著代碼模型領(lǐng)域的一次重大飛躍。其顯著的性能提升、更大的上下文窗口以及在多個(gè)編程語(yǔ)言中的SOTA表現(xiàn)，使其成為目前最強(qiáng)大的代碼模型之一。 值得關(guān)注的是，雖然在一些特定語(yǔ)言（如Java）上的表現(xiàn)略有下降，但整體而言，CodeStral 2501在代碼生成和補(bǔ)全方面展現(xiàn)出了強(qiáng)大的實(shí)力。

聯(lián)系作者

文章來(lái)源：量子位
作者微信：
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破