國產(chǎn)大模型嶄露頭角，智源FlagEval評(píng)測(cè)榜單引領(lǐng)全球風(fēng)潮！

原標(biāo)題：全球百模爭(zhēng)霸，國產(chǎn)大模型拿下多個(gè)冠軍！智源FlagEval全球評(píng)測(cè)榜單出爐
文章來源：新智元
內(nèi)容字?jǐn)?shù)：5822字

2024年大模型評(píng)測(cè)綜述

隨著2024年接近尾聲，智源研究院發(fā)布了下半年大模型綜合評(píng)測(cè)結(jié)果，涵蓋了100多個(gè)開源和閉源模型，涉及文本、語音、圖像和視頻等多個(gè)領(lǐng)域。這一評(píng)測(cè)相較于今年5月的評(píng)估，任務(wù)解決能力的內(nèi)涵得到了擴(kuò)展和細(xì)化，并首次增加了針對(duì)金融量化交易場(chǎng)景的應(yīng)用能力評(píng)估。

1. 評(píng)測(cè)方法與新方向

本次評(píng)測(cè)引入了基于模型辯論的對(duì)比評(píng)估方式，深入分析了模型在邏輯推理、觀點(diǎn)理解和語言表達(dá)等方面的能力。此外，智源研究院結(jié)合K12學(xué)段的多學(xué)科試卷，考察了大模型與人類學(xué)生的能力差異，發(fā)現(xiàn)模型的綜合得分相較于半年前提升了12.86%。

2. 語言模型表現(xiàn)

在語言模型的主觀評(píng)測(cè)中，字節(jié)跳動(dòng)的Doubao-pro-32k-preview和百度的ERNIE 4.0 Turbo位列前兩名。客觀評(píng)測(cè)方面，OpenAI的o1-mini-2024-09-12和Google的Gemini-1.5-pro-latest表現(xiàn)搶眼。盡管模型在一般中文場(chǎng)景的開放式問答中能力已趨于穩(wěn)定，但在復(fù)雜場(chǎng)景任務(wù)中，國內(nèi)頭部語言模型仍與國際一流水平存在顯著差距。

3. 多模態(tài)模型發(fā)展

多模態(tài)模型方面，OpenAI GPT-4o-2024-11-20和字節(jié)跳動(dòng)Doubao-Pro-Vision-32k-241028在圖文理解任務(wù)上表現(xiàn)突出。文生圖模型的中文文字生成能力有所提升，但在復(fù)雜場(chǎng)景人物變形等方面仍存在不足，騰訊的Hunyuan Image表現(xiàn)最佳。文生視頻模型的畫質(zhì)和動(dòng)態(tài)性均有所增強(qiáng)，但仍存在物體消失等問題。

4. 語音語言模型及專項(xiàng)評(píng)測(cè)

語音語言模型得益于文本大模型的進(jìn)步，能力顯著提升，阿里巴巴的Qwen2-Audio排名第一。在專項(xiàng)評(píng)測(cè)中，智源研究院推出的FlagEval大模型角斗場(chǎng)和模型辯論平臺(tái)，進(jìn)一步探討模型在邏輯推理和觀點(diǎn)表達(dá)方面的能力。

5. 未來發(fā)展與展望

智源評(píng)測(cè)體系的迭代覆蓋了全球800多款模型，致力于科學(xué)、公正的評(píng)估標(biāo)準(zhǔn)。未來，智源研究院將繼續(xù)探索動(dòng)態(tài)評(píng)測(cè)與多任務(wù)能力評(píng)估，以提供對(duì)大模型技術(shù)生態(tài)發(fā)展的深入洞察。

聯(lián)系作者

文章來源：新智元
作者微信：
作者簡(jiǎn)介：智能+中國主平臺(tái)，致力于推動(dòng)中國從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國新智能時(shí)代。