智源發(fā)布FlagEval評(píng)測：全球100+大模型多模態(tài)表現(xiàn)一覽！

還有四大專項(xiàng)評(píng)測榜單，探索模型能力邊界與應(yīng)用潛能

原標(biāo)題：100+大模型綜測結(jié)果出爐！智源發(fā)布FlagEval“百模”評(píng)測結(jié)果，覆蓋文本語音圖片視頻多種模態(tài)
文章來源：量子位
內(nèi)容字?jǐn)?shù)：6053字

2024年大模型綜測結(jié)果發(fā)布

根據(jù)智源研究院的最新評(píng)測結(jié)果，2024年下半年的大模型發(fā)展將更加關(guān)注綜合能力提升與實(shí)際應(yīng)用。此次評(píng)測涵蓋了100余個(gè)開源和閉源的大模型，涉及語言、視覺語言、文生圖、文生視頻及語音語言等多個(gè)領(lǐng)域。

主要結(jié)論

1. **多模態(tài)模型迅速發(fā)展**：新廠商和新模型不斷涌現(xiàn)，語言模型的發(fā)展相對(duì)放緩。開源生態(tài)中，新的貢獻(xiàn)者逐漸增多。

2. **語言模型評(píng)測**：在中文能力的主觀評(píng)測中，字節(jié)跳動(dòng)的Doubao-pro-32k-preview和百度的ERNIE 4.0 Turbo分別位于第一和第二。復(fù)雜場景任務(wù)中，國內(nèi)頂尖語言模型仍與國際水平存在顯著差距。

3. **視覺語言模型表現(xiàn)**：盡管開源模型趨同，表現(xiàn)卻不一。領(lǐng)先的模型在圖文理解任務(wù)上縮小了與閉源模型的差距，但在長尾視覺知識(shí)和復(fù)雜數(shù)據(jù)分析能力上仍需提升。

4. **文生圖和文生視頻模型**：頭部文生圖模型開始具備中文文字生成能力，但在復(fù)雜場景下表現(xiàn)仍有不足。文生視頻模型的畫質(zhì)和動(dòng)態(tài)性有所提升，但仍存在物體變形和理解物理規(guī)律的困難。

專項(xiàng)評(píng)測與應(yīng)用能力

1. **K12學(xué)科測驗(yàn)**：大模型與人類學(xué)生的能力差距仍然存在，但整體表現(xiàn)較半年前有所提升，尤其在英語和歷史試題中已超越人類考生。

2. **FlagEval模型角斗場**：智源研究院推出的模型對(duì)戰(zhàn)評(píng)測服務(wù)顯示，用戶對(duì)模型的響應(yīng)時(shí)間和內(nèi)容結(jié)構(gòu)化要求更高。

3. **金融量化交易評(píng)測**：探討了模型在金融領(lǐng)域的應(yīng)用，發(fā)現(xiàn)大模型已具備生成有回撤收益的策略代碼的能力，但在實(shí)際代碼生成任務(wù)上的表現(xiàn)差異較大。

總結(jié)與未來展望

智源研究院通過FlagEval評(píng)測體系，不斷探索模型能力的邊界與應(yīng)用潛力。副院長林詠華表示，未來將進(jìn)一步發(fā)展動(dòng)態(tài)評(píng)測與多任務(wù)能力評(píng)估體系，為大模型技術(shù)生態(tài)的發(fā)展提供深刻洞察。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破