100+大模型綜測結果出爐！智源發布FlagEval“百模”評測結果，覆蓋文本語音圖片視頻多種模態

還有四大專項評測榜單，探索模型能力邊界與應用潛能

原標題：100+大模型綜測結果出爐！智源發布FlagEval“百模”評測結果，覆蓋文本語音圖片視頻多種模態
文章來源：量子位
內容字數：6053字

智源研究院發布2024年下半年大模型評測結果

智源研究院于2024年12月19日發布了對100多個國內外開源和閉源大模型的綜合及專項評測結果，涵蓋語言、視覺語言、文生圖、文生視頻等多種模態。評測結果顯示，2024年下半年大模型發展更注重綜合能力提升和實際應用，多模態模型發展迅速，而語言模型發展相對放緩。

1. 語言模型評測：中文能力成焦點

   在語言模型主觀評測中，字節跳動Doubao-pro-32k-preview和百度ERNIE 4.0 Turbo在中文能力方面表現突出，位列前兩名。客觀評測方面，OpenAI和Google的模型表現領先，阿里巴巴和字節跳動的模型緊隨其后。評測指出，雖然在一般中文場景下模型能力趨于飽和，但在復雜場景下，國內頭部模型與國際一流水平仍存在差距。

2. 多模態模型評測：國產模型嶄露頭角

   視覺語言模型方面，開源模型在圖文理解任務上正在縮小與閉源模型的差距，但長尾視覺知識和復雜圖文數據分析能力仍需提升。OpenAI GPT-4o和字節跳動Doubao-Pro-Vision領先。文生圖模型已具備中文文字生成能力，但復雜場景下人物變形等問題仍存在。騰訊Hunyuan Image位列第一。文生視頻模型畫質和動態性提升顯著，但動作變形、物理規律理解等問題依然存在。快手可靈1.5領先。

3. 語音語言模型評測：進步顯著，但仍有差距

   語音語言模型能力提升顯著，但與專家模型仍存在差距，高質量開源模型相對較少。阿里巴巴Qwen2-Audio位居榜首。

4. K12學科測驗：模型能力與學生水平仍有差距

   大模型在K12學科測驗中的綜合得分較半年前有所提升，但仍落后于海淀學生平均水平。在文科方面表現較好，理科方面則相對較弱。

5. FlagEval評測平臺迭代升級

   智源研究院的FlagEval大模型評測平臺已覆蓋全球800多個模型，包含多種任務和數據集。此次評測更新了98%的題目，并提升了難度。平臺還新增了模型辯論平臺FlagEval Debate，以及針對金融量化交易場景的評測。

6. 金融量化交易評測：模型展現潛力

   評測發現，大模型已具備生成量化交易策略代碼的能力，頭部模型能力接近初級量化交易員水平。深度求索 Deepseek-chat、OpenAI GPT-4o和Google Gemini-1.5-pro-latest在該領域表現領先。

總而言之，智源研究院的此次評測結果全面展現了大模型在2024年下半年的發展現狀，并指出了未來發展方向。多模態模型的快速發展以及對實際應用場景的探索，將成為大模型技術發展的重要趨勢。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破