全球140+模型考試出爐！超8萬道考題國產模型分數亮眼，智源評測體系發布

AIGC動態歡迎閱讀

原標題：全球140+模型考試出爐！超8萬道考題國產模型分數亮眼，智源評測體系發布
關鍵字：模型,字節跳動,解讀,騰訊,能力
文章來源：新智元
內容字數：5111字

內容摘要：

新智元報道編輯：編輯部
【新智元導讀】剛剛，智源研究院正式發布「智源評測體系」，以及全球140+大模型的全方位能力評測結果。2024年5月17日，智源研究院舉辦大模型評測發布會，正式推出科學、權威、公正、開放的智源評測體系。
現場，智源發布并解讀國內外140余個開源和商業閉源的語言及多模態大模型全方位能力評測結果。
本次智源評測，分別從主觀、客觀兩個維度，考察了語言模型的七大能力。
具體包括，簡單理解、知識運用、推理能力、數學能力、代碼能力、任務解決、安全與價值觀。
同時，針對多模態模型則主要評估了多模態理解和生成能力。
在中文語境下，國內頭部語言模型的綜合表現已接近國際一流水平，但存在能力發展不均衡的情況。
在多模態理解圖文問答任務上，開閉源模型平分秋色，國產模型表現突出。
國產多模態模型在中文語境下的文生圖能力與國際一流水平差距較小。
多模態模型的文生視頻能力上，對比各家公布的演示視頻長度和質量，Sora有明顯優勢，其他開放評測的文生視頻模型中，國產模型PixVerse表現優異。
由于安全與價值觀對齊是模型產業落地的關鍵，但海外模型與國內模型在該維度存在差異，因此語言模型主客觀評

原文鏈接：全球140+模型考試出爐！超8萬道考題國產模型分數亮眼，智源評測體系發布

聯系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。