AIGC動態歡迎閱讀

原標題：大模型版“5年高考3年模擬”來了！6141道數學題，還是多模態的那種｜微軟&UCLA&UW聯合出品

關鍵字：報告,模型,能力,問題,數學

文章來源：量子位

內容字數：11565字

內容摘要：Pan Lu投稿量子位 | 公眾號 QbitAI大模型的“5年高考3年模擬”數學題來了，還是加強強強版！微軟、加州大學洛杉磯分校（UCLA）、華盛頓大學（UW）聯合打造全新多模態數學推理基準數據集。名為“MathVista”。涵蓋各種題型共6141個問題，來源于28個現有的多模態數據集和3個新標注的數據集。這下想要知道一個大模型數學水平怎么樣，直接讓它來做這份試卷。12個最新的大模型已經搶先體驗了一把試題難度。一份112頁的詳細評測報告連同數據集一起發布。報告顯示，面對MathVista中豐富的任務類型、推理方式和圖像類型，即使是當前最先進的GPT-4V做起來都有“挫敗感”，準確率為49.9%，和人類還有10.4%的差距。Bard排名第二，準確率為34.8%，差距再次拉大。此外，報告中還深入分析了GPT-4V在自我驗證、自洽性和多輪對話能力的研究潛力等。詳細內容我們接著往下看。MathVi…

原文鏈接：點此閱讀原文：大模型版“5年高考3年模擬”來了！6141道數學題，還是多模態的那種｜微軟&UCLA&UW聯合出品

聯系作者

文章來源：量子位

作者微信：QbitAI

作者簡介：追蹤人工智能新趨勢，關注科技行業新突破