国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

這屆出題太難了!新基準(zhǔn)讓多模態(tài)模型集體自閉,GPT-4o都是零分

AIGC動態(tài)7個月前發(fā)布 機器之心
286 0 0

100題,每道都是送命題。

這屆出題太難了!新基準(zhǔn)讓多模態(tài)模型集體自閉,GPT-4o都是零分

原標(biāo)題:這屆出題太難了!新基準(zhǔn)讓多模態(tài)模型集體自閉,GPT-4o都是零分
文章來源:機器之心
內(nèi)容字?jǐn)?shù):5944字

ZeroBench:顛覆大模型視覺理解能力的全新基準(zhǔn)

近日,一個名為ZeroBench的視覺基準(zhǔn)測試橫空出世,挑戰(zhàn)了包括GPT-4o和Gemini 2 Flash在內(nèi)的20多個頂尖大型多模態(tài)模型(LMM),并使其全部獲得零分。這引發(fā)了業(yè)界對現(xiàn)有大模型視覺理解能力的重新思考。

1. ZeroBench的挑戰(zhàn)性問題

ZeroBench包含100個手工定制的極具挑戰(zhàn)性的問題,這些問題并非簡單的圖像識別,而是需要模型進行多步驟推理、復(fù)雜的視覺理解和跨領(lǐng)域的知識運用。例如:

  1. 從一張反光模糊的菜單中,計算點單所有菜品的總價。
  2. 根據(jù)圖片計算不同重量和顏色的啞鈴的總重量,并進行分類統(tǒng)計。
  3. 根據(jù)圖片中的線索,推理出一個6位數(shù)的保險箱密碼。
  4. 計算圖片中朝南的鵝占總數(shù)的百分比,需要考慮方位、季節(jié)等因素。
  5. 根據(jù)一個由賽艇隊員裝備制成的特殊時鐘,解答一系列涉及時間、空間和幾何變換的問題。

這些問題不僅考驗?zāi)P偷囊曈X識別能力,還要求其具備強大的推理能力、知識儲備和對復(fù)雜場景的理解。

2. ZeroBench的構(gòu)建過程

ZeroBench的100個問題由20多位專家手工打造,并經(jīng)過嚴(yán)格的篩選過程。為了保證難度,研究團隊使用了最新的模型進行“試水”,不斷調(diào)整問題的難度,直到達到“難度適中”的標(biāo)準(zhǔn)。篩選流程包括反饋、初步評估、審查和對抗過濾四個步驟,確保問題的挑戰(zhàn)性和多樣性。

3. 評估結(jié)果與分析

在ZeroBench上,所有參與評估的20個LMM均表現(xiàn)不佳,平均得分均為0%。即使是表現(xiàn)最好的Gemini 2 Flash Thinking,其正確率也僅為7%。研究人員發(fā)現(xiàn),模型在視覺解讀方面存在諸多錯誤,例如錯誤計數(shù)、忽略細節(jié)、空間關(guān)系理解困難等。

4. ZeroBench的意義

ZeroBench的出現(xiàn),標(biāo)志著對大模型視覺理解能力評估進入了一個新的階段。它打破了現(xiàn)有基準(zhǔn)測試的局限性,為更準(zhǔn)確地衡量大模型的真實視覺理解能力提供了新的標(biāo)準(zhǔn),也為大模型未來的發(fā)展方向指明了方向。

ZeroBench項目主頁:https://zerobench.github.io/

論文地址:https://arxiv.org/pdf/2502.09696


聯(lián)系作者

文章來源:機器之心
作者微信:
作者簡介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺

閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        伊人性伊人情综合网| 久久久另类综合| 8x8x8国产精品| 亚洲国产成人va在线观看天堂| 91日韩在线专区| 亚洲国产sm捆绑调教视频| 欧美日韩国产一区二区三区地区| 亚洲自拍另类综合| 欧美一二三四在线| 精品一区二区国语对白| 国产精品污网站| 欧美性视频一区二区三区| 美女网站色91| 亚洲欧美偷拍卡通变态| 6080日韩午夜伦伦午夜伦| 国产在线视频一区二区三区| 国产精品久久一卡二卡| 欧美日韩午夜在线| 国产精品影视网| 五月综合激情婷婷六月色窝| 国产欧美久久久精品影院| 欧美午夜一区二区三区免费大片| 国产一区二区电影| 午夜精品一区二区三区电影天堂 | 久久精品72免费观看| 久久久久国产免费免费| 在线影视一区二区三区| 国产一区二区三区四区在线观看| 亚洲精品免费电影| 久久男人中文字幕资源站| 欧美日韩国产片| 91性感美女视频| 国产一区二区在线观看免费| 亚洲午夜成aⅴ人片| 欧美国产精品一区二区| 欧美一级电影网站| 欧美精品一二三| 99精品国产热久久91蜜凸| 精品制服美女丁香| 丝袜诱惑制服诱惑色一区在线观看 | 91麻豆精品国产自产在线观看一区| 国产乱人伦偷精品视频免下载| 亚洲成av人综合在线观看| 国产精品麻豆99久久久久久| 精品欧美乱码久久久久久1区2区 | 欧美成人一区二区三区 | av高清久久久| 国产精品1区2区| 久久99精品国产麻豆不卡| 五月天激情综合网| 一卡二卡三卡日韩欧美| 亚洲天堂免费看| 亚洲欧美电影院| 亚洲免费av高清| 亚洲欧洲另类国产综合| 中文字幕免费不卡在线| 久久女同性恋中文字幕| 久久综合九色综合欧美就去吻| 日韩一区二区三区在线视频| 欧美一区二区三区男人的天堂| 欧美性受xxxx黑人xyx| 欧美亚洲动漫精品| 欧美日韩一级片网站| 在线播放欧美女士性生活| 4438x亚洲最大成人网| 欧美一区二区三区视频免费 | 国产精品高潮呻吟久久| 国产精品欧美综合在线| 中文字幕av一区 二区| 国产精品毛片无遮挡高清| 亚洲欧美怡红院| 亚欧色一区w666天堂| 免费成人在线视频观看| 国模少妇一区二区三区| 本田岬高潮一区二区三区| 色婷婷av一区二区三区gif | 日韩久久一区二区| 亚洲成人1区2区| 激情久久久久久久久久久久久久久久 | 国产亚洲女人久久久久毛片| 中文字幕一区二区视频| 婷婷综合久久一区二区三区| 精品一区二区三区av| 91丨九色丨蝌蚪富婆spa| 欧美日韩www| 久久精品在线观看| 亚洲一级二级三级| 狠狠久久亚洲欧美| 97久久精品人人澡人人爽| 欧美剧情片在线观看| 国产亚洲精品aa| 五月天视频一区| 成人午夜又粗又硬又大| 91麻豆精品国产91久久久资源速度| 久久精品无码一区二区三区| 亚洲图片欧美色图| jlzzjlzz亚洲日本少妇| 欧美一区二区精品在线| 亚洲天堂av一区| 国产在线精品视频| 欧美日韩国产综合一区二区三区 | 久久这里只有精品首页| 亚洲一本大道在线| www.爱久久.com| 欧美成人精品福利| 一区二区在线观看免费| 国产精品99久久久久久有的能看 | 久久久久国产精品麻豆| 亚洲成人自拍网| 成av人片一区二区| 日韩欧美一区二区免费| 亚洲图片欧美一区| 91网上在线视频| 国产精品亲子伦对白| 精品在线观看视频| 91精品国产综合久久久久| 亚洲久草在线视频| 99热这里都是精品| 亚洲欧洲国产专区| 国产suv一区二区三区88区| 欧美一区二区国产| 奇米色一区二区| 91精品国产综合久久久久| 视频一区欧美精品| 欧美精选一区二区| 午夜精品久久久久久久99水蜜桃 | av一二三不卡影片| 国产免费观看久久| 国产高清在线精品| 国产日韩综合av| 国产成人免费视频一区| 精品999在线播放| 国内精品伊人久久久久av一坑 | 国产精品乱码一区二区三区软件| 国产主播一区二区三区| 精品日韩在线观看| 精品一区二区免费视频| 久久久精品免费网站| 国产成人aaaa| 综合久久久久久久| 色网综合在线观看| 日韩成人av影视| 欧美一区二区视频免费观看| 青青草97国产精品免费观看| 精品成人一区二区三区四区| 国产69精品久久777的优势| 国产精品卡一卡二卡三| 色偷偷成人一区二区三区91| 亚洲成av人片在线观看| 欧美一区二区高清| 粉嫩av亚洲一区二区图片| 综合久久给合久久狠狠狠97色 | 一本到一区二区三区| 亚洲va韩国va欧美va精品| 日韩精品综合一本久道在线视频| 国产精品1区2区3区在线观看| 中文字幕一区二区三区在线观看| 欧美视频三区在线播放| 久久精品国产免费| 综合久久综合久久| 91精品国产乱码久久蜜臀| 国产精品一二一区| 亚洲一区二区三区视频在线 | 亚洲高清久久久| 2023国产精品自拍| 91福利社在线观看| 国产精品资源站在线| 午夜精品久久久久久久| 亚洲国产精品精华液ab| 69精品人人人人| 91视频你懂的| 国产麻豆日韩欧美久久| 亚洲国产中文字幕| 成人欧美一区二区三区| 欧美第一区第二区| 欧美在线影院一区二区| 国产美女一区二区| 蜜臀av一区二区在线观看| 一区二区三区免费看视频| 国产午夜三级一区二区三| 欧美一级夜夜爽| 欧美怡红院视频| 91色综合久久久久婷婷| 国产成人综合视频| 精品在线视频一区| 美女一区二区视频| 香蕉乱码成人久久天堂爱免费| 国产目拍亚洲精品99久久精品| 日韩欧美亚洲另类制服综合在线| 欧美影视一区二区三区| 99国产精品久| 波多野结衣亚洲| 国产jizzjizz一区二区| 精品中文字幕一区二区小辣椒| 亚洲高清免费视频| 最新欧美精品一区二区三区| 国产欧美日韩在线| 久久综合久久综合九色| 日韩欧美精品在线| 日韩欧美国产午夜精品|