国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

這屆出題太難了!新基準(zhǔn)讓多模態(tài)模型集體自閉,GPT-4o都是零分

AIGC動態(tài)7個月前發(fā)布 機器之心
286 0 0

100題,每道都是送命題。

這屆出題太難了!新基準(zhǔn)讓多模態(tài)模型集體自閉,GPT-4o都是零分

原標(biāo)題:這屆出題太難了!新基準(zhǔn)讓多模態(tài)模型集體自閉,GPT-4o都是零分
文章來源:機器之心
內(nèi)容字?jǐn)?shù):5944字

ZeroBench:顛覆大模型視覺理解能力的全新基準(zhǔn)

近日,一個名為ZeroBench的視覺基準(zhǔn)測試橫空出世,挑戰(zhàn)了包括GPT-4o和Gemini 2 Flash在內(nèi)的20多個頂尖大型多模態(tài)模型(LMM),并使其全部獲得零分。這引發(fā)了業(yè)界對現(xiàn)有大模型視覺理解能力的重新思考。

1. ZeroBench的挑戰(zhàn)性問題

ZeroBench包含100個手工定制的極具挑戰(zhàn)性的問題,這些問題并非簡單的圖像識別,而是需要模型進行多步驟推理、復(fù)雜的視覺理解和跨領(lǐng)域的知識運用。例如:

  1. 從一張反光模糊的菜單中,計算點單所有菜品的總價。
  2. 根據(jù)圖片計算不同重量和顏色的啞鈴的總重量,并進行分類統(tǒng)計。
  3. 根據(jù)圖片中的線索,推理出一個6位數(shù)的保險箱密碼。
  4. 計算圖片中朝南的鵝占總數(shù)的百分比,需要考慮方位、季節(jié)等因素。
  5. 根據(jù)一個由賽艇隊員裝備制成的特殊時鐘,解答一系列涉及時間、空間和幾何變換的問題。

這些問題不僅考驗?zāi)P偷囊曈X識別能力,還要求其具備強大的推理能力、知識儲備和對復(fù)雜場景的理解。

2. ZeroBench的構(gòu)建過程

ZeroBench的100個問題由20多位專家手工打造,并經(jīng)過嚴(yán)格的篩選過程。為了保證難度,研究團隊使用了最新的模型進行“試水”,不斷調(diào)整問題的難度,直到達到“難度適中”的標(biāo)準(zhǔn)。篩選流程包括反饋、初步評估、審查和對抗過濾四個步驟,確保問題的挑戰(zhàn)性和多樣性。

3. 評估結(jié)果與分析

在ZeroBench上,所有參與評估的20個LMM均表現(xiàn)不佳,平均得分均為0%。即使是表現(xiàn)最好的Gemini 2 Flash Thinking,其正確率也僅為7%。研究人員發(fā)現(xiàn),模型在視覺解讀方面存在諸多錯誤,例如錯誤計數(shù)、忽略細節(jié)、空間關(guān)系理解困難等。

4. ZeroBench的意義

ZeroBench的出現(xiàn),標(biāo)志著對大模型視覺理解能力評估進入了一個新的階段。它打破了現(xiàn)有基準(zhǔn)測試的局限性,為更準(zhǔn)確地衡量大模型的真實視覺理解能力提供了新的標(biāo)準(zhǔn),也為大模型未來的發(fā)展方向指明了方向。

ZeroBench項目主頁:https://zerobench.github.io/

論文地址:https://arxiv.org/pdf/2502.09696


聯(lián)系作者

文章來源:機器之心
作者微信:
作者簡介:專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺

閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        成人免费精品视频| 日本一区二区免费在线观看视频| 在线观看国产日韩| 亚洲欧洲国产日本综合| 91视频一区二区| 亚洲制服丝袜av| 3d动漫精品啪啪1区2区免费 | 精品日韩欧美在线| 国产美女一区二区| 国产精品久线观看视频| 色综合久久综合网97色综合| 亚洲r级在线视频| 精品国产99国产精品| 国产91丝袜在线观看| 一区精品在线播放| 日韩一区二区在线观看视频播放| 国产精品国产三级国产普通话三级 | 日韩欧美一区二区在线视频| 日韩精品高清不卡| 久久久久久久免费视频了| 99久久精品情趣| 日本不卡一区二区三区高清视频| 国产色一区二区| 91精品国产品国语在线不卡| 懂色av一区二区三区蜜臀| 亚洲高清不卡在线| 欧美国产一区视频在线观看| 欧美一区二区成人| 91看片淫黄大片一级在线观看| 麻豆视频一区二区| 夜夜揉揉日日人人青青一国产精品| 精品国产91九色蝌蚪| 欧美日韩你懂得| 91啪亚洲精品| 国产99久久精品| 精彩视频一区二区三区| 日一区二区三区| 一区二区高清视频在线观看| www亚洲一区| 制服视频三区第一页精品| 99久久99久久精品国产片果冻| 麻豆一区二区三| 免费在线观看一区| 午夜久久久久久久久久一区二区| 亚洲日本va午夜在线电影| 26uuu欧美| 亚洲精品一区二区三区四区高清 | 精品视频一区二区不卡| 成人爱爱电影网址| 国产成人亚洲精品狼色在线 | 精品午夜久久福利影院| 视频在线观看91| 五月婷婷久久丁香| 午夜久久久久久电影| 亚洲成人免费av| 午夜精品久久久久影视| 亚洲国产日韩精品| 亚洲成人免费视| 日日欢夜夜爽一区| 日韩精品久久理论片| 日韩高清不卡在线| 麻豆精品国产传媒mv男同| 日韩av中文字幕一区二区| 日韩精品每日更新| 蜜桃视频在线一区| 国产一二精品视频| 成人免费看黄yyy456| 91视视频在线直接观看在线看网页在线看| 国产精品一区二区在线观看不卡| 国产成人a级片| 91老司机福利 在线| 欧美体内she精高潮| 欧美一级一区二区| 精品国产一区二区三区不卡 | 精品少妇一区二区三区免费观看| 在线成人午夜影院| 精品人在线二区三区| 日本一区免费视频| 亚洲一卡二卡三卡四卡| 免费一级片91| kk眼镜猥琐国模调教系列一区二区 | 亚洲精品视频一区| 亚洲成va人在线观看| 奇米色一区二区| 懂色一区二区三区免费观看| 91捆绑美女网站| 91精品久久久久久久99蜜桃| 久久久九九九九| 亚洲精品乱码久久久久久黑人| 亚洲成人黄色小说| 顶级嫩模精品视频在线看| 欧美视频中文一区二区三区在线观看| 日韩一级片在线播放| 18欧美乱大交hd1984| 免费成人在线观看视频| 99久久伊人网影院| 日韩欧美一区二区免费| 亚洲欧美aⅴ...| 激情六月婷婷久久| 欧洲一区二区三区免费视频| 久久久蜜桃精品| 五月天久久比比资源色| av在线不卡免费看| 精品国产一区a| 亚洲第一在线综合网站| 成人黄色a**站在线观看| 欧美一区二区视频网站| 中文字幕在线一区免费| 另类小说综合欧美亚洲| 欧美日韩一区三区四区| 自拍av一区二区三区| 国产精品亚洲一区二区三区在线 | 欧美日韩日本视频| 亚洲欧美日韩小说| 成人ar影院免费观看视频| 欧美一区二区三区日韩| 亚洲v精品v日韩v欧美v专区| 99re这里都是精品| 久久精品综合网| 国产一区亚洲一区| 精品国产乱码久久久久久图片| 亚洲.国产.中文慕字在线| 91国偷自产一区二区开放时间| 国产精品久久一卡二卡| 成人一区二区三区中文字幕| 久久久久久久久伊人| 九九视频精品免费| 精品88久久久久88久久久| 精一区二区三区| 久久亚区不卡日本| 极品美女销魂一区二区三区免费 | 欧美精品一区二区三区一线天视频 | 欧美国产成人精品| 国产91精品免费| 日本一区二区三区四区 | 成人av动漫网站| 中文字幕第一区第二区| 成人自拍视频在线观看| 国产精品毛片a∨一区二区三区| 国产成人在线视频网站| 中文字幕成人av| av在线播放不卡| 亚洲欧美激情小说另类| 欧美视频一二三区| 日韩高清不卡一区二区三区| 欧美一级日韩不卡播放免费| 免费在线欧美视频| 久久久久久久网| av电影在线观看完整版一区二区| 亚洲免费成人av| 91精品久久久久久蜜臀| 国产精品一区二区x88av| 国产精品午夜免费| 欧美性猛片xxxx免费看久爱| 毛片基地黄久久久久久天堂| 久久久久久夜精品精品免费| 99精品视频一区二区| 五月婷婷欧美视频| 久久免费精品国产久精品久久久久| 成人性视频免费网站| 亚洲高清视频的网址| 精品99久久久久久| 91蝌蚪国产九色| 日本亚洲免费观看| 国产精品电影院| 欧美一区二区三区成人| 成人免费观看男女羞羞视频| 亚洲永久精品国产| 久久久久久久综合日本| 欧美亚洲丝袜传媒另类| 国产精品主播直播| 亚洲一区二区三区四区在线免费观看 | 亚洲人吸女人奶水| 日韩一区二区三| 91片在线免费观看| 久久99久久久久| 一个色妞综合视频在线观看| www成人在线观看| 欧美午夜精品电影| 成人免费视频网站在线观看| 丝袜亚洲另类欧美综合| 中文字幕亚洲一区二区av在线| 日韩视频一区在线观看| 91色九色蝌蚪| 成人免费视频免费观看| 麻豆成人免费电影| 亚洲福利视频一区二区| 中文字幕免费观看一区| 欧美成人性福生活免费看| 欧美日韩成人综合天天影院 | 一区在线观看免费| 2023国产精品视频| 3d动漫精品啪啪| 欧美中文字幕一区二区三区亚洲| 国产成人自拍在线| 国产剧情一区二区| 精品亚洲porn| 国产一区二区免费视频| 国产酒店精品激情| 国产精品一区三区|