GPT-4V“大翻車”!把海豹識(shí)別成狗!分不清炸雞和泰迪,葫蘆娃也數(shù)不明白…
AIGC動(dòng)態(tài)歡迎閱讀
原標(biāo)題:GPT-4V“大翻車”!把海豹識(shí)別成狗!分不清炸雞和泰迪,葫蘆娃也數(shù)不明白…
關(guān)鍵字:偏見,圖像,干擾,幻覺,模型
文章來源:夕小瑤科技說
內(nèi)容字?jǐn)?shù):5342字
內(nèi)容摘要:
夕小瑤科技說 原創(chuàng)作者 | 付奶茶、王二狗最近聽說,“遙遙領(lǐng)先”的GPT-4V翻大車了!竟然把海豹識(shí)別成狗!而且還分不清炸雞和泰迪!
下面是GPT-4V對(duì)狗子和海豹的識(shí)別結(jié)果:
另外微博大V王威廉測(cè)試了GPT-4V對(duì)炸雞和泰迪的識(shí)別結(jié)果:
納尼?GPT-4V這么菜?嗎!
我們接著讓GPT-4V識(shí)別一下葫蘆娃!
完蛋!GPT-4V不認(rèn)識(shí)這是葫蘆娃!
不要緊,可能是GPT-4V的數(shù)據(jù)集中沒見過葫蘆娃,但是我給的圖里面明明有7個(gè)葫蘆娃,GPT-4V卻說只有6個(gè)!GPT-4V看圖識(shí)數(shù)的本領(lǐng)讓人堪憂呀!
盡管GPT-4V在處理視覺和文本信息時(shí)非常厲害,但其產(chǎn)生幻覺的行為還沒人進(jìn)行系統(tǒng)性的評(píng)估。能不能對(duì)偏見和干擾做一個(gè)系統(tǒng)研究呢?
大模型“幻覺缺陷”研究最近,來自北卡羅來納大學(xué)教堂山分校等機(jī)構(gòu)的研究人員對(duì)大模型這類“幻覺缺陷”進(jìn)行了系統(tǒng)性地總結(jié),并提出了一個(gè)名為Bingo的新基準(zhǔn)測(cè)試,用以評(píng)估視覺語言模型中的偏見和干擾挑戰(zhàn)。
論文題目:
《Holistic Analysis of Hallucination in GPT-4V(ision):Bias and Interference Chall
原文鏈接:GPT-4V“大翻車”!把海豹識(shí)別成狗!分不清炸雞和泰迪,葫蘆娃也數(shù)不明白…
聯(lián)系作者
文章來源:夕小瑤科技說
作者微信:xixiaoyaoQAQ
作者簡(jiǎn)介:更快的AI前沿,更深的行業(yè)洞見。聚集25萬AI應(yīng)用開發(fā)者、算法工程師和研究人員。一線作者均來自清北、國(guó)外頂級(jí)AI實(shí)驗(yàn)室和互聯(lián)網(wǎng)大廠,兼?zhèn)涿襟wsense與技術(shù)深度。