WebLI-100B – 谷歌 DeepMind 推出的1000億視覺語(yǔ)言數(shù)據(jù)集

WebLI-100B是由Google DeepMind推出的一個(gè)規(guī)模空前的數(shù)據(jù)集，包含1000億對(duì)圖像與文本。這一超大規(guī)模數(shù)據(jù)集專為視覺語(yǔ)言模型（VLMs）的預(yù)訓(xùn)練而設(shè)計(jì)，是WebLI數(shù)據(jù)集的擴(kuò)展版本，基于從網(wǎng)絡(luò)中大量收集的圖像及其相關(guān)標(biāo)題或頁(yè)面標(biāo)題構(gòu)建而成。WebLI-100B的龐大規(guī)模是以往最大視覺語(yǔ)言數(shù)據(jù)集的十倍，極大提高了模型對(duì)長(zhǎng)尾概念、文化多樣性和多語(yǔ)言內(nèi)容的理解能力。

WebLI-100B是什么

WebLI-100B是Google DeepMind推出的一個(gè)包含1000億圖像-文本對(duì)的超大規(guī)模數(shù)據(jù)集，旨在為視覺語(yǔ)言模型（VLMs）的預(yù)訓(xùn)練提供豐富的數(shù)據(jù)資源。作為WebLI數(shù)據(jù)集的擴(kuò)展版本，WebLI-100B基于從網(wǎng)絡(luò)收集的海量圖像及其對(duì)應(yīng)的標(biāo)題或頁(yè)面標(biāo)題構(gòu)建而成。這一數(shù)據(jù)集的規(guī)模是之前最大的視覺語(yǔ)言數(shù)據(jù)集的十倍，顯著提升了模型對(duì)各種長(zhǎng)尾概念、文化多樣性和多語(yǔ)言內(nèi)容的理解能力。構(gòu)建過(guò)程中，研究者僅進(jìn)行了基本的數(shù)據(jù)過(guò)濾，以保留盡可能多的語(yǔ)言和文化多樣性。WebLI-100B的發(fā)布為訓(xùn)練更具包容性的多模態(tài)模型奠定了重要基礎(chǔ)。

WebLI-100B的主要功能

• 支持大規(guī)模預(yù)訓(xùn)練：WebLI-100B提供豐富的1000億圖像-文本對(duì)，為視覺語(yǔ)言模型的預(yù)訓(xùn)練提供了強(qiáng)大的數(shù)據(jù)支持，顯著提升了模型在多種任務(wù)上的表現(xiàn)。
• 提升文化多樣性：該數(shù)據(jù)集包含來(lái)自不同文化背景的圖像與文本，幫助模型更好地理解和生成與各類文化相關(guān)的視覺與語(yǔ)言內(nèi)容。
• 增強(qiáng)多語(yǔ)言能力：數(shù)據(jù)集中包含多種語(yǔ)言的文本，有助于提高模型在低資源語(yǔ)言上的表現(xiàn)，推動(dòng)多語(yǔ)言任務(wù)的開發(fā)和應(yīng)用。
• 支持多模態(tài)任務(wù)：WebLI-100B為圖像分類、圖像描述生成、視覺問答等多種多模態(tài)任務(wù)提供了強(qiáng)大的數(shù)據(jù)支持。

WebLI-100B的技術(shù)原理

• 數(shù)據(jù)收集：
  • 來(lái)源：WebLI-100B的數(shù)據(jù)主要通過(guò)大規(guī)模網(wǎng)絡(luò)從互聯(lián)網(wǎng)收集，獲取圖像及其對(duì)應(yīng)的文本描述（如圖像的alt文本或頁(yè)面標(biāo)題）。
  • 規(guī)模：這一數(shù)據(jù)集包含1000億個(gè)圖像-文本對(duì)，堪稱目前最大的視覺語(yǔ)言數(shù)據(jù)集之一。
• 數(shù)據(jù)過(guò)濾：
  • 基本過(guò)濾：為了確保數(shù)據(jù)的質(zhì)量與多樣性，WebLI-100B進(jìn)行了基本的數(shù)據(jù)過(guò)濾，移除了有害圖像和個(gè)人身份信息（PII），以盡可能保留多樣的語(yǔ)言與文化。
  • 質(zhì)量過(guò)濾（可選）：研究中探討了使用CLIP等模型進(jìn)行數(shù)據(jù)過(guò)濾的可能性，以提升數(shù)據(jù)質(zhì)量，但這種方法可能會(huì)影響某些文化背景的代表性。
• 數(shù)據(jù)處理：
  • 文本處理：將圖像的alt文本和頁(yè)面標(biāo)題作為配對(duì)文本，采用多語(yǔ)言mt5分詞器進(jìn)行分詞處理，以確保文本數(shù)據(jù)的多樣性與一致性。
  • 圖像處理：將圖像調(diào)整為224×224像素的分辨率，以符合模型的輸入要求。

WebLI-100B的項(xiàng)目地址

• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.07617

WebLI-100B的應(yīng)用場(chǎng)景

• 人工智能研究者：可用于模型預(yù)訓(xùn)練、探索新算法，以及提升視覺語(yǔ)言模型的性能。
• 工程師：開發(fā)多語(yǔ)言和跨文化的應(yīng)用，如圖像描述、視覺問答以及內(nèi)容推薦系統(tǒng)。
• 內(nèi)容創(chuàng)作者：生成多語(yǔ)言的圖像描述和標(biāo)簽，以提升內(nèi)容的本地化和多樣性。
• 跨文化研究者：分析不同文化背景下的圖像與文本，研究文化差異。
• 教育工作者和學(xué)生：作為教學(xué)資源，學(xué)習(xí)多模態(tài)數(shù)據(jù)的處理與分析。

常見問題

• WebLI-100B的大小是多少？ WebLI-100B包含1000億個(gè)圖像-文本對(duì)，是目前最大的視覺語(yǔ)言數(shù)據(jù)集之一。
• 如何獲取WebLI-100B數(shù)據(jù)集？ 數(shù)據(jù)集的詳細(xì)信息和獲取方式可通過(guò)arXiv技術(shù)論文中的鏈接找到。
• WebLI-100B適用于哪些應(yīng)用？ 該數(shù)據(jù)集可廣泛應(yīng)用于人工智能研究、工程開發(fā)、內(nèi)容創(chuàng)作以及跨文化研究等領(lǐng)域。
• WebLI-100B如何確保數(shù)據(jù)的多樣性？ 在構(gòu)建過(guò)程中，研究者進(jìn)行基本的數(shù)據(jù)過(guò)濾，并保留盡可能多的不同語(yǔ)言和文化背景的數(shù)據(jù)。