WebLI-100B – 谷歌 DeepMind 推出的1000億視覺語言數據集

WebLI-100B是由Google DeepMind推出的一個規模空前的數據集，包含1000億對圖像與文本。這一超大規模數據集專為視覺語言模型（VLMs）的預訓練而設計，是WebLI數據集的擴展版本，基于從網絡中大量收集的圖像及其相關標題或頁面標題構建而成。WebLI-100B的龐大規模是以往最大視覺語言數據集的十倍，極大提高了模型對長尾概念、文化多樣性和多語言內容的理解能力。

WebLI-100B是什么

WebLI-100B是Google DeepMind推出的一個包含1000億圖像-文本對的超大規模數據集，旨在為視覺語言模型（VLMs）的預訓練提供豐富的數據資源。作為WebLI數據集的擴展版本，WebLI-100B基于從網絡收集的海量圖像及其對應的標題或頁面標題構建而成。這一數據集的規模是之前最大的視覺語言數據集的十倍，顯著提升了模型對各種長尾概念、文化多樣性和多語言內容的理解能力。構建過程中，研究者僅進行了基本的數據過濾，以保留盡可能多的語言和文化多樣性。WebLI-100B的發布為訓練更具包容性的多模態模型奠定了重要基礎。

WebLI-100B的主要功能

• 支持大規模預訓練：WebLI-100B提供豐富的1000億圖像-文本對，為視覺語言模型的預訓練提供了強大的數據支持，顯著提升了模型在多種任務上的表現。
• 提升文化多樣性：該數據集包含來自不同文化背景的圖像與文本，幫助模型更好地理解和生成與各類文化相關的視覺與語言內容。
• 增強多語言能力：數據集中包含多種語言的文本，有助于提高模型在低資源語言上的表現，推動多語言任務的開發和應用。
• 支持多模態任務：WebLI-100B為圖像分類、圖像描述生成、視覺問答等多種多模態任務提供了強大的數據支持。

WebLI-100B的技術原理

• 數據收集：
  • 來源：WebLI-100B的數據主要通過大規模網絡從互聯網收集，獲取圖像及其對應的文本描述（如圖像的alt文本或頁面標題）。
  • 規模：這一數據集包含1000億個圖像-文本對，堪稱目前最大的視覺語言數據集之一。
• 數據過濾：
  • 基本過濾：為了確保數據的質量與多樣性，WebLI-100B進行了基本的數據過濾，移除了有害圖像和個人身份信息（PII），以盡可能保留多樣的語言與文化。
  • 質量過濾（可選）：研究中探討了使用CLIP等模型進行數據過濾的可能性，以提升數據質量，但這種方法可能會影響某些文化背景的代表性。
• 數據處理：
  • 文本處理：將圖像的alt文本和頁面標題作為配對文本，采用多語言mt5分詞器進行分詞處理，以確保文本數據的多樣性與一致性。
  • 圖像處理：將圖像調整為224×224像素的分辨率，以符合模型的輸入要求。

WebLI-100B的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2502.07617

WebLI-100B的應用場景

• 人工智能研究者：可用于模型預訓練、探索新算法，以及提升視覺語言模型的性能。
• 工程師：開發多語言和跨文化的應用，如圖像描述、視覺問答以及內容推薦系統。
• 內容創作者：生成多語言的圖像描述和標簽，以提升內容的本地化和多樣性。
• 跨文化研究者：分析不同文化背景下的圖像與文本，研究文化差異。
• 教育工作者和學生：作為教學資源，學習多模態數據的處理與分析。

常見問題

• WebLI-100B的大小是多少？ WebLI-100B包含1000億個圖像-文本對，是目前最大的視覺語言數據集之一。
• 如何獲取WebLI-100B數據集？ 數據集的詳細信息和獲取方式可通過arXiv技術論文中的鏈接找到。
• WebLI-100B適用于哪些應用？ 該數據集可廣泛應用于人工智能研究、工程開發、內容創作以及跨文化研究等領域。
• WebLI-100B如何確保數據的多樣性？ 在構建過程中，研究者進行基本的數據過濾，并保留盡可能多的不同語言和文化背景的數據。