超越同級7B模型！ 中國團隊開源大規模高質量圖文數據集ShareGPT4V，大幅提升多模態性能

AIGC動態歡迎閱讀

原標題：超越同級7B模型！ 中國團隊開源大規模高質量圖文數據集ShareGPT4V，大幅提升多模態性能

關鍵字：數據,模型,圖像,文本,畫作

文章來源：新智元

內容字數：7209字

內容摘要：新智元報道編輯：LRS【新智元導讀】研究人員利用GPT4-Vision構建了一個大規模高質量圖文數據集ShareGPT4V，并在此基礎上訓練了一個7B模型，在多項多模態榜單上超越了其他同級模型。OpenAI在九月份為ChatGPT添加了圖像輸入功能，允許用戶使用上傳一張或多張圖像配合進行對話，這一新興功能的背后是一個被OpenAI稱為GPT4-Vision的多模態（vision-language）大模型。鑒于OpenAI對「閉源」的堅持，多模態開源社區如雨后春筍般涌出了眾多優秀的多模態大模型研究成果，例如兩大代表作MiniGPT4和LLaVA已經向用戶們展示了多模態對話和推理的無限可能性。在多模態大模型（Large Multi-modal Models）領域，高效的模態對齊（modality alignment）是至關重要的，但現有工作中模態對齊的效果卻往往受制于缺少大規模的高質量的「圖像…

原文鏈接：點此閱讀原文：超越同級7B模型！ 中國團隊開源大規模高質量圖文數據集ShareGPT4V，大幅提升多模態性能

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。