補齊多模態最后一塊短板，Tarsier2 反超 GPT40、Gemini-1.5-Pro!

原標題：反超GPT 4o與Gemini-1.5-Pro！字節發布第二代視頻理解大模型「眼鏡猴」
文章來源：智猩猩GenAI
內容字數：4042字

字節跳動Tarsier2視頻理解模型：超越GPT-4o，引領多模態融合

本文總結了字節跳動研究團隊最新發布的視頻理解大模型Tarsier2的相關信息。Tarsier2在視頻理解領域取得了顯著突破，其性能在多個基準測試中超越了包括GPT-4o在內的多個閉源和開源模型。

1. Tarsier2的強大性能

Tarsier2是一個7B參數的輕量級模型，能夠理解長達數十分鐘的視頻，尤其擅長分析幾十秒的短視頻片段。它能夠細致地捕捉視頻中的人物動作、結合字幕信息分析人物動機和心理，理解人物關系和情節發展。無論是真人視頻還是動畫，橫屏還是豎屏，Tarsier2都能準確地描述視頻內容，并且很少出現幻覺。在對《燕子，沒有你我怎么活》和《曹操蓋飯》等影視片段的分析中，Tarsier2展現了其強大的理解能力。

2. “火眼金睛”的煉成之路：預訓練和后訓練

Tarsier2強大的視頻理解能力源于其精心設計的預訓練和后訓練過程：

2.1 預訓練：Tarsier2在4000萬個互聯網視頻-文本數據上進行預訓練。為了解決高質量視頻-文本對齊數據獲取的難題，團隊采用了海量數據收集和嚴謹的數據篩選流程。數據收集涵蓋電影、電視劇、短視頻等多種來源，并特別篩選了大量的影視劇解說視頻，以幫助模型理解更高層次的情節信息。數據篩選則包含“分鏡→過濾→合并”三個階段，確保數據的質量。

2.2 后訓練：后訓練分為SFT和DPO兩個階段。SFT階段，模型在人工標注的視頻描述數據上進行訓練，并引入針對每個子的具體定位信息，增強模型對時序信息和視覺特征的關注度。DPO階段，模型在自動化構造的正負樣本上進行訓練，提高描述的準確性和全面性，減少幻覺。

3. 基準測試結果：超越GPT-4o和Gemini

Tarsier2在19個視頻理解公開基準上進行了測試，結果表明其性能超越了Qwen2-VL、InternVL2.5、LLaVA-Video等多個同規模的開源模型，以及Gemini-1.5和GPT-4o等閉源模型。尤其是在視頻描述評測集DREAM-1K上，Tarsier2相比GPT-4o提升了2.8%，相比Gemini-1.5-Pro提升了5.8%。人工評估結果也顯示Tarsier2-7b相比GPT-4o和Gemini-1.5-Pro具有顯著優勢。

4. 廣泛的應用場景

Tarsier2作為基座模型，在機器人和智能駕駛等下游任務場景中也展現了強大的泛化能力。它可以為機器人任務生成詳細的步驟指令，并幫助車輛識別道路情況，輔助決策。

5. 未來展望

Tarsier2在視頻理解領域取得了顯著成果，超越了現有的閉源和開源模型。它在多模態深度融合方面邁出了堅實的步伐，未來有望在多模態融合的浪潮中持續領航，為人工智能的發展帶來更多驚喜。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術文章、論文成果與產品信息。