一張顯卡看遍天下電影！智源聯(lián)合高校開(kāi)源Video-XL打破長(zhǎng)視頻理解極限，95%準(zhǔn)確率刷爆紀(jì)錄

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：一張顯卡看遍天下電影！智源聯(lián)合高校開(kāi)源Video-XL打破長(zhǎng)視頻理解極限，95%準(zhǔn)確率刷爆紀(jì)錄
關(guān)鍵字：視頻,模型,視覺(jué),數(shù)據(jù),能力
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

新智元報(bào)道編輯：編輯部 HYZ
【新智元導(dǎo)讀】長(zhǎng)視頻理解迎來(lái)新紀(jì)元！智源聯(lián)手國(guó)內(nèi)多所頂尖高校，推出了超長(zhǎng)視頻理解大模型Video-XL。僅用一張80G顯卡處理小時(shí)級(jí)視頻，未來(lái)AI看懂電影再也不是難事。長(zhǎng)視頻理解是多模態(tài)大模型的核心能力之一，也是邁向通用人工智能（AGI）的關(guān)鍵一步。然而，現(xiàn)有的多模態(tài)大模型在處理10分鐘以上的超長(zhǎng)視頻時(shí)，仍然面臨性能差和效率低的雙重挑戰(zhàn)。
對(duì)此，智源研究院聯(lián)合上海交通大學(xué)、中國(guó)人民大學(xué)、北京大學(xué)和北京郵電大學(xué)等多所高校，推出了小時(shí)級(jí)的超長(zhǎng)視頻理解大模型Video-XL。
Video-XL借助語(yǔ)言模型（LLM）的原生能力對(duì)長(zhǎng)視覺(jué)序列進(jìn)行壓縮，不僅保留了短視頻理解的能力，而且在長(zhǎng)視頻理解上展現(xiàn)了出色的泛化能力。
Video-XL相較于同等參數(shù)規(guī)模的模型，在多個(gè)主流長(zhǎng)視頻理解基準(zhǔn)評(píng)測(cè)的多項(xiàng)任務(wù)中排名第一。
此外，Video-XL在效率與性能之間實(shí)現(xiàn)了良好的平衡，僅需一塊80G顯存的顯卡即可處理2048幀輸入（對(duì)小時(shí)級(jí)長(zhǎng)度視頻采樣），并在視頻「大海撈針」任務(wù)中取得了接近95%的準(zhǔn)確率。
僅需幾秒鐘，VideoXL便可以準(zhǔn)確檢索長(zhǎng)視頻中植入的廣告內(nèi)容（https

原文鏈接：一張顯卡看遍天下電影！智源聯(lián)合高校開(kāi)源Video-XL打破長(zhǎng)視頻理解極限，95%準(zhǔn)確率刷爆紀(jì)錄