最長(zhǎng)150頁(yè)文檔

原標(biāo)題：多模態(tài)長(zhǎng)文檔新基準(zhǔn)來了！20多項(xiàng)任務(wù)覆蓋理解推理定位，GPT-4o也就剛及格
文章來源：量子位
內(nèi)容字?jǐn)?shù)：7061字

LongDocURL：評(píng)估多模態(tài)長(zhǎng)文檔理解能力的新基準(zhǔn)

本文介紹了LongDocURL，一個(gè)用于全面評(píng)估大型視覺語(yǔ)言模型(LVLMs)多模態(tài)長(zhǎng)文檔理解能力的新基準(zhǔn)。該基準(zhǔn)由中科院自動(dòng)化研究所劉成林課題組和淘天集團(tuán)算法技術(shù)-未來生活實(shí)驗(yàn)室團(tuán)隊(duì)合作完成，旨在克服現(xiàn)有基準(zhǔn)在處理長(zhǎng)文檔、復(fù)雜元素和多樣化任務(wù)方面的局限性。

LongDocURL 的創(chuàng)新之處

1. 長(zhǎng)上下文：LongDocURL 專注于篇幅在 50～150 頁(yè)的英文文檔，平均頁(yè)數(shù)高達(dá) 85.6 頁(yè)，遠(yuǎn)超現(xiàn)有基準(zhǔn)。這使得它能夠更有效地評(píng)估模型處理長(zhǎng)上下文信息的能力。

2. 多模態(tài)輸入：該基準(zhǔn)支持多模態(tài)輸入（圖像和文本），能夠更全面地評(píng)估模型對(duì)文檔圖像和結(jié)構(gòu)信息的理解能力。

3. 細(xì)粒度評(píng)估：LongDocURL 定義了三個(gè)主任務(wù)類別（理解、數(shù)值推理、跨元素定位）以及 20 個(gè)細(xì)分子任務(wù)，涵蓋了更廣泛的任務(wù)類型，例如表格解析、圖表理解和跨元素關(guān)系分析。

4. 高質(zhì)量數(shù)據(jù)：數(shù)據(jù)集經(jīng)過模型自動(dòng)驗(yàn)證和人工驗(yàn)證，確保了數(shù)據(jù)的準(zhǔn)確性和可靠性。

LongDocURL 的挑戰(zhàn)性

LongDocURL 對(duì)當(dāng)前的 LVLMs 構(gòu)成了巨大的挑戰(zhàn)。在 26 種不同的模型配置下進(jìn)行的評(píng)估顯示，即使是表現(xiàn)最好的 GPT-4o，準(zhǔn)確率也僅為 64.5%，勉強(qiáng)及格。其他模型的表現(xiàn)則更加遜色，大部分甚至未及格。

實(shí)驗(yàn)結(jié)果與分析

1. 模型性能差異：閉源模型整體性能優(yōu)于開源模型。在開源模型中，只有 Qwen2-VL 和 LLaVA-OneVision 的得分超過 20 分。

2. 多模態(tài) vs. 純文本：LVLM 的性能顯著高于 LLM，這主要是因?yàn)榧兾谋据斎朐诮馕鲞^程中丟失了重要的文檔結(jié)構(gòu)信息。

3. 細(xì)粒度分析：模型在文本問題上的表現(xiàn)最好，在表格問題上的表現(xiàn)最差，凸顯了文檔結(jié)構(gòu)解析能力的不足。多頁(yè) QA 的準(zhǔn)確率高于單頁(yè) QA，但一些強(qiáng)模型在多頁(yè) QA 上的定位任務(wù)得分較低，影響了整體表現(xiàn)。

4. 輸入方式消融實(shí)驗(yàn)：實(shí)驗(yàn)表明，截?cái)鄨D像輸入優(yōu)于合并圖像輸入，而使用 Docmind 解析的文本輸入優(yōu)于 PyMuPDF 解析的文本輸入，這說明保留完整的表格結(jié)構(gòu)信息對(duì)模型性能至關(guān)重要。

結(jié)論

LongDocURL 為評(píng)估 LVLMs 的長(zhǎng)文檔理解能力提供了一個(gè)更全面、細(xì)粒度的基準(zhǔn)。其對(duì)現(xiàn)有模型的挑戰(zhàn)性結(jié)果表明，未來的研究需要進(jìn)一步提升模型處理長(zhǎng)文檔、復(fù)雜元素和多樣化任務(wù)的能力。LongDocURL 的出現(xiàn)，將推動(dòng)多模態(tài)長(zhǎng)文檔理解領(lǐng)域的發(fā)展，并為構(gòu)建更強(qiáng)大的文檔理解系統(tǒng)提供重要的參考。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破