Docmatix是一個專為文檔視覺問答（Document Visual Question Answering，簡稱DocVQA）任務(wù)而設(shè)計的大型數(shù)據(jù)集，擁有240萬張圖像和950萬個問題答案對，數(shù)據(jù)取自130萬個PDF文檔。其規(guī)模是以往數(shù)據(jù)集的240倍，為視覺語言模型（VLM）的訓(xùn)練和優(yōu)化提供了豐富的資源。

Docmatix是什么

Docmatix是一個為文檔視覺問答（DocVQA）任務(wù)量身定制的大規(guī)模數(shù)據(jù)集。它的內(nèi)容涵蓋240萬張圖像和950萬個問題與答案對，數(shù)據(jù)來源于130萬個PDF文檔。Docmatix的數(shù)據(jù)集規(guī)模相較于之前的項目擴大了240倍，為視覺語言模型的訓(xùn)練和優(yōu)化提供了極為豐富的素材。

Docmatix的主要功能

• 龐大的數(shù)據(jù)覆蓋范圍：Docmatix提供240萬張圖像和950萬個問題-答案對，數(shù)據(jù)源自130萬個PDF文檔，為視覺語言模型的訓(xùn)練和評估提供了豐富的資源。
• 多樣化的文檔類型：數(shù)據(jù)集包含多種類型的文檔，如掃描圖像、PDF文件和數(shù)字文檔，文檔中融合了文本和視覺特征。
• 高品質(zhì)的問答對：通過自動化工具與人工審核，確保問題和答案對的質(zhì)量及其準(zhǔn)確性。
• 支持模型訓(xùn)練與微調(diào)：Docmatix可用于訓(xùn)練和微調(diào)視覺語言模型，提升模型在理解和回答與文檔內(nèi)容相關(guān)問題的能力。

Docmatix的技術(shù)原理

• 數(shù)據(jù)源與OCR處理：Docmatix數(shù)據(jù)集基于PDFA數(shù)據(jù)集生成，PDFA包含210萬個PDF文檔。經(jīng)過光學(xué)字符識別（OCR）處理，將圖像中的文本轉(zhuǎn)化為機器可讀的文本數(shù)據(jù)。
• 自動生成問答對：運用Phi-3-small模型，從OCR轉(zhuǎn)錄的文本中自動生成問題與答案對，整個過程實現(xiàn)自動化，旨在創(chuàng)建大量與文檔內(nèi)容相關(guān)的問答對。
• 數(shù)據(jù)清洗與過濾：Docmatix的創(chuàng)建者對生成的問答對進行了嚴(yán)格的過濾，剔除不準(zhǔn)確或不相關(guān)的內(nèi)容。
• 數(shù)據(jù)集構(gòu)建：每一行數(shù)據(jù)對應(yīng)一個PDF文件，包含圖像路徑及相關(guān)問答對，所有樣本的原始PDF均可追溯至PDFA數(shù)據(jù)集，確保透明度與可靠性。

Docmatix的項目地址

• GitHub倉庫：https://github.com/huggingface/docmatix
• HuggingFace模型庫：https://huggingface.co/datasets/HuggingFaceM4/Docmatix

如何使用Docmatix

• 訪問Hugging Face Hub：前往Hugging Face Hub下載數(shù)據(jù)集。
• 加載數(shù)據(jù)集：使用Hugging Face的datasets庫來加載數(shù)據(jù)集。
• 探索數(shù)據(jù)：查看數(shù)據(jù)集中的樣本，了解其結(jié)構(gòu)和內(nèi)容。
• 微調(diào)模型：利用此數(shù)據(jù)集對語言模型進行微調(diào)，例如Florence-2。
• 評估性能：在驗證集上評估模型性能，以確保滿足預(yù)期目標(biāo)。

Docmatix的應(yīng)用場景

• 自動化客戶服務(wù)：Docmatix訓(xùn)練的模型能夠為自動化客戶服務(wù)系統(tǒng)提供支持，幫助理解和回答有關(guān)產(chǎn)品手冊、服務(wù)條款或常見問題文檔的詢問。
• 智能文檔分析：在法律、金融或醫(yī)療領(lǐng)域，智能文檔分析能夠幫助專業(yè)人士迅速從大量文檔中提取關(guān)鍵信息，如合同條款或醫(yī)療記錄中的診斷信息。
• 教育與學(xué)術(shù)研究：在教育領(lǐng)域，Docmatix可以協(xié)助開發(fā)輔助學(xué)習(xí)工具，例如自動生成問題和答案，幫助學(xué)生更好地掌握課程內(nèi)容。在學(xué)術(shù)研究中，它也可用于自動化文獻綜述過程。
• 業(yè)務(wù)流程自動化：在企業(yè)中，通過自動化處理發(fā)票、報告、申請表等文檔，顯著提升效率，減少人工干預(yù)。
• 信息檢索系統(tǒng)：Docmatix幫助構(gòu)建更為先進的信息檢索系統(tǒng)，能夠理解用戶的問題并從海量文檔中進行檢索。