MV-MATH

MV-MATH – 中科院推出的基準(zhǔn)數(shù)據(jù)集，評估模型處理多視覺信息的數(shù)學(xué)推理能力

MV-MATH是什么

MV-MATH是由中國科學(xué)院自動(dòng)化研究所推出的創(chuàng)新基準(zhǔn)數(shù)據(jù)集，旨在評估多模態(tài)大語言模型（MLLMs）在各種視覺場景中進(jìn)行數(shù)學(xué)推理的能力。該數(shù)據(jù)集包含2009個(gè)高質(zhì)量的數(shù)學(xué)問題，每道題目結(jié)合了多幅圖像和文字，形成了圖文交融的多視覺場景。問題類型包括選擇題、填空題和多步問答題，覆蓋11個(gè)數(shù)學(xué)領(lǐng)域，如解析幾何、代數(shù)、度量幾何等，并按難度分為三個(gè)等級(jí)。

MV-MATH的主要功能

• 多視覺場景推理：每個(gè)問題配有2到8張圖像，與文本內(nèi)容相輔相成，模擬真實(shí)的數(shù)學(xué)問題場景，全面評估模型處理多種視覺信息的推理能力。
• 廣泛的數(shù)學(xué)領(lǐng)域覆蓋：涉及11個(gè)數(shù)學(xué)學(xué)科（如解析幾何、代數(shù)、立體幾何等）和3個(gè)難度層次，能夠全面評估模型在不同學(xué)科的推理表現(xiàn)。
• 圖像關(guān)聯(lián)性分析：首次引入圖像相關(guān)性標(biāo)簽，將數(shù)據(jù)集分為相互依賴集（MD）和集（ID），從而分別評估模型在處理相關(guān)和圖像時(shí)的推理能力。
• 教育應(yīng)用：源自真實(shí)的K-12教育環(huán)境，可用于開發(fā)智能輔導(dǎo)系統(tǒng)，幫助學(xué)生通過圖文結(jié)合的方式解決復(fù)雜的數(shù)學(xué)問題。
• 研究工具：為多模態(tài)學(xué)習(xí)領(lǐng)域提供標(biāo)準(zhǔn)化的評估工具，幫助研究人員識(shí)別和改善模型在數(shù)學(xué)推理中的性能差距。
• 高質(zhì)量標(biāo)注：每個(gè)樣本經(jīng)過至少兩名標(biāo)注者的交叉驗(yàn)證，包含問題、答案、詳細(xì)分析及圖像關(guān)聯(lián)性標(biāo)注，為模型評估提供詳盡信息。
• 真實(shí)問題收集：所有問題均來源于實(shí)際場景，確保數(shù)據(jù)集的實(shí)用性和可靠性。

MV-MATH的技術(shù)原理

• 相互依賴集（Mutually Dependent Set，MD）：圖像之間存在相互關(guān)聯(lián)，理解一個(gè)圖像需要參考其他圖像。
• 集（Independent Set，ID）：圖像之間相互，可以單獨(dú)進(jìn)行解讀。

MV-MATH的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://eternal8080.github.io/MV-MATH.github.io/
• Github倉庫：https://github.com/eternal8080/MV-MATH
• arXiv技術(shù)論文：https://arxiv.org/pdf/2502.20808
• HuggingFace數(shù)據(jù)集：https://huggingface.co/datasets/PeijieWang/MV-MATH

MV-MATH的應(yīng)用場景

• 智能輔導(dǎo)系統(tǒng)：MV-MATH數(shù)據(jù)集可用于開發(fā)智能輔導(dǎo)平臺(tái)，幫助學(xué)生通過圖文結(jié)合的方式解決復(fù)雜的數(shù)學(xué)問題。
• 多模態(tài)學(xué)習(xí)研究：MV-MATH為多模態(tài)學(xué)習(xí)研究提供標(biāo)準(zhǔn)化評估工具，研究者可以利用該數(shù)據(jù)集評估MLLMs在多視覺場景中的數(shù)學(xué)推理能力，助力多模態(tài)學(xué)習(xí)技術(shù)的進(jìn)步。
• 性能差距分析：通過廣泛的實(shí)驗(yàn)，研究人員能夠識(shí)別并改進(jìn)模型在數(shù)學(xué)推理任務(wù)中的性能差距。
• 多圖推理任務(wù)：該數(shù)據(jù)集可用于開發(fā)和優(yōu)化多圖推理任務(wù)的解決方案，從而在復(fù)雜數(shù)學(xué)問題中處理多個(gè)圖像和文本信息。
• 自動(dòng)化評估系統(tǒng)：數(shù)據(jù)集可用于評估和優(yōu)化自動(dòng)化考試系統(tǒng)，確保其在處理多模態(tài)輸入時(shí)的準(zhǔn)確性和可靠性。