MSQA（Multi-modal Situated Question Answering）是一個創新的多模態情境推理數據集，旨在提升具身人工智能代理在三維場景中的理解與推理能力。該數據集涵蓋了251,000個問答對，涉及9種不同的問題類別，數據基于真實世界的3D場景圖以及視覺-語言模型進行收集。通過交錯的文本、圖像和點云輸入，MSQA顯著降低了單一模態輸入所帶來的歧義。

MSQA是什么

MSQA（多模態情境問答）是一個專為增強具身AI在三維環境中推理能力而設計的大型數據集。它包含251,000個問答對，涵蓋9個問題類別，旨在基于3D場景圖和視覺-語言模型的應用，幫助AI更好地理解復雜的情境。通過多模態輸入的方式，MSQA有效地減少了由于單模態輸入造成的理解障礙。該項目還引入了MSNN（多模態下一步導航）基準測試，以評估模型在情境導航方面的能力，從而促進更強大情境推理模型的發展。

MSQA的主要功能

• 多模態情境推理：提供251,000個問答對，覆蓋9個問題類別，涉及3D場景中的復雜情境與對象。
• 數據模態的多樣性：支持文本、圖像及點云等多種數據形式，提供全面的情境描述，減少單一模態的局限性和歧義。
• 性能評估：通過MSQA和MSNN兩個基準測試，評估和比較不同模型在3D場景中的情境推理和導航能力。
• 促進AI研究：MSQA為具身AI和3D場景理解領域的研究進展提供了一個大規模多模態數據集。
• 預訓練與模型開發：作為預訓練材料，MSQA數據集幫助開發和優化更強大的情境推理模型。

MSQA的技術原理

• 數據收集與生成：利用3D場景圖和視覺-語言模型（VLMs）在真實世界的3D環境中自動且可擴展地收集數據。
• 多模態輸入設置：引入交錯的多模態輸入，將文本、圖像和點云數據結合，提供更準確的情境和問題描述。
• 情境意識建模：整合不同模態輸入數據，提高模型對情境的感知和理解能力。
• 評估基準測試設計：設計MSQA和MSNN兩個基準測試，分別針對情境問答和下一步導航任務，全面評估模型的多模態理解和情境推理能力。
• 模型評估與分析：在MSQA和MSNN上進行實驗，分析現有模型的局限性，探索多模態輸入和情境建模的重要性。

MSQA的項目地址

• 項目官網：msr3d.github.io
• arXiv技術論文：https://arxiv.org/pdf/2409.02389

MSQA的應用場景

• 智能導航系統：幫助開發能夠理解復雜空間關系并提供導航指令的智能系統，適用于室內外環境。
• 增強現實（AR）和虛擬現實（VR）：在AR和VR應用中，提供對虛擬環境的深入理解與交互，提升用戶體驗。
• 機器人交互：使機器人能夠理解并響應周圍環境的問題，從而提高其在復雜3D空間中的操作和交互能力。
• 自動駕駛車輛：輔助自動駕駛汽車理解交通場景，提供更準確的決策支持以應對復雜道路情況。
• 智能助理與機器人：理解用戶在3D空間中的查詢，提供更加準確和上下文相關的回答。