Migician – 北交大聯合清華、華中科大推出的多模態視覺定位模型

Migician是什么

Migician是由北京交通大學、華中科技大學和清華大學的研究團隊聯合開發的多模態大語言模型（MLLM），旨在應對形式的多圖像定位（Multi-Image Grounding，MIG）任務。該模型基于大規模訓練數據集MGrounding-630k，能夠根據不同形式的查詢（如文本描述、圖像或兩者結合）在多幅圖像中識別并精確定位相關視覺區域。Migician通過兩階段訓練方法，結合了多圖像理解和單圖像定位的能力，實現在復雜視覺場景中的高效應用，推動了多模態模型在細粒度視覺定位方面的進展。

Migician的主要功能

• 跨圖像定位：在多幅圖像中精確查找與查詢相關的對象或區域，并提供其確切位置（如坐標框）。
• 靈活的輸入形式：支持多種查詢方式，包括文本、圖像或兩者的組合，比如“在圖2中找出顏色不同但與圖1相似的物體”。
• 多任務支持：能夠處理多種與多圖像相關的任務，包括對象跟蹤、差異識別和共同對象定位等。
• 高效推理：利用端到端的模型設計，直接在多圖像場景中進行推理，避免了傳統方法中多步驟推理帶來的復雜性和錯誤傳播問題。

Migician的技術原理

• 端到端的多圖像定位框架：采用端到端的架構直接處理多圖像定位任務，省去任務分解為多個子任務的復雜性和效率問題，能夠根據查詢直接輸出目標對象的位置。
• 大規模指令調優數據集（MGrounding-630k）：包含超過63萬條多圖像定位任務的數據，涵蓋多種任務類型（如靜態差異定位、共同對象定位和對象跟蹤等），結合形式的指令，使模型學習到多樣化的定位能力。
• 兩階段訓練方法：
  • • 第一階段：在多種多圖像任務上進行訓練，學習基本的多圖像理解和定位能力。
    • 第二階段：通過形式的指令調優，提升模型在復雜查詢下的定位能力，確保適應多樣化任務。
• 多模態融合與推理：結合視覺和語言模態的信息，通過多模態融合實現對復雜查詢的理解與定位，處理抽象的視覺語義信息，例如通過對比、相似性或功能關聯來定位目標對象。
• 模型合并技術：采用模型合并技術，平均不同訓練階段的權重，以優化整體性能。

Migician的項目地址

• 項目官網：https://migician-vg.github.io/
• GitHub倉庫：https://github.com/thunlp/Migician
• HuggingFace模型庫：https://huggingface.co/Michael4933/Migician
• arXiv技術論文：https://arxiv.org/pdf/2501.05767

Migician的應用場景

• 自動駕駛：快速識別車輛周圍的目標（如行人、障礙物），支持多視角感知與動態目標跟蹤。
• 安防監控：通過多攝像頭聯動識別異常行為或目標，分析人群聚集、快速移動等異常情況。
• 機器人交互：精準定位目標物體，支持機器人在復雜環境中執行抓取、導航等任務。
• 圖像編輯：分析多幅圖像內容，實現對象替換、刪除或創造性內容生成。
• 醫療影像：融合多模態影像，迅速定位病變區域或異常組織，支持動態監測。

常見問題

• Migician支持哪些類型的查詢？ Migician支持文本描述、圖像或兩者結合的形式查詢。
• 如何獲取Migician的模型？ 您可以通過其項目官網、GitHub倉庫或HuggingFace模型庫下載模型。
• Migician適用于哪些行業？ Migician廣泛應用于自動駕駛、安防監控、機器人交互、圖像編輯和醫療影像等多個領域。
• 如何提升模型的定位精度？ 通過提供清晰、具體的查詢指令，可以有效提升模型的定位精度。