首個通用雙向Adapter多模態目標追蹤方法BAT，入選AAAI 2024

AIGC動態1年前 (2024)發布機器之心

AIGC動態歡迎閱讀

原標題：首個通用雙向Adapter多模態目標追蹤方法BAT，入選AAAI 2024
關鍵字：方法,雙向,主導,提示,模型
文章來源：機器之心
內容字數：6357字

內容摘要：

機器之心專欄
機器之心編輯部能夠有效實現多模態交叉提示跟蹤。
目標跟蹤是計算機視覺的一項基礎視覺任務，由于計算機視覺的快速發展，單模態 (RGB) 目標跟蹤近年來取得了重大進展。考慮到單一成像傳感器的局限性，我們需要引入多模態圖像 (RGB、紅外等) 來彌補這一缺陷，以實現復雜環境下全天候目標跟蹤。
然而，現有的多模態跟蹤任務也面臨兩個主要問題：
由于多模態目標跟蹤的數據標注成本高，大多數現有數據集規模有限，不足以支持構建有效的多模態；
因為不同的成像方式在變化的環境中對物體的敏感度不同，開放世界中主導模態是動態變化的，多模態數據之間的主導相關性并不固定。
在 RGB 序列上進行預訓練，然后以完全微調的方式轉移到多模態場景的許多多模態跟蹤工作存在時間昂貴和效率低下的問題，同時表現出有限的性能。
除了完全微調方法之外，受自然語言處理 (NLP) 領域參數高效微調方法成功的啟發，一些最近的方法通過凍結骨干網絡參數并附加一組額外可學習的參數，將參數高效 prompt 微調引入到多模態跟蹤中。
這些方法通常以一種模態 (通常是 RGB) 為主導模態，另一種模態作為輔助模態。然而，這些方法

原文鏈接：首個通用雙向Adapter多模態目標追蹤方法BAT，入選AAAI 2024