CVPR‘24：與任務無關的多模態數據也能提升Transformer性能｜港中文&騰訊

AIGC動態歡迎閱讀

原標題：CVPR‘24：與任務無關的多模態數據也能提升Transformer性能｜港中文&騰訊
關鍵字：騰訊,數據,模型,任務,線性
文章來源：量子位
內容字數：3708字

內容摘要：

Yiyuan 投稿量子位 | 公眾號 QbitAI萬萬沒想到，與任務無直接關聯的多模態數據也能提升Transformer模型性能。
比如訓練一個圖像分類模型，除了標注好類別的圖像數據集，增加視頻、音頻、點云等模態數據，也能顯著提升模型在圖像分類上的性能。
這樣一來，在AI訓練階段就可以減少與特定任務直接相關的標注數據需求，可以節省大量成本，或在數據有限的任務上提供新解決思路。
這個神奇的發現來自港中文MMLab和騰訊AI Lab的合作研究，相關論文已被CVPR 2024接收，引起廣泛關注。
從無關數據中學習有用知識具體來說，團隊提出了一種稱為多模態通路（Multimodal Pathway）的新框架。
該框架允許Transformer模型在處理特定模態的數據時，同時利用其他模態中的無關數據進行訓練，從而在不增加額外推理成本的前提下顯著提升模型性能。
多模態通路的核心技術是跨模態重參數化（Cross-Modal Re-parameterization）*。
這一技術的創新之處在于，它通過結構上的智能重組，使得模型能夠在保持原有計算成本的同時，增加從其他模態學習的能力。
對于已經被廣泛運用

原文鏈接：CVPR‘24：與任務無關的多模態數據也能提升Transformer性能｜港中文&騰訊

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破