AIGC動態(tài)歡迎閱讀

原標題：CVPR‘24：與任務無關的多模態(tài)數(shù)據(jù)也能提升Transformer性能｜港中文&騰訊
關鍵字：騰訊,數(shù)據(jù),模型,任務,線性
文章來源：量子位
內(nèi)容字數(shù)：3708字

內(nèi)容摘要：

Yiyuan 投稿量子位 | 公眾號 QbitAI萬萬沒想到，與任務無直接關聯(lián)的多模態(tài)數(shù)據(jù)也能提升Transformer模型性能。
比如訓練一個圖像分類模型，除了標注好類別的圖像數(shù)據(jù)集，增加視頻、音頻、點云等模態(tài)數(shù)據(jù)，也能顯著提升模型在圖像分類上的性能。
這樣一來，在AI訓練階段就可以減少與特定任務直接相關的標注數(shù)據(jù)需求，可以節(jié)省大量成本，或在數(shù)據(jù)有限的任務上提供新解決思路。
這個神奇的發(fā)現(xiàn)來自港中文MMLab和騰訊AI Lab的合作研究，相關論文已被CVPR 2024接收，引起廣泛關注。
從無關數(shù)據(jù)中學習有用知識具體來說，團隊提出了一種稱為多模態(tài)通路（Multimodal Pathway）的新框架。
該框架允許Transformer模型在處理特定模態(tài)的數(shù)據(jù)時，同時利用其他模態(tài)中的無關數(shù)據(jù)進行訓練，從而在不增加額外推理成本的前提下顯著提升模型性能。
多模態(tài)通路的核心技術是跨模態(tài)重參數(shù)化（Cross-Modal Re-parameterization）*。
這一技術的創(chuàng)新之處在于，它通過結構上的智能重組，使得模型能夠在保持原有計算成本的同時，增加從其他模態(tài)學習的能力。
對于已經(jīng)被廣泛運用

原文鏈接：CVPR‘24：與任務無關的多模態(tài)數(shù)據(jù)也能提升Transformer性能｜港中文&騰訊

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業(yè)新突破