EMMS：高效的多模態(tài)多任務(wù)預訓練模型選擇器 | NeurIPS 2023

AIGC動態(tài)歡迎閱讀

原標題：EMMS：高效的多模態(tài)多任務(wù)預訓練模型選擇器 | NeurIPS 2023
關(guān)鍵字：模型,任務(wù),標簽,算法,基礎(chǔ)
文章來源：算法邦
內(nèi)容字數(shù)：14595字

內(nèi)容摘要：

直播預告 | 今晚7點，「多模態(tài)大模型線上閉門會」正式開講！阿里巴巴通義實驗室 NLP 高級算法專家嚴明參與出品，攜手劉兆洋、李彥瑋、文束三位青年學者，共同探討多模態(tài)大模型的發(fā)展與應(yīng)用，歡迎報名。模型優(yōu)選，指的是給定數(shù)據(jù)集以及一簇預訓練模型后，選擇一個最適合的預訓練模型可以在下游任務(wù)上微調(diào)后得到最好的結(jié)果。尤其在大模型蓬勃發(fā)展的今天，模型優(yōu)選能作為多任務(wù)處理模型TaskMatrix[1]的高效API選擇器。在遷移學習的框架下，一個最簡單的手段是把所有的預訓練模型全部進行微調(diào)，最后選擇最適合的那一個，但是微調(diào)的時間與物力成本過高。所以這一任務(wù)的難點在于如何準確且高效的完成多個預訓練模型的下游任務(wù)效果預測。現(xiàn)有工作[2,3]都聚焦于特定任務(wù)的模型優(yōu)選，比如圖像分類。且由于方法設(shè)計包括了任務(wù)的先驗信息，無法有效的擴展到其他任務(wù)比如圖像描述等。
為了解決這個問題，我們提出EMMS（Efficient Multimodal Multitask Model Selector）。EMMS是一個高效的多模態(tài)多任務(wù)預訓練模型選擇器，可以快速為包括圖像分類，圖像描述，視覺，文本問答，視覺定位任務(wù)等任務(wù)選擇

原文鏈接：EMMS：高效的多模態(tài)多任務(wù)預訓練模型選擇器 | NeurIPS 2023

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：「算法邦」，隸屬于智猩猩，關(guān)注大模型、生成式AI、計算機視覺三大領(lǐng)域的研究與開發(fā)，提供技術(shù)文章、講座、在線研討會。