高效評估多模態(tài)預(yù)訓(xùn)練對齊質(zhì)量，中科大提出模態(tài)融合率MIR

AIGC動態(tài)歡迎閱讀

原標(biāo)題：高效評估多模態(tài)預(yù)訓(xùn)練對齊質(zhì)量，中科大提出模態(tài)融合率MIR
關(guān)鍵字：模型,特征,研究者,基準(zhǔn),文本
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

AIxiv專欄是機器之心發(fā)布學(xué)術(shù)、技術(shù)內(nèi)容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內(nèi)容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進(jìn)了學(xué)術(shù)交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者來自于中國科學(xué)技術(shù)大學(xué)，上海人工智能實驗室以及香港中文大學(xué)。其中第一作者黃啟棟為中國科學(xué)技術(shù)大學(xué)三年級博士生，主要研究方向包括多模態(tài)大模型（MLLM）和可信 / 高效 AI，師從張衛(wèi)明教授。
是否還在苦惱如何評估自己預(yù)訓(xùn)練好的多模態(tài) LLM 的性能？是否還在使用并不靠譜的損失 Loss，困惑度 Perplexity（PPL），上下文 In-Context 評估，亦或是一遍遍地通過有監(jiān)督微調(diào)（SFT）之后下游測試基準(zhǔn)的分?jǐn)?shù)來判斷自己的預(yù)訓(xùn)練是否有效？
來自中科大等單位的研究團隊共同提出了用來有效評估多模態(tài)大模型預(yù)訓(xùn)練質(zhì)量的評估指標(biāo) Modality Integration Rate（MIR），能夠快速準(zhǔn)確地評估多模態(tài)預(yù)訓(xùn)練的模態(tài)對齊程度。標(biāo)題：Decip

原文鏈接：高效評估多模態(tài)預(yù)訓(xùn)練對齊質(zhì)量，中科大提出模態(tài)融合率MIR