高效評估多模態預訓練對齊質量，中科大提出模態融合率MIR

AIGC動態歡迎閱讀

原標題：高效評估多模態預訓練對齊質量，中科大提出模態融合率MIR
關鍵字：模型,特征,研究者,基準,文本
文章來源：機器之心
內容字數：0字

內容摘要：

AIxiv專欄是機器之心發布學術、技術內容的欄目。過去數年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業的頂級實驗室，有效促進了學術交流與傳播。如果您有優秀的工作想要分享，歡迎投稿或者聯系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文作者來自于中國科學技術大學，上海人工智能實驗室以及香港中文大學。其中第一作者黃啟棟為中國科學技術大學三年級博士生，主要研究方向包括多模態大模型（MLLM）和可信 / 高效 AI，師從張衛明教授。
是否還在苦惱如何評估自己預訓練好的多模態 LLM 的性能？是否還在使用并不靠譜的損失 Loss，困惑度 Perplexity（PPL），上下文 In-Context 評估，亦或是一遍遍地通過有監督微調（SFT）之后下游測試基準的分數來判斷自己的預訓練是否有效？
來自中科大等單位的研究團隊共同提出了用來有效評估多模態大模型預訓練質量的評估指標 Modality Integration Rate（MIR），能夠快速準確地評估多模態預訓練的模態對齊程度。標題：Decip

原文鏈接：高效評估多模態預訓練對齊質量，中科大提出模態融合率MIR

聯系作者

文章來源：機器之心
作者微信：
作者簡介：