多圖場景用DPO對齊！上海AI實驗室等提出新方法，無需人工標注

AIGC動態歡迎閱讀

原標題：多圖場景用DPO對齊！上海AI實驗室等提出新方法，無需人工標注
關鍵字：圖像,幻覺,模型,數據,研究者
文章來源：量子位
內容字數：0字

內容摘要：

劉子煜投稿量子位 | 公眾號 QbitAI多圖像場景也能用DPO方法來對齊了！
由上海交大、上海AI實驗室、港中文等帶來最新成果MIA-DPO。
這是一個面向大型視覺語言模型的多圖像增強的偏好對齊方法。
通過將單圖像數據擴展至多圖像數據，并設計序列、網格拼貼和圖中圖三種數據格式，MIA-DPO大幅降低了數據收集和標注成本，且具有高度可擴展性。
要知道，理解多圖像上下文已經成為視覺語言大模型的發展趨勢之一，許多數據集和評估基準被提出。不過幻覺問題依然很難避免，且引入多圖像數據可能削弱單圖像任務的表現。
雖然偏好對齊方法（如DPO）在單圖像場景中已被證明有效，但多圖像偏好對齊仍然是一個解決問題。
MIA-DPO不僅解決了這一問題，而且無需依賴人工標注或昂貴的API。
通過分析視覺大語言模型在多圖像處理中的注意力分布差異，他們提出了一種基于注意力的選擇方法（Attention Aware Selection），自動過濾掉關注無關圖像的錯誤答案，構建了自動化、低成本且適用于多圖像場景的DPO數據生成方法。
△MIA-DPO的整體介紹與實驗結果。值得一提的是，該論文還獲得了當日HuggingF

原文鏈接：多圖場景用DPO對齊！上海AI實驗室等提出新方法，無需人工標注