国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

多模態大模型對齊新范式,10個評估維度全面提升,快手&中科院&南大打破瓶頸

AIGC動態8個月前發布 量子位
320 0 0

MM-RLHF,數據算法模型Pipline全開源

多模態大模型對齊新范式,10個評估維度全面提升,快手&中科院&南大打破瓶頸

原標題:多模態大模型對齊新范式,10個評估維度全面提升,快手&中科院&南大打破瓶頸
文章來源:量子位
內容字數:8610字

快手、中科院、南大合作:MM-RLHF,多模態大模型對齊的“游戲規則改變者”

近年來,多模態大語言模型(MLLMs)發展迅速,但其與人類偏好的對齊度仍有待提高。現有研究多集中于特定領域,例如減少幻覺,對MLLMs整體能力提升的影響尚不明確。快手、中科院和南大合作團隊提出的MM-RLHF框架,旨在從數據集、獎勵模型和訓練算法三個層面推動MLLM對齊發展,取得了顯著成果,并在Twitter上引發熱議,被譽為多模態對齊領域的“游戲規則改變者”。

1. MM-RLHF 的主要貢獻

MM-RLHF 的主要貢獻體現在以下幾個方面:

  1. 高質量偏好數據集:構建了一個包含120k個精細標注的偏好比較對數據集,由50名標注人員和8名專家耗時兩個月完成。該數據集在規模、多樣性、標注粒度和質量方面均有顯著提升,包含有用性、真實性和倫理性三個維度的打分,以及排序和原因描述等信息。
  2. 基于批評的獎勵模型:提出了一種創新的基于批評的獎勵模型 (Critique-Based Reward Model),該模型先對模型輸出進行批評,再進行評分,相比傳統的標量獎勵機制,具有更好的可解釋性和信息量。一個7B參數的模型,其性能就超越了現有的72B參數的MLLM。
  3. 動態獎勵縮放:提出動態獎勵縮放 (Dynamic Reward Scaling) 方法,根據獎勵信號調整每個樣本的損失權重,提高了高質量比較對的使用效率。
  4. 全面評估:在10個維度、27個基準上進行了嚴格評估,其中包括自建的安全性基準 MM-RLHF-SafeBench,結果顯示在各個方面均取得了顯著且一致的性能提升。例如,LLaVA-ov-7B模型的會話能力平均提升了19.5%,安全性平均提升了60%。

2. 數據集構建與標注

該數據集的數據來源廣泛,包括LLaVA-OV、VLfeedback等,涵蓋圖像和視頻數據。數據過濾和模型響應生成采用多選題、長文本等類別均勻采樣和knn聚類策略,保證數據的多樣性。標注包含有用性、真實性和倫理性三個維度,并要求標注人員提供打分依據和排名依據,保證標注質量。

3. 獎勵模型及訓練算法

傳統的獎勵模型難以充分利用人類注釋信息,MM-RLHF提出的基于批評的獎勵模型則彌補了這一缺陷。通過GPT-4o增強人工注釋,提高批評質量。在訓練過程中,批評的生成與獎勵頭的訓練同時進行,采用teacher-forcing策略。動態獎勵縮放 (MM-DPO) 方法則有效利用高質量偏好數據,優先利用高置信度的樣本對。

4. 實驗結果與分析

實驗結果表明,MM-RLHF在各個評估維度上都取得了顯著的性能提升,尤其在會話能力和安全性方面提升最為明顯。不同模型在對齊過程中表現出不同的性能趨勢,需要根據具體模型進行超參數定制化調整。此外,研究還發現小規模MLLMs(參數少于7B)通過自我提升實現全面性能提升面臨挑戰,這主要由于模型容量限制和獎勵信號質量的局限性。

5. 未來研究方向

未來研究將重點關注利用數據集的豐富注釋粒度信息,結合先進的優化技術和高分辨率數據,并使用半自動化策略高效地擴展數據集,以進一步提升MLLM的對齊水平,并為更廣泛的多模態學習框架奠定基礎。


聯系作者

文章來源:量子位
作者微信:
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        亚洲成人免费在线观看| 国产a久久麻豆| 蜜臀久久99精品久久久久宅男| 国产激情精品久久久第一区二区 | 中文字幕欧美日韩一区| 日韩国产一区二| 欧美日韩国产另类一区| 亚洲午夜久久久久久久久久久| a美女胸又www黄视频久久| 国产精品毛片大码女人| 色婷婷综合久久久久中文一区二区| 日本一区二区三级电影在线观看 | 欧美激情一区二区三区不卡| 亚洲国产婷婷综合在线精品| 成人免费视频视频在线观看免费| 国产午夜精品福利| 国产一区二区三区免费播放| 精品久久国产老人久久综合| 国产精品自产自拍| 久久综合久久99| 国产精品一区在线观看你懂的| 中文字幕国产一区| 欧美理论电影在线| 国产成人午夜精品5599 | 91.成人天堂一区| 看片网站欧美日韩| 欧美激情一区二区三区在线| 色婷婷综合久久久久中文一区二区 | 国产欧美日产一区| 99热在这里有精品免费| 亚洲午夜私人影院| 精品国产凹凸成av人导航| 99re热视频精品| 国产999精品久久久久久绿帽| 国产精品视频看| 欧美日韩在线直播| 精品一二三四在线| 日韩高清中文字幕一区| 欧美极品xxx| 国产亚洲人成网站| 日韩一区二区三区视频| 欧美三片在线视频观看| 99久久国产综合色|国产精品| 国产麻豆精品一区二区| 免费成人小视频| 亚洲自拍与偷拍| 亚洲在线视频网站| 亚洲第一av色| 日本午夜精品视频在线观看| 日韩二区三区四区| 日韩国产成人精品| 日本最新不卡在线| 日韩av电影天堂| 久久av资源站| 国产精品白丝jk黑袜喷水| 国产在线视频一区二区| 韩国三级电影一区二区| 国产福利精品一区| 成人av电影观看| 97精品久久久午夜一区二区三区| 91女神在线视频| 色狠狠色狠狠综合| 欧美日韩一区二区不卡| 欧美一级二级三级蜜桃| 精品国产免费一区二区三区香蕉| 欧美不卡视频一区| 欧美激情一区二区| 亚洲欧美福利一区二区| 亚洲va天堂va国产va久| 国产一区中文字幕| 成人福利电影精品一区二区在线观看| av在线不卡免费看| 欧洲色大大久久| 欧美精品久久一区二区三区| 精品国产凹凸成av人网站| 国产免费观看久久| 亚洲成人自拍网| 国产乱人伦偷精品视频不卡 | 美女视频黄a大片欧美| 国模冰冰炮一区二区| av激情综合网| 6080亚洲精品一区二区| 精品国产乱码久久久久久久久| 久久亚区不卡日本| 亚洲精品国产无套在线观| 免费观看在线综合色| 成人av在线资源网站| 欧美高清视频www夜色资源网| 国产视频一区二区三区在线观看| 亚洲欧美日韩中文播放| 麻豆成人在线观看| 色综合久久天天| 精品国产乱码久久久久久闺蜜| 亚洲欧美在线高清| 麻豆精品一区二区| 色一情一乱一乱一91av| 国产欧美一区二区三区沐欲| 亚洲大片精品永久免费| av色综合久久天堂av综合| 日韩免费高清av| 亚洲综合丝袜美腿| 国产91精品在线观看| 91精品国产91久久久久久一区二区 | 亚洲中国最大av网站| 国产成人午夜精品影院观看视频 | 欧美亚洲一区三区| 久久精品亚洲一区二区三区浴池| 一区二区三区加勒比av| jlzzjlzz亚洲女人18| 久久只精品国产| 全国精品久久少妇| 欧美唯美清纯偷拍| 亚洲精品久久久蜜桃| 99麻豆久久久国产精品免费 | 精品久久久久久久人人人人传媒| 亚洲欧美日本韩国| 成人网在线播放| 日本一区二区三区视频视频| 免费成人美女在线观看.| 欧美精品1区2区3区| 午夜婷婷国产麻豆精品| 91福利精品视频| 一区二区三区中文免费| 91视频一区二区| 亚洲激情中文1区| 欧洲国内综合视频| 亚洲成av人片一区二区三区| 欧美色区777第一页| 亚洲午夜av在线| 欧美精品色综合| 日本系列欧美系列| 日韩欧美中文字幕制服| 韩国精品一区二区| 国产亚洲欧洲一区高清在线观看| 国产精品一区二区三区网站| 日本一区二区三区dvd视频在线| 国产91富婆露脸刺激对白| 亚洲国产激情av| 91一区一区三区| 亚洲一区二区三区小说| 欧美日韩一级大片网址| 蜜桃视频一区二区三区在线观看| 欧美xxxx在线观看| 成人手机电影网| 亚洲国产wwwccc36天堂| 欧美一区二区大片| 国产丶欧美丶日本不卡视频| 亚洲免费成人av| 5566中文字幕一区二区电影| 久久99精品久久只有精品| 久久久激情视频| 91视视频在线直接观看在线看网页在线看 | 日韩精品乱码免费| 久久久青草青青国产亚洲免观| 成人黄色免费短视频| 亚洲伊人伊色伊影伊综合网| 欧美二区在线观看| 国产福利一区二区| 亚洲444eee在线观看| 国产偷国产偷精品高清尤物 | 亚洲一区二区三区四区五区中文| 欧美伦理视频网站| 国产成人精品网址| 亚洲午夜免费视频| 亚洲国产成人自拍| 这里只有精品电影| av亚洲精华国产精华| 久久精品国产亚洲a| 玉米视频成人免费看| 精品盗摄一区二区三区| 91麻豆免费在线观看| 捆绑紧缚一区二区三区视频| 亚洲欧洲中文日韩久久av乱码| 日韩欧美另类在线| 欧美日韩久久不卡| 色综合久久六月婷婷中文字幕| 精彩视频一区二区三区| 亚洲图片欧美色图| 一区精品在线播放| 久久亚洲影视婷婷| 这里只有精品免费| 欧美亚男人的天堂| k8久久久一区二区三区| 国产成人夜色高潮福利影视| 日韩高清欧美激情| 五月婷婷色综合| 亚瑟在线精品视频| 亚洲最大成人综合| 亚洲欧美一区二区视频| 国产精品丝袜在线| 欧美国产视频在线| 日本一区二区三区在线观看| 久久综合狠狠综合| 26uuu国产在线精品一区二区| 欧美日韩成人激情| 91国在线观看| 91高清在线观看| 欧美影视一区二区三区| 色婷婷综合五月| 欧美视频在线一区二区三区|