国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

多模態大模型對齊新范式,10個評估維度全面提升,快手&中科院&南大打破瓶頸

AIGC動態8個月前發布 量子位
320 0 0

MM-RLHF,數據算法模型Pipline全開源

多模態大模型對齊新范式,10個評估維度全面提升,快手&中科院&南大打破瓶頸

原標題:多模態大模型對齊新范式,10個評估維度全面提升,快手&中科院&南大打破瓶頸
文章來源:量子位
內容字數:8610字

快手、中科院、南大合作:MM-RLHF,多模態大模型對齊的“游戲規則改變者”

近年來,多模態大語言模型(MLLMs)發展迅速,但其與人類偏好的對齊度仍有待提高。現有研究多集中于特定領域,例如減少幻覺,對MLLMs整體能力提升的影響尚不明確。快手、中科院和南大合作團隊提出的MM-RLHF框架,旨在從數據集、獎勵模型和訓練算法三個層面推動MLLM對齊發展,取得了顯著成果,并在Twitter上引發熱議,被譽為多模態對齊領域的“游戲規則改變者”。

1. MM-RLHF 的主要貢獻

MM-RLHF 的主要貢獻體現在以下幾個方面:

  1. 高質量偏好數據集:構建了一個包含120k個精細標注的偏好比較對數據集,由50名標注人員和8名專家耗時兩個月完成。該數據集在規模、多樣性、標注粒度和質量方面均有顯著提升,包含有用性、真實性和倫理性三個維度的打分,以及排序和原因描述等信息。
  2. 基于批評的獎勵模型:提出了一種創新的基于批評的獎勵模型 (Critique-Based Reward Model),該模型先對模型輸出進行批評,再進行評分,相比傳統的標量獎勵機制,具有更好的可解釋性和信息量。一個7B參數的模型,其性能就超越了現有的72B參數的MLLM。
  3. 動態獎勵縮放:提出動態獎勵縮放 (Dynamic Reward Scaling) 方法,根據獎勵信號調整每個樣本的損失權重,提高了高質量比較對的使用效率。
  4. 全面評估:在10個維度、27個基準上進行了嚴格評估,其中包括自建的安全性基準 MM-RLHF-SafeBench,結果顯示在各個方面均取得了顯著且一致的性能提升。例如,LLaVA-ov-7B模型的會話能力平均提升了19.5%,安全性平均提升了60%。

2. 數據集構建與標注

該數據集的數據來源廣泛,包括LLaVA-OV、VLfeedback等,涵蓋圖像和視頻數據。數據過濾和模型響應生成采用多選題、長文本等類別均勻采樣和knn聚類策略,保證數據的多樣性。標注包含有用性、真實性和倫理性三個維度,并要求標注人員提供打分依據和排名依據,保證標注質量。

3. 獎勵模型及訓練算法

傳統的獎勵模型難以充分利用人類注釋信息,MM-RLHF提出的基于批評的獎勵模型則彌補了這一缺陷。通過GPT-4o增強人工注釋,提高批評質量。在訓練過程中,批評的生成與獎勵頭的訓練同時進行,采用teacher-forcing策略。動態獎勵縮放 (MM-DPO) 方法則有效利用高質量偏好數據,優先利用高置信度的樣本對。

4. 實驗結果與分析

實驗結果表明,MM-RLHF在各個評估維度上都取得了顯著的性能提升,尤其在會話能力和安全性方面提升最為明顯。不同模型在對齊過程中表現出不同的性能趨勢,需要根據具體模型進行超參數定制化調整。此外,研究還發現小規模MLLMs(參數少于7B)通過自我提升實現全面性能提升面臨挑戰,這主要由于模型容量限制和獎勵信號質量的局限性。

5. 未來研究方向

未來研究將重點關注利用數據集的豐富注釋粒度信息,結合先進的優化技術和高分辨率數據,并使用半自動化策略高效地擴展數據集,以進一步提升MLLM的對齊水平,并為更廣泛的多模態學習框架奠定基礎。


聯系作者

文章來源:量子位
作者微信:
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        欧美videossexotv100| 成人性色生活片免费看爆迷你毛片| 日韩国产在线一| 欧美丰满少妇xxxxx高潮对白| 亚洲一区二区美女| 欧美剧情电影在线观看完整版免费励志电影| 亚洲成人av在线电影| 日韩视频在线一区二区| 国产黄人亚洲片| 亚洲精品国产视频| 日韩免费性生活视频播放| 国产高清不卡一区二区| 亚洲精品免费一二三区| 91精品国产免费| 粉嫩av亚洲一区二区图片| 亚洲精品你懂的| 久久综合九色综合97婷婷| 波多野结衣精品在线| 亚洲图片欧美色图| 久久久99精品免费观看| 在线观看视频91| 国产精品自产自拍| 午夜av区久久| 日韩一区有码在线| 欧美成人性福生活免费看| 97成人超碰视| 国产麻豆精品久久一二三| 亚洲丰满少妇videoshd| 欧美韩日一区二区三区四区| 欧美色男人天堂| 波多野结衣中文一区| 麻豆国产91在线播放| 最好看的中文字幕久久| 久久久久久一级片| 日韩欧美一二三四区| 欧美性受xxxx| 色婷婷av一区二区三区gif| 国产99久久久国产精品免费看| 日韩精品亚洲专区| 亚洲成av人片在线观看| 亚洲精品国产精华液| 中文欧美字幕免费| 久久一日本道色综合| 精品国产一区二区国模嫣然| 欧美一二三区精品| 在线免费观看日韩欧美| 不卡的av网站| 成人av在线一区二区三区| 激情国产一区二区| 九九精品一区二区| 麻豆国产精品官网| 国内精品第一页| 国产在线一区二区综合免费视频| 免费一级片91| 韩国女主播一区| 国产精品一二三四五| 国产福利91精品一区| 国产精品123| av不卡免费电影| 99久久久久久| 91国产免费看| 欧美午夜理伦三级在线观看| 在线免费观看日本欧美| 欧美精品在线一区二区| 欧美一区二区在线不卡| 欧美一区二区成人6969| 精品免费视频.| 久久久久久久久免费| 中文字幕精品在线不卡| 亚洲三级久久久| 午夜亚洲国产au精品一区二区| 亚洲第一综合色| 久久se精品一区精品二区| 国产精品香蕉一区二区三区| 成人午夜电影网站| 欧美最新大片在线看| 91精品国产免费| 亚洲国产精华液网站w| 一区二区在线观看免费视频播放| 亚洲成av人片一区二区| 美腿丝袜在线亚洲一区| 国产成人aaa| 欧美丝袜自拍制服另类| 久久免费电影网| 亚洲女性喷水在线观看一区| 亚洲成人av一区二区| 国产成人免费视频一区| 91麻豆国产精品久久| 91.xcao| 久久久久久久av麻豆果冻| 亚洲欧美福利一区二区| 久久99久久久久| 丁香激情综合国产| 在线观看一区二区视频| 欧美一区二区三区日韩| 国产精品高潮久久久久无| 午夜精品久久久久久久久久久| 久久99精品国产91久久来源| 99久久精品免费看国产| 日韩欧美亚洲国产精品字幕久久久| 久久精品亚洲精品国产欧美 | 黄色小说综合网站| 色综合久久久久综合体桃花网| 欧美日韩日日摸| 亚洲国产精品99久久久久久久久| 亚洲成人777| 国产成人精品一区二| 欧美精品乱码久久久久久按摩| 国产精品情趣视频| 久久99精品国产麻豆不卡| 欧美日韩卡一卡二| 日韩久久一区二区| 国产在线精品一区二区| 欧美三级电影精品| 中文字幕在线一区| 国产成人免费网站| 欧美xxxx老人做受| 亚洲1区2区3区视频| av电影在线观看完整版一区二区| 久久蜜桃av一区精品变态类天堂| 日韩精品亚洲专区| 欧美日韩的一区二区| 亚洲综合图片区| 成人av网站在线| 日本一区二区不卡视频| 国产高清精品久久久久| 久久综合色婷婷| 精品一区二区三区免费| 日韩限制级电影在线观看| 日本视频免费一区| 日韩精品专区在线影院重磅| 天堂成人免费av电影一区| 欧美色大人视频| 亚洲一区二三区| 欧美日韩电影一区| 免费观看成人av| 欧美精品一区男女天堂| 国产成人精品免费看| 国产精品麻豆久久久| 91蜜桃在线观看| 亚洲五月六月丁香激情| 欧美视频在线观看一区| 午夜欧美视频在线观看| 日韩精品在线网站| 国产一区二区三区久久久| 国产三级三级三级精品8ⅰ区| 福利一区在线观看| 亚洲精品成人天堂一二三| 91超碰这里只有精品国产| 麻豆91在线播放免费| 久久中文娱乐网| 99综合电影在线视频| 夜夜夜精品看看| 欧美一区二区精品在线| 粉嫩av一区二区三区| 亚洲一区二区在线免费看| 日韩午夜在线影院| 国产99久久久国产精品潘金| 一区二区三区日本| 欧美成va人片在线观看| 成人免费视频视频在线观看免费| 一区二区三区成人在线视频| 91精品国产高清一区二区三区蜜臀 | 久久久久久9999| 国产91精品免费| 亚洲一区二区三区四区在线| 日韩一区二区麻豆国产| 国产精品亚洲成人| 图片区日韩欧美亚洲| 国产视频亚洲色图| 欧美二区乱c少妇| 成人免费黄色在线| 青娱乐精品在线视频| 中文字幕亚洲成人| 精品久久久久99| 欧美日韩在线不卡| 99精品国产热久久91蜜凸| 九色综合狠狠综合久久| 无吗不卡中文字幕| 亚洲婷婷国产精品电影人久久| 日韩一区二区免费在线电影| 色婷婷久久综合| 国产99一区视频免费| 精品一区二区三区免费播放| 亚洲国产日韩综合久久精品| 中文天堂在线一区| 国产亚洲欧美色| 日韩视频免费观看高清完整版在线观看 | 免费久久精品视频| 亚洲美女屁股眼交3| 国产香蕉久久精品综合网| 日韩一二三区视频| 91精品久久久久久久久99蜜臂| 91色综合久久久久婷婷| 国产精品一区二区三区99| 精品在线视频一区| 久热成人在线视频| 久久精品国产77777蜜臀| 日韩精品欧美精品| 亚洲国产另类精品专区|