VideoReward – 港中文、清華、快手等聯合推出的視頻生成偏好數據集及獎勵模型

VideoReward 是由香港中文大學、清華大學及快手科技等機構聯合開發的一套視頻生成偏好數據集和獎勵模型。該系統包含了182,000條標注數據，重點關注視覺質量、質量和文本對齊三個重要維度，旨在提升視頻生成模型的性能。通過基于人類反饋的獎勵模型，以及先進的多維度對齊算法（如Flow-DPO和Flow-RWR）和推理技術（如Flow-NRG），VideoReward 能夠顯著增強視頻生成的連貫性和文本一致性，且支持用戶個性化需求。

VideoReward是什么

VideoReward 是一個由香港中文大學、清華大學與快手科技共同創建的視頻生成偏好數據集及其獎勵模型。該數據集包含182,000條標注數據，涵蓋了視覺質量（VQ）、質量（MQ）和文本對齊（TA）三個關鍵方面，用于捕捉用戶對生成視頻的偏好。其獎勵模型基于人類反饋，通過多維度對齊算法（如Flow-DPO、Flow-RWR）及推理技術（如Flow-NRG），顯著提升了視頻生成的連貫性和文本對齊效果。Flow-NRG還允許用戶在推理時自定義權重，以滿足個性化需求。

VideoReward的主要功能

• 構建大規模偏好數據集：VideoReward 提供182,000條標注數據，涵蓋視覺質量、質量和文本對齊三個維度，旨在全面捕捉用戶對生成視頻的偏好。
• 多維度獎勵模型：該系統基于強化學習，引入了包括Flow-DPO和Flow-RWR在內的三種對齊算法，以及推理時的Flow-NRG技術，以優化視頻生成過程。
• 個性化需求支持：Flow-NRG技術允許用戶在推理階段為多個目標設置自定義權重，以滿足個性化的視頻質量需求。
• 提升視頻生成質量：通過整合人類反饋，VideoReward 能顯著提高視頻生成的連貫性及與提示文本的對齊效果，超越現有獎勵模型的表現。

VideoReward的技術原理

• 對齊算法：VideoReward 采用三種專為流模型設計的對齊算法，旨在優化視頻生成質量：
  • Flow-DPO（直接偏好優化）：在訓練過程中，直接優化模型以更好地匹配人類的偏好視頻對。
  • Flow-RWR（獎勵加權回歸）：通過獎勵加權來優化模型，更加符合用戶反饋。
  • Flow-NRG（噪聲視頻獎勵引導）：在推理階段，將獎勵直接應用于噪聲視頻，支持用戶自定義權重以滿足多樣化需求。
• 人類反饋優化：依靠人類反饋，VideoReward 能有效提升視頻生成的連貫性及與提示文本的對齊效果，實驗表明其性能優于現有獎勵模型，Flow-DPO在效果上優于Flow-RWR和標準監督微調方法。

VideoReward的項目地址

• 項目官網：https://gongyeliu.github.io/videoalign/
• arXiv技術論文：https://arxiv.org/pdf/2501.13918

VideoReward的應用場景

• 視頻生成質量優化：利用大規模的人類偏好數據集和多維度獎勵模型，VideoReward顯著提高了視頻生成的質量，尤其在視覺、連貫性及文本對齊方面表現突出。
• 個性化視頻生成：通過Flow-NRG技術，VideoReward允許用戶在生成過程中為各項目標設置自定義權重，以滿足其獨特的視頻質量需求。
• 視頻生成模型的訓練與微調：提供的多維度獎勵模型和對齊算法（如Flow-DPO和Flow-RWR）可以用于訓練和微調視頻生成模型。
• 用戶偏好分析與研究：該數據集涵蓋多個維度，適用于對用戶偏好的深入分析與研究。
• 視頻內容創作與編輯：在視頻創作與編輯領域，VideoReward能夠生成更高質量的視頻素材，從而提升創作效率。

常見問題

• VideoReward如何提升視頻生成質量？通過多維度的獎勵模型與人類反饋，VideoReward能夠有效優化視頻生成的連貫性和文本對齊效果。
• 用戶如何自定義生成視頻的質量？用戶可以通過Flow-NRG技術，在推理時為多個目標設置自定義權重，滿足個性化需求。
• VideoReward適合哪些應用場景？它適用于視頻生成質量的優化、個性化視頻生成、模型訓練與微調，以及視頻內容創作與編輯等多個領域。