R1-Omni

R1-Omni – 阿里通義開源的全模態大語言模型

R1-Omni是阿里通義推出的一款基于強化學習（RLVR）技術的全模態大語言模型，專注于情感識別任務。通過整合視覺與音頻信息，R1-Omni能夠清晰地闡釋情感識別的推理過程，展現出其卓越的情感理解能力。在多個情感識別數據集上，R1-Omni的表現明顯優于傳統的監督微調（SFT）模型，尤其在分布外場景中展現了優異的泛化能力。

R1-Omni是什么

R1-Omni是阿里通義推出的一款全模態大語言模型，基于強化學習（RLVR）架構，專注于情感識別。它通過結合視覺和音頻數據，能夠清晰解釋情感識別的推理過程，展現強大的情感理解能力。在多個情感識別數據集中，R1-Omni的表現顯著優于監督微調（SFT）模型，并在分布外場景中表現出色，具備極強的泛化能力。

R1-Omni

R1-Omni的主要功能

多模態情感分析：R1-Omni能夠同時處理視覺和音頻信息，準確識別視頻或音頻內容中所表達的情感。
可解釋的推理過程：模型不僅提供情感識別結果，還能生成詳細的推理過程，封裝在特定標簽內，解釋如何整合視覺和音頻線索得出預測，從而增強可解釋性。
基于RLVR的訓練：R1-Omni采用RLVR訓練范式，通過可驗證獎勵函數直接評估輸出，簡化了獎勵機制，同時確保與任務內在正確性標準的一致性。
GRPO方法應用：結合生成相對策略優化（GRPO）方法，直接比較生成的響應組，避免了使用額外的評論家模型，增強了模型區分高質量與低質量輸出的能力。
推理能力增強：與其他基線模型相比，R1-Omni提供了更連貫、準確和可解釋的推理過程。
理解能力提高：在多個情感識別數據集上，R1-Omni的情感識別準確率顯著高于其他模型。
泛化能力更強：在分布外（OOD）數據集上，R1-Omni表現優異，能夠更好地適應未見場景。

R1-Omni的技術原理

RLVR訓練范式：RLVR是一種新型訓練方式，核心思想是基于驗證函數直接評估模型輸出，無需依賴傳統的人類反饋強化學習（RLHF）中的獎勵模型。給定輸入問題q，策略模型πθ生成響應o，然后使用可驗證獎勵函數R(q,o)進行評估，優化目標是最大化驗證獎勵減去基于KL散度的正則化項，簡化了獎勵機制，確保了與任務內在正確性的一致性。
GRPO方法：GRPO（生成相對策略優化）是改進的強化學習方法，與傳統的近端策略優化（PPO）不同，GRPO避免了使用額外的評論家模型，直接比較生成的響應組。針對一個問題q，采樣多組輸出{o1,o2,…,oG}，計算每個輸出的獎勵分{r1,r2,…,rG}，并對這些獎勵分進行歸一化處理，形成相對獎勵，更直接地反映同一問題下不同輸出的優劣關系。
冷啟動策略：R1-Omni的模型構建受DeepSeek-R1啟發，采用冷啟動策略。在包含232個可解釋多模態情感推理數據集（EMER）樣本和348個手動標注的HumanOmni數據集樣本的組合數據集上，對HumanOmni-0.5B進行微調，賦予模型初步的推理能力，并了解視覺和音頻線索在情感識別中的作用，隨后通過RLVR訓練進一步優化模型。
獎勵函數設計：在RLVR訓練過程中，獎勵函數由準確率獎勵和格式獎勵兩部分組成。準確率獎勵用于評估預測情感與真實情感的匹配度，格式獎勵保障模型輸出符合指定的HTML標簽格式，從而確保情感識別的準確性與輸出的可解釋性。
模型輸出格式：R1-Omni的輸出包括推理過程和最終情感標簽。推理過程封裝在<think></think>標簽內，解釋模型如何整合視覺和音頻線索得出預測；最終情感標簽封裝在<answer></answer>標簽內，表示預測的情感。提供情感識別結果和詳細推理過程，增強了模型的可解釋性。