DeepEyesV2

DeepEyesV2 – 小紅書開源的多模態智能體模型

DeepEyesV2：小紅書團隊打造的顛覆性多模態智能體

在人工智能飛速發展的浪潮中，小紅書團隊近日發布了一款名為DeepEyesV2的重磅多模態智能體模型。這款模型憑借其創新的兩階段訓練方法，在工具調用和多模態推理兩大核心能力上取得了顯著突破，預示著智能體技術邁入了新的紀元。

DeepEyesV2的核心亮點在于其卓越的圖文信息理解能力。它能夠精準捕捉圖像與文字的內在聯系，并在此基礎上，主動調用如代碼執行、網絡搜索等外部工具，以獲取更豐富的信息或完成復雜指令。更令人稱道的是，模型會將工具返回的結果巧妙地融入自身的推理流程，從而有效解決現實世界中層出不窮的復雜問題。

這款模型的強大并非一蹴而就。其訓練過程分為兩個關鍵階段：首先，通過監督微調（SFT），DeepEyesV2得以建立起對工具使用的基礎認知，學習如何感知、推理以及處理長篇幅的思維鏈條。這一階段尤其注重數據的多樣性，覆蓋了多種任務類型，確保模型在面對不同場景時都能掌握恰當的工具調用策略。緊接著，進入強化學習階段，模型在已有認知的基礎上，進一步優化工具調用策略，大幅提升了調用的效率和泛化能力。其目標在于減少不必要的工具調用，并在未知且復雜的場景中，展現出創造性地組合工具的能力，從而賦予模型極高的靈活性和適應性。

DeepEyesV2在全新的RealX-Bench基準測試中大放異彩，充分證明了其在多技能協調方面的強大實力。

DeepEyesV2的核心功能一覽

全方位多模態感知：模型能夠融會貫通文本與圖像信息，深刻理解復雜的圖文內容，提供更深層次的洞察。
智能主動式工具調用：當任務需求顯現時，DeepEyesV2能主動喚醒外部工具，如代碼執行環境或網絡搜索引擎，以獲取關鍵信息或執行精密操作。
動態推理與決策優化：模型將工具調用結果無縫整合至推理過程中，通過迭代式思考，逐步攻克難題。
任務適配性極強：針對不同類型的任務，無論是感知、推理還是其他，DeepEyesV2都能智能甄選最合適的工具，顯著提升工作效率與準確度。
復雜任務的終結者：通過靈活運用工具組合與迭代推理，DeepEyesV2能夠應對需要多維度能力協同的復雜挑戰，例如集感知、搜索與推理于一體的綜合性任務。

DeepEyesV2的精湛技術原理

“冷啟動”階段（Cold Start）：
- 監督微調（Supervised Fine-tuning， SFT）：海量包含詳盡工具使用步驟的樣本數據（涵蓋感知型、推理型以及長思維鏈數據）被用于模型微調，旨在構建模型對工具運用的基礎認知。
- 精巧的數據設計：數據集合充分覆蓋了各類任務場景，確保模型能夠習得適用于不同情境的精妙工具調用策略。
強化學習階段（Reinforcement Learning）：
- 策略精煉：在“冷啟動”的基礎上，借助強化學習技術，進一步打磨模型的工具調用策略，以提升效率與泛化能力。
- 終極目標：力求最大限度地減少冗余的工具調用，同時在未曾謀面的復雜場景中，激發模型的創造力，靈活組合運用工具，從而增強其柔韌性與適應性。

DeepEyesV2的項目探索之路