Kimi-VL – 月之暗面開源的輕量級多模態視覺語言模型

Kimi-VL 是一個開源的輕量級多模態視覺語言模型，由月之暗面團隊開發。該模型采用 Mixture-of-Experts (MoE) 架構，擁有總計 16 億個參數，而推理時僅需激活 2.8 億個參數。Kimi-VL 能夠進行強大的多模態推理、長文本理解及智能體（agent）互動，并支持高達 128K 的擴展上下文窗口和高分辨率的視覺輸入。在數學推理和長視頻理解等任務上，Kimi-VL 的表現超越了 GPT-4o 等同類模型。此外，Kimi-VL 還推出了推理增強版 Kimi-VL-Thinking，進一步提升其長期推理能力。

Kimi-VL是什么

Kimi-VL 是月之暗面開發的一款輕量級多模態視覺語言模型，基于 Mixture-of-Experts (MoE) 架構，擁有總計 16 億個參數。在推理過程中，僅激活 2.8 億個參數，從而顯著降低計算成本。該模型在多模態推理、長文本理解及智能體交互等方面表現出色，能夠處理復雜的多模態任務。Kimi-VL 在數學推理和長視頻理解領域的表現尤為突出，領先于諸如 GPT-4o 等其他模型。為了進一步提升推理能力，Kimi-VL 還推出了基于長鏈推理微調和強化學習的增強版 Kimi-VL-Thinking。

Kimi-VL的主要功能

• 多模態推理：能夠處理圖像、視頻及文本等多種輸入形式，滿足復雜的多模態任務需求。
• 長文本理解：配備 128K 擴展上下文窗口，擅長處理長視頻及長文檔輸入。
• 數學推理：利用長鏈推理（CoT）監督微調和強化學習（RL），具備出色的數學推理能力。
• Agent 交互能力：支持多輪對話及復雜任務的逐步推理能力。
• 高分辨率視覺輸入：能夠處理超高分辨率的視覺輸入，同時保持較低的計算成本。

Kimi-VL的技術原理

• 基礎架構：采用 MoE 架構，在推理時僅激活部分參數（2.8B），有效降低計算負擔。該模型基于 SigLIP-SO-400M 進行微調，能夠處理高分辨率視覺輸入。多層感知機（MLP）投影器將視覺特征與語言特征對齊，增強多模態融合效果。
• 預訓練階段：
  • ViT 訓練：為視覺編碼器進行訓練，建立穩健的視覺特征提取能力。
  • 聯合訓練：包括預訓練、冷卻和長上下文激活三個階段，全面提升模型的語言與多模態能力。
  • 后訓練階段：在 32K 和 128K 上下文中進行聯合微調，進一步增強模型的多模態理解能力，基于長鏈推理任務進行微調，以提升模型的長期推理能力。
• 強化學習（RL）：對模型推理能力進行進一步優化，使其在復雜任務中表現更為出色。

Kimi-VL的項目地址

• GitHub倉庫：https://github.com/MoonshotAI/Kimi-VL
• HuggingFace模型庫：https://huggingface.co/collections/moonshotai/kimi-vl
• 技術論文：https://github.com/MoonshotAI/Kimi-VL/blob/main/Kimi-VL.pdf

Kimi-VL的應用場景

• 智能客服：用于多輪對話，解答用戶問題，并支持圖文結合的互動。
• 教育輔導：幫助學生學習，提供圖文并茂的解答和教學材料。
• 內容創作：生成圖文和視頻內容，輔助視頻編輯與創意生成。
• 醫療輔助：分析醫學影像，提供初步診斷建議及健康咨詢。
• 企業辦公：處理長文檔，提取關鍵信息，支持智能會議服務。

常見問題

• Kimi-VL支持哪些輸入類型？ Kimi-VL 支持圖像、視頻和文本等多種輸入形式。
• 它的推理能力如何？ Kimi-VL 在復雜任務中表現優異，尤其是在數學推理和長文本理解方面。
• 如何獲取 Kimi-VL 的最新版本？ 用戶可以訪問其官方 GitHub 倉庫和 HuggingFace 模型庫獲取最新版本。
• Kimi-VL 的應用場景有哪些？ Kimi-VL 可廣泛應用于智能客服、教育輔導、內容創作、醫療輔助和企業辦公等領域。