MiMo-V2-Flash

MiMo-V2-Flash – 小米開源的高性能語言模型

MiMo-V2-Flash：小米傾力打造的高性能智能體AI語言模型

在人工智能飛速發展的浪潮中，小米再次展現其技術實力，隆重推出開源的高性能語言模型——MiMo-V2-Flash。這款模型以其龐大的3090億總參數和150億激活參數，以及專為智能體AI量身定制的設計理念，正在重新定義語言模型的性能邊界。

MiMo-V2-Flash 究竟是什么？

MiMo-V2-Flash 不僅僅是一個語言模型，更是小米在AI領域的一項重要突破。它集3090億總參數與150億激活參數于一身，專為構建強大的智能體AI而設計。其核心亮點在于創新的混合注意力架構，巧妙地融合了滑動窗口注意力（SWA）與全局注意力（GA）。通過設定128個token的窗口大小，并引入獨特的可學習注意力下沉偏置（sink bias）技術，MiMo-V2-Flash 在處理長文本的強大能力與顯著降低KV緩存存儲量之間取得了絕佳的平衡。

更令人矚目的是，MiMo-V2-Flash 集成了一個輕量級的多Token預測（MTP）模塊。該模塊參數量僅為0.33億，卻能憑借密集前饋網絡（FFN）和SWA的協同作用，大幅提升生成速度。與行業標桿閉源模型Claude 4.5 Sonnet相比，MiMo-V2-Flash 的推理成本僅為其2.5%，而生成速度更是提升了整整一倍。在SWE-Bench和各類復雜的數學推理任務中，MiMo-V2-Flash 都展現出了卓越的性能，成為智能體AI開發者的理想選擇。

MiMo-V2-Flash 的核心優勢

卓越的推理效能：通過其創新的混合注意力架構和輕量級多Token預測技術，MiMo-V2-Flash 實現了前所未有的推理效率，帶來更快的生成速度和更低的推理成本。
強大的長文本駕馭能力：結合滑動窗口注意力和全局注意力，模型能夠輕松處理長達256K的上下文長度，為深度理解和生成長篇內容提供了堅實保障。
為智能體AI量身打造：經過海量智能體強化學習與多教師在線策略蒸餾的深度訓練，MiMo-V2-Flash 在復雜推理和多輪對話等智能體場景下表現出色。
精湛的代碼生成與理解能力：在代碼處理方面，MiMo-V2-Flash 表現亮眼，支持多種編程語言，能高效完成代碼補全、生成及調試等任務。
無縫的多語言交互：模型具備出色的多語言能力，能夠勝任多種語言的文本生成、翻譯及理解工作。
開放與易用：模型權重及推理代碼均已全面開源，并遵循MIT協議，為開發者提供了極大的便利，便于二次開發與集成。

MiMo-V2-Flash 的技術基石

精妙的混合注意力機制：融合了滑動窗口注意力（SWA）與全局注意力（GA），以128個token為窗口，并通過可學習的注意力下沉偏置（sink bias）技術，在精簡KV緩存占用的同時，確保了長文本處理的卓越性能。
高效輕量級多Token預測（MTP）：集成了僅0.33億參數的輕量級MTP模塊，采用密集前饋網絡（FFN）與SWA的協同，極大地提升了生成速度和推理效率。
海量數據的預訓練與上下文擴展：基于27萬億tokens進行預訓練，原生支持32K序列長度，并可將上下文窗口擴展至256K，同時采用FP8混合精度訓練，顯著優化了訓練過程。
智能體強化學習的賦能：通過大規模智能體強化學習和多教師在線策略蒸餾（MOPD），顯著提升了模型在復雜推理和智能體任務中的泛化能力與適應性。
極致的推理優化：支持FP8混合精度推理，并與SGLang框架深度集成，為大規模部署和應用提供了高效的推理性能。