MiniMax-01技術報告解讀以及與DeepSeek-V3對比

本文介紹了 MiniMax-01 系列模型。

原標題：MiniMax-01技術報告解讀以及與DeepSeek-V3對比
文章來源：智猩猩GenAI
內容字數：3851字

MiniMax-01：突破長上下文處理瓶頸的大模型

本文介紹了字節跳動研發的MiniMax-01系列模型，包括文本模型MiniMax-Text-01和多模態模型MiniMax-VL-01。該系列模型旨在克服現有大語言模型(LLM)和視覺語言模型(VLM)在長上下文處理方面的局限性，并取得了顯著進展。

1. 核心創新：線性注意力機制與高效擴展

MiniMax-01的核心創新在于采用線性注意力機制，而非傳統的softmax注意力機制。線性注意力機制具有線性時間復雜度，更適合處理長序列。具體而言，MiniMax-01使用了閃電注意力(Lightning Attention)，它通過將注意力計算分為塊內和塊間兩部分，分別使用左乘積和右乘積進行計算，避免了緩慢的累積和操作，從而實現了理論上的線性復雜度，并顯著提升了長序列處理速度。

為了彌補線性注意力機制在檢索能力上的不足，MiniMax-01還探索了混合架構(Hybrid-Lightning)，即每隔8層用softmax注意力層替換閃電注意力層。實驗結果表明，混合架構在檢索和推理任務上均優于純softmax注意力模型。

2. 混合專家(MoE)架構的優化與高效訓練

MiniMax-01采用了擁有32個專家和4560億參數的MoE架構。為了解決MoE訓練中的路由崩潰問題，MiniMax-01采用全局路由策略，實現負載均衡，減少token丟棄率。此外，MiniMax-01還對專家權重和數據并行性進行了精細劃分，設計了專家張量并行(ETP)和專家數據并行(EDP)進程組，以實現存儲和計算強度的最佳平衡。

MiniMax-01針對閃電注意力和MoE架構重新設計了訓練框架，采用專家并行(EP)和專家張量并行(ETP)來最小化GPU間通信開銷。為了支持無限擴展的上下文窗口，MiniMax-01設計了變長環注意力(Varlen Ring Attention)和改進的線性注意力序列并行(LASP)算法。此外，還實現了針對閃電注意力推理的CUDA內核優化，模型浮點運算利用率(MFU)超過75%。

3. 高效的推理框架

MiniMax-01的推理框架優化策略包括：批量內核融合，減少中間結果存儲；分離的預填充和解碼執行，提高計算效率；多級填充，最小化填充開銷；以及利用NVIDIA cuBLAS庫和張量內存加速器(TMA)的異步操作，提高計算效率。

4. 長上下文訓練策略

MiniMax-01采用數據打包技術和三階段訓練方法，逐步將上下文窗口擴展到100萬token，并在推理階段外推到400萬token。訓練過程包括短上下文訓練、擴展上下文訓練、短上下文偏好優化、長上下文偏好優化以及在線強化學習等階段。

5. 與DeepSeek-V3的對比

MiniMax-01和DeepSeek-V3都是致力于突破LLM性能瓶頸的模型。MiniMax-01更注重長上下文處理能力，而DeepSeek-V3在數學和編碼任務上表現出色，并在長上下文理解方面也展現出強大的能力。兩者都采用了MoE架構和先進的訓練策略。

6. 總結

MiniMax-01系列模型通過線性注意力機制、混合架構、優化的MoE架構以及高效的訓練和推理框架，在長上下文處理能力方面取得了顯著突破，為大語言模型的發展提供了新的方向。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，專注于生成式人工智能。