關于 MoE 大模型負載均衡策略演進的回顧：坑點與經驗教訓

帶著大家依次走過幾個標志性的MoE系統，從GShard到DeepSeek-V3。

原標題：關于 MoE 大模型負載均衡策略演進的回顧：坑點與經驗教訓
文章來源：智猩猩GenAI
內容字數：16063字

從GShard到DeepSeek-V3：稀疏MoE模型的負載均衡演進

本文解讀了從GShard到DeepSeek-V3一系列稀疏MoE（Mixture of Experts）模型的演進歷程，重點關注負載均衡問題的解決方法及其挑戰。MoE架構通過激活少量專家來處理每個token，從而在保持高精度的同時，高效訓練擁有數十億甚至數萬億參數的模型。然而，如何保證專家負載均衡成為MoE大規模應用的關鍵難題。

1. 為什么要使用稀疏專家MoE？

MoE架構的核心思路是：對每個token，只激活少量專家參與計算，而不是所有參數都參與，從而在不顯著增加計算開銷（FLOPs）的前提下，大幅提升模型參數量。但如何平衡專家負載，避免某些專家過載而另一些專家閑置，是MoE面臨的挑戰。

2. 歷史脈絡：關鍵模型及改進

文章回顧了幾個標志性MoE系統，分析它們在負載均衡上的改進和遇到的問題：

1. GShard： 首個大規模MoE框架，采用top-2 gating和輔助損失來平衡負載，但存在token丟棄和計算開銷大的問題。
2. Switch Transformer： 采用更簡單的top-1 gating，速度更快，但需要精細調參capacity factor來避免過載。
3. GLaM： 回歸top-2 gating，注重能效，但仍需解決數據分布不均導致的負載不均衡問題。
4. DeepSpeed-MoE： 通過多專家并多數據并行，動態重分配超容量token，并提出Residual-MoE結構，提升負載均衡水平。
5. ST-MoE： 提升了路由穩定性和可遷移性，引入了router z-loss來緩解數值不穩定問題。
6. Mixtral 8x7B： 利用時間局部性和專門的稀疏Kernel優化，提升了負載均衡效率。
7. OpenMoE： 指出上下文無關的專長化和末端token掉隊問題。
8. DeepSeekMoE： 采用細粒度專家和共享專家，并設計了專家級別和設備級別的負載均衡損失。
9. JetMoE： 提出“dropless”策略，避免token丟棄，但實現復雜度高。
10. Skywork-MoE： 使用gating logit歸一化和自適應輔助損失系數。
11. DeepSeek-V3： 使用偏置加成取代強輔助損失，并保留較弱的序列級別輔助損失，實現了更輕量級的負載均衡。

3. 負載均衡的挑戰與經驗教訓

文章總結了MoE負載均衡中常見的挑戰和應對策略：路由塌縮、容量因子調節、過度依賴輔助損失、推理瓶頸和領域遷移等問題。需要根據具體情況，在模型表達能力和資源利用率之間找到平衡點。

4. 總結與展望

從GShard到DeepSeek-V3，負載均衡已成為MoE模型成功的關鍵因素。未來的研究方向可能包括：更自動化、自適應的gating機制，以及更多針對HPC和推理部署的優化，以實現高效、均衡的專家分配。

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下賬號，專注于生成式人工智能，主要分享技術文章、論文成果與產品信息。