月餅的創新思維：探索分離式推理架構的實戰之旅

隨著大型語言模型的社會影響力日益增強，相應的人工智能產品用戶基數也在迅速擴大。

原標題：Mooncake 分離式推理架構創新與實踐
文章來源：AI前線
內容字數：18441字

QCon 全球軟件開發大會分享要點總結

在2024年10月18-19日舉辦的QCon全球軟件開發大會上，何蔚然分享了關于“Mooncake分離式推理架構創新與實踐”的主題，探討了在大規模推理中面臨的挑戰及其解決方案。以下是演講的主要要點。

1. 大規模推理的挑戰

何蔚然指出，Kimi智能助手及其開放平臺面臨著處理長上下文的巨大負載。為了滿足嚴格的服務水平目標（SLO），團隊需要在不超載集群的情況下優雅地處理更多用戶請求。

2. 推理降本的核心價值觀

團隊相信推理成本必然會降低，但必須確保模型的智能水平不因降本而下降。主要路徑包括提高算子的計算速度、降低顯存需求和尋找性價比更高的硬件。

3. 長上下文性能挑戰

長上下文的處理面臨著全注意力機制的時間復雜度問題和顯存占用的限制，這影響了系統的并行度和處理能力。

4. 自動運維與故障定位

何蔚然介紹了團隊在自動運維方面的措施，包括快速切換推理實例和有效利用閑置資源，提升系統的穩定性。

5. 單點性能優化策略

通過混合并行策略，團隊在Prefill和Decode階段實施了多種優化措施，包括Tensor Parallelism、Pipeline Parallelism等，以提高推理效率。

6. 分離式推理架構的設計與收益

Mooncake架構將Prefill和Decode分離，最大化了計算資源的利用率，實現了顯著的性能提升。TTFT（Time to First Token）提升了10倍，TBT（Time Between Tokens）提高了5倍。

7. RDMA與KV Cache的高效傳輸

通過優化RDMA傳輸和KV Cache的管理，團隊能夠有效降低Cache Miss率，提升整體系統性能。

8. 未來展望與開源計劃

何蔚然展望了未來硬件的發展方向，包括內存帶寬的利用及KV Cache存儲系統的優化。同時，團隊計劃開源Trace Dataset和Mooncake Store，以促進社區的技術發展。

通過這些探索，何蔚然和團隊希望在推理架構方面不斷創新，提升AI產品的性能和用戶體驗。

聯系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發者和科學家，提供大模型最新資訊、AI技術分享干貨、一線業界實踐案例，助你全面擁抱AIGC。