騰訊披露最新大模型訓練方法：效率提升至 2.6 倍、可節省 50% 算力成本

AIGC動態歡迎閱讀

原標題：騰訊披露最新大模型訓練方法：效率提升至 2.6 倍、可節省 50% 算力成本

關鍵字：騰訊,模型,報告,框架,能力

文章來源：AI前線

內容字數：3133字

內容摘要：作者 | 褚杏娟 如今，大模型的參數規模呈現指數級增長。在算力緊缺的背景下，如何提升大模型訓練和推理的效率，并降低成本，成為業界關注的焦點。11 月 23 日，騰訊披露，騰訊混元大模型背后的自研機器學習框架 Angel 再次升級，大模型訓練效率提升至主流開源框架的 2.6 倍，千億級大模型訓練可節省 50% 算力成本。升級后的 Angel 支持單任務萬卡級別超大規模訓練，進一步提升騰訊云 HCC 大模型專屬算力集群的性能和效率。訓練推理效率如何再提升面向大模型訓練，騰訊自研了機器學習訓練框架 AngelPTM，針對預訓練、模型精調和強化學習等全流程進行加速和優化：在存儲方面，AngelPTM 計算支持多維度的并行，包括常見的數據并行、模型并行、流水并行和序列并行。此外，騰訊在 ZeRO-Cache 的基礎上加入了統一視角技術，通過統一的地址尋址方式把顯存和主存打通，訓練時大量參數先放到系統…

原文鏈接：點此閱讀原文：騰訊披露最新大模型訓練方法：效率提升至 2.6 倍、可節省 50% 算力成本

聯系作者

文章來源：AI前線

作者微信：ai-front

作者簡介：面向AI愛好者、開發者和科學家，提供AI領域技術資訊、一線業界實踐案例、搜羅整理業界技術分享干貨、AI論文解讀。每周一節技術分享公開課，助力你全面擁抱人工智能技術。