用FP8訓練大模型有多香？微軟：比BF16快64%，省42%內存

AIGC動態歡迎閱讀

原標題：用FP8訓練大模型有多香？微軟：比BF16快64%，省42%內存

關鍵字：精度,張量,模型,框架,縮放

文章來源：機器之心

內容字數：8552字

內容摘要：機器之心報道編輯：Panda低精度訓練是大模型訓練中擴展模型大小，節約訓練成本的最關鍵技術之一。相比于當前的 16 位和 32 位浮點混合精度訓練，使用 FP8 8 位浮點混合精度訓練能帶來 2 倍的速度提升，節省 50% – 75% 的顯存和 50% – 75% 的通信成本，而且英偉達最新一代卡皇 H100 自帶良好的 FP8 硬件支持。但目前業界大模型訓練框架對 FP8 訓練的支持還非常有限。…

原文鏈接：點此閱讀原文：用FP8訓練大模型有多香？微軟：比BF16快64%，省42%內存

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺