大模型國產化適配4-基于昇騰910使用LLaMA-13B進行多機多卡訓練

AIGC動態歡迎閱讀

原標題：大模型國產化適配4-基于昇騰910使用LLaMA-13B進行多機多卡訓練
關鍵字：華為,模型,權重,數據,路徑
文章來源：算法邦
內容字數：0字

內容摘要：

直播預告 | 6月6日晚7點，「智猩猩AI新青年講座」第238講正式開講，香港大學CVMI Lab在讀博士 楊霽晗將直播講解《V-IRL：根植于真實世界的AI Agents》，歡迎掃名~隨著 ChatGPT 的現象級走紅，引領了 AI 大模型時代的變革，從而導致 AI 算力日益緊缺。與此同時，中美貿易戰以及美國對華進行AI芯片相關的制裁導致 AI 算力的國產化適配勢在必行。之前講述了基于昇騰910使用ChatGLM-6B進行模型訓練和推理，主要是針對 MindSpore 框架進行大模型訓練，這也是華為自家研發的 AI 框架。在昇騰上面除了使用 MindSpore 進行大模型訓練，我們也可以使用 PyTorch 進行大模型訓練。這兩個框架也是在昇騰 NPU 上華為花主要精力維護的兩款 AI 框架。
本文主要針對 MindSpore 和 Pytorch 分布式 AI 框架在進行多機多卡訓練（雙機16卡），為了文章具有更好的閱讀體驗，具體代碼放置在GitHub：llm-action。
大模型國產化系列：
大模型國產化適配1-華為昇騰AI全棧軟硬件平臺總結
大模型國產化適配2-基于昇騰91

原文鏈接：大模型國產化適配4-基于昇騰910使用LLaMA-13B進行多機多卡訓練

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關注模型與應用。