大模型國產(chǎn)化適配4-基于昇騰910使用LLaMA-13B進行多機多卡訓(xùn)練

AIGC動態(tài)歡迎閱讀

原標題：大模型國產(chǎn)化適配4-基于昇騰910使用LLaMA-13B進行多機多卡訓(xùn)練
關(guān)鍵字：華為,模型,權(quán)重,數(shù)據(jù),路徑
文章來源：算法邦
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

直播預(yù)告 | 6月6日晚7點，「智猩猩AI新青年講座」第238講正式開講，香港大學CVMI Lab在讀博士 楊霽晗將直播講解《V-IRL：根植于真實世界的AI Agents》，歡迎掃名~隨著 ChatGPT 的現(xiàn)象級走紅，引領(lǐng)了 AI 大模型時代的變革，從而導(dǎo)致 AI 算力日益緊缺。與此同時，中美貿(mào)易戰(zhàn)以及美國對華進行AI芯片相關(guān)的制裁導(dǎo)致 AI 算力的國產(chǎn)化適配勢在必行。之前講述了基于昇騰910使用ChatGLM-6B進行模型訓(xùn)練和推理，主要是針對 MindSpore 框架進行大模型訓(xùn)練，這也是華為自家研發(fā)的 AI 框架。在昇騰上面除了使用 MindSpore 進行大模型訓(xùn)練，我們也可以使用 PyTorch 進行大模型訓(xùn)練。這兩個框架也是在昇騰 NPU 上華為花主要精力維護的兩款 AI 框架。
本文主要針對 MindSpore 和 Pytorch 分布式 AI 框架在進行多機多卡訓(xùn)練（雙機16卡），為了文章具有更好的閱讀體驗，具體代碼放置在GitHub：llm-action。
大模型國產(chǎn)化系列：
大模型國產(chǎn)化適配1-華為昇騰AI全棧軟硬件平臺總結(jié)
大模型國產(chǎn)化適配2-基于昇騰91

原文鏈接：大模型國產(chǎn)化適配4-基于昇騰910使用LLaMA-13B進行多機多卡訓(xùn)練

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點關(guān)注模型與應(yīng)用。