從0開始預訓練1.4b中文大模型實踐

AIGC動態歡迎閱讀

原標題：從0開始預訓練1.4b中文大模型實踐
關鍵字：模型,知乎,報告,數據,項目
文章來源：算法邦
內容字數：7795字

內容摘要：

智猩猩和智東西發起主辦的2024中國生成式AI大會將于4月18-19日在北京舉辦。主會場將進行開幕式、大模型專場、AI Infra專場和AIGC應用專場；分會場將進行具身智能技術研討會、AI智能體技術研討會和中國智算中心創新論壇。掃名，也可咨詢。導讀導讀：原文來自知乎，作者為Lil2J，主要記錄他對1.4b中文大模型的實踐復現過程。
原文地址為https://zhuanlan.zhihu.com/p/68494633101簡介這篇文章主要記錄了我個人對1.4b中文大模型的實踐復現過程。我選擇了QWEN作為基座模型，并訓練了一個參數量達到1.4b的預訓練模型，其中涉及的訓練token數量約為8b。在此過程中，我使用了兩張a100 80g顯卡，并耗費了大約100個小時的訓練時間。盡管這個規模無法與其他大型模型相媲美，但我也取得了一定的效果。因此，我想將這次實踐的過程和技術細節分享給大家，希望能夠為感興趣的朋友們提供一些參考和幫助。
這次項目：
https://github.com/jiahe7ay/MINI_LLM
因為實在不知道取什么名字，就取了個miniLLM了。
02動機我做這次

原文鏈接：從0開始預訓練1.4b中文大模型實踐

聯系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，連接AI新青年，講解研究成果，分享系統思考。