MiniMind – 開源的AI模型訓(xùn)練工具，2小時(shí)訓(xùn)練25.8M小模型

MiniMind是什么

MiniMind 是一個(gè)開源的超小型語(yǔ)言模型項(xiàng)目，旨在以極低的成本幫助個(gè)人開發(fā)者從零開始構(gòu)建自己的語(yǔ)言模型。該項(xiàng)目基于輕量化設(shè)計(jì)，最小版本僅包含25.8M參數(shù)，其體積僅為GPT-3的1/7000，非常適合在普通個(gè)人GPU上迅速進(jìn)行訓(xùn)練。MiniMind 提供了完整的訓(xùn)練流程代碼，涵蓋預(yù)訓(xùn)練、監(jiān)督微調(diào)、LoRA微調(diào)、強(qiáng)化學(xué)習(xí)以及模型蒸餾，同時(shí)支持多模態(tài)能力（例如視覺語(yǔ)言模型MiniMind-V），并與主流框架如transformers和peft兼容。此外，MiniMind還開源了高質(zhì)量的數(shù)據(jù)集和自定義分詞器，為L(zhǎng)LM初學(xué)者提供了便捷的入門途徑。

MiniMind的主要功能

• 超低門檻的模型訓(xùn)練：
  • 經(jīng)濟(jì)實(shí)惠：僅需3元人民幣的GPU租用費(fèi)用（基于NVIDIA 3090）。
  • 高效訓(xùn)練：完全從零開始訓(xùn)練僅需2小時(shí)。
  • 輕量化設(shè)計(jì)：最小模型參數(shù)為25.8M，適合在普通設(shè)備上進(jìn)行運(yùn)行。
• 全面開源的流程：提供完整的訓(xùn)練代碼，涵蓋預(yù)訓(xùn)練、監(jiān)督微調(diào)（SFT）、LoRA微調(diào)、直接偏好優(yōu)化（DPO）和模型蒸餾。所有核心算法均采用PyTorch原生實(shí)現(xiàn)，便于學(xué)習(xí)和擴(kuò)展，無需依賴第三方封裝。
• 多種訓(xùn)練技術(shù)支持：
  • 混合專家（MoE）架構(gòu)：動(dòng)態(tài)分配計(jì)算資源，提升小型模型的學(xué)習(xí)效率。
  • 直接偏好優(yōu)化（DPO）：無需復(fù)雜的獎(jiǎng)勵(lì)模型，直接根據(jù)人類的偏好優(yōu)化模型輸出。
  • 多模態(tài)擴(kuò)展：支持視覺多模態(tài)（MiniMind-V），實(shí)現(xiàn)圖像對(duì)話和圖文生成。

MiniMind的技術(shù)原理

• Transformer架構(gòu)：基于Transformer的Decoder-Only設(shè)計(jì)，類似于GPT系列，采用預(yù)標(biāo)準(zhǔn)化（Pre-Norm）和RMSNorm歸一化方法以提升模型性能，并使用SwiGLU激活函數(shù)替代ReLU，以提高訓(xùn)練效率。
• 混合專家（MoE）技術(shù)：在前饋網(wǎng)絡(luò)（FFN）中引入混合專家模塊，動(dòng)態(tài)分配計(jì)算資源給不同的“專家”，通過共享和隔離技術(shù)提升小模型的學(xué)習(xí)能力和效率。
• 輕量化的訓(xùn)練流程：
  • 預(yù)訓(xùn)練（Pretrain）：使用經(jīng)過清洗的高質(zhì)量文本數(shù)據(jù)進(jìn)行無監(jiān)督學(xué)習(xí)，以積累語(yǔ)言知識(shí)。
  • 監(jiān)督微調(diào)（SFT）：根據(jù)對(duì)話模板對(duì)模型進(jìn)行有監(jiān)督的微調(diào)，使其適應(yīng)對(duì)話場(chǎng)景。
  • LoRA微調(diào)：通過低秩分解更新少量參數(shù)，快速適應(yīng)特定領(lǐng)域或任務(wù)。
  • 直接偏好優(yōu)化（DPO）：基于人類偏好的標(biāo)注數(shù)據(jù)，優(yōu)化模型輸出的質(zhì)量。
  • 模型蒸餾：模仿大模型的輸出，進(jìn)一步提升小模型的性能。

MiniMind的項(xiàng)目地址

• 項(xiàng)目官網(wǎng)：https://jingyaogong.github.io/minimind/
• GitHub倉(cāng)庫(kù)：https://github.com/jingyaogong/minimind
• HuggingFace模型庫(kù)：https://huggingface.co/collections/jingyaogong/minimind

MiniMind的應(yīng)用場(chǎng)景

• AI初學(xué)者和學(xué)生：對(duì)AI領(lǐng)域感興趣的學(xué)生和初學(xué)者，適合用于畢業(yè)設(shè)計(jì)或參與學(xué)術(shù)研究。
• 開發(fā)者和個(gè)人開發(fā)者：資源有限的個(gè)人開發(fā)者，可以快速開發(fā)和部署AI應(yīng)用，適合進(jìn)行實(shí)驗(yàn)和創(chuàng)新項(xiàng)目。
• 專業(yè)領(lǐng)域從業(yè)者：如醫(yī)療、法律、教育等領(lǐng)域的專業(yè)人士，能夠開發(fā)醫(yī)療問診助手、法律咨詢工具或教育輔導(dǎo)系統(tǒng)。
• 小型團(tuán)隊(duì)和創(chuàng)業(yè)者：適合資源有限的小型團(tuán)隊(duì)或創(chuàng)業(yè)者，能夠開發(fā)最小可行產(chǎn)品（MVP）或探索新的商業(yè)方向。
• 技術(shù)愛好者和創(chuàng)意人士：對(duì)技術(shù)感興趣但沒有深厚背景的愛好者，可以開發(fā)智能機(jī)器人、生成創(chuàng)意內(nèi)容或探索多模態(tài)應(yīng)用。