MiniMind

MiniMind – 開源的AI模型訓練工具，2小時訓練25.8M小模型

MiniMind是什么

MiniMind 是一個開源的超小型語言模型項目，旨在以極低的成本幫助個人開發者從零開始構建自己的語言模型。該項目基于輕量化設計，最小版本僅包含25.8M參數，其體積僅為GPT-3的1/7000，非常適合在普通個人GPU上迅速進行訓練。MiniMind 提供了完整的訓練流程代碼，涵蓋預訓練、監督微調、LoRA微調、強化學習以及模型蒸餾，同時支持多模態能力（例如視覺語言模型MiniMind-V），并與主流框架如transformers和peft兼容。此外，MiniMind還開源了高質量的數據集和自定義分詞器，為LLM初學者提供了便捷的入門途徑。

MiniMind的主要功能

• 超低門檻的模型訓練：
  • 經濟實惠：僅需3元人民幣的GPU租用費用（基于NVIDIA 3090）。
  • 高效訓練：完全從零開始訓練僅需2小時。
  • 輕量化設計：最小模型參數為25.8M，適合在普通設備上進行運行。
• 全面開源的流程：提供完整的訓練代碼，涵蓋預訓練、監督微調（SFT）、LoRA微調、直接偏好優化（DPO）和模型蒸餾。所有核心算法均采用PyTorch原生實現，便于學習和擴展，無需依賴第三方封裝。
• 多種訓練技術支持：
  • 混合專家（MoE）架構：動態分配計算資源，提升小型模型的學習效率。
  • 直接偏好優化（DPO）：無需復雜的獎勵模型，直接根據人類的偏好優化模型輸出。
  • 多模態擴展：支持視覺多模態（MiniMind-V），實現圖像對話和圖文生成。

MiniMind的技術原理

• Transformer架構：基于Transformer的Decoder-Only設計，類似于GPT系列，采用預標準化（Pre-Norm）和RMSNorm歸一化方法以提升模型性能，并使用SwiGLU激活函數替代ReLU，以提高訓練效率。
• 混合專家（MoE）技術：在前饋網絡（FFN）中引入混合專家模塊，動態分配計算資源給不同的“專家”，通過共享和隔離技術提升小模型的學習能力和效率。
• 輕量化的訓練流程：
  • 預訓練（Pretrain）：使用經過清洗的高質量文本數據進行無監督學習，以積累語言知識。
  • 監督微調（SFT）：根據對話模板對模型進行有監督的微調，使其適應對話場景。
  • LoRA微調：通過低秩分解更新少量參數，快速適應特定領域或任務。
  • 直接偏好優化（DPO）：基于人類偏好的標注數據，優化模型輸出的質量。
  • 模型蒸餾：模仿大模型的輸出，進一步提升小模型的性能。

MiniMind的項目地址

• 項目官網：https://jingyaogong.github.io/minimind/
• GitHub倉庫：https://github.com/jingyaogong/minimind
• HuggingFace模型庫：https://huggingface.co/collections/jingyaogong/minimind

MiniMind的應用場景

• AI初學者和學生：對AI領域感興趣的學生和初學者，適合用于畢業設計或參與學術研究。
• 開發者和個人開發者：資源有限的個人開發者，可以快速開發和部署AI應用，適合進行實驗和創新項目。
• 專業領域從業者：如醫療、法律、教育等領域的專業人士，能夠開發醫療問診助手、法律咨詢工具或教育輔導系統。
• 小型團隊和創業者：適合資源有限的小型團隊或創業者，能夠開發最小可行產品（MVP）或探索新的商業方向。
• 技術愛好者和創意人士：對技術感興趣但沒有深厚背景的愛好者，可以開發智能機器人、生成創意內容或探索多模態應用。