MiniMind 是一個開源的大語言模型（LLM）項目，旨在從零開始，以極低的成本（僅需3塊錢）和極短的時間（2小時）訓練出一個輕量級的語言模型。該項目由開發(fā)者 Jingyao Gong 發(fā)起，旨在降低大模型的學習門檻，讓更多人能夠從零開始訓練和理解大模型的原理。

• MiniMind官網(wǎng)入口網(wǎng)址：https://jingyaogong.github.io/minimind/
• MiniMind開源項目地址：https://github.com/jingyaogong/minimind

MiniMind 的核心特點是其極小的模型體積，最小模型體積僅為 GPT-3 的 1/7000，適合個人 GPU 快速訓練。項目提供了完整的訓練流程，包括預訓練、監(jiān)督微調(diào)（SFT）、LoRA 微調(diào)、強化學習（RLHF）等全過程代碼，并且所有代碼均從零開始用 PyTorch 重構(gòu)，不依賴第三方庫。

MiniMind 提供了多種模型版本，包括 MiniMind2 系列和 MiniMind-V（多模態(tài)擴展），支持多種訓練和推理框架，如 llama.cpp、vllm、ollama 等。項目還提供了豐富的數(shù)據(jù)集和訓練腳本，支持從零開始訓練模型，并提供了詳細的訓練和評估工具。

MiniMind 的目標是推動 AI 社區(qū)的進步，讓更多人能夠理解和參與大模型的開發(fā)與訓練。通過 MiniMind，用戶可以體驗從零開始訓練一個語言模型的全過程，感受創(chuàng)造的樂趣。