中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。
https://github.com/charent/ChatLM-mini-Chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
https://github.com/DLLXW/baby-llama2-chinese

从0开始，将chatgpt的技术路线跑一遍。
https://github.com/AI-Study-Han/Zero-Chatgpt

从零实现一个小参数量中文大语言模型。
https://github.com/wdndev/tiny-llm-zh

从0到1构建一个MiniLLM (pretrain+sft+dpo实践中)
https://github.com/Tongjilibo/build_MiniLLM_from_scratch

可训练出仅为26.88M大小的微型语言模型MiniMind。
https://github.com/jingyaogong/minimind