intresting_project.md 912 B
中文对话0.2B小模型（ChatLM-Chinese-0.2B），开源所有数据集来源、数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等流程的全部代码。支持下游任务sft微调，给出三元组信息抽取微调示例。 https://github.com/charent/ChatLM-mini-Chinese
用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2. https://github.com/DLLXW/baby-llama2-chinese
从0开始，将chatgpt的技术路线跑一遍。 https://github.com/AI-Study-Han/Zero-Chatgpt
从零实现一个小参数量中文大语言模型。 https://github.com/wdndev/tiny-llm-zh
从0到1构建一个MiniLLM (pretrain+sft+dpo实践中) https://github.com/Tongjilibo/build_MiniLLM_from_scratch
可训练出仅为26.88M大小的微型语言模型MiniMind。 https://github.com/jingyaogong/minimind