metadata
license: mit
datasets:
- Skywork/SkyPile-150B
- llm-wizard/alpaca-gpt4-data-zh
- BelleGroup/train_2M_CN
- BelleGroup/train_1M_CN
language:
- zh
pipeline_tag: text-generation
Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B，使用常见的中文语料进行预训练和微调。主要内容包括了
- 数据集的整理与简单清洗
- 中文词表预训练
- 基于phi3结构的模型预训练
- 基于预训练模型的指令微调（SFT），包括了全量微调和LoRA微调
- 基于指令微调模型的直接偏好优化（DPO）
- 模型评测 （待做）
项目中的所有训练过程均在两张3090显卡上进行，使用DeepSpeed框架和Flash Attention 2进行加速，预训练用时约40小时，SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践，同时也希望能够帮助到同样初学大模型的小伙伴。
项目训练细节等已在Github上开源，欢迎大家提出宝贵意见和建议。项目地址