本项目为昇思MindSpore训练营结课作业,完成较为仓促,有众多不完善之处,仅供参考。
本项目主要有以下文件:
data_proccess.ipynb
: 数据预处理,生成数据集。gpt2_train.ipynb
: 微调GPT2预训练模型程序,输出权重文件。demo.ipynb
: 带有简易UI界面的推理程序,动态展示生成结果。
使用到两组训练数据:
mid_95000
: 含有约95000组数据,用于第一轮训练。mid_10000
: 含有约10000组数据,用于第二轮训练。
data_proccess --> gpt2_train --> demo
环境 | 显卡 | 训练回合 | 训练耗时 |
---|---|---|---|
Ubuntu18.04 + MindSpore1.10 | RTX3090 | 5 epochs (on mid_95000) 10 epochs (on mid_10000) |
第一轮 70min/epoch 第二轮 3.5min/epoch |
训练后的模型生成效果,参见 example.mp4
。