模型相关等内容在我的博客有具体介绍。

• 更新日志
• 运行环境
• 使用说明
• 模型实现
  • 代码结构
• 模型效果
• 公开数据集测试效果
• 已知问题
• TODO
• 参考链接

大幅改动，整理数据格式，优化代码，使用最新第三方包，旧版本代码在v0.1分支查看。

整理代码结构，抛弃借鉴的Bert模型，增加xlnet模型，预训练xlnet模型效果较差，可以在模型基础上再进行预训练，因此添加了模型预训练代码。

修复bug，添加textGCN模型（单独训练，模型效果较差）。

移除模型介绍＆部分模型实现，增加使用说明及运行环境。

增加了直接使用学生模型训练代码，并使用公开测试集完成测试。

python 3.7

transformers 4.11.3

torch 1.10.0

下载预训练BERT模型参数 pytorch_model.bin放入KnowledgeDistillation/bert_pretrain

运行 python distill.py

config.py中train_teacher、train_student分别表示是否训练教师模型、训练学生模型。

  单独训练教师模型      
  self.train_teacher = 1
  self.train_student = 0
  教师模型与学生模型串行训练（蒸馏）
  self.train_teacher = 1
  self.train_student = 1
  想要单独训练学生模型，需配置student.py中损失函数a=1，T=0，
  且saved_dict中存在训练好的教师模型teacher.ckpt，否则需要对代码进行改动
  self.train_teacher = 0
  self.train_student = 1

想要单独训练学生模型，只需将student.py中损失函数的a=1，T=0即可。

模型基本上是对论文Distilling Task-Specific Knowledge from BERT into Simple Neural Networks的复现

Teacher模型：BERT模型

Student模型：一层的biLSTM

LOSS函数：交叉熵 、MSE LOSS

知识函数：用最后一层的softmax前的logits作为知识表示

内部数据集测试效果。

Teacher

Running time: 116.05915258956909 s

Student

Running time: 0.155623197555542 s

可以看出student模型与teacher模型相比精度有一定的丢失，这也可以理解，毕竟student模型结构简单。而在运行时间上大模型是小模型的746倍（cpu）。

在数据集中选了5类并做了下采样。（此部分具体说明后续完善）

Student alone

Teacher

Student

1. 直接用student模型训练效果如何，未做测试。 （在公开数据集上完成测试，并上传了训练代码）
2. 学生模型用了句向量表征， 原论文用的词向量，后续工作将换回。
3. 教师模型参考了别人的代码，后续会自己搭BERT。

1. 学生模型加载预训练词向量（目前随机初始化）

1. 如何理解soft target这一做法？ 知乎 YJango的回答

2. 【经典简读】知识蒸馏(Knowledge Distillation) 经典之作

3. Distilling the Knowledge in a Neural Network

4. Distilling Task-Specific Knowledge from BERT into Simple Neural Networks

5. Chinese-Word-Vectors