Transformer系列是飞桨官方出品的特色课程，内容涵盖Transformer的前世今生，以及其在不同领域的应用及演进。
| 章节名称 | notebook链接 | Python实现 | 课程简介 |
|---|---|---|---|
| 经典的预训练语言模型 | notebook链接 | Python实现 | 本章节将为大家详细介绍NLP领域 Transformer。Transformer的前世今生，包括ELMo，GPT，Transformer，BERT等经典模型，还会介绍Transformer在机器翻译里面的应用 |
| 经典的预训练语言模型 | notebook链接 | Python实现 | 本章节将为大家详细介绍NLP领域 Transformer。Transformer的前世今生，包括ELMo，GPT，Transformer，BERT等经典模型，还会介绍Transformer在机器翻译里面的应用 |
| 预训练模型在自然语言理解方面的改进 | notebook链接 | Python实现 | ERNIE， RoBERTa， KBERT，清华ERNIE等，在广度上去分析经典预训练模型的一些改进。 |
| 预训练模型在长序列建模方面的改进 | notebook链接 | Python实现 | Transformer-xl， xlnet， longformer等，分析BERT和transformer的长度局限，并讨论这些方法的改进点。 |
| BERT蒸馏 | notebook链接 | Python实现 | 本章节为大家详细介绍了针对BERT模型的蒸馏算法，包括：Patient-KD、DistilBERT、TinyBERT、DynaBERT等模型，同时以代码的形式为大家展现了如何使用DynaBERT的训练策略对TinyBERT进行蒸馏。 |
| 预训练模型的瘦身策略 – – 高效结构 | notebook链接 | Python实现 | 本章节将为大家>详细介绍NLP领域，基于Transformer模型的瘦身技巧。包括 Electra，AlBERT 以及 performer。还会介绍代码实现案例：基于Electra的语音识别后处理中文标点符号预测 |
| transformer在图像分类中的应用（上） | notebook链接 | Python实现 | 本章节将为大家详细介绍 Transformer 在 CV 领域中的两个经典算法：ViT 以及 DeiT。带领大家一起学习Transformer 结构在图像分类领域的具体应用。 |
| transformer在图像分类中的应用（下） | notebook链接 | Python实现 | 本章节将为大家详细介绍 Transformer 在 CV 领域中的经典算法：Swin Transformer。带领大家一起学习Transformer 结构在图像分类领域的具体应用。 |
| CV领域的Transformer模型DETR在目标检测任务中的应用 | notebook链接 | Python实现 | 本章节将为大家详细介绍 Transformer 在目标检测领域中的经典算法：DETR。带领大家使用飞桨2.1版本在COCO数据集上实现基于DETR模型的目标检测，同时对训练好的模型进行评估和预测。 |
如果您也对Transformer模型感兴趣，并且想分享您对Transformer模型的独特的理解，欢迎咨询[email protected]，我们将为您提供分享平台。