PaddlePaddle provides a rich set of computational units to enable users to adopt a modular approach to solving various learning problems. In this Repo, we demonstrate how to use PaddlePaddle to solve common machine learning tasks, providing several different neural network model that anyone can easily learn and use.
PaddlePaddle 提供了丰富的计算单元，使得用户可以采用模块化的方法解决各种学习问题。在此Repo中，我们展示了如何用 PaddlePaddle来解决常见的机器学习任务，提供若干种不同的易学易用的神经网络模型。PaddlePaddle用户可领取免费Tesla V100在线算力资源，高效训练模型，每日登陆即送12小时，连续五天运行再加送48小时，前往使用免费算力。
图像分类是根据图像的语义信息对不同类别图像进行区分，是计算机视觉中重要的基础问题，是物体检测、图像分割、物体跟踪、行为分析、人脸识别等其他高层视觉任务的基础，在许多领域都有着广泛的应用。如：安防领域的人脸识别和智能视频分析等，交通领域的交通场景识别，互联网领域基于内容的图像检索和相册自动归类，医学领域的图像识别等。
| 模型名称 | 模型简介 | 数据集 | 评估指标 top-1/top-5 accuracy(CV2) |
|---|---|---|---|
| AlexNet | 首次在CNN中成功的应用了ReLU、Dropout和LRN，并使用GPU进行运算加速 | ImageNet-2012验证集 | 56.72%/79.17% |
| VGG | 在AlexNet的基础上使用3*3小卷积核，增加网络深度，具有很好的泛化能力 | ImageNet-2012验证集 | 72.56%/90.93% |
| GoogleNet | 在不增加计算负载的前提下增加了网络的深度和宽度，性能更加优越 | ImageNet-2012验证集 | 70.70%/89.66% |
| ResNet | Residual Network，引入了新的残差结构，解决了随着网络加深，准确率下降的问题 | ImageNet-2012验证集 | 80.93%/95.33% |
| ResNet-D | 融合多种对ResNet改进策略，ResNet50_vd的top1准确率达到79.84% | ImageNet-2012验证集 | 79.84%/94.93% |
| Inception-v4 | 将Inception模块与Residual Connection进行结合，通过ResNet的结构极大地加速训练并获得性能的提升 | ImageNet-2012验证集 | 80.77%/95.26% |
| MobileNet v1 | 将传统的卷积结构改造成两层卷积结构的网络，在基本不影响准确率的前提下大大减少计算时间，更适合移动端和嵌入式视觉应用 | ImageNet-2012验证集 | 70.99%/89.68% |
| MobileNet v2 | MobileNet结构的微调，直接在thinner的bottleneck层上进行skip learning连接以及对bottleneck layer不进行ReLu非线性处理可取得更好的结果 | ImageNet-2012验证集 | 72.15%/90.65% |
| SE_ResNeXt | 在ResNeXt 基础、上加入了SE（Sequeeze-and-Excitation） 模块，提高了识别准确率，在ILSVRC 2017 的分类项目中取得了第一名 | ImageNet-2012验证集 | 81.40%/95.48% |
| ShuffleNet v2 | ECCV2018，轻量级CNN网络，在速度和准确度之间做了很好地平衡。在同等复杂度下，比ShuffleNet和MobileNetv2更准确，更适合移动端以及无人车领域 | ImageNet-2012验证集 | 70.03%/89.17% |
目标检测任务的目标是给定一张图像或是一个视频帧，让计算机找出其中所有目标的位置，并给出每个目标的具体类别。对于计算机而言，能够“看到”的是图像被编码之后的数字，但很难解图像或是视频帧中出现了人或是物体这样的高层语义概念，也就更加难以定位目标出现在图像中哪个区域。
| 模型名称 | 模型简介 | 数据集 | 评估指标 mAP |
|---|---|---|---|
| SSD | 很好的继承了MobileNet预测速度快，易于部署的特点，能够很好的在多种设备上完成图像目标检测任务 | VOC07 test | mAP = 73.32% |
| Faster-RCNN | 创造性地采用卷积网络自行产生建议框，并且和目标检测网络共享卷积网络，建议框数目减少，质量提高 | MS-COCO | 基于ResNet 50 mAP(0.50:0.95) = 36.7% |
| Mask-RCNN | 经典的两阶段框架，在Faster R-CNN模型基础上添加分割分支，得到掩码结果，实现了掩码和类别预测关系的解藕，可得到像素级别的检测结果。 | MS-COCO | 基于ResNet 50 Mask mAP（0.50:0.95） = 31.4% |
| RetinaNet | 经典的一阶段框架，由ResNet主干网络、FPN结构、和两个分别用于回归物体位置和预测物体类别的子网络组成。在训练过程中使用Focal Loss，解决了传统一阶段检测器存在前景背景类别不平衡的问题，进一步提高了一阶段检测器的精度。 | MS-COCO | 基于ResNet mAP (500.50:0.95) = 36% |
| YOLOv3 | 速度和精度均衡的目标检测网络，相比于原作者darknet中的YOLO v3实现，PaddlePaddle实现参考了论文Bag of Tricks for Image Classification with Convolutional Neural Networks 增加了mixup，label_smooth等处理，精度(mAP(0.5：0.95))相比于原作者提高了4.7个绝对百分点，在此基础上加入synchronize batch normalization, 最终精度相比原作者提高5.9个绝对百分点。 | MS-COCO | 基于DarkNet mAP(0.50:0.95)= 38.9% |
| PyramidBox | PyramidBox 模型是百度自主研发的人脸检测模型，利用上下文信息解决困难人脸的检测问题，网络表达能力高，鲁棒性强。于18年3月份在WIDER Face数据集上取得第一名 | WIDER FACE | mAP （Easy/Medium/Hard set）= 96.0%/ 94.8%/ 88.8% |
图像语义分割顾名思义是将图像像素按照表达的语义含义的不同进行分组/分割，图像语义是指对图像内容的理解，例如，能够描绘出什么物体在哪里做了什么事情等，分割是指对图片中的每个像素点进行标注，标注属于哪一类别。近年来用在无人车驾驶技术中分割街景来避让行人和车辆、医疗影像分析中辅助诊断等。
| 模型名称 | 模型简介 | 数据集 | 评估指标 |
|---|---|---|---|
| ICNet | 主要用于图像实时语义分割，能够兼顾速度和准确性，易于线上部署 | Cityscape | Mean IoU=67.0% |
| DeepLab V3+ | 通过encoder-decoder进行多尺度信息的融合，同时保留了原来的空洞卷积和ASSP层， 其骨干网络使用了Xception模型，提高了语义分割的健壮性和运行速率 | Cityscape | Mean IoU=78.81% |
人体骨骼关键点检测，Pose Estimation，主要检测人体的一些关键点，如关节，五官等，通过关键点描述人体骨骼信息。人体骨骼关键点检测对于描述人体姿态，预测人体行为至关重要。是诸多计算机视觉任务的基础，例如动作分类，异常行为检测，以及自动驾驶等等。
| 模型名称 | 模型简介 | 数据集 | 评估指标 |
|---|---|---|---|
| Simple Baselines | coco2018关键点检测项目亚军方案，网络结构非常简单，效果达到state of the art | COCO val2017 | AP = 72.7% |
图像生成是指根据输入向量，生成目标图像。这里的输入向量可以是随机的噪声或用户指定的条件向量。具体的应用场景有：手写体生成、人脸合成、风格迁移、图像修复等。
| 模型名称 | 模型简介 | 数据集 |
|---|---|---|
| CGAN | 条件生成对抗网络，一种带条件约束的GAN，使用额外信息对模型增加条件，可以指导数据生成过程 | Mnist |
| DCGAN | 深度卷积生成对抗网络，将GAN和卷积网络结合起来，以解决GAN训练不稳定的问题 | Mnist |
| Pix2Pix | 图像翻译，通过成对图片将某一类图片转换成另外一类图片，可用于风格迁移 | Cityscapes |
| CycleGAN | 图像翻译，可以通过非成对的图片将某一类图片转换成另外一类图片，可用于风格迁移 | Cityscapes |
| StarGAN | 多领域属性迁移，引入辅助分类帮助单个判别器判断多个属性，可用于人脸属性转换 | Celeba |
| AttGAN | 利用分类损失和重构损失来保证改变特定的属性，可用于人脸特定属性转换 | Celeba |
| STGAN | 人脸特定属性转换，只输入有变化的标签，引入GRU结构，更好的选择变化的属性 | Celeba |
场景文字识别是在图像背景复杂、分辨率低下、字体多样、分布随意等情况下，将图像信息转化为文字序列的过程，可认为是一种特别的翻译过程：将图像输入翻译为自然语言输出。
| 模型名称 | 模型简介 | 数据集 | 评估指标 |
|---|---|---|---|
| CRNN-CTC | 使用CTC model识别图片中单行英文字符，用于端到端的文本行图片识别方法 | 单行不定长的英文字符串图片 | 错误率= 22.3% |
| OCR Attention | 使用attention 识别图片中单行英文字符，用于端到端的自然场景文本识别， | 单行不定长的英文字符串图片 | 错误率 = 15.8% |
度量学习也称作距离度量学习、相似度学习，通过学习对象之间的距离，度量学习能够用于分析对象时间的关联、比较关系，在实际问题中应用较为广泛，可应用于辅助分类、聚类问题，也广泛用于图像检索、人脸识别等领域。
| 模型名称 | 模型简介 | 数据集 | 评估指标 Recall@Rank-1（使用arcmargin训练） |
|---|---|---|---|
| ResNet50未微调 | 使用arcmargin loss训练的特征模型 | Stanford Online Product(SOP) | 78.11% |
| ResNet50使用triplet微调 | 在arcmargin loss基础上，使用triplet loss微调的特征模型 | Stanford Online Product(SOP) | 79.21% |
| ResNet50使用quadruplet微调 | 在arcmargin loss基础上，使用quadruplet loss微调的特征模型 | Stanford Online Product(SOP) | 79.59% |
| ResNet50使用eml微调 | 在arcmargin loss基础上，使用eml loss微调的特征模型 | Stanford Online Product(SOP) | 80.11% |
| ResNet50使用npairs微调 | 在arcmargin loss基础上，使用npairs loss微调的特征模型 | Stanford Online Product(SOP) | 79.81% |
视频分类和动作定位是视频理解任务的基础。视频数据包含语音、图像等多种信息，因此理解视频任务不仅需要处理语音和图像，还需要提取视频帧时间序列中的上下文信息。视频分类模型提供了提取全局时序特征的方法，主要方式有卷积神经网络(C3D,I3D,C2D等)，神经网络和传统图像算法结合(VLAD等)，循环神经网络等建模方法。视频动作定位模型需要同时识别视频动作的类别和起止时间点，通常采用类似于图像目标检测中的算法在时间维度上进行建模。
| 模型名称 | 模型简介 | 数据集 | 评估指标 |
|---|---|---|---|
| TSN | ECCV'16提出的基于2D-CNN经典解决方案 | Kinetics-400 | Top-1 = 67% |
| Non-Local | 视频非局部关联建模模型 | Kinetics-400 | Top-1 = 74% |
| stNet | AAAI'19提出的视频联合时空建模方法 | Kinetics-400 | Top-1 = 69% |
| TSM | 基于时序移位的简单高效视频时空建模方法 | Kinetics-400 | Top-1 = 70% |
| Attention LSTM | 常用模型，速度快精度高 | Youtube-8M | GAP = 86% |
| Attention Cluster | CVPR'18提出的视频多模态特征注意力聚簇融合方法 | Youtube-8M | GAP = 84% |
| NeXtVlad | 2nd-Youtube-8M比赛第3名的模型 | Youtube-8M | GAP = 87% |
| C-TCN | 2018年ActivityNet夺冠方案 | ActivityNet1.3 | MAP=31% |
LAC(Lexical Analysis of Chinese)百度自主研发中文特色模型词法分析任务，**输入是一个字符串，而输出是句子中的词边界和词性、实体类别。
| 模型 | Precision | Recall | F1-score |
|---|---|---|---|
| Lexical Analysis | 88.0% | 88.7% | 88.4% |
| BERT finetuned | 90.2% | 90.4% | 90.3% |
| ERNIE finetuned | 92.0% | 92.0% | 92.0% |
基于LSTM的语言模型任务，给定一个输入词序列（中文分词、英文tokenize），计算其PPL（语言模型困惑度，用户表示句子的流利程度）。
| large config | train | valid | test |
|---|---|---|---|
| paddle | 37.221 | 82.358 | 78.137 |
| tensorflow | 38.342 | 82.311 | 78.121 |
Senta(Sentiment Classification)百度AI开放平台中情感倾向分析模型、百度自主研发的中文情感分析特色模型。
| 模型 | dev | test | 模型（finetune） | dev | test |
|---|---|---|---|---|---|
| BOW | 89.8% | 90.0% | BOW | 91.3% | 90.6% |
| CNN | 90.6% | 89.9% | CNN | 92.4% | 91.8% |
| LSTM | 90.0% | 91.0% | LSTM | 93.3% | 92.2% |
| GRU | 90.0% | 89.8% | GRU | 93.3% | 93.2% |
| BI-LSTM | 88.5% | 88.3% | BI-LSTM | 92.8% | 91.4% |
| ERNIE | 95.1% | 95.4% | ERNIE | 95.4% | 95.5% |
| ERNIE+BI-LSTM | 95.3% | 95.2% | ERNIE+BI-LSTM | 95.7% | 95.6% |
EmoTect(Emotion Detection)专注于识别智能对话场景中用户的情绪识别，并开源基于百度海量数据训练好的预训练模型。
| 模型 | 闲聊 | 客服 | 微博 |
|---|---|---|---|
| BOW | 90.2% | 87.6% | 74.2% |
| LSTM | 91.4% | 90.1% | 73.8% |
| Bi-LSTM | 91.2% | 89.9% | 73.6% |
| CNN | 90.8% | 90.7% | 76.3% |
| TextCNN | 91.1% | 91.0% | 76.8% |
| BERT | 93.6% | 92.3% | 78.6% |
| ERNIE | 94.4% | 94.0% | 80.6% |
MRC(Machine Reading Comprehension)机器阅读理解(MRC)是自然语言处理(NLP)中的关键任务之一，开源的DuReader升级了经典的阅读理解BiDAF模型，去掉了char级别的embedding，在预测层中使用了