PaddleSlim是一个专注于深度学习模型压缩的工具库,提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等模型压缩策略,帮助开发者快速实现模型的小型化。
-
🔥 2022.08.16:自动化压缩功能升级
- 支持直接加载ONNX模型和Paddle模型导出至ONNX
- 发布量化分析工具试用版,发布YOLO系列离线量化工具
- 更新YOLO-Series自动化压缩模型库
模型 Base mAPval
0.5:0.95ACT量化mAPval
0.5:0.95模型体积压缩比 预测时延FP32 预测时延INT8 预测加速比 PPYOLOE-s 43.1 42.6 3.9倍 6.51ms 2.12ms 3.1倍 YOLOv5s 37.4 36.9 3.8倍 5.95ms 1.87ms 3.2倍 YOLOv6s 42.4 41.3 3.9倍 9.06ms 1.83ms 5.0倍 YOLOv7 51.1 50.9 3.9倍 26.84ms 4.55ms 5.9倍 YOLOv7-Tiny 37.3 37.0 3.9倍 5.06ms 1.68ms 3.0倍 -
🔥 2022.07.01: 发布v2.3.0版本
历史更新
-
2021.11.15: 发布v2.2.0版本
- 支持动态图离线量化功能.
-
2021.5.20: 发布V2.1.0版本
- 扩展离线量化方法
- 新增非结构化稀疏
- 增强剪枝功能
- 修复OFA功能若干bug
更多信息请参考:release note
PaddleSlim支持以下功能,也支持自定义量化、裁剪等功能。
Quantization | Pruning | NAS | Distilling |
---|---|---|---|
注:
- *表示仅支持静态图,**表示仅支持动态图
- 敏感度裁剪指的是通过各个层的敏感度分析来确定各个卷积层的剪裁率,需要和其他裁剪方法配合使用。
PaddleSlim在典型视觉和自然语言处理任务上做了模型压缩,并且测试了Nvidia GPU、ARM等设备上的加速情况,这里展示部分模型的压缩效果,详细方案可以参考下面CV和NLP模型压缩方案:
注:
- YOLOv3: 在移动端SD855上加速3.55倍。
- PP-OCR: 体积由8.9M减少到2.9M, 在SD855上加速1.27倍。
- BERT: 模型参数由110M减少到80M,精度提升的情况下,Tesla T4 GPU FP16计算加速1.47倍。
PaddleSlim | PaddlePaddle | PaddleLite |
---|---|---|
1.0.1 | <=1.7 | 2.7 |
1.1.1 | 1.8 | 2.7 |
1.2.0 | 2.0Beta/RC | 2.8 |
2.0.0 | 2.0 | 2.8 |
2.1.0 | 2.1.0 | 2.8 |
2.1.1 | 2.1.1 | >=2.8 |
2.3.0 | 2.3.0 | >=2.11 |
安装最新版本:
pip install paddleslim -i https://pypi.tuna.tsinghua.edu.cn/simple
安装指定版本:
pip install paddleslim==2.3.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
安装develop版本:
git clone https://github.com/PaddlePaddle/PaddleSlim.git & cd PaddleSlim
python setup.py install
快速开始教程是能基于CIFAR10数据集快速运行起来的简单示例,若您是Paddle官方模型套件用户,请直接使用下方的CV模型压缩或者NLP模型压缩中教程。
进阶教程详细介绍了每一步的流程,帮助您把相应方法迁移到您自己的模型上。
-
通道剪裁
-
低比特量化
-
NAS
-
蒸馏
本系列教程均基于Paddle官方的模型套件中模型进行压缩,若您不是模型套件用户,更推荐使用快速教程和进阶教程。
-
检测模型压缩
-
压缩方案
-
方法应用-静态图
-
方法应用-动态图
-
-
分割模型压缩
-
OCR模型压缩
-
压缩方案
-
方法应用-静态图
-
方法应用-动态图
-
答:这是因为量化后保存的参数是虽然是int8范围,但是类型是float。这是因为Paddle训练前向默认的Kernel不支持INT8 Kernel实现,只有Paddle Inference TensorRT的推理才支持量化推理加速。为了方便量化后验证量化精度,使用Paddle训练前向能加载此模型,默认保存的Float32类型权重,体积没有发生变换。
答: 请参考PaddlePaddle#1258
本项目的发布受Apache 2.0 license许可认证。
我们非常欢迎你可以为PaddleSlim提供代码,也十分感谢你的反馈。
-
如果你发现任何PaddleSlim存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。
-
欢迎加入PaddleSlim 微信技术交流群(添加并回复小助手“Slim”)