Skip to content

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)

License

Notifications You must be signed in to change notification settings

PaddlePaddle/PaddleOCR

Repository files navigation

English | 简体中文

简介

PaddleOCR旨在打造一套丰富、领先、且实用的OCR工具库,助力使用者训练出更好的模型,并应用落地。

近期更新

  • 2020.7.9 添加支持空格的识别模型,识别效果,预测及训练方式请参考快速开始文本识别训练相关文档
  • 2020.7.9 添加数据增强、学习率衰减策略,具体参考配置文件
  • 2020.6.8 添加数据集,并保持持续更新
  • 2020.6.5 支持 attetnion 模型导出 inference_model
  • 2020.6.5 支持单独预测识别时,输出结果得分
  • more

特性

  • 超轻量级中文OCR模型,总模型仅8.6M
    • 单模型支持中英文数字组合识别、竖排文本识别、长文本识别
    • 检测模型DB(4.1M)+识别模型CRNN(4.5M)
  • 实用通用中文OCR模型
  • 多种预测推理部署方案,包括服务部署和端侧部署
  • 多种文本检测训练算法,EAST、DB
  • 多种文本识别训练算法,Rosetta、CRNN、STAR-Net、RARE
  • 可运行于Linux、Windows、MacOS等多种系统

快速体验

上图是超轻量级中文OCR模型效果展示,更多效果图请见效果展示页面

中文OCR模型列表

模型名称 模型简介 检测模型地址 识别模型地址 支持空格的识别模型地址
chinese_db_crnn_mobile 超轻量级中文OCR模型 inference模型 / 预训练模型 inference模型 / 预训练模型 inference模型 / 预训练模型
chinese_db_crnn_server 通用中文OCR模型 inference模型 / 预训练模型 inference模型 / 预训练模型 inference模型 / 预训练模型

文档教程

算法介绍

1.文本检测算法

PaddleOCR开源的文本检测算法列表:

在ICDAR2015文本检测公开数据集上,算法效果如下:

模型 骨干网络 precision recall Hmean 下载链接
EAST ResNet50_vd 88.18% 85.51% 86.82% 下载链接
EAST MobileNetV3 81.67% 79.83% 80.74% 下载链接
DB ResNet50_vd 83.79% 80.65% 82.19% 下载链接
DB MobileNetV3 75.92% 73.18% 74.53% 下载链接

使用LSVT街景数据集共3w张数据,训练中文检测模型的相关配置和预训练文件如下:

模型 骨干网络 配置文件 预训练模型
超轻量中文模型 MobileNetV3 det_mv3_db.yml 下载链接
通用中文OCR模型 ResNet50_vd det_r50_vd_db.yml 下载链接
  • 注: 上述DB模型的训练和评估,需设置后处理参数box_thresh=0.6,unclip_ratio=1.5,使用不同数据集、不同模型训练,可调整这两个参数进行优化

PaddleOCR文本检测算法的训练和使用请参考文档教程中模型训练/评估中的文本检测部分

2.文本识别算法

PaddleOCR开源的文本识别算法列表:

参考DTRB文字识别训练和评估流程,使用MJSynth和SynthText两个文字识别数据集训练,在IIIT, SVT, IC03, IC13, IC15, SVTP, CUTE数据集上进行评估,算法效果如下:

模型 骨干网络 Avg Accuracy 模型存储命名 下载链接
Rosetta Resnet34_vd 80.24% rec_r34_vd_none_none_ctc 下载链接
Rosetta MobileNetV3 78.16% rec_mv3_none_none_ctc 下载链接
CRNN Resnet34_vd 82.20% rec_r34_vd_none_bilstm_ctc 下载链接
CRNN MobileNetV3 79.37% rec_mv3_none_bilstm_ctc 下载链接
STAR-Net Resnet34_vd 83.93% rec_r34_vd_tps_bilstm_ctc 下载链接
STAR-Net MobileNetV3 81.56% rec_mv3_tps_bilstm_ctc 下载链接
RARE Resnet34_vd 84.90% rec_r34_vd_tps_bilstm_attn 下载链接
RARE MobileNetV3 83.32% rec_mv3_tps_bilstm_attn 下载链接

使用LSVT街景数据集根据真值将图crop出来30w数据,进行位置校准。此外基于LSVT语料生成500w合成数据训练中文模型,相关配置和预训练文件如下:

模型 骨干网络 配置文件 预训练模型
超轻量中文模型 MobileNetV3 rec_chinese_lite_train.yml 下载链接
通用中文OCR模型 Resnet34_vd rec_chinese_common_train.yml 下载链接

PaddleOCR文本识别算法的训练和使用请参考文档教程中模型训练/评估中的文本识别部分

3.端到端OCR算法

效果展示

1.超轻量级中文OCR效果展示 more

2.通用中文OCR效果展示 more

3.支持空格的中文OCR效果展示 more

FAQ

  1. 转换attention识别模型时报错:KeyError: 'predict'
    问题已解,请更新到最新代码。

  2. 关于推理速度
    图片中的文字较多时,预测时间会增,可以使用--rec_batch_num设置更小预测batch num,默认值为30,可以改为10或其他数值。

  3. 服务部署与移动端部署
    预计6月中下旬会先后发布基于Serving的服务部署方案和基于Paddle Lite的移动端部署方案,欢迎持续关注。

  4. 自研算法发布时间
    自研算法SAST、SRN、End2End-PSL都将在6-7月陆续发布,敬请期待。

more

欢迎加入PaddleOCR技术交流群

请扫描下面二维码,完成问卷填写,获取加群二维码

许可证书

本项目的发布受Apache 2.0 license许可认证。

贡献代码

我们非常欢迎你为PaddleOCR贡献代码,也十分感谢你的反馈。

  • 非常感谢 Khanh Tran 贡献了英文文档。
  • 非常感谢 zhangxin(Blog) 贡献新的可视化方式、添加.gitgnore、处理手动设置PYTHONPATH环境变量的问题
  • 非常感谢 lyl120117 贡献打印网络结构的代码

About

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)

Topics

Resources

License

Stars

Watchers

Forks

Packages