CN112085019A - 字符识别模型生成系统、方法、装置和计算机设备 - Google Patents
字符识别模型生成系统、方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN112085019A CN112085019A CN202010893021.6A CN202010893021A CN112085019A CN 112085019 A CN112085019 A CN 112085019A CN 202010893021 A CN202010893021 A CN 202010893021A CN 112085019 A CN112085019 A CN 112085019A
- Authority
- CN
- China
- Prior art keywords
- character
- module
- character data
- character recognition
- recognition model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Character Discrimination (AREA)
Abstract
本申请涉及一种字符识别模型生成系统、方法、装置、计算机设备和存储介质,系统包括字符数据管理模块以及字符模型训练模块;字符数据管理模块根据第一字符数据以及对应的标注信息,得到第二字符数据;字符模型训练模块根据第二字符数据确定相应的算法镜像以及候选训练服务器集群;根据算法镜像建立对应的字符识别模型;调度候选训练服务器集群,基于第二字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。本系统根据字符数据确定算法镜像,并根据算法镜像建立模型,能够满足对于不同字符类型识别模型的确立;通过选取候选训练服务器集群,在无需人工参与下实现多数量、多类型字符识别模型的训练,提高了字符识别模型生成的效率。
Description
技术领域
本申请涉及人工智能技术领域,特别是涉及一种字符识别模型生成系统、方法、装置、计算机设备和存储介质。
背景技术
随着人工智能技术的普及,深度学习技术也被引入了3C产业;通过字符识别模型,能够代替人工通过辨识、记录相应产品上字符的方式实现对数据的采集工作。
3C产业具有产品迭代快、生产设备迭代迅速的特点;传统的机器学习方法和人工训练检测模型不能很好地适应多变的生产环境和客户需求,人工训练模型的需要耗费大量时间成本,同时能够训练的模型较为单一,整体时效性较差,无法及时满足客户多样化的需求。因此,现有的字符识别模型生成效率还较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高字符识别模型生成效率的字符识别模型生成系统、方法、装置、计算机设备和存储介质。
一种字符识别模型生成系统,所述系统包括:字符数据管理模块以及字符模型训练模块;所述字符数据管理模块与所述字符模型训练模块之间通信连接;
所述字符数据管理模块用于响应于终端发送的字符数据上传请求,接收所述终端上传的第一字符数据;获取与所述第一字符数据对应的标注信息;根据所述第一字符数据以及对应的标注信息,得到携带有所述标注信息的第二字符数据;将所述第二字符数据发送至所述字符模型训练模块;
所述字符模型训练模块用于根据所述字符数据管理模块发送的所述第二字符数据,确定相应的算法镜像以及候选训练服务器集群;根据所述算法镜像建立对应的字符识别模型;调度所述候选训练服务器集群,基于所述第二字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
在其中一个实施例中,所述字符识别模型生成系统还包括账户管理模块;所述账户管理模块包括账户模块、识别模块以及权限模块;
所述账户模块用于响应于所述终端发送的账户创建请求;根据所述账户创建请求生成对应的账户信息;所述账户信息携带有账户标识;
所述识别模块用于,识别出与所述账户标识对应的账户信息;
所述权限模块用于调整与所述账户信息对应的权限参数。
在其中一个实施例中,所述字符数据管理模块中还包括字符数据获取模块;
所述字符数据获取模块用于从所述字符数据上传请求中获取所述账户信息,并确定与所述账户信息对应的权限参数;若所述权限参数小于预设权限阈值,则拒绝所述终端发送的字符数据上传请求;若所述权限参数大于或等于所述预设权限阈值,则接收所述终端上传的所述第一字符数据以及对应的标注信息。
在其中一个实施例中,所述字符模型训练模块中还包括集群调度模块;
所述集群调度模块用于获取多个训练服务器集群的运行状态;根据所述训练服务器集群的运行状态确定所述训练服务器集群的负载状态参数;将所述负载状态参数小于预设负载阈值的训练服务器集群,作为所述候选训练服务器集群。
在其中一个实施例中,所述字符模型训练模块还用于对训练后的字符识别模型进行字符识别测试,得到字符识别率;当所述字符识别率达到预设识别率阈值时,则将所述字符识别模型作为所述训练完成的字符识别模型。
在其中一个实施例中,所述字符模型训练模块还用于将所述训练完成的字符识别模型发送至相应的终端;所述终端用于调用所述训练完成的字符识别模型,对图像文件中包含的字符进行识别,得到字符识别结果。
一种字符识别模型生成方法,所述方法包括:
获取携带有标注信息的字符数据;
根据所述字符数据确定相应的算法镜像以及候选训练服务器集群;
根据所述算法镜像建立对应的字符识别模型;
调度所述候选训练服务器集群,基于所述字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
一种字符识别模型生成装置,所述装置包括:
数据获取模块,用于获取携带有标注信息的字符数据;
集群确定模块,用于根据所述字符数据确定相应的算法镜像以及候选训练服务器集群;
模型建立模块,用于在根据所述算法镜像建立对应的字符识别模型;
模型训练模块,用于调度所述候选训练服务器集群,基于所述字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取携带有标注信息的字符数据;
根据所述字符数据确定相应的算法镜像以及候选训练服务器集群;
根据所述算法镜像建立对应的字符识别模型;
调度所述候选训练服务器集群,基于所述字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取携带有标注信息的字符数据;
根据所述字符数据确定相应的算法镜像以及候选训练服务器集群;
根据所述算法镜像建立对应的字符识别模型;
调度所述候选训练服务器集群,基于所述字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
上述字符识别模型生成系统、方法、装置、计算机设备和存储介质,系统包括:字符数据管理模块以及字符模型训练模块;字符数据管理模块与字符模型训练模块之间通信连接;字符数据管理模块用于响应于终端发送的字符数据上传请求,接收终端上传的第一字符数据;获取与第一字符数据对应的标注信息;根据第一字符数据以及对应的标注信息,得到携带有标注信息的第二字符数据;将第二字符数据发送至字符模型训练模块;字符模型训练模块用于根据字符数据管理模块发送的第二字符数据,确定相应的算法镜像以及候选训练服务器集群;根据算法镜像建立对应的字符识别模型;调度候选训练服务器集群,基于第二字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。本系统根据字符数据确定算法镜像,并根据算法镜像建立模型,能够满足对于不同字符类型识别模型的确立;通过选取候选训练服务器集群,在无需人工参与下实现多数量、多类型字符识别模型的训练,提高了字符识别模型生成的效率。
附图说明
图1为一个实施例中字符识别模型生成系统的应用环境图;
图2为一个实施例中项目详情页的页面示意图;
图3为一个实施例中账户创建的页面示意图;
图4为一个实施例中字符识别模型生成系统的系统架构示意图;
图5为一个实施例中字符识别模型生成方法的流程示意图;
图6为一个实施例中字符识别模型生成装置的结构框图;
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的字符识别模型生成系统,可以应用于如图1所示的应用环境中。其中,终端11通过网络与字符识别模型生成系统12进行通信。字符识别模型生成系统12包括:字符数据管理模块13以及字符模型训练模块14;字符数据管理模块13与字符模型训练模块14之间通信连接;字符数据管理模块13用于响应于终端11发送的字符数据上传请求,接收终端11上传的第一字符数据;字符数据管理模块13获取与第一字符数据对应的标注信息;字符数据管理模块13根据第一字符数据以及对应的标注信息,得到携带有标注信息的第二字符数据;字符数据管理模块13将第二字符数据发送至字符模型训练模块14;字符模型训练模块14用于根据字符数据管理模块13发送的第二字符数据,从算法镜像库141中确定相应的算法镜像以及候选训练服务器集群142;字符模型训练模块14根据算法镜像建立对应的字符识别模型;调度候选训练服务器集群142,基于第二字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。其中,终端11可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,字符识别模型生成系统12以及内部各个模块可以用独立的服务器或者是多个服务器组成的服务器集群来实现。字符识别模型生成系统可以支持单机部署、集群部署、联机部署等多种部署方式,以实现算力效率的最大化。
字符识别模型生成系统能够为用户提供类web的管理和控制界面,用户可以通过登陆字符识别模型生成系统进行操作,字符识别模型生成系统内的各个模块会根据用户的操作提供相应的数据支持,实现字符识别模型的生成。字符识别模型生成系统可以提供字符识别模型训练所需的字符数据导入、标注功能,以及模型训练、模型导出、模型测试等功能。
在一个实施例中,字符数据管理模块用于响应于终端发送的字符数据上传请求,接收终端上传的第一字符数据;获取与第一字符数据对应的标注信息;根据第一字符数据以及对应的标注信息,得到携带有标注信息的第二字符数据;将第二字符数据发送至字符模型训练模块。
具体地,字符数据管理模块接收到终端发送的字符数据上传请求,由字符数据管理模块中的字符数据获取模块进行响应,并获取终端上传的第一字符数据;字符数据标注模块相应获取与第一字符数据对应的标注信息;根据第一字符数据以及对应的标注信息,得到携带有标注信息的第二字符数据;将第二字符数据发送至字符模型训练模块。第一字符数据通常是不包含标注信息的字符数据,因此需要通过字符数据标注模块相应获取与第一字符数据对应的标注信息,实现对第一字符数据的标注,进一步得到携带有标注信息的第二字符数据,完成对字符识别模型生成系统训练数据的采集。
字符数据管理模块中包括字符数据获取模块、字符数据标注模块以及可视化模块、项目模块中的一种或多种;字符数据管理模块相当于数据前台,能够与终端进行交互对接,获取、处理、应用从终端处获取到的数据。
项目模块用于查看及管理字符识别模型生成的全过程,项目模块的功能包括新建项目、修改项目、删除项目等。新建项目需要用户通过终端登陆字符识别模型生成系统键入新建项目参数以对项目的基本属性进行预先设置,参数包括但不限于项目名称、项目操作权限、任务类型等信息,项目模块能够根据上述新建项目参数生成对应的项目,并为该项目分配标识(项目ID),且在字符识别模型生成系统提供的项目详情页内进行显示,如图2的项目详情页示意图所示,显示内容包括项目ID、项目名称、项目创建者(即创建该项目对应的账户信息)、项目状态、字符模型数量、任务类型等信息。后续的字符数据获取、字符识别模型训练等步骤均可以以该项目为单位进行。
字符数据获取模块能够根据终端发送的字符数据上传请求获取终端发送的字符数据,字符数据可以是图片、视频、文字等形式;字符数据上传请求包含字符数据列表、字符数据大小、字符数据类型、是否标注等信息;字符数据获取模块对终端发送的字符数据上传请求进行验证后,与终端建立通信连接,获取与字符数据上传请求对应的字符数据;字符数据上传请求中也可以直接携带有相应的字符数据,字符数据获取模块对终端发送的字符数据上传请求进行验证后直接从字符数据上传请求获取相应的字符数据。
字符数据标注模块可以使得终端对字符数据进行标注,标注信息包括但不限于是字符标签、类别标签等。字符数据标注模块可以依次将每张图片在字符识别模型生成系统的预设界面中向终端用户进行展示,用户分别查看每张图片,通过终端为每张图片添加相应的字符标注。例如图片为一幅轮毂照片,用户将轮毂上印有的编号信息“gzlg123”输入到相应的字符标注框中完成对该张照片的字符标签的标注。字符数据标注模块还可以调用预先训练好的字符识别模型,对字符数据中的字符信息进行识别并添加相应的标注信息,然后用户通过终端对字符数据以及相应的标注信息进行确认,完成字符数据的标注。需要说明的是,字符数据标注模块除了对字符数据中字符标签进行标注外,还可以是对类别标签进行标注,例如在一张身份证图片中的分别标注多个字符区域的类型为“姓名”、“身份证号”、“性别”、“地址”等。此外,字符数据标注模块还能够识别出包含有字符的区域,并为该区域添加边框。
与字符数据获取模块相应的,字符数据管理模块中还包括字符数据修改模块、字符数据删除模块等,终端能够通过上述模块分别实现对字符数据的修改、替换、删除等操作。
字符数据管理模块中还包括字符数据可视化模块,能够根据字符数据管理模块中存储的字符数据的类型、大小、标注情况等信息,生成可视化的图表。例如根据每月字符数据新增的数量生成字符数据导入的数量变化折线图,根据字符数据的类型生成包含有不同颜色的饼状类别图。进一步地,数据可视化模块还能够进行字符数据汇总,形成字符数据的可视化报告。
在一个实施例中,字符模型训练模块用于根据字符数据管理模块发送的第二字符数据,确定相应的算法镜像以及候选训练服务器集群;根据算法镜像建立对应的字符识别模型;调度候选训练服务器集群,基于第二字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。
其中,字符模型训练模块中包括资源监控模块、集群调度模块、算法镜像模块、训练模块、数据管理模块中的一种或多种。
资源监控模块用于获取各个训练服务器以及训练服务器集群的资源利用状态、集群状态等,并生成相应的运行状态,能够实现对训练服务器以及训练服务器集群健康程度的掌握。集群调度模块用于根据训练服务器集群的运行状态对训练服务器集群进行调用,执行相应的字符识别模型的训练任务。算法镜像模块能够对算法镜像库中存储的算法镜像进行管理并进行版本控制,包括对算法镜像进行导入、导出、更新迭代、删除、修改等;算法镜像模块根据字符识别模型的训练要求确定适用的算法镜像,并建立相应的模型;算法镜像包括通用的算法,也包括一些行业定制算法,能够根据具体的需求进行不同的选择。训练模块则是根据第二字符数据对字符识别模型进行训练,直到字符识别模型达到使用要求。资源监控模块还可以获取训练模块对字符识别模型进行训练的进度信息,并通过进度条等形式进行在项目详情页面作为项目状态进行展示,以便于用户对字符识别模型训练的进度有所了解。
具体地,字符模型训练模块中数据管理模块接收字符数据管理模块发送的第二字符数据,并通过算法镜像模块确定相应的算法镜像并建立对应的字符识别模型;然后集群调度模块获取到资源监控模块采集到的多个训练服务器集群的运行状态,根据运行状态确定候选训练服务器集群;集群调度模块调度候选训练服务器集群,使得训练模块能够基于第二字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。
上述字符识别模型生成系统,包括:字符数据管理模块以及字符模型训练模块;字符数据管理模块与字符模型训练模块之间通信连接;字符数据管理模块用于响应于终端发送的字符数据上传请求,接收终端上传的第一字符数据;获取与第一字符数据对应的标注信息;根据第一字符数据以及对应的标注信息,得到携带有标注信息的第二字符数据;将第二字符数据发送至字符模型训练模块;字符模型训练模块用于根据字符数据管理模块发送的第二字符数据,确定相应的算法镜像以及候选训练服务器集群;根据算法镜像建立对应的字符识别模型;调度候选训练服务器集群,基于第二字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。本系统根据字符数据确定算法镜像,并根据算法镜像建立模型,能够满足对于不同字符类型识别模型的确立;通过选取候选训练服务器集群,在无需人工参与下实现多数量、多类型字符识别模型的训练,提高了字符识别模型生成的效率。
在一个实施例中,字符识别模型生成系统还包括账户管理模块;账户管理模块包括账户模块、识别模块以及权限模块;账户模块用于响应于终端发送的账户创建请求;根据账户创建请求生成对应的账户信息;账户信息携带有账户标识;识别模块用于识别出与账户标识对应的账户信息;权限模块用于调整与账户信息对应的权限参数。
其中,账户管理模块是为系统用户的进行账户配置的模块。账户模块能为新用户创建账户,也能删除并修改账户信息;可以通过用户组的方式实现用户账户的分类、分级管理,还可以通过权限参数配置用户组实现对账户的批量管理。
具体地,账户模块对终端发送的账户创建请求进行验证,验证通过后根据账户创建请求生成对应的账户信息;如图3账户创建示意图所示,账户信息中可以包括用户名、用户组、密码、权限、创建时间等;同时可以为该账户信息分配标识作为账户标识;字符识别模型生成系统中的各个模块能够通过识别模块,根据账户标识识别并读取相应的账户信息。识别模块还能够确定与账户信息对应的终端,或者与终端标识对应的账户信息。权限模块用于调整与账户信息对应的权限参数,权限参数的调整对象可以是单用户账户信息对应的权限参数,也可以是用户组对应的权限参数。不同的权限参数对应可操作的模块是不同的,用户通过账户信息登陆字符识别模型生成系统后,显示的界面也会根据可操作的模块的不同而相应发生改变。
本实施例通过账户模块、识别模块以及权限模块实现了较为全面的账户管理,提高了用户操作字符识别模型生成系统的效率,同时对用户的监管也提高了字符识别模型生成系统的安全和稳定性。
在一个实施例中,字符数据获取模块用于从字符数据上传请求中获取账户信息,并确定与账户信息对应的权限参数;若权限参数小于预设权限阈值,则拒绝终端发送的字符数据上传请求;若权限参数大于或等于预设权限阈值,则接收终端上传的第一字符数据以及对应的标注信息。
具体地,字符识别模型生成系统中多个模块可以对账户信息对应的权限参数进行预设权限阈值的限制,以此维护各模块数据的传输安全。以字符数据获取模块为例,当接收到终端发送的字符数据上传请求,获取请求中携带的账户信息,并确定出对应的权限参数;例如字符数据获取模块的预设权限阈值为5,账户信息对应的权限参数为0,权限参数小于预设权限阈值,该账户信息不具有字符数据上传的资格,因此可以拒绝终端发送的字符数据上传请求。若另一终端上发送字符数据上传请求的账户信息对应的权限参数为10,权限参数大于预设权限阈值,账户信息具有字符数据上传的资格,因此可以获取终端发送的第一字符数据。
本实施例通过账户信息对应的权限参数以及预设权限阈值,对不同等级的账户信息能够操作的模块作出了限制,提高了字符识别模型生成系统的安全性。字符数据获取模块也通过设置预设权限阈值,避免了字符数据的随意上传,提高了系统整体数据的可用性。
在一个实施例中,集群调度模块用于获取多个训练服务器集群的运行状态;根据训练服务器集群的运行状态确定训练服务器集群的负载状态参数;将负载状态参数小于预设负载阈值的训练服务器集群,作为候选训练服务器集群。
具体地,候选训练服务器集群由于负载状态参数小于预设负载阈值,运行性能上整体较优,在进行训练时会优先被选择。集群调度模块通过确定训练服务器集群的负载状态参数实现了多个训练服务器集群之间的负载均衡,提高了字符识别模型生成系统整体的运行效率。
在一个实施例中,字符模型训练模块还用于对训练后的字符识别模型进行字符识别测试,得到字符识别率;当字符识别率达到预设识别率阈值时,则将字符识别模型作为训练完成的字符识别模型。
具体地,字符模型训练模块中的训练模块能够通过对训练后的字符识别模型进行字符识别测试,根据字符识别率确定字符识别模型训练的程度;当字符识别率未达到预设识别率阈值时则继续进行训练,若多次、长时间进行字符识别测试后字符识别率仍未达到预设识别率阈值,则可将训练过程中产生的参数等信息打包,生成预警信息发送至对应终端的人员进行原因排查。当多次测试后字符识别率达到预设识别率阈值,则可认为字符识别模型的训练完成。
本实施例通过对训练后的字符识别模型进行字符识别测试,通过字符识别率掌握字符识别模型训练的进度,确保了训练后字符识别模型的识别准确性。
在一个实施例中,字符模型训练模块还用于将训练完成的字符识别模型发送至相应的终端;终端用于调用训练完成的字符识别模型,对图像文件中包含的字符进行识别,得到字符识别结果。
具体地,字符识别模型训练完成后,字符模型训练模块能够将训练好的字符识别模型发送给相应的终端。终端能够通过训练完成的字符识别模型完成字符识别的工作。字符数据上传请求中可以包含有字符识别模型的需求方信息,字符模型训练模块能够根据该需求方信息确定字符识别模型的目标发送终端。再或者,字符模型训练模块将训练好的字符识别模型保存至字符识别模型生成系统,需求终端可以登陆字符识别模型生成系统获取该字符识别模型。本实施例通过将训练好的字符识别模型发送给相应的终端提高了终端获取字符识别模型的效率。
在一个实施例中,为了更清晰阐明本申请实施例提供的技术方案,以下将结合图4对该系统的一种架构进行说明,具体内容如下:
字符识别模型生成系统可分为前台和后台部分,前台部分与后台部分可以通过http/tcp进行通信;前台部分包括字符数据获取模块、字符数据标注模块以及数据可视化模块,用户能够通过字符数据获取模块上传训练字符识别模型所需的字符数据至字符识别模型生成系统,并通过字符数据标注模块对字符数据进行标注;之后可以利用数据可视化模块导出一份包含有图表的可视化报告,对字符数据以及标注的情况进行确定。后台部分中主要包括账户管理模块和字符模型训练模块。账户管理模块中包括账户模块、权限模块以及识别模块。系统能够通过账户模块修改用户登陆系统的账户信息,例如新建账户、删除账户等,通过权限模块设置权限参数限制用户的可操作模块范围,保证系统整体的安全性,识别模块用于确认用户的身份,同时可以向其他模块提供该用户的账户信息。
字符模型训练模块中包括资源监控模块、训练模块、算法镜像模块、数据管理模块以及集群调度模块。系统通过资源监控模块确定各个训练服务器集群的运行状态得到集群状态并发送至训练模块,训练模块根据集群状态确定要调用的训练服务器集群,并通过集群调度模块进行调度操作;调度好能够进行模型训练的训练服务器集群后,从算法镜像模块中拉取根据相应镜像建立起待训练的字符识别模型,再经由数据管理模块获取前台部分的字符数据进行训练,得到训练完成的字符识别模型。
在一个实施例中,如图5所示,提供了一种字符识别模型生成方法,本申请提供的字符识别模型生成方法,可以应用于如图1所示的应用环境中。以该方法应用于图1中的字符识别模型生成系统12为例进行说明,包括以下步骤:
步骤51,获取携带有标注信息的字符数据;
步骤52,根据字符数据确定相应的算法镜像以及候选训练服务器集群;
步骤53,根据算法镜像建立对应的字符识别模型;
步骤54,调度候选训练服务器集群,基于字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。
上述字符识别模型方法中,字符识别模型生成系统通过获取携带有标注信息的字符数据获得了待训练的字符数据;根据字符数据确定相应的算法镜像以及候选训练服务器集群;根据算法镜像建立对应的字符识别模型能够快捷地满足多种不同字符类型识别模型的生成;调度候选训练服务器集群,基于字符数据对字符识别模型进行训练,得到训练完成的字符识别模型,在无需人工参与下实现多数量、多类型字符识别模型的训练,提高了字符识别模型生成的效率。
应该理解的是,虽然图5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了一种字符识别模型生成装置,包括:数据获取模块61、集群确定模块62、模型建立模块63和模型训练模块64,其中:
数据获取模块61,用于获取携带有标注信息的字符数据;
集群确定模块62,用于根据字符数据确定相应的算法镜像以及候选训练服务器集群;
模型建立模块63,用于在根据算法镜像建立对应的字符识别模型;
模型训练模块64,用于调度候选训练服务器集群,基于字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。
关于字符识别模型生成装置的具体限定可以参见上文中对于字符识别模型生成方法的限定,在此不再赘述。上述字符识别模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储字符识别模型生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种字符识别模型生成方法。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取携带有标注信息的字符数据;
根据字符数据确定相应的算法镜像以及候选训练服务器集群;
根据算法镜像建立对应的字符识别模型;
调度候选训练服务器集群,基于字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取携带有标注信息的字符数据;
根据字符数据确定相应的算法镜像以及候选训练服务器集群;
根据算法镜像建立对应的字符识别模型;
调度候选训练服务器集群,基于字符数据对字符识别模型进行训练,得到训练完成的字符识别模型。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,上述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种字符识别模型生成系统,其特征在于,所述系统包括:字符数据管理模块以及字符模型训练模块;所述字符数据管理模块与所述字符模型训练模块之间通信连接;
所述字符数据管理模块用于响应于终端发送的字符数据上传请求,接收所述终端上传的第一字符数据;获取与所述第一字符数据对应的标注信息;根据所述第一字符数据以及对应的标注信息,得到携带有所述标注信息的第二字符数据;将所述第二字符数据发送至所述字符模型训练模块;
所述字符模型训练模块用于根据所述字符数据管理模块发送的所述第二字符数据,确定相应的算法镜像以及候选训练服务器集群;根据所述算法镜像建立对应的字符识别模型;调度所述候选训练服务器集群,基于所述第二字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
2.根据权利要求1所述的系统,其特征在于,所述字符识别模型生成系统还包括账户管理模块;所述账户管理模块包括账户模块、识别模块以及权限模块;
所述账户模块用于响应于所述终端发送的账户创建请求;根据所述账户创建请求生成对应的账户信息;所述账户信息携带有账户标识;
所述识别模块用于识别出与所述账户标识对应的账户信息;
所述权限模块用于调整与所述账户信息对应的权限参数。
3.根据权利要求2所述的系统,其特征在于,所述字符数据管理模块中还包括字符数据获取模块;
所述字符数据获取模块用于从所述字符数据上传请求中获取所述账户信息,并确定与所述账户信息对应的权限参数;若所述权限参数小于预设权限阈值,则拒绝所述终端发送的字符数据上传请求;若所述权限参数大于或等于所述预设权限阈值,则接收所述终端上传的所述第一字符数据以及对应的标注信息。
4.根据权利要求1所述的系统,其特征在于,所述字符模型训练模块中还包括集群调度模块;
所述集群调度模块用于获取多个训练服务器集群的运行状态;根据所述训练服务器集群的运行状态确定所述训练服务器集群的负载状态参数;将所述负载状态参数小于预设负载阈值的训练服务器集群,作为所述候选训练服务器集群。
5.根据权利要求1所述的系统,其特征在于,所述字符模型训练模块还用于对训练后的字符识别模型进行字符识别测试,得到字符识别率;当所述字符识别率达到预设识别率阈值时,则将所述字符识别模型作为所述训练完成的字符识别模型。
6.根据权利要求1至5任一项所述的系统,其特征在于,所述字符模型训练模块还用于将所述训练完成的字符识别模型发送至相应的终端;所述终端用于调用所述训练完成的字符识别模型,对图像文件中包含的字符进行识别,得到字符识别结果。
7.一种字符识别模型生成方法,其特征在于,所述方法包括:
获取携带有标注信息的字符数据;
根据所述字符数据确定相应的算法镜像以及候选训练服务器集群;
根据所述算法镜像建立对应的字符识别模型;
调度所述候选训练服务器集群,基于所述字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
8.一种字符识别模型生成装置,其特征在于,所述装置包括:
数据获取模块,用于获取携带有标注信息的字符数据;
集群确定模块,用于根据所述字符数据确定相应的算法镜像以及候选训练服务器集群;
模型建立模块,用于在根据所述算法镜像建立对应的字符识别模型;
模型训练模块,用于调度所述候选训练服务器集群,基于所述字符数据对所述字符识别模型进行训练,得到训练完成的字符识别模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求7中所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求7所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010893021.6A CN112085019A (zh) | 2020-08-31 | 2020-08-31 | 字符识别模型生成系统、方法、装置和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010893021.6A CN112085019A (zh) | 2020-08-31 | 2020-08-31 | 字符识别模型生成系统、方法、装置和计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112085019A true CN112085019A (zh) | 2020-12-15 |
Family
ID=73728910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010893021.6A Pending CN112085019A (zh) | 2020-08-31 | 2020-08-31 | 字符识别模型生成系统、方法、装置和计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112085019A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362151A (zh) * | 2021-06-30 | 2021-09-07 | 平安银行股份有限公司 | 金融业务的数据处理方法、装置、电子设备及存储介质 |
CN114758339A (zh) * | 2022-06-15 | 2022-07-15 | 深圳思谋信息科技有限公司 | 字符识别模型的获取方法、装置、计算机设备和存储介质 |
CN114782960A (zh) * | 2022-06-22 | 2022-07-22 | 深圳思谋信息科技有限公司 | 模型训练方法、装置、计算机设备及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110255789A1 (en) * | 2010-01-15 | 2011-10-20 | Copanion, Inc. | Systems and methods for automatically extracting data from electronic documents containing multiple layout features |
WO2017064272A2 (en) * | 2015-10-15 | 2017-04-20 | I.R.I.S. | Method for identifying a character in a digital image |
CN107733977A (zh) * | 2017-08-31 | 2018-02-23 | 北京百度网讯科技有限公司 | 一种基于Docker的集群管理方法及装置 |
CN110554047A (zh) * | 2019-09-06 | 2019-12-10 | 腾讯科技(深圳)有限公司 | 产品缺陷检测数据处理方法、装置、系统和设备 |
CN111190718A (zh) * | 2020-01-07 | 2020-05-22 | 第四范式(北京)技术有限公司 | 实现任务调度的方法、装置及系统 |
CN111242317A (zh) * | 2020-01-09 | 2020-06-05 | 深圳供电局有限公司 | 管理应用的方法、装置、计算机设备和存储介质 |
CN111401367A (zh) * | 2020-03-20 | 2020-07-10 | 深圳前海微众银行股份有限公司 | 基于联邦ocr模型的字符检测方法、装置、设备和介质 |
-
2020
- 2020-08-31 CN CN202010893021.6A patent/CN112085019A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110255789A1 (en) * | 2010-01-15 | 2011-10-20 | Copanion, Inc. | Systems and methods for automatically extracting data from electronic documents containing multiple layout features |
WO2017064272A2 (en) * | 2015-10-15 | 2017-04-20 | I.R.I.S. | Method for identifying a character in a digital image |
CN107733977A (zh) * | 2017-08-31 | 2018-02-23 | 北京百度网讯科技有限公司 | 一种基于Docker的集群管理方法及装置 |
CN110554047A (zh) * | 2019-09-06 | 2019-12-10 | 腾讯科技(深圳)有限公司 | 产品缺陷检测数据处理方法、装置、系统和设备 |
CN111190718A (zh) * | 2020-01-07 | 2020-05-22 | 第四范式(北京)技术有限公司 | 实现任务调度的方法、装置及系统 |
CN111242317A (zh) * | 2020-01-09 | 2020-06-05 | 深圳供电局有限公司 | 管理应用的方法、装置、计算机设备和存储介质 |
CN111401367A (zh) * | 2020-03-20 | 2020-07-10 | 深圳前海微众银行股份有限公司 | 基于联邦ocr模型的字符检测方法、装置、设备和介质 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362151A (zh) * | 2021-06-30 | 2021-09-07 | 平安银行股份有限公司 | 金融业务的数据处理方法、装置、电子设备及存储介质 |
CN113362151B (zh) * | 2021-06-30 | 2023-07-11 | 平安银行股份有限公司 | 金融业务的数据处理方法、装置、电子设备及存储介质 |
CN114758339A (zh) * | 2022-06-15 | 2022-07-15 | 深圳思谋信息科技有限公司 | 字符识别模型的获取方法、装置、计算机设备和存储介质 |
CN114758339B (zh) * | 2022-06-15 | 2022-09-20 | 深圳思谋信息科技有限公司 | 字符识别模型的获取方法、装置、计算机设备和存储介质 |
CN114782960A (zh) * | 2022-06-22 | 2022-07-22 | 深圳思谋信息科技有限公司 | 模型训练方法、装置、计算机设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112102263A (zh) | 缺陷检测模型生成系统、方法、装置和计算机设备 | |
CN109684047A (zh) | 事件处理方法、装置、设备和计算机存储介质 | |
CN112085019A (zh) | 字符识别模型生成系统、方法、装置和计算机设备 | |
CN112085078A (zh) | 图像分类模型生成系统、方法、装置和计算机设备 | |
CN114663198A (zh) | 基于用户画像的产品推荐方法、装置、设备及存储介质 | |
CN112529100B (zh) | 多分类模型的训练方法、装置、电子设备及存储介质 | |
CN114722281B (zh) | 基于用户画像及用户选课行为的培训课程配置方法、装置 | |
CN111651731A (zh) | 将实体产品转化为数字资产并存储在区块链上的方法 | |
CN113641835A (zh) | 多媒体资源推荐方法、装置、电子设备及介质 | |
CN112860416A (zh) | 标注任务分派策略方法、装置 | |
CN116665022A (zh) | 图像识别方法、图像识别装置、电子装置与图像识别平台 | |
CN110909768B (zh) | 一种标注数据获取方法及装置 | |
CN117473130A (zh) | 业务处理方法、装置、设备、介质和程序产品 | |
CN115061916B (zh) | 自动化生成接口测试用例的方法及其相关设备 | |
CN115309649A (zh) | 测试用例生成方法、装置、计算机设备及存储介质 | |
CN115941712A (zh) | 报送数据的处理方法、装置、计算机设备及存储介质 | |
CN112085027A (zh) | 图像分割模型生成系统、方法、装置和计算机设备 | |
CN114676272A (zh) | 多媒体资源的信息处理方法、装置、设备及存储介质 | |
CN113643048A (zh) | 基于可信任终端的查勘任务处理方法、装置、设备和介质 | |
CN115511277A (zh) | 活动任务发布方法、装置、计算机设备及存储介质 | |
CN115775166A (zh) | 渠道分流方法、系统、电子设备及存储介质 | |
CN115202966A (zh) | 图片处理方法、装置、计算机设备及存储介质 | |
CN113643082A (zh) | 基于人工智能的发票处理方法、装置、计算机设备和介质 | |
CN115454429A (zh) | 页面生成、页面流程配置方法、装置、设备及存储介质 | |
CN115185666A (zh) | 任务调度方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201215 |