CN110321933B - 一种基于深度学习的故障识别方法和装置 - Google Patents

Abstract

本发明涉及图像识别领域，具体涉及一种基于深度学习的故障识别方法和装置，具体包括以下步骤：获取待识别区域的初始图像，所述初始图像具体为彩色图，熵图，亮度图和饱和度图；将所述待识别区域的初始图像输入第一神经网络中获取图像特征；将所述图像特征输入区域提取网络中获取感兴趣区域的特征图；将所述感兴趣区域数据的特征图输入第二神经网络获取故障区域掩膜；根据所述故障区域掩膜形状特征对故障类型进行识别。本发明使用深度学习方式对可能出现故障区域的图像进行自动故障识别及故障类型判断，提供了一种高效率、高准确度的故障自动识别方法，为故障处理提供了依据，预防因故障导致的设备损坏或危险。

Description

一种基于深度学习的故障识别方法和装置

【技术领域】

本发明涉及图像识别领域，特别是涉及一种基于深度学习的故障识别方法和装置。

【背景技术】

为了保证设备运行安全，故障检测系统广泛应用于各行业。但传统的故障检测一般是基于电信号反馈，应用范围较窄。

对于某些无法使用电信号检测的故障，目前通常的检测方法为先使用图像采集装置获得待识别区域的图像发送至图像服务器，再由检查员人工对图像进行观察分析，找到出现故障的区域和类型。但是，人工方式进行故障识别耗时较长，且容易发生漏检或错检。这种情况下，设备运行中可能因故障识别不及时而导致故障无法被及时准确发现，出现设备损坏或安全问题。

鉴于此，如何克服该现有技术所存在的缺陷，使用自动化方式实现故障检测和识别，避免人工识别造成的故障检测不及时不准确的问题，是本技术领域亟待解决的问题。

【发明内容】

针对现有技术的以上缺陷或改进需求，本发明解决了人工故障识别效率和准确度较低问题。

本发明实施例采用如下技术方案:

第一方面，本发明提供了一种基于深度学习的故障识别方法，包括以下步骤：获取待识别区域的初始图像，所述初始图像具体为彩色图，熵图，亮度图和饱和度图；将所述待识别区域的初始图像输入第一神经网络中获取图像特征；将所述图像特征输入区域提取网络中获取感兴趣区域的特征图；将所述感兴趣区域数据的特征图输入第二神经网络获取故障区域掩膜；根据所述故障区域掩膜形状特征对故障类型进行识别。

优选的，所述将所述待识别区域的初始图像输入第一神经网络中获取图像特征，具体为：所述第一神经网络为Resnet-101模型；将所述待识别区域彩色图，熵图，亮度图和饱和度图共同输入Resnet-101的第四个卷积模块中进行特征提取；将提取到的所述特征进行串联组合。

优选的，所述将所述图像特征输入区域提取网络中获取感兴趣区域的特征图，具体为：所述区域提取网络为faster R-CNN模型的特征提取网络；将所述图像特征输入faster R-CNN模型的特征提取网络中获取感兴趣区域；将获取到的所述感兴趣区域映射到特征图中。

优选的，所述将获取到的所述感兴趣区域映射到特征图中，还包括：当感兴趣区域的高度像素数和宽度像素数为非整数时，使用目标检测特殊层将所述感兴趣区域映射到所述特征图中。

优选的，还包括：所述第一神经网络和第二神经网络使用前需经过训练；获取故障图像形成预训练数据集，并使用所述数据集对全卷积神经网络进行预训练；所述第一神经网络和第二神经网络使用与所述faster R-CNN模型相同的预训练参数。

优选的，所述将所述感兴趣区域数据的特征图输入第二神经网络获取故障区域掩膜，具体为：所述第二神经网络为Resnet-101第五个卷积层和至少一个全卷积网络的串联模型。

优选的，所述将所述感兴趣区域数据的特征图输入第二神经网络获取故障区域掩膜，具体为：对所述特征图进行7X7卷积操作获得第二特征图，所述第二特征图的channel为1024维；对所述第二特征图使用Resnet-101的第五个卷积层进行卷积操作获得第三特征图；对卷积操作后的所述第三特征图进行7X7卷积操作获得第四特征图，所述第四特征图channel为2048维；使用4096维全卷积网络对所述第四特征图进行卷积操作；使用256维的全卷积网络输出故障掩模。

优选的，所述根据所述故障区域掩膜形状特征对故障类型进行识别，具体为：根据故障区域掩膜图像连通性计算故障区域数量；根据故障区域掩膜图像面积大小及预设故障区域面积阈值判断每个故障区域是否为大面积故障。

另一方面，本发明提供了一种基于深度学习的故障识别装置：包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-8任一所述的基于深度学习的故障识别方法。

优选的：还包含图像实时获取装置，用于获取待识别区域初始图像；所述图像实时获取装置的数据输出端口与所述处理器连接，以便于处理器获取所述待识别初始图像进行处理。

与现有技术相比，本发明实施例的有益效果在于：使用深度学习的方式对待识别故障区域图片进行分析检测，判断是否存在故障，并判断故障类型。通过使用深度学习方法对故障区域自动识别，可以提高故障识别的效率和准确性，避免故障漏检或错误识别。

本发明提供了一种基于深度学习的故障识别方法和装置，其目的在于使用深度学习的方法替代传统的人工识别，以提高设备故障识别的效率和准确性。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种基于深度学习的故障识别方法的流程图；

图2是本发明实施例提供的一种基于深度学习的故障识别方法的神经网络结构示意图；

图3是本发明实施例提供的一种基于深度学习的故障识别方法的神经网络结构示意图；

图4是本发明实施例提供的一种一种基于深度学习的故障识别方法的故障区域掩膜提取原理示意图；

图5是本发明实施例提供的一种基于深度学习的故障识别方法的神经网络结构示意图；

图6是本发明实施例提供的一种一种基于深度学习的故障识别方法的装置结构示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明是一种特定功能系统的体系结构，因此在具体实施例中主要说明各结构模组的功能逻辑关系，并不对具体软件和硬件实施方式做限定。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。下面就参考附图和实施例结合来详细说明本发明。

实施例1：

使用现场图像进行设备故障识别检测时，采用人工识别检测方式效率较低，且会因人为因素造成错检漏检。

随着深度学习技术的发展，使用深度学习技术进行图像识别的技术已具备了在更多环境中使用的基础。因此，可以利用深度学习技术对设备现场图像进行自动识别，以替代现有的人工识别方式。

本发明提供了一种基于深度学习的故障识别方法，包含以下步骤，如图1：

步骤101：获取待识别区域的初始图像，初始图像具体为彩色图，熵图，亮度图和饱和度图。

人工识别和常见的图像识别软件，通常待识别图像仅为一幅彩色图或灰度图，图像信息较少。这种情况下，对于阴影、遮挡、边缘重叠等干扰情况，会造成识别不准。

本实施例的某些具体使用场景中，通过图像预处理，由图像采集设备收集到的待识别场景原始彩色图片生成同一场景的熵图、亮度图、饱和度图，提取出更多的图像特征，以便于提高识别准确度。

在本实施例的某些具体使用场景中，原始彩色图片由实时图像采集设备获得，实时图像采集设备定时获取可能出现故障的区域照片或传感图片，作为初始图像的彩色图进行分析。

步骤201：将待识别区域的初始图像输入第一神经网络中获取图像特征。

本实施例中，同时使用四种图像类型作为初始图像进行故障识别，每种图像类型都强化了图像不同方面的特征，并过滤掉部分图像信息防止干扰，以便于更准确的对图像中的每一个像素点不同方面的特征进行分析及识别。另一方面，多幅初始图像中的不同特征又需要整合在一起共同进行分析，才能准确获得图片中每个像素点的综合特征。因此，在对初始图像进行故障识别时，需先提取同一场景所有图像的综合特征。

图像特征提取的过程可使用第一神经网络实现。第一神经网络可进行宇训练，根据不同的训练集提取不同的图像特征。

步骤301：将图像特征输入区域提取网络中获取感兴趣区域的特征图。

由经过特征提取的初始图像可粗略获得待识别区域的范围，这一范围即感兴趣区域，感兴趣区域一般为矩形。获取感兴趣区域可对故障位置进行初步定位，减小进一步分析和计算所要处理的像素数量，提高计算效率和准确度。

步骤401：将感兴趣区域数据的特征图输入第二神经网络获取故障区域掩膜。

获取感兴趣区域之后，使用第二神经网络预测感兴趣区域内每个像素点的标签，判断该像素点是否为故障区域，是故障区域的像素点集合即为故障区域掩膜。

在本实施例的某些实际使用场景中，可对故障区域掩膜进行可视化，将故障区域掩膜使用与初始图片不同的视觉元素表示，如使用不同的颜色填充或使用不同颜色标明故障区域轮廓线，以便于相关人员直观的获得故障区域信息。

步骤501：根据故障区域掩膜形状特征对故障类型进行识别。

获得故障区域掩膜后，可根据故障区域掩膜的几何形状特征对故障类型进行判断及识别，并对故障图片进行分类。特别的，当一张初始图片中故障区域像素数为0，则判断为无故障。

本实施例提供的故障识别方法，使用神经网络对可能发生故障的区域初始图片进行特征识别、故障类型识别，过程不需人工干预。并且，由于神经网络的特性，具备较高的识别准确率及识别速度。在本实施例的某些具体使用场景中，本实施例用于识别高铁漏油故障，对于一张3072*2048像素大小的初始图片处理速度小于1秒，识别准确率大于90％。

相对于人工检测，本实施例提供的故障识别方法节省了人工成本、提高了工作效率和检测精度。

并且，自动化故障识别系统可与其他自动化控制系统相结合组成自动化故障处理系统，在识别到故障出现时自动进行报警和故障处理，避免因人工识别和处理不及时导致的故障扩大或安全隐患。

实施例2：

目前，已存在很多用于图像识别的成熟的神经网络模型，不同的神经网络模型具备不同特征，适用于不同的应用领域。

本实施例中，第一神经网络选用Resnet-101模型。Resnet-101属于残差网络，残差网络相对于其它类型神经网络更容易优化，且能够避免过拟合造成的随着深度加深准确率下降现象，可通过增加深度提高准确率。

本实施例所使用的Resnet-101模型的卷积模块内部结构图和参数如图2，第一层1x1卷积将参数数量降至256维，第二层3x3卷积在保持参数数量256维的基础上保证计算精度，再通过最后一层1x1卷积将参数回复1024维，以提升计算效率，并避免随着深度加深准确率下降。

使用Resnet-101模型对待识别区域图像进行特征提取的具体步骤如下：

步骤201-a：将待识别区域彩色图，熵图，亮度图和饱和度图共同输入Resnet-101的第四个卷积模块中进行特征提取。

本实施例提供的故障识别方法需要从四种初始图像中分别提取出不同特征进行分析，Resnet-101的第四个卷积模块可提取到足够用于判断的信息，因此第四个卷积模块为合适的深度。

步骤201-b：将提取到的特征进行串联组合。

由四种初始图像中分别进行特征提取后，需将特征提取后的数据进行串联组合，以便下一步的综合分析处理。

选择Resnet-101模型的第四个卷积模块作为第一神经网络即特征提取网络，可快速准的对四种初始图像进行特征提取，为下一步的故障识别获得足够的信息，以便于更准确的进行故障识别。

本实施例中，区域提取网络选用faster R-CNN模型的特征提取网络。faster R-CNN模型作为一种强大的特征提取模型，可以较准确的进行目标检测，且可以更换不同的特征提取层，根据需要使用VGG或resnet提取图像特征用于之后的目标检测。

使用faster R-CNN模型的特征提取网络从进行特征提取后的待识别区域图像中进行感兴趣区域提取的具体步骤如下：

步骤301-a：将图像特征输入faster R-CNN模型的特征提取网络中获取感兴趣区域。

步骤301-b：将获取到的感兴趣区域映射到特征图中。

如图3所示神经网络具体结构，由待识别区域的初始图像获得特征图的感兴趣区域需先使用faster R-CNN模型的特征提取网络获取初始图像的感兴趣区域，再将感兴趣区域与步骤201中所获取的初始图像特征相结合，共同获得待识别的特征图。

获取感兴趣区域和特征图可初步确定可能的故障区域，为进一步的故障图像特征识别减少冗余数据，提高识别准确度和识别效率。

进一步的，步骤301-a中获得的感兴趣区域高度w和宽度h可能为非整数，此时感兴趣区域中各个点的坐标也可能为非整数。将感兴趣区域映射到特征图时需对特征图进行分块卷积，在感兴趣区域高度w和宽度h为非整数时，进行分块卷积必然会出现小数部分。因此，需要使用目标检测特殊层，即ROIAlign，实现感兴趣区域到特征图的映射。

如图4，使用ROIAlign实现感兴趣区域高度w和宽度h为浮点数时向特征图时的步骤如下：

步骤301-b-1：遍历每一个需进行分块卷积的候选区域，保持浮点数边界不做量化。

步骤301-b-2：将分块卷积的候选区域分割成k x k个单元，每个单元的边界也不做量化。

步骤301-b-3：在每个单元中计算固定n个坐标位置，用双线性内插的方法计算出这n个位置的值，然后进行最大池化操作。

步骤301-b-3中的固定位置是指在每一个矩形单元中按照固定规则确定的位置。具体的，在本实施例的某些具体应用场景中，采样点数是n＝1，采样点为这个单元的中心点。在本实施例的另一些具体应用场景中，采样点数是n＝4，采样点为这个单元横向和纵向中心线平均分割成四个矩形区域后每区域各自的中心点。由于区域高度h和宽度w为浮点数，因此采样点的坐标通常是浮点数，所以需要使用插值的方法得到它的像素值。优选的，可使用双线性内插计算采样点的位置值。

本实施例中，第一神经网络选用Resnet-101模型，区域提取网络选用faster R-CNN模型的特征提取网络，并使用ROIAlign对特征图映射时的特殊情况进行处理。使用成熟的深度学习网络模型，并在模型的基础上进行适应性修改和优化，在保证精度的基础上提升了计算效率，使得故障识别能够更快速准确的进行。

故障识别的初步计算结果为故障区域掩膜，即以预测标签为目标的所有像素点集合。获取故障区域掩膜的过程为使用第二神经网络的一系列卷积操作预测感兴趣区域中每个像素点的标签，确认是否为预测标签的目标像素点。

本实施例中，第二神经网络为Resnet-101第五个卷积层和至少一个全卷积网络的串联模型。

具体的，如图5，使用第二神经网络计算故障区域掩膜的步骤如下：

步骤401-a：对特征图进行7X7卷积操作获得第二特征图，第二特征图的channel为1024维。

步骤401-b：对第二特征图使用Resnet-101的第五个卷积层进行卷积操作获得第三特征图。

步骤401-c：对卷积操作后的第三特征图进行7X7卷积操作获得第四特征图，第四特征图channel为2048维。

步骤401-d：使用4096维全卷积网络对第四特征图进行卷积操作。

步骤401-e：使用256维的全卷积网络输出故障掩模。

本实施例使用Resnet-101第五个卷积层和2048、4096维全卷积网络的串联模型获得故障掩膜，并使用256维全卷积网络进行输出，最终获得故障检测模型。

在本实施例的某些具体使用场景中，故障掩膜模型的输出为图片格式，故障掩膜区域使用与初始图像不同的视觉符号标识，如将故障掩膜区域的像素点设置为预设的警告颜色，或使用多边形框标示故障掩膜区域边缘。

实施例3：

深度学习神经网络在使用前需经过预训练和参数调整，使神经网络能够对特定图像的特征进行识别。

本实施例的某些具体实施场景中，需识别的故障为高铁漏油故障。在此场景中，待识别区域为可能出现漏油的区域，待识别区域的初始图像为可能出现漏油的区域实时照片。此场景下，预训练数据集为漏油故障照片，具体可为不同类型的漏油故障图片，如单点漏油、多点漏油等。

本实施例提供的故障识别方法主要通过卷积神经网络提取故障和正常图片的特征从而判断图片所示区域是否存在故障，因此，通过改变预训练数据集即可适用于不同类型的故障识别。

在本实施例的不同使用场景中，预训练数据集根据需识别的故障类型进行变换，如螺钉确实故障、零件移动故障等。由于本实施例提供的故障识别方法是通过图片视觉特征进行识别，因此仅适用于可通过视觉方法分辨的故障类型，不可识别无法用视觉方法分辨的故障，如电气故障等。

本实施例提供的故障识别方法中，用于图像特征提取及故障区域掩膜获取的Resnet-101模型神经网络使用与faster R-CNN模型相同的预训练参数，同样的预训练参数可保证特征识别的一致性，确保识别的准确率。

待识别区域的初始图像经深度学习故障识别获得故障区域掩膜后，可根据故障区域形状特征对故障类型进行分析，对具体故障类型进行进一步识别。

在本实施例的某些具体使用场景中，根据故障区域的形状可按不同分类方式对故障进行分类，以下简单列举常见的故障分类方式，也可根据实际需要对故障进行不同方式分类：

(1)根据故障点数量可分为：单点故障，多点故障。可通过故障区域图像几何连通性判断，故障区域仅有一个连通图形为单点故障，故障区域有多个非连通图像为多点故障。在高铁漏油故障中，单点故障表示仅有一个漏油点，多点故障表示有多个漏油点。

(2)根据故障点面积大小可分为：大面积故障，小面积故障。可通过计算故障区域图像面积判断，故障面积大于预设故障区域阈值的为大面积故障，故障面积小于预设故障区域阈值的为小面积故障。在高铁漏油故障中，预设故障区域阈值为2cm x 2cm，大面积故障表示漏油量较大，小面积故障表示漏油量较小。

通过故障类型分析可对故障进行进一步分类识别，将不同严重程度的故障进行不同形式的处理，如不同强度的报警等。故障分类能够更好的辅助人工故障识别，使得重大故障更容易被识别，避免因人工故障分类效率较低造成严重事故识别不及时或其它不良后果。

进一步的，本实施例提供的基于深度学习的故障识别方法还可集成至现有的设备控制及故障检测系统中，通过故障识别结果自动对设备进行故障处理，进一步提高故障响应速度，保障设备运行安全。在本实施例的某些具体使用场景中，所识别故障为高铁漏油故障，故障识别方法可通过python接口集成至现有的高铁故障检测系统TDFS故障检测系统中，使得高铁出现漏油故障时可及时作出报警及故障处理，防止因漏油故障而造成的高铁运行安全事故。

实施例4：

在上述实施例1至实施例3提供的基于深度学习的故障识别方法的基础上，本发明还提供了一种可用于实现上述方法的基于深度学习的故障识别装置，如图6所示，是本发明实施例的装置架构示意图。本实施例的基于深度学习的故障识别装置包括一个或多个处理器21以及存储器22。其中，图6中以一个处理器21为例。

所述处理器21和所述存储器22可以通过总线或者其他方式连接，图6中以通过总线连接为例。

所述存储器22作为一种基于深度学习的故障识别方法非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的基于深度学习的故障识别方法。所述处理器21通过运行存储在所述存储器22中的非易失性软件程序、指令以及模块，从而执行基于深度学习的故障识别装置的各种功能应用以及数据处理，即实现实施例1和实施例2的基于深度学习的故障识别方法。

所述存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，所述存储器22可选包括相对于所述处理器21远程设置的存储器，这些远程存储器可以通过网络连接至所述处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1至实施例3中的基于深度学习的故障识别方法，例如，执行以上描述的图1-图5所示的各个步骤。

本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。

进一步的，本实施例提供的基于深度学习的故障识别装置还包括图像实时获取装置，如图像传感器等。图像实时获取装置用于获取待识别区域初始图像的彩色图，是进行故障识别的源数据。图像实时获取装置的数据端口可直接与故障识别装置的处理器21相连，也可通过存储器22间接与处理器21相连，通过数据端口将收集到的待识别区域初始图传输至处理器21进行故障识别。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的故障识别方法，其特征在于，包括以下步骤：

获取待识别区域的初始图像，所述初始图像具体为彩色图，熵图，亮度图和饱和度图；

将所述待识别区域的初始图像全部输入第一神经网络的第四个卷积模块中，分别进行特征提取，并将提取到的所述特征进行串联组合，其中，所述第一神经网络为Resnet-101模型；

将串联组合后的图像特征输入faster R-CNN模型的特征提取网络中获取感兴趣区域，将获取到的所述感兴趣区域映射到特征图中，其中，区域提取网络为faster R-CNN模型的特征提取网络，faster R-CNN模型与Resnet-101模型使用相同的预训练参数；

将所述感兴趣区域的特征图输入第二神经网络获取故障区域掩膜，具体为，对所述特征图进行7X7卷积操作获得第二特征图，所述第二特征图的channel为1024维；对所述第二特征图使用Resnet-101 的第五个卷积层进行卷积操作获得第三特征图；对卷积操作后的所述第三特征图进行7X7卷积操作获得第四特征图，所述第四特征图channel为2048维；使用4096维全卷积网络对所述第四特征图进行卷积操作，并使用256维的全卷积网络输出故障区域掩模；

根据所述故障区域掩膜形状特征和/或故障点数量对故障类型进行识别。

2.根据权利要求1所述基于深度学习的故障识别方法，其特征在于，所述将获取到的所述感兴趣区域映射到特征图中，还包括：

当感兴趣区域的高度像素数和宽度像素数为非整数时，使用目标检测特殊层将所述感兴趣区域映射到所述特征图中。

3.根据权利要求1或2所述基于深度学习的故障识别方法，其特征在于，还包括：

所述第一神经网络和第二神经网络使用前需经过训练；

获取故障图像形成预训练数据集，并使用所述数据集对全卷积神经网络进行预训练；

所述第一神经网络和第二神经网络使用与所述faster R-CNN模型相同的预训练参数。

4.根据权利要求1所述基于深度学习的故障识别方法，其特征在于，所述将所述感兴趣区域的特征图输入第二神经网络获取故障区域掩膜，具体为：

所述第二神经网络为Resnet-101 第五个卷积层和至少一个全卷积网络的串联模型。

5.根据权利要求1所述基于深度学习的故障识别方法，其特征在于，所述根据所述故障区域掩膜形状特征对故障类型进行识别，具体为：

根据故障区域掩膜图像连通性计算故障区域数量；

根据故障区域掩膜图像面积大小及预设故障区域面积阈值判断每个故障区域是否为大面积故障。

6.一种基于深度学习的故障识别装置，其特征在于：

包括至少一个处理器和存储器，所述至少一个处理器和存储器之间通过数据总线连接，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令在被所述处理器执行后，用于完成权利要求1-5任一所述的基于深度学习的故障识别方法。

7.根据权利要求6所述基于深度学习的故障识别装置，其特征在于：

还包含图像实时获取装置，用于获取待识别区域初始图像；

所述图像实时获取装置的数据输出端口与所述处理器连接，以便于处理器获取所述待识别初始图像进行处理。

Images