CN110751619A - 一种绝缘子缺陷检测方法 - Google Patents

一种绝缘子缺陷检测方法 Download PDF

Info

Publication number
CN110751619A
CN110751619A CN201910803366.5A CN201910803366A CN110751619A CN 110751619 A CN110751619 A CN 110751619A CN 201910803366 A CN201910803366 A CN 201910803366A CN 110751619 A CN110751619 A CN 110751619A
Authority
CN
China
Prior art keywords
insulator
region
image
adopting
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910803366.5A
Other languages
English (en)
Inventor
李伟性
郑武略
王朝硕
王宁
赵航航
吴泽辉
方苏
陈乃添
李兴
张富春
郑晓
范敏
陈浩
张礼昌
梁伟昕
陈远军
丁红涛
张蔓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Bureau of Extra High Voltage Power Transmission Co
Original Assignee
Guangzhou Bureau of Extra High Voltage Power Transmission Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Bureau of Extra High Voltage Power Transmission Co filed Critical Guangzhou Bureau of Extra High Voltage Power Transmission Co
Priority to CN201910803366.5A priority Critical patent/CN110751619A/zh
Publication of CN110751619A publication Critical patent/CN110751619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种绝缘子缺陷检测方法，包括：采集绝缘子整体区域图像样本；构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域；标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来；计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。本方法通过采用深度学习来实现大面积绝缘子区域的提取以及绝缘子前景区域的分割，同时利用计算机视觉中的扫描线算法来实现小面积的绝缘子缺陷的提取，从而解决了现有绝缘子检测困难的问题，提升了检测的准确性。

Description

一种绝缘子缺陷检测方法
技术领域
本发明涉及检测技术领域，具体涉及一种绝缘子缺陷检测方法。
背景技术
利用无人机巡检拍摄图像来进行绝缘子的检测与自爆识别研究是目前在电力系统大力推广的方法，具有巡检速度快和安全性高的优点，也能够极大的提高巡检的效率。因此在电力线自动化巡线领域具有广阔的应用和市场需求。
在计算机视觉领域，绝缘子的检测与自爆识别属于目标检测和分类的研究范畴。传统的目标检测和分类一般采用图像处理的方法，根据目标的颜色和形状等信息来从图像中提取出候选区域进行检测与识别。比如AdaBoost检测算法利用Harr特征将弱分类器进行联合来得到强分类器实现人脸快速检测，HoG结合SVM实现了人体目标的检测。在传统的检测和识别中往往采用浅层学习模型来进行识别，比如线性分类器、Boosting、SVM等，因此特征的提取就成为提高识别率的关键。传统的方法以经验为基础来设计特征，比如广泛使用的Harr、HoG、LBP、SIFT特征等，其优势是速度快。但由于人的经验存在主观和局部性，其检测和识别精度一般不高，而且同视角和场景下的目标检测与分类效果差异较大。随着深度神经网络的发展特别是深度卷积网络在图像识别中的成功应用，采用深度学习的方法来进行目标的自动检测和识别成为研究的重点和热点，如Faster R-CNN，SSD，YOLO/YOLO9000等目标检测方案，结合目前最新的分类深度神经网络(如VGG，Resnet，GoogLeNet等)，在精度方面都比传统方法有了明显的提升。同时借助GPU强大的并行计算能力，SSD和YOLO都能达到实时检测的效果。
目前国内采用无人机巡检进行绝缘子检测和自爆识别大部分采用的是传统的计算机视觉方法，利用深度学习的方法来进行绝缘子检测和识别的研究整体较少。图像中的绝缘子自爆区域一般较小而且样本很难找到，目前的深度学习目标检测算法对小目标检测的效果普遍不好。传统的图像处理方法不需要大量的样本，但是误检率较高。
由于绝缘子缺陷在图像区域中的面积较小，而且与非缺陷区域相似性较高，并且实际中采集到的绝缘子缺陷的样本也较少，因此绝缘子缺陷的检测是一个很困难的问题。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种绝缘子缺陷检测方法，以提高检测的准确性。
为实现上述目的，本发明的技术方案是：
一种绝缘子缺陷检测方法，包括：
采集绝缘子整体区域图像样本；
构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域；
标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来；
计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。
进一步地，所述构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域包括：采用小卷积核3*3来实现特征的提取，采用池化层来增强特征的平移、旋转鲁棒性，并采用基于预定义候选框的方式来检测不同尺度和形状的目标，以提取绝缘子整体区域。
进一步地，所述采用扫描线算法提取缺陷区域包括：
从左往右对图像的每一行进行扫描，当图像从背景色变化为前景色时，将发生变化的位置记录为第一色点，从前景色变化为背景色时，记录第二色点；从左到右，相邻的第一色点到第二色点的距离为前景目标的宽度，相邻的第二色点到第一色点的距离则为背景的宽度，根据统计的宽度就可以把存在缺陷的背景区域提取出来。
进一步地，所述深度卷积网络采用端到端的训练方式，利用候选框的方式将特征与标签数据进行关联。
本发明与现有技术相比，其有益效果在于：
本方法通过采用深度学习来实现大面积绝缘子区域的提取以及绝缘子前景区域的分割，同时利用计算机视觉中的扫描线算法来实现小面积的绝缘子缺陷的提取，从而解决了现有绝缘子检测困难的问题，提升了检测的准确性。
附图说明
图1为本发明实施例提供的绝缘子缺陷检测方法的流程图；
图2为目标检测的深度卷积网络的流程图；
图3为3*3的小卷积核进行卷积运算的效果图；
图4为预定义框的示意图；
图5为全卷积网络进行目标分割示意图；
图6为扫描线提取缺陷区域示意图。
具体实施方式
下面结合附图和具体实施方式对本发明的内容做进一步详细说明。
实施例：
参阅图1所示，本实施例提供的绝缘子缺陷检测方法，包括：
101、采集绝缘子整体区域图像样本。
102、构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域。
深度卷积网络(DCNN)利用图像卷积来实现特征的提取，然后将特征映射到分类空间实现目标的识别。针对检测，除了要识别目标之外还需要提取出目标的具体位置，因此需要将特征信息与目标框的位置进行关联。本方法中采用端到端(end-to-end)的训练方式，利用候选框的方式将特征与标签数据进行关联。
如图2显示，卷积神经网络的最后一层通过1x1的卷积核来得到一个用于训练和检测的特征图。特征图中的每个像素点可以认为是一个候选目标的基准点，通过事先设定的预测框可以和训练集中的目标进行重叠分析。特征图可以细分为三个部分：第一个部分用于预测当前目预测框是否为一个候选框并给出具体的预测值，判断的标准是将预测框与训练的标注框进行重叠分析，如果重叠率大于设定的阈值，那个就用重叠率来作为预测值。第二部分用来对候选框的位置进行回归分析得到精确的目标位置。第三部分则用来对检测后的目标进行识别，判断其类别。上述网络中的参数可以通过监督学习的方式，利用大规模数据来进行学习。在进行目标检测时，将输入的图像依次经过训练好的网络层来进行卷积处理最后得到目标检测与识别的特征图，利用事先设定好的映射关系就可以计算出目标的位置和类别。
在此步骤中，本方法采用小卷积核(3*3)来实现特征的提取来实现特征的提取，采用池化层来增强特征的平移、旋转鲁棒性，并借鉴目前主流的基于预定义候选框的方式来检测不同尺度和形状的目标。由于绝缘子整体区域在图像中所占的比例较大，因此利用深度卷积的方式可以很准确的提取绝缘子整体区域。
具体地，如图3所示，3*3的卷积核以当前像素点为中心，用最邻近的9个元素与卷积核元素进行相乘和累加的操作。不同的卷积核可以从图像中提取不同的信息，比如常用的低通滤波可以提取背景信息，高通滤波则可以提取边缘信息。经过不同层的3*3卷积核可以将图像中的具有语义特征的信息提取出来，用于后续的目标检测核分类
预定义框的定义见图4中的虚线框。图像中的每个像素都可以看作一个候选的目标框，为了能够从原始图像中提取最终的目标，可以采用设置不同大小，不同形状的预定义框来接近真实的目标。在训练时，每个预定义框都对应了回归参数，这些参数的作用是让预定义框通过数学模型的变换与真实的目标尽可能的相同。由于池化操作会导致图像分辨率下降，采用预定义框可以在一定程度上解决低分辨率的目标定位不准确的问题。
103、标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来。
也就说，在此步骤中，本方法并没有采用传统的大津法或者图分割的方法来对绝缘子和背景区域进行分割，而是采用全卷积神经网络来进行分割，原因在于大津法和图分割的算法都不能达到精确分割绝缘子前景区域的目标。而采用全卷积网络，利用大样本训练的方式可以非常精确的将绝缘子的前景区域提取出来.
如图5所示，全卷积网络配合图像采样可以将原始图像映射到相同大小的一个特征空间，从而实现像素级别的语义分割。全卷积网络所有的操作都是卷积运算，不再使用传统的全链接网络，一方面可以减少运算，同时也提高了网络的性能。在训练时，利用已有的标签数据可以将图像中不同的像素分配不同的标签值，然后利用最优化的原理使最后的特征层的数组和标签值之间的差异最小，就可以实现目标的分割。相比传统的分割算法，采用全卷积网络进行分割的效果不需要设置阈值，能够自适应的对图像进行分割，且分割精度也较高。
104、计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。
由于在上述步骤103中，已经实现了绝缘子整体区域的定位，所以分割的难度会降低，采用全卷积网络的精度也更高，在此步骤中，由于绝缘子缺陷目标较小，因此本步骤中采用扫描线算法，提取分割后的图像中距离较长的位置，这些位置正好就是绝缘子缺陷引起的脱离区域。为了提高扫描的稳定性，本步骤采用主分量变换来实现绝缘子区域的水平放置。
具体地，如图5所示，箭头代表从左往右对图像的每一行进行扫描，当图像从背景色(一般为黑色)变化为前景色(一般为白色)时，将发生变化的位置记录为绿色点，从前景色变化为背景色时，记录为黄色。那么可以看出，相邻的绿色点到黄色点的距离为前景目标的宽度，相邻的黄色点到绿色点的距离则为背景的宽度。由于缺陷区域对应的背景区域较大，根据统计的宽度就可以把存在缺陷的背景区域提取出来。
由此可见，本方法通过采用深度学习来实现大面积绝缘子区域的提取以及绝缘子前景区域的分割，同时利用计算机视觉中的扫描线算法来实现小面积的绝缘子缺陷的提取，从而解决了现有绝缘子检测困难的问题，提升了检测的准确性。
上述实施例只是为了说明本发明的技术构思及特点，其目的是在于让本领域内的普通技术人员能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡是根据本发明内容的实质所做出的等效的变化或修饰，都应涵盖在本发明的保护范围内。

Claims (4)

1.一种绝缘子缺陷检测方法，其特征在于，包括：
采集绝缘子整体区域图像样本；
构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域；
标注绝缘子区域，并构建语义分割的深度全卷积网络，以将绝缘子前景区域分割出来；
计算分割后的前景区域的主分量，旋转图像使绝缘子区域保持水平，然后采用扫描线算法提取缺陷区域。
2.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述构建目标检测的深度卷积网络，以利用深度卷积网络来检测整体绝缘子区域包括：采用小卷积核3*3来实现特征的提取，采用池化层来增强特征的平移、旋转鲁棒性，并采用基于预定义候选框的方式来检测不同尺度和形状的目标，以提取绝缘子整体区域。
3.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述采用扫描线算法提取缺陷区域包括：
从左往右对图像的每一行进行扫描，当图像从背景色变化为前景色时，将发生变化的位置记录为第一色点，从前景色变化为背景色时，记录第二色点；从左到右，相邻的第一色点到第二色点的距离为前景目标的宽度，相邻的第二色点到第一色点的距离则为背景的宽度，根据统计的宽度就可以把存在缺陷的背景区域提取出来。
4.如权利要求1所述的绝缘子缺陷检测方法，其特征在于，所述深度卷积网络采用端到端的训练方式，利用候选框的方式将特征与标签数据进行关联。
CN201910803366.5A 2019-08-28 2019-08-28 一种绝缘子缺陷检测方法 Pending CN110751619A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910803366.5A CN110751619A (zh) 2019-08-28 2019-08-28 一种绝缘子缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910803366.5A CN110751619A (zh) 2019-08-28 2019-08-28 一种绝缘子缺陷检测方法

Publications (1)

Publication Number Publication Date
CN110751619A true CN110751619A (zh) 2020-02-04

Family

ID=69275894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910803366.5A Pending CN110751619A (zh) 2019-08-28 2019-08-28 一种绝缘子缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110751619A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862078A (zh) * 2020-07-31 2020-10-30 嘉应学院 一种基于深度学习的电力巡检智能缺陷检测方法
CN112184666A (zh) * 2020-09-28 2021-01-05 国网江西省电力有限公司电力科学研究院 一种目标设备的检测方法、装置及系统
CN113160176A (zh) * 2021-04-23 2021-07-23 歌尔股份有限公司 缺陷检测方法和装置
CN113155851A (zh) * 2021-04-30 2021-07-23 西安交通大学 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置
CN113298789A (zh) * 2021-05-28 2021-08-24 国网陕西省电力公司电力科学研究院 绝缘子缺陷检测方法、系统、电子设备及可读存储介质
CN113589246A (zh) * 2021-05-24 2021-11-02 中国南方电网有限责任公司超高压输电公司广州局 基于雷达的目标检测方法、装置和计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693536A (zh) * 2012-01-13 2012-09-26 河南科技大学 一种缺陷区域提取方法
CN103134809A (zh) * 2013-03-14 2013-06-05 苏州华源包装股份有限公司 焊缝缺陷检测方法
CN109118479A (zh) * 2018-07-26 2019-01-01 中睿能源（北京）有限公司 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109658381A (zh) * 2018-11-16 2019-04-19 华南理工大学 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
CN109936080A (zh) * 2019-03-28 2019-06-25 郑州大学 一种无人机巡检输电线路的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693536A (zh) * 2012-01-13 2012-09-26 河南科技大学 一种缺陷区域提取方法
CN103134809A (zh) * 2013-03-14 2013-06-05 苏州华源包装股份有限公司 焊缝缺陷检测方法
CN109118479A (zh) * 2018-07-26 2019-01-01 中睿能源（北京）有限公司 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN109658381A (zh) * 2018-11-16 2019-04-19 华南理工大学 一种基于超像素的柔性ic封装基板的铜面缺陷检测方法
CN109936080A (zh) * 2019-03-28 2019-06-25 郑州大学 一种无人机巡检输电线路的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MOHSEN FAYYAZ 等: "STFCN: Spatio-Temporal FCN for Semantic Video Segmentation", 《COMPUTER SCIENCE-COMPUTER VISION AND PATTERN RECOGNITION》 *
侯春萍 等: "输电线路绝缘子自爆缺陷识别方法", 《电力系统及其自动化学报》 *
刘希: "基于深度卷积神经网络的图像语义分割", 《信息技术》 *
赵振兵 等: "一种改进FCN的输电线路航拍图像语义分割方法", 《中国科技论文》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111862078A (zh) * 2020-07-31 2020-10-30 嘉应学院 一种基于深度学习的电力巡检智能缺陷检测方法
CN112184666A (zh) * 2020-09-28 2021-01-05 国网江西省电力有限公司电力科学研究院 一种目标设备的检测方法、装置及系统
CN113160176A (zh) * 2021-04-23 2021-07-23 歌尔股份有限公司 缺陷检测方法和装置
CN113160176B (zh) * 2021-04-23 2022-10-18 歌尔股份有限公司 缺陷检测方法和装置
CN113155851A (zh) * 2021-04-30 2021-07-23 西安交通大学 基于深度学习的覆铜板表面缺陷视觉在线检测方法及装置
CN113589246A (zh) * 2021-05-24 2021-11-02 中国南方电网有限责任公司超高压输电公司广州局 基于雷达的目标检测方法、装置和计算机设备
CN113589246B (zh) * 2021-05-24 2023-09-01 中国南方电网有限责任公司超高压输电公司广州局海口分局 基于雷达的目标检测方法、装置和计算机设备
CN113298789A (zh) * 2021-05-28 2021-08-24 国网陕西省电力公司电力科学研究院 绝缘子缺陷检测方法、系统、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN110751619A (zh) 一种绝缘子缺陷检测方法
CN108121991B (zh) 一种基于边缘候选区域提取的深度学习舰船目标检测方法
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
CN110580699A (zh) 基于改进Faster RCNN算法的病理图像细胞核检测方法
CN110866430B (zh) 一种车牌识别方法及装置
CN111260629A (zh) 基于图像处理的受电弓结构异常检测算法
CN111274926B (zh) 图像数据筛选方法、装置、计算机设备和存储介质
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
CN110766017B (zh) 基于深度学习的移动终端文字识别方法及系统
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN112818952B (zh) 煤岩分界线的识别方法、装置及电子设备
CN106557740B (zh) 一种遥感图像中油库目标的识别方法
CN110008900B (zh) 一种由区域到目标的可见光遥感图像候选目标提取方法
CN110598030A (zh) 一种基于局部cnn框架的甲骨拓片分类方法
CN113240623A (zh) 一种路面病害检测方法及装置
CN104050684A (zh) 一种基于在线训练的视频运动目标分类方法与系统
CN117437406A (zh) 一种多目标检测的方法及装置
CN108073940B (zh) 一种非结构化环境中的3d目标实例物体检测的方法
CN111368742A (zh) 基于视频分析的双黄交通标线的重建识别方法及系统
CN113989604A (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN113537211A (zh) 一种基于非对称iou的深度学习车牌框定位方法
CN113688829B (zh) 一种变电站监控画面自动识别方法及系统
Gui et al. A fast caption detection method for low quality video images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200204