CN116091503B - 一种面板异物缺陷的判别方法、装置、设备及介质 - Google Patents

一种面板异物缺陷的判别方法、装置、设备及介质 Download PDF

Info

Publication number
CN116091503B
CN116091503B CN202310374308.1A CN202310374308A CN116091503B CN 116091503 B CN116091503 B CN 116091503B CN 202310374308 A CN202310374308 A CN 202310374308A CN 116091503 B CN116091503 B CN 116091503B
Authority
CN
China
Prior art keywords
target
image
line
defect
panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310374308.1A
Other languages
English (en)
Other versions
CN116091503A (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202310374308.1A priority Critical patent/CN116091503B/zh
Publication of CN116091503A publication Critical patent/CN116091503A/zh
Application granted granted Critical
Publication of CN116091503B publication Critical patent/CN116091503B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30141Printed circuit board [PCB]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种面板异物缺陷的判别方法、装置、设备及介质,涉及面板缺陷识别技术领域,旨在解决现有技术无法对面板中的异物缺陷进行严重程度判别的技术问题。所述方法包括:获取目标面板的待识别图像;将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;将所述第一图像输入至二分类模型进行分类,获得分类结果;将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域;基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果。

Description

一种面板异物缺陷的判别方法、装置、设备及介质
技术领域
本申请涉及面板缺陷识别技术领域,尤其涉及一种面板异物缺陷的判别方法、装置、设备及介质。
背景技术
PCB板的应用领域非常之广泛,只要是电子设备,PCB板就不可缺少,然而PCB板载生产过程中也存在着各种缺陷,其中不同的缺陷有不同的接受程度,其中PCB板异物缺陷存在着一定的安全隐患,若PCB板存在较为严重的表面异物,会对PCB板带来一定的安全影响,小则烧毁PCB板,大则可能会带来火灾隐患。
因此,亟需一种能精准判别面板异物缺陷的方法。
发明内容
本申请的主要目的是提供一种面板异物缺陷的判别方法、装置、设备及介质,旨在解决现有技术无法对面板中的异物缺陷进行严重程度判别的技术问题。
为解决上述技术问题,本申请实施例提出了:一种面板异物缺陷的判别方法,包括以下步骤:
获取目标面板的待识别图像;
将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;其中,所述第一图像中包含目标缺陷和对应的标注信息;
将所述第一图像输入至二分类模型进行分类,获得分类结果;其中,所述分类结果包括OK和NG;其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG;
将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域;
基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果。
作为本申请一些可选实施方式,所述将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像,包括:
将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获得包含缺陷标注的待识别图像;
将所述包含缺陷标注的待识别图像基于目标缺陷进行裁剪处理,获得第一图像。
作为本申请一些可选实施方式,所述将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域,包括:
将所述分类结果为OK的第一图像进行灰度处理后,获得OK第二图像;
将所述OK第二图像中的最大连通域进行提取,获取目标线路区域。
作为本申请一些可选实施方式,所述将所述OK第二图像中的最大连通域进行提取,获取目标线路区域,包括:
将所述OK第二图像中的最大连通域进行提取后,进行裁剪处理,获得第一线路区域图像;
将所述第一线路区域图像中未被异物缺陷覆盖的线路区域进行提取后,获得第二线路区域图像;
获取所述第二线路区域图像中线路区域的最小外接矩形,进行裁剪处理,获得目标线路区域。
作为本申请一些可选实施方式,所述基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果,包括:
基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向;其中,所述目标线路区域的线路方向包括水平方向或垂直方向;
基于所述线路方向,获得所述目标面板的缺陷判别结果。
作为本申请一些可选实施方式,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:
对所述目标线路区域进行轮廓提取,获得闭合区域轮廓以及所述闭合区域轮廓的边界像素点;遍历所述闭合区域轮廓的边界像素点,获得所述闭合区域轮廓的线宽值;
基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向。
作为本申请一些可选实施方式,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:
计算所述目标线路区域和最邻近水平方向线路的像素差,获得第一像素差值;
计算所述目标线路区域和最邻近垂直方向线路的像素差,获得第二像素差值;
基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向。
作为本申请一些可选实施方式,所述基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向,包括:
若所述第一像素差值大于所述第二像素差值,则所述目标线路区域的线路方向为垂直方向;
若所述第一像素差值小于所述第二像素差值,则所述目标线路区域的线路方向为水平方向。
作为本申请一些可选实施方式,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:
将所述目标线路区域的线宽值与预设标准宽度值进行对比,判断所述目标线路区域的线路方向;其中,所述预设标准宽度值包括预设水平标准宽度值或垂直标准宽度值。
作为本申请一些可选实施方式,所述预设水平标准宽度值为所述垂直标准宽度值的2倍。
作为本申请一些可选实施方式,所述基于所述线路方向,获得所述目标面板的缺陷判别结果,包括:
若所述线路方向为水平方向,则所述目标面板的缺陷判别结果为NG;
若所述线路方向为垂直方向,则所述目标面板的缺陷判别结果为OK。
作为本申请一些可选实施方式,所述目标检测模型通过如下步骤训练获得:
获取异物缺陷样本图像;其中,所述异物缺陷样本图像包括OK样本图像和NG样本图像;所述OK样本图像是指异物缺陷与垂直方向线路重合;所述NG样本图像是指异物缺陷与水平方向线路重合;
获取所述异物缺陷样本图像中异物缺陷的位置坐标信息,基于所述异物缺陷的位置坐标信息进行裁剪,获得第一缺陷样本图像;
将所述第一缺陷样本图像进行数据增强处理,获得第一缺陷样本图像集;
基于所述第一缺陷样本图像集对初始目标检测模型进行训练,以使得所述初始目标检测模型对所述异物缺陷样本图像中的异物缺陷进行检测标注后,输出第二缺陷样本图像。
作为本申请一些可选实施方式,所述数据增强处理包括旋转处理、翻转处理、缩放处理和仿射变化处理中至少一种处理方法。
作为本申请一些可选实施方式,所述初始目标检测模型为yolo算法构建的初步判图模型,所述二分类模型为Resnet50网络模型。
为解决上述技术问题,本申请实施例还提出了:一种面板异物缺陷的判别装置,包括:
第一获取模块,用于获取目标面板的待识别图像;
目标缺陷检测模块,用于将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;其中,所述第一图像中包含目标缺陷和对应的标注信息;
分类模块,用于将所述第一图像输入至二分类模型进行分类,获得分类结果;其中,所述分类结果包括OK和NG;其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG;
目标线路区域提取模块,用于将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域;
判别模块,用于基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果。
为解决上述技术问题,本申请实施例还提出了:一种电子设备,该电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序,实现如上所述面板异物缺陷的判别方法。
为解决上述技术问题,本申请实施例还提出了:一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,处理器执行所述计算机程序,实现如上所述面板异物缺陷的判别方法。
与现有技术相比,本申请实施例所述面板异物缺陷的识别方法,包括以下步骤:在获取目标面板的待识别图像之后,将所述待识别图像输入至目标检测模型中对目标缺陷进行检测以及标注,获取包含目标缺陷和对应的标注信息的第一图像;通过上述步骤可以对目标面板中的目标缺陷进行初步识别,以初步判断所述目标面板上的异物缺陷的位置区域。再将包含目标缺陷和对应的标注信息的第一图像输入至二分类模型进行分类,所述二分类模型通过判断所述第一图像中的与异物缺陷重合的线路方向,进而判断所述第一图像的分类结果为OK还是NG,其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG。为避免所述二分类模型将不合格产品的图像误判成OK图像,故在获得分类结果后,将其中的OK图像进行灰度处理后,获取目标线路区域以及所述目标线路区域的线宽值,并基于所述目标线路区域的线宽值判断所述目标线路的方向,若所述目标线路的方向为水平方向则判别结果为不合格,若所述目标线路的方向为垂直方向则判别结果为合格。通过上述方法可以有效避免在缺陷检测过程中出现漏检或错检的现象,从而提高了缺陷检测的效率。
附图说明
图1是本申请的实施例涉及的硬件运行环境的电子设备结构示意图;
图2是本申请的实施例提供的一种面板异物缺陷的识别方法的流程示意图;
图3是本申请的实施例涉及目标面板的待识别图像示意图;
图4是本申请的实施例涉及第一图像示意图;
图5是本申请的实施例涉及裁剪后的第一图像示意图;
图6是本申请的实施例涉及OK第二图像示意图;
图7是本申请的实施例涉及第二线路区域图像示意图;
图8是本申请的实施例涉及目标线路区域示意图;
图9是本申请的实施例涉及面板异物缺陷的判别装置示意图;
其中,1001-处理器,1002-通信总线、1003-用户接口,1004-网络接口,1005-存储器。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
工业生产、制造水平的不断提高,加快了电子产品的更新换代,因此对于底层基础硬件设施提出了更高的要求。印刷电路板(Printed Circuit board,PCB)作为集成电路的重要基础元器件,其质量决定着电子产品的整体性能。
但在 PCB生产过程中难以避免因为各种因素导致制作产生的PCB带有缺陷。传统的PCB缺陷检测由人工标注其缺陷信息,效率较低,准确率也不高,近几年基于深度学习的缺陷检测算法逐渐得到研究,但是传统的卷积神经网络针对于PCB图像缺陷检测,难以兼顾全局与细节处的特征信息,检测的正确率以及标记的准确程度都不高。因此,针对于PCB图像的异物缺陷检测问题,本申请实施例的主要解决方案是:提供一种面板异物缺陷的识别方法、装置、设备和介质,所述方法包括以下步骤:获取目标面板的待识别图像;将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;其中,所述第一图像中包含目标缺陷和对应的标注信息;将所述第一图像输入至二分类模型进行分类,获得分类结果;其中,所述分类结果包括OK和NG;其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG;将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域;基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果。
参照图1,图1为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。
如图1所示,该电子设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及电子程序。
在图1所示的电子设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明电子设备中的处理器1001、存储器1005可以设置在电子设备中,所述电子设备通过处理器1001调用存储器1005中存储的面板异物缺陷的识别装置,并执行本申请实施例提供的面板异物缺陷的识别方法。
参照图2,本申请的实施例提供了:一种面板异物缺陷的识别方法,包括以下步骤:
步骤S10、获取目标面板的待识别图像;所述待识别图像如图3所示。
需要说明的是,所述目标面板是指需要检测是否存在异物缺陷的电路面板,所述目标面板可能存在异物缺陷,也可能不存在异物缺陷。另外,所述目标面板的待识别图像是指基于所述目标面板,通过人工拍照或AOI(Automated Optical Inspection,自动光学检测)获得,所述目标面板的待识别图像还可以是经过计算机视觉算法处理后获得的。其中,所述AOI是基于光学原理来对焊接生产中遇到的常见缺陷进行检测的设备。AOI是新兴起的一种新型测试技术,但发展迅速,很多厂家都推出了AOI测试设备。当自动检测时,机器通过摄像头自动扫描PCB,采集图像等。所述计算机视觉算法是用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器识别的图像。所述面板是指在工业制造过程所生产出的工业面板,如工艺面板、液晶面板以及电子面板等。
步骤S20、将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;其中,所述第一图像中包含目标缺陷和对应的标注信息。
在实际应用中,对所述待识别图像中是否存在目标缺陷进行检测可以通过R-CNN算法、YOLO算法、SSD算法等进行特征识别,但R-CNN 算法在检测效率上较差,在存储资源上有大量浪费。因此,本申请实施例在对所述待识别图像中是否存在第一目标缺陷区域进行识别时,采用yolo算法构建的初步判图模型。
需要说明的是,为提高所述初步判图模型的检测精准度,本申请实施例所述目标检测模型通过如下步骤训练获得:获取异物缺陷样本图像;其中,所述异物缺陷样本图像包括OK样本图像和NG样本图像;所述OK样本图像是指异物缺陷与垂直方向线路重合;所述NG样本图像是指异物缺陷与水平方向线路重合;获取所述异物缺陷样本图像中异物缺陷的位置坐标信息,基于所述异物缺陷的位置坐标信息进行裁剪,获得第一缺陷样本图像;将所述第一缺陷样本图像进行数据增强处理,获得第一缺陷样本图像集;基于所述第一缺陷样本图像集对初始目标检测模型进行训练,以使得所述初始目标检测模型对所述异物缺陷样本图像中的异物缺陷进行检测标注后,输出第二缺陷样本图像。其中,为了扩大样本量,所述数据增强处理包括旋转处理、翻转处理、缩放处理和仿射变化处理中至少一种处理方法。
具体来说,步骤S20所述将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像,包括:将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获得包含缺陷标注的待识别图像,如图4所示。该步骤中所述的缺陷标注可以是对于缺陷的种类标注、大小标注或位置标注等。在本申请实施例中,由于该步骤的设置是为了辨别所述待识别图像中是否包含目标异物缺陷,因此在这里所述的缺陷标注优选位置标注,以便于后续基于该缺陷的位置标注信息对待识别图像进行裁剪处理,以获取仅包含该缺陷区域的第一图像,即裁剪后的第一图像如图5所示。
步骤S30、将所述第一图像输入至二分类模型进行分类,获得分类结果;其中,所述分类结果包括OK和NG;其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG。
需要说明的是,在对所述二分类模型进行训练时,采用以裁剪的缺陷区域图像作为样本图像,并对所述样本图像进行数据增强处理后获得的样本图像集对二分类模型进行训练,以获得分类结果。所述二分类模型为Resnet50网络模型,该网络主要由四组卷积块构成,每组卷积块包含不同数量的卷积层,可有效获取并融合不同尺度的特征。此外,加入残差网络,采用跳跃连接的方式,增加网络参数复杂度,减少反向传播中梯度消失的现象,从而帮助异物缺陷的分类。训练损失函数采取交叉熵损失函数,帮助引导模型实现二分类效果。
需要说明的是,通过对所述目标面板进行人工拍照或AOI拍摄获得原始数据图像,通常为彩色图片,因此所获取的原始数据图像中的特征信息并不明显,并包含有许多与特征无关的噪声信息;因此将其作为输入图像输入至目标检测模型和二分类模型后,其输出图像仍为彩色图像,因此为了去除图像中的噪声干扰以突出特征信息,本申请实施例在获取分类结果为OK的第一图像之后,对其进行图像去噪增强处理,如图像灰度化、灰度直方图均衡化处理或降噪滤波处理。即:
步骤S40、将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域。
需要说明的是,日常生活中对于彩色空间的描述常常采用 RGB 颜色空间,三维颜色 RGB 空间由三原色红绿蓝(RGB)构成,图像可以理解为由三原色按照不同的比例叠加而成。对于相机拍摄得到的图像进行数字离散化,则图像中的每一个像素的像素值都在[0,225]的区间范围内,则图像就可以转变成一个三维数组[H,W,C],其中 H 代表图像的横向量,W 代表图像的列向量,C 代表图像的通道数量,在 RGB 颜色空间下即为 RGB 三个通道[35],当计算机对图像数据进行操作时,就需要计算三个通道的像素值,运算量太大,因此可以将三个通道的彩色图像转变成单通道的灰度图[36],参数计算量会大大减少,这便是上述的灰度处理。
在实际应用中,步骤S40所述将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域,包括:
步骤S41、将所述分类结果为OK的第一图像进行灰度处理后,获得OK第二图像。此时OK第二图像是经过灰度化处理之后,将PCB 缺陷原始图像转换为单通道的灰色图像,失去了颜色信息,更加突出了前景与后景、整体与局部的亮度信息对比。
步骤S42、将所述OK第二图像中的最大连通域进行提取,获取所述OK第二图像中的目标线路区域。在所获取的OK第二图像中,仅包含目标线路和部分缺陷区域,并且之前是不连通的,在实际应用中,该图像中的最大连通域大概率为线路区域,因此将所述OK第二图像中的最大连通域进行提取,以获取该图像中的目标线路区域。作为优选方案,步骤S42所述将所述OK第二图像中的最大连通域进行提取,获取所述OK第二图像中的目标线路区域,包括:
步骤S421、将所述OK第二图像中的最大连通域进行提取后,进行裁剪处理,获得第一线路区域图像。通过上述步骤,获得的第一线路区域图像中可能包含几部分线路区域,以及异物缺陷区域。
步骤S422、将所述第一线路区域图像中未被异物缺陷覆盖的线路区域进行提取后,获得第二线路区域图像。通过上述步骤,获得的第二线路区域图像通过将异物缺陷区域去除后,提取所述第一线路区域图像中未被异物缺陷覆盖的线路区域。
步骤S423、获取所述第二线路区域图像中线路区域的最小外接矩形,进行裁剪处理,获得目标线路区域。由于第二线路区域图像中只包含线路区域,而线路的线宽是均匀的,因此仅需对某一步骤的线路进行线宽计算即可,因此,这里对所述第二线路区域图像中线路区域进行最小外接矩形裁剪,以获取目标线路区域。
针对上述步骤S40的技术内容,举例来说即为:
对裁剪后的包含缺陷的OK图像进行操作,首先对其进行灰度化,得到对应的灰度图,即OK第二图像如图6所示;提取所述灰度图中的最大连通域,获取到线的区域,设定阈值区间为(165,255)进行裁剪,考虑到部分缺陷的残留依然在线上,因此进一步采用像素值在(79.3,200)之间的值作为保留的面积区域,将该面积区域内的异物缺陷区域去除后,如图7所示。由于线宽是一致的,因此仅保留一部分线路的区域用于计算线宽即可,即保留的线路的上面部分,之后获取该部分线路部分的最小外接矩后进行裁剪,如图8所示。随后通过函数可以直接获得该外接矩的宽度,即可表示为线宽。
步骤S50、基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果。具体来说,若所述线路方向为水平方向,则所述目标面板的缺陷判别结果为NG;若所述线路方向为垂直方向,则所述目标面板的缺陷判别结果为OK。
在实际应用中,步骤S50所述基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果,包括:基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向;其中,所述目标线路区域的线路方向包括水平方向或垂直方向;基于所述线路方向,获得所述目标面板的缺陷判别结果。
需要说明的是,由于在实际电路板印刷过程中,需要最先印刷一层水平方向的线路,最后印刷一层垂直方向的线路,而异物缺陷出现的时机一般是在印刷过程中。因此若异物缺陷落在水平方向的线路上对后续的产品性能较大,而若异物缺陷落在垂直方向的线路上对后续的产品性能较小。
在实际应用中,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:对所述目标线路区域进行轮廓提取,获得闭合区域轮廓以及所述闭合区域轮廓的边界像素点;遍历所述闭合区域轮廓的边界像素点,获得所述闭合区域轮廓的线宽值;基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向。
在实际应用中,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:计算所述目标线路区域和最邻近水平方向线路的像素差,获得第一像素差值;计算所述目标线路区域和最邻近垂直方向线路的像素差,获得第二像素差值;基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向。其中,所述基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向,包括:若所述第一像素差值大于所述第二像素差值,则所述目标线路区域的线路方向为垂直方向;若所述第一像素差值小于所述第二像素差值,则所述目标线路区域的线路方向为水平方向。
在实际应用中,也可以采用其他方法对目标线路的方向进行判断,如:将所述目标线路区域的线宽值与预设标准宽度值进行对比,判断所述目标线路区域的线路方向;其中,所述预设标准宽度值包括预设水平标准宽度值或垂直标准宽度值。其中,所述预设水平标准宽度值为所述垂直标准宽度值的2倍。
需要说明的是,在实际的业务场景中,异物缺陷落在垂直方向的线上为OK,落在水平方向的线上为NG。在给定的提供的线宽值中,水平方向的线为垂直方向的线宽的2倍。如计算出的线宽为2.687,与给定的垂直方向的线的像素差为2-3个像素,且长度约为水平线的宽度的1/2,因此可判定该异物缺陷落于垂直的线上,因此最后的缺陷判别结果为OK。
与现有技术相比,本申请实施例所述面板异物缺陷的识别方法,包括以下步骤:在获取目标面板的待识别图像之后,将所述待识别图像输入至目标检测模型中对目标缺陷进行检测以及标注,获取包含目标缺陷和对应的标注信息的第一图像;通过上述步骤可以对目标面板中的目标缺陷进行初步识别,以初步判断所述目标面板上的异物缺陷的位置区域。再将包含目标缺陷和对应的标注信息的第一图像输入至二分类模型进行分类,所述二分类模型通过判断所述第一图像中的与异物缺陷重合的线路方向,进而判断所述第一图像的分类结果为OK还是NG,其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG。为避免所述二分类模型将不合格产品的图像误判成OK图像,故在获得分类结果后,将其中的OK图像进行灰度处理后,获取目标线路区域以及所述目标线路区域的线宽值,并基于所述目标线路区域的线宽值判断所述目标线路的方向,若所述目标线路的方向为水平方向则判别结果为不合格,若所述目标线路的方向为垂直方向则判别结果为合格。通过上述方法可以有效避免在缺陷检测过程中出现漏检或错检的现象,从而提高了缺陷检测的效率。
基于同样的发明思路,如图9所示,本申请还提供了:一种面板异物缺陷的判别装置,包括:
第一获取模块,用于获取目标面板的待识别图像;
目标缺陷检测模块,用于将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;其中,所述第一图像中包含目标缺陷和对应的标注信息;
分类模块,用于将所述第一图像输入至二分类模型进行分类,获得分类结果;其中,所述分类结果包括OK和NG;其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG;
目标线路区域提取模块,用于将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域;
判别模块,用于基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果。
需要说明的是,本实施例中面板异物缺陷的判别装置中各模块是与前述实施例中的面板异物缺陷的判别方法中的各步骤一一对应,因此,本实施例的具体实施方式可参照前述面板异物缺陷的判别方法的实施方式,这里不再赘述。
此外,在一种实施例中,本申请的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,处理器执行所述计算机程序,实现如上所述的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
需要说明的是,在本文中,术语“包括”、“包含”或者其他任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通 过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台多媒体终端设备(可以是手机,计算机,电视接收机,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种面板异物缺陷的判别方法,其特征在于,包括以下步骤:
获取目标面板的待识别图像;
将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;其中,所述第一图像中包含目标缺陷和对应的标注信息;
将所述第一图像输入至二分类模型进行分类,获得分类结果;其中,所述分类结果包括OK和NG;其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG;
将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域;
基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,以获得所述目标面板的缺陷判别结果;
其中,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:计算所述目标线路区域和最邻近水平方向线路的像素差,获得第一像素差值;计算所述目标线路区域和最邻近垂直方向线路的像素差,获得第二像素差值;基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向;
其中,所述基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向,包括:若所述第一像素差值大于所述第二像素差值,则所述目标线路区域的线路方向为垂直方向;若所述第一像素差值小于所述第二像素差值,则所述目标线路区域的线路方向为水平方向;
所述判断所述目标线路区域的线路方向,以获得所述目标面板的缺陷判别结果,包括:若所述线路方向为水平方向,则所述目标面板的缺陷判别结果为NG;若所述线路方向为垂直方向,则所述目标面板的缺陷判别结果为OK。
2.根据权利要求1所述面板异物缺陷的判别方法,其特征在于,所述将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像,包括:
将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获得包含缺陷标注的待识别图像;
将所述包含缺陷标注的待识别图像基于目标缺陷进行裁剪处理,获得第一图像。
3.根据权利要求1所述面板异物缺陷的判别方法,其特征在于,所述将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域,包括:
将所述分类结果为OK的第一图像进行灰度处理后,获得OK第二图像;
将所述OK第二图像中的最大连通域进行提取,获取所述OK第二图像中的目标线路区域。
4.根据权利要求3所述面板异物缺陷的判别方法,其特征在于,所述将所述OK第二图像中的最大连通域进行提取,获取所述OK第二图像中的目标线路区域,包括:
将所述OK第二图像中的最大连通域进行提取后,进行裁剪处理,获得第一线路区域图像;
将所述第一线路区域图像中未被异物缺陷覆盖的线路区域进行提取后,获得第二线路区域图像;
获取所述第二线路区域图像中线路区域的最小外接矩形,进行裁剪处理,获得目标线路区域。
5.根据权利要求1所述面板异物缺陷的判别方法,其特征在于,所述基于所述目标线路区域的线宽值,获得所述目标面板的缺陷判别结果,包括:
基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向;其中,所述目标线路区域的线路方向包括水平方向或垂直方向;
基于所述线路方向,获得所述目标面板的缺陷判别结果。
6.根据权利要求5所述面板异物缺陷的判别方法,其特征在于,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:
对所述目标线路区域进行轮廓提取,获得闭合区域轮廓以及所述闭合区域轮廓的边界像素点;遍历所述闭合区域轮廓的边界像素点,获得所述闭合区域轮廓的线宽值;
基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向。
7.根据权利要求6所述面板异物缺陷的判别方法,其特征在于,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:
将所述目标线路区域的线宽值与预设标准宽度值进行对比,判断所述目标线路区域的线路方向;其中,所述预设标准宽度值包括预设水平标准宽度值或垂直标准宽度值。
8.根据权利要求7所述面板异物缺陷的判别方法,其特征在于,所述预设水平标准宽度值为所述垂直标准宽度值的2倍。
9.根据权利要求1所述面板异物缺陷的判别方法,其特征在于,所述目标检测模型通过如下步骤训练获得:
获取异物缺陷样本图像;其中,所述异物缺陷样本图像包括OK样本图像和NG样本图像;所述OK样本图像是指异物缺陷与垂直方向线路重合;所述NG样本图像是指异物缺陷与水平方向线路重合;
获取所述异物缺陷样本图像中异物缺陷的位置坐标信息,基于所述异物缺陷的位置坐标信息进行裁剪,获得第一缺陷样本图像;
将所述第一缺陷样本图像进行数据增强处理,获得第一缺陷样本图像集;
基于所述第一缺陷样本图像集对初始目标检测模型进行训练,以使得所述初始目标检测模型对所述异物缺陷样本图像中的异物缺陷进行检测标注后,输出第二缺陷样本图像。
10.根据权利要求9所述面板异物缺陷的判别方法,其特征在于,所述数据增强处理包括旋转处理、翻转处理、缩放处理和仿射变化处理中至少一种处理方法。
11.根据权利要求9所述面板异物缺陷的判别方法,其特征在于,所述初始目标检测模型为yolo算法构建的初步判图模型,所述二分类模型为Resnet50网络模型。
12.一种面板异物缺陷的判别装置,其特征在于,包括:
第一获取模块,用于获取目标面板的待识别图像;
目标缺陷检测模块,用于将所述待识别图像输入至目标检测模型中对目标缺陷进行检测,获取第一图像;其中,所述第一图像中包含目标缺陷和对应的标注信息;
分类模块,用于将所述第一图像输入至二分类模型进行分类,获得分类结果;其中,所述分类结果包括OK和NG;其中,当所述目标缺陷与垂直方向线路重合,所述分类结果为OK;当所述目标缺陷与水平方向线路重合,所述分类结果为NG;
目标线路区域提取模块,用于将所述分类结果为OK的第一图像进行灰度处理后,获取目标线路区域;
判别模块,用于基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,以获得所述目标面板的缺陷判别结果;其中,所述基于所述目标线路区域的线宽值,判断所述目标线路区域的线路方向,包括:计算所述目标线路区域和最邻近水平方向线路的像素差,获得第一像素差值;计算所述目标线路区域和最邻近垂直方向线路的像素差,获得第二像素差值;基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向;其中,所述基于所述第一像素差值和所述第二像素差值,判断所述目标线路区域的线路方向,包括:若所述第一像素差值大于所述第二像素差值,则所述目标线路区域的线路方向为垂直方向;若所述第一像素差值小于所述第二像素差值,则所述目标线路区域的线路方向为水平方向;所述判断所述目标线路区域的线路方向,以获得所述目标面板的缺陷判别结果,包括:若所述线路方向为水平方向,则所述目标面板的缺陷判别结果为NG;若所述线路方向为垂直方向,则所述目标面板的缺陷判别结果为OK。
13.一种电子设备,其特征在于,该电子设备包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序,实现如权利要求1-11中任一项所述面板异物缺陷的判别方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,处理器执行所述计算机程序,实现如权利要求1-11中任一项所述面板异物缺陷的判别方法。
CN202310374308.1A 2023-04-10 2023-04-10 一种面板异物缺陷的判别方法、装置、设备及介质 Active CN116091503B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310374308.1A CN116091503B (zh) 2023-04-10 2023-04-10 一种面板异物缺陷的判别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310374308.1A CN116091503B (zh) 2023-04-10 2023-04-10 一种面板异物缺陷的判别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116091503A CN116091503A (zh) 2023-05-09
CN116091503B true CN116091503B (zh) 2023-06-13

Family

ID=86210588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310374308.1A Active CN116091503B (zh) 2023-04-10 2023-04-10 一种面板异物缺陷的判别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116091503B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116542975B (zh) * 2023-07-05 2023-09-12 成都数之联科技股份有限公司 一种玻璃面板的缺陷分类方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107367682A (zh) * 2017-06-26 2017-11-21 王俊 印制电路板检修方法及系统
CN113688807A (zh) * 2021-10-26 2021-11-23 中科慧远视觉技术(北京)有限公司 一种自适应缺陷检测方法、装置、识别系统及存储介质
CN114186481A (zh) * 2021-11-26 2022-03-15 江门市浩远科技有限公司 一种基于机器学习的线路板高效冲洗的方法
CN115731220A (zh) * 2022-11-30 2023-03-03 广州致景信息科技有限公司 坯布缺陷定位与分类方法、系统、设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831998B1 (en) * 2000-06-22 2004-12-14 Hitachi, Ltd. Inspection system for circuit patterns and a method thereof
JP5303217B2 (ja) * 2008-08-29 2013-10-02 株式会社日立ハイテクノロジーズ 欠陥検査方法及び欠陥検査装置
JP5416600B2 (ja) * 2010-01-22 2014-02-12 株式会社日立ハイテクノロジーズ 欠陥検査装置およびその方法
TWI519802B (zh) * 2014-05-15 2016-02-01 由田新技股份有限公司 一種線路資訊擷取方法、非線路區資訊擷取方法及運用前述方法的線路缺陷檢測方法
CN108510476B (zh) * 2018-03-14 2022-03-15 五邑大学 一种基于机器视觉的手机屏线路检测方法
CN113935960A (zh) * 2021-09-28 2022-01-14 景旺电子科技(珠海)有限公司 缺陷检修方法、装置和设备
CN113870256B (zh) * 2021-12-01 2022-02-11 成都数之联科技有限公司 Pcb板缺陷评估方法、装置、设备及介质
CN115082466B (zh) * 2022-08-22 2023-09-01 倍利得电子科技(深圳)有限公司 一种pcb表面焊点缺陷检测方法及系统
CN115359043B (zh) * 2022-10-18 2023-08-22 浙江晶引电子科技有限公司 一种pcb板面异物智能检测方法
CN115843156A (zh) * 2022-11-23 2023-03-24 惠州中京电子科技有限公司 一种pcb板线路修复方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107367682A (zh) * 2017-06-26 2017-11-21 王俊 印制电路板检修方法及系统
CN113688807A (zh) * 2021-10-26 2021-11-23 中科慧远视觉技术(北京)有限公司 一种自适应缺陷检测方法、装置、识别系统及存储介质
CN114186481A (zh) * 2021-11-26 2022-03-15 江门市浩远科技有限公司 一种基于机器学习的线路板高效冲洗的方法
CN115731220A (zh) * 2022-11-30 2023-03-03 广州致景信息科技有限公司 坯布缺陷定位与分类方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN116091503A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
US11797886B2 (en) Image processing device, image processing method, and image processing program
KR102058427B1 (ko) 검사 장치 및 방법
CN108182383B (zh) 一种车窗检测的方法及设备
CN111080622A (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN114202543B (zh) Pcb板脏污缺陷检测方法、装置、设备及介质
CN115205223B (zh) 透明物体的视觉检测方法、装置、计算机设备及介质
CN116542975B (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN113850749A (zh) 训练缺陷侦测器的方法
CN115861327A (zh) 一种pcb颜色变化缺陷检测方法、装置、设备及介质
CN116091503B (zh) 一种面板异物缺陷的判别方法、装置、设备及介质
CN109389110B (zh) 一种区域确定方法及装置
CN115578377B (zh) 一种面板缺陷的检测方法、训练方法、装置、设备及介质
CN115239734A (zh) 模型训练方法、装置、存储介质、设备及计算机程序产品
CN113822836B (zh) 标记图像的方法
CN111402185A (zh) 一种图像检测方法及装置
CN112967224A (zh) 一种基于人工智能的电子电路板检测系统、方法及介质
CN114937037B (zh) 产品缺陷检测方法、装置、设备及可读存储介质
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质
CN114926429A (zh) 一种线迹长度检测方法、装置、设备及可读存储介质
CN117078708A (zh) 图像检测及模型的训练方法、装置、设备、介质和产品
CN113837206A (zh) 一种基于机器学习svm的图像角点检测方法
CN112651920A (zh) Pcb裸板线路瑕疵检测方法、装置、电子设备
CN111935480A (zh) 一种用于图像获取装置的检测方法及相关装置
CN118096767B (zh) 一种晶圆切割不良缺陷检测方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230509

Assignee: Chengdu Shuzhi Innovation Lean Technology Co.,Ltd.

Assignor: Chengdu shuzhilian Technology Co.,Ltd.

Contract record no.: X2024510000014

Denomination of invention: A method, device, equipment, and medium for identifying foreign object defects in panels

Granted publication date: 20230613

License type: Common License

Record date: 20240723

EE01 Entry into force of recordation of patent licensing contract