JPH05302897A - Equipment for surface inspection - Google Patents
Equipment for surface inspectionInfo
- Publication number
- JPH05302897A JPH05302897A JP4107810A JP10781092A JPH05302897A JP H05302897 A JPH05302897 A JP H05302897A JP 4107810 A JP4107810 A JP 4107810A JP 10781092 A JP10781092 A JP 10781092A JP H05302897 A JPH05302897 A JP H05302897A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- determination
- type
- learning
- decision tree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、例えば鋼板やアルミニ
ウム板等の検査対象物の表面を検査して欠陥を検出する
表面検査装置に関し、更に詳しくは、欠陥の種類や等
級、すなわち程度を判定する表面検査装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a surface inspection apparatus for detecting defects by inspecting the surface of an inspection object such as a steel plate or an aluminum plate, and more specifically, determining the type or grade of defects, that is, the degree. Surface inspection device.
【０００２】[0002]
【従来の技術】この種の表面検査装置は、一般に検査対
象物の表面を撮像した画像信号から欠陥の特徴量を抽出
し、この特徴量を統計的に処理したり、ディシジョンツ
リーロジックを用いて欠陥の種類および等級を判定して
いる。2. Description of the Related Art Generally, a surface inspection apparatus of this type extracts a defect feature amount from an image signal of a surface of an object to be inspected and statistically processes the feature amount or uses a decision tree logic. The type and grade of defects are judged.
【０００３】図８は、この種の従来の表面検査装置の構
成図である。同図において、矢印７の方向に搬送される
帯状の検査対象物５の表面を検出器１によって光電的に
走査しながら撮像し、この撮像した画像信号を特徴抽出
回路２に供給し、検査対象物５の表面の欠陥６の特徴量
を抽出する。FIG. 8 is a block diagram of a conventional surface inspection apparatus of this type. In the figure, the surface of the belt-shaped inspection object 5 conveyed in the direction of the arrow 7 is imaged while photoelectrically scanning by the detector 1, and the imaged image signal is supplied to the feature extraction circuit 2 to be inspected. The feature amount of the defect 6 on the surface of the object 5 is extracted.
【０００４】特徴抽出回路２で抽出された特徴量は、デ
ィシジョンツリーロジック３およびニューラルネット４
に供給され、ディシジョンツリーロジック３においては
エキスパートの経験に基づく構成により欠陥の種類を判
定し、種類別の出力信号ＫＤ１〜ＫＤｍを出力し、また
ニューラルネット４においては欠陥の程度、すなわち等
級を判定し、等級別の出力信号ＧＤ１〜ＧＤｐを出力す
る。なお、ニューラルネット４の重みパラメータは学習
によって決定される。The feature amount extracted by the feature extracting circuit 2 is the decision tree logic 3 and the neural network 4.
The decision tree logic 3 determines the type of the defect by the configuration based on the experience of the expert, outputs the output signals KD1 to KDm for each type, and the neural network 4 determines the degree of the defect, that is, the grade. Then, the output signals GD1 to GDp for each grade are output. The weight parameter of the neural network 4 is determined by learning.
【０００５】また、この種の表面検査装置として、上述
したように検査対象物の表面を撮像した画像信号から抽
出した欠陥画像の二次元的な形状の特徴量および画像の
階調に相関を持つ濃度的な特徴量からディシジョンツリ
ー方式で欠陥、すなわちきずの種類および程度を判定す
る方式のものがある。図９はこのようなディシジョンツ
リー方式を利用して、きずの種類を判定する従来の表面
検査装置の構成を示している。このような表面検査装置
では、本装置で判定した欠陥種類や等級を目視検査員に
よる目視判定結果の欠陥種類や等級と一致させる判別ア
ルゴリズムを有し、この一致率の向上を図ることが行わ
れている。Further, as this type of surface inspection apparatus, there is a correlation between the feature amount of the two-dimensional shape of the defect image extracted from the image signal of the surface of the inspection object and the gradation of the image as described above. There is a method of determining a defect, that is, a type and a degree of flaw, by a decision tree method from a density characteristic amount. FIG. 9 shows the configuration of a conventional surface inspection apparatus that determines the type of flaw using such a decision tree method. Such a surface inspection device has a discrimination algorithm for matching the defect type and grade judged by this device with the defect type and grade of the visual judgment result by the visual inspector, and the matching rate is improved. ing.
【０００６】この方式は、「ＩＦ〜ＴＨＥＮ・・・」方
式のものであり、欠陥、すなわちきずの特徴量を所定の
しきい値と比較し、その判定結果の組み合せで欠陥の種
類を決定している。これは、まず１つの判定を行い、そ
の真偽により２方向に分岐し、次の判定を行うという処
理を欠陥の種類が決定されるまで繰り返し行うものであ
る。このディシジョンツリーの構造設計は知識、経験、
ユーザの判定基準との整合等の様々な要因を加味して、
しきい値を決定している。This system is of the "IF-THEN ..." system, in which the feature amount of a defect, that is, a flaw is compared with a predetermined threshold value, and the type of defect is determined by a combination of the determination results. ing. This is a process in which one determination is first performed, branching is performed in two directions depending on whether the determination is true, and the next determination is performed repeatedly until the type of defect is determined. This decision tree structure design is based on knowledge, experience,
Taking into consideration various factors such as matching with the user's criteria,
The threshold is determined.
【０００７】図１０は、上述したディシジョンツリー方
式による判定、学習による判定、および後述する本発明
の表面検査装置で利用している混在システムによる判定
の一致率を表したグラフであり、横軸に時間を示し、縦
軸に一致率を示しているが、時間軸はデータの採集とデ
ィシジョンツリーの設計時間を含んでいる。また、Ａで
示す曲線はディシジョンツリー方式による判定を示し、
Ｂで示す曲線は学習による判定を示し、Ｃで示す曲線は
本発明の表面検査装置の混在システムによる判定を示し
ている。FIG. 10 is a graph showing the concordance rate of the decision tree method, the learning method, and the mixed system used in the surface inspection apparatus of the present invention, which will be described later. Time is shown, and the vertical axis shows the concordance rate, but the time axis includes the data collection time and the decision tree design time. The curve indicated by A indicates the decision tree method,
The curve shown by B shows the judgment by learning, and the curve shown by C shows the judgment by the mixed system of the surface inspection apparatus of the present invention.
【０００８】図１０からわかるように、曲線Ａで示すデ
ィシジョンツリー方式では、最初の立ち上がりは早い
が、ある程度まで一致率が上がると、その後更に一致率
を上げようとすることが非常に困難であり、一致率はあ
る限界を有している。これは多数ある特徴量データの値
によっては判定しづらいパターンのものが若干存在する
ためである。As can be seen from FIG. 10, in the decision tree method shown by the curve A, the initial rising is fast, but if the matching rate rises to some extent, it is very difficult to further increase the matching rate thereafter. , The concordance rate has some limits. This is because there are some patterns that are difficult to determine depending on the values of many feature amount data.
【０００９】曲線Ｂで示す学習による方式は、装置自体
に判定方法を学習させる学習機能を用いるものであり、
学習機能とは各特徴量データに対して最適な重み付けの
値を求めて、その重みの値によって判定する方法であ
る。この学習による方式は欠陥の種類および等級が多い
と、曲線Ｂで示すように、収束が遅く、すなわち学習時
間が長くなり、一致率が上がるまでに時間がかかる。The learning method shown by the curve B uses a learning function for allowing the apparatus itself to learn the determination method.
The learning function is a method of obtaining an optimal weighting value for each feature amount data and making a determination based on the weighting value. In this learning-based method, if the types and grades of defects are large, as shown by the curve B, the convergence is slow, that is, the learning time becomes long, and it takes time until the matching rate increases.
【００１０】[0010]
【発明が解決しようとする課題】上述した図８に示すよ
うな従来の表面検査装置では、学習に時間がかかるとと
もに、欠陥の程度の判定が適切に行えないという問題が
ある。また、熟練した検査員が目視で検査する場合、欠
陥の種類によって等級判定の仕方を微妙に変えている
が、上述した従来の表面検査装置にはこのような種類判
定と等級判定とを結び付ける要素がなく、適切な等級判
定を行うことができないという問題がある。In the conventional surface inspection apparatus as shown in FIG. 8 described above, there is a problem that learning takes time and the degree of defect cannot be properly determined. In addition, when a skilled inspector visually inspects, the method of class determination is subtly changed depending on the type of defect. However, the conventional surface inspection apparatus described above is an element that connects such type determination and class determination. There is a problem that it is not possible to perform an appropriate grade determination.
【００１１】更に、上述したように、ディシジョンツリ
ー方式を利用したり、または学習方式を利用した従来の
表面検査装置は、一致率に限界があって、高い一致率を
達成することが困難であったり、または一致率が上昇す
るまでに時間がかかるという問題がある。Further, as described above, the conventional surface inspection apparatus using the decision tree method or the learning method has a limit in the matching rate, and it is difficult to achieve a high matching rate. However, there is a problem that it takes time before the matching rate rises.
【００１２】本発明は、上記に鑑みてなされたもので、
その目的とするところは、欠陥を高い信頼性をもって適
確かつ迅速に判定し得る表面検査装置を提供することに
ある。The present invention has been made in view of the above,
It is an object of the invention to provide a surface inspection apparatus capable of accurately and accurately determining a defect with high reliability.
【００１３】[0013]
【課題を解決するための手段】上記目的を達成するた
め、本発明の表面検査装置は、検査対象物の表面を撮像
する撮像手段と、該撮像手段で撮像した検査対象物の表
面の画像信号から欠陥の特徴量を抽出する特徴量抽出手
段と、この抽出された特徴量に基づいて欠陥の種類を判
定する種類判定手段と、前記特徴量および前記種類判定
手段が判定した欠陥の種類に基づいて欠陥の等級を判定
する等級判定手段とを有することを要旨とする。In order to achieve the above object, the surface inspection apparatus of the present invention comprises an image pickup means for picking up an image of the surface of an inspection object, and an image signal of the surface of the inspection object picked up by the image pickup means. From the feature amount extraction means for extracting the feature amount of the defect from the, the type determination means for determining the type of defect based on the extracted feature amount, based on the type of defect determined by the feature amount and the type determination means It has a grade judging means for judging the grade of a defect.
【００１４】また、本発明の表面検査装置は、検査対象
物の表面を撮像した画像信号から抽出された欠陥の特徴
量および目視検査員による目視判定信号から欠陥の程度
および種類を判別するアルゴリズムを作成する機能を有
する表面検査装置であって、前記判別アルゴリズムがデ
ィシジョンツリーによる判定ロジック、学習機能による
判定ロジック、両者の結果を比較するロジック、補助学
習ロジック、および最終判定決定ロジックを有すること
を要旨とする。Further, the surface inspection apparatus of the present invention has an algorithm for determining the degree and type of the defect from the feature amount of the defect extracted from the image signal of the surface of the inspection object and the visual determination signal by the visual inspector. A surface inspection apparatus having a function of creating, wherein the discrimination algorithm has a decision logic by a decision tree, a decision logic by a learning function, a logic for comparing the results of both, a supplementary learning logic, and a final decision decision logic. And
【００１５】[0015]
【作用】本発明の表面検査装置では、撮像手段で撮像し
た検査対象物の表面の画像信号から欠陥の特徴量を抽出
し、この抽出された特徴量に基づいて欠陥の種類を判定
するとともに、前記特徴量および判定した欠陥の種類に
基づいて欠陥の等級を判定する。In the surface inspection apparatus of the present invention, the feature amount of the defect is extracted from the image signal of the surface of the inspection target imaged by the image pickup means, and the type of the defect is determined based on the extracted feature amount. The defect grade is determined based on the feature amount and the determined defect type.
【００１６】また、本発明の表面検査装置では、ディシ
ジョンツリーによる判定および学習機能による判定を行
い、両者の結果を比較し、一致していればそのまま採用
し、異なっている場合には、補助学習判定を行い、その
結果を最終判定結果としている。Further, the surface inspection apparatus of the present invention makes a decision by the decision tree and a decision by the learning function, compares the results of both and adopts them as they are, and if they are different, performs auxiliary learning. Judgment is made and the result is used as the final judgment result.
【００１７】[0017]
【実施例】以下、図面を用いて本発明の実施例を説明す
る。Embodiments of the present invention will be described below with reference to the drawings.
【００１８】図１は、本発明の一実施例に係わる表面検
査装置の構成を示す図である。同図に示す表面検査装置
は、矢印７の方向に搬送される検査対象物５の表面を検
出器１で撮像し、この撮像した画像信号を特徴抽出回路
２に供給して、検査対象物５の表面上の欠陥６の特徴量
を抽出する。FIG. 1 is a diagram showing the structure of a surface inspection apparatus according to an embodiment of the present invention. In the surface inspection apparatus shown in the same figure, the surface of the inspection object 5 conveyed in the direction of the arrow 7 is imaged by the detector 1, and the image signal thus imaged is supplied to the feature extraction circuit 2 to inspect the object 5 The feature amount of the defect 6 on the surface of is extracted.
【００１９】そして、特徴抽出回路２で抽出された特徴
量は、Ｘ１〜Ｘｎとしてディシジョンツリーロジック１
３に供給され、予め検査のエキスパートによって定めら
れたディシジョンツリーにより欠陥の種類が判定され、
出力Ｙ１〜Ｙｍとして出力端子ＫＤ１〜ＫＤｍから出力
されるとともに、ニューラルネット４にも供給されてい
る。The feature quantities extracted by the feature extraction circuit 2 are defined as X1 to Xn, and the decision tree logic 1
3, the defect type is determined by a decision tree that is determined in advance by an inspection expert,
The outputs Y1 to Ym are output from the output terminals KD1 to KDm and are also supplied to the neural network 4.
【００２０】また、ニューラルネット４は、ディシジョ
ンツリーロジック１３からの欠陥の種類を示す出力Ｙ１
〜Ｙｍを供給されることに加えて、前記特徴抽出回路２
で抽出された特徴量Ｘ１〜Ｘｎも供給され、これにより
欠陥の種類の毎に欠陥の等級を判定し、出力Ｚ１〜Ｚｐ
として出力端子ＧＤ１〜ＧＤｐから出力される。Further, the neural network 4 outputs an output Y1 indicating the kind of defect from the decision tree logic 13.
~ Ym in addition to the feature extraction circuit 2
The feature quantities X1 to Xn extracted in step S4 are also supplied, and the defect grade is determined for each defect type, and the outputs Z1 to Zp are output.
Are output from the output terminals GD1 to GDp.
【００２１】ニューラルネット４は、複数のニューロン
からなるネットワークであり、各入力に対する重みのパ
ラメータは学習により決定される。The neural network 4 is a network composed of a plurality of neurons, and the weight parameter for each input is determined by learning.
【００２２】図２は、ニューラルネット４としてフィー
ドバック機構を持たない最も単純なニューラルネットを
採用した図１に示す表面検査装置の変形例を示す図であ
る。図２において、ニューラルネット４は第１ニューロ
ン４−１から第ｐニューロン４−ｐで構成され、その各
々はディシジョンツリーロジック１３からの欠陥種類の
判定出力によって発火する。FIG. 2 is a diagram showing a modification of the surface inspection apparatus shown in FIG. 1, which employs the simplest neural network having no feedback mechanism as the neural network 4. In FIG. 2, the neural network 4 is composed of a first neuron 4-1 to a p-th neuron 4-p, each of which is fired by a defect type determination output from the decision tree logic 13.
【００２３】図３は、図１および２に示す表面検査装置
に使用されているディシジョンツリーロジック１３の具
体的構成を示す図である。同図に示すディシジョンツリ
ーロジック１３は、「ｉｆ〜ｔｈｅｎ・・・」形式のロ
ジックでエキスパートの判断により欠陥の種類を形等か
ら分類するものであり、欠陥の長さＨｉ、欠陥の幅Ｗ
ｉ、欠陥の面積Ｓｉの大きさを判定する複数の判定ブロ
ックから構成されている。すなわち、欠陥の長さ、幅お
よび面積等のような欠陥の種類判別のイメージに近いパ
ラメータを特徴量として選択し、これらのパラメータを
エキスパートの各経験値と比較して、欠陥の種類を判定
している。FIG. 3 is a diagram showing a specific configuration of the decision tree logic 13 used in the surface inspection apparatus shown in FIGS. The decision tree logic 13 shown in the figure is a logic of the "if-then ..." format, which classifies the types of defects based on the expert's judgment, such as the defect length Hi and the defect width W.
i, a plurality of determination blocks for determining the size of the defect area Si. That is, parameters close to the image of defect type discrimination such as defect length, width, area, etc. are selected as feature quantities, and these parameters are compared with each expert's empirical value to determine the defect type. ing.
【００２４】図４は、図１に示した表面検査装置に使用
されているニューラルネット４の別の構成を示す図であ
る。このニューラルネットは、各欠陥種類毎に等級判定
を行うためのｍ個のニューラルネット４０−１〜４０−
ｍを有し、各ニューラルネット４０−１〜４０−ｍは特
徴抽出回路２からの特徴量Ｘ１〜Ｘｎを入力として等級
判定を行い、グレード１からグレードｐまでの信号を択
一的に出力する。FIG. 4 is a diagram showing another structure of the neural network 4 used in the surface inspection apparatus shown in FIG. This neural network is composed of m neural networks 40-1 to 40- for performing grade determination for each defect type.
Each of the neural nets 40-1 to 40-m has m and performs the grade determination by inputting the feature quantities X1 to Xn from the feature extraction circuit 2 and selectively outputs the signals from grade 1 to grade p. ..
【００２５】各ニューラルネット４０−１〜４０−ｐの
グレード１の各出力信号のうちの１つのみが出力スイッ
チＳ１で選択され、出力端子ＧＤ１から出力される。グ
レード２の各出力信号のうちの１つのみが出力スイッチ
Ｓ２で選択され、出力端子ＧＤ２から出力される。以下
同様にして、グレードｐの各出力信号のうちの１つのみ
が出力スイッチＳｐで選択され、出力端子ＧＤｐから出
力される。Only one of the grade 1 output signals of the neural nets 40-1 to 40-p is selected by the output switch S1 and output from the output terminal GD1. Only one of the grade 2 output signals is selected by the output switch S2 and output from the output terminal GD2. Similarly, only one of the output signals of grade p is selected by the output switch Sp and output from the output terminal GDp.
【００２６】出力スイッチＳ１〜Ｓｐは、ディシジョン
ツリーロジック１３からの種類判定出力信号Ｙ１〜Ｙｍ
を受けて、その種類に対応してニューラルネット４０−
１〜４０−ｍのうちの該当するものの出力を選択するよ
うに切り替え制御される。すなわち、ディシジョンツリ
ーロジック１３から種類判定出力信号Ｙｉ（ｉ＝１〜
ｍ）を入力されると、ニューラルネット４０−ｉの出力
が等級判定出力信号として出力端子ＧＤ１〜ＧＤｐから
出力される。The output switches S1 to Sp are the type determination output signals Y1 to Ym from the decision tree logic 13.
In response, the neural network 40-
Switching control is performed so as to select an output of a corresponding one of 1 to 40-m. That is, the type determination output signal Yi (i = 1 to 1) from the decision tree logic 13
m) is input, the output of the neural network 40-i is output from the output terminals GD1 to GDp as a class determination output signal.
【００２７】図５は、本発明の別の実施例に係わる表面
検査装置の判定アルゴリズムを示すフローチャートであ
る。同図に示す判定アルゴリズムは、ディシジョンツリ
ーによる判定（ステップ１１０）と学習機能による判定
（ステップ１２０）とを同時に行い、両者の結果を比較
し（ステップ１３０）、一致していれば、その結果をそ
のまま最終判定決定として採用し（ステップ１５０）、
異なっている場合には、更に補助学習判定を行い（ステ
ップ１４０）、その結果を最終判定結果とするものであ
る。FIG. 5 is a flow chart showing a determination algorithm of the surface inspection apparatus according to another embodiment of the present invention. The determination algorithm shown in the figure simultaneously performs the determination by the decision tree (step 110) and the determination by the learning function (step 120), compares the results of both (step 130), and if they match, the results are compared. Adopted as it is as the final judgment decision (step 150),
If they are different, auxiliary learning determination is further performed (step 140), and the result is used as the final determination result.
【００２８】図５に示す本実施例の表面検査装置は、上
述したように、ディシジョンツリー方式と学習方式の混
在システムとなっている。このような構成において、デ
ィシジョンツリーによる判定で誤判定となった場合と、
学習による判定で誤判定になった場合の中から、補助学
習判定によって正しい判定へと振り替えることができる
ので、それだけ一致率の向上を期待することができる。
また、学習機能を用いるには教示データ（サンプル）数
を少なくして一部欠落している場合等でも、ディシジョ
ンツリーで過去に蓄えた経験、知識でロジックを組むこ
とによりこの一部欠落を補間することができ、ディシジ
ョンツリーの利点である立ち上がりの速さを生かすこと
ができる。従って、従来に比較して、図５に示す実施例
の表面検査装置では、より速い立ち上がりとより高い一
致率を実現することができる。更に、学習機能の部分は
学習のためのデータ（特徴量と教示データ）を採集すれ
ばよいので、一度補助学習判定ロジックを作成した後
は、従来のディシジョンツリーを設計する作業量だけで
稼働することができる。The surface inspection apparatus of this embodiment shown in FIG. 5 is a mixed system of the decision tree system and the learning system as described above. In such a configuration, if the decision by the decision tree is erroneous,
Since it is possible to switch from a case in which a judgment by learning has resulted in an erroneous judgment to a correct judgment by auxiliary learning judgment, it is possible to expect an improvement in the matching rate.
To use the learning function, even if the number of teaching data (samples) is small and a part is missing, this missing part can be interpolated by forming a logic with the experience and knowledge accumulated in the past in the decision tree. Therefore, the rising speed which is an advantage of the decision tree can be utilized. Therefore, as compared with the conventional case, the surface inspection apparatus of the embodiment shown in FIG. 5 can realize a faster rise and a higher matching rate. Further, since the learning function part only needs to collect the data for learning (feature amount and teaching data), once the auxiliary learning judgment logic is created, it operates only with the amount of work for designing a conventional decision tree. be able to.
【００２９】図６は、本発明の更に別の実施例に係わる
表面検査装置の判定アルゴリズムを示すフローチャート
である。同図に示す判定アルゴリズムは、図５に示した
混在システムの判定アルゴリズムの処理の前にステップ
１０１〜１０５で示すようにディシジョンツリーおよび
学習処理を追加したものである。すなわち、まず、ステ
ップ１０１においてディシジョンツリーによる判定を行
うとともに、このディシジョンツリーによる判定の間に
オンラインでデータを採集して学習を進め（ステップ１
０３）、学習が十分習熟したと判断した後に（ステップ
１０５）、図５で示すと同じ混在システム切り替え、上
述したようにディシジョンツリーにより判定（ステップ
１１０）、学習機能による判定（ステップ１２０）、補
助学習判定（ステップ１４０）を行うようにしている。FIG. 6 is a flow chart showing a determination algorithm of the surface inspection apparatus according to still another embodiment of the present invention. The decision algorithm shown in the figure is obtained by adding a decision tree and a learning process as shown in steps 101 to 105 before the process of the decision algorithm of the mixed system shown in FIG. That is, first, in step 101, the decision tree is used for determination, and during the determination by the decision tree, data is collected online to advance learning (step 1
03), after determining that the learning is sufficiently familiar (step 105), the same mixed system switching as shown in FIG. 5 is performed, the determination by the decision tree (step 110), the determination by the learning function (step 120), and the assistance as described above. The learning determination (step 140) is performed.
【００３０】更に詳しくは、ステップ１０１，１１０の
ディシジョンツリーによる判定は、「ＩＦ〜ＴＨＥＮ・
・・」方式で、欠陥の特徴量を所定の値と比較し、その
判定結果の組み合せで欠陥の種類を決定する。また、ス
テップ１２０の学習による判定は、線形判別を基本と
し、欠陥の種類毎に線形関数を用意し、入力の特徴量デ
ータに対してその教師データである欠陥の種類の関数値
が最大となるように各関数の係数（＝重み）を求める。
この求め方は統計的な判別分析の手法や神経細胞のモデ
ルとしてのバーセプトン方式等を採用する。この方式で
は第１候補の欠陥の種類および第２の候補の欠陥の種類
まで求められ、それぞれに類似度が算出される。More specifically, the decision by the decision tree in steps 101 and 110 is "IF to THEN.
.. ”method, the feature amount of the defect is compared with a predetermined value, and the type of the defect is determined by the combination of the determination results. The determination by learning in step 120 is based on linear determination, and a linear function is prepared for each defect type, and the function value of the defect type, which is the teacher data for the input feature amount data, becomes maximum. Thus, the coefficient (= weight) of each function is obtained.
For this method, a statistical discriminant analysis method or the Vercepton method as a model of a nerve cell is adopted. In this method, the defect types of the first candidate and the defect types of the second candidate are obtained, and the similarity is calculated for each.
【００３１】ステップ１４０における補助学習判定は、
ステップ１１０および１２０の各判定結果に基づいて次
に図７で示すように最終判定を決定する。The auxiliary learning judgment in step 140 is
Based on the determination results of steps 110 and 120, the final determination is then made as shown in FIG.
【００３２】図７に示す補助学習判定処理について説明
する。図６のステップ１１０におけるディシジョンツリ
ーにより判定の結果を欠陥種類ｉと判定し、ステップ１
２０における学習機能により判定の結果を欠陥種類ｊ
（第１候補の欠陥種類）と判定したとすると、両者が不
一致であると（ステップ１３０）、ディシジョンツリー
により判定結果である欠陥種類ｉと学習による判定結果
である欠陥種類の第２候補ｋとを比較する（ステップ２
１０）。ディシジョンツリーによる判定と学習による判
定の第２候補が一致する場合には、学習による判定の第
１候補ｊの類似度αと第２候補ｋの類似度βとを比較
し、大差がないか否かを判定する（ステップ２２０）。
この比較判定は、０と１との間の定数ｘ（０＜ｘ＜１）
を類似度αに掛けたものが類似度βより小さいか否かを
判定することにより行い、大差がない場合には、欠陥種
類ｉを最終判定としている（ステップ２３０）。The auxiliary learning determination process shown in FIG. 7 will be described. Based on the decision tree in step 110 of FIG. 6, the result of the determination is determined as the defect type i, and step 1
The result of the judgment by the learning function in 20 is the defect type j
If it is determined that the defect type is the first candidate defect type (step 130), the defect type i, which is the determination result by the decision tree, and the second candidate k of the defect type, which is the determination result by learning, are determined by the decision tree. (Step 2
10). When the second candidate determined by the decision tree and the second candidate determined by the learning match, the similarity α of the first candidate j and the similarity β of the second candidate k determined by the learning are compared to determine whether or not there is a large difference. It is determined (step 220).
This comparison judgment is a constant x between 0 and 1 (0 <x <1)
Is performed by determining whether or not the product of the similarity α and the similarity β is smaller than the similarity β. If there is no great difference, the defect type i is the final determination (step 230).
【００３３】大差がある場合には、ディシジョンツリー
により判定結果である欠陥種類ｉと学習による判定結果
の第１候補である欠陥種類ｊの２種だけを対象に行った
学習による判定（補助学習）を行い（ステップ２４０，
２５０）、その結果により最終判定の欠陥種類を決定す
る（ステップ２６０，２７０）。If there is a large difference, the decision based on the decision tree (auxiliary learning) is performed only on two types, i.e., the defect type i as the decision result and the defect type j as the first candidate of the decision result by learning. (Step 240,
250), and the defect type of the final judgment is determined based on the result (steps 260 and 270).
【００３４】上述した実施例においては、ステップ１０
３において学習データを採取している間もステップ１０
１で示すようにディシジョンツリーの判別を行っている
ので、混在システムよりは若干一致率が劣るものの初期
の立ち上がりが良い。また、ステップ１０２として判定
決定される学習データの採取中の判定も比較的良い判定
結果を出すことが期待できる。そして、学習が十分習熟
した後に混在システムに切り替えることにより、図１０
の曲線Ｃで示すように更に一致率を向上させることがで
きる。このシステムでは、従来のディシジョンツリーと
同じ作業時間でシステムを立ち上げることができ、全体
としても高い一致率を上げることができる。In the embodiment described above, step 10
While collecting the learning data in step 3, step 10
Since the decision tree is discriminated as shown by 1, the initial rise is good although the matching rate is slightly inferior to the mixed system. Further, it can be expected that the determination during the collection of the learning data, which is determined and determined in step 102, also gives a relatively good determination result. Then, by switching to the mixed system after the learning is sufficiently mastered, FIG.
It is possible to further improve the coincidence rate as shown by the curve C in FIG. With this system, the system can be started up in the same working time as the conventional decision tree, and the overall high matching rate can be increased.
【００３５】[0035]
【発明の効果】以上説明したように、本発明によれば、
撮像手段で撮像した検査対象物の表面の画像信号から欠
陥の特徴量を抽出し、この抽出された特徴量に基づいて
欠陥の種類を判定するとともに、前記特徴量および判定
した欠陥の種類に基づいて欠陥の等級を判定するので、
欠陥の種類毎に異なる基準で等級判定を行うことができ
るとともに、学習の収束も速い。As described above, according to the present invention,
A feature amount of the defect is extracted from the image signal of the surface of the inspection target imaged by the image pickup means, the type of the defect is determined based on the extracted feature amount, and the feature amount and the determined defect type are used. Since the grade of the defect is judged by
The grade can be determined based on different criteria for each defect type, and the learning can be converged quickly.
【００３６】また、本発明によれば、ディシジョンツリ
ーによる判定および学習機能による判定を行い、両者の
結果を比較し、一致していればそのまま採用し、異なっ
ている場合には、補助学習判定を行い、その結果を最終
判定結果としているので、ディシジョンツリーによる判
定により一致率の立ち上がりを速くすることができると
ともに、学習による判定により一致率の向上を高くする
ことができる。Further, according to the present invention, the decision tree and the learning function are used for determination, the results of both are compared, and if they match, they are adopted as they are. If they differ, auxiliary learning judgment is made. Since the result is used as the final determination result, it is possible to speed up the rise of the matching rate by the determination by the decision tree and increase the improvement of the matching rate by the determination by the learning.
【図１】本発明の一実施例に係わる表面検査装置の構成
を示す図である。FIG. 1 is a diagram showing a configuration of a surface inspection apparatus according to an embodiment of the present invention.
【図２】図１の表面検査装置に使用されているニューラ
ルネットとしてフィードバック機構を持たない最も単純
なニューラルネットを採用した図１に示す表面検査装置
の変形例を示す図である。FIG. 2 is a diagram showing a modified example of the surface inspection apparatus shown in FIG. 1, which employs the simplest neural network having no feedback mechanism as the neural network used in the surface inspection apparatus of FIG.
【図３】図１および２に示す表面検査装置に使用されて
いるディシジョンツリーロジックの具体的構成を示す図
である。FIG. 3 is a diagram showing a specific configuration of a decision tree logic used in the surface inspection apparatus shown in FIGS. 1 and 2.
【図４】図１に示した表面検査装置に使用されているニ
ューラルネットの別の構成を示す図である。FIG. 4 is a diagram showing another configuration of a neural net used in the surface inspection apparatus shown in FIG.
【図５】本発明の別の実施例に係わる表面検査装置の判
定アルゴリズムを示すフローチャートである。FIG. 5 is a flow chart showing a determination algorithm of a surface inspection apparatus according to another embodiment of the present invention.
【図６】本発明の更に別の実施例に係わる表面検査装置
の判定アルゴリズムを示すフローチャートである。FIG. 6 is a flowchart showing a determination algorithm of a surface inspection apparatus according to still another embodiment of the present invention.
【図７】図６，７に示した表面検査装置の判定アルゴリ
ズムにおける補助学習判定処理を示すフローチャートで
ある。FIG. 7 is a flowchart showing auxiliary learning determination processing in the determination algorithm of the surface inspection apparatus shown in FIGS.
【図８】従来の表面検査装置の構成図である。FIG. 8 is a configuration diagram of a conventional surface inspection device.
【図９】ディシジョンツリーによる判定を利用した従来
の表面検査装置の構成図である。FIG. 9 is a configuration diagram of a conventional surface inspection apparatus that uses determination by a decision tree.
【図１０】従来のディシジョンツリーにより判別アルゴ
リズム、学習機能を用いた判別アルゴリズム、および本
発明の表面検査装置の判別アルゴリズムにおける一致率
を示すグラフである。FIG. 10 is a graph showing a matching rate in a discrimination algorithm using a conventional decision tree, a discrimination algorithm using a learning function, and a discrimination algorithm of the surface inspection apparatus of the present invention.
１ 検出器 ２ 特徴抽出回路 ４ ニューラルネット １３ ディシジョンツリーロジック 1 Detector 2 Feature Extraction Circuit 4 Neural Network 13 Decision Tree Logic
Claims (2)
と、該撮像手段で撮像した検査対象物の表面の画像信号
から欠陥の特徴量を抽出する特徴量抽出手段と、この抽
出された特徴量に基づいて欠陥の種類を判定する種類判
定手段と、前記特徴量および前記種類判定手段が判定し
た欠陥の種類に基づいて欠陥の等級を判定する等級判定
手段とを有することを特徴とする表面検査装置。1. An image pickup means for picking up an image of the surface of an inspection object, a feature amount extracting means for extracting a feature amount of a defect from an image signal of the surface of the inspection object picked up by the image pickup means, and the extracted feature. A surface having a type determining means for determining the type of defect based on the amount, and a grade determining means for determining the grade of the defect based on the type of the defect determined by the characteristic amount and the type determining means. Inspection equipment.
ら抽出された欠陥の特徴量および目視検査員による目視
判定信号から欠陥の程度および種類を判別するアルゴリ
ズムを作成する機能を有する表面検査装置であって、前
記判別アルゴリズムがディシジョンツリーによる判定ロ
ジック、学習機能による判定ロジック、両者の結果を比
較するロジック、補助学習ロジック、および最終判定決
定ロジックを有することを特徴とする表面検査装置。2. A surface inspection apparatus having a function of creating an algorithm for determining the degree and type of a defect from a feature amount of a defect extracted from an image signal of a surface of an inspection object and a visual determination signal by a visual inspector. The surface inspection apparatus, wherein the discrimination algorithm includes a decision logic based on a decision tree, a decision logic based on a learning function, a logic that compares the results of the two, an auxiliary learning logic, and a final decision determination logic.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4107810A JP3002325B2 (en) | 1992-04-27 | 1992-04-27 | Surface inspection equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4107810A JP3002325B2 (en) | 1992-04-27 | 1992-04-27 | Surface inspection equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05302897A true JPH05302897A (en) | 1993-11-16 |
| JP3002325B2 JP3002325B2 (en) | 2000-01-24 |
Family
ID=14468615
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4107810A Expired - Fee Related JP3002325B2 (en) | 1992-04-27 | 1992-04-27 | Surface inspection equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3002325B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0787289A1 (en) * | 1994-07-13 | 1997-08-06 | Kla Instruments Corporation | Automated photomask inspection apparatus and method |
| JPH10302049A (en) * | 1997-04-28 | 1998-11-13 | Kumamoto Techno Porisu Zaidan | Image identification device, its method, image detection/ identification device provided with the image identification device and medium recording image identification program |
| JP2004354250A (en) * | 2003-05-29 | 2004-12-16 | Nidek Co Ltd | Defect inspection device |
| WO2019003813A1 (en) * | 2017-06-29 | 2019-01-03 | 住友化学株式会社 | Idiosyncrasy sensing system and idiosyncrasy sensing method |
| JP2019016166A (en) * | 2017-07-06 | 2019-01-31 | 日本放送協会 | Neural network, encoder, decoder, learning method, control method, and program |
| CN109420859A (en) * | 2017-08-28 | 2019-03-05 | 发那科株式会社 | Machine learning device, machine learning system and machine learning method |
| JP2019106090A (en) * | 2017-12-14 | 2019-06-27 | オムロン株式会社 | Identification device, identification method, and program |
| WO2022130762A1 (en) * | 2020-12-15 | 2022-06-23 | Ａｇｃ株式会社 | Defect inspection device, defect inspection method, and manufacturing method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220105689A (en) * | 2021-01-20 | 2022-07-28 | 주식회사 솔루션에이 | System for determining defect of display panel based on machine learning model |
| KR20220161601A (en) * | 2021-05-27 | 2022-12-07 | 주식회사 솔루션에이 | System for determining defect of image inspection target using deep learning model |
-
1992
- 1992-04-27 JP JP4107810A patent/JP3002325B2/en not_active Expired - Fee Related
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0787289A1 (en) * | 1994-07-13 | 1997-08-06 | Kla Instruments Corporation | Automated photomask inspection apparatus and method |
| EP0787289A4 (en) * | 1994-07-13 | 1997-08-06 | ||
| JPH10302049A (en) * | 1997-04-28 | 1998-11-13 | Kumamoto Techno Porisu Zaidan | Image identification device, its method, image detection/ identification device provided with the image identification device and medium recording image identification program |
| JP2004354250A (en) * | 2003-05-29 | 2004-12-16 | Nidek Co Ltd | Defect inspection device |
| WO2019003813A1 (en) * | 2017-06-29 | 2019-01-03 | 住友化学株式会社 | Idiosyncrasy sensing system and idiosyncrasy sensing method |
| JPWO2019003813A1 (en) * | 2017-06-29 | 2019-06-27 | 住友化学株式会社 | Singularity detection system and singularity detection method |
| JP2019016166A (en) * | 2017-07-06 | 2019-01-31 | 日本放送協会 | Neural network, encoder, decoder, learning method, control method, and program |
| CN109420859A (en) * | 2017-08-28 | 2019-03-05 | 发那科株式会社 | Machine learning device, machine learning system and machine learning method |
| JP2019039874A (en) * | 2017-08-28 | 2019-03-14 | ファナック株式会社 | Machine learning device, machine learning system and machine learning method |
| JP2019106090A (en) * | 2017-12-14 | 2019-06-27 | オムロン株式会社 | Identification device, identification method, and program |
| WO2022130762A1 (en) * | 2020-12-15 | 2022-06-23 | Ａｇｃ株式会社 | Defect inspection device, defect inspection method, and manufacturing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3002325B2 (en) | 2000-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784633B (en) | Insulator defect automatic detection algorithm for electric power inspection video | |
| CN111855810B (en) | Rail foot damage identification method and system based on recurrent neural network | |
| CN110890102A (en) | Engine defect detection algorithm based on RNN voiceprint recognition | |
| JP3002325B2 (en) | Surface inspection equipment | |
| CN114743102A (en) | Furniture board oriented flaw detection method, system and device | |
| Puno et al. | Quality Assessment of Mangoes using Convolutional Neural Network | |
| Baker et al. | The classification of defects from ultrasonic data using neural networks: The Hopfield method | |
| CN109859199B (en) | Method for detecting quality of freshwater seedless pearls through SD-OCT image | |
| CN111783616B (en) | Nondestructive testing method based on data-driven self-learning | |
| CN117237736A (en) | Daqu quality detection method based on machine vision and deep learning | |
| US6694054B1 (en) | Pattern recognition process | |
| CN116051496A (en) | Real-time sewer defect detection method | |
| CN116452581B (en) | Intelligent voltage source state detection system and method based on machine vision | |
| CN115830302B (en) | Multi-scale feature extraction fusion power distribution network equipment positioning identification method | |
| CN114821174B (en) | Content perception-based transmission line aerial image data cleaning method | |
| CN117274197A (en) | PCB defect detection method based on YOLO v5 algorithm improvement | |
| CN112508946B (en) | Cable tunnel anomaly detection method based on antagonistic neural network | |
| CN115311238A (en) | Photovoltaic module defect damage identification method based on image analysis | |
| CN114882375A (en) | Intelligent identification method and device for tailing pond | |
| Mohammed et al. | A fuzzy system for detection and classification of textile defects to ensure the quality of fabric production. | |
| JPH09120455A (en) | Feature discriminating method using neural network | |
| CN112215355A (en) | Neural network model optimization system and method | |
| JP3099311B2 (en) | Surface inspection equipment | |
| CN117250322B (en) | Red date food safety intelligent monitoring method and system based on big data | |
| CN117474915B (en) | Abnormality detection method, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |