JP2019184489A - Image identifying device and goods manufacturing device equipped with image identifying device - Google Patents

Image identifying device and goods manufacturing device equipped with image identifying device Download PDF

Info

Publication number
JP2019184489A
JP2019184489A JP2018077653A JP2018077653A JP2019184489A JP 2019184489 A JP2019184489 A JP 2019184489A JP 2018077653 A JP2018077653 A JP 2018077653A JP 2018077653 A JP2018077653 A JP 2018077653A JP 2019184489 A JP2019184489 A JP 2019184489A
Authority
JP
Japan
Prior art keywords
image
identification
article
captured
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018077653A
Other languages
Japanese (ja)
Other versions
JP6890101B2 (en
Inventor
憲令 小林
Kenrei Kobayashi
憲令 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nitto Denko Corp
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Priority to JP2018077653A priority Critical patent/JP6890101B2/en
Priority to KR1020190041984A priority patent/KR102649500B1/en
Priority to TW108112632A priority patent/TWI812697B/en
Priority to CN201910294158.7A priority patent/CN110390662A/en
Publication of JP2019184489A publication Critical patent/JP2019184489A/en
Application granted granted Critical
Publication of JP6890101B2 publication Critical patent/JP6890101B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Inspection Of Paper Currency And Valuable Securities (AREA)
  • Vending Machines For Individual Products (AREA)
  • Packaging For Recording Disks (AREA)
  • Image Processing (AREA)

Abstract

To provide an image identifying device with which it is possible to speed up the process of identifying a large number of imaged images, and a goods manufacturing device equipped with the image identifying device.SOLUTION: Provided is an image identifying device 4 comprising: storage means 42 for storing an imaged image in which goods is imaged in plurality as a stock image; identification means 43 for executing an identification process of identifying the type of the stock image; and input means 44 for executing an input process of inputting a plurality of stock images stored in the storage means 42 collectively to the identification means 43. The identification means 43 is configured so as to execute the identification process on each of the plurality of stock images collectively inputted by the input means 44 in plurality in parallel. Also provided is a goods manufacturing device 1 equipped with the image identifying device 4.SELECTED DRAWING: Figure 3

Description

本発明は、画像の種類を識別する画像識別装置、及び該画像識別装置を備える物品製造装置に関する。   The present invention relates to an image identification device for identifying the type of an image, and an article manufacturing apparatus including the image identification device.

近年、物品の外観検査を行う際に、画像の種類を識別する画像識別装置が利用されている。かかる画像識別装置の一種として、例えば、特許文献１に開示されているような、前記物品としての半導体基板（以下、単に基板と称する）の外観を検査する画像分類装置が知られている。   2. Description of the Related Art In recent years, an image identification device that identifies an image type when an appearance inspection of an article is performed has been used. As one type of such an image identification device, for example, an image classification device for inspecting the appearance of a semiconductor substrate (hereinafter simply referred to as a substrate) as the article as disclosed in Patent Document 1 is known.

この画像分類装置は、基板上の検査対象領域を撮像して画像データを作成する撮像装置と、該撮像装置が作成した画像データのうちの欠陥が写り込んでいるものを欠陥の種類に応じて分類する検査・分類装置と、を備えている。   This image classification device is an image pickup device that picks up an image of an inspection target area on a substrate to create image data, and the image data created by the image pickup device includes a defect in accordance with the type of defect. And an inspection / classification device for classification.

検査・分類装置は、画像データから欠陥を検出する欠陥検出部と、欠陥検出部が欠陥を検出した画像データを欠陥の種類に応じて分類する分類処理を実行する分類制御部と、を有する。そして、分類制御部は、欠陥検出部が画像データから欠陥を検出する毎に該画像データを分類（識別）するように構成されている。   The inspection / classification apparatus includes a defect detection unit that detects a defect from image data, and a classification control unit that executes a classification process for classifying image data in which the defect detection unit has detected a defect according to the type of defect. The classification control unit is configured to classify (identify) the image data every time the defect detection unit detects a defect from the image data.

そのため、前記画像分類装置は、基板の欠陥の有無を確認でき、さらに、欠陥が写り込んでいる画像データを欠陥の種類毎に分けて集約することによって欠陥の解析を効率的に行える状態を整えることができる。   Therefore, the image classification apparatus can confirm the presence or absence of defects on the substrate, and further prepares a state in which defect analysis can be efficiently performed by collecting image data in which defects are reflected for each defect type. be able to.

特開２０１６−１１５１１５号公報JP 2006-115115 A

ところで、検査対象となる基板の状態によっては欠陥が写り込んでいる画像データが多数生成されることがあるが、上記従来の画像分類装置では、分類制御部が、欠陥が写り込んでいる画像データを生成された順（欠陥が検出された順）に従って逐次分類するように構成されているため、一つの画像データに対する分類処理を実行している間は、他の画像データに対する分類処理が待機状態となる。   By the way, depending on the state of the substrate to be inspected, a large number of image data in which defects are reflected may be generated. In the conventional image classification apparatus, the classification control unit uses the image data in which defects are reflected. Are classified sequentially according to the order in which they are generated (the order in which defects are detected), so that while the classification process for one image data is being executed, the classification process for the other image data is in a standby state. It becomes.

従って、上記従来の画像分類装置では、画像データに対する分類処理が多数滞留し、欠陥が写り込んでいる画像データの全てを分類し終えるまでに時間がかかることが問題となっている。また、上記従来の画像分類装置が物品の製造装置に組み込まれている場合は、物品の製造工程の流れに滞りが生じることも問題となっている。   Therefore, the conventional image classification apparatus has a problem that a lot of classification processing for image data stays and it takes time to classify all the image data in which defects are reflected. In addition, when the conventional image classification apparatus is incorporated in an article manufacturing apparatus, there is a problem in that the flow of the article manufacturing process is delayed.

なお、このような問題は、画像データから欠陥を検出するための装置だけに限らず、画像を識別する機能を有する装置全般に当てはまる問題である。   Such a problem is applicable not only to a device for detecting a defect from image data but also to all devices having a function of identifying an image.

そこで、本発明は、かかる実情に鑑み、多数の撮像画像に対する識別処理を高速化できる画像識別装置、及び該画像識別装置を備える物品製造装置を提供することを課題とする。   In view of this situation, an object of the present invention is to provide an image identification apparatus capable of speeding up identification processing for a large number of captured images, and an article manufacturing apparatus including the image identification apparatus.

本発明の画像識別装置は、
物品を撮像した撮像画像をストック画像として複数格納する格納手段と、
前記ストック画像の種類を識別する識別処理を実行する識別手段と、
前記格納手段に格納されている複数の前記ストック画像を前記識別手段に一括して入力する入力処理を実行する入力手段と、を備え、
前記識別手段は、前記入力手段によって一括して入力された複数の前記ストック画像のそれぞれに対する識別処理を複数並列的に実行するように構成される。 The image identification device of the present invention is
Storage means for storing a plurality of captured images obtained by capturing articles as stock images;
Identification means for performing identification processing for identifying the type of the stock image;
Input means for executing input processing for collectively inputting the plurality of stock images stored in the storage means to the identification means;
The identification means is configured to execute in parallel a plurality of identification processes for each of the plurality of stock images that are collectively input by the input means.

かかる画像識別装置によれば、種類を識別する対象となる複数の画像がストック画像として格納手段にまとめて格納され、格納手段に格納された複数のストック画像は、入力手段によって一括して識別手段に入力される。   According to such an image identification device, a plurality of images to be classified are stored together in the storage means as stock images, and the plurality of stock images stored in the storage means are collectively identified by the input means. Is input.

そして、識別手段では、入力手段によって一括して入力された複数のストック画像のそれぞれに対する識別処理が複数並列的に行われるため、各ストック画像に対する識別処理が、実行待ち（すなわち、別のストック画像に対する識別処理の終了を待機している状態）になることを抑えることができる。   In the identification unit, a plurality of identification processes for each of the plurality of stock images input in a batch by the input unit are performed in parallel, so that the identification process for each stock image is waiting for execution (that is, another stock image). (Waiting for completion of identification processing for).

従って、前記画像識別装置では、各ストック画像に対する識別処理の実行待ちの時間をなくすことができる。   Therefore, in the image identification device, it is possible to eliminate the waiting time for executing the identification process for each stock image.

また、本発明の画像識別装置は、
複数の前記撮像画像を取り込む取込処理を連続的に繰り返して実行する画像取込手段と、
該画像取込手段が取り込んだ複数の前記撮像画像のうち欠陥の候補となる欠陥候補点が写る欠陥候補画像を抽出し、該欠陥候補画像を前記ストック画像として前記格納手段に格納する抽出処理を実行する欠陥候補抽出手段と、を備え、
前記識別手段は、前記識別処理において、前記ストック画像として前記格納手段に格納されている前記欠陥候補画像の前記欠陥候補点の正誤を識別するように構成され、
先に実行された前記取込処理で取り込まれた前記撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理の完了前に、該先に実行された前記取込処理の次に実行される後の前記取込処理が実行完了するように構成されていてもよい。 The image identification device of the present invention is
Image capturing means for continuously and repeatedly performing capture processing for capturing a plurality of the captured images;
An extraction process of extracting a defect candidate image in which a defect candidate point as a defect candidate is captured from the plurality of captured images captured by the image capturing unit, and storing the defect candidate image in the storage unit as the stock image. Defect candidate extraction means to be executed,
The identification unit is configured to identify the correctness of the defect candidate point of the defect candidate image stored in the storage unit as the stock image in the identification process,
Before the completion of each of the extraction process, the input process, and the identification process for the captured image captured in the capture process performed previously, the capture process performed before the completion You may be comprised so that the said acquisition process after being performed may complete execution.

上記構成の画像識別装置によれば、先に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理が完了する前に、先に実行された取込処理の後に実行される取込処理が実行完了するように構成されているため、先に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理が完了した時点から、後に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理を開始するまでの時間に余裕を持たせることができる。   According to the image identification device having the above configuration, before each of the extraction process, the input process, and the identification process for a plurality of captured images captured in the capture process performed previously is completed, Since the capture process executed after the executed capture process is configured to be completed, the extraction process and the input process for a plurality of captured images captured in the previously performed capture process From the time when each process of the identification process is completed to the start of each process of the extraction process, the input process, and the identification process for a plurality of captured images captured by the capture process executed later You can give yourself time.

さらに、本発明の画像識別装置において、
前記識別手段を実行するための識別処理ファイルは、他の処理を実行するための処理ファイルとは別の処理ファイルであってもよい。 Furthermore, in the image identification device of the present invention,
The identification processing file for executing the identification means may be a processing file different from the processing file for executing other processing.

上記構成の画像識別装置によれば、識別処理を実行するための識別処理ファイルが他の処理を実行するための処理ファイルからは独立しているため、既存の識別処理ファイルを新たな識別処理ファイルに書き換えるだけで、識別手段による処理内容に変更を加えることができる。   According to the image identification device having the above configuration, since the identification processing file for executing the identification processing is independent from the processing file for executing other processing, the existing identification processing file is replaced with a new identification processing file. It is possible to change the contents of processing by the identification means simply by rewriting to.

本発明の物品製造装置は、
物品を搬送する物品搬送装置と、
該物品搬送装置で搬送している前記物品を撮像して撮像画像を複数作成する撮像装置と、
上記何れかの画像識別装置と、
前記物品搬送装置による前記物品の搬送経路上において前記物品搬送装置よりも搬送方向下流側に設置されるマーキング装置であって、該画像識別装置の前記識別手段による前記ストック画像の識別結果に応じて、該識別結果を得たストック画像に写る物品にマークを付すマーク処理を実行するマーキング装置と、を備え、
前記画像識別装置は、前記撮像装置が物品を撮像して前記撮像画像を作成した後、前記マーキング装置が該物品に前記マーク処理を実行する前に該撮像画像に対する前記識別処理を完了させるように構成される。 The article manufacturing apparatus of the present invention comprises:
An article conveying device for conveying an article;
An imaging device for imaging the article being conveyed by the article conveying device and creating a plurality of captured images;
Any of the above image identification devices;
A marking device installed on the downstream side in the transport direction of the article transport device on the transport path of the product by the article transport device, according to the identification result of the stock image by the identification means of the image identification device A marking device for performing a mark process for marking an article reflected in a stock image obtained from the identification result,
The image identification device is configured to complete the identification processing on the captured image after the imaging device images the article and creates the captured image before the marking device performs the mark processing on the article. Composed.

撮像装置で撮像した撮像画像については、撮像装置で撮像された物品が後工程であるマーク処理が実行される前に識別処理が完了するため、物品の製造工程を滞らせることなく撮像画像（物品）の識別を完了させることができる。   For the captured image captured by the imaging device, the identification process is completed before the mark process, which is a subsequent process, is performed on the article imaged by the imaging apparatus. ) Identification can be completed.

以上のように、本発明の画像識別装置、及び該画像識別装置を備える物品製造装置によれば、多数の撮像画像に対する識別処理を高速化できる、という優れた効果を奏し得る。   As described above, according to the image identification device of the present invention and the article manufacturing apparatus including the image identification device, it is possible to achieve an excellent effect that the identification processing for a large number of captured images can be speeded up.

図１は、本発明の一実施形態に係る物品製造装置の概要図である。FIG. 1 is a schematic diagram of an article manufacturing apparatus according to an embodiment of the present invention. 図２は、同実施形態に係る撮像装置の説明図である。FIG. 2 is an explanatory diagram of the imaging apparatus according to the embodiment. 図３は、同実施形態に係る画像識別装置のブロック図である。FIG. 3 is a block diagram of the image identification device according to the embodiment. 図４は、同実施形態に係る物品製造装置の動作説明図である。FIG. 4 is an operation explanatory diagram of the article manufacturing apparatus according to the embodiment. 図５は、同実施形態に係る画像識別装置の動作説明図である。FIG. 5 is an operation explanatory diagram of the image identification device according to the embodiment.

以下、本発明の一実施形態に係る画像識別装置について添付図面を参照しつつ説明を行う。   Hereinafter, an image identification apparatus according to an embodiment of the present invention will be described with reference to the accompanying drawings.

本実施形態に係る画像識別装置は、物品等の撮像画像の種類等を識別するように構成されており、例えば、製造した物品の検査に利用される。なお、本実施形態では、画像識別装置が組み込まれた物品製造装置について説明を行うこととする。   The image identification device according to the present embodiment is configured to identify the type or the like of a captured image such as an article, and is used, for example, for inspection of a manufactured article. In this embodiment, an article manufacturing apparatus in which an image identification device is incorporated will be described.

本実施形態に係る物品製造装置は、偏光フィルム等の長尺なシート状の物品（以下、シートと称する）を製造する装置である。   The article manufacturing apparatus according to the present embodiment is an apparatus for manufacturing a long sheet-like article (hereinafter referred to as a sheet) such as a polarizing film.

物品製造装置１は、図１に示すように、前記物品を搬送する物品搬送装置２と、該物品搬送装置２で搬送している物品を撮像して撮像画像（図２において符号「Ｐ１」を付している画像）を複数作成する撮像装置３と、撮像装置３で作成した撮像画像の種類を識別する画像識別装置４と、物品搬送装置２による物品の搬送経路上において物品搬送装置２よりも搬送方向下流側に設置されるマーキング装置５であって、該画像識別装置４の識別手段によるストック画像の識別結果に応じて、識別結果を得たストック画像に写る物品にマークを付すマーク処理を実行するマーキング装置５と、を備えている。   As shown in FIG. 1, the article manufacturing apparatus 1 captures an image of an article transporting apparatus 2 that transports the article and an article that is transported by the article transporting apparatus 2 (a symbol “P1” in FIG. 2). Image pickup device 3 for creating a plurality of attached images), an image identification device 4 for identifying the type of the picked-up image created by the image pickup device 3, and the article transport device 2 on the article transport path by the article transport device 2. Is a marking device 5 installed on the downstream side in the conveying direction, and in accordance with the identification result of the stock image by the identification means of the image identification device 4, a mark process for marking the article appearing in the stock image obtained the identification result And a marking device 5 for executing

物品搬送装置２は、シートを原反から送り出しながら搬送するロール搬送を行うように構成されている。   The article conveying apparatus 2 is configured to perform roll conveyance for conveying a sheet while feeding the sheet from the original fabric.

また、物品搬送装置２は、撮像装置３による物品の撮像及び撮像画像の作成、画像識別装置４による撮像画像の識別、マーキング装置５によるマーク処理を行っている間もシートを搬送し続けるように構成されている。   In addition, the article conveying device 2 continues to convey the sheet while performing imaging of the article by the imaging device 3 and creation of the captured image, identification of the captured image by the image identification device 4, and mark processing by the marking device 5. It is configured.

そのため、本実施形態に係る物品製造装置１は、搬送状態（搬送方向上流側から下流側に向かって送られている状態）のシートを撮像装置３で撮像して撮像画像を作成し、また、搬送状態のシートにマーキング装置５がマーク処理を行うように構成されている。   Therefore, the article manufacturing apparatus 1 according to the present embodiment creates a captured image by capturing an image of the sheet in the transported state (a state of being sent from the upstream side toward the downstream side in the transport direction) with the imaging device 3, The marking device 5 is configured to perform mark processing on the conveyed sheet.

さらに、撮像装置３が作成した撮像画像については、該撮像画像が作成された後、シートのうちの撮像画像に写る箇所にマーク処理が実行される前に画像識別装置４による識別が完了するようになっている。   Further, the captured image created by the imaging device 3 is identified by the image identification device 4 after the captured image is created and before mark processing is performed on a portion of the sheet that appears in the captured image. It has become.

撮像装置３は、図２に示すように、物品（シート）を撮像して撮像画像を作成する動作（以下、撮像動作と称する）を連続的に行う撮像部３０を有する。   As illustrated in FIG. 2, the imaging device 3 includes an imaging unit 30 that continuously performs an operation (hereinafter referred to as an imaging operation) of capturing an image of an article (sheet) and creating a captured image.

また、撮像装置３では、複数の撮像部３０がシートの幅方向（シートの送り方向に対して直交する方向）で一列に並べて設置されている。そして、複数の撮像部３０は、同一又は略同一のタイミングで撮像動作を連続的に行うように構成されている。   In the imaging device 3, a plurality of imaging units 30 are arranged in a row in the sheet width direction (a direction orthogonal to the sheet feeding direction). The plurality of imaging units 30 are configured to continuously perform imaging operations at the same or substantially the same timing.

そのため、撮像装置３は、同一又は略同一のタイミングでシートを撮像して作成した複数の撮像画像を連続的に出力するように構成されている。   Therefore, the imaging device 3 is configured to continuously output a plurality of captured images created by imaging a sheet at the same or substantially the same timing.

画像識別装置４は、図３に示すように、撮像画像を取り込む取込処理を連続的に繰り返して実行する画像取込手段４０と、画像取込手段４０が取り込んだ複数の撮像画像のうち欠陥の候補が写る欠陥候補画像（図２において符号「Ｐ２」を付している画像）を抽出する抽出処理を実行する欠陥候補抽出手段４１と、欠陥候補抽出手段４１で抽出した欠陥候補画像をストック画像として複数格納する格納処理を実行する格納手段４２と、ストック画像の種類を識別する識別処理を実行する識別手段４３と、格納手段４２に格納されている複数のストック画像を識別手段４３に一括して入力する入力処理を実行する入力手段４４と、前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理を実行するための命令情報を一時的に記憶する記憶処理を実行するバッファ手段４５と、を備えている。なお、識別装置は、ＣＰＵや、メモリ、ハードディスク等を備える装置であればよい。   As shown in FIG. 3, the image identification device 4 includes an image capturing unit 40 that repeatedly executes a capturing process for capturing a captured image, and a defect among a plurality of captured images captured by the image capturing unit 40. The defect candidate extraction means 41 for executing an extraction process for extracting a defect candidate image (an image denoted by reference numeral “P2” in FIG. 2) in which the candidate is shown, and the defect candidate image extracted by the defect candidate extraction means 41 are stocked. Storage means 42 for executing storage processing for storing a plurality of images, identification means 43 for executing identification processing for identifying the type of stock image, and a plurality of stock images stored in the storage means 42 are collectively stored in the identification means 43. And an input means 44 for executing input processing, and a memory for temporarily storing instruction information for executing each of the extraction processing, the input processing, and the identification processing And buffer means 45 for executing management, and a. Note that the identification device may be a device including a CPU, a memory, a hard disk, and the like.

画像取込手段４０は、撮像装置３から出力された複数の撮像画像（撮像部３０が同一又は略同一のタイミングで作成した複数の撮像画像）を取り込むように構成されている。なお、画像取込手段４０は、撮像装置３から撮像画像を直接取り込むように構成されていてもよいし、撮像装置３から撮像画像を間接的に取り込むように構成されていてもよい（すなわち、撮像装置３から出力された撮像画像を別の装置を介して取り込むように構成されていてもよい）。   The image capturing means 40 is configured to capture a plurality of captured images (a plurality of captured images created by the image capturing unit 30 at the same or substantially the same timing) output from the image capturing apparatus 3. Note that the image capturing means 40 may be configured to directly capture a captured image from the imaging device 3 or may be configured to indirectly capture a captured image from the imaging device 3 (that is, The captured image output from the imaging device 3 may be captured via another device).

欠陥候補抽出手段４１は、画像取込手段４０が取り込んだ撮像画像の中から欠陥である可能性のある欠陥候補点が写る欠陥候補画像を作成（抽出）するように構成されている。   The defect candidate extraction unit 41 is configured to create (extract) a defect candidate image in which a defect candidate point that may be a defect is captured from the captured image captured by the image capturing unit 40.

具体的に説明すると、欠陥候補抽出手段４１は、撮像画像の中から欠陥候補点を検出する検出処理と、検出処理で検出した欠陥候補点が写る画素と該画素の周囲の所定数の画素とを含む領域を抽出して欠陥候補画像を作成する候補画像作成処理とを実行し、作成した欠陥候補画像をストック画像として格納手段４２に格納するように構成されている。   More specifically, the defect candidate extraction means 41 includes a detection process for detecting defect candidate points from the captured image, a pixel in which the defect candidate points detected by the detection process are shown, and a predetermined number of pixels around the pixel. And a candidate image creation process for creating a defect candidate image by extracting a region including the defect candidate image, and storing the created defect candidate image as a stock image in the storage means 42.

なお、検出処理で撮像画像の中から欠陥候補点を検出するには、例えば、２値化処理と粒子解析とを行えばよい。   In order to detect a defect candidate point from the captured image by the detection process, for example, a binarization process and a particle analysis may be performed.

格納手段４２には、欠陥候補抽出手段４１が同じ時点で撮像された撮像画像から抽出した複数の欠陥候補画像がストック画像としてひとまとめにして格納（記憶）される。なお、欠陥候補抽出手段４１から一つの欠陥候補画像だけが抽出された場合、格納手段４２には、この一つの欠陥候補画像だけが記憶されてもよい。   The storage means 42 stores (stores) a plurality of defect candidate images extracted from the captured images taken at the same time by the defect candidate extraction means 41 as a stock image. When only one defect candidate image is extracted from the defect candidate extraction unit 41, the storage unit 42 may store only this one defect candidate image.

入力手段４４の入力処理では、格納手段４２にストック画像として格納されている欠陥候補画像、より具体的には、撮像部３０により同一又は略同一のタイミングで作成された複数の欠陥候補画像を一括して識別手段４３に入力するように構成されている。   In the input process of the input unit 44, defect candidate images stored as stock images in the storage unit 42, more specifically, a plurality of defect candidate images created at the same or substantially the same timing by the imaging unit 30 are collectively displayed. The identification means 43 is then input.

識別手段４３は、入力手段４４によって一括して入力された複数の欠陥候補画像を受け取る受取手段４３０と、該受取手段４３０で受け取った複数の欠陥候補画像のそれぞれに対する識別処理を並列的に実行する識別実行手段４３１と、を有する。   The identification unit 43 executes in parallel a receiving unit 430 that receives a plurality of defect candidate images that are collectively input by the input unit 44, and an identification process for each of the plurality of defect candidate images received by the receiving unit 430. Identification execution means 431.

識別実行手段４３１は、欠陥候補画像に対する識別処理により、該欠陥候補画像の種類を識別するように構成されている。本実施形態に係る識別実行手段４３１は、欠陥候補画像に写る欠陥候補点の正誤、すなわち、欠陥候補点が欠陥であるか正常な部分であるかを識別するように構成されている。このように、識別実行手段４３１は、欠陥候補画像について、欠陥が写る画像であるか、欠陥が無い正常な部分の画像であるかを識別するように構成されている。   The identification execution means 431 is configured to identify the type of defect candidate image by the identification process for the defect candidate image. The identification execution means 431 according to the present embodiment is configured to identify whether the defect candidate points appear in the defect candidate image are correct, that is, whether the defect candidate point is a defect or a normal part. As described above, the identification execution unit 431 is configured to identify whether the defect candidate image is an image in which a defect is shown or an image of a normal part having no defect.

識別実行手段４３１は、いわゆる、識別器に相当する構成である。また、本実施形態に係る識別実行手段４３１は、画像識別装置４とは別の装置で作成（学習）した識別器を処理ファイル（本実施形態では、ダイナミックリンクライブラリ）に変換した識別処理ファイルで構成されている。また、識別実行手段４３１を実行するための識別処理ファイルは、他の処理（例えば、画像取込手段４０や、欠陥候補抽出手段４１、格納手段４２、入力手段４４等で行う処理）を実行するための処理ファイルとは別のデータであることが好ましい。このようにすれば、識別処理ファイルが他の処理を実行するための処理ファイルからは独立しているため、既存の識別処理ファイルを新たな識別処理ファイルに書き換えるだけで、識別手段４３の処理内容に変更を加えることができる。   The identification execution means 431 has a configuration corresponding to a so-called classifier. The identification execution means 431 according to the present embodiment is an identification processing file obtained by converting an identifier created (learned) by a device different from the image identification device 4 into a processing file (dynamic link library in the present embodiment). It is configured. The identification processing file for executing the identification execution unit 431 executes other processing (for example, processing performed by the image capturing unit 40, the defect candidate extraction unit 41, the storage unit 42, the input unit 44, etc.). It is preferable that the data is different from the processing file. In this way, since the identification processing file is independent of the processing file for executing other processing, the processing content of the identification means 43 can be obtained simply by rewriting the existing identification processing file with a new identification processing file. You can make changes to

なお、識別手段４３は、受取手段４３０で受け取った複数の欠陥候補画像のそれぞれの識別処理の全てを並列的に実行するように構成されていてもよいし、複数の欠陥候補画像のそれぞれの識別処理を所定数ずつ並列的に実行するように構成されていてもよい。   Note that the identification unit 43 may be configured to execute in parallel all the identification processing of each of the plurality of defect candidate images received by the reception unit 430, or identify each of the plurality of defect candidate images. A predetermined number of processes may be executed in parallel.

また、識別手段４３は、識別実行手段４３１内で複数の欠陥候補画像のそれぞれの識別処理を複数並列的に実行するように構成されていてもよいし、識別実行手段４３１で一つの欠陥候補画像の識別処理行うタスクを複数並列的に実行するように構成されていてもよい。   The identification unit 43 may be configured to execute a plurality of identification processes of each of the plurality of defect candidate images in the identification execution unit 431 in parallel, or the identification execution unit 431 may perform one defect candidate image. A plurality of tasks for performing the identification processing may be executed in parallel.

このように、識別手段４３は、複数（２つ以上）の欠陥候補画像の識別を並列的に行うように構成されている。   As described above, the identification unit 43 is configured to identify a plurality (two or more) of defect candidate images in parallel.

バッファ手段４５に書き込まれる命令情報には、撮像装置３で同一又は略同一のタイミングで作成された複数の撮像画像や、該複数の撮像画像に関する抽出処理、入力処理、識別処理を実行するための命令が含まれている。   The command information written in the buffer means 45 includes a plurality of captured images created at the same or substantially the same timing by the imaging device 3, and extraction processing, input processing, and identification processing related to the plurality of captured images. Instructions are included.

本実施形態の画像識別装置４は、２つのバッファ手段４５を備えており、一方のバッファ手段４５に書き込まれている命令情報に基づいて抽出処理、入力処理、識別処理が実行されている間、他方のバッファ手段４５には、一方のバッファ手段４５に書き込まれている命令情報とは別の命令情報が書き込まれる。   The image identification device 4 of the present embodiment includes two buffer means 45. While the extraction process, the input process, and the identification process are being executed based on the command information written in one buffer means 45, In the other buffer means 45, instruction information different from the instruction information written in the one buffer means 45 is written.

そして、一方のバッファ手段４５に書き込まれている命令情報に基づく抽出処理、入力処理、識別処理が完了した時点で、他方のバッファ手段４５に書き込まれている命令情報に基づいて抽出処理、入力処理、識別処理が順番に実行される。   When the extraction process, the input process, and the identification process based on the instruction information written in one buffer means 45 are completed, the extraction process and the input process are performed based on the instruction information written in the other buffer means 45. The identification processing is executed in order.

そして、他方のバッファ手段４５に書き込まれている命令情報に基づく抽出処理、入力処理、識別処理が完了すると、一方のバッファ手段４５には、さらに別の命令情報が新たに書き込まれる。   When the extraction process, the input process, and the identification process based on the instruction information written in the other buffer means 45 are completed, another instruction information is newly written in the one buffer means 45.

このように、各バッファ手段４５では、書き込まれている命令情報の読み出し（すなわち、命令情報に基づく各処理の実行）と、命令情報の書き込みとが異なるタイミングで交互に実行されている。   Thus, in each buffer means 45, the reading of the written instruction information (that is, the execution of each process based on the instruction information) and the writing of the instruction information are alternately executed at different timings.

また、一方のバッファ手段４５と他方のバッファ手段４５とには、撮像装置３による撮像動作が行われる度に、該撮像動作で作成した撮像画像と、該撮像画像に関する処理の命令とを含む命令情報が交互に書き込まれる。   In addition, each of the buffer means 45 and the other buffer means 45 includes an instruction including a captured image created by the imaging operation and a processing instruction related to the captured image every time an imaging operation is performed by the imaging apparatus 3. Information is written alternately.

画像識別装置４の識別手段４３からは、欠陥候補画像の識別結果として、該欠陥候補画像が欠陥が写っている画像(欠陥の画像)であるかを示す情報が識別結果として出力されるため、マーキング装置５は、マーク処理において、物品搬送装置２によって搬送されている物品のうち、欠陥のある物品に対して欠陥が存在することを示すマークを付すように構成されている。   Since the identification means 43 of the image identification device 4 outputs information indicating whether the defect candidate image is an image showing a defect (defect image) as the identification result of the defect candidate image, In the mark processing, the marking device 5 is configured to put a mark indicating that a defect is present with respect to a defective article among the articles conveyed by the article conveyance device 2.

本実施形態に係る物品は長尺なシートであるが、マーキング装置５は、例えば、識別手段４３から欠陥候補画像が欠陥の画像であることを示す情報が識別結果として出力された場合に、欠陥候補画像の抽出元となった撮像画像を撮像した箇所にマークを付すように構成されていればよい。また、識別手段４３から欠陥候補画像が正常な画像であることを示す情報が識別結果として出力された場合は、マークを付さずに物品を通過させるようにすればよい。   The article according to the present embodiment is a long sheet. However, the marking device 5 may detect defects when, for example, information indicating that the defect candidate image is a defect image is output from the identification unit 43 as the identification result. What is necessary is just to be comprised so that a mark may be attached | subjected to the location which imaged the captured image used as the extraction source of a candidate image. Further, when information indicating that the defect candidate image is a normal image is output from the identification unit 43 as the identification result, the article may be passed without being marked.

なお、マーキング装置５で物品に付すマークには、例えば、シールや、印刷、刻印等を採用すればよい。   In addition, what is necessary is just to employ | adopt a seal | sticker, printing, marking, etc. for the mark attached | subjected to articles | goods with the marking apparatus 5, for example.

本実施形態に係る物品製造装置１の構成は以上の通りである。続いて、本実施形態に係る物品製造装置１の動作を説明する。   The configuration of the article manufacturing apparatus 1 according to the present embodiment is as described above. Then, operation | movement of the article manufacturing apparatus 1 which concerns on this embodiment is demonstrated.

物品製造装置１では、図４に示すように、シート状の物品が物品搬送装置２により絶えず搬送されており（Ｓ１）、撮像装置３が搬送状態の物品に対して撮像動作を連続的に実行している（Ｓ３、Ｓ８，Ｓ１２）。   In the article manufacturing apparatus 1, as shown in FIG. 4, sheet-like articles are continuously conveyed by the article conveying apparatus 2 (S1), and the imaging apparatus 3 continuously executes an imaging operation on the conveyed articles. (S3, S8, S12).

本実施形態に係る物品製造装置１では、上述のように、前記一方のバッファ手段４５に書き込まれている命令情報に基づく処理を実行している間（Ｓ２、Ｓ１０）に前記他方のバッファ手段４５に命令情報が書き込まれ（Ｓ５、Ｓ１３）、前記他方のバッファ手段４５に書き込まれている命令情報に基づく処理を実行している間（Ｓ６）に前記一方のバッファ手段４５に命令情報が書き込まれる（Ｓ９）。   In the article manufacturing apparatus 1 according to the present embodiment, as described above, the other buffer unit 45 is executed during the processing based on the command information written in the one buffer unit 45 (S2, S10). Instruction information is written in (S5, S13), and the instruction information is written in the one buffer means 45 during execution of processing based on the instruction information written in the other buffer means 45 (S6). (S9).

このように、画像識別装置４は、撮像装置３が撮像動作で作成した撮像画像に対する処理を実行している間に、撮像装置３が次の撮像動作で作成した撮像画像に対する処理を実行する準備を完了させる。そのため、画像識別装置４は、実行中の処理が完了した直後に次の新たな処理を開始することができ、これにより、識別処理の後の工程（本実施形態ではマーキング装置５によるマーク処理（Ｓ３、Ｓ７））の実行中に次の識別処理を開始することも可能となる（Ｓ６、Ｓ１０）。   In this way, the image identification device 4 prepares to execute processing for the captured image created by the imaging device 3 in the next imaging operation while the imaging device 3 performs processing for the captured image created by the imaging operation. To complete. For this reason, the image identification device 4 can start the next new process immediately after the process being executed is completed, and thereby, a process subsequent to the identification process (in the present embodiment, a mark process ( It is also possible to start the next identification process during the execution of S3 and S7)) (S6 and S10).

画像識別装置４の処理についてより具体的に説明すると、図５に示すように、撮像装置３は、撮像動作（Ｓ１４）で作成した複数の撮像画像を画像識別装置４に向けて出力する（Ｓ１５）。   The processing of the image identification device 4 will be described more specifically. As shown in FIG. 5, the imaging device 3 outputs a plurality of captured images created in the imaging operation (S14) toward the image identification device 4 (S15). ).

画像識別装置４に出力された複数の撮像画像は、画像取込手段４０によって取り込まれ（Ｓ１６）、命令情報に含めて前記一方のバッファ手段４５に書き込まれる（Ｓ１７）。   The plurality of captured images output to the image identification device 4 are captured by the image capturing unit 40 (S16), and are included in the command information and written to the one buffer unit 45 (S17).

そして、前記一方のバッファ手段４５に書き込まれた命令情報に基づいて、撮像画像に関する各種処理が開始される。具体的に説明すると、まず、欠陥候補抽出手段４１が複数の撮像画像の中から欠陥の候補が写る欠陥候補画像を抽出し（Ｓ１８）、該欠陥候補画像をストック画像として格納手段４２に格納する（Ｓ１９）。   Then, based on the command information written in the one buffer means 45, various processes relating to the captured image are started. More specifically, first, the defect candidate extraction unit 41 extracts defect candidate images in which defect candidates are captured from a plurality of captured images (S18), and stores the defect candidate images as stock images in the storage unit 42. (S19).

ストック画像として格納手段４２に格納されている複数の欠陥候補画像は、入力処理によって一括して識別手段４３に入力される（Ｓ２０）。続いて、該複数の欠陥候補画像のそれぞれに対する識別処理が識別手段４３によって並列的に実行される（Ｓ２１）。   A plurality of defect candidate images stored in the storage means 42 as stock images are input to the identification means 43 in a batch by an input process (S20). Subsequently, identification processing for each of the plurality of defect candidate images is executed in parallel by the identification means 43 (S21).

そして、識別手段４３から識別結果が出力されると、該識別結果に応じてマーキング装置５がマーク処理を実行する（図４参照）。これにより、物品製造装置１における物品に対する一連の処理が完了する。   And if an identification result is output from the identification means 43, the marking apparatus 5 will perform a mark process according to this identification result (refer FIG. 4). Thereby, a series of processes for the article in the article manufacturing apparatus 1 is completed.

前記一方のバッファ手段４５に書き込まれた命令情報に基づく処理を実行している間、撮像装置３は次の撮像動作を実行しており（Ｓ２２）、該次の撮像動作で作成された複数の撮像画像は、先の撮像動作（Ｓ１４）で作成された撮像画像に対する識別処理（Ｓ２１）が完了する前に画像識別装置４に出力され（Ｓ２３）、画像取込手段４０によって取り込まれ（Ｓ２４）、さらに、命令情報に含めた状態で前記他方のバッファ手段４５に書き込まれる（Ｓ２５）。   While the processing based on the command information written in the one buffer means 45 is being executed, the imaging device 3 is executing the next imaging operation (S22), and a plurality of images created by the next imaging operation are executed. The captured image is output to the image identification device 4 (S23) before the identification process (S21) for the captured image created in the previous imaging operation (S14) is completed, and is captured by the image capturing means 40 (S24). Further, it is written in the other buffer means 45 in a state of being included in the instruction information (S25).

そのため、先の撮像動作で作成した撮像画像に写っている物品に対するマーク処理が完了する前に、次（後）の撮像動作で作成した撮像画像に関する各種処理、具体的には、欠陥候補抽出手段４１による欠陥候補画像の抽出（Ｓ２６）、該欠陥候補画像の格納手段４２への格納（Ｓ２７）、入力処理による複数の欠陥候補画像の識別手段４３への一括入力（Ｓ２８）、識別手段４３による複数の欠陥候補画像のそれぞれに対する識別処理の並列実行（Ｓ２９）が順番に実行される。   Therefore, before the mark process is completed for the article shown in the captured image created by the previous imaging operation, various processes related to the captured image created by the next (later) imaging operation, specifically, defect candidate extraction means The defect candidate image is extracted by S41 (S26), the defect candidate image is stored in the storage means 42 (S27), the plurality of defect candidate images are input to the identification means 43 by the input process (S28), and the identification means 43 is used. Parallel execution (S29) of identification processing for each of a plurality of defect candidate images is executed in order.

さらに、前記他方のバッファ手段４５に書き込まれている命令情報に基づく処理の実行中においては、前記一方のバッファ手段４５に対して新たな命令情報が書き込まれるため（Ｓ３０）、前記他方のバッファ手段４５に書き込まれている命令情報に基づく処理が完了した直後に、該新たな命令情報に基づく処理が開始される。   Further, during execution of processing based on the instruction information written in the other buffer means 45, new instruction information is written into the one buffer means 45 (S30), so that the other buffer means Immediately after the processing based on the command information written in 45 is completed, the processing based on the new command information is started.

以上のように、本実施形態に係る画像識別装置４によれば、識別手段４３では、入力手段４４によって一括して入力された複数のストック画像のそれぞれに対する識別処理が複数並列的に行われるため、各ストック画像に対する識別処理が、実行待ち（すなわち、別のストック画像に対する識別処理の終了を待機している状態）になることを抑えることができる。   As described above, according to the image identification device 4 according to the present embodiment, the identification unit 43 performs a plurality of identification processes for each of a plurality of stock images input in batch by the input unit 44 in parallel. The identification processing for each stock image can be prevented from waiting to be executed (that is, waiting for completion of the identification processing for another stock image).

従って、前記画像識別装置４では、各ストック画像に対する識別処理の実行待ちの時間をなくすことができ、これにより、多数の撮像画像に対する識別処理を高速化することができ、また、該画像識別装置４を備える物品製造装置１においても同様の効果を得ることができる。   Therefore, the image identification device 4 can eliminate the waiting time for executing the identification process for each stock image, thereby speeding up the identification process for a large number of captured images. The same effect can be obtained also in the article manufacturing apparatus 1 having four.

また、画像識別装置４では、先に実行された取込処理で取り込まれた複数の撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理が完了する前に、先に実行された取込処理の次（後）の取込処理及び記憶処理が実行完了するように構成されているため、先に実行された取込処理で取り込まれた複数の撮像画像に対する抽出処理、格納処理、識別処理、入力処理の各処理が完了した時点から、後に実行された取込処理で取り込まれた複数の撮像画像に対する抽出処理、格納処理、識別処理、入力処理の各処理を順番に実行し始めるまでの時間に余裕を持たせることができる。   Further, in the image identification device 4, the extraction process, the input process, and the identification process for the plurality of captured images captured by the previously performed capture process are performed first before the completion of the respective processes. Since the acquisition process and the storage process subsequent to (and subsequent to) the acquisition process are configured to be completed, the extraction process and the storage process for a plurality of captured images acquired by the acquisition process executed earlier From the time when the identification process and the input process are completed, the extraction process, the storage process, the identification process, and the input process are sequentially performed on a plurality of captured images captured by the capture process performed later. You can have time to start.

また、撮像装置３の撮像動作によって撮像画像を作成した後、撮像装置３で撮像した物品（シートのうちの撮像画像に写る部分）に対してマーキング装置５によるマーキング処理が実行される前に、該撮像画像に対する画像識別装置４の各処理（抽出処理、格納処理、識別処理、入力処理）が完了するため、リアルタイム、すなわち、物品の製造工程の流れの中で画像識別装置４による撮像画像の識別（本実施形態では欠陥の有無の確認）を行うことができるようになる。   In addition, after a captured image is created by the imaging operation of the imaging device 3, before the marking process by the marking device 5 is performed on an article (a portion of the sheet that is reflected in the captured image) captured by the imaging device 3, Since each process (extraction process, storage process, identification process, and input process) of the image identification device 4 with respect to the captured image is completed, the captured image of the image identification apparatus 4 is processed in real time, that is, in the flow of the article manufacturing process. Identification (in this embodiment, confirmation of the presence or absence of defects) can be performed.

また、本実施形態に係る物品製造装置１においては、撮像装置３で撮像した撮像画像については、撮像装置３で撮像された物品が後工程であるマーク処理が実行される前に識別処理が完了するため、物品の製造工程を滞らせることなく撮像画像（物品）の識別を完了させることができ、インラインで（物品の製造工程の流れの中で）撮像画像の識別を実行して完了させることもできる。   Further, in the article manufacturing apparatus 1 according to the present embodiment, the identification process of the captured image captured by the imaging apparatus 3 is completed before the mark process, which is a subsequent process, is performed on the article captured by the imaging apparatus 3. Therefore, the identification of the captured image (article) can be completed without delaying the manufacturing process of the article, and the identification of the captured image is executed inline (in the flow of the manufacturing process of the article) and completed. You can also.

なお、本発明の画像識別装置、及び物品製造装置は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得ることは勿論である。   It should be noted that the image identification apparatus and the article manufacturing apparatus of the present invention are not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the present invention.

上記実施形態の物品製造装置１は、シートを製造するものであったが、この構成に限定されない。例えば、物品製造装置１は枚葉状の物品等を製造するものであってもよい。   The article manufacturing apparatus 1 of the above embodiment manufactures a sheet, but is not limited to this configuration. For example, the article manufacturing apparatus 1 may manufacture a sheet-like article or the like.

上記実施形態の物品製造装置１では、複数の撮像部３０がシートの幅方向で一列に並ぶように配置されていたが、撮像部３０の数や配置の仕方は、製造する物品（検査対象とする物品）に応じて適宜変更してもよい。   In the article manufacturing apparatus 1 of the above embodiment, the plurality of imaging units 30 are arranged in a line in the width direction of the sheet. May be appropriately changed according to the article to be processed.

上記実施形態において、特に言及しなかったが、画像取込手段４０は、撮像装置３から出力された複数の撮像画像（同じ時点で作成された複数の撮像画像）のそれぞれを別々の画像として取り込んでもよいし、該複数の撮像画像を合成した一つの画像を取り込むようにしてもよい。   Although not particularly mentioned in the above embodiment, the image capturing unit 40 captures each of a plurality of captured images output from the imaging device 3 (a plurality of captured images created at the same time) as separate images. Alternatively, a single image obtained by combining the plurality of captured images may be captured.

上記実施形態において、欠陥候補抽出手段４１は、検出処理で検出した欠陥候補点が写る画素と、該画素の周囲の所定数の画素とを含む領域を欠陥候補画像とするように構成されていたが、この構成に限定されない。例えば、欠陥候補抽出手段４１は、欠陥候補点が写る画像そのものを欠陥候補画像としてもよい。   In the above-described embodiment, the defect candidate extraction unit 41 is configured to use, as a defect candidate image, an area including a pixel in which a defect candidate point detected by the detection process is shown and a predetermined number of pixels around the pixel. However, it is not limited to this configuration. For example, the defect candidate extraction unit 41 may use an image itself showing defect candidate points as a defect candidate image.

上記実施形態において、画像識別装置４は、２つのバッファ手段４５を備えていたが、この構成に限定されない。例えば、画像識別装置４は、１つのバッファ手段４５を備えていてもよいし、３つ以上のバッファ手段４５を備えていてもよい。   In the above embodiment, the image identification device 4 includes the two buffer means 45, but is not limited to this configuration. For example, the image identification device 4 may include one buffer unit 45 or may include three or more buffer units 45.

１…物品製造装置、２…物品搬送装置、３…撮像装置、４…画像識別装置、５…マーキング装置、３０…撮像部、４０…画像取込手段、４１…欠陥候補抽出手段、４２…格納手段、４３…識別手段、４４…入力手段、４５…バッファ手段、４３０…受取手段、４３１…識別実行手段 DESCRIPTION OF SYMBOLS 1 ... Article manufacturing apparatus, 2 ... Article conveyance apparatus, 3 ... Imaging apparatus, 4 ... Image identification apparatus, 5 ... Marking apparatus, 30 ... Imaging part, 40 ... Image capture means, 41 ... Defect candidate extraction means, 42 ... Store Means 43 ... Identification means 44 ... Input means 45 ... Buffer means 430 ... Receiving means 431 ... Identification execution means

Claims (4)

物品を撮像した撮像画像をストック画像として複数格納する格納手段と、
前記ストック画像の種類を識別する識別処理を実行する識別手段と、
前記格納手段に格納されている複数の前記ストック画像を前記識別手段に一括して入力する入力処理を実行する入力手段と、を備え、
前記識別手段は、前記入力手段によって一括して入力された複数の前記ストック画像のそれぞれに対する識別処理を複数並列的に実行するように構成される、
画像識別装置。 Storage means for storing a plurality of captured images obtained by capturing articles as stock images;
Identification means for performing identification processing for identifying the type of the stock image;
Input means for executing input processing for collectively inputting the plurality of stock images stored in the storage means to the identification means;
The identification unit is configured to execute in parallel a plurality of identification processes for each of the plurality of stock images that are collectively input by the input unit.
Image identification device. 複数の前記撮像画像を取り込む取込処理を連続的に繰り返して実行する画像取込手段と、
該画像取込手段が取り込んだ複数の前記撮像画像のうち欠陥の候補となる欠陥候補点が写る欠陥候補画像を抽出し、該欠陥候補画像を前記ストック画像として前記格納手段に格納する抽出処理を実行する欠陥候補抽出手段と、を備え、
前記識別手段は、前記識別処理において、前記ストック画像として前記格納手段に格納されている前記欠陥候補画像の前記欠陥候補点の正誤を識別するように構成され、
先に実行された前記取込処理で取り込まれた前記撮像画像に対する前記抽出処理、前記入力処理、前記識別処理のそれぞれの処理の完了前に、該先に実行された前記取込処理の次に実行される後の前記取込処理が実行完了するように構成される、
請求項１に記載の画像識別装置。 Image capturing means for continuously and repeatedly performing capture processing for capturing a plurality of the captured images;
An extraction process of extracting a defect candidate image in which a defect candidate point as a defect candidate is captured from the plurality of captured images captured by the image capturing unit, and storing the defect candidate image in the storage unit as the stock image. Defect candidate extraction means to be executed,
The identification unit is configured to identify the correctness of the defect candidate point of the defect candidate image stored in the storage unit as the stock image in the identification process,
Before the completion of each of the extraction process, the input process, and the identification process for the captured image captured in the capture process performed previously, the capture process performed before the completion The capture process after being executed is configured to complete execution,
The image identification device according to claim 1. 前記識別手段を実行するための識別処理ファイルは、他の処理を実行するための処理ファイルとは別の処理ファイルである、
請求項１又は請求項２に記載の画像識別装置。 The identification processing file for executing the identification means is a processing file different from the processing file for executing other processing.
The image identification device according to claim 1 or 2. 物品を搬送する物品搬送装置と、
該物品搬送装置で搬送している前記物品を撮像して撮像画像を複数作成する撮像装置と、
請求項１乃至請求項３の何れか１項に記載の画像識別装置と、
前記物品搬送装置による前記物品の搬送経路上において前記物品搬送装置よりも搬送方向下流側に設置されるマーキング装置であって、該画像識別装置の前記識別手段による前記ストック画像の識別結果に応じて、該識別結果を得たストック画像に写る物品にマークを付すマーク処理を実行するマーキング装置と、を備え、
前記画像識別装置は、前記撮像装置が物品を撮像して前記撮像画像を作成した後、前記マーキング装置が該物品に前記マーク処理を実行する前に該撮像画像に対する前記識別処理を完了させるように構成される、
物品製造装置。 An article conveying device for conveying an article;
An imaging device for imaging the article being conveyed by the article conveying device and creating a plurality of captured images;
An image identification device according to any one of claims 1 to 3,
A marking device installed on the downstream side in the transport direction of the article transport device on the transport path of the product by the article transport device, according to the identification result of the stock image by the identification means of the image identification device A marking device for performing a mark process for marking an article reflected in a stock image obtained from the identification result,
The image identification device is configured to complete the identification processing on the captured image after the imaging device images the article and creates the captured image before the marking device performs the mark processing on the article. Composed,
Article manufacturing equipment.
JP2018077653A 2018-04-13 2018-04-13 An image identification device and an article manufacturing device equipped with an image identification device Active JP6890101B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018077653A JP6890101B2 (en) 2018-04-13 2018-04-13 An image identification device and an article manufacturing device equipped with an image identification device
KR1020190041984A KR102649500B1 (en) 2018-04-13 2019-04-10 Image identification apparatus, and product manufacturing apparatus provided with image identification apparatus
TW108112632A TWI812697B (en) 2018-04-13 2019-04-11 Image identification apparatus, and product manufacturing apparatus provided with image identification apparatus
CN201910294158.7A CN110390662A (en) 2018-04-13 2019-04-12 Pattern recognition device and the article manufacturing device for having pattern recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018077653A JP6890101B2 (en) 2018-04-13 2018-04-13 An image identification device and an article manufacturing device equipped with an image identification device

Publications (2)

Publication Number Publication Date
JP2019184489A true JP2019184489A (en) 2019-10-24
JP6890101B2 JP6890101B2 (en) 2021-06-18

Family

ID=68284351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018077653A Active JP6890101B2 (en) 2018-04-13 2018-04-13 An image identification device and an article manufacturing device equipped with an image identification device

Country Status (4)

Country Link
JP (1) JP6890101B2 (en)
KR (1) KR102649500B1 (en)
CN (1) CN110390662A (en)
TW (1) TWI812697B (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166058A1 (en) * 2020-02-18 2021-08-26 日本電気株式会社 Image recognition device, image recognition method, and recording medium
JP7510975B2 (en) 2022-07-22 2024-07-04 プライムアースＥｖエナジー株式会社 Inspection apparatus and method for calibrating the inspection apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696591A (en) * 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
JP2001084364A (en) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd Image pickup inspection device and mounted substrate inspection device using the same
JP2005010036A (en) * 2003-06-19 2005-01-13 Koyo Seiko Co Ltd Visual examination device
JP2005158780A (en) * 2003-11-20 2005-06-16 Hitachi Ltd Method and device for inspecting defect of pattern
JP2007178144A (en) * 2005-12-27 2007-07-12 Advanced Mask Inspection Technology Kk Pattern inspection system, pattern inspection method, sample to be inspected, and method for managing sample to be inspected
JP2007218629A (en) * 2006-02-14 2007-08-30 Sumitomo Chemical Co Ltd Flaw inspecting device and flaw inspection method
JP2011053787A (en) * 2009-08-31 2011-03-17 Omron Corp Image processing apparatus and image processing program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI256372B (en) * 2001-12-27 2006-06-11 Tokyo Electron Ltd Carrier system of polishing processing body and conveying method of polishing processing body
US20100028567A1 (en) * 2006-12-14 2010-02-04 Hidemi Suizu Glass sheet defect detection device, glass sheet manufacturing method, glass sheet, glass sheet quality judging device, and glass sheet inspection method
JP2010127809A (en) * 2008-11-28 2010-06-10 Nippon Paper Industries Co Ltd Visual inspection apparatus, visual inspection system, and program
JP6075912B2 (en) * 2013-03-14 2017-02-08 Juki株式会社 Image processing apparatus and image processing method
JP6430228B2 (en) 2014-12-15 2018-11-28 株式会社Ｓｃｒｅｅｎホールディングス Image classification apparatus and image classification method
US20170169294A1 (en) * 2015-12-11 2017-06-15 Leadot Innovation, Inc. Method of Tracking Locations of Stored Items

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696591A (en) * 1996-01-05 1997-12-09 Eastman Kodak Company Apparatus and method for detecting longitudinally oriented flaws in a moving web
JP2001084364A (en) * 1999-09-13 2001-03-30 Matsushita Electric Ind Co Ltd Image pickup inspection device and mounted substrate inspection device using the same
JP2005010036A (en) * 2003-06-19 2005-01-13 Koyo Seiko Co Ltd Visual examination device
JP2005158780A (en) * 2003-11-20 2005-06-16 Hitachi Ltd Method and device for inspecting defect of pattern
JP2007178144A (en) * 2005-12-27 2007-07-12 Advanced Mask Inspection Technology Kk Pattern inspection system, pattern inspection method, sample to be inspected, and method for managing sample to be inspected
JP2007218629A (en) * 2006-02-14 2007-08-30 Sumitomo Chemical Co Ltd Flaw inspecting device and flaw inspection method
JP2011053787A (en) * 2009-08-31 2011-03-17 Omron Corp Image processing apparatus and image processing program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021166058A1 (en) * 2020-02-18 2021-08-26 日本電気株式会社 Image recognition device, image recognition method, and recording medium
JPWO2021166058A1 (en) * 2020-02-18 2021-08-26
JP7338779B2 (en) 2020-02-18 2023-09-05 日本電気株式会社 Image recognition device, image recognition method, and program
JP7510975B2 (en) 2022-07-22 2024-07-04 プライムアースＥｖエナジー株式会社 Inspection apparatus and method for calibrating the inspection apparatus

Also Published As

Publication number Publication date
JP6890101B2 (en) 2021-06-18
KR102649500B1 (en) 2024-03-21
TW201944289A (en) 2019-11-16
CN110390662A (en) 2019-10-29
KR20190120076A (en) 2019-10-23
TWI812697B (en) 2023-08-21

Similar Documents

Publication Publication Date Title
US10755134B2 (en) Generation of training data for object-sorting work based on a difference between feature amounts of captured object images
US10325375B2 (en) Method and device for counting objects in image data in frames, a frame of said image data in frames including at least one object, such as cans, bottles, and packaging, computer program and computer program product
CN111310826B (en) Method and device for detecting labeling abnormality of sample set and electronic equipment
JP6890101B2 (en) An image identification device and an article manufacturing device equipped with an image identification device
WO2014103617A1 (en) Alignment device, defect inspection device, alignment method, and control program
WO2019151177A1 (en) Information processing device, clothing sorting system, information processing method, and control program
CN113516147B (en) Printing error detection method, device, system and storage medium
JP2019220116A (en) Information processing device, determination method, and object determination program
JP6748168B2 (en) Article inspecting apparatus having substantially circular side surfaces, and article reversing apparatus
JP6989178B2 (en) Transport item tracking device, transport item counting device, transport item tracking method, transport item counting method, transport item tracking system, and transport item counting system.
JP2021152489A (en) Teacher data generation device, inspection device, and program
US11675345B2 (en) Cloud-based multi-camera quality assurance architecture
JP2019045451A (en) Inspection apparatus, inspection method and program
US10587821B2 (en) High speed image registration system and methods of use
JP2010127809A (en) Visual inspection apparatus, visual inspection system, and program
JP2020024111A (en) Inspection device and inspection method
Chavda et al. Detection of defect in pharma-tablets using image processing
JP2020024110A (en) Inspection device and inspection method
JP2019132862A (en) Inspection device
JP2020190485A (en) Identification model generation device, identification model generation method and identification model generation program, and steel defect determination device, steel defect determination method and steel defect determination program
Kuang et al. Normalizing Flow Based Defect Detection with Motion Detection
JP7207014B2 (en) Display control device, display control program and inspection system
US12050454B2 (en) Cloud-based multi-camera quality assurance lifecycle architecture
JP6582498B2 (en) Inspection device, inspection method, program, and recording medium
JP7207141B2 (en) Article recognition system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200722

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210524

R150 Certificate of patent or registration of utility model

Ref document number: 6890101

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250