JP4961370B2 - 検査方法および検査装置 - Google Patents

Description

本発明は、対象ワークの色抽出を行い、色に関連する特徴量を算出する検査方法および検査装置に関する。

自動車部品、食品、電子部品等に代表される工業製品を対象とする非接触の計測、検査を行う場合、ＣＣＤ（Charge Coupled Device）カメラなどを利用して対象ワークを撮像し、撮像した画像データに画像処理を施すことで実現している。

このときの画像処理の主な内容は、画像データに基づく対象ワークの特徴を示す情報（以下、特徴量という）を抽出することで、抽出した特徴量に基いて計測、検査などを実施する。

特徴量としては、たとえば対象ワークの持つ色の種類、色の並び順など色に関連する特徴量を用いる場合がある。

色に関連する特徴量を求める場合、予め対象の色範囲を三属性である色相（Ｈ）、彩度（Ｓ）、明度（Ｌ）で指定し、三属性が全て予め定める範囲内に該当する場合に、対象色が検出されたものと判断し、その対象色をワークの持つ色として抽出する。

対象ワークの色を抽出したのちにさらに、抽出した色を対象にラベリング処理で同じ色のを持つ島に分離し、各島毎に予め定める特徴量を算出する。

手順としては、次のとおりである。
（１） ＲＧＢ画像データから三属性（ＨＳＬ）画像データへのカラーモデル変換を行う。
（２） 三属性画像データを対象に、三属性の各属性に対して、所定の範囲内にあるかどうかを判断して、色を抽出する。
（３） （２）で抽出した色に基いてラベリング処理を施して各島に分離した後、各島の特徴量を算出する。

特許文献１記載の色抽出装置では、ＲＧＢ画像データからＨＳＩ画像データに変換した三属性について各変換テーブルを用いて変換し、変換されたデータに基いて合成画像を形成したのち色抽出を行う。特許文献２記載の画像処理装置は、ＲＧＢ各色間の差分絶対値を加算してしきい値処理を行い、有彩色画素をカウントして有彩色画素が多ければカラー画像と判断する。

また、特許文献３記載の色識別方法では、ＲＧＢの色空間内の共分散行列から色座標変換行った後、２値化する。特許文献４記載のカラー画像処理装置では、入力された画像データからその地色を検出し、検出された地色の色相あるいは明度あるいは彩度に応じて色判別を行う判別領域を変更する。

特開２００２−４９９１６号公報 特開２００４−２７４３９７号公報 特開平５−６０６１６号公報 特開平５−１２２５４３号公報

従来の技術では、生鮮食料品やゴム製品のように素材の色を検査するワークの場合、検査毎に色ずれが発生する。色ずれが発生すると三属性の範囲を追加設定するか、再設定するかが必要となる。このため、現物合せに近い従来の技術では、三属性の範囲が広がる一方で、あるいは不安定となるため、収束しないおそれがある。

また、注射針などの医療器材や抵抗素子やコンデンサ素子などの受動素子などカラーコードの並びが検査の対象となるワークの場合、色と色の並び順が検査項目となるので、色の組み合わせを網羅するためには設定数が多くなり、従来の技術では、多種多様なカラーコードの検査には適用し難い。

また、ワークを照らす照明などの光学環境の変化においては、明度がその影響を受けやすいため、明度を含む三属性データを用いた場合には安定的な色検出が困難である。

本発明の目的は、明度、色相、彩度の三属性データを用い、光学環境の変化に強く、色ずれが発生するような対象ワークでも精度高く色抽出を行うことができる検査方法および検査装置を提供することである。

本発明は、対象ワークを撮像して得られる画像データであって、明度、色相、彩度の三属性で表される画像データを入力する工程と、
入力された画像データを構成する画素ごとに、有彩色画素と無彩色画素のいずれであるかを判断する工程と、
少なくとも有彩色画素と判断された画素に基いて、階級を色相とし度数を画素数とする色ヒストグラムのみを生成する工程と、
生成した色ヒストグラムに基いて、特定の色相のみを抽出する工程と、
抽出された色相に基いて、特徴量を算出する工程と、
算出された特徴量と、原パターンとを比較し、一致すれば、対象ワークを良品と判断し、一致しなければ、対象ワークを不良品と判断する工程とを有することを特徴とする検査方法である。

また本発明は、抽出された色相に基いて、同じ色相を有する画素群を検出し、特徴量として、画素群の面積、画素群の位置を算出することを特徴とする。

また本発明は、対象ワークを撮像して得られる画像データであって、明度、色相、彩度の三属性で表される画像データを入力する入力手段と、
入力された画像データを構成する画素ごとに、有彩色画素と無彩色画素のいずれであるかを判断する判断手段と、
少なくとも有彩色画素と判断された画素に基いて、階級を色相とし度数を画素数とする色ヒストグラムのみを生成する生成手段と、
生成した色ヒストグラムに基いて、特定の色相のみを抽出する抽出手段と、
抽出された色相に基いて、特徴量を算出する算出手段と、
算出された特徴量と、原パターンとを比較し、一致すれば、対象ワークを良品と判断し、一致しなければ、対象ワークを不良品と判断する検査手段とを有することを特徴とする検査装置である。

本発明によれば、対象ワークを撮像して得られる画像データであって、明度、色相、彩度の三属性で表される画像データが入力されると、入力された画像データを構成する画素ごとに、有彩色画素と無彩色画素のいずれであるかを判断する。

少なくとも有彩色画素と判断された画素に基いて、階級を色相とし、度数を画素数とする色ヒストグラムのみを生成し、生成した色ヒストグラムに基いて、特定の色相のみを抽出する。抽出された色相に基いて、特徴量を算出する。算出された特徴量と、原パターンとを比較し、一致すれば、対象ワークを良品と判断し、一致しなければ、対象ワークを不良品と判断する。

これにより、色相コードに基いて色抽出を行なうので、明度や彩度とは無関係な色相コードによる色抽出であるので、光学環境が変化しても、その影響を受けにくく安定して色抽出を行うことができる。

背景に多い、あるいは検査対象とならない無彩色部を予め分離するため、検出精度の向上が図れる。

また本発明によれば、抽出された色相に基いて、同じ色相を有する画素群を検出し、特徴量として、画素群の面積、画素群の位置を算出することができる。

図１は、本発明の実施の一形態である画像処理方法を示すフローチャートである。
本発明は、以下に示す工程から構成される画像処理方法により、ワークの色抽出を行い、特徴量を算出する。

工程Ａ１：カラーモデル変換処理
工程Ａ２：無彩領域分離処理
工程Ａ３：色ヒストグラム生成処理
工程Ａ４：色抽出処理
工程Ａ５：特徴量算出処理
以下では、各工程について詳細に説明する。

本実施形態では、たとえば、ワークの特定の色を示す部分を検出し、色とその色の部分の配置位置とを特徴量として原パターンとの比較により検査を行う場合について説明する。

検査対象となる部品などが固定カメラなどで撮像され、撮像された画像データが画像処理装置に入力されると、画像処理を開始する。画像データを構成する各画素の位置を示す座標系が予め設定され、画素ごとに座標（ｘ，ｙ）が割り当てられている。

（工程Ａ１）カラーモデル変換処理
本工程では、入力されたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）画像データをＨＳＬ画像データに色空間変換を行う。詳細には、ＲＧＢ画像データを、ＹＣＣ画像データに変換した後、ＹＣＣ画像データをＨＳＬ画像データへと変換する。

各色空間変換に用いる変換式は、種々提案されており、たとえば下記の変換式を用いることができる。

まずＲＧＢ画像データからＹＣＣ画像データへの変換式は、たとえば下記式（１）を用いることができる。

ＹＣＣ画像データからＨＳＬ画像データへの変換式は、たとえば下記式（２）を用いることができる。

このようにして、工程Ａ１では、入力されたＲＧＢ画像データをＨＳＬ三属性画像データに変換する。

なお、入力画像データは、ＲＧＢ画像データに限定されることはなく、ＹＣＣ画像データで入力された場合は、式（２）のみの変換を行うだけでよく、他の色空間画像データ、たとえば、ＬＵＶ、Ｌａｂ、ＣＭＹなどの色空間画像データが入力された場合でも、変換式を用いてＨＳＬ画像データに変換することで、本発明に適用可能である。

（工程Ａ２）無彩領域分離処理
本工程では、画素の有する画素値に基いて、画像データを構成する各画素が無彩色画素であるか有彩色画素であるかどうかを判断する。無彩色画素に対しては、無彩色であることを示すコードを付与し、有彩色画素に対しては、有彩色であることを示すコードを付与する。無彩色画素に対しては、黒色画素、白色画素、灰色（グレイ）画素のいずれであるかをさらに判断し、黒色画素に対しては、黒色であることを示すコードを付与し、白色画素に対しては、白色であることを示すコードを付与し、灰色画素に対しては、灰色であることを示すコードを付与する。

図２は、無彩領域分離処理を示すフローチャートである。
ステップＢ１では、Ｒ，Ｇ，Ｂの画素値の最小値（ｍｉｎ（Ｒ，Ｇ，Ｂ））を抽出する。ステップＢ２では、抽出した最小値が白しきい値より大きいかどうかを判断する。白しきい値より大きい場合は、全ての画素値が白しきい値より大きいことになるので、その画素は白色画素であると判断し、ステップＢ３で、白色であることを示すコード“３６２”を付与して所定の記憶領域に、画素に関連付けてコードを登録しステップＢ１０に進む。抽出した最小値が白しきい値以下の場合は、ステップＢ４に進む。

ステップＢ４では、Ｒ，Ｇ，Ｂの画素値の最大値（ｍａｘ（Ｒ，Ｇ，Ｂ））を抽出する。ステップＢ５では、抽出した最大値が黒しきい値より小さいかどうかを判断する。黒しきい値より小さい場合は、全ての画素値が黒しきい値より小さいことになるので、その画素は黒色画素であると判断し、ステップＢ６で、黒色であることを示すコード“３６０”を付与して所定の記憶領域に、画素に関連付けてコードを登録しステップＢ１０に進む。抽出した最大値が黒しきい値以上の場合は、ステップＢ７に進む。

黒色画素でもなく白色画素でもない場合は、灰色画素であるか有彩色画素である。ステップＢ７では、彩度を示す画素値Ｓが、彩度しきい値以下であるかどうかを判断する。彩度しきい値以下である場合は、その画素が灰色画素であると判断し、ステップＢ８で、灰色であることを示すコード“３６１”を付与して所定の記憶領域に、画素に関連付けてコードを登録しステップＢ１０に進む。

彩度が彩度しきい値より大きい場合は、その画素は有彩色画素であるので、ステップＢ９に進み、有彩色画素であることを示すコード“０”を付与してステップＢ１０に進む。

ステップＢ１０では、全ての画素についてコードの登録が終了したかどうかを判断し、全て終了していれば無彩領域分離処理を終了し、コード未登録の画素が残っていればステップＢ１に戻り、次の画素を対象にして処理を繰り返す。

このようにして、工程Ａ２では、画像データを構成する全ての画素に対して、無彩色画素を示すコード（３６０，３６１，３６２）か有彩色画素を示すコード（０）が付与され登録される。

（工程Ａ３）色ヒストグラム生成処理
本工程では、各画素に付与されたコードに基いて、階級を色相コードとし、度数を画素数とする色ヒストグラムを生成する。

なお、本発明では無彩色画素を示すコード（３６０，３６１，３６２）も色相コードとして扱う。

図３は、色ヒストグラム生成処理を示すフローチャートである。
ステップＣ１では、画素に付与されたコードが白色画素であることを示す“３６２”であるかどうかを判断する。コードが３６２であれば、ステップＣ２で度数である白色画素の画素数をカウントアップし、ステップＣ９に進む。コードが３６２でなければステップＣ３に進む。

ステップＣ３では、画素に付与されたコードが黒色画素であることを示す“３６０”であるかどうかを判断する。コードが３６０であれば、ステップＣ４で度数である黒色画素の画素数をカウントアップし、ステップＣ９に進む。コードが３６０でなければステップＣ５に進む。

ステップＣ５では、画素に付与されたコードが灰色画素であることを示す“３６１”であるかどうかを判断する。コードが３６１であれば、ステップＣ６で度数である灰色画素の画素数をカウントアップし、ステップＣ９に進む。コードが３６１でなければステップＣ７に進む。

コードが３６０，３６１，３６２のいずれでもない場合は、コードが０である、すなわち有彩色画素であるので、ステップＣ７では、彩度を示す画素値Ｈを色相コード（０〜３５９のいずれか１つ）として読み出す。ステップＣ８では、読み出した色相コードの画素数をカウントアップする。

ステップＣ９では、全ての画素について画素数のカウントが終了したかどうかを判断し、全て終了していれば色ヒストグラム生成処理を終了し、カウントしていない画素が残っていればステップＣ１に戻り、次の画素を対象にして処理を繰り返す。

このようにして、工程Ａ３では、画像データを構成する全ての画素を対象にして、色相コードを階級とする色ヒストグラムが生成される。

図４は、色ヒストグラムの例を示す図である。
図４（ａ）は、対象ワークである“ニンジン”の模式図であり、図４（ｂ）は、色ヒストグラムを示すグラフである。

対象ワークは、橙色の部分１と緑色の部分２とからなる。このような対象ワークを撮像した画像データに対して色ヒストグラム生成処理を行うと、図４（ｂ）に示すようなヒストグラムが得られる。

（工程Ａ４）色抽出処理
本工程では、生成ヒストグラムの階級である色相コードごとに、度数である画素数に基いて色抽出を行う。

図５は、色抽出処理を示すフローチャートである。
ステップＤ１では、度数である画素数が下限しきい値以上であるかどうかを判断する。下限しきい値以上であればステップＤ２に進み、下限しきい値よりも小さければ、その色相コードの画素はノイズであると見なして抽出せずステップＤ６に進む。

ステップＤ２では、度数である画素数が上限しきい値以下であるかどうかを判断する。上限しきい値以下であればステップＤ３に進み、上限しきい値よりも大きければ、その色相コードは下地色（背景色）と見なして抽出せずステップＤ６に進む。

ステップＤ３では、階級である色相コードが下限コード以上であるかどうかを判断する。下限コード以上であればステップＤ４に進み、下限コードよりも小さければ、その色相コードは抽出対象外の色相であると見なして抽出せずステップＤ６に進む。

ステップＤ４では、階級である色相コードが上限コード以下であるかどうかを判断する。上限コード以下であればステップＤ５に進み、上限コードよりも大きければ、その色相コードは抽出対象外の色相であると見なして抽出せずステップＤ６に進む。

度数が下限しきい値以上上限しきい値以下であり、かつ色相コードが下限コード以上上限コード以下である場合は、抽出すべき色相であるので、ステップＤ５では、色相コードを抽出コードとして登録する。

ステップＤ６では、全ての色相コードについて抽出判断が終了したかどうかを判断し、全て終了していれば抽出処理を終了し、抽出判断されていない色相コードが残っていればステップＤ１に戻り、次の色相コードを対象にして処理を繰り返す。

このようにして、工程Ａ４では、ノイズの除去、下地色の除去を行うとともに、色相コードの抽出を行う。

図４に示した色ヒストグラムについて説明すると、白色画素は上限しきい値よりも度数が大きいので、下地色とみなして抽出しない。黒色画素は下限しきい値よりも度数が小さいのでノイズとして除去し抽出しない。ワーク（ニンジン）の橙色の部分１に対応する画素はコード範囲３にあり、ワークの緑色の部分２に対応する画素はコード範囲４にあるので、これらの色相については抽出する。

（工程Ａ５）特徴量抽出
本工程では、まず色抽出処理で抽出した色相コード、すなわち色相Ｈを画素値として有する画素と、抽出されなかった色相コード（色相Ｈ）を画素値として有する画素とに分離する。

次に、色相Ｈを画素値として有する画素のうち、互いに隣接する画素群を、島として抽出し、島ごとに区別するためのラベリング番号を設定する。同一の色相Ｈを有する画素であっても異なる島に属する場合があるため、１つの画素に対して、属する島を表すラベリング番号と有する色相を表す色相コードが付与される。

抽出された各島について、面積（群に含まれる画素数）と位置（群に含まれる画素の座標）とを特徴量として算出する。

このようにして算出された特徴量を用いて原パターンとの比較を行う。特徴量としては、各島の色相コードと位置とを用いる。原パターンとして、抽出されるべき色相コードと位置とが予め決められているので、算出された各島の色相コードと位置と、原パターンに設定された各島の色相コードと位置とを比較し、一致すれば、対象ワークを良品と判断し、一致しなければ、対象ワークを不良品と判断する。

次に本発明の他の実施形態について説明する。上記では色抽出処理において、予め定める色相コードの範囲を抽出したが、対象ワークによっては、色相コードの範囲は設定せず、下地除去およびノイズ除去された残余については全て登録を行うようにする。

上記の実施形態とは、色抽出処理のフローチャートが変わり、他の処理については同じであるので、色抽出処理のフローチャートのみを示す。

たとえば、色を１色しか持たない対象ワークや、色の変化が大きな対象ワークの場合は、色相コードの範囲を設定せずに色抽出を行うことができる。

図６は、他の実施形態における色抽出処理を示すフローチャートである。
ステップＥ１では、度数である画素数が下限しきい値以上であるかどうかを判断する。下限しきい値以上であればステップＥ２に進み、下限しきい値よりも小さければ、その色相コードの画素はノイズであると見なして抽出せずステップＥ４に進む。

ステップＥ２では、度数である画素数が上限しきい値以下であるかどうかを判断する。上限しきい値以下であればステップＥ３に進み、上限しきい値よりも大きければ、その色相コードは下地色（背景色）と見なして抽出せずステップＥ４に進む。

度数が下限しきい値以上上限しきい値以下である場合は、抽出すべき色相であるので、ステップＥ３では、色相コードを抽出コードとして登録する。

ステップＥ４では、全ての色相コードについて抽出判断が終了したかどうかを判断し、全て終了していれば抽出処理を終了し、抽出判断されていない色相コードが残っていればステップＤ１に戻り、次の色相コードを対象にして処理を繰り返す。

このようにして、工程Ａ３ａでは、画像データを構成する全ての画素を対象にして、色相コードを階級とする色ヒストグラムが生成される。

図７は、画像処理システム１００の構成を示すブロック図である。画像処理システム１００は、撮像装置１０１、画像処理装置１０２、表示装置１０３を有し、前述のようなワークの特定の色を示す部分を検出して検査を行う検査システムを構成する。

撮像装置１０１は、ＣＣＤ（電荷結合素子）カメラ１１１、Ａ／Ｄ（アナログ／デジタル）変換器１１２、カメラコントローラ１１３、Ｄ／Ａ変換器１１４およびフレームメモリ１１５からなる。ＣＣＤカメラ１１１が、部品などを撮像し、受光量をアナログ画像信号として出力する。Ａ／Ｄ変換器１１２は、ＣＣＤカメラ１１１から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力する。カメラコントローラ１１３は、デジタル画像データを１フレームごとにフレームメモリ１１５に格納するとともに、表示装置１０３に表示させるために、Ｄ／Ａ変換器１１４に出力する。Ｄ／Ａ変換器１１４は、カメラコントローラ１１３から出力されたデジタル画像データを表示装置１０３に応じたアナログ画像信号に変換して表示装置１０３に出力する。表示装置１０３は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイなどで実現され、撮像装置１０１から出力されたアナログ画像信号を表示する。

画像処理装置１０２は、ＣＰＵ（中央演算処理装置）１２１、ＲＡＭ（Random Access Memory）１２２、ＲＯＭ（Read Only Memory）１２３およびＩ／Ｏ（Input/Output）コントローラ１２４からなる。ＣＰＵ１２１は、ＲＯＭ１２３に記憶されている制御プログラムに基づいて画像処理装置１０２の動作を制御する。処理中の画像データや演算中のデータなどは一時的にＲＡＭ１２２に記憶される。Ｉ／Ｏコントローラ１２４は、キーボードやマウスなどの入力装置や部品の移動装置などが接続され、これらの入出力データの制御を行う。

ＣＰＵ１２１およびＲＯＭ１２３は、入力手段、判断手段、生成手段、抽出手段、算出手段を構成し、撮像装置１０１のカメラコントローラ１１３を介してフレームメモリ１１５から画像データを取得し、図１のフローチャートで示した画像処理を実行する。画像処理によって対象ワークの色に関連する特徴量が算出されると、たとえば、原パターンとの比較により良品であるかどうかなどの検査を行うことができる。

本発明は以下に示すような効果を発揮する。
無彩色部を色相で判断すると不定情報となるが、本発明では、予め無彩色部と有彩色部とを分離するので、不定情報は発生しない。また、色相コードに基いて色抽出を行なうので、明度や彩度とは無関係な色相コードによる色抽出であるので、光学環境が変化しても、その影響を受けにくく安定して色抽出を行うことができる。

背景に多い、あるいは検査対象とならない無彩色部を予め分離するため、検出精度の向上が図れる。

本発明の実施の一形態である画像処理方法を示すフローチャートである。 無彩領域分離処理を示すフローチャートである。 色ヒストグラム生成処理を示すフローチャートである。 色ヒストグラムの例を示す図である。 色抽出処理を示すフローチャートである。 他の実施形態における色抽出処理を示すフローチャートである。 画像処理システム１００の構成を示すブロック図である。

符号の説明

１００ 画像処理システム
１０１ 撮像装置
１０２ 画像処理装置
１０３ 表示装置
１１１ カメラ
１１２ Ａ／Ｄ変換器
１１３ カメラコントローラ
１１４ Ｄ／Ａ変換器
１１５ フレームメモリ
１２１ ＣＰＵ
１２２ ＲＡＭ
１２３ ＲＯＭ
１２４ Ｉ／Ｏコントローラ

Claims (3)

1. 対象ワークを撮像して得られる画像データであって、明度、色相、彩度の三属性で表される画像データを入力する工程と、
   入力された画像データを構成する画素ごとに、有彩色画素と無彩色画素のいずれであるかを判断する工程と、
   少なくとも有彩色画素と判断された画素に基いて、階級を色相とし度数を画素数とする色ヒストグラムのみを生成する工程と、
   生成した色ヒストグラムに基いて、特定の色相のみを抽出する工程と、
   抽出された色相に基いて、特徴量を算出する工程と、
   算出された特徴量と、原パターンとを比較し、一致すれば、対象ワークを良品と判断し、一致しなければ、対象ワークを不良品と判断する工程とを有することを特徴とする検査方法。
2. 抽出された色相に基いて、同じ色相を有する画素群を検出し、前記特徴量として、画素群の面積、画素群の位置を算出することを特徴とする請求項１記載の検査方法。
3. 対象ワークを撮像して得られる画像データであって、明度、色相、彩度の三属性で表される画像データを入力する入力手段と、
   入力された画像データを構成する画素ごとに、有彩色画素と無彩色画素のいずれであるかを判断する判断手段と、
   少なくとも有彩色画素と判断された画素に基いて、階級を色相とし度数を画素数とする色ヒストグラムのみを生成する生成手段と、
   生成した色ヒストグラムに基いて、特定の色相のみを抽出する抽出手段と、
   抽出された色相に基いて、特徴量を算出する算出手段と、
   算出された特徴量と、原パターンとを比較し、一致すれば、対象ワークを良品と判断し、一致しなければ、対象ワークを不良品と判断する検査手段とを有することを特徴とする検査装置。