JP6180889B2 - 印字検査装置 - Google Patents

Description

本発明は、印字検査装置に関する。

本技術分野の背景技術として、特開２００８−９７５８９号公報（特許文献１）がある。この公報には、「背景画像に比較的広い領域のノイズや汚れが生じている場合であっても、撮像画像に含まれる文字の領域を精度よく切り出す技術を提供することを課題とする。文字列が含まれる画像６１の文字列方向Ａの各画素位置について、文字切り出し方向Ｂの画素値を積算した画素値積算評価値を求める。その波形を波形データ６２で表す。波形データ６２に対して第１閾値６３と第２閾値６４を設定する。波形データ６２が第１閾値６３を超える領域を文字候補領域とする。そして、文字候補領域の中で、画素値積算評価値が第２閾値６４を超える領域が存在する場合には、当該文字候補領域を真の文字領域として文字を切り出す。」と記載されている（要約参照）。

特開２００８−９７５８９号公報

食品や薬品の包装容器には、製造年月日（年月や時分を含む）や賞味期限（消費期限）、製造ロットなどの表示が法律上義務づけられており、それを実現するのがインクジェットプリンタ等の印字装置である。包装容器は多様化しており、白地以外の着色された部分に、印字することも増加している。印字装置で正しく印字されたことを確認するために印字検査装置が用いられる。印字検査装置では、カメラ等の撮像装置を使って画像を取り込み、あらかじめ登録した正常パターンとの照合検査によって印字文字の汚れ、欠けを自動検査する。

この場合、文字部分を正確に抽出しなければならない。最終的には撮像した画像データより、文字部分を1、背景部分を0などとなるように分離、すなわち二値化する必要がある。文字部分だけを正確に抽出して、二値化する方法はいくつか提案されている。例えば、特許文献１では文字領域の切り出し方法として、多値画像を使用した方法がある。

しかし、図５に示すように、文字２１aが赤色、背景２１bが緑色で、明度の差があまりない場合、図６に示すように文字部分２１aと背景部分２１bを二値化閾値２１cによって良好に分離することができなかった。

本発明は、印字検査の精度を向上することを目的とする。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、検査対象を撮像する撮像手段と、撮像手段より取り込まれた画像データを記憶する画像データ記憶手段と、予め登録された正常文字データを記憶するデータ記憶手段と、画像データ記憶手段から抽出した文字情報と登録された正常文字データを比較して正常化不良かを判定する検査手段とよりなる印字検査装置であって、少なくとも波長の異なる2つ以上の光成分を用いて撮像する。

本発明によれば、印字検査の精度を向上することができる。

本発明の実施例にかかる合成明度説明図。 図１のヒストグラム。 従来例の検査対象図。 図３のヒストグラム。 本発明の実施例にかかる検査対象図。 図５のヒストグラム。 図５の色分布図。 図７のヒストグラム。 本発明の実施例にかかるの全体機器構成図。 本発明の実施例にかかるハードウェア構成図。 本発明の実施例にかかる全体処理フロー。 本発明の実施例にかかるフィルター調整処理フロー。 本発明の実施例にかかる範囲指定画面例。 本発明の実施例にかかるカラーフィルター計算処理フロー。 本発明の実施例にかかる検査文字設定処理フロー。 本発明の実施例にかかる検査処理フロー。

以下、実施例を図面を用いて説明する。
図５は検査対象８であり、文字２１aが赤色、背景２１bが緑色となっている。これをモノクロカメラで撮像すると、明度と画素数の関係(以後ヒストグラムと呼ぶ)は、図６のようになる。文字２１aと背景２１bは明度の差が少なく、ヒストグラム上で二値化閾値２１cで分離することができない。

図７はカラーカメラで検査対象８を撮像した結果の分布図であり、ＲＧＢの三次元空間では文字２１aと背景２１bが分離している。

図８はＲＧＢ、それぞれの軸に射影したヒストグラムである。これは、モノクロカメラに各々赤、緑、青の色フィルターを装着した場合に得られるヒストグラムに相当する。この場合単純な各色単独の情報だけでは、文字２１aと背景２１bが分離できないことが分かる。従ってモノクロカメラと色フィルターの組み合わせでは、文字２１aと背景２１bを分離することができない。

図１は文字２１aと背景２１bの重心を結ぶ軸を合成明度として設定したものである。この合成明度軸に射影すると図２のヒストグラムが得られる。この場合文字２１aと背景２１bは二値化閾値２１cで分離することができる。

このような多次元での最適な合成軸(合成明度軸)は、多変量解析により統計的に求められることが知られている。本実施例では主成分分析を応用して合成明度軸を求めている。

主成分分析では文字２１aと背景２１bを含む部分の分散共分散行列を求め、その最大固有値を算出する。最大固有値に対する固有ベクトルを求めると、その固有ベクトルが合成明度軸方向となる。最大固有値に対応した固有ベクトルで合成明度を定義すると、合成明度の分散は最大になり、最良のコントラストを得ることができる。

一般的な主成分分析では、ここまでで計算が終了するが、合成明度をある一定の範囲内にするために、次の［数１］を用いる。

ここに、I(i,j)は座標(i,j)の合成明度、R(i,j)、G(i,j)、B(i,j)は各々画素座標(i,j)のＲＧＢ成分、fr、fg、fbは固有ベクトルの一定係数倍、fnは原点を調整するための定数項である。fr、fg、fb、fnをフィルター係数として、撮像したカラー画像を変換することにより、常に最良のコントラストが得られる。

図９は本実施例の全体構成図である。１は印字検査装置であり、印字文字の検査を行う。２はカラーカメラであり、画像の撮像を行う。このカラーカメラは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれに対応した波長６１０nm、５４０nm、４５５nmにピークを持つフィルタを搭載しており、３波長の光を分離して撮像できる。３はストロボ照明装置であり、印字検査装置からの発光命令に従って、カラーカメラの撮像タイミングに合わせて発光する。４はタッチパネル付モニタであり、撮像した画像内容と操作メニューを表示し、タッチパネルにより操作者の指示を入力できる。５は光電センサであり、検査対象が来た時、信号を印字検査装置に送る。６はライン制御装置であり、コンベア９と排出機７の制御を行っている。7は排出機であり、検査対象が印字不良の場合、コンベアから排除する。８a、８b、８cはそれぞれ検査対象である。９はコンベアであり、検査対象を左から右へ一定速度で搬送する。

コンベア９上を搬送された検査対象８は、光電センサ５に検出されると、一定時間後にストロボ３の発光と同期してカラーカメラ２により撮像され、印字検査装置１で印字内容を検査される。正常時はそのままコンベア上を流れていき、印字不良時は排出機７によってコンベア上から排除される。

次に印字検査装置1の内部を中心に説明する。図１０はハードウエア構成図である。１０はバスであり、各機器を接続している。１１はＣＰＵであり、この装置での全ての演算を行っている。１２はＲＯＭであり、電源投入時の初期化プログラムが格納されている。１３はＲＡＭであり、この装置で実行するプログラムと演算の途中結果、カラーカメラから取り込んだ画像データ等が格納されている。１４はシリアルＩ／Ｏであり、ＣＰＵ１１はここを介してタッチパネル付モニタ４のタッチパネルとの情報のやりとりを行う。１５はカメラインターフェイスである。ＣＰＵ１１からの撮像命令が発行されると、カメラインターフェイス１５はカラーカメラ２の撮像制御を行い、取り込んだ画像データをＲＡＭ１３にバス１０を介して転送する。１６は照明用ストロボとのインターフェイスであり、ＣＰＵ１１からの発行命令により、カラーカメラ２の撮像タイミングと同期してストロボ３の点灯、消灯を行う。１７はＤＩＳＫインターフェイスであり、ハードディスク１８とのデータの入出力を行う。ハードディスク１８にはこの装置で実行するプログラムと印字文字登録データ、各種制御条件等が格納されている。この装置で実行するプログラムは電源投入時にＲＯＭ１２に格納されているプログラムによってＲＡＭ１３に転送され、ＣＰＵ１１によって実行される。１９はパラレルＩ/Ｏであり、光電センサからの信号入力と、ライン制御装置とのデータのやりとりを行う。

図１１はＣＰＵ１１で実行されるプログラムの全体処理フローである。電源が投入されると、１０１で初期化が行われる。初期化ではハードディスク１８に格納されているプログラムとすべての印字文字登録データ、制御条件設定ファイル等をＲＡＭ１４に転送する。また、各Ｉ／Ｏとインターフェイスの初期化も行い、完了するとタッチパネル付モニタ４に初期メニューを表示する。

次に１０２でタッチパネルからの入力をチェックする。終了メニューが選択されると、処理を終了する。調整メニューが選択されると、１０３の処理に進む。検査メニューが選択されると１０６の処理に進む。１０６の処理内容については、後で詳細に述べる。

１０３では品種番号を入力する。この品種番号によって、フィルター値、二値化閾値、検査文字の設定データ等、検査対象によって異なる設定データが管理される。次に１０４に進む。１０４の処理内容については、後で詳細に述べる。その後、１０５に進む。１０５の処理内容についても、後で詳細に述べる。

図１２は１０４のフィルター調整の処理フローである。
まず２０１でカラーカメラ２で撮像を行う。撮像した画像情報はＲＡＭ１３に格納される。

次に２０２でタッチパネルを用いて、フィルターを計算するための範囲を指定する。図１３は範囲を指定した状態の表示画面である。背景部分以外の余計な印字や汚れ１０２を含まないように、範囲１１０を指定する。指定した範囲は左上の点Ｐs(is,js)と右下の点Ｐe(ie,je)の座標値として記憶される。

２０３で実際のカラーフィルターの値を計算する。計算方法の詳細については、後で説明する。

２０４では、２０３で求めたフィルター値を用いて、数１により合成明度画像を作成して、表示する。fr、fg、fb、fnは２０３で求めたフィルター値を用いる。

次に２０５で操作者は表示された合成明度画像が適切かどうか判断する。文字部分と背景のコントラストが適切であれは、２０６に進む。コントラストが十分でなければ、２０２からやり直す。

２０６では表示された合成明度画像に二値化閾値を設定し、二値画像を表示する。

次に２０７で操作者は表示された二値画像で文字部分と背景が黒と白に分離されていることを確認する。分離されていれば、２０８でフィルター値と二値化閾値の結果を品種番号に対応させて記憶し、終了する。分離されていなければ、２０６をやり直す。

図１４は２０３の詳細を示したカラーフィルター計算の処理フローである。フィルター値はＲＧＢの３次元で主成分分析を行い、その第一主成分を元にフィルター係数を決定する。

まず３０１で指定範囲内１１０の分散共分散行列を演算する。計算では以下の式を用いる。まず、［数２］により各画素値の和、自乗和および面積を求める。

次に、求めた値から、［数３］を用いて分散共分散行列の各要素を計算する。

これらを要素とする、［数４］のＡが求めた分散共分散行列である。

次に［数５］により、この分散共分散行列の固有値と固有ベクトルを求める。

これより、λを求める。ここにＥは3×3の単位行列、detは行列式を求める関数である。3つの解が求まるので、絶対値が最大の物を最終的なλとする(第1主成分)。

次にこのλに対する固有ベクトルを求める。

この連立方程式を解いて、Fr、Fg、Fbを求める。これが第一主成分対する固有ベクトルである。次の［数７］で合成値を求めた場合、主成分分析の原理によって、指定範囲内の分散が最大になり、文字と背景が良好に分離可能となる。

合成明度を求める場合、他の画像と統一的に扱うために、最小値と最大値を限定する必要がある。この実施例では、最小値を０、最大値を２５５としている。そのため定数項fnと倍率kを計算する。

まず３０３で、指定範囲内の［数７］の最大値Tmaxと最小値Tminを求める。次に３０４で次の式により定数項fnと倍率kを求める。

なお、文字と背景の黒と白の関係を入れ替えたい場合は、次の式で定数項fnと倍率kを求める。

最後に３０４で最終的にフィルタ係数を決定する。

ここで求めたfr、fg、fb、fnがフィルター値である。決定したフィルター値は品種番号に対応して、ハードディスク１８に記憶する。

このフィルター値を用いて数１により合成明度を算出すると、指定範囲内での分散が最大となるので最もコントラストの良い明暗画像が得られる。

図１５は、１０５の詳細を説明した検査文字設定処理フローである。

まず、３０１でタッチパネルを使って検査文字を入力する。例えば、図１３の検査対象では、一行目に「2013.09.20」、二行目に「Lot N0235」を指定する。ただし、「2013.09.20」は製造日、「N0235」は製造番号なので、その属性も同時に指定する。

次に３０２で基準となる検査対象を設置して、検査対象の撮像を行う。この時ストロボ３を同期して点灯させる。

３０３で撮像したＲＧＢ画像を元に、数１により合成明度変換を行う。この実施例では、撮像した画像全体を変換して合成明度画像を作成している。数１を用いると合成明度値が０から２５５の範囲外になることがあるか、０未満は０、２５６以上は２５５に制限している。

３０４では、合成明度画像を２０６で設定した二値化閾値を用いて二値化し、二値画像を作成する。３０５で文字の切り出し（セグメンテーション）を行う。３０６でそれを正規化し、３０７で基準のパターンとして登録する。登録した内容は、品種番号に対応してハードディスク１８に記憶される。

図１６は、１０６の詳細を説明した検査処理フローである。
まず、４０１で入力を確認する。タッチパネルで終了がタッチされていれば、検査処理を終了する。光電センサ５からの入力があれば、４０２に進む。入力がなければ、この処理を繰り返す。

４０２では、品種番号を取り込む。この実施例では、ライン制御装置６から検査する品種番号を受け取る。これ以降は、取り込んだ品種番号に応じた設定値で検査を行う。

次に４０３で、指定された品種番号に対応したフィルター計算用係数に切り替えて、指定された品種に最適なフィルター計算方法になるようにする。

４０４で光電センサ５の検出位置から撮像位置まで検査対象が移動するまで待った後、ストロボ３を点灯させて撮像する。

４０５では、撮像したＲＧＢ画像を数１を用いて合成明度に変換し、合成明度画像を作成する。これによって図２に示したように、文字部分と背景が分離したヒストグラムを持つ合成明度画像が得られる。

４０６では合成明度画像を品種番号に対応した閾値で二値化する。４０７で文字の切り出しを行い、４０８で切り出された文字を正規化する。

４０９で１０５で設定した標準文字と比較し、全文字が一致していれば不良なし、それ以外では不良有と判断する。

４１０では、不良の有無を判断し、不良があれば、４１１でライン制御装置６に対して排出出力を行う。これにより、ライン制御装置６は排出機７を駆動して、不良品をコンベアから排除する。

このようして、色のついた検査対象に対して、最適なコントラストで印字文字の検査を行うことができる。

また、フィルター値は検査対象が切り替わった際も、ライン制御装置６からの品種番号の指定により、検査対象に最適に設定されるため、常に良好なコントラストが得られる。

この実施例では、ＲＧＢのフィルターを搭載したカラーカメラを使用しているが、主成分分析を用いれば、任意次元の分布に対して主成分を求めることができるため、４波長(すなわち４色)以上の撮像が可能なカメラにも、簡単に拡張できる。またその波長は可視光の範囲に入っている必要はない。

また、この実施例では、数１を用いてＲＧＢの値から合成明度を計算しているが、あらかじめＲＧＢと合成明度との関係テーブルを作成しておき、関係テーブルを用いて変換することも可能である。

この実施例によれば、次のような効果もある。タッチパネルを用いてフィルター係数を計算する範囲を指定するので、文字と背景だけを含んだ領域を指定するのが、容易である。また、フィルター用の係数を計算した後、合成明度を表示して確認を行えるので、フィルター係数が誤っていないことを確認できる。また、フィルター係数は、計算結果が任意の範囲(この実施例では０から２５５)に入るように決定できるので、画像処理用のメモリサイズに応じて調整することが可能である。

１ 印字検査装置
２ カラーカメラ
３ ストロボ照明装置
４ タッチパネル付モニタ
５ 光電センサ
６ ライン制御装置
８a、８b、８c 検査対象
２１a 文字
２１b 背景
２１c 二値化閾値
１０４ フィルター調整処理
４０３ フィルター切り替え処理
４０５ 合成明度変換処理

Claims (3)

1. 検査対象を少なくとも波長の異なる2つ以上の光成分を用いて撮像する撮像手段と、
   撮像手段より取り込まれた画像データを記憶する画像データ記憶手段と、
   正常文字データを記憶するデータ記憶手段と、
   画像データ記憶手段から抽出した文字情報である検査対象文字データと登録された正常文字データを比較して正常か不良かを判定する検査手段と
   を含む印字検査装置であって、
   さらに、
   利用者からの入力を受け付ける入力手段と、
   前記撮像手段により取り込まれた画像データを用いて、前記入力手段で入力された品種番号毎のフィルター値および二値化閾値を決定するフィルター調整手段と、
   前記フィルター調整手段で算出されたフィルター値および二値化閾値を用いて、前記撮像手段により取り込まれた画像データから文字情報を抽出する文字情報抽出手段と、
   当該印字検査装置を制御する制御手段を有し、
   前記入力手段が、前記利用者から品種番号の入力を受付け、
   前記データ記憶手段が、前記撮像手段で撮像された画像データを用いて前記フィルター調整手段で決定された前記フィルター値および前記二値化閾値を、前記入力手段で受け付けられた品種番号に対応付けて記憶し、
   前記撮像手段が、前記正常文字データとすべき文字が印刷された基準となる基準検査対象を撮像し、
   前記文字情報抽出手段が、撮像された前記基準検査対象の画像データから、前記データ記憶装置に記憶されたフィルター値および二値化閾値を用いて文字情報を抽出して、前記正常文字データを生成し、
   前記データ記憶手段が、生成された前記正常文字データを、前記入力手段で受け付けられた品種番号に対応付けて記憶し、
   前記文字情報抽出手段が、前記制御手段から検査対象となる品種番号を示す検査対象品種番号を受け取り、
   前記撮像手段が、前記検査対象品種番号に対応する検査対象を撮像し、
   前記文字情報抽出手段が、撮像された前記検査対象の画像データから、前記検査対象品種番号に対応するフィルター値および二値化閾値を用いて文字情報を抽出して、前記検査対象文字データを生成する
   ことを特徴とする印字検査装置。
2. 請求項１に記載の印字検査装置であって、
   画像データ記憶手段に記憶された画像の範囲を指定する指定手段を有し、
   前記フィルター調整手段は、その範囲内で波長の異なる2つ以上の光成分を統計的に処理して前記フィルター値を決定する処理手段を持つことを特徴とする印字検査装置。
3. 請求項２に記載の印字検査装置であって、
   文字と該当する背景部分だけを指定して、前記フィルター値を決めることを特徴とする印字検査装置。

Images