JP4244046B2 - 画像処理方法および画像処理装置 - Google Patents

Description

本発明は、撮影した取得画像にローパスフィルタを施す画像処理方法に関するものである。

画像にローパスフィルタを施す画像処理方法は、一般的に、注目画素の周辺画素の平均値を求め、これを注目画素の新たな輝度値とするものである。このとき、平均をとる領域を広く取ることにより、強力なローパスフィルタ処理することが可能となり、画像の局所的な特徴が除去されて、マクロな輝度分布を求めることができる。

従来の画像処理方法は、主にノイズの除去を目的として用いられる。このため、処理対象の画素エッジ成分をできるだけ保持するような、工夫がなされており、周辺画素の平均値を取る際に、相関の高い方向の画素のみを選択するなどの方法がとられている（例えば、特許文献１参照）。
特開２００１−６１１５７公報

しかしながら、従来技術では画像周辺部分の処理についての配慮がなされていない。たとえば、注目画素の上下左右３画素の平均値を求めることでローパスフィルタ処理する際には、注目画素を中心とした７×７画素の平均値を求める必要がある。しかし、注目画素が画像の右端に位置している場合、その左側には画素は存在しない。このため、一般的な手法では、画像の周囲３画素の領域については、元の輝度値をそのまま用いる場合や、又は、画素画存在する部分のみについての平均値により新たな輝度値を求める、などの手法を用いる。

元の輝度値をそのまま用いる場合は、当然のことながら、その画素部分ではローパスフィルタ処理されていないという問題がある。また、画素が存在する部分のみについての平均値により新たな輝度値を求める場合には、場所によりローパスフィルタの強度が異なるという問題のほか、輝度レベルがずれるといった問題が生じる。輝度レベルがずれる理由は、例えば画像の輝度が左から右にかけて高くなっているような場合、注目画素を画像の右端とした時には、注目画素とその左に位置する画素の平均（注目画素以下の輝度値をもつ画素のみによる平均値）により新たな輝度を求めることとなり、その結果、本来のこの位置の輝度値よりも低い値を持つからである。

本発明は、前記従来の課題を解決するもので、周辺画素についても平均輝度を保証した好適なローパスフィルタ処理を施すことのできる画像処理方法および画像処理装置を提供することを目的とする。

本発明の請求項１記載の画像処理方法は、画像を多階調の輝度を持つ画素の２次元データとして扱うに際し、元画像の最外周画素のみにローパスフィルタ処理するステップと、前記元画像の領域を拡張するとともに、前記最外周画素と同じ行または列に属する元画素と前記最外周画素との輝度の差分値を求め、前記最外周画素からその差分値を引いた値を外挿することにより拡張した領域の輝度を求めるステップと、前記拡張した領域を含めて元画像の領域にローパスフィルタ処理するステップとを有することを特徴とする。

本発明の請求項２記載の画像処理方法は、請求項１において、元画像の最外周画素のみにローパスフィルタ処理する前記ステップでは、前記元画像の最外郭画素に対して一次元的なローパスフィルタ処理することを特徴とする。

本発明の請求項３記載の画像処理方法は、請求項１において、元画像の最外周画素のみにローパスフィルタ処理する前記ステップでは、外挿する方向に対して垂直方向に位置する画素を用いてローパスフィルタ処理することを特徴とする。

本発明の請求項４記載の画像処理方法は、請求項１において、前記画像の領域を拡張する拡張範囲は、前記拡張した領域を含めて元画像の領域にローパスフィルタ処理する程度に応じて決定することを特徴とする。

本発明の請求項５記載の画像処理方法は、請求項４において、前記拡張した領域を含めて元画像の領域にローパスフィルタ処理する演算に必要な周囲画素領域の大きさが縦Ａ×横Ｂの大きさを持つとき、前記元画像に対して、縦をＡ画素、横をＢ画素だけ拡張することを特徴とする。

本発明の請求項６記載の画像処理方法は、請求項１において、請求項１記載の画像処理方法によって得られた第１の処理画像と、元画像との差分を求めて第２の処理画像を得るステップをさらに備えたことを特徴とする。

本発明の請求項７記載の画像処理方法は、請求項６において、前記第２の処理画像を２値化処理して前記元画像に含まれる欠陥部分を検出することを特徴とする。
本発明の請求項８記載の画像処理装置は、検査対象カメラによって検査に用いる平面板を撮影した元画像を請求項１に記載の画像処理方法によって第１の処理画像を検出する画像処理部と、前記第１の処理画像と元画像との差分の第２の処理画像を検出する減算器と、前記第２の処理画像を２値化した結果画像を検出する２値化回路と、前記結果画像と品質許容基準と照らし合わせて検査対象カメラの品質の合否を判定する判定回路とを設けたことを特徴とする。

本発明の請求項９記載の画像処理方法は、検査対象カメラによって検査に用いる平面板を撮影した元画像を請求項１に記載の画像処理方法によって処理して第１の処理画像Ｐ１を検出するステップと、第１の処理画像と元画像との画素毎の差分の第２の処理画像を検出するステップと、前記第２の処理画像に対してメディアンフィルタ処理して更に２値化した結果画像を検出するステップと、前記結果画像に含まれる欠陥画素の総数のカウント値と品質基準の欠陥画素数とを比較し不良／良品を判定するステップとを備えたことを特徴とする。

本発明の請求項１０記載の画像処理方法は、画像を多階調の輝度を持つ画素の２次元データとして扱う画像処理に際し、前記元画像の最外周画素のみにローパスフィルタ処理するステップと、前記元画像の領域を拡張するとともに、前記最外周画素と同じ行または列に属する元画素と前記最外周画素との輝度の差分値を求め、前記最外周画素からその差分値を引いた値を外挿することにより拡張した領域の輝度を求めた第１の処理画像を求めるステップと、前記第１の処理画像にローパスフィルタ処理した第２の処理画像を求めるステップと、前記第２の処理画像と前記元画像を対応する画素毎に比較して前記画素毎に求めた差が予め与えた閾値よりも小さな値となる位置における第１の処理画像の画素のみを用いてローパスフィルタ処理した画像を生成するステップとを備えたことを特徴とする。

本発明の請求項１１記載の画像処理方法は、請求項１０において、前記元画像の前記画素毎に求めた差が予め与えた閾値よりも小さな値となる位置における第１の処理画像の画素のみを用いてローパスフィルタ処理した画像を生成するステップが出力する画像をキャリブレーション画像とし、該キャリブレーション画像を用いて前記元画像とは別の補正対象画像を補正するステップをさらに備えたことを特徴とする。

本発明の請求項１２記載の画像処理方法は、請求項１１において、前記元画像以外の画像とキャリブレーション画像を画素毎に除算して前記元画像とは別の画像を補正することを特徴とする。

本発明の請求項１３記載の画像処理方法は、元画像の最外周画素のみにローパスフィルタ処理するステップと、前記元画像の領域を拡張するとともに、前記最外周画素と同じ行または列に属する元画素と前記最外周画素との輝度の差分値を求め、前記最外周画素からその差分値を引いた値を外挿することにより拡張した領域の輝度を求めた第１の処理画像を求めるステップと、前記第１の処理画像にローパスフィルタ処理して第２の処理画像を求めるステップと、前記第２の処理画像と元画像を画素毎に比較して予め与えた閾値以上に違いのある画素を用いないようにして前記第１の処理画像に対して再度ローパスフィルタ処理するステップとを備えたことを特徴とする。

本発明の請求項１４記載の画像処理方法は、請求項１３において、前記第２の処理画像と元画像を画素毎に比較して予め与えた閾値以上に違いのある画素を用いないようにして前記第１の処理画像に対して再度ローパスフィルタ処理するステップを、前記第２の処理画像と元の画素の輝度を画素毎に比較して輝度値が規定値以上違う場合にはその対応画素にマーキングするステップと、前記マーキングした画素を注目画素とし、その注目画素の近傍に位置するローパスフィルタに用いる画素の値を調べて平均演算に利用する処理を行い注目画素の新たな輝度値にするステップとで構成したことを特徴とする。

本発明の画像処理方法によれば、画像の周辺近傍画素についても平均輝度を保証した好適なローパスフィルタ結果をもたらすことができる。
また、本発明の画像処理方法を用いた画像処理装置によれば、画像周辺部分においても誤動作なく欠陥を検出できるカメラの検査装置を実現することができ、また、正確に画像の輝度むらを除去した蛍光顕微鏡を実現することができる。

以下、本発明の画像処理方法を具体的な実施の形態に基づいて説明する。
（実施例１）
図１〜図４は本発明の（実施例１）を示す。

図１は、本発明の実施例１における画像処理方法の処理フローを示す。
ステップ１０１では、対象となっている元画像Ｐ０の最外周に位置する画素にのみローパスフィルタ処理する。

ステップ１０２では、外挿を行い、元の画像より一回り大きな画像を作成する。
ステップ１０３では、元画像全体にローパスフィルタ処理して目的とするローパス画像を作成する。

次に、上記の手順をより具体的な例を用いて説明する。
図２は元画像およびステップ１０１の処理後の各画素を示したイメージ図である。図２において、２０１は元画像で、各画素が０〜２５５の２５６階調の輝度値を持つ白黒画像である。説明を簡単にするために、横９画素×縦７画素の大きさを持つものとする。そして、各画素における輝度値を、Ａ（ｘ，ｙ）で表すものとする。

まず、この元画像２０１に対して、ステップ１０１においてその最外周に位置する画素にのみローパスフィルタ処理の手順について示す。
ここでは、網掛けして示した画素のみにローパスフィルタ処理する。まず、Ａ（１，０）〜Ａ（７，０）については横方向にローパスフィルタ処理する。横方向のローパスフィルタとしては、基本的には注目画素Ａ（ｘ，ｙ）を中心とした５画素の元画像のままの輝度値の平均を求め、これを注目画素の新たな輝度値Ｂ（ｘ，ｙ）とするものである。例えば、Ａ（４，０）を注目画素としたとき、
( A(2,0)＋A(3,0)＋A(4,0)＋A(5,0)＋A(6,0) ) ／ ５
を求め、これを新たな輝度値Ｂ（４，０）とする。注目画素をＡ（１，０）とした場合、Ａ（１，０）については、２つ左側の画素が存在しないため、存在しない部分の画素はローパスフィルタ演算の対象外とし、
( A(0,0)＋A(1,0)＋Ａ(2,0)＋A(3,0) ) ／ ４
を新たな輝度値Ｂ（１，０）とする。同様に、注目画素をＡ（７，０）とした場合には、 ( A(5,0)＋Ａ(6,0)＋A(7,0)＋A(8,0) ) ／ ４
を新たな輝度値Ｂ（７，０）とする。Ａ（１，６）〜Ａ（７，６）についても全く同様の方法で、横方向にローパスフィルタ処理する。

Ａ（０，１）〜Ａ（０，５）については縦方向にローパスフィルタ処理する。縦方向のローパスフィルタとしては、基本的には注目画素Ａ（ｘ，ｙ）を中心とした５画素の元画像のままの輝度値の平均を求め、これを注目画素の新たな輝度値Ｂ（ｘ，ｙ）とするものである。例えば、Ａ（０，２）を注目画素としたときには、
( A(0,0)＋A(0,1)＋A(0,2)＋A(0,3)＋A(0,4) ) ／ ５
を求め、これを新たな輝度値Ｂ（０，２）とする。注目画素をＡ（０，１）とした場合、Ａ（０，１）については、２つ上側の画素が存在しないため、存在しない部分の画素はローパスフィルタ演算の対象外とし、
( A(0,0)＋A(0,1)＋A(0,2)＋A(0,3) ) ／ ４
を新たな輝度値Ｂ（０，１）とする。Ａ（８，１）〜Ａ（８，５）についても全く同様の方法で、縦方向にローパスフィルタ処理する。

Ａ（０，０）、Ａ（８，０）、Ａ（０，６）およびＡ（８，６）を注目画素とした場合については、これらは角に位置するものであることから、縦と横方向のローパスフィルタ処理する。したがって、Ａ（０，０）を注目画素としたとき、
( A(0,0)＋A(1,0)＋A(2,0)＋A(0,1)＋A(0,2) ) ／ ５
を求め、これを新たな輝度値Ｂ（０，０）とし、Ａ（８，０）を注目画素としたとき、
( A(6,0)＋A(7,0)＋A(8,0)＋A(8,1)＋A(8,2) ) ／ ５
を求め、これを新たな輝度値Ｂ（８，０）とする。Ａ（０，６）、Ａ（８，６）についても同様の方法を用いる。

以上の動作により、最外周に位置する画素にのみローパスフィルタ処理を施した画像２０２を得る。
以上の説明において、ローパスフィルタは、注目画素を中心とした５画素の輝度平均を用いたが、より多くの画素の平均によるローパスフィルタでも良いし、また、位置に応じた加重平均によるローパスフィルタでも同様の効果を得ることができる。

次に、図３を用いてステップ１０２の処理の詳細について説明を行う。
図３はステップ１０２の処理を行う際の、画像の各画素を示したイメージ図である。３０１はステップ１０２の処理により作られる画像で、その中で白い部分がステップ１０１の処理により作られた部分（最外周に位置する画素にのみローパスフィルタ処理を施した画像２０２）であり、網掛けして示した部分がステップ１０２の処理により新たに作られる画素である。

すなわち、白い部分が元画像と同じ大きさを持ち、網掛けして示した部分が拡張された部分である。白い部分において、Ａ（ｘ，ｙ）であらわされる部分は元画像と同じ輝度値であり、Ｂ（ｘ，ｙ）であらわされる部分はステップ１０１の処理により新たな値となった輝度値である。拡張される領域の幅は、ステップ１０３に用いるローパスフィルタが必要とする領域に応じて決まる。

ここではステップ１０３で用いるローパスフィルタは、注目画素を中心として５×５の画素領域の平均を求め、これを注目画素の新たな輝度値とする。このため、例えばＢ（０，０）の位置の処理結果を精度よく求めるためには、上２画素と左２画素の輝度値を必要とするため、本実施例においては元画像に対して周囲２画素分の領域を拡張する。拡張された領域の輝度値は外挿により求める。

まず、画像の上辺および下辺の拡張領域の輝度値の求め方について詳細に説明する。
例えば、Ｃ（０，−１）の輝度値は、“２＊Ｂ（０，０）−Ｂ（０，１）”により求め、Ｃ（８，−１）の輝度値は、“２＊Ｂ（８，０）−Ｂ（８，１）”により求める。また、Ｃ（１，−１）の輝度値は、“２＊Ｂ（１，０）−Ａ（１，１）”により求め、同様の方法により、Ｃ（２，−１）〜Ｃ（７，−１）の各値を求めることができる。また、Ｃ（０，−２）の輝度値は、“２＊Ｂ（０，０）−Ｂ（０，２）”により求め、Ｃ（８，−２）の輝度値は、“２＊Ｂ（８，０）−Ｂ（８，２）”により求める。また、Ｃ（１，−２）の輝度値は、“２＊Ｂ（１，０）−Ａ（１，２）”により求める。同様にＣ（２，−２）〜Ｃ（７，−２）の各値を求めることができる。

さらに、Ｃ（０，７）の輝度値は、“２＊Ｂ（０，６）−Ｂ（０，５）”により求め、Ｃ（８，７）の輝度値は、“２＊Ｂ（８，６）−Ｂ（８，５）”により求める。また、Ｃ（１，７）の輝度値は、“２＊Ｂ（１，６）−Ａ（１，５）”により求め、同様の方法により、Ｃ（１，７）〜Ｃ（７，７）の各値を求めることができる。また、Ｃ（０，８）の輝度値は、“２＊Ｂ（０，６）−Ｂ（０，４）”により求め、Ｃ（８，８）の輝度値は、“２＊Ｂ（８，６）−Ｂ（８，４）”により求める。また、Ｃ（１，８）の輝度値は、“２＊Ｂ（１，６）−Ａ（１，４）”により求める。同様にＣ（２，８）〜Ｃ（７，８）の各値を求めることができる。

次に、画像の左辺および右辺の拡張領域の輝度値の求め方について詳細説明する。
例えば、Ｃ（−１，０）の輝度値は、“２＊Ｂ（０，０）−Ｂ（１，０）”により求め、Ｃ（−１，６）の輝度値は、“２＊Ｂ（０，６）−Ｂ（１，６）”により求める。また、Ｃ（−１，１）の輝度値は、“２＊Ｂ（０，１）−Ａ（１，１）”により求め、同様の方法により、Ｃ（−１，２）〜Ｃ（−１，５）の各値を求めることができる。

また、元画像の上下の拡張領域はすでに求められているため、Ｃ（−１，−２）はＣ（０，−２）とＣ（１，−２）を用いて同様の方法により求めることができる。また、Ｃ（−１，−１）、Ｃ（−１，７）、Ｃ（−１，８）についても同様の方法により求めることができる。次に、Ｃ（−２，０）の輝度値は、“２＊Ｂ（０，０）−Ｂ（２，０）”により求め、Ｃ（−２，６）の輝度値は、“２＊Ｂ（０，６）−Ｂ（２，６）”により求める。また、Ｃ（−２，１）の輝度値は、“２＊Ｂ（０，１）−Ａ（１，２）”により求め、同様の方法により、Ｃ（−２，２）〜Ｃ（−２，５）の各値を求めることができる。

また、元画像の上下の拡張領域はすでに求められているため、Ｃ（−２，−２）はＣ（０，−２）とＣ（２，−２）を用いて同様の方法により求めることができる。また、Ｃ（−２，−１）、Ｃ（−２，７）、Ｃ（−２，８）についても同様の方法により求めることができる。

さらに、Ｃ（９，０）の輝度値は、“２＊Ｂ（８，０）−Ｂ（７，０）”により求め、Ｃ（９，６）の輝度値は、“２＊Ｂ（８，６）−Ｂ（７，６）”により求める。また、Ｃ（９，１）の輝度値は、“２＊Ｂ（８，１）−Ａ（７，１）”により求め、同様の方法により、Ｃ（９，２）〜Ｃ（９，５）の各値を求めることができる。また、元画像の上下の拡張領域はすでに求められているため、Ｃ（９，−２）はＣ（８，−２）とＣ（７，−２）を用いて同様の方法により求めることができる。また、Ｃ（９，−１）、Ｃ（９，７）、Ｃ（９，８）についても同様の方法により求めることができる。

次に、Ｃ（１０，０）の輝度値は、“２＊Ｂ（８，０）−Ｂ（６，０）”により求め、Ｃ（１０，６）の輝度値は、“２＊Ｂ（８，６）−Ｂ（６，６）”により求める。また、Ｃ（１０，１）の輝度値は“２＊Ｂ（８，１）−Ａ（６，１）”により求め、同様の方法により、Ｃ（１０，２）〜Ｃ（１０，５）の各値を求めることができる。また、元画像の上下の拡張領域はすでに求められているため、Ｃ（１０，−２）はＣ（８，−２）とＣ（６，−２）を用いて同様の方法により求めることができる。また、Ｃ（１０，−１）、Ｃ（１０，７）、Ｃ（１０，８）についても同様の方法により求めることができる。以上により、画像３０１のすべての画素の輝度値を求めることができた。

最後に、ステップ１０３における処理について説明を行う。
最終的な処理後画像が必要な領域は元画像の領域のみであるため、ここでは図３の白い部分のみについて演算を行う。先述のように、ステップ１０３で行うローパスフィルタは、注目画素を中心として５×５の画素領域の平均を求め、これを注目画素の新たな輝度値とするものである。したがって、図３において、Ｂ（０，０）の画素位置における処理後の輝度値は、これを中心とする５×５の画素領域の平均であるため、
( C(-2,-2)＋C(-1,-2)＋C(0,-2)＋C(1,-2)＋C(2,-2)＋C(-2,-1)＋C(-1,-1)＋C(0,-1)＋
C(1,-1)＋C(2,-1)＋C(-2,0)＋C(-1,0)＋B(0,0)＋B(1,0)＋B(2,0)＋C(-2,1)＋C(-1,1)＋B(0,1)＋B(1,1)＋B(2,1)＋C(-2,2)＋C(-1,2)＋B(0,2)＋B(1,2)＋B(2,2) ) ／ ２５
により求められる。以下、図３の白い部分の全てに対して同様に処理を行い、目的とする処理画像を得る。ここでは、ローパスフィルタの例として、５×５の画素領域の平均を用いる場合を示したが、ローパスフィルタの範囲を別の大きさとした場合でも、また、加重平均を用いるなどの別の手段を用いた場合であっても同様の効果を得ることができる。

ここでステップ１０２の処理により、元画像の周囲に画素が作られていることから、ステップ１０３の処理においては、端の部分に特化した例外処理を行う必要は無く、中央部分と端の部分とで同様の処理をすることができる。このときの効果について、図４を用いて説明する。

ここでは、元画像の輝度が左から右にかけて高くなっているような場合を想定して説明するが、説明を簡単にするため、画像の上下方向は一様な輝度を持つものとし、横方向の処理に限定して一次元的に説明する。

図４（ａ）は図２の元画像より上から３行目の画素を１行分抜き出し、その輝度値を高さで表現したもので、４０１〜４０９はＡ（０，２）〜Ａ（８，２）の輝度値を高さで示している。図からわかるように、右に行くに従って輝度が高くなっている。従来のローパスフィルタでは、注目画素を中心とした５画素分の平均値を処理結果とするが、Ａ（８，２）位置においては、右側の画素が存在しないため、輝度値４０７〜４０９の３画素の平均値を求める。図からわかるように、この結果は輝度値４０８の高さとほぼ等しくなり、本来の輝度値４０９の高さよりも低くなる。

一方、本発明により画像処理した場合の例を図４（ｂ）に示す。
図４（ｂ）は図３の画像より上から５行目の画素を１行分抜き出し、その輝度値を高さで表現したもので、４０１〜４０８はＡ（０，２）〜Ａ（７，２）を、４１０はＢ（８，２）を、４１１〜４１２はＣ（９，２）〜Ｃ（１０，２）の輝度値を高さで示している。

輝度値４１０はステップ１０１において縦方向のローパスフィルタにより作成されたもので、ここでは元画像の縦方向には同じ輝度値が並んでいるものと仮定しているため、輝度値４１０は輝度値４０９と同じ値を持つ。また、輝度値４１１，４１２はステップ１０２の外挿により作られたものであり、輝度値４０７〜４１０にかけてと同じ割合で輝度が増加している。ステップ１０３において、Ｂ（８，２）位置での処理は、輝度値４０７〜４１２の５画素の平均値を求めることであり、図からわかるように、この結果は輝度値４１０の高さとほぼ等しくなる。このことから、本発明によれば、画像周辺部分においても、元の画像の平均値に近い値を得ることができることがわかる。

また、ステップ１０２の処理により拡張領域の画素の輝度値を求めるときには、外挿により求めている。外挿においては、例えば
Ｃ（２，−１）＝２＊Ｂ（２，０）−Ａ（２，１）
という式からわかるように、Ｂ（２，０）がノイズ等によリある誤差を持っていた場合には、Ｃ（２，−１）の値はその誤差の２倍の誤差を含むこととなる。同様に、Ｃ（２，−２）も同じ誤差を持ち、１０３の処理時において、Ｂ（２，０）の位置の輝度を求める際には、Ｃ（２，−１）とＣ（２，−２）の両方を用いることから、結果にこの誤差が大きく影響することとなる。すなわち、元画像の最外周の輝度にノイズ等の誤差がある場合には、最終の処理結果に大きな影響を与えることがわかる。ステップ１０１の処理はこれを防止するものであり、元画像の最外周の画素に対して予めローパスフィルタを施し、ノイズの防止を図っている。

従って、元の画素の輝度平均を保持するローパスフィルタを実現することができる。
以上の様に実施例１においては、ローパスフィルタ処理する際に、画像の周囲を拡張した後にローパスフィルタ処理することにより、画像内において周辺部分も中央部分と同じ条件でローパスフィルタ処理が可能となり、周辺画素についても平均輝度を保証した好適なローパスフィルタ結果をもたらすことができる。

（実施例２）
図５は（実施例１）に記載の画像処理方法に基づいて画像処理を実行している画像処理装置を示す。図９は欠陥検出装置５０２の具体的な処理方法を示している。

この画像処理装置は、例えばデジタルスチルカメラやデジタルビデオ等のようにレンズやＣＣＤ（電荷結合素子charge-coupled device ）を用いる画像撮影機器の検査に用いることができる。ここでは、検査対象のデジタルスチルカメラにおける、レンズやＣＣＤの欠陥を検査する検査装置に応用した例を、以下詳細に説明する。

図５において、カメラ５００は検査対象となるデジタルスチルカメラであり、これを用いて、検査に用いる平面板５０１を撮影する。この平面板５０１は淡色無地の板であり、例えば全面がグレーの一色で塗られている。元画像Ｐ０は、カメラ５００にて平面板５０１を撮影した画像であり、デジタル画像データとなっている。本実施例においては、元画像Ｐ０は、カメラ５００のＣＣＤの１画素当たりの輝度が２５６階調で、１０２４×７６８画素の大きさを持つものとする。この元画像Ｐ０を用いてカメラ５００のレンズあるいはＣＣＤの欠陥を、欠陥検出装置５０２を用いて検出する方法を以下に説明する。

５０３は前記実施例１の画像処理方法を実現する画像処理部で、この画像処理部５０３は１００×１００の範囲の画素を平均化する処理を行う。この画像処理部５０３の領域の大きさは、想定される欠陥の画素が最大５０×５０程度であるので、本発明の平均化処理を行うにために充分に大きな領域である。ここで、最大５０×５０の欠陥領域内の各画素に対して、その周囲の１００×１００の画素を用いて平均化した場合、欠陥部分が最大１／４であり、少なくとも３／４は、背景の輝度値を持つ。従って、平均化後の画素の輝度値は、欠陥部分の輝度値よりもはるかに背景の輝度値に近いものとなる。この結果、欠陥部分の影響はほとんど消去され、画像処理部５０３の出力は元画像Ｐ０の輝度分布に極めて近い第１の処理画像Ｐ１となる。

５０４は画像処理部５０３の出力の第１の処理画像Ｐ１と元画像Ｐ０との差分を取る減算器である。減算器５０４の出力の第２の処理画像Ｐ２は、両者の差であるところの欠陥部分のみが０以外の値を持つこととなる。

次に、減算器５０４の出力を２値化回路５０５に入力する。２値化回路５０５は、減算器５０４からの出力を各画素毎に評価し、注目画素の輝度値の絶対値が予め与えた閾値より大きい場合はその画素に対して“１”を、閾値以下の場合はその画素に対して“０”を出力する。ここではごく微妙な欠陥を検出するために閾値を“１”とするが、欠陥がはっきりしている場合は、閾値をより大きな値とすることもできる。２値化回路５０５からの出力は、元画像Ｐ０と、元画像Ｐ０が本来持つ輝度分布との、異なっている画素を“１”として出力することとなり、その結果、欠陥画素のみが“１”として表現された結果画像Ｐ３を得ることができる。

結果画像Ｐ３は欠陥部分の画素が全て含まれている。ところが、検査する商品の品質許容基準によっては、その欠陥のレベルに応じて良品を判断するので、結果画像Ｐ３を、そのまま用いて判断するべきでは無い。このため、評価値演算回路５０６と判定回路５０７において、結果画像Ｐ３を評価し、出荷範囲入力手段５０８から入力された品質許容基準と照らし合わせ、検査対象であるカメラ５００の品質の合否を判定する。

たとえば、欠陥と判定された画素の総数が５０画素以上あれば不合格であるという基準があらかじめ出荷範囲入力手段５０８に入力された場合、判定回路５０７では、結果画像Ｐ３において、“１”という値を持つ画素の総数を求め、これが５０画素よりも少ない場合には合格の判定を、５０画素以上の場合には不合格の判定を行い、これを、結果表示装置５０９に出力する。また、出荷範囲入力手段５０８から入力された品質許容基準が、連続した欠陥画素の集合体のうち最大のものの画素数の合計が３０画素以上であれば不合格であるという基準があらかじめ入力された場合、判定回路５０７では、結果画像Ｐ３において、“１”という値を持つ画素の中で、これが連続してかたまっているものを探索し、最大の大きさを持つものの画素数を求め、これが３０画素よりも少ない場合には合格の判定を、３０画素以上の場合には不合格の判定を行い、これを、結果表示装置５０９に出力する。結果表示装置５０９においては、判定回路５０７からの判定結果をモニタに表示し、製品としての合否を人間に伝える。

なお、上記において、第２の処理画像Ｐ２は、減算器５０４の出力をそのまま用いたが、実際には、元画像Ｐ０に含まれるノイズ成分についても、０以外の値を持つこととなるため、これを除去するために減算器５０４の出力にメディアンフィルタをかけたものを第２の処理画像Ｐ２として用いることもできる。メディアンフィルタは画像処理で一般的に用いられるもので、注目画素の周辺領域の画素の輝度値を大きさの順に並べ、その中央に位置するものを注目画素の輝度値とするものである。メディアンフィルタはある程度の大きさを持った輝度変化領域のみを残して、ノイズ部分を消去することができる。

従来の画像処理装置では周辺部分において平均輝度の保証がされていないため、画像処理部５０３に従来の画像処理方法を用いた場合は、周辺部分の欠陥検出が正常に行えない恐れがあるのに対して、本方法によれば、ローパスフィルタの周辺部の平均値は元画像と近い値となるため、正確に欠陥のみを抽出することができる。

以上のように本実施例においては、元画像Ｐ０と前記実施例１による画像処理方法により求めた前記元画像Ｐ０が本来持つ輝度分布を表わす第１の処理画像Ｐ１とを減算し、２値化するようにしたので、正確に欠陥のみを抽出することができる。

次に、上記に示した欠陥検出装置５０２を、ソフトウェアにより実現する場合の処理方法の一例を、図９を用いて詳しく説明する。
図９はデジタルスチルカメラ等の検査において、レンズやＣＣＤの欠陥を検出する方法の一実施例のフローチャートである。

ステップ９０１では、先ずカメラ等で撮影した元画像Ｐ０に対して、実施例１で示したローパスフィルタを施す。ここでは、１００×１００の範囲の画素を平均化するものとし、これは想定される最大欠陥領域（５０×５０）に対して充分に大きな領域である。そのため、先に説明した画像処理部５０３と同様の原理で、欠陥部分の影響はほとんど消去され、処理結果は元画像Ｐ０の輝度分布に極めて近い第１の処理画像Ｐ１となる。

ステップ９０２では、第１の処理画像Ｐ１と元画像Ｐ０との画素毎の差分を求める。この処理結果は、理想的には両者の差であるところの欠陥部分のみが０以外の値を持つこととなる。ただし、実際の結果では、元画像Ｐ０に含まれていたノイズ成分も０以外の値を持つこととなるため、ステップ９０２の処理結果に対してステップ９０３においてメディアンフィルタ処理する。

メディアンフィルタは画像処理で一般的に用いられるもので、注目画素の周辺領域の画素の輝度値を大きさの順に並べ、その中央に位置するものを注目画素の輝度値とするものである。メディアンフィルタはある程度の大きさを持った輝度変化領域のみを残して、ノイズ部分を消去することができる。このため、ステップ９０３の処理結果Ｐ２は、欠陥部分のみが０以外の値を持つこととなる。

ステップ９０４では、処理結果Ｐ２を２値化する。この２値化は、処理結果Ｐ２を各画素毎に評価し、注目画素の輝度値の絶対値が予め与えた閾値より大きい場合はその画素に対して“１”を、閾値以下の場合はその画素に対して“０”を出力する。ここではごく微妙な欠陥を検出するために閾値を“１”とするが、欠陥がはっきりしている場合は、閾値をより大きな値とすることもできる。２値化の結果、元画像Ｐ０と、元画像Ｐ０が本来持つ輝度分布との、異なっている画素を“１”として出力することとなり、その結果、欠陥画素のみが“１”として表現された結果画像Ｐ３を得ることができる。

ステップ９０５においては、結果画像Ｐ３に含まれる欠陥画素の総数をカウントする。これは、結果画像Ｐ３の全体において“１”の値を持つ画素をカウントすることで実現することができる。

ステップ９０６においては、予め与えられた品質規準、たとえば「欠陥画素数が５０以上の製品は不良」という基準に基づき、ステップ９０５でカウントした値と、品質基準の欠陥画素数５０とを比較し、ステップ９０５でカウントした値が５０以上である場合には、ステップ９０７において不良であるという情報を出力する。また、ステップ９０５でカウントした値が５０未満である場合には、ステップ９０８において良品であるという情報を出力する。

（実施例３）
図６〜図８は（実施例１）に記載の画像処理方法に基づいて画像処理を実行している蛍光顕微鏡画像取得装置を示す。

図６において、６０１は補正対象画像としての観察対象で、例えば蛍光色素などで染色した細菌の細胞などである。レーザ光源６０２からのレーザ光をダイクロイックミラー６０３で反射させて、観察対象６０１に照射すると、観察対象６０１の蛍光色素はレーザに励起されて、特定の波長で光を発する。この光はＣＣＤカメラ６０４で捕らえ、画像データとしてデジタル化し、ホストコンピュータ６０５で処理される。

ここで、観察対象６０１に照射したレーザ光を観察面内で全て均一になるようにするのは困難であり、通常は中央部は明るく、周辺部分は暗いという照度分布を持つ。このレーザ光により励起した蛍光画像をそのまま表示した場合、本来の蛍光色素の分布が正確に表示されないため、レーザ光の照度分布のキャリブレーションを行う必要がある。

キャリブレーションは、観察対象６０１を撮影した画像とは別に用意したキャリブレーション画像を用いて次のように実施される。
キャリブレーション画像は、図６の観察対象６０１の代わりに、蛍光色素を一様に塗布した標準サンプルを置いて撮影を行って取得する。取得した画像は、レーザ光の照度分布を表すことから、観察対象を撮影した画像からキャリブレーション画像を、対応する画素毎に除算して、レーザ光の照度分布の影響をキャンセルするキャリブレーションを行うことができる。

しかし、キャリブレーション画像取得に用いる標準サンプルを理想的に作成するのは困難であり、実際には多くの場合小さなごみが混入する。このごみが混入したキャリブレーション画像をそのまま用いてキャリブレーションした場合、表示した画像にはごみの影響が影となって現われることとなる。

そこで、この（実施例３）では、ホストコンピュータ６０５が次に示す画像処理を実行するように構成されている。
ホストコンピュータ６０５は、キャリブレーション画像作成ルーチン６０６と観察画像補正ルーチン６０７とで構成されている。撮影した標準サンプルの画像から理想的なキャリブレーション画像を作成するキャリブレーション画像作成ルーチン６０６は図７に示すように構成されている。

ステップ７０１では、撮影した標準サンプルの画像の最外周画素のみにローパスフィルタ処理する。
ステップ７０２では、外挿により一回り大きな画像を作成する。

ステップ７０３では、これを用いて元画像の範囲にローパスフィルタ処理する。ここまでは実施例１と同じ手法を取る。
最後にステップ７０４では、ステップ７０３で作られた画像と元画像を画素毎に比較し、予め与えた閾値以上に違いのある画素を用いないようにして、ステップ７０２により生成された画像に対して再度のローパスフィルタ処理を実施する。

このステップ７０４の処理をより詳細に示したものを図８に示す。
ステップ８０１では、ステップ７０３の結果と、元の画素の輝度を画素毎に比較する。その結果、輝度値が“１０”以上違う場合には、ステップ８０２においてステップ７０３の結果の対応画素を−１とし、誤差が大きいと言う意味のマーキングとする。ここで、誤差が大きい部分は、ゴミの部分である可能性が高く、ここでのマーキングは、ごみの部分をマーキングするという意味を持つ。

なお、ここでは輝度値のしきい値を“１０”以上としたが、“１０”に限らず、他の任意の値に設定しても良い。
この処理を元画像の全ての画素に対して行い、ステップ８０３において未処理の場合にはステップ８０１〜８０２を繰り返す。全ての画素において、大きな差を持つ画素のマーキングが終了した場合は、再度ローパスフィルタをやり直すために、ステップ８０４に処理を移す。

ステップ８０４では、順番により指定した画素を注目画素とし、ステップ８０５においては、その注目画素の近傍に位置するローパスフィルタに用いる画素の値を調べる。
この値が−１のときはこの画素を無視し、−１でない場合には、ステップ８０６によりこの値を平均演算に利用する処理を行う。例えば、ローパスフィルタに用いる画素の数が２５個あり、その中に−１であるものが２個あった場合には、残りの２３個の平均値を求め、その値を注目画素の新たな輝度値にする。ステップ８０７では、現在の注目画素においてローパスフィルタに用いる近傍画素の全てを処理したかどうか判断し、未処理の場合はステップ８０５〜８０６を繰り返す。ステップ８０７において、全ての処理を終えたと判定した場合は、ステップ８０８において、ローパスフィルタによる結果を１画素分記録する。

ステップ８０９では、全ての画素において上記の処理が終了したかを判定し、終了がまだの場合は、ステップ８０４〜ステップ８０８を繰り返し、全ての画素を処理した場合には本処理を終了する。

この処理により、ゴミ等によリ平均輝度からはずれた画素を用いないでローパスフィルタ処理することにより、ゴミの影響を受けない好適なキャリブレーション画像を得ることができる。作成したキャリブレーション画像はホストコンピュータ６０５に記憶される。

このようにしてホストコンピュータ６０５のキャリブレーション画像作成ルーチン６０６を実行してキャリブレーション画像の取得が完了した後に、観察対象６０１を前記標準サンプルから、最終的な観察対象である例えば蛍光色素などで染色した細菌の細胞などに交換して観察画像補正ルーチン６０７の実行を指示すると、観察画像補正ルーチン６０７では、ゴミ等によリ平均輝度からはずれた画素を用いないでローパスフィルタ処理することによりゴミの影響を受けない好適な前記キャリブレーション画像を使用して、対応する画素毎に除算を行うことにより、レーザ光の照度分布の影響を正確にキャンセルするキャリブレーションを行い、本来の蛍光色素の分布が正確に表示できる。

なお、上記の各実施例では処理の初期段階において、元画像Ｐ０の最外周画素のみにローパスフィルタをかけたが、これは、元画像Ｐ０の最外周画素の付近の画素にのみにローパスフィルタをかけ、それよりは外側の画素を破棄して後工程の画像処理を実行するように構成することもできる。

また、上記の各実施例では処理の初期段階において、元画像Ｐ０の最外周画素のみ、または元画像Ｐ０の最外周画素の付近の画素にのみにローパスフィルタをかけたが、このときには元画像Ｐ０も同時にローパスフィルタ処理するように構成することもでき、元画像の最外周画素または最外周付近の画素に少なくともローパスフィルタ処理することによって目的を達成できる。

なお、本明細書において「外挿する方向に対して垂直方向に位置する画素を用いてローパスフィルタ処理する」とは、具体的には、図３において画素Ｂ（２，０）と画素Ａ（２，０）に対して画素Ｃ（２，−１）と画素Ｃ（２，−２）を縦に外挿する場合に、画素Ｂ（２，０）が折り返し点で、この場合の縦の外挿方向に対して横方向の画素Ｂ（１，０），画素Ｂ（３，０）が垂直方向に位置する画素になる。画素Ｂ（０，２）と画素Ａ（１，２）に対して画素Ｃ（−１，２）と画素Ｃ（−２，２）を横に外挿する場合に、画素Ｂ（０，２）が折り返し点で、この場合の横の外挿方向に対して縦方向の画素Ｂ（０，３），画素Ｂ（０，１）が外挿方向に対する垂直方向に位置する画素になる。

本発明にかかる画像処理方法は、周辺部分の平均輝度を保証した精度のよい処理結果をもたらすため、精度の良いローパスフィルタを実現することができる。この画像処理方法を備えた画像処理装置をデジタルカメラの検査に用いることにより、誤検出のない優れた検査方法を実現できるなど有用である。

また、本発明の画像処理方法を蛍光顕微鏡のキャリブレーションに用いることにより、正確なキャリブレーションが実現でき、精度のよい表示が可能になるなど有用である。

本発明の（実施例１）における画像処理方法の処理フローチャート 同実施例における元画像の画素配置図 同実施例における中間画像の画素配置図 同実施例の効果を説明するイメージ図 本発明の（実施例２）における画像処理装置のブロック図 本発明の（実施例３）の蛍光顕微鏡画像システムのブロック図 同実施例のキャリブレーション画像作成のための処理フローチャート 同実施例のステップ７０４のフローチャート 本発明の（実施例２）における欠陥検出装置５０２を、ソフトウェアにより実現する場合のフローチャート

符号の説明

１０１〜１０３ 画像処理フローの処理ステップ
２０１ 元画像
２０２ 最外周に位置する画素にのみローパスフィルタ処理を施した画像
３０１ 領域拡張された中間画像
４０１〜４１２ 各画素の輝度値
５００ カメラ（検査対象）
５０１ 平面板
５０２ 欠陥検出装置
５０３ 画像処理部
５０４ 減算器
５０５ ２値化回路
５０６ 評価値演算回路
５０７ 判定回路
６０１ 観察対象
６０２ レーザ光源
６０３ ダイクロイックミラー
６０４ ＣＣＤカメラ
６０５ ホストコンピュータ
６０６ キャリブレーション画像作成ルーチン
６０７ 観察画像補正ルーチン

Claims (14)

1. 画像を多階調の輝度を持つ画素の２次元データとして扱うに際し、
   元画像の最外周画素のみにローパスフィルタ処理するステップと、
   前記元画像の領域を拡張するとともに、前記最外周画素と同じ行または列に属する元画素と前記最外周画素との輝度の差分値を求め、前記最外周画素からその差分値を引いた値を外挿することにより拡張した領域の輝度を求めるステップと、
   前記拡張した領域を含めて元画像の領域にローパスフィルタ処理するステップと
   を有する画像処理方法。
2. 元画像の最外周画素のみにローパスフィルタ処理する前記ステップでは、前記元画像の最外郭画素に対して一次元的なローパスフィルタ処理する
   請求項１記載の画像処理方法。
3. 元画像の最外周画素のみにローパスフィルタ処理する前記ステップでは、外挿する方向に対して垂直方向に位置する画素を用いてローパスフィルタ処理する
   請求項１記載の画像処理方法。
4. 前記画像の領域を拡張する拡張範囲は、前記拡張した領域を含めて元画像の領域にローパスフィルタ処理する程度に応じて決定する
   請求項１記載の画像処理方法。
5. 前記拡張した領域を含めて元画像の領域にローパスフィルタ処理する演算に必要な周囲画素領域の大きさが縦Ａ×横Ｂの大きさを持つとき、前記元画像に対して、縦をＡ画素、横をＢ画素だけ拡張する
   請求項４記載の画像処理方法。
6. 請求項１記載の画像処理方法によって得られた第１の処理画像と、元画像との差分を求めて第２の処理画像を得るステップをさらに備えた
   請求項１記載の画像処理方法。
7. 前記第２の処理画像を２値化処理して前記元画像に含まれる欠陥部分を検出する
   請求項６記載の画像処理方法。
8. 検査対象カメラによって検査に用いる平面板を撮影した元画像を請求項１に記載の画像処理方法によって第１の処理画像を検出する画像処理部と、
   前記第１の処理画像と元画像との差分の第２の処理画像を検出する減算器と、
   前記第２の処理画像を２値化した結果画像を検出する２値化回路と、
   前記結果画像と品質許容基準と照らし合わせて検査対象カメラの品質の合否を判定する判定回路と
   を設けた画像処理装置。
9. 検査対象カメラによって検査に用いる平面板を撮影した元画像を請求項１に記載の画像処理方法によって処理して第１の処理画像Ｐ１を検出するステップと、
   第１の処理画像と元画像との画素毎の差分の第２の処理画像を検出するステップと、
   前記第２の処理画像に対してメディアンフィルタ処理して更に２値化した結果画像を検出するステップと、
   前記結果画像に含まれる欠陥画素の総数のカウント値と品質基準の欠陥画素数とを比較し不良／良品を判定するステップと
   を備えた画像処理方法。
10. 画像を多階調の輝度を持つ画素の２次元データとして扱う画像処理に際し、
    前記元画像の最外周画素のみにローパスフィルタ処理するステップと、
    前記元画像の領域を拡張するとともに、前記最外周画素と同じ行または列に属する元画素と前記最外周画素との輝度の差分値を求め、前記最外周画素からその差分値を引いた値を外挿することにより拡張した領域の輝度を求めた第１の処理画像を求めるステップと、
    前記第１の処理画像にローパスフィルタ処理した第２の処理画像を求めるステップと、
    前記第２の処理画像と前記元画像を対応する画素毎に比較して前記画素毎に求めた差が予め与えた閾値よりも小さな値となる位置における第１の処理画像の画素のみを用いてローパスフィルタ処理した画像を生成するステップと
    を備えた画像処理方法。
11. 前記元画像の前記画素毎に求めた差が予め与えた閾値よりも小さな値となる位置における第１の処理画像の画素のみを用いてローパスフィルタ処理した画像を生成するステップが出力する画像をキャリブレーション画像とし、該キャリブレーション画像を用いて前記元画像とは別の補正対象画像を補正するステップをさらに備えた
    請求項１０記載の画像処理方法。
12. 前記元画像以外の画像とキャリブレーション画像を画素毎に除算して前記元画像とは別の画像を補正する
    請求項１１記載の画像処理方法。
13. 元画像の最外周画素のみにローパスフィルタ処理するステップと、
    前記元画像の領域を拡張するとともに、前記最外周画素と同じ行または列に属する元画素と前記最外周画素との輝度の差分値を求め、前記最外周画素からその差分値を引いた値を外挿することにより拡張した領域の輝度を求めた第１の処理画像を求めるステップと、
    前記第１の処理画像にローパスフィルタ処理して第２の処理画像を求めるステップと、
    前記第２の処理画像と元画像を画素毎に比較して予め与えた閾値以上に違いのある画素を用いないようにして前記第１の処理画像に対して再度ローパスフィルタ処理するステップと
    を備えた画像処理方法。
14. 前記第２の処理画像と元画像を画素毎に比較して予め与えた閾値以上に違いのある画素を用いないようにして前記第１の処理画像に対して再度ローパスフィルタ処理するステップを、
    前記第２の処理画像と元の画素の輝度を画素毎に比較して輝度値が規定値以上違う場合にはその対応画素にマーキングするステップと、
    前記マーキングした画素を注目画素とし、その注目画素の近傍に位置するローパスフィルタに用いる画素の値を調べて平均演算に利用する処理を行い注目画素の新たな輝度値にするステップと
    で構成した請求項１３記載の画像処理方法。

Images