JP4726983B2 - 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法 - Google Patents

Description

本発明は、シート状等の被検査物の欠陥を検査する欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、欠陥検査用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、および欠陥検査用画像処理方法に関するものである。

一般に、シート状の被検査物の欠陥を検査する場合、被検査物に光を照射し、その透過光または反射光を測定・解析することによって、被検査物の欠陥を検出する方法がよく用いられている。この方法は、欠陥検査装置の光学系の配置によって、図１５に示すように、大きく４つに分類される。

図１５（ａ）に示す光学系の配置は、正透過法と呼ばれるものであり、また、図１５（ｂ）に示す光学系の配置は、透過散乱法と呼ばれるものである。一般的に、正透過法および透過散乱法のように、透過光を測定する方法は、光透過率が高い被検査物５０２を検査するときに用いられる。図１５（ｃ）に示す光学系の配置は、正反射法と呼ばれるものであり、また、図１５（ｄ）に示す光学系の配置は、反射散乱法と呼ばれるものである。一般的に、正反射法および反射散乱法のように、反射光を測定する方法は、光透過率が小さい被検査物５０２を検査するときに用いられる。

また、正透過法および正反射法のように、光源５０３から照射される光の光軸上にラインセンサ５０１を配置し、被検査物５０２からの非散乱光（正透過光または正反射光）をラインセンサ５０１で測定する方法を明視野法ともいう。一方、透過散乱法および反射散乱法のように、光源５０３から照射される光の光軸上からずらしてラインセンサ５０１を配置し、被検査物５０２からの非散乱光がラインセンサ５０１に直接入射しないように光源５０３と被検査物５０２との間に遮光体（ナイフエッジ）５０４を配置し、遮光体５０４の端部にラインセンサ５０１の焦点を合わせ、被検査物５０２からの散乱光（散乱透過光または散乱反射光）をラインセンサ５０１で測定する方法を暗視野法または光軸ずらし法ともいう。なお、暗視野法または光軸ずらし法では、遮光体５０４を省略し、被検査物５０２からの非散乱光がラインセンサ５０１に直接入射しないようにラインセンサ５０１を配置することもある。

明視野法では、光源５０３からの光が被検査物５０２の欠陥によって散乱することにより、ラインセンサ５０１が受光する非散乱光の光量が減少する。明視野法では、このラインセンサ５０１が受光する光の減少量（変化量）から被検査物５０２の欠陥の有無を判断する。明視野法は、検出感度が低いため、減少量が大きい、比較的大きな欠陥を検出する場合に適した方法である。また、暗視野法と比較して、光学系の配置が容易に行えるため、動作が安定し実用化が簡単である。

一方、暗視野法では、被検査物５０２の欠陥によって散乱した光をラインセンサ５０１が受光し、その受光量から被検査物５０２の欠陥の有無を判断する。暗視野法は、明視野法と比べて、欠陥の検出感度が高く、微小な凹凸（欠陥）を検出することができる。しかしながら、光学系（ラインセンサ５０１、光源５０３および遮光体５０４）を高精度に配置する必要があるため、実用化は限定的である。

一般的に、被検査物の大きな欠陥は目視で確認できるため、微小な欠陥を検出できることが欠陥検査装置に望まれる。そのため、欠陥検査装置に暗視野法を用いることが多い。しかしながら、暗視野法には、上述のように実用的には光学系の配置が困難であるため、被検査物の欠陥を精度良く検査することが難しいという問題がある。

この問題を解決するための技術が特許文献１に開示されている。特許文献１に開示された技術は、被検査物の欠陥の有無を高精度に検出するために、光学系の配置に対して適切な遮光体の大きさが規定されている。

特開２００７−３３３５６３号公報（２００７年１２月２７日公開） 特開２００８−２９２１７１号公報（２００８年１２月４日公開）

しかしながら、被検査物の欠陥によってどのような光線経路の変化が起こるかは、欠陥の種類（サイズ等）によって異なるので、適切な光学系の配置（光源と受光装置との位置関係等）や遮光体の大きさは、実際には、欠陥の種類（サイズ等）によって異なる。特許文献１にも、光学歪みが微小な欠点を検出するためには、ライン状透過照明装置と受光手段の位置を近づける必要があることが記載されている（段落［０００９］）。そのため、上述のような従来技術は、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検査することが難しいという問題がある。暗視野法を用いる欠陥検査装置では、上述のように光学系を高精度に配置する必要があるため、欠陥の種類に応じて光学系の配置および遮光体の大きさを変更することが実用上、困難である。そのため、従来の暗視野法を用いる欠陥検査装置では、比較的多く存在する特定の種類の欠陥を検出できる光学系の配置および遮光体の大きさを選択して使用することになり、一部の種類の欠陥を十分な精度で検出できない場合があるという問題点を有している。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検出できる欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、および欠陥検査用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、および欠陥検査用画像処理方法を実現することにある。

本発明に係る欠陥検査用画像処理装置は、上記課題を解決するために、被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理装置であって、複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出手段と、上記同一ライン抽出手段によって抽出されたラインデータを時系列に並べて複数ラインのライン合成画像データを生成するライン合成手段とを備え、上記同一ライン抽出手段は、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するものであり、上記ライン合成手段は、上記同一ライン抽出手段によって抽出されたラインデータを、上記画像データ上における位置ごとに、時系列に並べて異なる複数のライン合成画像データを生成するものであり、さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算手段と、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算手段と、を備えることを特徴としている。

また、本発明に係る欠陥検査用画像処理方法は、上記課題を解決するために、被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理方法であって、複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出ステップと、上記同一ライン抽出ステップにおいて抽出されたラインデータを時系列に並べて複数ラインの合成画像データを生成するライン合成ステップとを含み、上記同一ライン抽出ステップは、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するステップであり、上記ライン合成ステップは、上記同一ライン抽出ステップにおいて抽出されたラインデータを、上記画像データ上における位置ごとに、時系列に並べて異なる複数のライン合成画像データを生成するステップであり、さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算ステップと、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算ステップと、を含むことを特徴としている。

上記の構成によれば、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像における複数の異なる画像データの中から、画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出し、この抽出処理を上記画像データ上における異なる複数の位置について同様に行う。そして、抽出されたラインデータを、上記画像データ上における位置ごとに時系列に並べて、複数ラインから構成される、異なる複数のライン合成画像データを生成する。被検査物と撮影部とが相対的に移動させられているため、上記異なる複数のライン合成画像データは、上記被検査物に対して、それぞれ異なる撮影角度で撮影された画像データに相当するものである。よって、上記ライン合成画像データを生成することによって、上記被検査物に対する撮影部の撮影角度を変更することなく、上記被検査物に対して異なる撮影角度で撮影した複数の画像データを得ることができる。したがって、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥をそれぞれ検査するのに最適な複数の撮影角度で撮影されたライン合成画像データを得ることが可能となる。そのため、当該複数のライン合成画像データを参照することによって、欠陥によって生じる光線経路の変化が異なる被検査物上の様々な種類の欠陥を一度に十分な精度で検出することができるという効果を奏する。また、光学系の配置精度が高くなくても、得られる複数のライン合成画像データの何れかは、光学系を精度良く配置したときに得られる画像データと同等となるので、欠陥を精度良く検出することができる。

また、上記の構成によれば、オペレータ演算手段が、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの強調画像データをそれぞれ生成する。そのため、上記複数のライン合成画像データの各画素における輝度変化が強調されるので、微小な欠陥、薄い欠陥、または淡い欠陥などを検出することが容易になる。

また、上記の構成によれば、上記被検査物の同一箇所を示す上記複数の強調画像データの強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する。積算することによって、ノイズを低減できる。

なお、上記被検査物の同一箇所を示す上記複数の強調画像データを得る方法は、特に限定されるものではなく、例えば、（１）上記同一ライン抽出の前に、複数の異なる画像データの中から同一箇所を示すラインデータをそれぞれ特定して、各ラインデータに対して同一箇所を示す識別子を付加し、上記オペレータ演算の後、上記積算の前に、上記識別子に基づいて上記複数の強調画像データの中から上記被検査物の同一箇所を示す上記複数の強調画像データを抽出する方法；（２）上記同一ライン抽出の前に、複数の異なる画像データの中から同一箇所を示すラインデータをそれぞれ特定して、各ラインデータに対して同一箇所を示す識別子を付加し、上記ライン合成の後、上記オペレータ演算の前に、上記識別子に基づいて上記複数のライン合成画像データの中から上記被検査物の同一箇所を示す上記複数のライン合成画像データを抽出し、抽出された上記被検査物の同一箇所を示す上記複数のライン合成画像データに対して上記オペレータ演算を行うことによって上記被検査物の同一箇所を示す上記複数の強調画像データを生成する方法；（３）上記オペレータ演算の後、上記積算の前に、複数の異なる強調画像データの中から同一箇所を示す強調画像データをそれぞれ特定および抽出する方法；（４）上記ライン合成の後、上記オペレータ演算の前に、複数の異なるライン合成画像データの中から同一箇所を示す強調画像データをそれぞれ特定および抽出し、抽出された上記被検査物の同一箇所を示す上記複数のライン合成画像データに対して上記オペレータ演算を行うことによって上記被検査物の同一箇所を示す上記複数の強調画像データを生成する方法；などが挙げられる。

また、本発明に係る欠陥検査用画像処理装置は、上記オペレータ演算手段は、上記複数のライン合成画像データに対して微分オペレータを用いた演算を行うことにより、上記複数のライン合成画像データの中心ラインにおける各画素での、中心ラインに直交する方向に沿った輝度値の勾配を算出し、上記複数のライン合成画像データの中心ラインにおける各画素の輝度値を各画素での輝度値の勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成するものであることが好ましい。

上記の構成によれば、上記オペレータ演算手段が上記複数のライン合成画像データに対して微分オペレータを用いた演算を行って、上記複数のライン合成画像データの中心ラインにおける各画素での、中心ラインに直交する方向に沿った輝度値の勾配を算出し、上記複数のライン合成画像データの中心ラインにおける各画素の輝度値を各画素での輝度値の勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成する。輝度値を絶対値で扱うことにより、輝度値の勾配が正であっても負であっても欠陥を示すデータとして両者を区別なく処理できる。つまり、明側に映る欠陥と暗側に映る欠陥を同様に扱うことができるため、光学系の配置精度が高くなくても欠陥を精度良く検出することができる。また、上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成することによって、欠陥を示すデータを相殺することなく、加算することができる。そのため、光学系の配置によって明側に映るか暗側に映るかが変化するような欠陥であっても検出することができる（実際にそのような欠陥が多く存在することが経験的に知られている）。

また、本発明に係る欠陥検査用画像処理装置は、上記積算手段は、上記被検査物の複数の箇所をそれぞれ示す上記複数の強調画像データを上記被検査物の箇所ごとに、当該強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成するものであり、さらに、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを、上記被検査物の箇所に対応させて並べて新たな欠陥検査用画像データを合成する画像生成手段を含むことが好ましい。

上記の構成によれば、画像生成手段が上記被検査物の箇所に対応させて並べて新たな欠陥検査用画像データを合成する。画像生成手段が合成した欠陥検査用画像データの位置と上記被検査物の箇所が対応しているため、被検査物全体のどの位置に欠陥があるのかを容易に検出することが可能となる。

また、本発明に係る欠陥検査用画像処理装置は、上記積算手段は、上記撮影部が撮影する毎に、上記被検査物の先頭箇所から順番に上記被検査物の箇所ごとに、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成することが好ましい。

上記の構成によれば、上記積算手段が、上記撮影部が撮影する毎に、上記被検査物の先頭箇所から順番に上記被検査物の箇所ごとに、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成する。そのため、上記撮影部が撮影する毎に、強調画像データから欠陥検査用画像データを生成することができる。よって、フレーム毎に欠陥の有無を識別するための画像を出力することができるので、リアルタイムに欠陥検査を行うことが可能となる。

また、本発明に係る欠陥検査用撮影装置は、前記欠陥検査用画像処理装置と、被検査物と撮影部とが相対的に移動させられている状態で、上記被検査物の２次元画像を時間的に連続して撮影する撮影部とを含むことを特徴としている。

上記構成によれば、前記欠陥検査用画像処理装置を含むので、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検出できる欠陥検査用撮影装置を提供することができる。

また、本発明に係る欠陥検査システムは、被検査物の欠陥を検査する欠陥検査システムであって、前記欠陥検査用撮影装置と、上記被検査物と上記撮影部とを相対的に移動させる移動手段とを含むことを特徴としている。

上記構成によれば、前記欠陥検査用撮影装置を含むので、欠陥によって生じる光線経路の変化が異なる様々な種類の欠陥を一度に十分な精度で検出できる欠陥検査システムを提供することができる。

また、本発明に係る欠陥検査システムは、上記被検査物に光を照射する光源と、上記光源から上記被検査物を透過または反射して上記撮影部に入射する光を一部遮る遮光体とを含み、暗視野法を用いて被検査物の欠陥を検査することを特徴としている。

上記構成によれば、明視野の状態から暗視野の状態に移行する過程の様々な光学条件が観測領域内に含まれるので、暗視野法または明視野法を単独で用いた場合と比べて、感度良く欠陥を検出でき、また、微小な欠陥を検出することができる。さらに、上記構成によれば、光学系を高精度に配置する必要がある従来の暗視野法を用いた欠陥検査システムと異なり、光学系を高精度に配置する必要がない。

なお、上記欠陥検査用画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記欠陥検査用画像処理装置の各手段として動作させることにより、上記欠陥検査用画像処理装置をコンピュータにて実現させる制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に入る。

以上のように、本発明は、被検査物の同一箇所に対して異なる撮影角度で撮影した複数のデータを得ることができる。そのため、当該複数のデータを参照することによって、被検査物上の様々な種類の欠陥を検出することができるという効果を奏する。

本発明の一実施形態に係る欠陥検査システムを構成する画像処理部としての画像解析装置の、主要部の構成を示す機能ブロック図である。 エリアカメラ、線状光源およびナイフエッジを含む欠陥検査用光学系の位置関係を示す図であり、（ａ）はその斜視図であり、（ｂ）は、そのｙｚ平面を示す図である。 本発明の一実施形態に係る欠陥検査システムの概要を示す模式図である。 ライン合成のプロセスを示す図であり、（ａ）はエリアカメラが撮影した４８０枚の画像が時系列に並べられていることを示す概念図であり、（ｂ）はこの４８０枚の画像データ（＃１〜＃４８０）を順番に左から横並びに並べている状態を示す図であり、（ｃ）は４８０枚の各画像データからＮ番目のラインを抜き出して並べた状態を示す図である。 （ａ）は、エリアカメラが撮影した画像を示す図であり、（ｂ）は、エリアカメラが撮影した４８０枚の画像データからナイフエッジ近傍ラインを抜き出しライン合成した画像を示す図である。 画像処理の一例を示す図であり、（ａ）は、ライン合成したオリジナルの画像であり、（ｂ）は、（ａ）に示す画像に対して７×７の垂直微分フィルタ処理を行った画像であり、（ｃ）は、（ｂ）に示す画像に対してラプラシアンヒストグラム法を用いて固定した閾値に従って２値化した画像である。 ＲＴ−ＬＣＩ（Real Time Line Composition and Integration：リアルタイム・ライン合成積算；この内容については後述する）処理における画像解析装置の各部の動作フローを示す図である。 ＲＴ−ＬＣＩ処理の概要を示す図であり、各記憶部に格納される画像データおよび表示部に表示される画像の状態を１フレーム毎に示す状態遷移図である。 ＲＴ−ＬＣＩ処理の概要を示す図であり、エリアカメラの撮影範囲と被検査物との関係を示す模式図である。 ＲＴ−ＬＣＩ処理の概要を示す図であり、最初に生成されるＲＴ−ＬＣＩデータを生成する処理を示す図である。 第２の記憶部に格納されているラインデータ、変化量算出部が用いる微分オペレータ、変化量算出部が算出した輝度データの値の一例を示す図である。 被検査物の厚みや反りによる光軸のずれが発生する様子を模式的に示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ−ＬＣＩ画像の一例を示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）はライン合成画像の一例を示す図であり、（ｃ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ−ＬＣＩ画像の一例を示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）はライン合成画像の一例を示す図であり、（ｃ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ−ＬＣＩ画像の一例を示す図である。 実施例を示すものであり、（ａ）はエリアカメラが撮影した画像の一例を示す図であり、（ｂ）はライン合成画像の一例を示す図であり、（ｃ）は本発明の一実施例に係る欠陥検査システムによって得られるＲＴ−ＬＣＩ画像の一例を示す図である。 従来技術である欠陥検査装置の光学系の配置を示すものであり、（ａ）は正透過法の光学系の配置であり、（ｂ）は透過散乱法の光学系の配置であり、（ｃ）は正反射法の光学系の配置であり、（ｄ）は反射散乱法の光学系の配置である。

本発明の実施の一形態について、図面を参照しながら以下に説明する。

本実施形態に係る欠陥検査システムは、成形シートの欠陥を検出するものである。本実施形態に係る欠陥検査システムは、光透過性の成形シート、特に、熱可塑性樹脂等の樹脂からなる成形シートの検査に適している。樹脂からなる成形シートとしては、例えば、押出機から押し出された熱可塑性樹脂をロールの隙間に通して表面に平滑さや光沢を付与する処理が施され、引取ロールにより搬送ロール上を冷却されながら引き取ることにより成形されたものが挙げられる。本実施の形態に適用可能な熱可塑性樹脂は、例えば、メタクリル樹脂、メタクリル酸メチル−スチレン共重合体、ポリエチレンやポリプロピレン等のポリオレフィン、ポリカーボネート、ポリ塩化ビニル、ポリスチレン、ポリビニルアルコール、トリアセチルセルロール樹脂等である。成形シートは、これら熱可塑性樹脂のうちの１つのみからなっていてもよく、これら熱可塑性樹脂の複数種類を積層したもの（積層シート）であってもよい。また、本実施形態に係る欠陥検査システムは、偏光フィルムや位相差フィルム等の光学フィルム、特にウェブ状に巻いて保管・輸送される長尺の光学フィルムの検査に適している。また、成形シートは、どのような厚みを持つものであってもよく、一般にフィルムと呼ばれるような比較的薄い厚みを持つものであっても、一般に板と呼ばれるような比較的厚い厚みを持つものであってもよい。

成形シートの欠陥の例としては、気泡（成形時に生じるもの等）、フィッシュアイ、異物、タイヤ跡、打痕、傷等の点欠陥；クニック、スジ（厚さの違いにより生じるもの等）等が挙げられる。

暗視野法において、ラインセンサを用いて、上記の様々な欠陥を検出する場合、ラインセンサの撮像ラインの変動許容値（一般的に数１０〜数１００μｍ程度）内でラインセンサを移動させることが考えられる。しかしながら、上述のように、暗視野法では、光学系を高精度に配置する必要があるため、ラインセンサの撮像ライン（撮影角度）を少しずつ変えながら同じ条件で欠陥を検出することは困難である。また、ラインセンサを複数並列させて複数の撮像ラインを同時に撮影する方法も考えられるが、ラインセンサを複数配置することにより装置系が複雑になり、光学系をより高精度に配置する必要がある。

そこで、本発明者は、以下の理由により、近軸条件下であればエリアカメラを用いることによって、ラインセンサを数１０本並べたものと同等の光学条件で撮影できると考えた。近軸条件下におけるエリアカメラの特性を図２に基づいて説明する。図２は、エリアカメラ５、線状光源４およびナイフエッジ７を含む欠陥検査用光学系の位置関係を示す図である。図２（ａ）に示すように、線状光源４の中心が撮影範囲の中心と一致するようにエリアカメラ５を線状光源４の上部に配置し、エリアカメラ５から見て線状光源４の半分が隠れるようにナイフエッジ７を配置する。ここで、線状光源４の中心を原点とし、線状光源４の長手方向をＸ軸、線状光源４の短手方向をＹ軸、エリアカメラ５から線状光源４に向かう方向をＺ軸とする。図２（ｂ）は、図２（ａ）のＸ軸方向から見た図である。エリアカメラ５は、ＣＣＤ（Charge Coupled Device）５１およびレンズ５２を含む。ＣＣＤ５１がレンズ５２を介して撮影する角度の半角θが〜０．１度程度であれば、ＣＣＤ５１が撮影する範囲において撮影距離の差（１−ｃｏｓθ）が無視できる程度となる。具体的には、レンズ５２の焦点距離ｆ＝３５ｍｍの場合、レンズ５２と被検査物との距離は３００ｍｍ程度であり、解像度が７０μｍ／ｐｉｘｅｌのエリアカメラ５を用いて、Ｘ軸を中心に±７画素の範囲を撮影する場合、撮影角度の半角θは、
θ＝arc tan(70[μm/pixel]×10^3×7[pixel]／300[mm])≒0.09[degree]
となる。よって、撮影距離の差は10^-6のオーダーのため、無視できる程度である。従って、この場合、各々の撮影範囲が７０μｍである１５本のラインセンサ（Ｘ軸上の１本のラインセンサと、その両側にそれぞれ配置された７本ずつのラインセンサ）が並列して撮影する場合と同等の光学条件で撮影できる。

次に、エリアカメラ５を用いた、本実施形態に係る欠陥検査システム１の構成について、図３に基づいて以下に説明する。図３は、欠陥検査システム１の概要を示す模式図である。

図３に示すように、欠陥検査システム１は、コンベア（移動手段）３、線状光源４、エリアカメラ（撮影部）５、画像解析装置（欠陥検査用画像処理装置）６、表示部３０、ナイフエッジ７および照明拡散板８を含む。被検査物である成形シート２は、コンベア３上に配置されている。欠陥検査システム１は、矩形の成形シート２をコンベア３によって一定方向に搬送しながら、線状光源４により光を照射された成形シート２をエリアカメラ５が時間的に連続して撮影し、エリアカメラ５が撮影した成形シート２の２次元画像データに基づいて画像解析装置６が成形シート２の欠陥を検出するものである。

コンベア３は、成形シート２において線状光源４に照射される位置が変化するように、矩形の成形シート２を、その厚み方向に直交する方向、特にその長手方向に搬送するものである。コンベア３は、例えば、成形シート２を一定の方向に搬送する送出ローラと受取ローラとを備え、ロータリーエンコーダ等により搬送速度を計測する。搬送速度は、例えば２ｍ〜１２ｍ／分程度に設定される。コンベア３における搬送速度は、図示しない情報処理装置等によって設定および制御される。

線状光源４は、その長手方向が成形シート２の搬送方向と交差する方向（例えば成形シート２の搬送方向と直交する方向）となるように配置されており、かつ、線状光源４から照射される光が成形シート２を透過してエリアカメラ５に入射するように、成形シート２を挟んでエリアカメラ５に対向する位置に配置されている。線状光源４は、成形シート２の組成及び性質に影響を与えない光を発光するものであれば、特に限定されるものではなく、例えば、蛍光灯（特に高周波蛍光灯）、メタルハライドランプ、ハロゲン伝送ライトなどである。なお、線状光源４を成形シート２に向かってエリアカメラ５と同じ側に配置し、線状光源４から照射された光が成形シート２で反射してエリアカメラ５に入射するように線状光源４を配置してもよい（図１５（ｄ）に示す反射散乱法の光学系の配置を参照）。上述したような、成形シート２で反射した光がエリアカメラ５に入射する構成は、成形シート２だけではなく、種々の形状および材質の被検査物における欠陥の検査に適用することができる。

エリアカメラ５は、成形シート２を透過した光を受光して、成形シート２の２次元画像を時間的に連続して撮影するものである。エリアカメラ５は、撮影した成形シート２の２次元画像のデータを画像解析装置６に出力する。エリアカメラ５は、２次元画像を撮像するＣＣＤまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子で構成されるエリアセンサからなる。エリアカメラ５は、多階調の画像データを出力であれば特に限定されるものではないが、本実施形態では８ビットグレースケール（２５６階調）の画像データを出力できるものである。

欠陥検査システム１によって検出される欠陥のサイズは、エリアカメラ５の分解能に依存するので、検出したい欠陥のサイズに合わせてエリアカメラ５の分解能を選定するとよい。なお、欠陥検査システム１によって検出される欠陥の立体形状（幅対高さの比）は、基本的にはエリアカメラ５の分解能に依存しないので、検出したい欠陥の種類によってカメラ分解能を選定する必要はない。

エリアカメラ５は、成形シート２の幅方向（成形シート２の搬送方向に直交し、かつ成形シート２の厚み方向に直交する方向）の全領域が撮影できるように配置されていることが好ましい。エリアカメラ５によって成形シート２の幅方向の全領域を撮影することにより、成形シート２の全領域の欠陥を検査することができる。

エリアカメラ５の撮影間隔（フレームレート）は、固定されていてもよく、ユーザがエリアカメラ５自体を操作することによって変更可能となっていてもよく、エリアカメラ５に接続された情報処理装置（図示しない；省略可能）をユーザが操作することによって変更可能となっていてもよい。また、エリアカメラ５の撮影間隔は、デジタルスチルカメラの連続撮影の時間間隔である数分の１秒などであってもよいが、検査の効率化を向上させるために、工業用ＣＣＤカメラに通常備えられているパーシャルスキャン機能を使用して１フレームのライン数を必要最小限とすることで時間間隔を短くすることができる。例えば、有効画素数が横５１２×縦４８０画素、全画素読み出しのとき３０フレーム毎秒（以後ＦＰＳ）のカメラの場合、パーシャルスキャンにより横５１２×縦６０画素とすることで２４０ＦＰＳ程度での読み出しが可能なものがある。また、別の例として、有効画素数が横１６００×縦１２００画素程度、全画素読み出しのときフレームレート１５ＦＰＳのカメラを使用して横１６００×縦３２画素のパーシャルスキャンにて駆動する場合、１５０ＦＰＳ程度での読み出しが可能なカメラがある。カメラの有効画素数および駆動方法は、被検査物の搬送速度および検出対象欠陥のサイズ等により適宜選定することができる。

画像解析装置６は、エリアカメラ５から出力された画像データを受信し、その画像データに対して画像処理を行い、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成し、欠陥検査用画像データを表示部３０へ出力するものである。画像解析装置６は、画像データを記憶する記憶部２０と、画像データに対して画像処理を行う画像処理部１０とを備える。エリアカメラ５および画像解析装置６によって欠陥検査用撮影装置が構成されている。画像解析装置６は、２次元画像データの画像処理を行うものであれば、特に限定されるものではなく、例えば、画像処理ソフトウェアがインストールされたＰＣ（パーソナルコンピュータ）、画像処理回路が記述されたＦＰＧＡを搭載する画像キャプチャボード、画像処理プログラムが記述されたプロセッサを備えるカメラ（インテリジェントカメラ等と呼ばれる）などが挙げられる。画像解析装置６が行う画像処理の詳細は後述する。

表示部３０は、欠陥検査用画像データを表示するものである。表示部３０は、画像または映像を表示するものであればよく、例えば、ＬＣ（Liquid Crystal）表示パネル、プラズマ表示パネル、ＥＬ（Electro Luminescence）表示パネルなどを表示部３０として適用することができる。なお、画像解析装置６または欠陥検査用撮影装置が表示部３０を備える構成であっても良い。また、表示部３０を欠陥検査システム１から分離して外部の表示装置としてもよく、表示部３０を他の出力装置、例えば印刷装置に置き換えてもよい。

ナイフエッジ７は、線状光源４から照射される光を遮るナイフ形状の遮光体である。

照明拡散板８は、線状光源４から照射される光の光量を均一化するために、光を拡散するものである。

次に、本実施形態で利用するアルゴリズムを開発した経緯について説明する。本実施形態で利用するアルゴリズムは、以下に説明する単純なライン合成を利用した欠陥検出方法の課題に鑑み開発されたものである。

エリアカメラ５で撮影した複数の画像から、並列に複数並べられたラインセンサが撮影した画像と同等の画像を生成するライン合成の方法を図４に基づいて説明する。ここでは、フレームレートが６０ＦＰＳ（Frame Per Second）のエリアカメラ５で、８秒間撮影し、４８０枚の画像を得たものとする。画像データにおいて、成形シート２の幅方向（成形シート２の搬送方向に直交し、かつ成形シート２の厚み方向に直交する方向）に沿った少なくとも１つの分割線によって均等に分割してなる複数の部分画像の各々をラインと称する。画像全体の高さ（成形シート２の長手方向に沿ったサイズ）がＨ画素（Ｈは自然数）、画像全体の幅（成形シート２の幅方向に沿ったサイズ）がＷ画素（Ｗは自然数）であるとすれば、ラインのサイズは、高さＨ／Ｌ画素（Ｌは２以上の整数）、幅Ｗ画素である。ラインは、典型的には、成形シート２の幅方向に沿って１直線上に並ぶ１画素×Ｗ画素の部分画像である。

図４（ａ）は、その４８０枚の画像が時系列に並べられていることを示す概念図である。図４（ｂ）は、この４８０枚の画像データ（＃１〜＃４８０）を順番に左から横並びに並べている状態を示す図である。図４（ｂ）に示す各画像データにおいて、下部の暗い部分はナイフエッジ７によって光が遮られている部分であり、中心付近の明るい部分は線状光源４からの光が透過している部分であり、上部の暗い部分は線状光源４の光が届いておらず、検査対象から外れている箇所である。また、被検査物は、図４（ｂ）の下から上へ向かって搬送されている。

まず、４８０枚の各画像データに対して、画像データ上の同じ位置から１ライン（図４（ｂ）に示す赤い線：Ｎ番目のライン）を抜き出す。このとき抜き出す１ラインの幅は、１フレーム（１／６０秒）あたりに被検査物が動く距離である。抜き出した各ラインを上から順番に、＃１の画像データから抜き出したライン、＃２の画像データから抜き出したライン、・・・＃４８０の画像データから抜き出したラインとなるように並べる。図４（ｃ）は、４８０枚の各画像データからＮ番目のラインを抜き出して並べた状態を示す図である。図４（ｃ）に示すように、抜き出したラインを並べて１枚の画像データに合成することによって、Ｎ番目のラインを撮影するラインセンサが撮影した画像と同等の画像を生成することができる。このように、エリアカメラ５が撮影した複数の画像データから同じ位置のラインを抜き出して、当該或るラインを撮影するラインセンサが撮影した画像と同等の画像を生成することをライン合成と称する。

４８０枚の各画像データからＮ番目のラインだけではなく、Ｎ＋１番目、Ｎ＋２番目、Ｎ−１番目などのラインを抜き出してライン合成を行うことによって、エリアカメラ５が撮影した画像データから、複数の撮影角度（撮影位置）で撮影された画像データを一度に生成することができる。つまり、エリアカメラ５が撮影した画像データに対してライン合成を行うことによって、複数のラインセンサが並列に配置されている光学系で撮影した複数の撮影角度の画像データと同等の、複数枚の画像データを生成することができる。

次に、エリアカメラ５が撮影した４８０枚の画像データからライン合成した画像の具体例を説明する。図５にエリアカメラ５が撮影した画像と、エリアカメラ５が撮影した４８０枚の画像データからライン合成した画像とを示す。図５（ａ）は、エリアカメラ５が撮影した画像である。図５（ａ）は、図４（ｂ）と同様の画像であり、下部の暗い部分はナイフエッジ７によって光が遮られている部分であり、中心付近の明るい部分は線状光源４からの光が透過している部分であり、上部の暗い部分は線状光源４の光が届いておらず、検査対象から外れている箇所である。図５（ａ）の下端から上部に向かって突き出している暗い部分は、目印のために配置した物体の影である。図５（ａ）の白丸で囲んだ箇所に欠陥が存在するが、エリアカメラ５が撮影した画像そのままでは、欠陥を視認することができない。

図５（ｂ）は、エリアカメラ５が撮影した４８０枚の画像データからナイフエッジ７近傍ラインを抜き出しライン合成した画像である。具体的には、ナイフエッジ７の上端から照明側へ２１０μｍ離れた位置のラインを抽出してライン合成した画像である。図５（ａ）と同様に、図５（ｂ）の下端から上部に向かって突き出している暗い部分は、目印のために配置した物体の影である。図５（ｂ）を見ると、わずかに洗濯板状のスジ（バンクマーク）のようなものが視認できる。このように、エリアカメラ５が撮影した画像そのままでは視認できなかった欠陥が、エリアカメラ５が撮影した画像データに対してライン合成することによって、視認できるようになる。

ただ、ライン合成した画像そのままでは、欠陥を明瞭に識別することが難しいため、ライン合成画像に対して画像処理を行う。その画像処理の例として、図６に示すような手法がある。図６（ａ）は、ライン合成したオリジナルの画像であり、図５（ｂ）に示す画像と同様である。図６（ｂ）は、図６（ａ）に示す画像に対して７×７の垂直微分フィルタ処理を行った画像である。図６（ｃ）は、図６（ｂ）に示す画像に対してラプラシアンヒストグラム法を用いて固定した閾値に従って２値化した画像である。このように、ライン合成した画像に対して画像処理を施すことによって、欠陥をより顕著に識別することができる。

このように、エリアカメラ５によって撮影した画像データに対してライン合成を施すことにより、複数の異なる光学条件下（撮影角度）でラインセンサによって撮影した画像と同等の、複数の異なる光学条件下の画像を一度に生成することができる。よって、生成した複数の画像の中から、欠陥が最も良く見える画像（最適な光学条件下の画像；例えば、図５（ｂ）のようなナイフエッジ７近傍ラインを抜き出しライン合成した画像）を選択し、選択した画像を用いて欠陥検出を行えば、最適な光学条件下でラインセンサによって撮影した画像を用いて欠陥検出を行うのと同様の結果が得られる。そして、最適な光学条件となるようにラインセンサの位置を移動させるよりも、エリアカメラ５で撮影した画像データのライン合成によって得られる複数の画像の中から、欠陥が最も良く見える画像を選択する方が容易であるので、欠陥検査の実施が容易になり、欠陥検査の効率が向上する。さらに、生成した複数の撮影角度に相当する各ライン合成画像に対して、画像処理を行い、画像処理を施した各ライン合成画像の中から欠陥が顕著に表れている画像を選択して参照することによって、被検査物の様々な欠陥を明瞭に認識することができる。

しかしながら、各ライン合成画像の中から、あるいは画像処理した各ライン合成画像の中から、手動で画像の選択を行うことは、あまり効率的ではない。また、被検査物に欠陥がある場合、被検査物のどの部位に欠陥があるのかを把握するために、被検査物の撮影されている箇所に欠陥があるか否かをリアルタイムで識別できることが望ましい。

そこで、本発明者は、鋭意研究の結果、生成した複数の撮影角度に相当する各ライン合成画像を全て使って、被検査物の様々な欠陥を明瞭に、リアルタイムに識別可能な画像を生成するアルゴリズムを開発した。この開発したアルゴリズムをＲＴ−ＬＣＩ（Real Time Line Composition and Integration：リアルタイム・ライン合成積算）と称し、以下にＲＴ−ＬＣＩを説明する。

まず、ＲＴ−ＬＣＩを行う画像解析装置６の各部の構成について図１に基づいて説明する。ここで、ＲＴ−ＬＣＩの画像処理を行う際に使用する撮影角度の種類数をｋ（ｋは２以上の整数）とする。また、後述する微分オペレータの行数をｍ（ｍは自然数）とする。なお、撮影角度の種類数ｋおよび微分オペレータの行数ｍは任意に設定でき、予め定めておくものである。また、説明を簡単にするため、エリアカメラ５が或る画像を撮影してから次の画像を撮影するまで（１フレーム期間）に被検査物２が移動する距離を移動幅とし、後述のデータ抽出部が抽出するラインデータ（１ラインの部分画像データ）の幅が示す実距離（被検査物２表面での距離）は、上記移動幅と同一であるとする。また、微分オペレータの列数は、２以上であってもよいが、ここでは、１であるものとする。

図１は、画像解析装置６の主要部の構成を示す機能ブロック図である。上述のように、画像解析装置６は、画像処理部１０および記憶部２０を備える。画像処理部１０は、データ抽出部（同一ライン抽出手段）１１、第１区分判定部１２、データ格納部（ライン合成手段）１３、全区分判定部１４、変化量算出部（オペレータ演算手段）１５、同一箇所判定抽出部１６、積算部（積算手段）１７および画像生成部（画像生成手段）１８を備える。記憶部２０は、第１の記憶部２１、第２の記憶部２２、第３の記憶部２３および第４の記憶部２４を備える。第２の記憶部２２は、第１の領域２２１、第２の領域２２２、第ｋの領域２２ｋを備える。第１の領域２２１〜第ｋの領域２２ｋは、それぞれｍ個の区分に分割されている。

データ抽出部１１は、第１の抽出部１１１、第２の抽出部１１２、・・・第ｋの抽出部１１ｋを備える。第１の抽出部１１１は、第１の記憶部２１に格納されている画像データから、画像データ上における所定の位置のラインデータ（例えば、１番下のラインデータ）を抽出するものである。ここで、第１の抽出部１１１が抽出する所定の位置のラインデータを１番目のラインデータとする。第２の抽出部１１２は、画像データ上における上記所定の位置のラインデータから被検査物２の移動方向側に隣接しているラインデータ（２番目のラインデータ）を抽出するものである。第ｋの抽出部は、画像データ上における上記所定の位置のラインデータから被検査物２の移動方向に向かってｋ番目のラインデータを抽出するものである。まとめると、データ抽出部１１は、複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出するものであり、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するものである。

第１区分判定部１２は、第１の判定部１２１、第２の判定部１２２、・・・第ｋの判定部１２ｋを備える。第１の判定部１２１は、第２の記憶部２２における第１の領域２２１の第１の区分にラインデータがすでに格納されているか否かを判定するものである。第２の判定部１２２は、第２の記憶部２２における第２の領域２２２の第１の区分にラインデータがすでに格納されているか否かを判定するものである。第ｋの判定部１２ｋは、第２の記憶部２２における第ｋの領域２２ｋの第１の区分にラインデータがすでに格納されているか否かを判定するものである。

データ格納部１３は、第１の格納部１３１、第２の格納部１３２、・・・第ｋの格納部１３ｋを備える。第１の格納部１３１は、第１区分判定部１２の第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがないと判定した場合、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する。一方、第１区分判定部１２の第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがあると判定した場合、第１の格納部１３１は、第１の領域２２１の各区分に格納されているデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる。つまり、第１の区分に格納されているラインデータを第２の区分に移動させ、第ｍ−１の区分に格納されているラインデータを第ｍの区分に移動させる。このとき、第ｍの区分にラインデータが格納されている場合は、そのラインデータを破棄もしくは不図示のバックアップ用の場所に移動させる。第１の格納部１３１は、各区分に格納されているラインデータの格納場所を移動させた後、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する。また、第１の格納部１３１は、第１の抽出部１１１によって画像データ上における所定の位置のラインデータが複数抽出されると、抽出された複数のラインデータを第１の領域２２１の連続する区分に格納させることによって、抽出された複数のラインデータを１つのライン合成画像データに合成する。

第２の格納部１３２は、第１の格納部１３１と同様に、第１区分判定部１２の第２の判定部１２２の判定に基づいて、第２の抽出部１１２が抽出したラインデータを第２の領域２２２の第１区分に格納する。また、第２の格納部１３２は、第２の抽出部１１２によって画像データ上における同一の位置のラインデータが複数抽出されると、抽出された複数のラインデータを第２の領域２２２の連続する区分に格納させることによって、抽出された複数のラインデータを１つのライン合成画像データに合成する。

第ｋの格納部１３ｋは、第１の格納部１３１と同様に、第１区分判定部１２の第ｋの判定部１２ｋの判定に基づいて、第ｋの抽出部１１ｋが抽出したラインデータを第ｋの領域２２ｋの第１区分に格納する。また、第ｋの格納部１３ｋは、第ｋの抽出部１１ｋによって画像データ上における同一の位置のラインデータが複数抽出されると、抽出された複数のラインデータを第ｋの領域２２ｋの連続する区分に格納させることによって、抽出された複数のラインデータを１つのライン合成画像データに合成する。

まとめると、データ格納部１３は、データ抽出部１１によって抽出されたラインデータを時系列に並べて複数ラインのライン合成画像データを生成するものであり、データ抽出部１１によって抽出されたラインデータを、画像データ上における位置ごとに、時系列に並べて異なる複数のライン合成画像データを生成するものである。

全区分判定部１４は、第１の判定部１４１、第２の判定部１４２、・・・第ｋの判定部１４ｋを備える。第１の判定部１４１は、第１の領域２２１の全区分（第１〜第ｍの区分）にラインデータが格納されているか否かを判定するものである。第２の判定部１４２は、第２の領域２２２の全区分（第１〜第ｍの区分）にラインデータが格納されているか否かを判定するものである。第ｋの判定部１４ｋは、第ｋの領域２２ｋの全区分（第１〜第ｍの区分）にラインデータが格納されているか否かを判定するものである。

変化量算出部１５は、第１の算出部１５１、第２の算出部１５２、・・・第ｋの算出部１５ｋを備える。第１の算出部１５１は、全区分判定部１４の第１の判定部１４１が全区分にラインデータが格納されていると判定した場合に、第１の領域２２１に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データ（１ラインまたは複数ラインの画像データ）を第３の記憶部２３に格納する。第２の算出部１５２は、全区分判定部１４の第２の判定部１４２が全区分にラインデータが格納されていると判定した場合に、第２の領域２２２に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データ（１ラインまたは複数ラインの画像データ）を第３の記憶部２３に格納する。第ｋの算出部１５ｋは、全区分判定部１４の第ｋの判定部１４ｋが全区分にラインデータが格納されていると判定した場合に、第ｋの領域２２ｋに格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データ（１ラインまたは複数ラインの画像データ）を第３の記憶部２３に格納する。なお、変化量算出部１５が行う演算処理の詳細は後述する。まとめると。変化量算出部１５は、複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの強調画像データをそれぞれ生成するものである。

同一箇所判定抽出部１６は、第３記憶部２３に被検査物２の同一箇所を示す全撮影角度（ｋ種類）の強調画像データが格納されているか否かを判定する。同一箇所判定抽出部１６は、同一箇所を示す全撮影角度の強調画像データが格納されていると判定した場合は、そのｋ種類の強調画像データをそれぞれ抽出する。

積算部１７は、同一箇所判定抽出部１６が抽出した、被検査物２の同一箇所を示すｋ種類の強調画像データの輝度値を画素ごとに積算して１ラインまたは複数ラインの欠陥検査用画像データ（ＲＴ−ＬＣＩデータ）を生成する。積算部１７は、積算したｋ種類の強調画像データが示す被検査物２の位置を、積算した結果の欠陥検査用画像データに対応付けて第４の記憶部２４に格納する。

画像生成部１８は、第４の記憶部２４に格納されている各欠陥検査用画像データに対応付けられている被検査物２の位置に基づいて、第４の記憶部２４に格納されている各欠陥検査用画像データを被検査物２の位置関係と同様に並べて新たな欠陥検査用画像データ（ＲＴ−ＬＣＩデータ）を合成し、合成された欠陥検査用画像データを表示部３０にて画像として表示させる。

次に、ＲＴ−ＬＣＩを行う際の画像解析装置６の各部の動作について図７に基づいて説明する。図７は、ＲＴ−ＬＣＩ処理における画像解析装置６の各部の動作フローを示す図である。

まず、欠陥検査システム１は、ＲＴ−ＬＣＩの処理を開始すると、フレーム番号ｉ＝１とする（Ｓ１０）。被検査物２をコンベア３で搬送しながらエリアカメラ５で撮影を開始する。エリアカメラ５は、撮影した画像データを画像解析装置６に出力し、画像解析装置６は、その画像データを第１の記憶部２１に格納する（Ｓ２０）。

第１の抽出部１１１が第１の記憶部２１に格納されている画像データから所定の位置のラインデータ（例えば、下から１番目のラインデータ）を抽出する（Ｓ４１）。第１の抽出部１１１は、抽出したラインデータが示す被検査物２の位置を当該ラインデータに対応付ける。例えば、移動幅とラインデータが示す実距離の幅とが同じ場合、第１の抽出部１１１は、抽出したラインデータに被検査物２の位置を示す記号として「ｐｉ」を付加する（ｉはフレーム番号）。なお、所定の位置のラインデータは、予め任意に設定し、どのラインからデータを抽出するかを決めておく。

第２の抽出部１１２は、ｉ≧２であれば（Ｓ３２でＹＥＳ）、第１の抽出部１１１が抽出する所定の位置のラインデータから被検査物２の移動方向側に隣接しているラインデータを抽出する（Ｓ４２）。第２の抽出部１１２は、抽出したラインデータが示す被検査物２の位置を当該ラインデータに対応付ける。例えば、移動幅とラインデータが示す実距離の幅とが同じ場合、第２の抽出部１１２は、抽出したラインデータに被検査物２の位置を示す記号として「ｐ（ｉ−１）」を付加する。Ｓ３２でｉ＝１（ＮＯ）であれば、Ｓ１４０に進む。

第ｋの抽出部１１ｋは、ｉ≧ｋであれば（Ｓ３ｋでＹＥＳ）、第１の抽出部１１１が抽出する所定の位置のラインデータから被検査物２の移動方向に向かってｋ番目のラインデータを抽出する（Ｓ４ｋ）。第ｋの抽出部１１ｋは、抽出したラインデータが示す被検査物２の位置を当該ラインデータに対応付ける。例えば、移動幅とラインデータが示す実距離の幅とが同じ場合、第ｋの抽出部１１ｋは、抽出したラインデータに被検査物２の位置を示す記号として「ｐ（ｉ−ｋ＋１）」を付加する。Ｓ３ｋでｉ＜ｋ（ＮＯ）であれば、Ｓ１４０に進む。

次に、第１区分判定部１２の第１の判定部１２１は、第２の記憶部２２の第１の領域２２１の第１の区分にラインデータがすでに格納されているか否かを判定する（Ｓ５１）。第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがあると判定した場合（Ｓ５１でＹＥＳ）、第１の格納部１３１は、第１の領域２２１の各区分に格納されているラインデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる（Ｓ６１）。第１の格納部１３１は、各区分に格納されているラインデータの格納場所を移動させた後、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する（Ｓ７１）。一方、第１の判定部１２１が第１の領域２２１の第１の区分にラインデータがないと判定した場合（Ｓ５１でＮＯ）、第１の格納部１３１は、第１の抽出部１１１が抽出したラインデータを第１の領域２２１の第１の区分に格納する（Ｓ７１）。

また、第１区分判定部１２の第２の判定部１２２は、第２の記憶部２２の第２の領域２２２の第１の区分にラインデータがすでに格納されているか否かを判定する（Ｓ５２）。第２の判定部１２２が第２の領域２２２の第１の区分にラインデータがあると判定した場合（Ｓ５２でＹＥＳ）、第２の格納部１３２は、第２の領域２２２の各区分に格納されているラインデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる（Ｓ６２）。第２の格納部１３２は、各区分に格納されているラインデータの格納場所を移動させた後、第２の抽出部１１２が抽出したラインデータを第２の領域２２２の第１の区分に格納する（Ｓ７２）。一方、第２の判定部１２２が第２の領域２２２の第１の区分にラインデータがないと判定した場合（Ｓ５２でＮＯ）、第２の格納部１３２は、第２の抽出部１１２が抽出したラインデータを第２の領域２２２の第１の区分に格納する（Ｓ７２）。

また、第１区分判定部１２の第ｋの判定部１２ｋは、第２の記憶部２２の第ｋの領域２２ｋの第１の区分にデータがすでに格納されているか否かを判定する（Ｓ５ｋ）。第ｋの判定部１２ｋが第ｋの領域２２ｋの第１の区分にラインデータがあると判定した場合（Ｓ５ｋでＹＥＳ）、第ｋの格納部１３ｋは、第ｋの領域２２ｋの各区分に格納されているラインデータの格納場所をそれぞれ１区分ずつ繰り上げて移動させる（Ｓ６ｋ）。第ｋの格納部１３ｋは、各区分に格納されているラインデータの格納場所を移動させた後、第ｋの抽出部１１ｋが抽出したラインデータを第ｋの領域２２ｋの第１の区分に格納する（Ｓ７ｋ）。一方、第ｋの判定部１２ｋが第ｋの領域２２ｋの第１の区分にラインデータがないと判定した場合（Ｓ５ｋでＮＯ）、第ｋの格納部１３ｋは、第ｋの抽出部１１ｋが抽出したラインデータを第ｋの領域２２ｋの第１の区分に格納する（Ｓ７ｋ）。

次に、全区分判定部１４の第１の判定部１４１が、第１の領域２２１の全区分にラインデータが格納されているか否かを判定する（Ｓ８１）。全区分判定部１４の第１の判定部１４１が全区分にラインデータが格納されていると判定した場合（Ｓ８１でＹＥＳ）、第１の算出部１５１は、第１の領域２２１に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データを第３の記憶部２３に格納する（Ｓ９１）。このとき、第１の領域２２１の第ｍの区分に格納されているラインデータに対応付けられている被検査物２の位置を示す記号を微分オペレータ演算の結果である強調画像データに対して付加する。一方、第１の判定部１４１が全区分にラインデータが格納されていないと判定した場合（Ｓ８１でＮＯ）、Ｓ１４０に進む。

また、全区分判定部１４の第２の判定部１４２が、第２の領域２２１の全区分にラインデータが格納されているか否かを判定する（Ｓ８２）。全区分判定部１４の第２の判定部１４２が全区分にラインデータが格納されていると判定した場合（Ｓ８２でＹＥＳ）、第２の算出部１５２は、第２の領域２２２に格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データを第３の記憶部２３に格納する（Ｓ９２）。このとき、第２の領域２２２の第ｍの区分に格納されているラインデータに対応付けられている被検査物２の位置を示す記号を微分オペレータ演算の結果である強調画像データに対して付加する。一方、第２の判定部１４２が全区分にラインデータが格納されていないと判定した場合（Ｓ８２でＮＯ）、Ｓ１４０に進む。

また、全区分判定部１４の第ｋの判定部１４ｋが、第ｋの領域２２ｋの全区分にラインデータが格納されているか否かを判定する（Ｓ８ｋ）。全区分判定部１４の第ｋの判定部１４ｋが全区分にラインデータが格納されていると判定した場合（Ｓ８ｋでＹＥＳ）、第ｋの算出部１５ｋは、第ｋの領域２２ｋに格納されている複数のラインデータからなるライン合成画像データに対して微分オペレータ演算を行い、その結果として得られた強調画像データを第３の記憶部２３に格納する（Ｓ９ｋ）。このとき、第ｋの領域２２ｋの第ｍの区分に格納されているラインデータに対応付けられている被検査物２の位置を示す記号を微分オペレータ演算の結果である強調画像データに対して付加する。一方、第ｋの判定部１４ｋが全区分にラインデータが格納されていないと判定した場合（Ｓ８ｋでＮＯ）、Ｓ１４０に進む。

次に、同一箇所判定抽出部１６が、第３記憶部２３に格納されている強調画像データに対応付けられている被検査物２の位置を示す記号を参照して、被検査物２の同一箇所を示す全撮影角度（ｋ種類）の強調画像データが格納されているか否かを判定する（Ｓ１００）。同一箇所判定抽出部１６が、被検査物２の同一箇所を示す全撮影角度の強調画像データが格納されていないと判定した場合（Ｓ１００でＮＯ）、Ｓ１４０に進む。一方、同一箇所判定抽出部１６は、被検査物２の同一箇所を示す全撮影角度の強調画像データが格納されていると判定した場合（Ｓ１００でＹＥＳ）、その全撮影角度であるｋ種類の強調画像データを抽出する。

積算部１７は、同一箇所判定抽出部１６が抽出したｋ種類の強調画像データの輝度値を画素ごとに積算する（Ｓ１１０）。積算部１７は、積算したｋ種類の強調画像データに対応付けられている被検査物２の位置を示す記号を積算した結果の欠陥検査用画像データ（ＲＴ−ＬＣＩデータ）に対応付けて第４の記憶部に格納する。画像生成部１８は、第４の記憶部に格納されている各ＲＴ−ＬＣＩデータに対応付けられている被検査物２の位置を示す記号に基づいて、第４の記憶部に格納されている各ＲＴ−ＬＣＩデータを被検査物２の位置関係と同様に並べて新たな欠陥検査用画像データ（ＲＴ−ＬＣＩデータ）を合成する（Ｓ１２０）。そして、画像生成部１８は、その並べたＲＴ−ＬＣＩデータを表示部３０に表示させる（Ｓ１３０）。画像生成部１８が表示部３０にＲＴ−ＬＣＩデータを表示させた後、フレーム番号ｉ＝ｉ＋１として、Ｓ２０に戻る。

このように、エリアカメラ５が撮影した画像データに対してリアルタイム・ライン合成積算（ＲＴ−ＬＣＩ）処理を行うことによって、複数の撮影角度である散乱光学系画像の積算画像を連続的に得ることができる。

次に、ＲＴ−ＬＣＩの画像処理をより具体的に説明するために、第１〜第４の記憶部に格納される画像データおよび表示部３０に表示される画像について図８（ａ）、図８（ｂ）および図８（ｃ）に基づいて説明する。図８（ａ）は、各記憶部に格納される画像データおよび表示部３０に表示される画像の状態を１フレーム毎に示す状態遷移図である。図８（ａ）の横軸は時間（フレーム単位の時間）を示す。なお、撮影角度の種類数ｋ＝３、微分オペレータの行数ｍ＝５と設定されているとする。また、エリアカメラ５の画素数を幅ｎ画素（被検査物２の移動方向に直交する方向のサイズ；ｎは２以上の整数）×高さ（被検査物２の移動方向に沿ったサイズ）９画素とし、１ラインの幅を１画素とする。つまり１ラインの画素数をｎ画素×１画素とする。また、ここでも、１フレームあたりに被検査物２がコンベア３によって移動する距離（移動幅）と１ラインの幅が示す実距離は同一であるとする。つまり、１画素が示す実距離（１画素の解像度）が上記移動幅と同一であるとする。

図８（ｂ）に示す４００は、被検査物２を示すものであり、４００に記載の記号（ｐ１、ｐ２・・・）は、被検査物２の部位を示し、各部位（ｐ１、ｐ２・・・）は、移動幅ごとに分割されている。図８（ｂ）に示すように、被検査物２は、エリアカメラ５の撮影範囲４０１の下側から上側に向かってコンベア３によって搬送されるとする。

図８（ａ）に示す４１０は、第１の記憶部２１に格納されている画像データを示す。つまり、エリアカメラ５が撮影した画像そのままの画像データである。画像データ３０１〜３１０は、それぞれフレーム番号ｉ＝１〜１０の時に撮影された画像データである。画像データ３０１〜３１０は、上述のように、ｎ画素×９画素の画素数であり、９つのラインデータを含む。ここで、各画像データ３０１〜３１０を９つのラインデータに分割し、各画像データ３０１〜３１０の下から順番に第１のライン、第２のライン、・・・第９のラインと称する。また、撮影角度の種類数ｋ＝３であるため、ここでは、第１のライン、第２のライン、第３のラインからラインデータを抽出するものとする。つまり、上述の所定の位置のラインデータを第１のラインデータ（１番下のラインデータ）とする。後の画像データの説明のために、第１のラインを撮影角度Ａとし、第２のラインを撮影角度Ｂとし、第３のラインを撮影角度Ｃとする。また、各画像データ３０１〜３１０には、説明の便宜のために、ラインデータ毎に対応する被検査物２の部位（ｐ１、ｐ２、・・・）および撮影角度（Ａ〜Ｃ）が付記されている。具体的には、例えば、「ｐ１−Ａ」とは、撮影角度Ａ、つまり、第１のラインに対応するラインデータであって、被検査物２の部位ｐ１に対応するラインデータであることを示す。

図８（ａ）に示す４２０は、第２の記憶部２２に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータを示す。また、４２１は第１の領域２２１に、４２２は第２の領域２２２に、４２３は第３の領域２２３に、それぞれ格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータを示す。つまり、ライン合成画像データ３１１〜３２０は、第１の領域２２１に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータであり、ライン合成画像データ３２１〜３３０は、第２の領域２２２に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータであり、ライン合成画像データ３３１〜３４０は、第３の領域２２３に格納されている１ライン以上ｍライン（この例では５ライン）以下のラインデータである。第１の領域２２１〜第３の領域２２３は、微分オペレータの行数ｍ＝５のため、それぞれ５つの区分に分割されている。各ライン合成画像データ３１１〜３４０は、１つ以上５つ以下のラインデータから構成されており、各ライン合成画像データ３１１〜３４０の下から順番に、各領域の第１の区分、第２の区分、・・・第５の区分に格納されているラインデータを示す。また、各ライン合成画像データ３１１〜３４０には、説明の便宜のために、ラインデータ毎に対応する被検査物２の部位（ｐ１、ｐ２、・・・）および撮影角度（Ａ〜Ｃ）が付記されている。

図８（ａ）に示す４３０は、第３の記憶部２３に格納されている強調画像データを示す。４３０の各強調画像データには、説明の便宜のために、強調画像データ毎に、対応する被検査物２の部位（ｐ３、ｐ４、・・・）および撮影角度（Ａ〜Ｃ）が付記されている。また、図８（ａ）に示す４４０は、第４の記憶部２４に格納されている欠陥検査用画像データ（ＲＴ−ＬＣＩデータ）を示す。そして、図８（ａ）に示す４５０は、表示部３０に表示されている画像を示す。ＲＴ−ＬＣＩデータ３６１〜３７０および画像３８１〜３８４にも、説明の便宜のために、ライン毎に、対応する被検査物２の部位（ｐ３、ｐ４、・・・）が付記されている。

また、図８（ｃ）は、最初に生成されるＲＴ−ＬＣＩデータを生成する処理を示す図である。図８（ｃ）の縦軸は時間（フレーム単位の時間）を示す。図８（ａ）と同様に、撮影角度の種類数ｋ＝３、微分オペレータの行数ｍ＝５と設定されているとする。図８（ｃ）において、図８（ａ）に示すデータと同じデータには同じ参照符号をつけている。図８（ｃ）に示すａ_１ ，ａ_２ ，・・・ａ_ｍ は、微分オペレータの１，２，・・・，ｍ行目の要素を示す。

これらを踏まえて、以下にＲＴ−ＬＣＩの具体的な処理を説明する。なお、ＲＴ−ＬＣＩの処理の開始時には、各記憶部には何もデータが格納されていないものとする。また、エリアカメラ５の撮影範囲４０１に、被検査物２の上端部ｐ１が入ったときにＲＴ−ＬＣＩの処理を開始するものとする。

画像データ３０１は、フレーム番号ｉ＝１の時に撮影されたデータであり、被検査物２の上端部ｐ１が第１のラインに差し掛かっている状態を示す。このとき、第１の抽出部１１１が画像データ３０１の第１のライン（所定のライン）からラインデータｐ１−Ａを抽出し、第１の格納部１３１が、第１の抽出部１１１によって抽出されたラインデータｐ１−Ａを第１の領域２２１の第１の区分に格納する。ライン合成画像データ３１１は、その時の第１の領域２２１に格納されているラインデータを示す。フレーム番号ｉ＝１のため、第２の抽出部１１２および第３の抽出部１１３は、処理を行わず、また、第１の領域２２１の全区分にラインデータもないため、次のフレームに移行するのを待つ。

フレーム番号ｉ＝２のとき、被検査物２の上端部ｐ１は第２のラインに位置し、ｐ２が第１のライン上にある。このときエリアカメラ５が撮影した画像データが画像データ３０２である。第１の抽出部１１１は、画像データ３０２の第１のラインからラインデータｐ２−Ａを抽出する。このとき、第１区分判定部１２の第１の判定部１２１は、第１の領域２２１の第１の区分にラインデータがあると判定するため、第１の格納部１３１は、第１の領域２２１の第１の区分にあるラインデータｐ１−Ａ（部位ｐ１に対応付けられている第１のラインのラインデータ）を第１の領域２２１の第２の区分に移動し、第１の抽出部１１１が抽出したラインデータｐ２−Ａ（部位ｐ２に対応付けられているラインデータ）を第１の領域２２１の第１の区分に格納する。また、フレーム番号ｉ＝２であるため、第２の抽出部１１２が画像データ３０２の第２のラインからラインデータｐ１−Ｂを抽出し、第２の格納部１３２が、第２の抽出部１１２によって抽出されたラインデータｐ１−Ｂを第２の領域２２２の第１の区分に格納する。ここでも、第１の領域２２１および第２の領域２２２の全区分にラインデータがないため、次のフレームに移行するのを待つ。

フレーム番号ｉ＝３のとき、被検査物２の上端部ｐ１は第３のラインに位置し、部位ｐ３までがエリアカメラ５の撮影範囲４０１に入っている。このときエリアカメラ５が撮影した画像データが画像データ３０３である。先ほどまでと同様に、第１の抽出部１１１および第２の抽出部１１２は、それぞれ画像データ３０３の第１のライン、第２のラインからラインデータｐ３−Ａおよびｐ２−Ｂを抽出し、第１の格納部１３１、第２の格納部１３２がそれぞれ、第１の領域２２１、第２の領域２２２に格納済みのラインデータを１区分ずつ上へ移動し、第１の領域２２１、第２の領域２２２の第１の区分にラインデータｐ３−Ａおよびｐ２−Ｂを格納する。ここで、フレーム番号ｉ＝３であるため、第３の抽出部１１３が画像データ３０３の第３のラインからラインデータｐ１−Ｃを抽出し、第３の格納部が、第３の抽出部１１３によって抽出されたラインデータｐ１−Ｃを第３の領域２２３の第１の区分に格納する。ここでも、第１の領域２２１、第２の領域２２２および第３の領域２２３の全区分にラインデータがないため、次のフレームに移行するのを待つ。

フレーム番号ｉ＝４、５の時も同様に、第１〜第３の抽出部１１１〜１１３は、画像データ３０４，３０５の第１〜第３のラインからラインデータｐ４−Ａ，ｐ３−Ｂ，ｐ２−Ｃおよびラインデータｐ５−Ａ，ｐ４−Ｂ，ｐ３−Ｃをそれぞれ抽出し、第１〜第３の格納部１３１〜１３３がそれぞれ、第１〜第３の領域２２１〜２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１〜第３の領域２２１〜２２３の第１の区分にラインデータｐ４−Ａ，ｐ３−Ｂ，ｐ２−Ｃおよびラインデータｐ５−Ａ，ｐ４−Ｂ，ｐ３−Ｃを格納する。これらにより、第１の領域２２１に格納されているライン合成画像データ３１５は、第１〜第５フレームの画像データ３０１〜３０５における第１のライン（撮影角度Ａ）を合成したライン合成画像データとなる。フレーム番号ｉ＝５において、ライン合成画像データ３１５が示すように、第１の領域２２１の全区分にラインデータが格納されているため、全区分判定部１４の第１の判定部１４１は、第１の領域２２１の全区分にラインデータがあると判定し、第１の算出部１５１が、ライン合成画像データ３１５に対して微分オペレータ演算（微分フィルタをかける演算処理）を行って、ライン合成画像データ３１５の中心ラインデータ、すなわち第１の領域の第３の区分に格納されているラインデータｐ３−Ａにおける輝度勾配の絶対値を表す強調画像データ３４１を生成し、第３の記憶部２３に格納する。なお、このとき第１の算出部１５１は、第１の領域の第３の区分に格納されているラインデータｐ３−Ａに対応付けられている被検査物２の部位を示す記号ｐ３およびライン合成画像データ３１５の対応している撮影角度を示す記号Ａを微分オペレータ演算結果の強調画像データに対して付加する。ここで、同一箇所判定抽出部１６が第３の記憶部２３に被検査物２の同一箇所（部位）を示す全撮影角度（３種類）の強調画像データが格納されているか否かを判定するが、第３の記憶部２３には、強調画像データ３４１しかないため、次のフレームに移行するのを待つ。

フレーム番号ｉ＝６では、第１〜第３の抽出部１１１〜１１３は、画像データ３０６の第１〜第３のラインからラインデータｐ６−Ａ，ｐ５−Ｂ，ｐ４−Ｃをそれぞれ抽出し、第１〜第３の格納部１３１〜１３３がそれぞれ、第１〜第３の領域２２１〜２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１〜第３の領域２２１〜２２３の第１の区分にラインデータｐ６−Ａ，ｐ５−Ｂ，ｐ４−Ｃを格納する。これらにより、第１の領域２２１および第２の領域２２２に格納されているライン合成画像データ３１６およびライン合成画像データ３２６は、第２〜第６フレームの画像データ３０２〜３０６における第１のライン（撮影角度Ａ）を合成したライン合成画像データ、および第２〜第６フレームの画像データ３０２〜３０６における第２のライン（撮影角度Ｂ）を合成したライン合成画像データとなる。第１の領域２２１、第２の領域２２２の全区分にラインデータが格納されているため、第１の算出部１５１がライン合成画像データ３１６に微分オペレータ演算を行って、ラインデータｐ４−Ａにおける輝度勾配の絶対値を表すライン画像データ３４４を生成し、第２の算出部１５２が部分画像データ３２６に微分オペレータ演算を行って、ラインデータｐ３−Ｂにおける輝度勾配の絶対値を表す強調画像データ３４３を生成し、生成した強調画像データ３４４を記号ｐ４および記号Ａを付加して第３の記憶部２３に格納し、生成した強調画像データ３４３を記号ｐ３および記号Ｂを付加して第３の記憶部２３に格納する。ここでも、第３の記憶部２３に被検査物２の同一箇所（部位）を示す全撮影角度（３種類）の輝度データが格納されていないので、次にフレームに移行するのを待つ。

フレーム番号ｉ＝７では、第１〜第３の抽出部１１１〜１１３は、画像データ３０７の第１〜第３のラインからラインデータｐ７−Ａ，ｐ６−Ｂ，ｐ５−Ｃをそれぞれ抽出し、第１〜第３の格納部１３１〜１３３がそれぞれ、第１〜第３の領域２２１〜２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１〜第３の領域２２１〜２２３の第１の区分にラインデータｐ７−Ａ，ｐ６−Ｂ，ｐ５−Ｃを格納する。これらにより、第１〜第３の領域２２１〜２２３に格納されているライン合成画像データ３１７，３２７，３３７は、第３〜第７フレームの画像データ３０３〜３０７における第１のライン（撮影角度Ａ）を合成したライン合成画像データ、第３〜第７フレームの画像データ３０３〜３０７における第２のライン（撮影角度Ｂ）を合成したライン合成画像データ、および第３〜第７フレームの画像データ３０３〜３０７における第３のライン（撮影角度Ｃ）を合成したライン合成画像データとなる。第１の領域２２１、第２の領域２２２、第３の領域２２３の全区分にラインデータが格納されているため、第１の算出部１５１がライン合成画像データ３１７に微分オペレータ演算を行って、ラインデータｐ５−Ａにおける輝度勾配の絶対値を表す強調画像データ３５０を生成し、第２の算出部１５２がライン合成画像データ３２７に微分オペレータ演算を行って、ラインデータｐ４−Ｂにおける輝度勾配の絶対値を表す強調画像データ３４９を生成し、第３の算出部１５３がライン合成画像データ３３７に微分オペレータ演算を行って、ラインデータｐ３−Ｃにおける輝度勾配の絶対値を表す強調画像データ３４７を生成し、それぞれ生成した強調画像データ３５０，３４９，３４７を第３の記憶部２３に格納する。このとき、第３の記憶部２３に被検査物２の同一部位ｐ３を示す全撮影角度（Ａ、Ｂ、Ｃの３種類）の強調画像データ（強調画像データ３４５〜３４７）が格納されているため、積算部１７が強調画像データ３４５、３４６、３４７の輝度値を積算して、部位ｐ３のＲＴ−ＬＣＩデータ３６１を生成し、第４の記憶部２４に格納する。そして、画像生成部１８は、部位ｐ３のＲＴ−ＬＣＩデータ３６１を新たな欠陥検査用画像データとして表示部３０に出力し、表示部３０は欠陥検査用画像３８１を表示する。

ここで、図８（ｃ）に基づいて、再度、ＲＴ−ＬＣＩデータ３６１の生成処理について説明する。図８（ｃ）に示すように、フレーム番号ｉ＝５（ｍ）において、５（ｍ）フレームの画像データ３０１〜３０５の同一ラインを合成したライン合成画像データ３１５に対して５（ｍ）行１列の微分オペレータ演算を行って、ラインデータｐ３−Ａにおける輝度勾配の絶対値を表す強調画像データ３４１（後続のフレームでは強調画像データ３４２、３４５等となる）を生成する。次に、フレーム番号ｉ＝６において、５フレームの画像データ３０２〜３０６の同一ラインを合成したライン合成画像データ３２６に対して５行１列の微分オペレータ演算を行って、ラインデータｐ３−Ｂにおける輝度勾配の絶対値を表す強調画像データ３４３（後続のフレームでは強調画像データ３４６等となる）を生成する。そして、フレーム番号ｉ＝７（＝ｍ＋ｋ−１）において、５フレームの画像データ３０３〜３０７の同一ラインを合成したライン合成画像データ３３７に対して５行１列の微分オペレータ演算を行って、ラインデータｐ３−Ｃにおける輝度勾配の絶対値を表す強調画像データ３４７を生成する。生成した３（ｋ）フレームの同一観測位置の強調画像データ３４５〜３４７の輝度値を積算して部位ｐ３のＲＴ−ＬＣＩデータ３６１が生成される。

フレーム番号ｉ＝８では、第１〜第３の抽出部１１１〜１１３は、画像データ３０８の第１〜第３のラインからラインデータｐ８−Ａ，ｐ７−Ｂ，ｐ６−Ｃをそれぞれ抽出し、第１〜第３の格納部１３１〜１３３がそれぞれ、第１〜第３の領域２２１〜２２３に格納済みのラインデータを１区分ずつ上へ移動し、第１〜第３の領域２２１〜２２３の第１の区分にラインデータｐ８−Ａ，ｐ７−Ｂ，ｐ６−Ｃを格納する。これらにより、第１〜第３の領域２２１〜２２３に格納されているライン合成画像データ３１８，３２８，３３８は、第４〜第８フレームの画像データ３０４〜３０８における第１のライン（撮影角度Ａ）、第２のライン（撮影角度Ｂ）、第３のライン（撮影角度Ｃ）を合成したライン合成画像データとなる。第１の領域２２１、第２の領域２２２、第３の領域２２３の全区分にラインデータが格納されているため、第１の算出部１５１がライン合成画像データ３１８に微分オペレータ演算を行って、ラインデータｐ６−Ａにおける輝度勾配の絶対値を表す強調画像データ３５６を生成し、第２の算出部１５２がライン合成画像データ３２８に微分オペレータ演算を行って、ラインデータｐ５−Ｂにおける輝度勾配の絶対値を表す強調画像データ３５５を生成し、第３の算出部１５３がライン合成画像データ３３８に微分オペレータ演算を行って、ラインデータｐ４−Ｃにおける輝度勾配の絶対値を表す強調画像データ３５３を生成し、それぞれ生成した強調画像データ３５６，３５５，３５３を第３の記憶部２３に格納する。このとき、第３の記憶部２３に被検査物２の同一部位ｐ４を示す全撮影角度（Ａ、Ｂ、Ｃの３種類）の強調画像データ（強調画像データ３５１〜３５３）が格納されているため、積算部１７が強調画像データ３５１〜３５３の輝度値を積算して、部位ｐ４のＲＴ−ＬＣＩデータ３６３を生成し、第４の記憶部２４に格納する。そして、画像生成部１８がＲＴ−ＬＣＩデータ３６２、３６３を被検査物２の位置関係と対応するように上からｐ３、ｐ４となるようにＲＴ−ＬＣＩデータ３６２、３６３を並べて新たな欠陥検査用画像データを合成し、表示部３０に出力する。このとき、表示部３０は、部位ｐ３、ｐ４の欠陥検査用画像３８２を表示する。

以下同様にして、フレーム番号ｉ＝９では、部位ｐ３、ｐ４、ｐ５のＲＴ−ＬＣＩデータを並べて合成した欠陥検査用画像データが表示部３０に出力されて、表示部３０に部位ｐ３、ｐ４、ｐ５の欠陥検査用画像が表示され、フレーム番号ｉ＝１０では、部位ｐ３、ｐ４、ｐ５、ｐ６のＲＴ−ＬＣＩデータを並べて合成した欠陥検査用画像データが表示部３０に出力されて、表示部３０に部位ｐ３、ｐ４、ｐ５、ｐ６の欠陥検査用画像が表示される。そして、例えば、被検査物２の部位が部位ｐ１〜ｐ４７８であるとすれば、最終的に、フレーム番号ｉ＝４８０において、部位ｐ３〜ｐ４７６のＲＴ−ＬＣＩデータを並べて合成した欠陥検査用画像データが表示部３０に出力されて、表示部３０に部位ｐ３〜ｐ４７８の欠陥検査用画像が表示される。したがって、被検査物２の大部分（４７４／４７８）についての欠陥検査用画像データを得ることができる。また、被検査物２の部位ｐ３〜ｐ４７６のみを被検査物とすれば、その被検査物全体についての欠陥検査用画像データを得ることができる。

次に、変化量算出部１５が行う演算処理の詳細を図９に基づいて説明する。ここでは、説明の簡略化のため、エリアカメラ５の画素数を横４画素×縦９画素（ｎ＝４）とする。これ以外は、図８（ａ）〜図８（ｃ）の説明で用いた条件をそのまま適用する。図９は、第２の記憶部２２に格納されている複数のラインデータからなるライン合成画像データ、変化量算出部１５が用いる微分オペレータ、変化量算出部１５が算出した強調画像データの値の一例を示す図である。

図９に示す行列４６１は、第２の記憶部２２に格納されている５つのラインデータからなるライン合成画像データ（図８（ａ）および図８（ｃ）に示すライン合成画像データ３１５、３２６、３３７などに相当する）の全画素の輝度値を要素とする５行４列の行列である。図９に示す行列４６２は、変化量算出部１５が用いる５行１列の微分オペレータ（微分フィルタ）である。図９に示す行列４６３は、変化量算出部１５が算出した縦方向の輝度勾配を要素とする５行４列の行列である。図９に示す行列４６４は、行列４６３の絶対値をとったものであり、図８（ａ）に示す強調画像データ３４１〜３５６の全画素の輝度値を示す。

変化量算出部１５は、行列４６１に対して微分オペレータの行列４６２をかける。具体的には、まず、行列４６１の第１列に対して行列４６２をかけて行列４６３の第１列の値を算出する。つまり、行列４６１の第１列に対して以下の計算を行うことにより、行列４６３の第１列の値を算出する。その計算とは、９８×（−２）＋９９×（−１）＋１００×０＋１０１×１＋１０２×２＝１０である。続いて、行列４６１の第２〜４列に対して同様に行列４６２をかけて行列４６３の第２〜４列の値を算出し、行列４６３をライン合成画像データの中心ラインの輝度データとして生成する。このように、変化量算出部１５は、５つのラインデータからなるライン合成画像データに対して微分オペレータをかけることによって、ライン合成画像データの中心ラインデータの縦方向輝度勾配を算出し、輝度データを生成する。ライン合成画像データの輝度値の勾配を算出することによって、被検査物２上にある微小な欠陥、薄い欠陥、淡い欠陥を検出することが容易になる。

また、変化量算出部１５が算出した輝度勾配は、０でなければ被検査物２のその部位に欠陥があることを示すものである（ただし、輝度勾配が０に近い場合には、欠陥でなくノイズである可能性がある）。被検査物２に欠陥がある場合、被検査物２において、線状光源４からの光がナイフエッジ７によって遮光されずに入射する領域では欠陥が暗となり、線状光源４からの光がナイフエッジ７によって遮光されて直接的に入射しない領域では欠陥が明として撮影される。そのため、輝度勾配の値の符号は欠陥の有無に影響せず、輝度勾配の大きさが欠陥の有無を判断する際に重要になる。そこで、変化量算出部１５は、図９に示す行列４６４のように、変化量算出部１５が生成した輝度勾配の行列４６３の絶対値をとって行列４６４を生成する。以上のようにして、変化量算出部１５は、ライン合成画像データの中心ラインにおける各画素の輝度値を各画素での縦方向輝度勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成する。このように、輝度勾配の絶対値を用いることによって、明側に映る欠陥も暗側に映る欠陥も同じようにプラスに寄与し、欠陥の有無の識別がより容易になる。さらに、明側および暗側の欠陥を同様に扱うことができるため、光学系の位置決めをする際に、エリアカメラ５の撮影範囲を、ナイフエッジ７をまたぐように配置するだけで十分となる。さらに、ナイフエッジ７の位置決めをする際に、エリアカメラ５の水平方向と厳密にあわせなくても精度良く検査を行うことができる。すなわち、従来と比較して、暗視野法における光学系の配置を高精度に行う必要がなく、簡単になる。そのため、欠陥検査システムの検査能力、および、欠陥検査システムの装置系、特に光学系のメンテナンス性が向上する。

さらに、エリアカメラ５が撮影した画像データに対してＲＴ−ＬＣＩ処理を行うことによって、被検査物２の厚みおよび反りの影響を受けずに、精度良く欠陥を検出することができる。従来の透過散乱法では、図１０（ａ）および（ｂ）に示すように、被検査物２が比較的厚い、もしくは、被検査物２が反っている場合、線状光源４から照射された光が被検査物２を透過する際に、屈折してエリアカメラ５の光軸からずれて入射することがある。また、従来の反射散乱法では、図１０（ｃ）に示すように、被検査物２が比較的厚い、もしくは、被検査物２が反っている場合、線状光源４から照射された光が被検査物２を反射する際に、光学系の設計において意図した反射角とは異なる角度で反射することがあり、エリアカメラ５の光軸からずれて入射することがある。このように、被検査物２の厚みおよび反りの影響を受けて、線状光源４からの光が意図せずに光軸がずれてエリアカメラ５に入射することによって、被検査物２上の欠陥による光軸のずれとの区別がつかず、被検査物２上に欠陥があると誤認してしまう虞がある。

透過散乱法では、図１０（ａ）に示すように、被検査物２が比較的薄い、被検査物２の曲率が比較的小さい、もしくは、入射角（図２に示すＺ軸とエリアカメラ５への入射光の光軸との角度）が比較的小さい場合、光軸のずれが僅かであるため、エリアカメラ５が撮影した画像への影響は比較的小さい。一方、図１０（ｂ）に示すように、被検査物２が比較的厚い、被検査物２の曲率が比較的大きい、もしくは、入射角が比較的大きい場合、光軸のずれが大きくなり、エリアカメラ５が撮影した画像への影響が無視できなくなる。また、反射散乱法では、それに加えて、反射角が僅かに異なる場合であっても、被検査物２とエリアカメラ５との距離に比例して光軸のずれが大きくなる。

本実施形態においても、従来と同様に、被検査物２の厚みや反りによって光軸がずれることがある。しかしながら、エリアカメラ５が撮影した画像データの輝度値の勾配を算出して、複数の撮影角度における勾配の絶対値を積算することによって、被検査物２の厚みや反りによる光軸のずれの影響を抑えることができる。

なお、本実施形態では、エリアカメラ５が或る画像を撮影してから次の画像を撮影するまで（１フレーム期間）に被検査物２が移動する距離を移動幅と、データ抽出部１１が抽出するラインデータの幅が示す実距離とが同一であるとしているが、これに限るものではない。例えば、コンベア３の搬送速度が５倍であって、被検査物２が１フレーム期間に５画素分移動する場合、データ抽出部１１が抽出するラインデータの幅を５画素に設定すれば、同様のＲＴ−ＬＣＩ処理を行うことができる。逆に、コンベアの搬送速度が１／５倍であって、被検査物２が１フレーム間に１／５画素分移動する場合、５フレームごとにデータ抽出部１１がラインデータ（ｎ×１画素）を抽出すれば、同様のＲＴ−ＬＣＩ処理を行うことができる。その他、データ抽出部１１が抽出するラインデータの幅が示す実距離と移動幅とが厳密に合わせられない場合（例えば、エリアカメラ５の１画素あたりの解像度と移動幅との比が１：１．０５といった半端な値になる場合）、パターンマッチング技術を使用してラインデータの位置を補正すれば、同様のＲＴ−ＬＣＩ処理を行うことができる。なお、上記パターンマッチング技術は、ハード化が容易であり、様々な手法が公知であるため、ＲＴ−ＬＣＩ処理に適合するものを用いればよい。

また、本実施形態の画像解析装置６は、データ抽出部１１で抽出された第１〜第ｋのラインのラインデータを格納するための手段として、第１〜第ｋの領域２２１〜２２ｋ、第１〜第ｋの判定部１２１〜１２ｋ、および第１〜第ｋの格納部１３１〜１３ｋを備えていたが、これらに代えて、データ抽出部１１で抽出された第１〜第ｋのラインのラインデータをそれぞれ格納するｋ個のＦＩＦＯ（First In, First Out）メモリを用いてもよい。この場合、各ＦＩＦＯメモリは、１ラインのラインデータをそれぞれ格納する第１〜第５の区分を備え、新たなラインデータを受け取る毎に、受け取ったラインデータを第１の区分に格納し、第２〜第４の区分に格納されたデータを第３〜第５の区分に移動させ、第５の区分に格納されたデータを破棄する。

また、本実施形態では、エリアカメラ５を固定し、コンベア３を用いて被検査物２を移動させたが、これに限るものではなく、エリアカメラ５と被検査物２とが相対的に移動していればよい。

また、本実施形態では、ＲＴ−ＬＣＩ処理に関係のないもしくは使用済みのデータ（画像データ、ラインデータ等）は、その都度破棄しても良いし、バックアップ用として同じ記憶部もしくは別の記憶部に保存しておいてもよい。例えば、図８（ａ）に示す画像データ３０１〜３１０は、ラインデータが抽出された後はＲＴ−ＬＣＩ処理では使用されないが、第１の記憶部２１等に保存しておいてもよい。

また、変化量算出部１５がライン合成画像データの輝度値の勾配を算出する前後において、平滑化の処理を行ってもよい。また、ライン合成画像データの輝度値の勾配を算出する変化量算出部１５に代えて、第１〜第ｋの領域２２１〜２２ｋの各々に格納されている複数のラインデータからなるライン合成画像データに対して、ｍ行１列の平滑化オペレータを用いた平滑化の処理を行って強調画像データを生成する平滑化処理部も設けてもよい。平滑化の処理を行うことによって、ノイズに埋もれてしまう小さな（淡い、薄い）欠陥を検出することができる。このとき、上記平滑化オペレータとしては、例えば、７行１列の行列（１，１，１，１，１，１，１）^Ｔ などの平滑化オペレータを用いることができる。また、ライン合成画像データの輝度値の勾配を算出する変化量算出部１５に代えて、ライン合成画像データに対して、輝度変化を強調する他のオペレータ（鮮鋭化オペレータなど）を用いた演算を行うオペレータ演算処理部を設けてもよい。

また、画像生成部１８で合成された欠陥検査用画像データを、輝度値を適当な閾値で２値化してから出力するようにしてもよい。これにより、ノイズが除去され、欠陥をより明瞭かつ正確に示す欠陥検査用画像データを出力および表示できる。また、２値化を行う場合において、２値化後の画像データにおける欠陥領域に相当する領域（本実施形態では明領域）のうちで、所定サイズ以下の領域をノイズとして除去してもよい。これにより、欠陥をより正確に示す欠陥検査用画像データを出力および表示できる。さらに、２値化を行う場合において、２値化後の画像データにおいて各画素の輝度値が欠陥を表す輝度（本実施形態では明輝度）であるか否かに基づいて欠陥検査を行ってもよい。

本実施形態において、ナイフエッジ７を用いて被検査物の２次元画像を撮影し、欠陥検査用の画像データにおける暗視野（線状光源４からの光がナイフエッジ７によって遮られて直線的に入射しない部分）中の明部（被検査物２の欠陥で散乱された光に起因する）として欠陥を検出する暗視野法を用いて、被検査物の欠陥を検査している。しかしながら、これに限るものではなく、ナイフエッジ７を省いて被検査物の２次元画像を撮影し、欠陥検査用の画像データにおける明視野（線状光源４で照明されている部分）中の暗部（被検査物２の欠陥による光の散乱に起因する）として欠陥を検出する明視野法を用いて、被検査物の欠陥を検査してもよい。

また、本実施形態では、１フレーム期間ごとにＲＴ−ＬＣＩ処理を行っているが、これに限るものではなく、例えば、所定のフレーム期間ごとにＲＴ−ＬＣＩ処理を行ってもよいし、撮影した後に、撮影した画像データをまとめて、ＲＴ−ＬＣＩ処理と同様の、ライン合成積算の画像処理を行ってもよい。具体的には、エリアカメラ５として、ハイスピードカメラを用いた場合、リアルタイムに（１フレーム期間ごとに）ＲＴ−ＬＣＩ処理を行うことが困難であるため、ハイスピードカメラで撮影した画像を一度ハードディスク等の記憶装置に画像データとして保存し、保存した画像データを時系列に読み出しながら、ＲＴ−ＬＣＩ処理と同様の、ライン合成積算の画像処理を行ってもよい。このように、リアルタイムに行わないライン合成積算の処理をソフトウェアＬＣＩ処理と称する。

また、本実施形態では、画像解析装置６を画像処理ソフトウェアがインストールされたＰＣとしているが、これに限るものではなく、例えば、エリアカメラ５が画像解析装置６を内蔵していても良いし、ＰＣではなく、エリアカメラ５から画像データを取り込むキャプチャボード（ＰＣの拡張カード）が画像解析装置６を内蔵していても良い。

また、本実施形態では、変化量算出部１５は、第２の記憶部２２の各領域に格納されている部分画像データに対して全て同じ微分オペレータを用いて微分オペレータ演算を行っているが、これに限るものではない。例えば、変化量算出部１５の第１の算出部は、第１の領域に格納されているライン合成画像データ（３１５等）に対しては、或る微分オペレータＡを用いて微分オペレータ演算を行い、第２の算出部は、第２の領域に格納されているライン合成画像データ（３２６等）に対しては、微分オペレータＡとは異なる微分オペレータＢを用いて微分オペレータ演算を行い、第３の算出部は、第３の領域に格納されているライン合成画像データ（３３７等）に対しては、微分オペレータＡおよびＢとは異なる微分オペレータＣを用いて微分オペレータ演算を行ってもよい。加えて、微分オペレータ演算を行う代わりに、平滑化オペレータなどの、輝度変化を強調する他のオペレータを用いた演算を行ってもよい。

例えば、明視野法を用いて被検査物を撮影した場合、撮影した各画像データから抽出されたライン合成画像データが実質的に同じになる場合がある。このとき、実質的に同一の複数のライン合成画像データに対して、それぞれ異なる微分オペレータ演算を用いて強調画像データを生成してもよい。この異なる微分オペレータ演算を用いて生成された複数の強調画像データを積算することにより、種々の欠陥を検出することができる。

また、本実施形態では、変化量算出部１５がオペレータ演算を行って強調画像データを生成した後、同一箇所判定抽出部１６が、被検査物２の同一箇所を示す強調画像データを抽出しているが、この順序に限るものではない。例えば、同一箇所判定抽出部１６が、被検査物２の同一箇所を示すライン合成画像データを抽出した後に、変化量算出部１５が同一箇所判定抽出部１６が抽出したライン合成画像データに対して、オペレータ演算を行って強調画像データを生成してもよい。

換言すると、変化量算出部１５は、データ格納部１３によって合成された複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの複数の強調画像データをそれぞれ生成し、同一箇所判定抽出部１６は、変化量算出部１５が生成した複数の強調画像データの中から被検査物２の同一箇所を示す複数の強調画像データを抽出し、積算部１７は、同一箇所判定抽出部１６が抽出した複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成してもよい。また、同一箇所判定抽出部１６は、データ格納部１３によって合成された複数のライン合成画像データの中から被検査物２の同一箇所を示す複数のライン合成画像データを抽出し、変化量算出部１５は、同一箇所判定抽出部１６が抽出した複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行うことにより、１ラインまたは複数ラインの複数の強調画像データをそれぞれ生成し、積算部１７は、変化量算出部１５が生成した複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成してもよい。

また、本実施形態では、データ抽出部１１が撮影した画像データからラインデータを抽出した際に、抽出したラインデータに対して、被検査物２上での位置を特定する（識別する）記号（識別子）を付加しているが、これに限るものではない。同一箇所判定抽出部１６が被検査物２の同一箇所を示すライン合成画像データ（または強調画像データ）を抽出する処理を行う前までに、画像データ（撮影された画像データ、ラインデータ、ライン合成画像データ、強調画像データなど）に被検査物２上での位置を特定する記号が付加してあればよい。また、画像データに被検査物２上での位置を特定する記号を付加せず、同一箇所判定抽出部１６が、被検査物２の同一箇所を示すライン合成画像データ（または強調画像データ）を特定および抽出してもよい。

〔実施例〕
以下に、図３に示す欠陥検査システム１において、エリアカメラ５で撮影した画像データに対してＲＴ−ＬＣＩ処理を施した実施例について説明する。エリアカメラ５の本体として、倍速プログレッシブスキャン白黒カメラモジュール（ソニー株式会社製のＸＣ−ＨＲ５０）を使用した。また、エリアカメラ５のレンズには、株式会社タムロン製レンズ（焦点距離ｆ＝３５ｍｍ）に５ｍｍ接写リングを取り付けたものを使用した。エリアカメラ５の画素数は、５１２×４８０画素であり、１画素あたりの解像度は７０μｍ／ｐｉｘｅｌである。エリアカメラ５の焦点は被検査物の表面上に合わせた。エリアカメラ５のフレームレートは６０ＦＰＳであり、通常のＴＶフォーマットで撮影した。エリアカメラで８秒間撮影し、４８０枚の画像に対してＲＴ−ＬＣＩ処理を行った。コンベア３の搬送速度は４．２ｍｍ／秒に設定した。つまり、１フレームあたりに被検査物２が７０μｍ移動するように設定した。線状光源４として２２ｋＨｚの高周波蛍光灯を使用した。照明拡散板８として、厚さ３ｍｍで乳白色のＰＭＭＡ（ポリメチルメタクリレート）シートを使用した。ナイフエッジ７としてＮＴカッターを使用した。被検査物２には、バンクマークやアバタなどの欠陥を有する透明のＰＭＭＡシートを用いた。

ＲＴ−ＬＣＩ処理における画像処理の設定として、ｋ＝１５、ｍ＝５または７とした。データ抽出部１１が抽出するラインデータの画素数を５１２×１画素とし、移動幅とラインデータの幅が示す実距離とが一致するように設定した。

まず、ＲＴ−ＬＣＩ処理を行った一例を図１１に基づいて説明する。図１１（ａ）に示す画像は、原画像であり、エリアカメラ５が撮影した動画の最後のフレーム（４８０コマ目）の画像である。この原画像は、図５（ａ）に示す画像と同種のものである。図５（ａ）と同様に、図１１（ａ）に示す原画像において、下部の暗い部分はナイフエッジ７によって光が遮られている部分であり、中心付近の明るい部分は線状光源４からの光が透過している部分であり、上部の暗い部分は線状光源４の光が届いておらず、検査対象から外れている箇所である。図１１（ａ）に示す原画像の下端から上部に向かって突き出している暗い部分は、目印のために配置した物体の影である。また、図１１（ｂ）に示す画像は、原画像のナイフエッジ７付近の画像データに対してＲＴ−ＬＣＩ処理を行い、ＲＴ−ＬＣＩデータを原画像に合わせて並べたＲＴ−ＬＣＩ画像である。ＲＴ−ＬＣＩ画像における明るい部分の箇所に欠陥があることを示す。ＲＴ−ＬＣＩ画像を見ると、スジ状のバンクマークや点状のアバタなどの欠陥が被検査物２上にあることがわかる。さらに、被検査物２の位置と画像の位置とが対応しているので、ＲＴ−ＬＣＩ画像を見ることによって、被検査物２上のどの位置にどのような欠陥があるのかを容易に識別することができる。

次に、変化量算出部１５において、異なる微分オペレータを用いた場合のＲＴ−ＬＣＩ画像の例を図１１に基づいて説明する。図１１（ａ）は、エリアカメラ５が撮影した画像（４８０コマ目）である。図１１（ｂ）は、ｍ＝７とし、原画像に対して、微分オペレータとして７行１列の行列（−３，−２，−１，０，１，２，３）^Ｔ を用いてＲＴ−ＬＣＩ処理を行うことによって得られたＲＴ−ＬＣＩ画像の例を示す図である。図１１（ｂ）に示すＲＴ−ＬＣＩ画像は、原画像の画像データの縦方向の輝度勾配を強調するように処理したものである。この微分オペレータは、非常に淡い凹凸である欠陥を検出する際に適した演算処理である。また、図１１（ｃ）は、ｍ＝７とし、原画像に対して、微分オペレータとして７行１列の行列（−１，−１，−１，６，−１，−１，−１）^Ｔ を用いてＲＴ−ＬＣＩ処理を行うことによって得られたＲＴ−ＬＣＩ画像の例を示す図である。この微分オペレータは、中程度の点欠陥のみ強調することに適した演算処理である。

また、別の微分オペレータを用いた例を図１２に示す。図１２（ａ）は、エリアカメラ５が撮影した原画像である。図１２（ｂ）は、原画像のエッジ近傍における或る撮影角度のライン合成画像である。また、図１２（ｃ）は、ｍ＝７とし、原画像に対して、微分オペレータとして５行１列の行列（−２，−１，０，１，２）^Ｔ を用いたＲＴ−ＬＣＩ処理を行うことによって得られたＲＴ−ＬＣＩ画像である。

次に、エリアカメラの水平方向に対してナイフエッジが傾斜している状態で撮影された実施例を図１３に示す。図１３（ａ）は、エリアカメラ５が撮影した原画像である。図１３（ｂ）は、従来のラインセンサを用いた欠陥検査システムによって得られる画像と同等である、原画像のエッジ近傍における或る撮影角度のライン合成画像である。図１３（ｂ）を見ると、画像の左側が明るく、右側が暗くなっているのがわかる。このように、従来のラインセンサを用いた欠陥検査システムでは、ラインセンサとナイフエッジとの配置関係によって撮影される画像に大きな影響があった。つまり、従来は、ラインセンサおよびナイフエッジを含む光学系の配置を高精度に位置決めしなければ精度の良い検査結果が得られなかった。図１３（ｃ）は、ｍ＝５とし、原画像に対して、微分オペレータとして５行１列の行列（−２，−１，０，１，２）^Ｔ を用いたＲＴ−ＬＣＩ処理を行うことによって得られたＲＴ−ＬＣＩ画像である。図１３（ｃ）を見ると、図１３（ｂ）と異なり、ＲＴ−ＬＣＩ画像では、ナイフエッジ７が傾斜していることによる影響を受けないことがわかる。すなわち、本願発明の欠陥検査システム１は、ナイフエッジ７がエリアカメラ５の水平方向に対して傾斜している場合であっても、精度良く欠陥を検出することができる。

次に、ＲＴ−ＬＣＩ処理に平滑化オペレータを用いた例を図１４に基づいて説明する。図１４（ａ）は、エリアカメラが撮影した原画像である。図１４（ｂ）は、原画像のエッジ近傍における或る撮影角度のライン合成画像である。図１４（ｃ）は、ｍ＝７とし、原画像に対して、微分オペレータに代えて平滑化オペレータとしての７行１列の行列（１，１，１，１，１，１，１）^Ｔ を用いたＲＴ−ＬＣＩ処理を行うことによって得られたＲＴ−ＬＣＩ画像である。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像解析装置６の各ブロック、特にデータ抽出部１１、第１区分判定部１２、データ格納部１３、全区分判定部１４、変化量算出部１５、同一箇所判定抽出部１６、積算部１７および画像生成部１８は、ＦＰＧＡ（Field Programmable Gate Array）回路等のハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、画像解析装置６は、例えば、ｍ行１列の微分オペレータ演算を実現するＦＰＧＡ回路に対して、ライン抜き出しのための演算器、エリアＦＩＦＯメモリ、二値化のための比較器などを追加することによって実現できる。ｍ行１列の微分オペレータ演算を実現するＦＰＧＡ回路は、各行の画像データを格納するｍ個のラインＦＩＦＯメモリ、微分オペレータの係数（フィルタ係数）をそれぞれ格納するｍ個のイネーブル端子付きＤフリップフロップ（ＤＦＦＥ）、各行の画像データと微分オペレータの係数とを乗算するｍ個の乗算器、乗算結果を加算する加算回路等によって実現できる。
〔変形例〕
変化量算出部１５は、第２の記憶部２２に格納されているライン合成画像データのライン数に合わせて、使用する微分オペレータの行数および列数を適宜設定すればよい。また、変化量算出部１５が算出した結果生成される強調画像データは、上述のように、１ラインで構成されるものだけに限らず、算出した結果、複数のラインからなるものであってもよい。

また、上述の実施形態および実施例では、変化量算出部１５が縦方向の輝度勾配を算出していたが、これに限るものではなく、横方向の輝度勾配を算出しても良い。

また、上述の実施形態および実施例では、エリアカメラ５が撮影した画像データの大きさ（画素数）に合わせて欠陥検査用画像データを生成していたが、これに限るものではなく、１つ以上のＲＴ−ＬＣＩデータを欠陥検査用の画像データとして生成して、それを元に被検査物上の欠陥を検出しても良い。

また、画像解析装置６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像解析装置６の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像解析装置６に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、画像解析装置６を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、シート状等の被検査物の欠陥を検査する欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、欠陥検査用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、および欠陥検査用画像処理方法に利用することができる。

１ 欠陥検査システム
２ 被検査物
３ コンベア（移動手段）
４ 線状光源
５ エリアカメラ（撮影部、欠陥検査用撮影装置の一部）
６ 画像解析装置（欠陥検査用画像処理装置）
７ ナイフエッジ
８ 照明拡散板
１０ 画像処理部（欠陥検査用画像処理装置の一部、欠陥検査用撮影装置の一部）
１１ データ抽出部（同一ライン抽出手段）
１２ 第１区分判定部
１３ データ格納部（ライン合成手段）
１４ 全区分判定部
１５ 変化量算出部（オペレータ演算手段）
１６ 同一箇所判定抽出部
１７ 積算部（積算手段）
１８ 画像生成部（画像生成手段）
２０ 記憶部（欠陥検査用画像処理装置の一部、欠陥検査用撮影装置の一部）
２１ 第１の記憶部
２２ 第２の記憶部
２３ 第３の記憶部
２４ 第４の記憶部
３０ 表示部

Claims (10)

1. 被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理装置であって、
   複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出手段と、
   上記同一ライン抽出手段によって抽出されたラインデータを時系列に並べて複数ラインのライン合成画像データを生成するライン合成手段とを備え、
   上記同一ライン抽出手段は、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するものであり、
   上記ライン合成手段は、上記同一ライン抽出手段によって抽出されたラインデータを、上記画像データ上における位置ごとに時系列に並べて、異なる複数のライン合成画像データを生成するものであり、
   さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算手段と、
   上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算手段と、を備えることを特徴とする欠陥検査用画像処理装置。
2. 上記オペレータ演算手段は、上記複数のライン合成画像データに対して微分オペレータを用いた演算を行うことにより、上記複数のライン合成画像データの中心ラインにおける各画素での、中心ラインに直交する方向に沿った輝度値の勾配を算出し、上記複数のライン合成画像データの中心ラインにおける各画素の輝度値を各画素での輝度値の勾配の絶対値に置き換えて新たな１ラインの強調画像データを生成するものであることを特徴とする請求項１に記載の欠陥検査用画像処理装置。
3. 上記積算手段は、上記被検査物の複数の箇所をそれぞれ示す上記複数の強調画像データを上記被検査物の箇所ごとに、当該強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成するものであり、
   さらに、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを、上記被検査物の箇所に対応させて並べて新たな欠陥検査用画像データを合成する画像生成手段を含むことを特徴とする請求項１または２に記載の欠陥検査用画像処理装置。
4. 上記積算手段は、上記撮影部が撮影する毎に、上記被検査物の先頭箇所から順番に上記被検査物の箇所ごとに、上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して、上記被検査物の複数の箇所をそれぞれ示す複数の欠陥検査用画像データを生成することを特徴とする請求項１ないし３の何れか１項に記載の欠陥検査用画像処理装置。
5. 請求項１ないし４の何れか１項に記載の欠陥検査用画像処理装置と、
   被検査物と撮影部とが相対的に移動させられている状態で、上記被検査物の２次元画像を時間的に連続して撮影する撮影部とを含むことを特徴とする欠陥検査用撮影装置。
6. 被検査物の欠陥を検査する欠陥検査システムであって、
   請求項５に記載の欠陥検査用撮影装置と、
   上記被検査物と上記撮影部とを相対的に移動させる移動手段とを含むことを特徴とする欠陥検査システム。
7. 上記被検査物に光を照射する光源と、
   上記光源から上記被検査物を透過または反射して上記撮影部に入射する光を一部遮る遮光体とを含み、
   暗視野法を用いて被検査物の欠陥を検査することを特徴とする請求項６に記載の欠陥検査システム。
8. 請求項１から４の何れか１項に記載の欠陥検査用画像処理装置を動作させるための欠陥検査用画像処理プログラムであって、コンピュータを上記手段の全てとして機能させるための欠陥検査用画像処理プログラム。
9. 請求項８に記載の欠陥検査用画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
10. 被検査物と撮影部とが相対的に移動させられている状態で、撮影部によって時間的に連続して撮影された上記被検査物の２次元画像の画像データを処理し、それによって上記被検査物の欠陥を検査するための欠陥検査用画像データを生成する欠陥検査用画像処理方法であって、
    複数の異なる画像データの中から画像データ上における位置が同一である１ラインのラインデータをそれぞれ抽出する同一ライン抽出ステップと、
    上記同一ライン抽出ステップにおいて抽出されたラインデータを時系列に並べて複数ラインの合成画像データを生成するライン合成ステップとを含み、
    上記同一ライン抽出ステップは、上記画像データ上における異なる複数の位置について上記ラインデータをそれぞれ抽出するステップであり、
    上記ライン合成ステップは、上記同一ライン抽出ステップにおいて抽出されたラインデータを、上記画像データ上における位置ごとに時系列に並べて、異なる複数のライン合成画像データを生成するステップであり、
    さらに、上記複数のライン合成画像データに対してそれぞれ、輝度変化を強調するオペレータを用いた演算を行い、１ラインまたは複数ラインの複数の強調画像データを生成するオペレータ演算ステップと、
    上記被検査物の同一箇所を示す上記複数の強調画像データの輝度値を画素ごとに積算して欠陥検査用画像データを生成する積算ステップと、を含むことを特徴とする欠陥検査用画像処理方法。