JP2008276805A

JP2008276805A - 電線点検用画像の作成方法

Info

Publication number: JP2008276805A
Application number: JP2008200618A
Authority: JP
Inventors: Ryuichi Ishino; 隆一石野; Fujio Tsutsumi; 富士雄堤
Original assignee: Central Research Institute of Electric Power Industry
Current assignee: Central Research Institute of Electric Power Industry
Priority date: 2008-08-04
Filing date: 2008-08-04
Publication date: 2008-11-13

Abstract

【課題】原画像から電線部分の領域を切り出す処理を高速且つ効率的に行うことを可能にする。
【解決手段】電線４が撮影された原画像１の水平方向と垂直方向とのうち原画像１内の電線４の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域３を原画像１の電線長手方向に３箇所以上分布させるとともに、探索対象である電線４の画像をテンプレート２として予め与え、該テンプレート２と最も類似する領域を各探索領域３内で探索し、各探索領域３についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像１から切り出して電線点検用画像とするようにした。
【選択図】図２４

Description

本発明は、電線点検用画像の作成方法に関する。更に詳述すると本発明は、画像処理により電線の形状や色の異常等を検出する方法に組み込まれて用いられる技術に関する。

送電線の保守および管理のために、ヘリコプターによる送電線の巡視点検が従来行われている。この点検の目的の一つは、雷撃等により損傷を受けた電線の異常箇所の早期発見である。電線異常箇所の早期発見は、電力供給の信頼度の維持に不可欠となっている。点検は、ヘリコプターに搭載したビデオカメラで電線を撮影した後、ビデオ映像を再生し、作業者がこのビデオ映像を目視観察することで行なわれている。作業者は、電線の一部が切れてしまっている素線切れや将来素線切れを起こす可能性のあるアーク痕の有無などを確認する。電線の異常箇所の見落としを減らすために、ビデオ映像のスロー再生によるチェックや、作業者二人によるダブルチェックが行われる場合もある。

一方、送電線点検作業に画像処理技術を適用した電線異常検出方法や装置も提案されている（特許文献１，非特許文献１参考）。例えば特許文献１の技術では、図２９（Ａ）に示すように、画面の左右端の上から下に向かって輪郭情報であるエッジＡ_１，Ａ_２を検出し、次に予め分かっている電線の直径分だけ離れたＢ_１，Ｂ_２点を求め、Ａ_１，Ａ_２，Ｂ_１，Ｂ_２で囲まれる領域を電線領域とし、当該電線領域内の濃度情報に基いて、電線領域内における素線切れやアーク痕などの異常を検出するようにしている。

特開平４−１５６２１２号公報外岡他、"送電線点検作業への画像処理技術の適用−電線異常箇所自動判定装置−"三菱電機技報、pp.52-56 Vol.66 No.11 1991

しかしながら、作業者がビデオ映像を目視観察することにより電線異常を発見する方法は、多大な労力と時間が必要となる。人間は単調な作業を続けた場合、注意力が持続せず、疲労などの影響から見落としを起こしかねない。また眼をこらす作業を長時間行うのは労働としても軽くない。

一方、特許文献１の技術では、図２９（Ｂ）に示すように、Ａ_１，Ａ_２，Ｂ_１，Ｂ_２で囲まれる領域の裏側から外側に向かって跳ねてしまっている素線切れ１００を検出することができない。また、図２９（Ｃ）に示すように、エッジＡ_１，Ａ_２の一方が外側に跳ねてしまっている素線切れの部分にあたるような場合、Ａ_１，Ａ_２，Ｂ_１，Ｂ_２で囲まれる領域１０１は、真の電線領域から大きく外れてしまい、正確な電線異常検出が行なえない。結果、作業者の見直しが必要となってしまう。また、上記のような事態を避けるため、すべてのエッジを検出することも考えられるが、画像の全体に対してそのような詳細なエッジ検出処理を行なうと多大な処理時間を要してしまう。

そして、ヘリコプターによる撮影から電線の点検作業が終了するまでの時間は短いほど良いのは言うまでもない。短ければ、現地で確認する必要のあるような重大な問題を早期に対処でき、リスクを軽減できるからである。

そこで本発明は、原画像から電線部分の領域を切り出す処理を高速且つ効率的に行うことができる電線点検用画像の作成方法を提供することを目的とする。

かかる目的を達成するため、請求項１記載の電線点検用画像の作成方法は、電線が撮影された原画像の水平方向と垂直方向とのうち原画像内の電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を各探索領域内で探索し、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して電線点検用画像とするようにしている。

電線は曲率の極めて小さい曲線形状であるためほぼ直線とみなすことができ、画面内における電線位置は一定の規則性を有しているので、この電線点検用画像の作成方法によると、限定された探索領域内でテンプレート照合を行い、かつ３箇所以上の探索結果が一定の規則性を満たすか判断することで、高速且つ効率的な電線の探索が行われる。

また、請求項２記載の発明は、請求項１記載の電線点検用画像の作成方法において、探索結果が予め定めた規則性を満たさない場合または探索結果の類似度が予め定めた基準を満足しない場合に新たなテンプレートを追加するようにしている。したがって、必要に応じてテンプレートを追加することができ、当初からあらゆる状況を想定して複数のテンプレートを用意する必要が無くなる。

また、請求項３記載の発明は、請求項１または２記載の電線点検用画像の作成方法において、複数のテンプレートのうち探索結果の類似度が最も高くなるテンプレートを選択するようにしている。したがって、テンプレート照合の精度を向上させることができる。

請求項１記載の電線点検用画像の作成方法によれば、高速且つ効率的に電線の探索を行うことができるので、原画像から電線部分の領域を切り出す処理である電線点検用画像の作成を高速且つ効率的に行うことが可能になる。

さらに、請求項２記載の電線点検用画像の作成方法によれば、必要に応じてテンプレートを追加することができ、当初からあらゆる状況を想定して複数のテンプレートを用意する負担が軽減される。

さらに、請求項３記載の電線点検用画像の作成方法によれば、複数のテンプレートのうち探索結果の類似度が最も高くなるテンプレートを選択するので、テンプレート照合の精度を向上させることができる。

以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。

本実施形態では、本発明の電線点検用画像の作成方法が、図１から図２８に示す画像処理による電線異常検出方法および装置およびプログラムに組み込まれて用いられる場合の実施の一形態を示す。この電線異常検出方法は、例えば図１１に示すように、電線が撮影された原画像を得る前処理（Ｓ１）と、原画像から電線部分の領域を切り出す処理（Ｓ２）と、切り出した対象画像に対して電線の異常を検出する処理（Ｓ３）と、対象画像が上手く切り出せなかった画像や電線の異常が検出された画像を出力する処理（Ｓ４）からなる。なお、原画像から電線部分の領域を切り出す処理（Ｓ２）が本発明の電線点検用画像の作成方法に該当する。

電線異常検出処理（Ｓ３）では、例えば図１３に示すように、電線の実際の輪郭線を構成するエッジ画素を検出する処理（Ｓ３０６）と、検出されたエッジ画素を用いて電線が健全である場合の理想輪郭線を求める処理（Ｓ３０７）と、エッジ画素と理想輪郭線との情報に基いて電線の形状の異常を検出する処理（Ｓ３０８）と、理想輪郭線に囲まれる領域の色情報値に基いて電線の色の異常を検出する処理（Ｓ３０９）とを行なうようにしている。

点検対象である電線が撮影された画像として、例えば本実施形態では、ヘリコプターに搭載したビデオカメラで撮影した電線の空撮映像を利用している。ビデオカメラは例えば毎秒３０フレームの画像を生成するものとしている。ビデオカメラより得られる各フレーム画像は、前処理（Ｓ１）において、コンピュータでの処理が可能なＲＧＢのカラーモデルに変換され、さらに処理の簡素化および高速化等のために８ビットのグレースケール画像に変換される。上記のように変換された各フレーム画像を本実施形態における原画像とする。原画像を構成する各画素は、色情報値として、０（黒）〜２５５（白）までの２５６階調の明るさの値（輝度値）を有する。原画像の解像度は、例えば水平方向画素数を６４０画素とし、垂直方向画素数を４８０画素としている。但し、原画像はグレースケール画像に限定されずカラー画像であっても良く、また解像度も上記の例に限定されるものではない。

例えば本実施形態の原画像には、電線が画面の左右方向にわたって撮影されているものとする。このため本実施形態では、画面水平方向を電線長手方向とし、画面垂直方向を電線横断方向とする。尚、電線が画面の上下方向にわたって撮影されているような場合には、画面垂直方向を電線長手方向とし、画面水平方向を電線横断方向として良い。

細長い電線が撮影された部分は原画像の中のごく一部であるため、原画像全体に対してエッジ検出処理（Ｓ３０６）を行なっても、エッジ検出精度に余り寄与しないばかりか多大な処理時間がかかる。本実施形態のように原画像の中から電線が撮影された部分を切り出す処理（Ｓ２）を行ない、当該切り出された領域を対象画像とし、当該対象画像に対してエッジ検出処理（Ｓ３０６）を行なうことで、処理時間を大幅に短縮できる。例えば本実施形態では、対象画像の電線長手方向である水平方向の画素数は原画像の水平画素数と同じとし、対象画像の電線横断方向である垂直方向の画素数を原画像の垂直画素数よりも小さくするようにしている。具体的には、対象画像の解像度を例えば６４０×８０画素とする。この場合、エッジ検出処理の対象となる領域は原画像の６分の１に狭まり、エッジ検出処理の処理時間を原画像全体に対して処理を行なう場合の約６分の１程度に短縮できる。

本実施形態の対象画像の切り出し処理では、例えば図１２に示すように、水平方向範囲および垂直方向範囲が予め定められた探索領域を原画像の電線長手方向である水平方向に３箇所以上分布させる（Ｓ２０５）とともに、探索対象である電線の画像をテンプレートとして予め与え（Ｓ２０２）、テンプレートと最も類似する領域を各探索領域内で探索し（Ｓ２０６）、各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を原画像から切り出して対象画像とするようにしている（Ｓ２１０）。

本実施形態における探索領域は、例えば図２３に示すように縦長とし、その水平方向範囲の画素数Ｘはテンプレートの水平方向画素数と同じとし、垂直方向範囲の画素数Ｙはテンプレートの垂直方向画素数よりも大きく且つ原画像の垂直方向画素数以下としている。ここで、図２３および図２４中の符号１は原画像を示し、符号２はテンプレートを示し、符号３は探索領域を示し、符号４は電線の画像を示している。但し、探索領域の大きさは上記例に限定されるものではない。探索領域は、大きく広くとるほどテンプレート照合の失敗の可能性を減らせる利点があり、逆に、小さく狭くとるほど処理を高速化できる利点がある。例えば連続するフレーム間で電線が探索領域の垂直方向範囲Ｙを超えて大きく位置を変えると、当該探索領域内に電線が含まれず、その探索領域におけるテンプレート照合は失敗する。垂直方向範囲Ｙを大きくすることで当該失敗の可能性を減少させることができ、原画像の垂直方向画素数と等しくすれば当該失敗を無くすことができる。一方、水平方向範囲Ｘをテンプレートの水平方向画素数よりも大きくすることで、各探索領域において水平方向への探索も可能となる。例えば難着雪リングの装備された電線が撮影されているような場合には垂直方向にテンプレートと類似する領域が現れない可能性があるが、このような場合でも、水平方向への探索をも行なうことでテンプレート照合の失敗の可能性を減らすことができる。

また、本実施形態における探索領域は、例えば図２４に示すように電線長手方向である水平方向に予め定めた距離をおいて３箇所分布させるようにしている。但し、探索領域の数は３つ以上であっても良い。ここで、本実施形態では、各探索領域は水平方向には移動させず、垂直方向にのみ移動させるようにしている。例えば、前フレームにおける探索結果が中央に位置するように各探索領域を垂直方向に移動させるようにしている。これは、連続するフレーム画像間では電線の画面内の位置と角度は大きくは変動しないという特徴を利用して、原画像の垂直方向画素数よりも小さい範囲Ｙで、電線を上手く追尾するための工夫でもある。

探索領域内におけるテンプレートと同じ大きさの領域（以下、候補領域と呼ぶ。）と、テンプレートとの類似度の計算には、例えば二乗誤差による相違度を用いる。この場合、テンプレートの座標（ｘ、ｙ）の輝度値をｖ（ｘ、ｙ）とし、候補領域の座標（ｘ、ｙ）の輝度値をｖ’（ｘ、ｙ）とすると、相違度errは次式で求められる。

この相違度errが最も小さくなる候補領域を、探索領域内においてテンプレートと最も類似した領域、即ち探索結果とする。但し、候補領域とテンプレートとの類似度の計算方法は上記例に限定されない。例えば類似度の計算に相互相関を用いたり、周波数領域での類似性を判定するなどの方法を用いることにより、照度変化の影響を軽減した、より安定したテンプレート照合を行うことができる。

本実施形態では、探索の成否判定規準となる「探索結果の規則性」として、各探索結果の変位の位相が揃っているか否か、を判断するようにしている。ここでの位相は「位相幾何」で用いられるものを指す。例えば線分で表現される２つの図形の形状が同じであれば、当該２つの図形は位相が同じ、即ち位相が揃っている、と判断する。本実施形態の場合では、３つの探索結果を例えば左から順に第１、第２、第３の探索結果とすると、第１の探索結果と第２の探索結果とを結ぶ線分の傾きと、第２の探索結果と第３の探索結果とを結ぶ線分の傾きが、同じと見なせれば、位相が揃っていると判断する。各探索結果の変位の位相が揃っているか否かで、探索の成否が判定できる根拠を以下に説明する。即ち、電線は鉄塔部分を除いて他の物体に接触しておらず、物理法則に従って垂れた状態にある。したがって、電線は曲率の極めて小さい曲線形状であり、画面内という小さな範囲ではほぼ直線とみなして問題ない。そのため画面内での電線位置の変位は、ヘリコプターもしくはカメラの動きによる相対的なものである。ヘリコプターは電線に沿って一定速度で飛行を続けており、急激にその進行方向を変えることはない。また、カメラは回転せず上下左右方向のパンのみを行っている。以上より、電線は時間変化とともに３つの探索領域内で垂直方向に移動し得るが、当該移動は３つの探索領域で揃っているのが通例である。従って、各探索結果の変位の位相が揃っていない場合は、当該探索が失敗していると考えられる。

各探索結果の変位の位相が揃っているか否かを数値的に表現する一例を以下に示す。各探索結果の予め定めた点、例えば各探索結果における中心点の垂直方向の座標位置をそれぞれｙ_１ｉ，ｙ_２ｉ，ｙ_３ｉとする。尚、添字ｉ＝０，…，ｐである。ここで、ｙ_１０，ｙ_２０，ｙ_３０を現在の原画像における座標位置とし、ｙ_１１，ｙ_２１，ｙ_３１を１フレーム前の原画像における座標位置とし、ｙ_１ｐ，ｙ_２ｐ，ｙ_３ｐをｐフレーム前の原画像における座標位置とする。そして、次式に基づいて、一定期間におけるｙ_１ｉとｙ_２ｉとの距離とｙ_２ｉとｙ_３ｉとの距離の差の平均dy12rateを計算し、当該平均dy12rateが予め定めた一定値以内であれば各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。

但し、各探索結果の変位の位相が揃っているか否かの判断は、上記計算に基づくものには必ずしも限定されない。例えば、より一般的な以下の計算方法を用いても良い。例えば、上述した垂直方向座標位置ｙ_１ｉ，ｙ_２ｉ，ｙ_３ｉを用いて、ｙ１＝（ｙ_１０，…，ｙ_１ｐ），ｙ２＝（ｙ_２０，…，ｙ_２ｐ），ｙ３＝（ｙ_３０，…，ｙ_３ｐ）を定義し、ｙ１，ｙ２，ｙ３の相互相関を計算する。ここで、cor12をｙ１とｙ２の相互相関ベクトルとし、cor23をｙ２とｙ３の相互相関ベクトルとし、cor31をｙ３とｙ１の相互相関ベクトルとする。各相互相関ベクトルcor12，cor23，cor31において、最大値がそれぞれｊ１，ｊ２，ｊ３番目の要素であったとする。これらｊ１，ｊ２，ｊ３が共に一定値以下である場合に、各探索結果の変位の位相が揃っていると判断し、当該一定値を超えた場合に各探索結果の変位の位相が揃っていないと判断する。尚、位相が完全に揃っている場合は、ｊ１，ｊ２，ｊ３は０となる。この計算方法の場合、より精度良く各探索結果の変位の位相が揃っているか否かを検出できる。但し、数式２に基づく方法と比較して計算時間がかかる。

ここで、同じ系統の電線であっても、実際に撮影された電線の画像は必ずしも一定ではない。その原因としては、例えばカメラの照度設定による明るさの違い、また山影などによる明るさの違い、電線に付着した汚れやペイントなどの電線の表面状態の違いなどがある。これら電線画像の複数のバリエーションを一つのテンプレートで表現することは困難であり、複数のテンプレートを使い分けることが望ましい。しかし、充分かつ適切な量と質のテンプレートを最初から用意することは必ずしも容易ではない。

そこで本実施形態では、複数のテンプレートを用意する作業を容易にし且つテンプレート照合の精度を向上させるため、例えば図１２に示すように、探索結果が予め定めた規則性を満たさない場合（Ｓ２０８；Ｎｏ）または探索結果の類似度が予め定めた基準を満足しない場合（Ｓ２０９；Ｎｏ）に、新たなテンプレートを追加できるようにしている（Ｓ２１３）。

例えば、各探索結果の変位の位相が揃っていないと判断された場合、即ち探索が失敗した場合に、ユーザインターフェース画面を表示して、作業者が新たなテンプレートを追加できるようにする。また、各探索結果の変位の位相が揃っていると判断された場合でも、探索結果とテンプレートとの類似度が一定値を超えて小さくなっている場合、換言すれば相違度が一定値を超えて大きくなっている場合、電線以外のものを探索結果として返している可能性があり、新たなテンプレートが必要と考えられる。そこで、例えばユーザインターフェース画面を利用して類似度が一定値を超えて小さくなっている状況を通知し、作業者が新たなテンプレートを追加できるようにする。例えば類似度をグラフとして表示し、且つ類似度が一定値を超えて小さくなっている部分を色分け表示することで、新たなテンプレートが必要であることを作業者に示唆するようにする。上記のユーザインターフェース画面には、探索結果の変位の位相が揃っていない原画像または探索結果とテンプレートとの類似度が一定値未満である原画像を含めるようにし、作業者がマウス等のポインティングデバイスを用いて当該原画像中の電線部分を指定できるようにし、指定された電線部分を新たなテンプレートとして登録できるようにする。作業者は、ユーザインターフェース画面に表示された原画像中の電線部分を、新たなテンプレートとするか否か判断すれば良く、少ない労力で充分かつ適切な量と質のテンプレートを用意することができる。

ここで、探索が失敗した場合または探索結果の類似度が予め定めた基準を満足しない場合に、上記のユーザインターフェース画面より新たなテンプレートを直ちに追加しても良いが、一連の処理の後で追加するようにしても良い。例えば、探索が失敗した原画像または探索結果とテンプレートとの類似度が一定値未満である原画像を、対象画像を切り出すことなくログに記録しておく（Ｓ２１４）。そして、後続の原画像について対象画像の切り出し処理を終了させた後に、作業者が新たなテンプレートを追加して、ログに記録されている原画像について、対象画像の切り出し処理を再度行なうようにしても良い。

次に複数のテンプレートを使い分けて安定した電線探索を行う方法について述べる。例えば本実施形態では、複数のテンプレートのうち探索結果の類似度が最も高くなるテンプレートを選択するようにしている。例えば現時点で探索結果とされている領域と、用意されたすべてのテンプレートとの類似度を計算し、最も類似度が高いテンプレートを選択し、選択したテンプレートを現時点および次回からの原画像に対する処理に使用するようにする。但し、現時点における原画像の探索領域に対して、すべてのテンプレートを用いて探索を行い、類似度が最も高かった探索結果を採用すると共に、当該探索結果が得られたテンプレートを次回からの原画像に対する処理に使用するようにしても良い。或いは、現時点における原画像の探索領域に対して、複数のテンプレートを予め定めた順番で用いて探索を行い、探索結果の類似度が予め定めた基準を満足した最初のテンプレートを、現時点および次回からの原画像に対する処理に使用するようにしても良い。この場合、例えば登録時が最も新しいテンプレートから順番に用いるようにしても良く、または最近使用されたテンプレートから順番に用いるようにしても良く、あるいは使用頻度の最も高いテンプレートから順番に用いるようにしても良い。

次に、原画像から切り出した対象画像に対して、電線の実際の輪郭線を構成するエッジ画素を検出する。原画像から電線部分を切り出した対象画像の中で、エッジすなわち輪郭情報がはっきりと現れるものは電線のみであり、エッジ画素を検出することで、電線の領域を正確に抽出することができる。

例えば図７に示すような画像に対し、図中の矢印で示すように、電線横断方向である垂直方向の一方向、例えば図中の上方に向かう方向に、隣接する２画素間の輝度値の差分値を求め、当該差分値と垂直方向の座標位置との関係を表したものを図８に示す。図８に現れている差分値０から突出した点、換言すれば差分値が両隣にある双方の差分値のよりも大きいか又は小さい点（以下、ピークとも呼ぶ。）のうち、絶対値の大きなものが電線部分を示している。従って、電線部分を示すピークの両端を検出できれば、電線領域を正確に抽出できる。

ここで、差分値の絶対値が閾値を超えるピークを探し、当該ピークを構成する画素をエッジ画素と判断する方法もあるが、この場合、太陽の方向や天候などによって適切な閾値が変動するため、一定の閾値の下では正確なエッジ検出が行なえない。

そこで、本実施形態のエッジ検出処理では、例えば図１４に示すように、対象画像における各電線横断方向の画素列について、電線横断方向の一方向に向かい隣接する２画素間の色情報値の差分値を求めて行く（Ｓ３０６−５）。そして、図１５に示すように、当該差分値の絶対値が最大となる点を求め（Ｓ３０６−７−１）、この最大点から電線横断方向の両方向に向かって予め定めた範囲にあり且つ当該最大点から最も離れた、差分値０から突出した点を求め、各突出点を構成する画素をエッジ画素と判断するようにしている（Ｓ３０６−７−６，Ｓ３０６−７−１１）。

図８を拡大した図９を用いて上記の原理を説明する。図９の中で差分値の絶対値が最大となる点Ｐ１を探す。さらに、この最大点Ｐ１を中心として、予め定めた範囲Δｊにあり且つ当該最大点Ｐ１から最も離れたピークＰ２を探す。ここで、ピークＰ２を探す範囲Δｊは、例えば対象画像における電線の太さに基いて定めるようにする。例えば電線の太さは４０画素程度であるものとし、最大点Ｐ１を中心に±２０画素の範囲Δｊでそれぞれ最も外側にあるピークＰ２を探す。そして、ピークＰ２を構成する画素をエッジ画素とする。ここで、ピークＰ２はそれぞれ２つの画素により構成されるが、最大点Ｐ１に近い方をエッジ画素とする。これより２つのエッジ画素が得られる。当該２つのエッジ画素の一方を第１エッジ画素と呼び、他方を第２エッジ画素と呼ぶ。本実施形態では、対象画像における上側に位置するエッジ画素を第１エッジ画素とし、下側に位置するエッジ画素を第２エッジ画素としている。以上の処理を対象画像の垂直方向画素列のすべてについて行なう。

次に、上述の処理で検出されたエッジ画素に基づいて、電線が健全である場合の理想輪郭線を求める処理を行なう。例えば図１６に示すように、第１エッジ画素群および第２エッジ画素群から予め定めた基準を満足しない低信頼性画素を除き、残りの第１エッジ画素群および第２エッジ画素群をそれぞれ直線で近似して、２本の理想輪郭線を求めるようにする（Ｓ３０７−１〜Ｓ３０７−３）。

例えば本実施形態では、第１エッジ画素群および第２エッジ画素群についてそれぞれ以下の処理を行なうことにより、直線性を大きく損ねている低信頼性画素を除くようにしている。即ち、図１７に示すように、エッジ画素をそれぞれ着目画素とし、着目画素を中心として電線長手方向である水平方向に予め定めた範囲、例えば±１５画素にあるエッジ画素の電線横断方向である垂直方向の座標位置の平均を求める（Ｓ３０７−１−３，Ｓ３０７−１−５）。そして、垂直方向の座標位置が当該平均から大きく外れる着目画素としてのエッジ画素、即ち垂直方向の座標位置と当該平均との差の絶対値が予め定めた閾値以上となる着目画素としてのエッジ画素を低信頼性画素として除くようにする（Ｓ３０７−１−４，Ｓ３０７−１−６）。

また、対となる第１エッジ画素と第２エッジ画素の間隔が極端に狭い又は広いエッジ画素、換言すれば、水平方向の座標位置が同じである第１エッジ画素と第２エッジ画素との垂直方向の座標位置の差が予め定めた上限値以上または下限値以下となるエッジ画素を、低信頼性画素として除くようにする（Ｓ３０７−１−７，Ｓ３０７−１−８）。

低信頼性画素を除いたエッジ画素群に直線を当てはめる方法として、例えば本実施形態では最小自乗法を用いる。但し、直線近似の方法はこの例に限定されるものではない。低信頼性画素を除いた第１エッジ画素群および第２エッジ画素群に基づいて求められた直線を、それぞれ第１理想輪郭線および第２理想輪郭線と呼ぶ。

上記理想輪郭線を利用する形状異常検出処理（図１３のＳ３０８）では、理想輪郭線から電線横断方向である垂直方向に予め定めた距離を超えて離れたエッジ画素が、電線長手方向である水平方向に予め定めた数だけ連続した場合に、素線切れなどにより電線の形状に異常が生じている可能性があると判断するようにしている。例えば、理想輪郭線から１０画素以上離れたエッジ画素が２０画素の長さにわたって現れた場合に、素線切れなどの電線異常の可能性があると判断するようにしている。これは、電線の一部が切れて外側に跳ねてしまっている場合、理想輪郭線からある程度離れたところに、エッジ画素がある程度まとまって存在するようになることを利用している。そして、上述の処理によれば、理想輪郭線とエッジ画素との関係から素線切れなどに起因する電線の形状異常を検出することができ、作業者の労力を大幅に軽減することができる。

一方、色異常検出処理（図１３のＳ３０９）では、第１および第２理想輪郭線に挟まれる各電線横断方向の画素列の色情報値から当該電線横断方向における代表値を求め、色情報の閾値から外れる代表値が電線長手方向に予め定めた数だけ連続した場合に、素線切れやアーク痕もしくは傷などにより電線の色に異常が生じている可能性があると判断するようにしている。

例えば本実施形態では、第１および第２理想輪郭線に挟まれる各垂直方向の画素列の輝度値の平均値を当該垂直方向における代表値とする。但し、この例に限定されず、第１および第２理想輪郭線に挟まれる各垂直方向の画素列の輝度値の最頻値を当該垂直方向における代表値としても良い。

また、本実施形態では、上記の代表値と比較する色情報の閾値を、各対象画像ごとに算出するようにしている。例えば数式３に示すように、ある対象画像について求めた代表値の標準偏差にαを乗じた値を、当該対象画像について求めた代表値の平均値に加算し、その値を当該対象画像における上限の閾値とし、代表値の標準偏差にαを乗じた値を代表値の平均値から減算した値を下限の閾値とする。ここで、αは任意の係数である。αを０．５から１．５まで変化させたところ、特にα＝０．９のとき正確な電線異常の検出が行なえた。そこで、本実施形態ではα＝０．９に設定している。

＜数３＞
閾値＝代表値の平均値±α×代表値の標準偏差

そして、上限の閾値以上となる代表値が水平方向に２０画素以上連続した場合、または下限の閾値以下となる代表値が水平方向に２０画素以上連続した場合に、素線切れやアーク痕などの電線異常の可能性があると判断するようにしている。これは、電線にアーク痕や傷などがある場合、当該異常箇所は電線の正常箇所よりも黒っぽくなる若しくは白っぽくなることを利用している。そして、上述の処理によれば、理想輪郭線に囲まれた領域の色情報値の傾向からアーク痕や傷などに起因する電線の色の異常を自動で正確に検出することができ、作業者の労力を大幅に軽減することができる。また、理想輪郭線に囲まれた領域の色情報値を用いることで、電線ではない背景などの色情報値が含まれてしまうことを防ぎ、色異常検出を正確に行うことができる。

ここで、上記の色異常検出処理において、第１エッジ画素および第２エッジ画素に挟まれる各電線横断方向の画素列の輝度値の平均値を、当該電線横断方向における代表値とすることも考えられる。但し、この場合、電線の一部が外に跳ねている素線切れがある場合は、電線でない部分の輝度値、例えば背景の輝度値も平均値の計算に含まれてしまい、正確な色異常検出が行なえない。本実施形態のように、第１および第２理想輪郭線に挟まれる領域で輝度値の平均を求めて代表値とすることにより、電線でない部分の輝度値が平均値の計算に含まれることを防ぎ、正確な色異常検出を行なうことができる利点が得られる。

ここで、本実施形態の対象画像は空撮映像より得られるものであり、電線の異常箇所は数フレームに渡って現れる。そこで、本実施形態では、電線に異常が生じている可能性があると判断された対象画像が予め定めた数、例えば２フレーム以上連続した場合に、電線に異常が生じていると判断するようにしている。これにより、より信頼性の高い電線異常検出を行なえる。ただし、ヘリコプターの飛行速度が遅い場合等には、さらに多くの連続フレームに異常箇所が現れるので、より多くのフレーム数以上連続した場合に、電線に異常が生じていると判断するようにしても良い。

以上に説明した電線異常検出方法は、例えば周知のコンピュータを用いて、電線異常検出装置として装置化できる。この電線異常検出装置１０は、例えば図１０に示すように、電線が撮影された映像が入力される入力インターフェース１１と、原画像や対象画像等のデータが記録される外部記憶装置１２としてのハードディスクと、一時的な作業データ等が記録される主記憶装置１３としてのＲＡＭと、異常が検出された画像等が出力される出力装置１４と、中央処理演算装置（ＣＰＵ）１５等を備えている。上記のハードウェア資源は例えばバス１６を通じて電気的に接続されている。入力インターフェース１１は、例えばビデオカメラから入力される又は映像が記録されたＤＶＤ等の媒体から読み込まれる信号をコンピュータでの処理が可能なデータに変換する機能や、映像を構成する各フレームをそれぞれ画像データとして外部記憶装置１２に記録する機能を有する。このような入力インターフェース１１として、例えば既存のＮＴＳＣ−ＲＧＢコンバータやフレームグラバまたはパーソナルコンピュータ用画像取り込みボード等を利用して良い。出力装置１４は、例えばディスプレイであり、異常が検出された画像やユーザインターフェース画面などが表示される。また、外部記憶装置１２には本発明の電線点検用画像の作成方法が組み込まれている電線異常検出プログラムが記録されており、当該プログラムがＣＰＵ１５に読み込まれ実行されることによって、コンピュータが電線異常検出装置１０として機能する。

本実施形態の電線異常検出プログラムによって、電線異常検出装置１０が実行する処理の一例を、図１１〜図２２のフローチャートに沿って説明する。先ず前処理を行なう（図１１のＳ１）。図２２に、この前処理を詳細化したフローチャートを示す。ビデオカメラまたは映像が記録された媒体から、入力インターフェース１１を介して、外部記憶装置１２に画像データを読み込む（Ｓ１０１）。そして、外部記憶装置１２に記録した画像データを、例えば８ビットのグレースケール画像に変換する（Ｓ１０２）。これにより得た原画像に対し、ガウシアンフィルタをかけ、原画像からノイズ成分を除去する（Ｓ１０３）。これは、インパルスノイズのような突発的なノイズが画像に現れるとエッジ検出処理での差分計算の際に大きなピークを発生し、エッジの誤検出を引き起こしてしまうので、このような事態を避けるためである。以上で前処理を終了する。

前処理の終了後、対象画像の切り出し処理を行なう（図１１のＳ２）。図１２に対象画像の切り出し処理を詳細化したフローチャートを示す。この処理では、先ず、フレームカウンタｎに１をセットする（Ｓ２０１）。そして、テンプレートの登録処理を行なう（Ｓ２０２）。例えば図２５に示す画面を表示する。この画面では、作業者が「撮影」ボタン２１をマウス等のポインティングデバイスでクリックすると、ｎフレーム目すなわち１フレーム目の原画像をウィンドウ２２内に表示する。尚、符号４は電線の画像を示している。さらに作業者がポインティングデバイスで電線画像４上の点をクリックすると、クリックされた点を中心として予め定めた大きさの領域２３を表示する。そして、作業者が「追跡点確定」ボタン２４をポインティングデバイスでクリックすると、領域２３をテンプレートとして登録する。そして、領域２３の中心から水平方向に予め定めた範囲離れた位置、例えば左右に３０画素離れた位置で、テンプレートと類似した領域を垂直方向に自動探索し、その探索結果２８を図２６に示すように画面に表示する。３つの領域２８，２３，２８は最初の探索結果とし、各々の垂直方向座標位置を記録する。そして、作業者が「追跡開始」ボタン２５をポインティングデバイスでクリックすると、以下の電線位置の追跡処理を行なう。尚、既にテンプレートが登録されている場合には、上記のテンプレートの登録処理（Ｓ２０２）はスキップしても良い。

ｎフレーム目の原画像が存在する場合は（Ｓ２０３；Ｙｅｓ）、当該原画像を読み込む（Ｓ２０４）。ここで、１フレーム目の原画像については上記のテンプレートの登録の際に電線探索が行なわれているため、テンプレートの登録処理（Ｓ２０２）の中でフレームカウンタｎに１を加算しておいても良い。読み込んだ原画像に対して３つの探索領域を配置する（Ｓ２０５）。各探索領域は、該当する水平位置における前回の探索結果の垂直方向座標位置が中央に位置するように配置される。そして、各探索領域内でテンプレートと最も類似する領域を探索するテンプレート照合処理を行なう（Ｓ２０６）。図２７は、電線追跡を行なっている画面例を示す。符号３は探索領域を示し、符号２９は探索結果を示している。ここで、ウィンドウ２７内には例えば中央の探索結果とテンプレートとの相違度を各フレームで計算した結果の経時変化を示すグラフ３１を表示するようにしている。ウィンドウ２７内の直線３０は相違度の最小値を表す基準線であり、グラフ３１が基準線３０から上側に離れるほど相違度が高い、即ち類似度が低いことを示している。

各探索結果の垂直方向座標位置を求め（Ｓ２０７）、記録されている過去の探索結果の垂直方向座標位置を用いて、例えば数式２に基づき、各探索結果の変位の位相が揃っているかを判断する（Ｓ２０８）。各探索結果の変位の位相が揃っており（Ｓ２０８；Ｙｅｓ）、且つ各探索結果の類似度が定めた基準を満足する場合（Ｓ２０９；Ｙｅｓ）、原画像から各探索結果を少なくとも含む画像を切り出し、ｎ番目の対象画像として外部記憶装置１２に記録する（Ｓ２１０）。そして、次回の探索領域の配置のため及び各探索結果の変位の位相が揃っているかの判断のために、各探索結果の垂直方向座標位置を記録する（Ｓ２１１）。そして、フレームカウンタｎに１を加算し（Ｓ２１２）、次フレームであるｎフレーム目の原画像について、Ｓ２０３以下の処理を繰り返す。

一方、各探索結果の変位の位相が揃っていないか（Ｓ２０８；Ｎｏ）、または各探索結果の類似度が定めた基準を満足しない場合（Ｓ２０９；Ｎｏ）、作業者はテンプレートを追加できる（Ｓ２１３）。例えば図２８に示す画面は、電線の背景が変化し照明条件が変化したために電線の見た目が変わり、探索結果の類似度が定めた基準を満足しなくなった例を示している。グラフ３１ａは基準線３０から大きく離れ、相違度が高いことを示している。例えば当該画面を一定時間表示して、新たなテンプレートが必要であることを作業者に示唆するようにする。作業者は、画面に表示された「基準データの追加」ボタン２６をポインティングデバイスでクリックし、ウィンドウ２２内の電線画像４上の点をクリックすることで、新たなテンプレートを追加できる。テンプレートが追加されると（Ｓ２１３；Ｙｅｓ）、当該追加されたテンプレートを利用したテンプレート照合処理を行なう（Ｓ２０６）。図２８中のグラフ３１ｂはテンプレートの追加により相違度が小さくなった様子を示している。

作業者によりテンプレートが追加されない場合は（Ｓ２１３；Ｎｏ）、当該原画像をログに記録する（Ｓ２１４）。ログは例えば外部記憶装置１２に設けられた記録領域である。そして、フレームカウンタｎに１を加算し（Ｓ２１２）、次フレームであるｎフレーム目の原画像について、Ｓ２０３以下の処理を繰り返す。

すべての原画像について以上の処理を行なうと（Ｓ２０３；Ｎｏ）、対象画象の切り出し処理を終了し、電線異常検出処理を行なう（図１１のＳ３）。図１３に電線異常検出処理を詳細化したフローチャートを示す。この処理では、画像カウンタｋに１をセットし（Ｓ３０１）、形状異常カウンタｚに０をセットし（Ｓ３０２）、色異常カウンタｑに０をセットする（Ｓ３０３）。そして、ｋ番目の対象画像が存在する場合は（Ｓ３０４；Ｙｅｓ）、当該対象画像を読み込み（Ｓ３０５）、読み込んだ対象画像について、エッジ検出処理（Ｓ３０６）、理想輪郭線推定処理（Ｓ３０７）、形状異常検出処理（Ｓ３０８）、色異常検出処理（Ｓ３０９）を行なう。これらの処理の終了後、画像カウンタｋに１を加算し、次フレームにあたるｋ番目の対象画像について、Ｓ３０４以下の処理を繰り返す。すべての対象画像について以上の処理を行なうと（Ｓ３０４；Ｎｏ）、電線異常検出処理を終了する。

図１４にエッジ検出処理を詳細化したフローチャートを示す。この処理では、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０６−１）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０６−２）。水平画素番号ｉがi_max以下であれば（Ｓ３０６−２；Ｙｅｓ）、電線横断方向である垂直方向の画素番号ｊに１をセットする（Ｓ３０６−３）。そして、垂直画素番号ｊの値が、対象画像の垂直方向画素数j_maxから１を減算した値を超えていないか判断する（Ｓ３０６−４）。垂直画素番号ｊがj_max−１以下であれば（Ｓ３０６−４；Ｙｅｓ）、座標（ｉ，ｊ）にある画素の輝度値と座標（ｉ，ｊ＋１）にある画素の輝度値との差を求め、差分値（ｊ）として記録する（Ｓ３０６−５）。そして、垂直画素番号ｊに１を加算し（Ｓ３０６−６）、Ｓ３０６−４以下の処理を繰り返す。垂直画素番号ｊの値が、j_max−１を超えると（Ｓ３０６−４；Ｎｏ）、水平画素番号ｉにおける垂直方向画素列の隣接する２画素間の輝度値の差分値はすべて求められたこととなり、次にエッジ画素の検索処理を行なう（Ｓ３０６−７）。

図１５にエッジ画素の検索処理を詳細化したフローチャートを示す。当該処理では、記録された差分値の中から絶対値が最大となる差分値（ｊ’）を求め、差分値（ｊ’）に対応する垂直画素番号ｊ’を求める（Ｓ３０６−７−１）。そして、ｊ’にΔｊとして例えば２０を加えた値をＪとする（Ｓ３０６−７−２）。そして、垂直画素番号Ｊに対応する差分値（Ｊ）がピークを構成するか否か判断する。具体的には、差分値（Ｊ）＞０であり且つ差分値（Ｊ）＞差分値（Ｊ−１）であり且つ差分値（Ｊ）＞差分値（Ｊ＋１）であるか（Ｓ３０６−７−３）、若しくは、差分値（Ｊ）＜０であり且つ差分値（Ｊ）＜差分値（Ｊ−１）であり且つ差分値（Ｊ）＜差分値（Ｊ＋１）であるか（Ｓ３０６−７−４）、を判断する。差分値（Ｊ）がピークを構成する場合には（Ｓ３０６−７−３；ＹｅｓまたはＳ３０６−７−４；Ｙｅｓ）、座標（ｉ，Ｊ）にある画素を第１エッジ画素として記録する（Ｓ３０６−７−６）。差分値（Ｊ）がピークを構成しない場合には（Ｓ３０６−７−３；ＮｏかつＳ３０６−７−４；Ｎｏ）、垂直画素番号Ｊから１を減じ（Ｓ３０６−７−５）、Ｊを中心となる垂直画素番号ｊ’に１画素近づけて、当該垂直画素番号Ｊに対応する差分値（Ｊ）がピークを構成するか否か再び検討する。同様に、ｊ’からΔｊとして２０を減じた値をＪ’とし（Ｓ３０６−７−７）、垂直画素番号Ｊ’に対応する差分値（Ｊ’）がピークを構成するか否か判断し（Ｓ３０６−７−８，Ｓ３０６−７−９）、ピークを構成する場合は座標（ｉ，Ｊ’）にある画素を第２エッジ画素として記録し（Ｓ３０６−７−１１）、ピークを構成しない場合は垂直画素番号Ｊ’に１を加算し（Ｓ３０６−７−１０）、Ｊ’を中心となる垂直画素番号ｊ’に１画素近づけて、差分値（Ｊ’）がピークを構成するか否か再び判断する。以上により、差分値が最大となる点ｊ’から定めた範囲±Δｊにあり且つ当該最大点ｊ’から最も離れたピークを構成する画素、即ちエッジ画素が求められる。

水平画素番号ｉについて第１エッジ画素および第２エッジ画素が求められると、図１４の処理に戻り、水平画素番号ｉに１を加算し（Ｓ３０６−８）、当該水平画素番号ｉについてＳ３０６−２以下の処理を繰り返す。以上により、対象画像を構成する各垂直画素列ごとに、換言すれば各水平画素番号ごとに、第１エッジ画素および第２エッジ画素が求められる。水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えると（Ｓ３０６−２；Ｎｏ）、当該対象画像におけるエッジ検出処理を終了する。

エッジ検出処理を終了すると、理想輪郭線推定処理（Ｓ３０７）を行なう。図１６に理想輪郭線推定処理を詳細化したフローチャートを示す。この処理では、先ず除去候補画素の検索処理を行なう（Ｓ３０７−１）。更にこの処理では、図１７に詳細を示すように、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０７−１−１）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０７−１−２）。水平画素番号ｉがi_max以下であれば（Ｓ３０７−１−２；Ｙｅｓ）、水平画素番号ｉ−Δｉ〜ｉ＋Δｉにおいて存在する第１エッジ画素について、電線横断方向である垂直方向の座標位置の平均値を求め、Ave1とする（Ｓ３０７−１−３）。尚、Δｉは例えば１５とする。そして、水平画素番号ｉの第１エッジ画素の垂直方向の座標位置と上記平均値Ave1との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する（Ｓ３０７−１−４）。同様に、水平画素番号ｉ−Δｉ〜ｉ＋Δｉにおいて存在する第２エッジ画素について、垂直方向の座標位置の平均値を求めてAve2とし（Ｓ３０７−１−５）、水平画素番号ｉの第２エッジ画素の垂直方向の座標位置と上記平均値Ave2との差の絶対値が、予め定めた閾値以上となるエッジ画素を除去候補画素として記録する（Ｓ３０７−１−６）。さらに、水平画素番号ｉにおける第１エッジ画素と第２エッジ画素の垂直方向の位置の差を求め、ΔＤとする（Ｓ３０７−１−７）。ΔＤが予め定めた上限値以上または下限値以下となる場合、当該水平画素番号ｉにおける第１エッジ画素と第２エッジ画素を除去候補画素として記録する（Ｓ３０７−１−８）。そして、水平画素番号ｉに１を加算し（Ｓ３０７−１−９）、当該水平画素番号ｉについてＳ３０７−１−２以下の処理を繰り返す。以上により、垂直方向の座標位置が±１５画素の範囲にある周囲のエッジ画素の平均から大きく外れるエッジ画素や、対となる第１エッジ画素と第２エッジ画素の間隔が極端に狭い又は広いエッジ画素が、除去候補画素として記録される。水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えると（Ｓ３０７−１−２；Ｎｏ）、当該対象画像における除去候補画素の検索処理を終了する。

除去候補画素が求められると、図１６の処理に戻り、第１エッジ画素群から、除去候補画素すなわちエッジの直線性を損ねる低信頼性画素を除いた残りの画素を用いて、最小自乗法により、第１輪郭線を作成する（Ｓ３０７−２）。同様に、第２エッジ画素群から除去候補画素を除いた残りの画素を用いて、最小自乗法により第２輪郭線を作成する（Ｓ３０７−３）。これにより、当該対象画像における理想輪郭線推定処理を終了し、当該対象画像について形状異常検出処理（Ｓ３０８）および色異常検出処理（Ｓ３０９）を行なう。

図１８および図１９に形状異常検出処理を詳細化したフローチャートを示す。この処理では、カウンタｗ，ｗ’に０をセットし（Ｓ３０８−１，Ｓ３０８−２）、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０８−３）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０８−４）。水平画素番号ｉがi_max以下であれば（Ｓ３０８−４；Ｙｅｓ）、水平画素番号ｉにおける第１エッジ画素と水平画素番号ｉにおける第１輪郭線上の点との電線横断方向である垂直方向の座標位置の差を求め、ΔＨ１とする（Ｓ３０８−５）。同様に、水平画素番号ｉにおける第２エッジ画素と水平画素番号ｉにおける第２輪郭線上の点との垂直方向の座標位置の差を求め、ΔＨ２とする（Ｓ３０８−６）。そして、ΔＨ１の絶対値およびΔＨ２の絶対値が、予め定めた値H_max以上であるか判断する（Ｓ３０８−７，Ｓ３０８−９）。H_maxは例えば１０とする。ΔＨ１がH_max以上である場合はカウンタｗに１を加算し（Ｓ３０８−８）、ΔＨ２がH_max以上である場合はカウンタｗ’に１を加算する（Ｓ３０８−１０）。そして、カウンタｗまたはカウンタｗ’の値が予め定めた値w_max以上であるか判断する（Ｓ３０８−１１）。w_maxは例えば２０とする。カウンタｗ，ｗ’の双方がw_maxに満たなければ（Ｓ３０８−１１；Ｎｏ）、水平画素番号ｉに１を加算し（Ｓ３０８−１３）、当該水平画素番号ｉについてＳ３０８−４以下の処理を繰り返す。一方、ΔＨ１とΔＨ２の双方がH_maxに満たない場合は、カウンタｗ，ｗ’に０をセットし（Ｓ３０８−１２）、水平画素番号ｉに１を加算し（Ｓ３０８−１３）、当該水平画素番号ｉについてＳ３０８−４以下の処理を繰り返す。

カウンタｗ，ｗ’の少なくとも一方がw_max以上となる場合は（Ｓ３０８−１１；Ｙｅｓ）、理想輪郭線から１０画素以上離れたエッジ画素が２０画素連続して現れたこととなるので、当該対象画像を形状異常候補画像として記録する（Ｓ３０８−１４）。そして、形状異常カウンタｚに１を加算し（Ｓ３０８−１５）、当該カウンタｚが予め定めた値z_max以上であるか判断する（Ｓ３０８−１６）。z_maxは例えば２とする。形状異常カウンタｚがz_maxに満たなければ（Ｓ３０８−１６；Ｎｏ）、当該対象画像についての形状異常検出処理を終了する。一方、形状異常カウンタｚがz_max以上である場合（Ｓ３０８−１６；Ｙｅｓ）、z_maxを２とした場合には形状異常候補画像が２フレーム以上連続したこととなるので、これらの形状異常候補画像をログに記録する（Ｓ３０８−１７）。そして、形状異常カウンタｚを０にリセットし（Ｓ３０８−１８）、当該対象画像についての形状異常検出処理を終了する。他方、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えるまで処理された場合は（Ｓ３０８−４；Ｎｏ）、理想輪郭線から１０画素以上離れたエッジ画素が２０画素連続して現れることの無かった場合であり、形状異常カウンタｚを０にリセットし（Ｓ３０８−１８）、当該対象画像についての形状異常検出処理を終了する。

図４は素線切れを起こしている電線が撮影された画像を示す。図４の画像に対し、上記のエッジ検出処理を行なった結果を図２に示す。また、図２に示すエッジ画素の中から上記の理想輪郭線推定処理によって低信頼性画素を特定し、当該低信頼性画素を除いた残りのエッジ画素に基づいて理想輪郭線を求めた結果を図３に示す。そして、図２のエッジ画素と図３の理想輪郭線とを重ねて表示した結果を図１に示す。尚、図中の符号４０は第１エッジ画素を示し、符号４１は第２エッジ画素を示し、符号４２は第１理想輪郭線を示し、符号４３は第２理想輪郭線を示す。図１には、理想輪郭線から１０画素以上離れたエッジ画素が２０画素以上連続して現れる様子が示されており、上記の形状異常検出処理によって素線切れを起こしている電線を正確に検出できることが確認できる。

次に、図２０および図２１に色異常検出処理を詳細化したフローチャートを示す。この処理では、カウンタｕ，ｕ’に０をセットし（Ｓ３０９−１，Ｓ３０９−２）、電線長手方向である水平方向の画素番号ｉに１をセットする（Ｓ３０９−３）。そして、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えていないか判断する（Ｓ３０９−４）。水平画素番号ｉがi_max以下であれば（Ｓ３０９−４；Ｙｅｓ）、水平画素番号ｉにおいて第１輪郭線と第２輪郭線との間に位置する画素の輝度値の平均値を求め、当該平均値を代表値Val（ｉ）とする（Ｓ３０９−５）。そして、水平画素番号ｉに１を加算し（Ｓ３０９−６）、当該水平画素番号ｉについてＳ３０９−４以下の処理を繰り返す。これにより、各水平画素番号ｉについて代表値Val（ｉ）が求められる。水平画素番号ｉがi_maxを超えると（Ｓ３０９−４；Ｎｏ）、求めた代表値Val（１）〜Val（i_max）を用いて数式３により上限の閾値Val’と下限の閾値Val”を求める（Ｓ３０９−７）。

そして、再び水平画素番号ｉに１をセットし（Ｓ３０９−８）、水平画素番号ｉがi_max以下であるか判断する（Ｓ３０９−９）。水平画素番号ｉがi_max以下であれば、当該画素番号ｉに対応する代表値Val（ｉ）が上限値Val’以上であるか又は下限値Val’以下であるか判断する（Ｓ３０９−１０，Ｓ３０９−１２）。代表値Val（ｉ）が上限値Val’以上である場合はカウンタｕに１を加算し（Ｓ３０９−１１）、代表値Val（ｉ）が下限値Val”以下である場合はカウンタｕ’に１を加算する（Ｓ３０９−１３）。そして、カウンタｕまたはカウンタｕ’の値が予め定めた値u_max以上であるか判断する（Ｓ３０９−１４）。u_maxは例えば２０とする。カウンタｕ，ｕ’の双方がu_maxに満たなければ（Ｓ３０９−１４；Ｎｏ）、水平画素番号ｉに１を加算し（Ｓ３０９−１６）、当該水平画素番号ｉについてＳ３０９−９以下の処理を繰り返す。一方、代表値Val（ｉ）が上限値Val’以上でなく且つ下限値Val”以下でない場合は、カウンタｕ，ｕ’に０をセットし（Ｓ３０９−１５）、水平画素番号ｉに１を加算し（Ｓ３０９−１６）、当該水平画素番号ｉについてＳ３０９−９以下の処理を繰り返す。

カウンタｕ，ｕ’の少なくとも一方がu_max以上となる場合は（Ｓ３０９−１４；Ｙｅｓ）、上限値Val’以上または下限値Val”以下となる代表値Val（ｉ）が２０画素連続して現れたこととなるので、当該対象画像を色異常候補画像として記録する（Ｓ３０９−１７）。そして、色異常カウンタｑに１を加算し（Ｓ３０９−１８）、当該カウンタｑが予め定めた値q_max以上であるか判断する（Ｓ３０９−１９）。q_maxは例えば２とする。色異常カウンタｑがq_maxに満たなければ（Ｓ３０９−１９；Ｎｏ）、当該対象画像についての色異常検出処理を終了する。一方、色異常カウンタｑがq_max以上である場合（Ｓ３０９−１９；Ｙｅｓ）、q_maxを２とした場合には色異常候補画像が２フレーム以上連続したこととなるので、これらの色異常候補画像をログに記録する（Ｓ３０９−２０）。そして、色異常カウンタｑを０にリセットし（Ｓ３０９−２１）、当該対象画像についての色異常検出処理を終了する。他方、水平画素番号ｉの値が対象画像の水平方向画素数i_maxを超えるまで処理された場合は（Ｓ３０９−９；Ｎｏ）、上限値Val’以上または下限値Val”以下となる代表値Val（ｉ）が２０画素連続して現れることの無かった場合であり、色異常カウンタｑを０にリセットし（Ｓ３０９−２１）、当該対象画像についての色異常検出処理を終了する。

図６はアーク痕がある電線が撮影された画像を示す。図６の画像に対し、上記の色異常検出処理を行なった結果を図５に示す。尚、図中の符号４４は各水平画素番号における代表値を示し、符号５５は下限の閾値を示す。図５には、下限の閾値以下となる代表値が２０画素以上連続して現れる様子が示されており、上記の色異常検出処理によってアーク痕がある電線を正確に検出できることが確認できる。

電線異常検出処理を終了すると、ログに記録された異常画像の出力処理を行なう（図１１のＳ４）。当該処理では、対象画像が切り出せなかった原画像や、電線の形状や色に異常があると判断された対象画像が、出力装置１４に表示される。作業者は出力装置１４に表示された画像を見て、問題の有無を目視により判定できる。例えば本実施形態の色異常検出処理では、電線にしみ等がある場合にも異常ありと判断する可能性があるが、単なるしみであるかアーク痕であるかの判断は、最終的に作業者が行なうようにしている。尚、作業者が見易いように、静止画像をアルバム状に整理して表示するようにしても良い。また、ログに記録された画像のフレーム番号等に基いて、実際のビデオ映像を出力装置１４に表示するようにしても良い。

本発明の電線点検用画像の作成方法によれば、限定された探索領域内でテンプレート照合を行い、かつ３箇所以上の探索結果が一定の規則性を満たすか判断することで、高速且つ効率的に電線の探索を行うことができるので、原画像から電線部分の領域を切り出す処理である電線点検用画像の作成を高速且つ効率的に行うことが可能になる。そして、本発明の電線点検用画像の作成方法が組み込まれた画像処理による電線異常検出方法および装置およびプログラムによれば、作業者は電線の空撮映像を最初からすべて目視点検する必要は無く、電線異常検出装置１０が提示する一部の画像や映像について確認すれば良く、作業者の労力が大幅に軽減される。さらに、ビデオカメラを電線異常検出装置１０に接続して、ビデオカメラより得られる映像をリアルタイムで処理することで、ヘリコプターで巡視している現場で電線の異常箇所の検出まで行うことも可能となり、作業に関わる人的資源や設備資源を縮小し全体のコストを大幅に低減することが可能になる。

なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上述の実施形態ではグレースケール画像を原画像として各処理を行なったが、カラー画像を原画像として各処理を行なっても良い。例えば原画像がグレースケール画像である場合、対象画像の切り出し処理において、山の稜線などを変位の位相が揃っている探索結果として判断してしまう場合があるが、原画像をカラー画像とし、輝度値に加えて色相値も用いたテンプレート照合を行なうことで、そのような失敗を回避できる。

また、エッジ検出処理は必ずしも上述の実施形態の例には限定されず、従来のエッジ検出方法を採用しても良い。また、更なる処理の高速化を図るために、図１１から図２２に示した処理の一部又は全部をハードウェア化しても良い。特にエッジ検出処理の部分は、汎用的な手法であるため、市販の画像処理ボードとの親和性も良く、ハードウェア化が容易である。ハードウェア化によって、ビデオレートでの処理も期待できる。

また、閾値などの各パラメータ、例えばエッジ検出処理においてピークを探す範囲Δｊ、形状異常を判断するエッジ画素と理想輪郭線との距離の基準H_max、色異常を判断する閾値の係数α、連続する異常候補画素の基準w_max，u_max、連続する異常候補画像の基準ｚ，ｑなどは、撮影条件などに合わせて適宜調節してよい。

また、対象画像の切り出し処理において、原画像に何ら電線に類似する物が無い場合、画面の最上部もしくは最下部に探索結果が張り付き、探索結果の変位の位相が揃っていると判断してしまう場合がある。このため、探索結果が画面の上端または下端に張り付いた場合には、探索失敗と判断するという条件分岐を入れるようにしても良い。この場合、例えばそれぞれの探索結果の変位の一定期間での標準偏差を計算し、当該標準偏差が一定値を下回る場合に張り付きが起こっていると判定しても良い。

また、上述の実施形態では、対象画像の切り出し処理において電線探索が失敗した場合にテンプレートを追加できるようにしたが、電線探索が失敗した場合に探索領域の大きさを拡大して再度探索を行うようにしても良い。また、上述の実施形態では、対象画像の切り出し処理における探索領域を３箇所としたが、計算機の性能と処理時間の制限に余裕がある場合などには、探索領域の数を更に増やしても良い。例えば５箇所以上での電線探索を行うようにし、これらの探索結果の中から直線性を満足する３箇所以上の探索結果を選択するようにしても良い。

また、上述の実施形態では、原画像から切り出した対象画像に対して電線異常検出処理を行なったが、場合によっては原画像をそのまま対象画像として、電線異常検出処理を行なっても良い。また、上述の切り出し処理で得られた対象画像を、形状異常検出処理や色異常検出処理以外の電線点検用の画像処理に用いても良い。

本発明の電線点検用画像の作成方法が組み込まれている電線異常検出方法の原理を説明するグラフであり、電線のエッジ画素と理想輪郭線を重ねて表示したものである。グラフの縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。電線のエッジ画素を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。電線の理想輪郭線を表示したグラフであり、縦軸は垂直画素番号を示し、横軸は水平画素番号を示す。図１〜図３の元となる画像を示し、素線切れを起こしている電線の画像を示している。本発明の電線点検用画像の作成方法が組み込まれている電線異常検出方法の原理を説明するグラフであり、電線の色情報値の代表値と閾値とを表示したものである。グラフの縦軸は輝度値を示し、横軸は水平画素番号を示す。図５の元となる画像を示し、アーク痕がある電線の画像を示している。エッジ検出の原理を説明するための電線の画像を示す。図７の矢印で示す垂直方向上方に、隣接する２画素間の輝度値の差分値を求めた結果を示すグラフである。グラフの縦軸は差分値を求めた下側画素の垂直画素番号を示し、横軸は差分値の大きさを示す。図８の一部を拡大したものである。本発明の電線点検用画像の作成方法が組み込まれている電線異常検出装置の実施の一形態を示す概略構成図である。本発明の電線点検用画像の作成方法が組み込まれている電線異常検出方法及び装置及びプラグラムの実行により行なわれる処理の一例を示すフローチャートである。図１１の対象画象の切り出し処理を詳細化した処理であって本発明の電線点検用画像の作成方法の一例を示すフローチャートである。図１１の電線異常検出処理を詳細化した処理の一例を示すフローチャートである。図１３のエッジ検出処理を詳細化した処理の一例を示すフローチャートである。図１４のエッジ画素の検索処理を詳細化した処理の一例を示すフローチャートである。図１３の理想輪郭線推定処理を詳細化した処理の一例を示すフローチャートである。図１６の除去候補画素の検索処理を詳細化した処理の一例を示すフローチャートである。図１３の形状異常検出処理を詳細化した処理の一例を示し、処理の前半部分を示すフローチャートである。図１８の後半部分を示すフローチャートである。図１３の色異常検出処理を詳細化した処理の一例を示し、処理の前半部分を示すフローチャートである。図２０の後半部分を示すフローチャートである。図１１の前処理を詳細化した処理の一例を示すフローチャートである。本発明の電線点検用画像の作成方法において電線を探索する原理を説明する概念図である。本発明の電線点検用画像の作成方法において電線を探索する原理を説明する概念図である。本発明の電線点検用画像の作成方法が組み込まれている電線異常検出装置が表示する画面の例を示す図である。本発明の電線点検用画像の作成方法が組み込まれている電線異常検出装置が表示する画面の他の例を示す図である。本発明の電線点検用画像の作成方法が組み込まれている電線異常検出装置が表示する画面の他の例を示す図である。本発明の電線点検用画像の作成方法が組み込まれている電線異常検出装置が表示する画面の他の例を示す図である。（Ａ）は従来技術により電線領域を抽出する原理を説明する概念図であり、（Ｂ）および（Ｃ）は同方法を用いた場合の問題点を示す概念図である。

符号の説明

１原画像
２テンプレート
３探索領域
４電線
１０電線異常検出装置
２９探索結果

Claims

電線が撮影された原画像の水平方向と垂直方向とのうち前記原画像内の前記電線の方向に沿う方を電線長手方向とし、水平方向範囲および垂直方向範囲が予め定められた探索領域を前記原画像の前記電線長手方向に３箇所以上分布させるとともに、探索対象である電線の画像をテンプレートとして予め与え、該テンプレートと最も類似する領域を前記各探索領域内で探索し、前記各探索領域についての探索結果が予め定めた規則性を満たすか否かを判断し、当該規則性を満たす探索結果を少なくとも含む画像を前記原画像から切り出して電線点検用画像とすることを特徴とする電線点検用画像の作成方法。
前記探索結果が予め定めた前記規則性を満たさない場合または前記探索結果の類似度が予め定めた基準を満足しない場合に新たなテンプレートを追加するようにしたことを特徴とする請求項１記載の電線点検用画像の作成方法。
複数の前記テンプレートのうち前記探索結果の類似度が最も高くなる前記テンプレートを選択するようにしたことを特徴とする請求項１または２記載の電線点検用画像の作成方法。