JP7010783B2 - 画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Description

本発明の実施形態は画像処理装置、画像処理システム、画像処理方法及びプログラムに関する。

画像から構造物を抽出する技術が従来から知られている。例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）と条件付き確率場（ＣＲＦ：Ｃｏｎｄｉｔｉｏｎａｌ ｒａｎｄｏｍ ｆｉｅｌｄ）とを組み合わせることで、画像から構造物を抽出する際の抽出精度が向上することが知られている。

ＳＥＭＡＮＴＩＣ ＩＭＡＧＥ ＳＥＧＭＥＮＴＡＴＩＯＮ ＷＩＴＨ ＤＥＥＰ ＣＯＮＶＯＬＵＴＩＯＮＡＬ ＮＥＴＳ ＡＮＤ ＦＵＬＬＹ ＣＯＮＮＥＣＴＥＤ ＣＲＦＳ（ＩＣＬＲ ２０１５）

しかしながら、従来の技術では、画像から構造物を抽出する際の抽出精度をより向上させることが難しかった。

実施形態の画像処理装置は、尤度算出部と分離度算出部と変換部と合成部とを備える。尤度算出部は、対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。分離度算出部は、前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する。変換部は、前記分離度が第１閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する。前記尤度算出部は、前記新たな対象画像が生成される度に、前記新たな対象画像に対して前記尤度を算出する。前記分離度算出部は、前記新たな対象画像に対する前記尤度が算出される度に、前記分離度を算出する。合成部は、前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する。

第１実施形態の画像処理装置の機能構成の例を示す図。 第１実施形態の画像処理方法の例を示す図。 第２実施形態の対象画像の変換処理及び算出処理の例を示す図。 第２実施形態の尤度の合成処理の例を示す図。 第２実施形態の変形例３の算出処理の例を示す図。 第３実施形態の画像処理装置の機能構成の例を示す図。 第４実施形態の画像処理装置の機能構成の例を示す図。 第４実施形態の表示情報の例を示す図。 第４実施形態の算出領域の選択操作の例を示す図。 第４実施形態の更新された表示情報の例を示す図。 第４実施形態の尤度の選択操作の例を示す図。 第４実施形態の尤度の合成操作の例を示す図。 第５実施形態のオートエンコーダ構造の概要を示す図。 第５実施形態のオートエンコーダの例１を示す図。 第５実施形態のオートエンコーダの例２を示す図。 図１２のオートエンコーダの処理の関係を示す図。 第６実施形態の画像処理システムの機能構成の例を示す図。 第１乃至第５実施形態の画像処理装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、画像処理装置、画像処理システム、画像処理方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の画像処理装置１０の機能構成の例について説明する。

［機能構成の例］
図１は第１実施形態の画像処理装置１０の機能構成の例を示す図である。第１実施形態の画像処理装置１０は、変換部１、尤度算出部２、分離度算出部３及び合成部４を備える。

＜処理の概要＞
まず、変換部１が、構造物を示す領域を含む画像の入力を受け付ける。画像のデータ形式は任意でよい。例えば、画像のデータ形式は、ＲＧＢ画像、デプス画像、ローデータ及び点群データ等である。また、画像の取得方法は任意でよい。例えば、画像は、単眼カメラ、複眼カメラ、レーザー、及び、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）等を、１つ又は組合せて取得されてもよい。具体的には、例えば、単眼カメラの開口部に２色で２分割されたフィルタを配置することで、光線変化とぼけの形状とから距離を算出するカラー開口によって、ＲＧＢ画像とデプス画像とを同時に取得してもよい。また例えば、ステレオカメラで、ＲＧＢ画像とデプス画像とを同時に取得してもよい。また例えば、単眼カメラからＲＧＢ画像を取得し、カメラの近傍位置からレーザーによって点群データを取得し、データのいずれかをキャリブレーションによって補正して、画像を取得してもよい。

変換部１は、構造物を示す領域を含む画像を受け付けると、当該画像を変換することにより、処理対象の画像（以下、「対象画像」という。）を生成する。画像の変換処理は、例えば幾何変換及びダイナミックレンジ変換等である。幾何変換は、例えば画像の拡大、縮小、回転及び平行移動等である。

次に、尤度算出部２が、対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。尤度の算出処理の詳細は後述する。

次に、分離度算出部３が、尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出する。分離度の算出処理の詳細は後述する。対象画像の分離度が所定の閾値（第１閾値）よりも小さい場合、上述の変換部１が、分離度に基づいて対象画像を変換する。なお、変換部１の変換処理の実行回数が所定の回数に達した場合には、分離度算出部３へ終了フラグを送信する。分離度算出部３は、分離度が所定の閾値以上となった場合、または、変換部１から終了フラグを受け付けた場合は、対象画像毎に算出された尤度を合成部４に入力する。

次に、合成部４が、対象画像毎に算出された尤度を合成することにより、合成尤度を生成する。合成処理の詳細は後述する。

以下に、各機能ブロックの処理の詳細について説明する。

＜変換部の処理＞
変換部１は、例えばダイナミックレンジ変換を行う。ダイナミックレンジ変換を行うことにより、対象画像に含まれる構造物を示す領域と、当該対象画像に含まれる構造物以外を示す領域との分離度を上げることができる。具体的には、変換部１は、対象画像の階調値ｆ（ｘ，ｙ）に対し変換処理を行い、変換後の画像の階調値ｇ（ｘ，ｙ）を生成する。下記数式（１）に、対象画像の最小階調をｆ_ｍｉｎ、最大階調をｆ_ｍａｘとした時のダイナミックレンジ変換を示す。Ｔは変換処理を示す。

変換処理Ｔの一例として、シグモイド関数を用いた場合について述べる。シグモイド関数を用いたダイナミックレンジ変換を数式（２）に示す。

ここで、ａはゲイン、ｈはシグモイド関数の中間値を示す。変換部１は、分離度が所定の閾値よりも小さい場合には、繰り返し変換処理を行う。その際、変換部１は、繰り返し回数に応じて分離度を上げるため、ゲインを数式（３）のように変更する。

ここでＣ_ａは所定の定数とする。さらに、変換部１は、ｉ回目とｉ＋１回目とで分離度が変わらない場合には、中間値を数式（４）のように変更する。

ここでＣ_ｈは所定の定数とする。上述のゲインと、上述の中間値とを変えて、繰り返し変換処理が行われることで、適切な階調での分離を行うことができる。変換部１は、上述のゲインと、上述の中間値の全範囲での変換処理を終えた場合、分離度算出部３へ終了フラグを送信する。以上が、変換部１の処理である。

なお、上述の変換処理Ｔは、シグモイド関数に限らず、線形変換及びガンマ変換等でもよい。

＜尤度算出部の処理＞
尤度算出部２は、対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。具体的には、構造物を示す領域であることを示すクラスｉの尤度ｐ_ｉは数式（５）によって算出される。

ここで、ｎはクラス数を示す。ｙ_ｉは、対象画像から構造物を示す領域を抽出する処理の機械学習の結果（出力値）を示し、クラス数に対応するｎ個の成分を有する。なお、画像処理装置１０が、学習部を備える場合については、第３実施形態で説明する。第１実施形態では、尤度は、ｐ^ｍｉｎからｐ^ｍａｘの連続値で示す値とし、値が大きいほど、当該領域が構造物を示す可能性が高いことを示す。

＜分離度算出部の処理＞
分離度算出部３は、尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出する。具体的には、分離度算出部３は、例えば尤度のヒストグラムを算出し、当該ヒストグラムを元に判別分析法を使用して、各クラスの最大分離度を算出する。

一例として、２クラス（例えば、構造物Ａを示す領域に対応するクラス｜構造物Ａを示さない領域に対応するクラス）の分離度を算出する方法について説明する。まず、分離度算出部３は、各クラスの画素数をＮ_ｉ、平均をμ_ｉ、分散をσ_ｉとしたとき、数式（６）によりクラス内分散σ_ｗ ^２を算出し、数式（７）によりクラス間分散σ_ｂ ^２を算出する。

次に、分離度算出部３は、分離度ｓを、画像全体の分散σ_ａｌｌ（数式（８））を用いて数式（９）により算出する。

判別分析法は、分離度が最大となるようにクラス分類の閾値を設定する方法である。判別分析法を用いて設定されたクラス分類の閾値での最大分離度が、所定の閾値より小さい場合、変換部１が対象画像を変換する。最大分離度が所定の閾値以上の場合、または、分離度算出部３の処理の回数が所定の回数に達した場合、合成部４が尤度の合成処理を行う。

＜合成部の処理＞
合成部４は、対象画像毎に算出された尤度を合成することにより、合成尤度を生成する。具体的には、合成部４は、対象画像毎に算出された尤度から、数式（１０）により合成尤度を算出する。

合成部４は、例えば、合成尤度を、各画素の合成尤度を示す１枚の合成尤度マップ（合成尤度画像）として出力する。

＜画像処理方法の例＞
図２は第１実施形態の画像処理方法の例を示す図である。まず、変換部１が、構造物を含む対象画像１０１を受け付ける。なお、対象画像１０１に含まれる構造物は任意でよい。構造物は、鉄塔（送電線及び電波塔を含む）、鉄柵、橋脚、道路、トンネル、発電装置、配管及び配線等を含む。図２の例は、対象画像１０１に含まれる構造物が鉄塔である場合を示す。また、対象画像１０１が撮像された場所は、室内外を問わない。

変換部１は、対象画像１０１に変換（１）をすることにより、対象画像１０１ａを生成する。変換（１）は、例えばダイナミックレンジ変換である。

次に、尤度算出部２が、対象画像１０１ａに含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。図２の例では、尤度算出部２は、対象画像の各画素の尤度を示す尤度マップ（尤度画像）１０２ａを出力する。次に、分離度算出部３が、尤度の統計量に基づいて、構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する（数式（９））。

分離度が閾値よりも小さい場合、変換部１が、対象画像１０１に変換（２）をすることにより、尤度の算出対象とする新たな対象画像１０１ｂを生成する。変換（２）は、例えば、ダイナミックレンジのパラメータが変更されたダイナミックレンジ変換である。

次に、尤度算出部２が、対象画像１０１ｂに含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。図２の例では、尤度算出部２は、対象画像の各画素の尤度を示す尤度マップ１０２ｂを出力する。次に、分離度算出部３が、尤度の統計量に基づいて、構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する（数式（９））。

分離度が閾値よりも小さい場合、変換部１が、対象画像１０１に変換（３）をすることにより、尤度の算出対象とする新たな対象画像１０１ｃを生成する。変換（３）は、例えば、ダイナミックレンジのパラメータが変更されたダイナミックレンジ変換である。

次に、尤度算出部２が、対象画像１０１ｃに含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。図２の例では、尤度算出部２は、対象画像の各画素の尤度を示す尤度マップ１０２ｃを出力する。次に、分離度算出部３が、尤度の統計量に基づいて、構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する（数式（９））。

分離度が所定の閾値以上となった場合、または、分離度算出部３の処理の回数が所定の回数に達した場合、合成部４が、対象画像１０１ａ～ｃ毎に算出された尤度（尤度マップ１０２ａ～ｃ）を、上述の数式（１０）により合成することにより、合成尤度を生成する。図２の例では、合成部４は、対象画像の各画素の合成尤度を示す合成尤度マップ１０３を出力する。

以上、説明したように、第１実施形態の画像処理装置１０では、尤度算出部２が、対象画像１０１に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する。分離度算出部３が、尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出する。変換部１が、分離度が閾値よりも小さい場合、対象画像１０１を変換して、尤度の算出対象とする新たな対象画像１０１を生成する。そして、合成部４が、対象画像１０１毎に算出された尤度を合成することにより、合成尤度を生成する。

これにより第１実施形態の画像処理装置１０によれば、画像から構造物を抽出する際の抽出精度をより向上させることができる。対象画像１０１から構造物のみを抽出する場合、例えば変換部１が、合成尤度の閾値処理をすることにより、対象画像１０１から構造物をより精度良く抽出することができる。

対象画像１０１から抽出された構造物の画像データは、任意の処理に利用可能である。例えば、対象画像１０１から抽出された構造物が鉄塔の場合、当該鉄塔の錆の状態を判定する処理等に利用することができる。そして、鉄塔の錆の状態を判定する処理の結果は、例えば鉄塔のメンテナンス作業等に利用することができる。

（第１実施形態の変形例１）
次に、第１実施形態の変形例１について説明する。変形例１の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

変形例１では、第１実施形態とは異なる算出方法により、分離度の算出する場合の例１について説明する。

変形例１の分離度算出部３は、対象画像に含まれる領域の尤度のうち、尤度の最小値ｐ^ｍｉｎと最大値ｐ^ｍａｘ以外の尤度の割合ｒ_ｉを算出し、当該割合ｒ_ｉが大きいほど、分離度を小さく算出する。具体的には、尤度の割合ｒ_ｉは、数式（１１）によって算出される。

ここで、Ｎ^ｌ _ｉは最小値ｐ^ｍｉｎと最大値ｐ^ｍａｘ以外の尤度を持つ画素の数を示す。なお、尤度の最小値ｐ^ｍｉｎと最大値ｐ^ｍａｘは、予め設定された最小値と最大値でもよい。Ｎ_ａｌｌは対象画像の画素数を示す。

変形例１では、割合ｒ_ｉに基づいて分離度が算出されるので、分離度が小さくなる要因である曖昧な尤度を持つ領域を特定することが可能となる。

（第１実施形態の変形例２）
次に、第１実施形態の変形例２について説明する。変形例２の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

変形例２では、第１実施形態とは異なる算出方法により、分離度の算出する場合の例２について説明する。

変形例２の分離度算出部３は、尤度の分散σ_ｉ ^２が大きいほど、分離度を小さく算出する。具体的には、尤度の分散σ_ｉ ^２は、数式（１２）によって算出される。

変形例２では、尤度の分散σ_ｉ ^２に基づいて分離度が算出されるので、分離度が小さくなる要因である曖昧な尤度を持つ領域を特定することが可能となる。

（第１実施形態の変形例３）
次に、第１実施形態の変形例３について説明する。変形例３の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

変形例３では、第１実施形態とは異なる合成方法により、尤度を合成する場合の例について説明する。

変形例３の合成部４は、数式（１３）によって、対象画像毎に算出された尤度ｐ_ｋを、重みω_ｋを付けて加算することにより、合成尤度ｐ_ａｌｌを生成する。

なお重みの設定方法は任意でよい。例えば、合成部４は、対象画像１０１ｋの分離度ｓ_ｋが大きいほど、重みω_ｋを大きく設定する。また例えば、合成部４は、数式（１４）により重みを設定する。

変形例３では、尤度が算出された対象画像の分離度を考慮して、当該尤度の合成を行うことができるので、合成尤度の精度の向上が期待できる。これにより、例えば合成部４が、合成尤度の閾値処理をすることにより、対象画像１０１から構造物をより精度良く抽出することができる。

（第２実施形態）
次に、第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第２実施形態では、対象画像１０１のサイズを変更する場合について説明する。

＜処理の概要＞
分離度算出部３は、分離度が閾値よりも小さい場合、対象画像１０１を複数の算出領域に分割して、算出領域毎に分離度を算出する。尤度算出部２は、それぞれの算出領域を対象画像１０１として、第１実施形態と同様にして尤度を算出する。そして、合成部４は、対象画像１０１毎に算出された尤度を合成することにより、合成尤度を生成する。

＜処理の詳細＞
以下、対象画像１０１のサイズが２Ｍ×２Ｌ以上である場合を例にして、第２実施形態の画像処理装置１０の動作について具体的に説明する。まず、変換部１は、サイズが２Ｍ×２Ｌ以上である対象画像１０１をＭ×Ｌサイズに縮小（縮小率を１／Ｋ１とする）する。これにより、対象画像１０１のサイズを、尤度及び分離度の算出処理が実行可能なデータサイズ（Ｍ×Ｌ）にする。

次に、尤度算出部２が、Ｍ×Ｌサイズの対象画像１０１を使用して尤度を算出する。次に、分離度算出部３は、サイズが２Ｍ×２Ｌ以上である対象画像１０１の領域を、Ｍ×Ｌサイズの４つの領域に分割し、各領域の分離度を算出する。そして、分離度算出部３は、所定の閾値より小さい分離度を有する領域の位置を示す位置情報を変換部１に入力する。なお、対象画像１０１の分割処理は、分離度算出部３ではなく、変換部１により行われてもよい。

次に、変換部１は、上述の位置情報により特定される領域を切り出し、Ｍ×Ｌに縮小して（縮小率を１／Ｋ２とする、ただしＫ１＞Ｋ２）、新たな対象画像１０１を生成する。なお、元の対象画像１０１のサイズが２Ｍ×２Ｌサイズの場合、１回目の分割処理により、対象画像１０１のサイズがＭ×Ｌサイズになるため、２回目以降の縮小処理は行われない。

変換部１、尤度算出部２及び分離度算出部３の処理は、第１実施形態と同様に、繰り返し行われる。変換部１は、分割領域がＭ×Ｌより小さい場合、分離度算出部３へ終了フラグを入力する。全ての領域で分離度が所定の閾値以上である場合、または、分離度算出部３が変換部１から終了フラグを受け付けた場合、合成部１０４が、尤度の合成処理を行う。

合成部４は、尤度が算出された対象画像１０１を、元の画像サイズに拡大する。合成部４は、例えば、上述の１回目の変換の場合は、Ｋ１倍に拡大し、２回目の変換の場合はＫ２倍に拡大する。なお、画像サイズの変換は、合成部４ではなく、変換部１により行われてもよい。合成部４は、元のサイズに拡大された対象画像１０１の画素に対応する各尤度を、対応する位置毎に、数式（１５）により合成する。

第２実施形態では、尤度算出部２が、構造物の分離度がより小さい領域に焦点を当てて、縮小率１／Ｋがより小さい対象画像１０１（Ｋがより１に近い対象画像１０１）を使用して尤度を算出する。これにより、構造物の密度が、より高い領域における画像縮小による画像の潰れを削減する。すなわち、構造物の分離度がより小さい領域では、縮小率１／Ｋがより小さい対象画像１０１から算出された、より高精度な尤度が使用されるので、対象画像１０１から上述の合成尤度に基づいて構造物を抽出する際の抽出精度をより向上させることができる。

＜変換処理及び算出処理の具体例＞
図３は第２実施形態の対象画像１０１の変換処理及び算出処理の例を示す図である。図３の例では、２Ｍ×２Ｌサイズの対象画像１０１に含まれる領域が、固定サイズで分割される場合について説明する。

図３の例では、まず、１回目の処理で、分離度算出部３が、２Ｍ×２Ｌサイズの対象画像１０１全体の分離度が所定の閾値よりも小さいと判定する（判定フラグ＝１）。次に、変換部１が、対象画像１０１をＭ×Ｌサイズの対象画像１０１ｄに縮小する。次に、尤度算出部２が、対象画像１０１ｄを使用して尤度を算出する。

次に、分離度算出部３が、尤度算出部２により算出された尤度を使用して、Ｍ×Ｌサイズの対象画像１０１ｄの分離度を算出する。

２回目の処理では、分離度は、２Ｍ×２Ｌサイズの対象画像１０１を４分割した算出領域毎に算出される。そして、分離度算出部３が、算出領域の分離度が、所定の閾値以下の場合に、当該算出領域の位置を示す位置情報を生成する。図３の例では、対象画像１０１の左上の算出領域１０１ｅ、及び、右上の算出領域１０１ｆの分離度が閾値よりも小さいと判定されたとする（判定フラグ＝１）。尤度算出部２が、算出領域１０１ｅ及び１０１ｆそれぞれの尤度を算出する。このとき、算出領域１０１ｅ及び１０１ｆのサイズは、Ｍ×Ｌであるため、画像サイズの縮小は行われない。

対象画像１０１の変換処理、並びに、尤度及び分離度の算出処理は、終了条件１及び２のいずれか一方が成立した場合に終了する。終了条件１は、全ての算出領域の分離度が閾値以上になった場合である。終了条件２は、対象画像１０１を分割することにより得られた算出領域のサイズがＭ×Ｌよりも小さい場合である。

対象画像１０１の変換処理、並びに、尤度及び分離度の算出処理が終了した場合、合成部４が、尤度の合成処理を開始する。

＜合成処理の具体例＞
図４は第２実施形態の尤度の合成処理の例を示す図である。図４の例は、図３で説明した変換処理及び算出処理が終了した後の合成処理の例を示す。図３では、１回目の処理で、Ｍ×Ｌサイズに縮小された対象画像１０１の尤度が算出されている。また、２回目の処理では、Ｍ×Ｌサイズの算出領域１０１ｅ及び１０１ｆの尤度が算出されている。

まず、合成部４が、Ｍ×Ｌサイズに縮小された対象画像１０１を、元のサイズである２Ｍ×２Ｌサイズの対象画像１０１に拡大する。そして、合成部４が、Ｍ×Ｌサイズに縮小された対象画像１０１で算出された尤度を、２Ｍ×２Ｌサイズの対象画像１０１に対応させる。具体的には、合成部４は、例えば対象画像１０１を拡大するために補間された画素には、縮小された対象画像１０１で算出された近傍の画素の尤度を対応させる。

なお、Ｍ×Ｌサイズの算出領域１０１ｅ及び１０１ｆの尤度については、画像サイズを縮小していないため、そのまま使用される。

合成部４は、対象画像（算出領域）毎に算出された尤度を、上述の数式（１５）を使用して、図４のように合成することにより、合成尤度を生成する。これにより、例えば対象画像１０１の左上の領域は、１回目の処理で得られた尤度と、２回目の処理で得られた尤度とが乗算されるので、１回目の処理で得られた尤度のみを使用する場合に比べて、構造物の抽出精度を向上させることができる。対象画像１０１の右上の領域についても、対象画像１０１の左上の領域と同様である。

なお、図４の例では、対象画像１０１の左下及び右下の領域については、構造物の分離度が、閾値以上であるため、１回目の処理で得られた尤度のみが使用されている。

上述の第２実施形態では、対象画像１０１の縮小及び拡大は、例えばフィルタリングによる補間等により行われる。フィルタリング方法は、例えば最近傍法、バイリニア補間法、バイキュービック補間法及びＬａｎｃｚｏｓ補間法等である。

また、上述の第２実施形態では、対象画像１０１が４つの算出領域に分割される場合について説明したが、対象画像１０１は、４つ以外の算出領域に分割されてもよい。例えば、対象画像１０１は、分割数が整数値の任意の等分割でもよい。

第２実施形態の画像処理装置１０によれば、構造物の分離度がより小さい領域では、縮小率１／Ｋがより小さい対象画像１０１（Ｋがより１に近い対象画像１０１）から算出された、より高精度な尤度が使用されるので、対象画像１０１から上述の合成尤度に基づいて構造物を抽出する際の抽出精度をより向上させることができる。

（第２実施形態の変形例１）
次に、第２実施形態の変形例１について説明する。変形例１の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

変形例１では、第２実施形態とは異なる合成方法により、尤度を合成する場合の例１について説明する。変形例１の合成部４は、対象画像（算出領域）毎に算出された尤度を、上述の数式（１３）により、重みを付けて加算することにより、尤度を合成する。ただし、変形例１の重みは、対象画像（算出領域）の画素毎に設定され、上述の数式（１４）により、対象画像（算出領域）の分離度が大きいほど大きく設定される。

（第２実施形態の変形例２）
次に、第２実施形態の変形例２について説明する。変形例２の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

変形例２では、第２実施形態とは異なる合成方法により、尤度を合成する場合の例２について説明する。変形例２の合成部４は、対象画像（算出領域）毎に算出された尤度を、上述の数式（１３）により、重みを付けて加算することにより、尤度を合成する。ただし、変形例２の重みは、対象画像（算出領域）の画素毎に設定され、数式（１６）により設定される。

ここで、ｄ_ｉは、各対象画像（算出領域）の縮小率である。ただし、ｄ_ｉはｄ_ｉ＞ｄ_ｉ＋１を満たす。縮小率１／Ｋがより小さい対象画像１０１（Ｋがより１に近い対象画像１０１）は、構造物の密度がより高い領域において画像の潰れを削減できるため、より大きな分離度の尤度を算出できている可能性が高い。つまり変形例２の合成方法を使用して、分離度のより大きな尤度に対して、より大きな重みを付与することで、対象画像１０１から上述の合成尤度に基づいて構造物を抽出する際の抽出精度をより向上させることができる。

（第２実施形態の変形例３）
次に、第２実施形態の変形例３について説明する。変形例３の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。

変形例３では、対象画像１０１上でウィンドウをスライドさせ、当該ウィンドウ毎に分離度を算出する場合について説明する。具体的には、分離度算出部３が、対象画像１０１の画像サイズの整数分の１のサイズのウィンドウを設定し、当該ウィンドウを所定の画素数（例えばウィンドウサイズの半分の画素数等）でスライドさせる。

図５は第２実施形態の変形例３の算出処理の例を示す図である。分離度算出部３は、ウィンドウ内で算出された分離度が閾値より小さい場合、当該ウィンドウの位置を示す位置情報を変換部１に入力する。変換部１は、分離度算出部３から位置情報を受け付けると、当該位置情報により特定される領域内を抜き出して、変換処理を行う。ウィンドウサイズは、変換部１から分離度算出部３までの一連の処理を行う度に変化させる。例えば、１回目のウィンドウサイズがＭ×Ｌの場合、２回目は（Ｍ／２）×（Ｌ／２）、３回目は（Ｍ／４）×（Ｌ／４）、等とする。合成部４では、画素毎に重みを算出して各尤度を合成し、合成尤度を生成する。

変形例３では、ウィンドウをスライドさせることで、分離度がより小さい領域のみを、更に細かく処理する（よりサイズの小さいウィンドウで処理する）ことができるので、処理時間を削減することができる。

（第３実施形態）
次に、第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第３実施形態では、第１実施形態の構成に加えて、学習部を更に備える場合について説明する。

［機能構成の例］
図６は第３実施形態の画像処理装置１０－２の機能構成の例を示す図である。第３実施形態の画像処理装置１０－２は、変換部１－２、尤度算出部２－２、分離度算出部３、合成部４－２及び学習部５を備える。なお、分離度算出部３の処理の説明は、第１実施形態と同様なので省略する。

変換部１－２は、入力画像及び教示画像を受け付ける。入力画像は、第１実施形態の変換部１により受け付けられる画像と同じである。教示画像は、構造物を示す領域が特定された画像である。例えば、教示画像は、当該教示画像に対応する対象画像１０１に含まれる構造物を示す画素の位置をラベリングした画像である。なお、構造物が複数ある場合には、構造物毎に異なったラベリング付けがなされる。

学習部５は、構造物を示す領域が特定された教示画像と、対象画像１０１とを使用して、尤度を算出する尤度算出処理を学習する。具体的には、学習部５は、変換部１－２により変換された対象画像１０１から、構造物を示す領域である可能性を示す尤度をより正確に算出可能な尤度算出処理を学習する。学習部５により使用される学習方法は、例えば機械学習及び深層学習等である。学習方法の具体例は、第５実施形態で説明する。

尤度算出部２－２は、学習部５により学習された尤度算出処理により、教示画像に含まれる構造物と同様の構造物を含む任意の対象画像１０１から、当該構造物を示す領域である可能性を示す尤度を算出する。

合成部４－２は、上述の数式（１３）によって、対象画像１０１毎に算出された尤度を、重みを付けて加算することにより、合成尤度を生成する。重みは、構造物を示す領域の尤度が、より正確に算出された対象画像１０１に対して、より大きく設定される。具体的には、第３実施形態の重みは、画像サイズに応じて設定される。例えば、合成部４－２は、画像サイズが変換された対象画像１０１から算出された尤度の閾値処理により特定される構造物と、当該対象画像１０１に対応する教示画像から特定される構造物との平均誤差を算出し、当該平均誤差がより小さい画像サイズの対象画像１０１により大きな重みを設定する。すなわち第３実施形態では、構造物を示す領域の尤度が、より正確に算出された画像サイズの画像に、より大きな重みが設定される。

第３実施形態の画像処理装置１０－２によれば、学習部５を更に備えることにより、尤度算出部２－２により行われる尤度算出処理をより精度が良くなるように更新することができる。

（第３実施形態の変形例）
次に、第３実施形態の変形例について説明する。変形例の説明では、第３実施形態と同様の説明については省略し、第３実施形態と異なる箇所について説明する。

変形例では、第３実施形態とは異なる合成方法により、尤度を合成する場合の例について説明する。

合成部４－２は、上述の数式（１３）によって、対象画像１０１毎に算出された尤度を、重みを付けて加算することにより、合成尤度を生成する。変形例の重みは、分離度に応じて設定される。例えば、合成部４－２は、変換された対象画像１０１から算出された尤度の閾値処理により特定される構造物と、当該対象画像１０１に対応する教示画像から特定される構造物との平均誤差を算出し、当該平均誤差がより小さい分離度が算出された対象画像１０１により大きな重みを設定する。すなわち変形例では、構造物を示す領域と、当該構造物以外を示す領域との分離し易さを示す分離度が、より正確に算出された画像に、より大きな重みが設定される。

変形例の画像処理装置１０－２によれば、第３実施形態と同様の効果を得ることができる。

（第４実施形態）
次に、第４実施形態について説明する。第４実施形態の説明では、第３実施形態と同様の説明については省略し、第３実施形態と異なる箇所について説明する。

第４実施形態では、第３実施形態の構成に加えて、ユーザインタフェースとして、入力制御部と表示制御部とを更に備える場合について説明する。

［機能構成の例］
図７は第４実施形態の画像処理装置１０－３の機能構成の例を示す図である。第４実施形態の画像処理装置１０－３は、変換部１－２、尤度算出部２－３、分離度算出部３、合成部４－２、学習部５、表示制御部６及び入力制御部７を備える。

変換部１－２、尤度算出部２－３、分離度算出部３、合成部４－２、学習部５及び表示制御部６は、画像処理部２０として機能する。なお、画像処理部２０で行われる処理は、変換部１－２、尤度算出部２－３、分離度算出部３、合成部４－２、学習部５及び表示制御部６に分けずに、１つの機能ブロックとして行われてもよい。

変換部１－２、分離度算出部３及び学習部５の処理の説明は、第３実施形態と同様なので省略する。

表示制御部６は、モニタ等の表示デバイスに、合成部４－２から出力される合成尤度マップに基づく画像、及び、各対象画像１０１で算出された尤度マップ等を含む表示情報を表示する。合成尤度マップに基づく画像は、例えば合成尤度が閾値（第２閾値）以上の領域が、構造物を示す領域として識別された識別画像である。また例えば、合成尤度マップに基づく画像は、例えば合成尤度マップの画素値と、入力画像の画素値とを乗算した画像である。なお、合成尤度マップに基づく画像は、合成尤度マップそのものでもよい。

入力制御部７は、マウス、キーボード及びタッチモニタ等の入力デバイスによって入力された入力情報を画像処理部２０に出力する。

次に、合成尤度の合成に使用される尤度が算出される算出領域の指定を、ユーザから受け付ける場合の動作について説明する。

図８Ａは第４実施形態の表示情報２０１ａの例を示す図である。図８Ａの表示情報２０１ａは、合成尤度マップに基づく画像（図８Ａの例では、合成尤度マップ１０３ａ）、尤度マップ１０２ｇ及び尤度マップ１０２ｈを含む。合成尤度マップ１０３ａは、尤度マップ１０２ｇ及び尤度マップ１０２ｈを合成することにより得られる合成尤度を示す。

図８Ｂは第４実施形態の算出領域１０５の選択操作の例を示す図である。入力制御部７は、入力デバイスにより、合成尤度マップ１０３上の算出領域１０５の指定を示す操作入力を受け付ける。ユーザの入力によって変更可能な算出領域１０５のサイズは、入力画像の整数分の１倍サイズとする。入力制御部７は、指定された算出領域の位置を示す位置情報を、尤度算出部２－３に入力する。尤度算出部２－３は、入力制御部７から位置情報を受け付けると、当該位置情報により特定される算出領域１０５の尤度を算出する。

図８Ｃは第４実施形態の更新された表示情報１０３ｂの例を示す図である。図８Ｃの表示情報２０１ｂは、合成尤度マップ１０３ｂ、尤度マップ１０２ｇ、尤度マップ１０２ｈ及び尤度マップ１０２ｉを含む。尤度マップ１０２ｉは、図８Ｂで指定された算出領域１０５の尤度を示す。合成尤度マップ１０３ｂは、尤度マップ１０２ｇ、尤度マップ１０２ｈ及び尤度マップ１０２ｉを使用して、合成部４－２によって合成された合成尤度を示す。

次に、合成尤度の合成に使用される尤度の選択を、ユーザから受け付ける場合の動作について説明する。

図９Ａは第４実施形態の尤度の選択操作の例を示す図である。図９Ａの例は、入力デバイスにより尤度マップ１０２ｇ及び尤度マップ１０２ｉが選択された場合を示す。なお選択される尤度マップ１０２の数は１つでも複数でもよい。なお、尤度マップ１０２ｇは、１回目の処理により抽出される尤度を示す。すなわち、尤度マップ１０２ｇは、対象画像１０１全体の尤度マップとなり、尤度を合成する際のベースとなる。そのため、対象画像１０１全体の尤度を算出する場合は、尤度マップ１０２ｇは、必ず選択される必要がある。一方、尤度マップ１０２ｈ及び尤度マップ１０２ｉは、対象画像１０１の一部の領域の尤度を示す。そのため、尤度マップ１０２ｈ及び尤度マップ１０２ｉは、適宜、選択可能である。

図９Ｂは第４実施形態の尤度の合成操作の例を示す図である。図９Ｂの表示情報２０１ｃは、合成尤度マップ１０３ｃ、尤度マップ１０２ｇ、尤度マップ１０２ｈ及び尤度マップ１０２ｉを含む。図９Ａの例は、図９Ｂで選択された尤度マップ１０２ｈに、入力デバイスにより重み０．８が指定され、図９Ｂで選択された尤度マップ１０２ｉに、入力デバイスにより重み０．２が指定された場合を示す。

なお重みの指定方法は任意でよい。例えば、重みは、スライドバーを使用して指定されてもよい。また例えば、重みは、強中弱等、予め値が設定された重みの分類で指定されてもよい。

入力制御部７は、選択された尤度マップを示す選択情報と、当該尤度マップに指定された重みを示す重み指定情報を、合成部４－２に入力する。合成部４－２は、入力制御部７から選択情報及び重み指定情報を受け付けると、選択された尤度マップを指定された重みで合成することにより、合成尤度マップ１０３ｃを生成する。表示制御部６は、合成部４－２により新たに合成された合成尤度マップ１０３ｃによって、表示デバイスに表示されていた合成尤度マップ１０３ｂを更新する。

なお、図９Ｂの例では、ユーザにより重みが指定される場合について説明したが、合成部７０５で保持されている重みが使用されてもよい。合成部４－２で保持されている重みは、例えば上述の数式（１６）により算出された重みである。

また、合成部４－２で保持されている各尤度マップ１０２の重みと、選択された尤度マップ１０２の数とに基づいて、選択された尤度マップ１０２に付与された重みの総和が１になるように重みが更新されてもよい。例えば、尤度マップ１０２の総数が、３つであり、それぞれ、０．５、０．３、０．２の重みが付与されていた状態で、重みが０．５の尤度マップ１０２と、重みが０．３の尤度マップ１０２とが選択された場合には、重み０．５が０．６２５に更新され、重み０．３が０．３７５に更新されてもよい。

第４実施形態の画像処理装置１０－３によれば、ユーザインタフェースを介して、ユーザから受け付けた操作入力に基づいて、画像から構造物を抽出する際の抽出精度をより向上させることができる。

（第５実施形態）
次に、第５実施形態について説明する。第５実施形態の説明では、第３実施形態と同様の説明については省略し、第３実施形態と異なる箇所について説明する。

第３実施形態では、学習部５による機械学習の具体例として、オートエンコーダを使用する場合について説明する。

図１０は第５実施形態のオートエンコーダ構造の概要を示す図である。第５実施形態の学習部５による機械学習のネットワーク構造は、図１０に示すようなオートエンコーダである。図１０のオートエンコーダは、エンコーダ部分とデコーダ部分を含む。エンコーダ部分は、Ｃｏｎｖ（Ｃｏｎｖｏｌｕｔｉｏｎ）＋ＢＮ＋ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）層、Ｐｏｏｌｉｎｇ層及びＤｒｏｐｏｕｔ層を含む。デコーダ部分は、Ｕｎｐｏｏｌｉｎｇ層、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、Ｄｒｏｐｏｕｔ層及びＳｃｏｒｅ層を含む。

なお、機械学習に複数の入力データを用いる場合、入力データの数に対しチャネル数を増やしたオートエンコーダを使用してもよい。また、ネットワークのエンコーダに相当する部分を入力データの数分増加させ、各層の間に各エンコーダの特徴量を組み合わせる融合層を含めるようにしてもよい。更に、オートエンコーダの構造は、上記複数の入力データに加え、エンコーダ側の同一階層の出力をデコーダ側で再利用する結合層を持つネットワーク構造でもよい。

図１１は第５実施形態のオートエンコーダの例１を示す図である。図１１の例では、２つの入力データを受け付ける場合を示す。入力データ－１は、例えば構造物を示す領域を含むＲＧＢ画像である。入力データ－２は、例えば構造物を示す領域を含むデプス画像である。入力データ－１を受け付けるエンコーダ－１は、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、融合層、Ｐｏｏｌｉｎｇ層及びＤｒｏｐｏｕｔ層を含む。入力データ－２を受け付けるエンコーダ－２は、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、Ｐｏｏｌｉｎｇ層及びＤｒｏｐｏｕｔ層を含む。エンコーダ－１からの入力を受け付けるデコーダは、Ｕｎｐｏｏｌｉｎｇ層、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、Ｄｒｏｐｏｕｔ層及びＳｃｏｒｅ層を含む。

図１２は第５実施形態のオートエンコーダの例２を示す図である。図１２の例では、２つの入力データを受け付ける場合を示す。入力データ－１、及び、入力データ－１の説明は、図１１と同様なので省略する。入力データ－１を受け付けるエンコーダ－１は、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、融合層、Ｐｏｏｌｉｎｇ層及びＤｒｏｐｏｕｔ層を含む。入力データ－２を受け付けるエンコーダ－２は、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、Ｐｏｏｌｉｎｇ層及びＤｒｏｐｏｕｔ層を含む。エンコーダ－１からの入力を受け付けるデコーダは、Ｕｎｐｏｏｌｉｎｇ層、Ｃｏｎｖ＋ＢＮ＋ＲｅＬＵ層、Ｄｒｏｐｏｕｔ層、結合層及びＳｃｏｒｅ層を含む。

図１３は、図１２のオートエンコーダの処理の関係を示す図である。図１３の例は、ｉｎｐｕｔ－１から入力された画像データのエンコード処理と、ｉｎｐｕｔ－２から入力された画像データのエンコード処理と、Ｓｃｏｒｅを出力するデコード処理との関係を示す。

（第６実施形態）
次に、第６実施形態について説明する。第６実施形態の説明では、第１実施形態と同様の説明については省略し、第３実施形態と異なる箇所について説明する。

第６実施形態では、第１実施形態の画像処理装置１０を、画像処理システムとして実現する場合について説明する。

［機能構成の例］
図１４は第６実施形態の画像処理システム３０の機能構成の例を示す図である。第６実施形態の画像処理システム３０は、画像処理部２０－２及び表示制御部６－２を備える。

画像処理部２０－２は、対象画像１０１に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出し、当該尤度の統計量に基づいて、構造物を示す領域と、構造物以外を示す領域との分離し易さを示す分離度を算出し、当該分離度が閾値よりも小さい場合、対象画像１０１を変換して、尤度の算出対象とする新たな対象画像１０１を生成し、対象画像１０１毎に算出された尤度を合成することにより、合成尤度を生成する。

すなわち、第６実施形態の画像処理部２０－２は、第１実施形態の変換部１、尤度算出部２、分離度算出部３及び合成部４により行われる処理と同様の処理を行う。

表示制御部６－２は、合成尤度を示す表示情報を、モニタ等の表示デバイスに表示する。

なお、画像処理システム３０は、１つの装置により実現されてもよいし、複数の装置により実現されてもよい。

第６実施形態の画像処理システム３０によれば、第１実施形態と同様の効果を得ることができる。

最後に、第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１５は第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）のハードウェア構成の例を示す図である。なお、第６実施形態の画像処理システム３０のハードウェア構成についても、１台の装置により実現される場合には、図１５と同様である。

第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、及び、メモリカード等である。

表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、画像処理装置１０（１０－２，１０－３）を操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。画像処理装置１０（１０－２，１０－３）がスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。

第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

また第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）のプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）で実行されるプログラムは、上述した図１（図６，図７）の機能ブロックのうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。

なお上述した図１の各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２以上を実現してもよい。

また第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）の動作形態は任意でよい。第１乃至第５実施形態の画像処理装置１０（１０－２，１０－３）を、例えばネットワーク上のクラウドシステムとして動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 変換部
２ 尤度算出部
３ 分離度算出部
４ 合成部
５ 学習部
６ 表示制御部
７ 入力制御部
１０ 画像処理装置
２０ 画像処理部
３０ 画像処理システム
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス

Claims (15)

1. 対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する尤度算出部と、
   前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する分離度算出部と、
   前記分離度が第１閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する変換部と、を備え、
   前記尤度算出部は、前記新たな対象画像が生成される度に、前記新たな対象画像に対して前記尤度を算出し、
   前記分離度算出部は、前記新たな対象画像に対する前記尤度が算出される度に、前記分離度を算出し、
   前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する合成部、
   を備える画像処理装置。
2. 前記分離度算出部は、前記分離度が第１閾値よりも小さい場合、前記対象画像を複数の算出領域に分割して、前記算出領域毎に前記分離度を算出し、
   前記尤度算出部は、前記算出領域が得られる度に、前記算出領域に対して、前記尤度を算出し、
   前記分離度算出部は、前記算出領域に対する前記尤度が算出される度に、前記分離度を算出し、
   前記合成部は、前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を合成することにより、前記合成尤度を生成する、
   請求項１に記載の画像処理装置。
3. 前記分離度算出部は、前記算出領域毎に、前記算出領域に含まれる領域の尤度のうち、前記尤度の最小値と最大値以外の尤度の割合を算出し、前記割合が大きいほど、前記分離度を小さく算出する、
   請求項２に記載の画像処理装置。
4. 前記分離度算出部は、前記尤度のヒストグラムを算出し、前記ヒストグラムから判別分析法を使用して前記分離度を算出する、
   請求項２に記載の画像処理装置。
5. 前記分離度算出部は、前記尤度の分散が大きいほど、前記分離度を小さく算出する、
   請求項２に記載の画像処理装置。
6. 前記合成部は、前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を乗算することにより、前記尤度を合成する、
   請求項１に記載の画像処理装置。
7. 前記変換部は、分離度が第１閾値よりも小さい場合、前記対象画像を縮小する変換をして、前記尤度の算出対象とする新たな対象画像を生成し、
   前記合成部は、前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を、重みを付けて加算することにより、前記尤度を合成し、前記重みは、前記対象画像の縮小率が小さいほど大きく設定される、
   請求項１に記載の画像処理装置。
8. 前記合成部は、前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を、重みを付けて加算することにより、前記尤度を合成し、前記重みは、前記対象画像の分離度が大きいほど大きく設定される、
   請求項１に記載の画像処理装置。
9. 前記構造物を示す領域が特定された教示画像と、前記対象画像とを使用して、前記尤度を算出する尤度算出処理を学習する学習部を更に備え、
   前記尤度算出部は、学習された前記尤度算出処理により、前記尤度を算出する、
   請求項１に記載の画像処理装置。
10. 前記合成部は、前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を、重みを付けて加算することにより、前記尤度を合成し、前記重みは、前記構造物を示す領域の尤度が、より正確に算出された前記対象画像に対して、より大きく設定される、
    請求項９に記載の画像処理装置。
11. 前記合成尤度が第２閾値以上の領域が、構造物を示す領域として識別された識別画像を表示する表示制御部と、
    前記識別画像の指定領域の指定を示す操作入力を受け付ける入力制御部と、を更に備え、
    前記尤度算出部は、指定領域を前記対象画像として、前記尤度を算出する、
    請求項１に記載の画像処理装置。
12. 前記表示制御部は、前記対象画像毎に算出された尤度を示す尤度画像を複数、表示し、
    前記入力制御部は、前記複数の尤度画像から、少なくとも１つの尤度画像を選択する操作入力と、選択された前記尤度画像毎の重みの指定を示す操作入力とを受け付け、
    前記合成部は、前記分離度が前記第１閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、選択された前記尤度画像の尤度を、前記重みに応じて合成することにより、前記合成尤度を生成する、
    請求項１１に記載の画像処理装置。
13. 対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出し、前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出し、前記分離度が閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する画像処理部と、
    合成尤度を示す表示情報を表示する表示制御部と、を備え、
    前記画像処理部は、前記新たな対象画像が生成される度に、前記新たな対象画像に対して前記尤度を算出し、前記新たな対象画像に対する前記尤度が算出される度に、前記分離度を算出し、前記分離度が前記閾値以上となった場合、または、前記分離度を算出する処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を合成することにより、前記合成尤度を生成する、
    画像処理システム。
14. 対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出するステップと、
    前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出するステップと、
    前記分離度が閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成するステップと、を含み、
    前記尤度を算出するステップは、前記新たな対象画像が生成される度に、前記新たな対象画像に対して前記尤度を算出し、
    前記分離度を算出するステップは、前記新たな対象画像に対する前記尤度が算出される度に、前記分離度を算出し、
    前記分離度が前記閾値以上となった場合、または、前記分離度を算出するステップの処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成するステップ、
    を含む画像処理方法。
15. コンピュータを、
    対象画像に含まれる領域が、構造物を示す領域である可能性を示す尤度を算出する尤度算出部と、
    前記尤度の統計量に基づいて、前記構造物を示す領域と、前記構造物以外を示す領域との分離し易さを示す分離度を算出する分離度算出部と、
    前記分離度が閾値よりも小さい場合、前記対象画像を変換して、前記尤度の算出対象とする新たな対象画像を生成する変換部として機能させ、
    前記尤度算出部は、前記新たな対象画像が生成される度に、前記新たな対象画像に対して前記尤度を算出し、
    前記分離度算出部は、前記新たな対象画像に対する前記尤度が算出される度に、前記分離度を算出し、
    前記分離度が前記閾値以上となった場合、または、前記分離度算出部の処理の回数が所定の回数に達した場合、前記対象画像毎に算出された尤度を合成することにより、合成尤度を生成する合成部、
    として機能させるためのプログラム。

Images