JP6332937B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

画像認識手法のひとつとして、撮影して得られた画像を複数の領域に分割して、分割した領域毎に被写体の分類に関するクラスを識別する手法がある。この手法は、各領域から抽出される特徴量に基づいて、各領域のクラスを識別する。適切に画像を領域分割することは、被写体の認識やシーンの認識、被写体に応じた画質の補正等の多くの画像処理を容易にする。
非特許文献１に開示されている技術は、色情報、テクスチャ情報に基づいて入力画像をスーパーピクセルと呼ばれる小領域に分割する。そして、この技術は、分割した各小領域のクラスをＲｅｃｕｒｓｉｖｅ−Ｎｅｕｒａｌ−Ｎｅｔｗｏｒｋｓ（ＲＮＮｓ）と呼ばれる識別器を用いて識別する。
非特許文献２に開示されている技術は、条件付き確率場ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ−Ｒａｎｄｏｍ−Ｆｉｅｌｄ）を用いて、領域分割及びクラス識別を同時に行う。この技術は、各画素から抽出される特徴に基づくだけでなく、隣接する画素間のクラス共起まで考慮した上で各画素のクラスを識別する。この技術は、特徴が曖昧なため単体では認識の難しい画素に対して、周辺の画素との関係を考慮して識別する。より具体的にいうと、この技術は、各画素をノードとして、ノードのエネルギー（ＵｎａｒｙＰｏｔｅｎｔｉａｌ）及びノード間のエネルギー（ＰａｉｒｗｉｓｅＰｏｔｅｎｔｉａｌ）を定義して、それらの画像全体の総和を最小化する。そして、この技術は、エネルギーを最小化する各画素のクラスを識別する。

上記の２つの技術では、領域分割及びクラス分類に使用する情報を画像（特徴量）から得ているが、画像から得ることができる情報だけではなく、撮影した際に得ることができる画像以外の情報を用いて領域分割を行う技術もある。
特許文献１に開示されている技術は、ＧＰＳによる場所情報を用い、地域に応じて画像中の領域（ＳＰ）の被写体のクラスの推定スコアを変える。例えば、赤道直下なら「"ＳＮＯＷ"はない」等である。また、この技術は、撮影時期、撮影した方角等も情報として使用したり、被写体のクラス間の空間的配置関係の共起のテーブルを場所情報によって変えたりしている。
特許文献２に開示されている技術は、画像を撮影する際に被写体距離情報も取得し、被写体距離情報に基づいて画像を領域分割する。そして、この技術は、分割領域毎にシーン判定を行い、その判定結果に基づいて分割領域毎に画像処理を実行する。
特許文献３に開示されている技術は、画像セグメンテーション等による任意のオブジェクト抽出結果と、撮影の際に得ることができる距離情報とに基づいて前景領域、背景領域を分割する。例えば、この技術は、所定のオブジェクトの距離よりも近い距離の画素を前景領域とし、それ以外を背景領域として分割する。

米国特許第７８６０３２０号明細書 特開２０１２−４７１６号公報 特開２０１１−２５３３５４号公報

Ｒ．Ｓｏｃｈｅｒ，"Ｐａｒｓｉｎｇ Ｎａｔｕｒａｌ Ｓｃｅｎｅｓ ａｎｄ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ ｗｉｔｈ Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ２０１１． Ｐ．Ｋｒａｈｅｎｂｕｈｌ，"Ｅｆｆｉｃｉｅｎｔ Ｉｎｆｅｒｅｎｃｅ ｉｎ Ｆｕｌｌｙ Ｃｏｎｎｅｃｔｅｄ ＣＲＦｓ ｗｉｔｈ Ｇａｕｓｓｉａｎ Ｅｄｇｅ Ｐｏｔｅｎｔｉａｌｓ"，Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ ２０１１． Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ，"Ｅｆｆｉｃｉｅｎｔ Ｇｒａｐｈ−Ｂａｓｅｄ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ"，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ２００４． Ｐ．Ｆｅｌｚｅｎｓｚｗａｌｂ， "Ａ Ｄｉｓｃｒｉｍｉｎａｔｉｖｅｌｙ Ｔｒａｉｎｅｄ，Ｍｕｌｔｉｓｃａｌｅ， Ｄｅｆｏｒｍａｂｌｅ Ｐａｒｔ Ｍｏｄｅｌ"，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００８．

上述した従来の技術は、各領域中から抽出された特徴量を入力とし、予め学習された識別器を用いて画像中の各領域のクラスを識別する。しかしながら、これらの技術では、各領域のクラスを精度よく識別することができなかった。
本発明は、画像の領域毎に被写体の分類に関するクラスを精度よく識別することを目的とする。

そこで、本発明の画像処理装置は、被写体の撮影画像が撮影された際の撮影情報を、前記撮影画像に含まれる複数の領域それぞれで取得する取得手段と、前記取得手段で取得された前記撮影情報に基づいて、前記被写体の撮影画像の所定の領域毎に、被写体の分類を示す複数のクラスのうち少なくとも１つのクラスについて、存在確率を推定する推定手段と、前記推定手段で推定された前記存在確率と、前記撮影画像に係る画像情報とに基づいて、前記所定の領域毎に前記クラスを識別する識別手段と、を有することを特徴とする。

本発明によれば、画像の領域毎に被写体の分類に関するクラスを精度よく識別することができる。

システム構成の一例を示す図である。 識別対象画像の一例を示す図（その１）である。 識別対象画像の一例を示す図（その２）である。 画像認識装置のハードウェア構成の一例を示す図である。 実施形態１の画像認識装置の機能構成等の一例を示す図である。 実施形態１の処理の一例を示すフローチャート（その１）である。 識別対象画像の一例を示す図（その３）である。 実施形態１における学習装置の機能構成等の一例を示す図である。 実施形態１の処理の一例を示すフローチャート（その２）である。 識別対象画像の一例を示す図（その４）である。 識別対象画像の一例を示す図（その５）である。 実施形態２の画像認識装置の機能構成等の一例を示す図である。 実施形態２の処理の一例を示すフローチャートである。 実施形態３の画像認識装置の機能構成等の一例を示す図（その１）である。 実施形態３の処理の一例を示すフローチャート（その１）である。 ノード間の結合の一例を示す図である。 実施形態３の画像認識装置の機能構成等の一例を示す図（その２）である。 実施形態３の処理の一例を示すフローチャート（その２）である。 実施形態４の画像認識装置の機能構成等の一例を示す図である。 実施形態４の処理の一例を示すフローチャートである。 識別対象画像の一例を示す図（その６）である。 実施形態５の画像認識装置の機能構成等の一例を示す図（その１）である。 実施形態５の処理の一例を示すフローチャート（その１）である。 実施形態５の画像認識装置の機能構成等の一例を示す図（その２）である。 実施形態５の処理の一例を示すフローチャート（その２）である。 物体検出の一例を示す図である。

以下、本発明を実施するための最良の形態について図面を用いて説明する。
＜実施形態１＞
図１は、システム構成等の一例を示す図である。
図１のシステムでは、カメラ１０と、画像認識装置２０（画像処理装置）とが、ネットワークを介して接続されている。なお、画像認識装置２０と、カメラ１０とは、一体となっていてもよい。
カメラ１０は、画像認識装置２０による画像処理の対象となるシーン３０を撮影する。
画像認識装置２０は、カメラ１０で撮像（撮影）されたシーン３０の各領域におけるクラスを識別する。より具体的にいうと、画像認識装置２０は、カメラ１０で撮像された識別対象画像（撮影画像）と、カメラ１０（撮影部）で前記識別対象画像が撮影された際に取得された撮影情報とに基づいて、前記識別対象画像の領域分割及びクラス識別を行う。ここでいうクラスとは、被写体の分類に関するクラスカテゴリー名である。クラスの詳細については、図２等を用いて後述する。また、撮影情報とは、カメラ１０で撮影した際に取得される画像以外の情報のことであり、画像を出力するまでにカメラ１０で取得される全ての情報を意味する。例えば、撮影情報は、フォーカスを合わせる際等に取得される距離情報や、シャッタースピード等の撮影におけるカメラパラメータを決定するための色温度及び測光値に関する情報、それらによって決定されたカメラパラメータ等の情報である。その他にも、撮影情報には、撮影日時情報、ＧＰＳ情報、カメラ内の姿勢センサーによる天地判定に関する情報等がある。

図２は、識別対象画像の一例を示す図である。
本実施形態では、図２の（ａ）に示されるように撮影された識別対象画像１００の各画素のクラスを識別する例について説明する。
ここでいうクラスとは、図２の（ｂ）に示されるような各画素に対応して振られるｓｋｙ、ｔｒｅｅ、ｃａｒ等といった被写体の分類に関するクラスカテゴリー名である。
図３は、識別対象画像における各画素の識別に関する概念の一例を示す図である。
各画素１０３にクラスが割り当てられることで、領域分割が実現される。図３の（ｂ）は、図３の（ａ）の左上部分を拡大して示しており、各画素１０３がｓｋｙカテゴリーに割り当てられている様子を示している。

図４は、画像認識装置２０のハードウェア構成の一例を示す図である。
ＣＰＵ４０１は、画像認識装置２０全体を制御する。ＣＰＵ４０１がＲＯＭ４０３やＨＤ４０４等に格納されたプログラムを実行することにより、後述する画像認識装置２０の機能構成及び画像認識装置２０に係るフローチャートの処理が実現される。
ＲＡＭ４０２は、ＣＰＵ４０１がプログラムを展開して実行するワークエリアとして機能する記憶領域である。
ＲＯＭ４０３は、ＣＰＵ４０１が実行するプログラム等を格納する記憶領域である。
ＨＤ４０４は、ＣＰＵ４０１が処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域である。
操作部４０５は、ユーザによる入力操作を受け付ける。
表示部４０６は、画像認識装置２０の情報を表示する。
ネットワークＩ／Ｆ４０７は、画像認識装置２０と、外部の機器とを接続する。

図５は、本実施形態における画像認識装置２０の機能構成等の一例を示す図である。
撮影部５００は、カメラ１０に相当し、識別対象画像を取得する。
本実施形態の画像認識装置２０は、入力部５０１、存在確率分布推定部５０２、識別部５０４を有する。更に、画像認識装置２０は、記憶部として存在確率分布推定用辞書保持部５０３、認識用辞書保持部５０５を有している。なお、存在確率分布推定用辞書保持部５０３及び認識用辞書保持部５０５は、不揮発性の記憶装置として計算機２０と接続された構成としてもよい。画像認識装置２０が有するこれらの各機能の詳細については、図６等を用いて後述する。

図６は、本実施形態における処理の一例を示すフローチャートである。
Ｓ１１０で、入力部５０１は、撮影部５００によって撮影された識別対象画像及びその際に得られた撮影情報を入力データとして受信する。
Ｓ１２０で、存在確率分布推定部５０２は、Ｓ１１０において入力された撮影情報に基づいて、存在確率分布推定用辞書保持部５０３に保持されている辞書（学習情報）を用いて識別対象画像の所定の位置毎に各クラスの存在確率分布を推定する。なお、存在確率分布は、各クラスの存在度合の分布に係る分布情報の一例である。存在確率分布推定部５０２は、推定した存在確率分布に関する情報（以下、単に存在確率分布という）を識別部５０４に送信する。辞書の詳細については、図８等を用いて後述する。
Ｓ１３０で、識別部５０４は、Ｓ１１０で入力された識別対象画像の各画素のクラスを識別する。識別部５０４は、前記識別の際に、認識用辞書保持部５０５に保持されている識別器と、Ｓ１２０で推定された存在確率分布とを用いて識別を行う。

次に、図６に示したフローチャートに従って、各処理のより具体的な処理について述べる。
Ｓ１１０で、入力部５０１は、図１で示したような対象のシーン３０を捉えた識別対象画像及びその際に得られた撮影情報を撮影部５００から取得する。この識別対象画像及び撮影情報は、予め取得されて外部装置に記憶されていてもよい。この場合、入力部５０１は、前記識別対象画像及び前記撮影情報を前記外部装置から取得する。
ここで、撮影情報の詳細について説明する。本実施形態では、撮影情報をＰｈ_kとおく。ｋは撮影情報を表すインデックスである。撮影情報の一例として、撮影部５００がフォーカスを合わせる際に得ることができる距離情報について説明する。
図７は、識別対象画像４０に対して被写体距離を得る測距点４２の一例を示す図である。
測距点４２は、測距枠４１の各分割領域の中心点となる。同一分割領域内の中心点以外の領域では距離情報を得ることができないので、前記中心点以外の領域における距離は、中心点の距離と同じ値であるものとする。また、前記中心点以外の領域における距離は、線形補間等の補間方法で補間した値としてもよい。このようにして、識別対象画像４０の各画素の位置に対応した被写体距離を得ることができる。ここでは、各画素の位置に対応した被写体距離をＰｈ₁（ｘ，ｙ）とおく。撮影部５００は、その他の撮影情報Ｐｈ_k（ｘ，ｙ）も同様に計算しておく。なお、撮影部５００は、色温度、測光値等のシーンに対応して一意に決定される情報に関して、全ての画素の位置で同じ値となるように設定しておく。本実施形態では撮影部５００がフォーカスを合わせる際に得ることができる距離情報について説明したが、撮像センサーの他に、測距用のセンサーを取り付けて画像撮影の際に距離情報を得るようにしてもよい。

図６の説明に戻る。
Ｓ１２０で、存在確率分布推定部５０２は、Ｓ１１０において入力された撮影情報Ｐｈ_k（ｘ，ｙ）に基づいて、識別対象画像の所定の位置毎に各クラスの存在確率分布を推定する。本実施形態では、各画素の位置に対応した各クラスの存在確率分布をＰｃ（ｘ、ｙ）とおく。ここで、ｃはクラスカテゴリーを表すインデックスである。
本実施形態では、式１のように撮影情報を入力として、出力を各クラスの存在確率とする設定関数ｇ_cをクラス毎に予め学習しておき、記憶領域に記憶しておく。設定関数ｇ_cの学習方法に関しては後述する。なお、本実施形態では撮影情報を入力とする設定関数を一つ用いる例について説明するが、ＧＰＳや撮影日時等の撮影情報毎に設定関数を記憶領域に記憶しておいてもよい。そして、存在確率分布推定部５０２は、それらの撮影情報に対応する設定関数を選択して存在確率分布を推定するようにしてもよい。
各画素の位置に対応した各クラスの存在確率Ｐｃ（ｘ、ｙ）は以下の式１によって推定される。

また、識別対象画像から各画素において得ることができる輝度値や特徴量等の情報をＩ（ｘ、ｙ）とおき、式２として識別対象画像から得ることができる情報を追加するようにしてもよい。

また、本実施形態で用いる撮影情報は式３のようにある撮影情報の差分等であってもよい。

式３において、α、βは予め定められた定数である。これにより、α、βで定義された距離離れた画素との撮影情報の類似性を見ることができる。例えば、式４のようにある定数Ｙを定義するようにしてもよい。

例えば、撮影情報を距離情報とし、Ｙ＝０とすれば、Ｙ＝０の位置と、画像の上部との距離の差分となる。そのため、画像上部の画素のクラスカテゴリーがｓｋｙカテゴリーである場合、ｓｋｙカテゴリーでない場合と比べて、画像認識装置２０が参照している画素がｓｋｙカテゴリーであれば距離の差分値が小さくなる確率が高くなる。一方、画像上部の画素のクラスカテゴリーがｓｋｙカテゴリーでない場合、ｓｋｙカテゴリーである場合と比べて、距離の差分値が大きくなる確率が高くなる。即ち、画像認識装置２０は、クラスカテゴリーによっては距離値の差分によって同一カテゴリーか否かを推定することができるようになる。
画像認識装置２０は、この設定関数ｇ_cを用いて存在確率を計算することによって、複数の撮影情報を反映したカテゴリーの存在確率を推定することができる。例えば、色温度、測光値が他の画素より高く、被写体距離が他の画素より遠い画素のｓｋｙカテゴリーの存在確率は高くなる。その他、他の領域に比べて著しく暗い領域は、逆光領域である可能性が高くなるため、ｓｋｙカテゴリーではなく人体等の主被写体である確率が高くなる。

Ｓ１３０で、識別部５０４は、Ｓ１１０において入力された識別対象画像の各画素のクラスを識別する。識別部５０４は、Ｓ１２０で推定された存在確率分布と、認識用辞書保持部５０５に保持されている識別器とを用いて各画素のクラスを識別する。識別器は画像情報を用いて学習されている。より具体的な学習方法、画像情報については後述する。
本実施形態では、式５のように画像情報を入力として、出力を各クラスの事後確率とする識別器を用いる。ここで、各画素の位置に対応する画像情報、即ち、特徴量をＦ（Ｉ、ｘ、ｙ）、事後確率をＰ_c|F=F(I,x,y)とおく。Ｉは識別対象画像である。また、画像情報を入力とし、出力を尤度とする関数（識別器）をＬ_c（Ｆ（Ｉ、ｘ、ｙ））とおけば、式５のようになる。

識別部５０４は、識別器によって求められた尤度と、存在確率とから各画素の事後確率を計算し、式６にあるように各画素で最も高い事後確率のクラスを割り当てることで、領域分割及びクラス識別を実現する。

式６において、Ｓｃはクラスの集合を示していて、クラス数をＮとする。識別部５０４は、識別対象画像の全画素に対して同様の処理を行う。

次に、本実施形態で使用する辞書を学習するフローについて説明する。
図８は、本実施形態における学習装置３００の機能構成の一例を示す図である。なお、学習装置３００のハードウェア構成は、図４と同様とする。ここでは、図５の画像認識装置２０とは別に学習装置３００が構成されているものとするが、画像認識装置２０内に学習装置３００が構成されていてもよい。即ち、ＣＰＵ４０１がＲＯＭ４０３やＨＤ４０４等に格納されたプログラムを実行することにより、学習装置３００の機能構成及び学習装置３００に係るフローチャートの処理が実現されるようにしてもよい。
学習装置３００は、学習データ設定部３０１、存在確率分布推定部３０２、認識用辞書学習部３０３を有する。更に、学習装置３００は、記憶部として学習用データ保持部３０４、存在確率分布推定用辞書保持部５０３、認識用辞書保持部５０５を有している。学習装置３００が有するこれらの各機能の詳細については、図９等を用いて後述する。

図９は、本実施形態における学習に関する処理の一例を示すフローチャートである。
Ｓ９１０で、学習データ設定部３０１は、学習に用いる学習データを設定する。本実施形態では学習データとして、図１０に示されるような画像５０と、その各画素のクラス名が定義されているグランドトゥルース５１とがあればよい。また、学習データの各画素のカメラ情報が必要となる。Ｓ９１０で、学習データ設定部３０１は、学習用データ保持部３０４に保持されている学習用データの中で学習に使用するデータを設定する。
Ｓ９２０で、存在確率分布推定部３０２は、Ｓ９１０において設定された学習データを用いて存在確率分布を推定する設定関数ｇ_cを学習する。存在確率分布推定部３０２は、設定関数ｇ_cを回帰学習によって得ることができる。回帰学習の手法としては、ＳＶＲ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｒｅｇｒｅｓｓｉｏｎ）や回帰木（Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅ）等、様々な手法があるが、何れの手法を用いてもよい。また、存在確率分布推定部３０２は、設定関数ｇ_cをテーブルとして設定してもよい。

回帰学習で学習する設定関数ｇ_cでは、式１に示すように、入力情報はカメラ情報となり、出力情報は入力されたクラスに対する存在確率となる。本実施形態における学習は学習データの各画素の撮影情報Ｐｈ_k（ｘ，ｙ）に対して各クラスカテゴリーである確率Ｐｃ（ｘ、ｙ）を推定すればよく、学習装置３００は、各画素の撮影情報と、その画素のクラスカテゴリーとを学習データから抽出する。
図７の画像を例により具体的に説明する。図７のように各測距点の距離値が得られている場合、距離値が無限遠の場合は距離値が無限遠でない場合と比べてｓｋｙカテゴリーの存在確率が高くなる。また、距離値が他の測距点に比べて近い場合は、遠い場合と比べてｂｏｄｙカテゴリーの存在確率が高くなる。それ以外の値の場合、ｓｋｙカテゴリー以外のカテゴリーの存在確率が同程度となる。学習装置３００は、以上のような存在確率を撮影情報から推定する設定関数を学習する。

Ｓ９３０で、認識用辞書学習部３０３は、入力情報を画像情報（特徴量）として、識別対象画像の各画素のクラス尤度を出力する識別器を学習する。学習データとしては、Ｓ９２０と同様に、図１０に示されるような各画素に対して一意にクラス名を与えたデータが使用される。
識別器の学習手法としては、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓ等の手法を用いればよい。識別器に用いる画像情報（特徴量）としては、各画素の色特徴やテクスチャ特徴等を用いればよい。例えば、ＲＧＢ、ＨＳＶ、Ｌａｂ、ＹＣｂＣｒ色空間の各成分、Ｇａｂｏｒ ｆｉｌｔｅｒ、ＬｏＧのフィルタ応答を用いるとする。色特徴は、４（色空間）×３（成分）の１２次元となる。また、フィルタ応答に関してはＧａｂｏｒ ｆｉｌｔｅｒ、ＬｏＧフィルタの数に対応した次元数となる。識別器の学習の際、学習装置３００は、クラス毎に学習データの中から正事例と、負事例とを選択して、その正事例、負事例を識別する識別器を学習する。

以上、本実施形態によれば、画像認識装置２０は、撮影情報に基づいて各クラスの存在確率分布を推定することにより、識別対象画像の各領域のクラスを精度よく識別することができるようになる。これにより、画像認識装置２０による領域分割精度が向上する。

＜実施形態２＞
本実施形態における画像認識装置２０は、実施形態１とは異なり、上述したクラスの識別を画素毎に行うのではなく、識別対象画像を予め小領域に分割しておき、前記分割した小領域毎にクラスの識別を行う。画像認識装置２０は、予め小領域に分割してから識別を行うことで、局所的なクラスカテゴリーの誤認識を防ぐことができる。そのために、画像認識装置２０は、撮影情報又はその撮影情報を用いて推定する各クラスの存在確率分布を小領域毎に推定する。例えば、画像認識装置２０は、撮影情報により距離情報が得られている場合、小領域毎の距離の変化を見ることができるため、大きな変化を捉えることができる。より具体的にいうと、画像認識装置２０は、図１１に示すように、撮影された識別対象画像１００の小領域１０１のクラスを識別する。図１１は、識別対象画像の一例を示す図である。ここで、小領域とは、画像中における１画素以上であって所定値以下の画素で構成される領域を意味する。小領域の作成方法（分割方法）については、図１３等を用いて後述する。
図１２は、本実施形態における画像認識装置２０の機能構成等の一例を示す図である。
本実施形態における画像認識装置２０は、図５に示した機能構成に加えて領域分割部５０６を有している。領域分割部５０６の詳細な説明については、図１３等を用いて後述する。その他の構成については、図５と同様であるため説明を省略する。

図１３は、本実施形態における画像認識装置２０が領域分割をして各領域のクラスを識別する処理の一例を示すフローチャートである。
Ｓ２１０の処理は、Ｓ１１０の処理と同様であるため説明を省略する。
Ｓ２２０で、領域分割部５０６は、Ｓ１１０において入力された識別対象画像を小領域に分割する。例えば、領域分割部５０６は、非特許文献３に記載されているようなＳＰ（スーパーピクセル）と呼ばれる小領域に分割する。そして、領域分割部５０６は、領域分割の結果を識別部５０４に送信する。
Ｓ２３０で、存在確率分布推定部５０２は、Ｓ１２０の処理とほぼ同様の処理を行うが、Ｓ２２０で分割された小領域毎にクラスを推定する。より具体的にいうと、存在確率分布推定部５０２は、領域内の各画素に対して、式７のように存在確率を算出して領域内の画素数で平均化すればよい。式７のＰｃ（ｘ、ｙ）は、実施形態１と同様に式１又は式２から算出される。Ｒは小領域を示しており、ｉはある１つの小領域を表すインデックスである。また、Ｅは平均を示す。

また、存在確率分布推定部５０２は、存在確率ではなく撮影情報を小領域毎に平均してもよい。その場合、存在確率分布推定部５０２は、式８のように各撮影情報を平均化する。

そして、各クラスの存在確率は式９のように推定される。

これにより、存在確率分布推定部５０２は、実施形態１と異なり撮影情報を小領域内で平均化するため、ノイズロバストとなり大きな変化を捉えることができる。

Ｓ２３０で、識別部５０４は、各小領域のクラスを識別する。実施形態１と同様に、識別器として、ＳＶＭやＲａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓ等を用いればよい。また、識別器に用いる特徴量は各領域から抽出される。例えば、実施形態１と同様に、ＲＧＢ、ＨＳＶ、Ｌａｂ、ＹＣｂＣｒ色空間の各成分、Ｇａｂｏｒ ｆｉｌｔｅｒ、ＬｏＧのフィルタ応答を用いるとする。また、学習装置３００は、領域毎に特徴づけを行うため、各小領域内の画素毎に得ることができる特徴量から統計量を求める。用いる統計量は、平均、標準偏差、歪度、尖度の４つとする。歪度は分布の非対称性の度合いを示す統計量であり、尖度は分布が平均の近くに密集している度合いを示す統計量である。したがって、色特徴は４（色空間）×３（成分）×４（統計量）の４８次元となり、テクスチャ特徴の次元数は（フィルタ応答数）×４（統計量）となる。また、この他に小領域の重心座標や小領域の面積等を特徴量としてもよい。
識別部５０４は、識別器によって求められた尤度と、各小領域の存在確率とから、式１０にあるように各小領域で最も高い事後確率のクラスを割り当てることで、各小領域のクラス識別を実現する。

識別部５０４は、識別対象画像の全小領域に対して同様の処理を行う。また、ここでは、識別部５０４が領域毎にクラス識別を行うようにしたが、実施形態１と同様に画素毎に識別を行って、小領域内で平均するようにしてもよい。その場合はまず、識別部５０４は、式１１のように小領域内でクラス毎に事後確率の和を計算する。

次に、識別部５０４は、式１２のように各領域において最大の事後確率をもつクラスを割り当てる。

以上、本実施形態によれば、画像認識装置２０は、識別対象画像を予め小領域に分割してから撮影情報に基づいた存在確率分布を推定する。そして、画像認識装置２０は、前記推定した存在確率分布を利用してクラス識別を行うことで、より精度よくクラス識別を行うことができる。これにより、画像認識装置２０による領域分割精度が向上する。

＜実施形態３＞
本実施形態における画像認識装置２０は、撮影情報を用いて各クラスの存在確率分布を推定するだけではなく、画像情報及び撮影情報の少なくとも１つを用いて各画素間の特徴量の類似度を求め、クラスの識別の際に前記類似度を示す類似度情報を利用する。これにより、画像認識装置２０は、更に領域分割及びクラス識別精度を向上させることができる。
画像認識装置２０は、類似度を利用することにより、対象とする画素に対して予め定められた近傍の画素の情報も考慮して識別を行うことができるため、領域分割及びクラス識別精度が向上する。本実施形態では実施形態１と同様に画素単位で識別を行う手法に関して説明を行うが、実施形態２と同様に予め領域分割された小領域毎に識別するようにしてもよい。
図１４は、本実施形態における画像認識装置２０の機能構成等の一例を示す図である。
本実施形態における画像認識装置２０は、図５に示した機能構成に加えて類似度推定部５０７を有している。類似度推定部５０７の詳細については、図１５等を用いて後述する。その他の構成については、図５と同様であるため説明は省略する。

図１５は、本実施形態における画像認識装置２０が、各画素間の類似度を利用して領域分割及び各領域のクラス識別をする際の処理の一例を示すフローチャートである。
Ｓ３１０の処理は、Ｓ１１０の処理と同様であるため説明を省略する。
Ｓ３２０の処理は、Ｓ１２０の処理と同様であるため説明を省略する。
Ｓ３３０で、類似度推定部５０７は、画像情報及び撮影情報の少なくとも１つを用いて各画素間の類似度を算出する。類似度推定部５０７は、推定した類似度に関する情報（以下、単に類似度という）を識別部５０４に送信する。Ｓ３３０の処理の詳細については後述する。Ｓ３３０で、類似度推定部５０７が画像情報のみを利用する場合には、入力部５０１から画像情報のみが入力され、撮影情報のみを利用する場合には撮影情報のみが入力され、両方を利用する場合には両方の情報が入力される。

Ｓ３４０で、識別部５０４は、Ｓ３１０で入力された識別対象画像を認識用辞書保持部５０５に保持されている識別器を用いて各画素のクラスを識別する。その際に、識別部５０４は、Ｓ３２０で推定された存在確率分布、入力画像から得ることができる画像情報及びＳ３３０で推定された画素間の類似度に基づいて、各画素のクラスを識別する。Ｓ３４０の処理の詳細については後述する。
次に、図１５に示したフローチャートに従って、Ｓ３３０の処理及びＳ３４０の処理についてより具体的に説明する。
Ｓ３３０で、類似度推定部５０７は、画像情報及び撮影情報の少なくとも１つを用いて各画素間の類似度を算出するが、本実施形態では類似度をＧａｕｓｓｉａｎカーネルで表現する。類似度推定部５０７が類似度を計算する画素の位置をｘ_i、ｘ_jとおき、それぞれの画素の位置で得ることができる画像情報又は撮影情報（特徴量）をｆ_i、ｆ_jとおき、画素間の類似度をＳ（ｆ_i、ｆ_j）とおけば、式１３のように定義される。

ここでは類似度を定義する画像情報（特徴量）として、画素の位置ｐ、色成分ベクトルＣｏｌｏｒを用いたが、撮影情報を用いることもできる。その場合は、Ｓ３１０で入力された撮影情報Ｐｈ_k（ｘ_i）、Ｐｈ_k（ｘ_j）を利用する。その場合、式１４のように定義することができる。

また、画像情報及び撮影情報を合わせて式１５のように表すこともできる。

なお、θα、θβ、θγは、ハイパーパラメータで後述する識別器の学習の際にクロスバリデーションによって求めてもいいし、ユーザが決定してもよい。ここでは撮影情報の中から、１つを選択して類似度を推定する例について説明したが、更に他の撮影情報を利用する場合はハイパーパラメータを設定して追加すればよい。

Ｓ３４０で、識別部５０４は、識別器を用いて各画素のクラスを識別する。本実施形態では非特許文献２に開示されているような条件付き確率場（ＣＲＦ）を用いて説明する。
条件付き確率場とは、構造化データのラベリング及びセグメンテーションを扱うことのできる確率的なフレームワークである。条件付き確率場は、要素（ノード）自体のポテンシャル（Ｕｎａｒｙポテンシャル）と、要素（ノード）間の関係の度合を表すポテンシャル（Ｐａｉｒｗｉｓｅポテンシャル）との和の最適化を行う。ここで、観測データをＸ＝｛ｘ₁、ｘ₂、・・・、ｘ_M｝とする。Ｍは全観測データ数であり、本実施形態の場合、画素数に対応する。関連するクラスラベルをＹ＝｛ｙ₁、ｙ₂、・・・、ｙ_M｝とする。Ｙ_iの取り得る値をＣ＝｛ｃ₁、ｃ₂、・・・、ｃ_N｝とする。Ｎはクラスカテゴリー数を表している。条件付き確率場（Ｘ，Ｙ）は式１６のようにギブス分布で表される。

ここで、Ｚ（Ｘ）は分布を正規化するための分配関数を表し、Ｅ（Ｙ）は以下の式１７で表されるＧｉｂｂｓエネルギーである。

式１７で、Ψ_u（ｙ_i）は、各ノードのポテンシャル（Ｕｎａｒｙポテンシャル）を表し、Ψ_p（ｙ_i，ｙ_j）は、ノード間の関係度のポテンシャル（Ｐａｉｒｗｉｓｅポテンシャル）を表す。Ｕｎａｒｙポテンシャルは各ノードに割り当てられ、本実施形態においては各画素に割り当てられる。Ｕｎａｒｙポテンシャルは以下の式１８で定義する。

ｐｒｏｂ（ｙ_i）はｉ番目の画素がクラスカテゴリーｙ_iである確率を表す。確率値は実施形態１と同様にＳＶＭを用いて識別した際の尤度に存在確率を乗算した値を、シグモイド関数を用いて変換することで近似的に求められる値である。

次に、Ｐａｉｒｗｉｓｅポテンシャルについて説明する。条件付き確率場では図１６に示すようにノード間の結合を定義する必要がある。図１６は、ノード間の結合の一例を示す図である。図１６では、各ノード６０と、ノード間の結合６１とが示されている。図１６の（ｂ）では隣接ノードのみが結合しており、図１６の（ｃ）では全ノードが結合している。本実施形態では図１６の（ｃ）に示されるような全結合条件付き確率場を利用する。Ｐａｉｒｗｉｓｅポテンシャルは以下の式１９のように表される。

ここで、μ（ｙ_i，ｙ_j）はラベル間の適合性を表す関数で、例えば式２０のＰｏｔｔｓモデルを用いる。

この場合は、類似度の高いノードに異なるラベルを与えると、ペナルティが与えられる。本実施形態においては、μ（ｙ_i，ｙ_j）としてクラス共起行列を学習する。これは、あるクラスカテゴリー同士が一緒に存在しやすい又は存在しにくいという画像中の物体の共起という情報を利用する方法である。例えば、人と車、車と自転車、人と馬等は一緒に存在しやすいが、馬とバス、羊とバイクは一緒に存在しにくい等である。学習に際しては、例えば（クラス数）×（クラス数）の行列を用意して、学習画像において同画像中に共起するクラスカテゴリーのセルに投票していけばよい。クラス共起行列μのクラスカテゴリーＣ_iと、クラスカテゴリーＣ_jの共起確率μ（Ｃ_i，Ｃ_j）とは、式２１のようになる。

ここでγ、δは共起確率を正規化するための正の定数であり、学習の際に予め決定しておく。
次に、ｋ（ｆ_i、ｆ_j）は特徴量で定義される関数であり、式１３から式１５までで定義した類似度を用いて、式２２のように表される。

式２２の第２項はＳｍｏｏｔｈｎｅｓｓ ｋｅｒｎｅｌである。式２２では画素の位置のみを考慮したが、撮影情報を考慮してもよい。
撮影情報を考慮する場合のｋ（ｆ_i、ｆ_j）は式２３のように表せる。

ω₁、ω₂は各カーネルの重みであり、θγ、θγはハイパーパラメータである。これらは、先のθと同様に学習の際にクロスバリデーションによって求めればよい。これらの式によって定義された条件付き確率場に対して式２４で表されるＭＡＰ推定が行われ、各ノードのクラスが決定される。

上式において、Ｐ（Ｙ｜Ｘ）について厳密解を求めるためには、全てのクラスカテゴリーの組み合わせをＬ^N通り計算する必要がある。しかし、非特許文献２に開示されている平均場近似と、高次元フィルタリングとを組み合わせた手法を用いれば、画素数Ｍに対して線形のオーダーまで計算コストをおさえることができる。
以上の処理により、識別部５０４は、各画素をノードとした条件付き確率場を定義してＭＡＰ推定を行うことで識別対象画像の全画素のクラスを識別し、領域分割することができる。

本実施形態の処理に関して条件付き確率場を用いて説明したが、非特許文献１にあるようなＲｅｃｕｒｓｉｖｅ−Ｎｅｕｒａｌ−Ｎｅｔｗｏｒｋｓ（ＲＮＮｓ）等の別の識別器を用いてもよい。その場合は推定された類似度を識別器の特徴量の１つとして利用すればよい。このように、本実施形態における画像認識装置２０は、撮影情報に基づいて各クラスの存在確率分布を推定し、更に各画素間の類似度を利用することでより精度よく識別対象画像の各画素のクラスを識別することができ、領域分割精度を向上させることができる。
また、本実施形態ではノードを画素単位に設定して説明を行ったが、予め領域分割を行い、各領域をノードとして条件付き確率場を用いて各領域のクラスを識別するようにしてもよい。その場合、図１７に示されているような機能構成を有する画像認識装置２０を用いる。図１７は、本実施形態における画像認識装置２０の機能構成等の一例を示す図である。図１７に示される画像認識装置２０の機能構成は、図１４に示される機能構成に加えて、更に領域分割部５０６を有している。

図１８は、図１７の機能構成を有する画像認識装置２０が実行する処理の一例を示すフローチャートである。
図１８における各処理については上述したため詳細な説明は省略するが、Ｓ４４０で、類似度推定部５０７は、画素間の類似度を求めるのではなく、領域間の類似度を求める。ここでは、各領域の撮影情報から得ることができる特徴量のヒストグラムの類似度を基に類似度推定部５０７が領域間の類似度を求める手法について説明する。
それぞれの領域をＲ_i、Ｒ_j、領域間の類似度をＳ（Ｒ_i、Ｒ_j）とおく。そして、領域Ｒ_iの撮影情報Ｐｈ_k（ｘ、ｙ）（ここでのｘ、ｙは領域Ｒ_iに含まれる画素を示している）のヒストグラムをｈｉｓｔ（Ｒ_i、ｌ）とおき、ビン数をＬ、あるビンを表すインデックスをｌ（ｌ＝１、２、・・・Ｌ）とおく。その場合、領域間の類似度Ｓ（Ｒ_i、Ｒ_j）は以下の式２５のように表される。

また、類似度を算出する上述以外の方法として、類似度推定部５０７は、ヒストグラム間の距離を求めて類似度を算出する方法を用いてもよい。また、その他にも、類似度推定部５０７は、複数の撮影情報を用いてもよいし、画像から得られる特徴量を用いてもよい。

以上、本実施形態によれば、画像認識装置２０は、各画素間又は予め分割された領域間における特徴量の類似度を利用してクラスを識別することができる。これにより、画像認識装置２０は、より精度よくクラスを識別することができ、領域分割制度を向上させることができる。

＜実施形態４＞
本実施形態における画像認識装置２０は、撮影情報を用いて各クラスの存在確率分布を推定するだけではなく、画像情報及び撮影情報の少なくとも１つを用いて各領域間の類似度を求め、類似度を利用して分割された小領域同士を統合する。そして、画像認識装置２０は、統合した統合領域のクラスを、識別器を用いて識別する。
図１９は、本実施形態における画像認識装置２０の機能構成等の一例を示す図である。
図１９に示される画像認識装置２０の機能構成は、図５に示される機能構成に加えて、更に、領域分割部５０６、類似度推定部５０７、領域統合部５０８を有している。これらの機能の詳細な説明については、図２０等を用いて後述する。画像認識装置２０は、類似度を利用して小領域を統合してからクラス識別を行うことで、小領域のみで識別する場合に比べて、ロバスト性を向上させることができる。
図２０は、画像認識装置２０が識別対象画像を領域分割し、領域間の類似度を基に分割領域を統合し、その各統合領域のクラスを識別する処理の一例を示すフローチャートである。
Ｓ５１０の処理は、Ｓ２１０の処理と同様であるため説明を省略する。
Ｓ５２０の処理は、Ｓ２２０の処理と同様であるため説明を省略する。
Ｓ５３０で、類似度推定部５０７は、式２１で定義されるような領域間の類似度を求める。類似度推定部５０７は、推定した類似度を領域統合部５０８に送信する。

Ｓ５４０で、領域統合部５０８は、Ｓ５３０で推定された領域間の類似度に基づいて、Ｓ５２０で生成（分割）された隣接する小領域を統合する。領域統合部５０８による領域統合の一例を図２１に示す。図２１は、領域分割及び領域統合の一例を示す図である。
領域統合部５０８は、識別対象画像１００の小領域１０１のうち隣接していて、かつ、類似度が予め定められた閾値よりも高い小領域同士を統合する。図２１の（ｃ）には、統合された統合領域１０２が示されている。より具体的にいうと、領域統合部５０８は、壁や空の領域が小領域に分割されてしまった場合に、小領域中の距離値の平均や分散を利用して統合することができる。領域統合部５０８は、小領域のうち隣接している領域同士の類似度を算出して、その類似度の値が予め定められた閾値より大きい場合に統合する。領域統合部５０８は、統合した統合領域の情報（以下、単に統合領域という）を識別部Ａ２３０に送信する。
Ｓ５５０で、存在確率分布推定部５０２は、Ｓ５４０で統合された統合領域の存在確率を推定する。推定方法は実施形態２と同様であるため、説明を省略する。
Ｓ５６０で、識別部５０４は、Ｓ５５０で推定された存在確率分布を利用して、各統合領域のクラスを識別する。推定方法は実施形態２と同様であるため、説明を省略する。

以上、本実施形態によれば、画像認識装置２０は、撮影情報によって推定される存在確率分布の他に、類似度を利用して小領域を統合することで、領域分割精度をより向上させることができる。

＜実施形態５＞
本実施形態における画像認識装置２０は、撮影情報を用いて各クラスの存在確率分布を推定するだけではなく、シーン推定を行いそのシーン推定結果（シーン情報）も用いて各クラスの存在確率を推定する。ここで、シーンとは、屋外、夜景、風景、ポートレートといった撮影シーンでもよいし、オフィス、雪山、海といった撮影されている場面を表すシーンでもよい。
図２２は、本実施形態における画像認識装置２０の機能構成等の一例を示す図である。
図２２に示される画像認識装置２０の機能構成は、図５に示される機能構成に加えて、更に、シーン推定部５０９、記憶部としてシーン推定用辞書保持部５１０を有している。これらの機能の詳細な説明については、図２３等を用いて後述する。また、画像認識装置２０は、物体検出結果も用いて各クラスの存在確率を推定することもできる。画像認識装置２０が物体検出、特に顔検出、人体検出の結果を用いて各クラスの存在確率を推定する方法についても後述する。

図２３は、本実施形態における画像認識装置２０がシーン推定結果を利用して、領域分割及び各領域のクラス識別をする際の処理の一例を示すフローチャートである。
Ｓ６１０の処理は、Ｓ１１０の処理と同様であるため説明を省略する。
Ｓ６２０で、シーン推定部５０９は、画像情報及び撮影情報の少なくとも１つを用いて識別対象画像のシーンを推定する。ここで、識別器を用いたシーン推定方法について説明する。より具体的には、Ｂａｇ−ｏｆ−ｗｏｒｄｓ手法を用いたＳＶＭを利用した手法について説明する。Ｂａｇ−ｏｆ−ｗｏｒｄｓ手法とは、特徴量をＶｉｓｕａｌＷｏｒｄ化して、その各ＶｉｓｕａｌＷｏｒｄが画像中にどれくらい表れるかという頻度ヒストグラムを識別器で学習して特徴量とする手法である。

ＶｉｓｕａｌＷｏｒｄ化は、例えば、ｋｍｅａｎｓ等によって行われる。ＶｉｓｕａｌＷｏｒｄ化する特徴量には、画像情報又は撮影情報を用いればよい。例えば、画像情報なら画像からグリッド状に抽出したＳＩＦＴ特徴量や、撮影情報なら各測距点で得られた距離値等を利用する。両方の情報を利用する場合には、各情報から得ることができる特徴量を頻度ヒストグラム化して、そのヒストグラムを連結して特徴量として識別器で学習すればよい。また、シーン推定部５０９は、ＧＰＳや撮影日時等の撮影情報を用いる場合はまず、それらの撮影情報によって識別器を選択して、選択した識別器によってシーンを識別してもよい。それによって、シーン推定部５０９は、ＧＰＳや撮影日時に対応したシーンを識別することができる。
識別器の学習データは画像に対して、定義したシーンのうち１つのシーン名が付与されているデータを用意すればよい。シーン推定部５０９は、認識の際、シーン推定の際に１つのシーンに決定してもよいが、１つのシーンに決定する必要はなく、本実施形態では定義した各シーンの尤度を推定する。シーン数をＮＳｃｅｎｅとすると、シーン推定部５０９は、各シーンの尤度を要素とする１×ＮＳｃｅｎｅの行列になるシーン尤度行列を出力する。シーン推定部５０９は、推定結果であるシーン尤度行列の情報（以下、単にシーン尤度行列という）を存在確率分布推定部５０２に送信する。

Ｓ６３０で、存在確率分布推定部５０２は、Ｓ６２０で推定されたシーン推定結果及び撮影情報を利用して各クラスの存在確率分布を推定する。本実施形態では、撮影情報をＰｈｋとおく。ｋは撮影情報を表すインデックスである。存在確率分布推定部５０２は、Ｓ６１０で入力された撮影情報Ｐｈｋ（ｘ，ｙ）に基づいて識別対象画像の所定の位置毎に各クラスの存在確率を推定する。本実施形態において、各画素の位置に対応した各クラスの存在確率をＰｃ（ｘ、ｙ）とおく。ここで、ｃはクラスカテゴリーを表すインデックスである。
本実施形態では、実施形態１と同様に撮影情報を入力として、出力を各クラスの存在確率とする設定関数ｇｃを予め学習しておく。そのため、各画素の位置に対応した各クラスの存在確率Ｐｃ（ｘ、ｙ）は、以下の式２６によって推定される。

ここで、Ｐｃ（Ｓｃ）とは、Ｓ６２０で推定されたシーン尤度行列から求められるクラスｃの存在確率である。例えば、シーン推定結果において"屋外"の尤度が他に比べて高いとする。その場合、ｓｋｙカテゴリーの存在確率が他の存在確率よりも高くなる。そのため、予め学習の際に各シーンの学習画像を構成している各クラスカテゴリーの頻度を集計しておく必要がある。より具体的にいうと、各シーンの学習画像群の各クラスカテゴリーの画素数を集計して頻度を求めておけばよい。各クラスの存在確率Ｐｃ（ｘ、ｙ）は、以下の式２７のように定義してもよい。

本実施形態においてＰｃ（Ｓｃ）は、学習された各シーンのクラスカテゴリーｃの尤度と、各シーン確率との積和により求められる。学習データとしては実施形態１と同様に図７のような各画素のクラスカテゴリーが定義されているデータを用意すればよいが、加えて対象画像５０のシーン名を定義しておく必要がある。
以上により、存在確率分布推定部５０２は、識別対象画像の所定の位置毎に各クラスの存在確率分布を推定することができる。
Ｓ６４０の処理は、Ｓ１３０の処理と同様であるため説明を省略する。
以上の処理により、画像認識装置２０は、シーン推定結果も考慮して推定した各クラスの存在確率を利用することで領域分割精度を向上させることができる。

また、シーン推定部５０９の他に物体検出器を利用して各クラスの存在確率を推定してもよい。
その場合における画像認識装置２０の機能構成は、図２４のようになる。図２４は、物体検出器を利用して各クラスの存在確率を推定する画像認識装置２０の機能構成等の一例を示す図である。図２４に示される画像認識装置２０の機能構成は、図２２に示される機能構成に加えて、更に、物体検出部５１１、記憶部として物体検出用辞書保持部５１２を有している。
図２５は、図２４に示される機能構成を有する画像認識装置２０の処理の一例を示すフローチャートである。
Ｓ７１０及びＳ７２０の処理は、Ｓ６１０及びＳ６２０の処理と同様であるため説明を省略する。また、Ｓ７５０の処理は、Ｓ６４０の処理と同様であるため説明を省略する。
Ｓ７３０で、物体検出部５１１は、識別対象画像中の物体検出を行う。本実施形態では、図２６の（ｂ）、図２６の（ｃ）に示すような人体検出及び顔検出を利用する例について説明するが、対象物を予め設定して識別器を学習することができるものであれば他のものであってもよい。図２６は、物体検出の一例を示す図である。
各物体検出器の学習方法については説明を省略するが、例えば、非特許文献４に開示されているようなＤｅｆｏｒｍａｂｌｅＰａｒｔｓＭｏｄｅｌというモデルを定義した物体検出器を用いればよい。

Ｓ７４０で、存在確率分布推定部５０２は、Ｓ７２０及びＳ７３０において推定されたシーン推定結果、物体検出結果（検出情報）及び撮影情報を利用して各クラスの存在確率分布を推定する。存在確率分布推定部５０２は、設定関数ｇ_cを利用すれば、各画素の位置に対応した各クラスの存在確率Ｐｃ（ｘ、ｙ）を、以下の式２８又は式２９によって推定することができる。

式２８又は式２９において、Ｐｃ（Ｏ１）、Ｐｃ（Ｏ２）は、Ｓ７３０において推定された物体検出結果から求められるクラスカテゴリーの存在確率である。

本実施形態のように人体検出結果、顔検出結果を利用する場合、例えば、人物クラスカテゴリーの存在確率が他のクラスカテゴリーの存在確率に比べて高くなる。人体検出結果による人物クラスカテゴリーの存在確率をＰ_c=body（Ｏ_body）とおく。また、人物クラスカテゴリー以外のクラスの存在確率をＰ_c≠_body（Ｏ_body）とおく。例えば、図２６の（ｂ）のように人体検出結果が矩形領域で抽出される場合は、矩形領域４３内のＰ_c=body（Ｏ_body）及びＰ_c≠_body（Ｏ_body）は、式３０、式３１のように表される。

ここで、Ｐｒ（ｂｏｄｙ）には、人体検出器によるスコアを用いる。また、矩形領域４３以外のＰ_c=body（Ｏ_body）及びＰ_c≠_body（Ｏ_body）は、式３２のように表される。

また、顔検出結果による人物クラスカテゴリーの存在確率をＰ_c=body（Ｏ_face）とおく。また、人物クラスカテゴリー以外のクラスの存在確率をＰ_c≠_body（Ｏ_face）とおく。例えば、図２６の（ｃ）のように人体検出結果が矩形領域で抽出される場合は、矩形領域４４内のＰ_c=body（Ｏ_face）及びＰ_c≠_body（Ｏ_face）は、式３３、式３４のように表される。

ここで、Ｐｒ（ｆａｃｅ）には、顔検出器によるスコアが用いられる。また、矩形領域４４以外のＰ_c=body（Ｏ_face）及びＰ_c≠_body（Ｏ_face）は、式３５のように表される。

他の物体検出器の結果も同様に計算される。

以上、本実施形態によれば、画像認識装置２０は、撮影情報によって推定される存在確率分布の他に、シーン推定結果及び物体検出結果も考慮して推定した各クラスの存在確率を利用することで領域分割精度を向上させることができる。
なお、実施形態２と同様に、画像認識装置２０は、先に領域分割を行ってから、各小領域におけるクラス識別を行うようにしてもよい。また、実施形態３、実施形態４と同様に、画像認識装置２０は、類似度推定部を有していてもよく、類似度推定部によって推定された類似度を用いて小領域を統合したり、各領域におけるクラスを識別したりしてもよい。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、画像認識装置２０は、画像の領域毎に被写体の分類に関するクラスを精度よく識別することができる。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (15)

1. 被写体の撮影画像が撮影された際の撮影情報を、前記撮影画像に含まれる複数の領域それぞれで取得する取得手段と、
   前記取得手段で取得された前記撮影情報に基づいて、前記被写体の撮影画像の所定の領域毎に、被写体の分類を示す複数のクラスのうち少なくとも１つのクラスについて、存在確率を推定する推定手段と、
   前記推定手段で推定された前記存在確率と、前記撮影画像に係る画像情報とに基づいて、前記所定の領域毎に前記クラスを識別する識別手段と、
   を有することを特徴とする画像処理装置。
2. 前記取得手段は、前記撮影情報と共に前記撮影画像を取得し、
   前記推定手段は、前記取得手段で取得された前記撮影情報に基づいて、前記取得手段で取得された前記撮影画像の所定の領域毎に、前記存在確率を推定することを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、前記所定の領域を前記撮影画像の画素として、前記撮影情報に基づいて前記所定の領域毎に前記存在確率を推定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮影画像を、少なくとも１つ以上の画素で構成される領域毎に分割する分割手段を更に有し、
   前記推定手段は、前記所定の領域を前記分割手段で分割された領域として、前記撮影情報に基づいて前記所定の領域毎に前記存在確率を推定することを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。
5. 前記推定手段は、前記撮影情報と、前記存在確率との関係に関して予め記憶されている学習情報に基づいて、前記所定の領域毎に前記存在確率を推定することを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
6. 前記所定の領域の間の特徴の類似度を推定する類似度推定手段を更に有し、
   前記識別手段は、前記存在確率と、前記画像情報と、前記類似度推定手段で推定された前記類似度を示す類似度情報とに基づいて、前記所定の領域毎に前記クラスを識別することを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
7. 前記所定の領域の間の特徴の類似度を推定する類似度推定手段と、
   前記類似度推定手段で推定された類似度を示す類似度情報に基づいて、前記撮影画像における複数の前記所定の領域を統合する統合手段と、を更に有し、
   前記推定手段は、前記撮影情報に基づいて、前記統合手段で統合された領域毎に前記存在確率を推定することを特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
8. 前記類似度推定手段は、前記撮影情報と、前記画像情報とのうち少なくとも何れか１つに基づいて、前記所定の領域の間の特徴の類似度を推定することを特徴とする請求項７に記載の画像処理装置。
9. 撮影に係るシーンを推定するシーン推定手段を更に有し、
   前記推定手段は、前記撮影情報と、前記シーン推定手段で推定された前記シーンに係るシーン情報とに基づいて前記所定の領域毎に前記存在確率を推定することを特徴とする請求項１から８までのいずれか１項に記載の画像処理装置。
10. 前記シーン推定手段は、前記撮影情報と、前記画像情報とのうち少なくとも何れか１つに基づいて、前記シーンを推定することを特徴とする請求項９に記載の画像処理装置。
11. 前記撮影画像から予め設定された対象物を検出する検出手段を更に有し、
    前記推定手段は、前記撮影情報と、前記検出手段で検出された前記対象物に係る検出情報とに基づいて前記所定の領域毎に前記存在確率を推定することを特徴とする請求項１から８までのいずれか１項に記載の画像処理装置。
12. 前記検出手段は、前記撮影画像から人物の人体及び顔を前記対象物として検出することを特徴とする請求項１１に記載の画像処理装置。
13. 前記取得手段は、撮影部で撮影された前記撮影画像と、前記撮影部が前記被写体を撮影した際に取得した前記撮影情報とを取得することを特徴とする請求項１から１２までのいずれか１項に記載の画像処理装置。
14. 被写体の撮影画像が撮影された際の撮影情報を、前記撮影画像に含まれる複数の領域それぞれで取得するステップと、
    前記取得された前記撮影情報に基づいて、前記被写体の撮影画像の所定の領域毎に、被写体の分類を示す複数のクラスのうち少なくとも１つのクラスについて、存在確率を推定するステップと、
    前記推定された前記存在確率と、前記撮影画像に係る画像情報とに基づいて、前記所定の領域毎に前記クラスを識別するステップと、
    を有することを特徴とする画像処理方法。
15. コンピュータを、請求項１から１３までのいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images