JP6013241B2 - 人物認識装置、及び方法 - Google Patents

Description

本発明の実施形態は、人物認識装置、及び方法に関する。

従来、監視カメラなどで撮像された動画像データに含まれる人物の顔領域から、予め記憶された顔画像の特徴情報に基づいて人物を認識し、特定の人物の顔画像を検索する技術が提案されている。この場合、動画像データに含まれている顔領域から特徴情報を抽出し、その抽出した特徴情報と予め記憶されている特徴情報との類似性を示す指標（類似度）が高い顔画像を予め記憶された顔画像の中から検索して出力している。

特開２０１１−４８６６８号公報

しかしながら、上述した従来技術では、類似度が高い顔画像として検索された顔画像の中からどの顔画像までを確認すればよいか分かりづらかった。例えば、監視カメラで撮像された人物の顔の向きなどの条件が予め記憶されている特徴情報との照合に不利な場合は、撮像された人物とは別の人物の顔画像が上位の結果として出力され、本来検索されるべき顔画像が下位になることがある。したがって、検索された顔画像の中からどの顔画像までを確認すればよいかを分り易くすることで、見落とされることを防止できる。

上述した課題を解決するために、実施形態の人物認識装置は、画像データを入力する画像入力手段と、前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、前記検出された顔領域から顔の特徴点を検出する顔特徴点検出手段と、人物毎に、当該人物の顔の特徴を示す情報を含む人物情報を記憶する記憶手段と、前記記憶された人物情報に基づいて、前記記憶された人物の顔の特徴が前記検出された顔の特徴点と類似する順に人物を抽出する抽出手段と、前記検出された顔領域の撮像条件に基づいて、前記類似する順に抽出された人物の上位から候補とする候補数を算出する候補数算出手段と、前記類似する順に抽出された人物の上位から前記候補数に対応した人数の人物情報を出力する出力手段と、を備える。

また、実施形態の方法は、人物認識装置で実行される方法であって、画像データを入力するステップと、前記入力された画像データから人物の顔が表された顔領域を検出するステップと、前記検出された顔領域から顔の特徴点を検出するステップと、記憶手段に記憶された、人物毎に、当該人物の顔の特徴を示す情報を含む人物情報に基づいて、前記記憶された人物の顔の特徴が前記検出された顔の特徴点と類似する順に人物を抽出するステップと、前記検出された顔領域の撮像条件に基づいて、前記類似する順に抽出された人物の上位から候補とする候補数を算出するステップと、前記類似する順に抽出された人物の上位から前記候補数に対応した人数の人物情報を出力するステップと、を含む。

図１は、実施形態にかかる人物認識装置の構成を例示するブロック図である。 図２は、人物の顔向きを例示する概念図である。 図３は、本人類似度と他人類似度の頻度分布を例示する図である。 図４は、本人類似度と他人類似度の頻度分布を例示する図である。 図５は、候補数算出の処理を例示するフローチャートである。 図６は、類似度順に並べられた顔画像を例示する概念図である。 図７は、表示画面を例示する概念図である。 図８は、表示画面を例示する概念図である。 図９は、表示画面を例示する概念図である。 図１０は、分配の処理を例示するフローチャートである。 図１１は、人物認識装置のハードウエア構成を示すブロック図である。

以下、添付図面を参照して実施形態の人物認識装置、及び方法を詳細に説明する。実施形態の人物認識装置、及び方法は、街頭や建物、公共エリアなどに設置されている防犯カメラ（以下、カメラ）の映像に写り込んだ人物を、予め記憶されている人物毎の顔の特徴を示す情報を参照して検索するシステムを想定している。なお、以下の実施形態では、カメラからの画像入力を例示するが、スキャナなどで読み取った画像を入力してもよいことは言うまでもないことである。

また、本実施形態では、人物の顔の領域を検出して顔の特徴情報を利用することで課題を実現する手順を説明するが、顔以外にも人物領域全身を検出する公知技術を利用し、顔以外の画像領域を使って人物を判別する技術であれば本実施形態に記載した技術のみに限定されない。

図１は、実施形態にかかる人物認識装置１００の構成を例示するブロック図である。図１に示すように、人物認識装置１００は、入力部１０１と、検出部１０２と、特徴抽出部１０３と、特徴情報管理部１０４と、人物判定部１０５と、候補数算出部１０６と、出力部１０７とを備える。また、人物認識装置１００は、カメラ１５０から撮像された動画像に基づいて、人物Ｈの認識を行う。

カメラ１５０は、所定の領域に対して撮影を行う。例えば、カメラ１５０は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である動画像データを生成する。そして、入力部１０１は、カメラ１５０からの動画像データを入力処理する。

カメラ１５０は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ１５０は、所定の領域に存在する人物の顔画像を入力するものであり、例えばＩＴＶ（Industrial Television）カメラとする。カメラ１５０は、光学レンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して所定のフレームレートのフレーム画像データを生成し、人物認識装置１００に対して出力する。また、検索対象となる人物の画像データは、結果的にデジタルの画像データとして人物認識装置１００に入力されればよいので、デジタルスチルカメラで撮影した画像ファイルや動画ファイルをＵＳＢ（Universal Serial Bus）メモリ等の記憶媒体を経由して取り込んでもよい。

検出部１０２は、入力部１０１より入力された画像データから人物の顔が表された顔領域を検出する。具体的には、検出部１０２は、入力画像内において、画像上の輝度情報を利用して顔の領域を示す座標を求める。ここでは顔検出に適した共起に基づくＪｏｉｎｔ Ｈａａｒ−ｌｉｋｅ特徴の公知方法を利用することによって実現となるため、本手法を利用することを前提とする。

また、顔の向きや大きさにより検出された結果を示す情報は任意の形状でかまわないが、本実施形態では簡単にするために、顔領域を矩形情報で示すこととし、その角の座標を検出結果として利用することとする。その他に予め用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする方法、固有空間法や部分空間法を利用した顔抽出法などでも実現は可能である。

また、カメラ１５０で撮像された動画像の場合には検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定されるため、それらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理としては、オプティカルフローを使って検出した顔が次のフレームでどの位置にいるか対応付けする手法を利用することで実現可能であり、後述の特徴抽出部１０３では同一人物として対応付けられた複数フレームの顔領域の画像の中から検索をするのに適切な少なくとも１枚の画像を選択する方法や、最大で検出されたフレーム数までの任意の枚数の画像を利用することが可能となる。

さらに、検出部１０２は、検出された顔領域の部分の中から、目、鼻などの顔部位の位置を顔の特徴点として検出する。具体的には形状抽出とパタン照合の組合せによる顔特徴点抽出などの公知方法で実現可能である。また上記目・鼻の検出の他に口領域の検出については、高精度顔特徴点検出に基づくデジタルメイクシステムの公知技術を利用することで容易に実現が可能である。いずれの場合でも二次元配列状の画像として取り扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。また、これらの処理は１枚の画像の中から１つの顔特徴だけを抽出するには全画像に対してテンプレートとの相関値を求め、最大となる位置とサイズを出力すればよいし、複数の顔特徴を抽出するには画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔特徴を同時に見つけることも可能となる。

顔の向きの推定については顔の回転行列、顔の向き別に学習させた複数のクラス（部分空間）を利用して顔向きを推定することが可能である。

図２は、人物Ｈの顔向きを例示する概念図である。先ず、顔向きについては、図２に示すようなヨー方向（水平方向）２１、ピッチ方向（上下方向）２２、ロール方向（回転方向）２３をそれぞれθ、φ、ψ[ラジアン]とする。顔向き推定では、これらθ、φ、ψの値が求められることとなる。

特徴抽出部１０３は、検出部１０２で検出された顔領域から顔の特徴点を検出する。具体的には、特徴抽出部１０３は、検出された顔領域の部分の中から、目、鼻などの顔部位の位置を顔の特徴点として検出し、その情報を利用して顔の画像を傾きや大きさに関して一定の条件となるように正規化する。そして、特徴抽出部１０３は、その正規化画像を利用して顔の個人性を示す顔特徴情報を計算する。

なお、顔検出の説明で述べたように、１名の歩行では同一人物として対応付けられて複数フレームの顔画像を取得することが可能である。複数の顔画像の中から１フレームまたは複数フレームを使って顔の特徴点同士の類似度を計算するために、画像を選択する際には、一般的には類似度が高くなりやすい画像を優先して選択することによって登録した人物であるかどうかを判別する。

類似度が高くなりやすい指標としては、顔の向きが正面に近い状態であることや、顔が大きく映っている、無表情に近い状態、目つぶりや横目状態ではない、顔の隠ぺい物がない、顔の影ができていないといった指標をもとに選択する方法がある。顔の向きの推定については、顔の回転行列、顔の向き別に学習させた複数のクラス（部分空間）を利用して顔向きを推定することが可能である。これによって顔の角度がわかるため、顔の特徴点の一部が見えなくなるほど角度があるかどうかを推定することが可能である。顔の大きさは検出した顔画像のサイズをそのまま指標として利用できる。表情・目つぶり・横目・隠ぺい物の有無・影の有無の判別については、いずれも該当する顔画像を多数あつめ、理想的な状態かそうでないかを分類して該当クラスの平均画像、非該当クラスの平均画像をつくって入力された画像がどちらに近いか相関値の計算をすることやＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅといった判別技術で判別することが可能である。これらの指標を重みづけ加算するなどして照合に適切なフレームを優先的に選択することが可能である。また、事前にすべてのフレームの顔画像と該当する人物の登録された顔特徴情報との類似度を求めておき、重み付き線形和の式の係数を線形回帰で求めることによってどの指標が類似度に影響を与えるかの重みを計算させることで、より精度高く適切なフレームを選択することが可能となる。

顔の目や鼻といった点を顔特徴点として検出する方法としては、形状抽出とパタン照合の組合せによる顔特徴点抽出などの公知方法で実現可能である。また、顔特徴点をもとに顔画像を正規化する処理として、顔の平均３次元モデルを利用して顔の向きや状態を意図的に変動させた画像を作成することによって向きを任意の方向に補正した画像を作成する手法を適用してもよい。この場合、前述の公知方法ではなく検出する顔特徴点の数を増やすことにより正規化の精度を高めることが可能となる。

正規化された画像から個人の特徴を示す顔特徴情報を抽出する方法として、１枚の人物画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することにより顔特徴情報を取得することが可能となる。一方で同一人物に対して連続した複数の画像を利用した動画像による計算をすることでより精度の高い認識処理が行うこともできる。具体的には相互部分空間法を用いる方法で説明する。

入力部１０１より連続して得られた画像（フレーム）からｍ×ｎピクセルの画像を切り出しこれらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ＝ΦｄΛｄΦｄＴと対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。このような方法で出力された部分空間のような特徴情報を入力された画像で検出された顔に対する個人の特徴情報とする。

特徴情報管理部１０４は、人物毎に、その人物の顔の特徴を示す情報を含む人物情報を記憶する。具体的には、特徴情報管理部１０４は、人物判定部１０５で類似度を計算するときに利用する対象となるデータベースであり、検索対象となる人物ごとに顔の特徴を示す顔特徴情報を管理する。利用者が結果をみてわかりやすいように、各顔特徴情報に対応付けて、顔画像や名前、性別、年齢、身長など該当する人物に関する付随した情報を対応付けて管理することも可能である。顔特徴情報として実際に管理する内容は特徴抽出部１０３で出力されたデータそのものでよく、ｍ×ｎの特徴ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でも構わない。

人物判定部１０５は、特徴情報管理部１０４に記憶された情報に基づいて、特徴情報管理部１０４に記憶された人物の顔の特徴が特徴抽出部１０３で検出された顔の特徴点と類似する順に人物を抽出（検索）する。具体的には、人物判定部１０５は、特徴抽出部１０３で得られた入力画像の顔特徴情報と、対応する特徴情報管理部１０４で記憶された顔特徴情報との類似度の計算を行って、より類似度の高いものから順番に結果を返す処理を行う。

人物判定部１０５は、この検索処理の結果として、類似度の高いものから順番に特徴情報管理部１０４で人物を識別するために管理されている人物ＩＤ、計算結果である類似度を返す。人物判定部１０５は、それに加えて特徴情報管理部１０４で人物ごとに管理されている情報を一緒に返すようにしてもかまわないが、基本的に人物ＩＤにより対応付けが可能であるので検索処理自体では付属情報をやりとりすることはなくても実現が可能となる。

類似度としては、顔特徴情報として管理されている部分空間同士の類似度合いを示す値とする。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法では、特徴情報管理部１０４に予め蓄えられた顔の特徴を示すデータも、特徴抽出部１０３より入力されるデータも複数の画像から計算される部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力手段分空間という。

人物判定部１０５は、入力データ列に対して同様に相関行列Ｃｉｎを求め、Ｃｉｎ＝ΦｉｎΛｉｎΦｉｎＴと対角化し、固有ベクトルΦｉｎを求める。二つのΦｉｎ、Φｄで表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。具体的な計算方法については上述した公知方法で実現が可能である。また、あらかじめ同一人物と分かる複数の人物画像をまとめて部分空間への射影によって本人であるかどうかを識別することで精度を向上させることも可能である。また類似度以外の類似性指標としては特徴空間上での距離やマハラノビス距離といったものも利用可能であることはあきらかである。距離を利用した場合には数値が大きいほど類似性が低くなるため、閾値との比較方法としては閾値より小さければ小さいほど特徴情報管理部１０４に記憶された人物との類似性が高いことを示す。

候補数算出部１０６は、検出部１０２で検出された顔領域の撮像条件に基づいて、人物判定部１０５で類似する順に抽出された人物の上位から候補とする候補数を算出する。ここで、候補数を「ｃ」とし、その初期値を「ｎ」とする。カメラ１５０より入力された画像に含まれる顔領域の撮影条件が人物判定部１０５の検索処理に不利な場合には、本人の特徴点と比較した場合の本人類似度が低くなり、本人類似度と、他人の特徴点と比較した場合の他人類似度の分布が重なることが多い。

図３、図４は、本人類似度と他人類似度の頻度分布を例示する図である。ここで、グラフＢ１は、本人類似度の頻度分布を示し、グラフＢ２は、他人類似度の頻度分布を示す。また、図４の撮影条件は、図３の撮影条件より悪いものとする。図３、図４を比較しても明らかなように、撮影条件が人物判定部１０５の検索処理に不利な場合には、グラフＢ１とグラフＢ２との重複部分が大きくなる。

ここで、撮影条件を反映する評価指標としては、顔領域における顔向き、顔検出時のスコア、顔の解像度などがある。例えば、顔向きについては、特徴情報管理部１０４に記憶された人物の顔の特徴が正面向きである場合には、カメラ１５０に対して正面に向いた顔が照合に向いた撮影条件となる。また、顔の解像度については、顔の解像度の高い（顔領域の画素数が多い）場合が照合に向いた撮影条件となる。したがって、候補数算出部１０６は、顔向きが正面向きから離れる、又は顔の解像度が低下する場合に応じて候補数ｃを多く算出し、顔向きが正面向きになる、又は顔の解像度が増加する場合に応じて候補数ｃを少なく算出する。具体的には、候補数算出部１０６は、検出部１０２で検出された顔領域の撮像条件（顔向き、顔の解像度など）の値をもとに、候補数ｃの算出にかかる閾値を入力ごとに適応的に定めることにする。なお、類似度と相関を有するほかの画像特徴量についても以下の手続きは同様に適用できる。

先ず、人物Ｈの顔向きについては、図２に示すようなヨー方向（水平方向）２１、ピッチ方向（上下方向）２２、ロール方向（回転方向）２３をそれぞれθ、φ、ψ[ラジアン]とする。そして、検出部１０２の出力する顔のサイズを縦方向と横方向でそれぞれｘ、ｙ[画素]とする。このとき、顔向きが大きい場合（例えば正面向きから離れる場合）や顔のサイズが小さい場合（解像度が低くなる場合）は類似度が下がることがある。あらかじめ、特徴情報管理部１０４に記憶された各顔画像に対し、θ＝θ１、θ２、…、θＮ、φ＝φ１、…、φＮ、ψ＝ψ１、…、ψＮ、（ｘ、ｙ）＝（ｘ１、ｙ１）、…、（ｘＮ，ｙＮ）となるように顔向きやサイズを正規化したデータを準備しておく。候補数算出部１０６は、それらを入力としたときの本人類似度と他人類似度の頻度分布を求め、これらの各パラメータについて閾値Ｔ（θ、φ、ψ、ｘ、ｙ）を定める。例えば図３の場合には、θ＝θ１、φ＝φ１、ψ＝ψ１、（ｘ、ｙ）＝（ｘ１、ｙ１）とした閾値Ｔ（θ１、φ１、ψ１、ｘ１、ｙ１）を定める。

閾値Ｔ（θ、φ、ψ、ｘ、ｙ）は、たとえば類似度がＴ（θ、φ、ψ、ｘ、ｙ）を超えるデータの割合を指定することで定めることができる。検索処理では、入力された顔画像についてパラメータ（θ、φ、ψ、ｘ、ｙ）を計算し、閾値Ｔ（θ、φ、ψ、ｘ、ｙ）を求める。閾値Ｔ（θ、φ、ψ、ｘ、ｙ）はパラメータ（θ、φ、ψ、ｘ、ｙ）について、θ＝θ１、θ２、…、θＮ、φ＝φ１、…、φＮ、ψ＝ψ１、…、ψＮ、（ｘ，ｙ）＝（ｘ１，ｙ１）、…、（ｘＮ，ｙＮ）のそれぞれに関するハッシュとしてもよい。また次の式（１）に示すような線形モデルによる回帰分析によって計算した関数としてもよい。

この閾値Ｔ（θ，φ，ψ，ｘ，ｙ）を用いて、確認候補数ｃ＝ｎ（θ、φ、ψ、ｓ、ｘ、ｙ）を次のように求める。
ｎ（θ、φ、ψ、ｓ、ｘ、ｙ）＝ｎ（閾値Ｔ（θ、φ、ψ、ｘ、ｙ）を超える類似度の人物の人数が予め設定された値ｎ以下の場合）
ｎ（θ、φ、ψ、ｓ、ｘ、ｙ）＝閾値Ｔ（θ、φ、ψ、ｘ、ｙ）を超える類似度の人物の人数（それ以外の場合）

図５は、候補数算出の処理を例示するフローチャートであり、上述した確認候補数ｃ＝ｎ（θ、φ、ψ、ｓ、ｘ、ｙ）を求める処理を示すフローチャートである。図５に示すように、候補数算出部１０６は、処理が開始されると、顔向きを示すθ、φ、ψが予め設定された閾値以内（例えば正面向き）であるか否かを判定する（Ｓ１）。また、顔向きを示すθ、φ、ψが予め設定された閾値以内である場合（Ｓ１：ＹＥＳ）、候補数算出部１０６は、顔の解像度（ｘ、ｙ）が予め設定された閾値以上であるか否かを判定する（Ｓ２）。

顔向きを示すθ、φ、ψが予め設定された閾値以内でない場合（Ｓ１：ＮＯ）や、顔の解像度が予め設定された閾値以上でない場合（Ｓ２：ＮＯ）は、図４に示すように閾値Ｔを超える類似度の他人が多くなり、ｎ以下でないことから、候補数算出部１０６は、候補数ｃ＝ｎ（θ、φ、ψ、ｓ、ｘ、ｙ）（閾値Ｔ（θ、φ、ψ、ｘ、ｙ）を超える類似度の人物の人数）とする（Ｓ４）。

顔向きを示すθ、φ、ψが予め設定された閾値以内であり（Ｓ１：ＹＥＳ）、顔の解像度が予め設定された閾値以上である場合（Ｓ２：ＹＥＳ）は、図３に示すように、閾値Ｔ（θ、φ、ψ、ｘ、ｙ）を超える類似度の他人が少なくなり、ｎ以下であることから、候補数算出部１０６は、候補数ｃ＝ｎとする（Ｓ３）。

図６は、類似度順に並べられた顔画像Ｇ１〜Ｇｎを例示する概念図である。図６に示すように、顔画像Ｇ１〜Ｇｎが類似度（ｓ）の降順に得られたとき、上位から候補数算出部１０６で算出された候補数（ｃ＝３）分が確認を行う人物とされることとなる。

出力部１０７は、候補数算出部１０６によって算出された候補数（ｃ）をもとに、人物判定部１０５により類似する順に抽出された人物の上位から候補数に対応した人数の情報を出力する。具体的には、出力部１０７は、候補数算出部１０６によって得られた結果を、画面表示または、ＵＳＢメモリ等の記憶媒体へ記録する。

図７〜図９は、表示画面２００を例示する概念図である。図７に示すように、出力部１０７は、入力画像（とくに検出部１０２によって顔領域付近を切り出したものが望ましい）２０１と、人物判定部１０５により類似する順に抽出された人物の上位から候補数算出部１０６によって算出された候補数分の人物の顔画像である候補画像２１１〜２１３とを表示画面２００に表示する。このため、表示画面２００では、類似する順に抽出された人物の顔画像の中からどの顔画像までを確認すればよいかが分り易くなっている。そして、ユーザは、表示画面２００のボタン２２１、２２２などを操作することで確認した顔画像についての設定等を行うことが可能である。

また、図８に示すように、表示画面２００は、入力画像２０１と、人物判定部１０５により類似する順に抽出された人物の上位から候補数算出部１０６によって算出された候補数分の人物の候補画像２１１〜２１９とを表示する候補画像表示領域２１０の他に、確認用表示領域２３０、保留画像表示領域２４０、進捗情報表示領域２５０を有してもよい。確認用表示領域２３０は、候補画像２１１〜２１９の中からポインタであるマーク画像Ｍ１の操作によって選択された候補画像２１８を表示する領域であり、入力画像２０１と並ぶ位置に配置されている。このため、ユーザは、候補画像２１１〜２１９の中からマーク画像Ｍ１の操作によって所望の候補画像を選択することで、その選択した候補画像と入力画像２０１とを並べて比較することができる。

保留画像表示領域２４０は、候補画像２１１〜２１９の中から保留するマーク画像Ｍ２を示した候補画像２１２を表示する領域である。ユーザは、候補画像２１１〜２１９の中からマーク画像Ｍ１の操作によって所望の候補画像を選択して保留の操作指示を行うことで、候補画像を保留とすることができる。

進捗情報表示領域２５０は、候補画像表示領域２１０に表示された候補画像２１１〜２１９の中で確認を行なっている進捗状況を表示する領域である。具体的には、進捗情報表示領域２５０では、閾値Ｔ以上の候補画像２１１〜２１９の中で、マーク画像Ｍ１で選択している確認中の候補画像２１８の位置を示すマーク画像Ｍ４や、マーク画像Ｍ２で示した保留中の候補画像２１２の位置を示すマーク画像Ｍ３などが表示される。ユーザは、進捗情報表示領域２５０の表示を確認することで、確認作業の進捗状況を把握することができる。

また、図９に示すように、候補画像表示領域２１０における候補画像２６１〜２６６は、類似度順だけでなく、顔向き、年齢などの順位に並べて表示してもよい。ここで、顔向きについては、出力部１０７は、θ、φ、ψとして算出された値をもとに、例えば右向きから左向きの順に候補画像２６３〜２６５を並べて表示させる。また、年齢については、出力部１０７は、年齢分析の公知技術を用いて、候補画像２６１〜２６６を年齢順に並べて表示させる。これにより、ユーザは、候補画像表示領域２１０において顔向き、年齢などの順位に並べられた候補画像２６１〜２６６を確認できる。

また、出力部１０７は、キーボード等の入力装置の操作入力をもとに、確認を行う確認者の人数分に分配するための分配数の入力を受け付けて、人物判定部１０５により類似する順に抽出された人物の上位から候補数に対応した人数の情報を、入力された分配数で分配して出力してもよい。

図１０は、分配の処理を例示するフローチャートである。図１０に示すように、出力部１０７は、キーボード等の入力装置の操作入力をもとに、確認者の人数（ｋ）を受け付ける（Ｓ１１）。ついで、出力部１０７は、人物判定部１０５により類似する順に抽出された人物の上位からの確認候補をｋ個に分配（ｎ（１）、ｎ（２）、…、ｎ（ｋ））する（Ｓ１２）。次いで、出力部１０７は、分配したｎ（１）、ｎ（２）、…、ｎ（ｋ）を確認者の人数分設定された宛先に出力する（Ｓ１３）。これにより、確認者の人数（ｋ）で分配した確認作業を実施できる。

この分担の仕方は単純なｋ等分でもよいし、確認者からの要求に応じて人物判定部１０５により類似する順に抽出された人物の上位からの確認候補を分配する構成であってもよい。例えば、確認者が操作する端末からの分配の要求に応じて、出力部１０７は、ｎ（１）、ｎ（２）、…、ｎ（ｋ）の中の１つを順次出力してもよい。このように、分配の要求に応じてｎ（１）、ｎ（２）、…、ｎ（ｋ）の中の１つを順次出力することで、確認者の確認作業の効率に応じた分配を行うこともできる。

図１１は、人物認識装置１００のハードウエア構成を示すブロック図である。図１１に示すように、人物認識装置１００は、ＣＰＵ（Central Processing Unit）１１０１と、ＲＯＭ（Read Only Memory）１１０２と、ＲＡＭ（Random Access Memory）１１０３と、通信Ｉ／Ｆ１１０４と、ＨＤＤ１１０５と、表示装置１１０６と、キーボードやマウスなどの入力デバイス１１０７と、これらを接続するバス１１０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。人物認識装置１００では、ＣＰＵがＲＯＭに記憶されたプログラムをＲＡＭに展開して順次実行することで、図１に例示した機能構成を実現している。

なお、本実施形態の人物認識装置１００で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態の人物認識装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の人物認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の人物認識装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

本実施形態の人物認識装置１００で実行されるプログラムは、上述した機能構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上述した機能構成が主記憶装置上にロードされ、主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

１００…人物認識装置、２１…ヨー方向、２２…ピッチ方向、２３…ロール方向、１０１…入力部、１０２…検出部、１０３…特徴抽出部、１０４…特徴情報管理部、１０５…人物判定部、１０６…候補数算出部、１０７…出力部、１５０…カメラ、２００…表示画面、２０１…入力画像、２１０…候補画像表示領域、２１１〜２１８、２６１〜２６６…候補画像、２２１、２２２…ボタン、２３０…確認用表示領域、２４０…保留画像表示領域、２５０…進捗情報表示領域、１１０１…ＣＰＵ、１１０２…ＲＯＭ、１１０３…ＲＡＭ、１１０４…通信Ｉ／Ｆ、１１０５…ＨＤＤ、１１０６…表示装置、１１０７…入力デバイス、１１０８…バス、Ｂ１、Ｂ２…グラフ、Ｇ１〜Ｇ７、Ｇｎ…顔画像、Ｈ…人物、Ｍ１〜Ｍ４…マーク画像

Claims (9)

1. 画像データを入力する画像入力手段と、
   前記入力された画像データから人物の顔が表された顔領域を検出する顔検出手段と、
   前記検出された顔領域から顔の特徴点を検出する顔特徴点検出手段と、
   人物毎に、当該人物の顔の特徴を示す情報を含む人物情報を記憶する記憶手段と、
   前記記憶された人物情報に基づいて、前記記憶された人物の顔の特徴が前記検出された顔の特徴点と類似する順に人物を抽出する抽出手段と、
   前記検出された顔領域の撮像条件に基づいて、前記類似する順に抽出された人物の上位から候補とする候補数を算出する候補数算出手段と、
   前記類似する順に抽出された人物の上位から前記候補数に対応した人数の人物情報を出力する出力手段と、
   を備える人物認識装置。
2. 前記候補数算出手段は、前記検出された顔領域における顔向き、又は顔の解像度を前記人物情報の人物の顔の特徴との照合に向いた撮像条件を示す評価指標値とし、当該評価指標値に対応した前記候補数を算出する、
   請求項１に記載の人物認識装置。
3. 前記候補数算出手段は、前記評価指標値の減少に応じて前記候補数を多く算出し、前記評価指標値の増加に応じて前記候補数を少なく算出する、
   請求項２に記載の人物認識装置。
4. 前記人物情報は前記人物の顔画像を含み、
   前記出力手段は、前記入力された画像データから検出された顔領域に対応した顔画像と、前記類似する順に抽出された人物の上位から前記候補数に対応した人数の顔画像とを表示出力する、
   請求項１乃至３のいずれか一項に記載の人物認識装置。
5. 前記候補数に対応した人数の顔画像の中から所定の顔画像を選択する選択手段を更に備え、
   前記出力手段は、前記入力された画像データから検出された顔領域に対応した顔画像と、前記選択された顔画像とを並べて表示出力する、
   請求項４に記載の人物認識装置。
6. 前記出力手段は、前記抽出された人物の年齢順に前記候補数に対応した人数の顔画像を並べて表示出力する、
   請求項４又は５に記載の人物認識装置。
7. 前記出力手段は、前記抽出された人物の顔向きの順に前記候補数に対応した人数の顔画像を並べて表示出力する、
   請求項４乃至６のいずれか一項に記載の人物認識装置。
8. 分配数の入力を受け付ける受付手段を更に備え、
   前記出力手段は、前記類似する順に抽出された人物の上位から前記候補数に対応した人数の人物情報を、前記入力された分配数で分配して出力する、
   請求項１乃至７のいずれか一項に記載の人物認識装置。
9. 人物認識装置で実行される方法であって、
   画像データを入力するステップと、
   前記入力された画像データから人物の顔が表された顔領域を検出するステップと、
   前記検出された顔領域から顔の特徴点を検出するステップと、
   記憶手段に記憶された、人物毎に、当該人物の顔の特徴を示す情報を含む人物情報に基づいて、前記記憶された人物の顔の特徴が前記検出された顔の特徴点と類似する順に人物を抽出するステップと、
   前記検出された顔領域の撮像条件に基づいて、前記類似する順に抽出された人物の上位から候補とする候補数を算出するステップと、
   前記類似する順に抽出された人物の上位から前記候補数に対応した人数の人物情報を出力するステップと、
   を含む方法。

Images