JP5783759B2 - 認証装置、認証方法、および認証プログラム、並びに記録媒体 - Google Patents

Description

本発明は、認証装置、認証方法、および認証プログラム、並びに記録媒体に関し、特に、画像データから顔領域を検出して個人や個体の認証を行う技術に関する。

一般に、顔検出機能を用いて個人認証を行う技術が知られている。この技術では、顔画像データから個人毎に異なる顔領域の特徴データを抽出して、予め登録した特徴データと抽出した特徴データとを比較する。そして、この比較結果によって顔画像データが登録されている人物であるか否かを識別する。

ところで、特徴データは顔領域の表情、向き、および照明条件等の状態によって影響を受ける。このため、特徴データの登録時と顔画像データから特徴データを抽出する時の状態が異なると、個人認証の精度が低下してしまうことがある。

このような個人認証の精度低下を回避するため、例えば、顔領域の表情を検知して、当該表情に応じた特徴データが登録されている個人データベースを用いて認証を行うことがある。そして、未登録の表情であれば、当該特徴データを追加登録するようにしている（特許文献１参照）。

さらに、人物を連続的に撮影した複数枚の顔画像と予め個人データベースに登録されている同一人物の複数枚の顔画像とを、これら顔画像の中から選んだ基準画像と比較する。そして、比較結果から複数枚の顔画像を選択して、個人データベースの顔画像を更新するようにしたものがある（特許文献２参照）。

特開２０１０−２７０３５号公報 特開２００７−１７９２２４号公報

ところが、特許文献１に開示された構成においては、人物の認証がすでにできている上で、その人物から、その人物の特徴データが未登録である表情が検出できた場合のみ追加登録が行われる。その結果、検知できない表情の変化および顔の向き、そして、照明条件等の他の条件の変化に関しては認証精度を上げることができないという課題がある。

一方、特許文献２に開示された構成においては、基準画像の選び方によって選択される顔画像が変わってしまう。このため、認証精度が安定しない。また、人物（つまり、顔）を撮影する都度、個人データベースの更新処理が行われる結果、処理負荷が大きくなってしまうという課題がある。

従って、本発明の目的は、顔領域の状態のいかなる変化に対しても、小さな処理負荷で認証の精度を向上させることができる認証装置、認証方法、および認証プログラム、並びに記録媒体を提供することにある。

上記の目的を達成するため、本発明による認証装置は、画像データに含まれる顔領域に応じて認証を行う認証装置において、複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出するとともに、前記顔領域における顔の向きを表す顔向き情報を少なくとも含む付随検出データを出力する顔検出手段と、前記顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出手段と、前記認証の際に用いられる前記特徴データが登録された記憶手段と、前記付随検出データに応じて前記抽出特徴データが追加登録の対象として適切であるか否かを判定する判定手段と、前記記憶手段に登録された特徴データと、前記判定手段によって追加登録の対象として適切であると判定された前記抽出特徴データのみとを比較して認証処理を行う認証手段と、連続する前記フレームにおいて同一の前記顔領域を特定する追尾手段と、前記複数のフレームの１つである第１のフレームにおいて前記認証手段によって認証が行われ、前記追尾手段によって前記第１のフレームより後の第２のフレームにおいて前記第１のフレームで認証が行われた前記顔領域と同一の前記顔領域であると特定されているにも拘わらず、前記認証手段によって認証できない場合に、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶手段に登録する登録手段とを有することを特徴とする。

本発明による認証方法は、画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証方法において、前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、複数のフレームを有する画像データにおいて前記フレームの各々における顔領域を検出するとともに、前記顔領域における顔の向きを表す顔向き情報を少なくとも含む付随検出データを出力する顔検出ステップと、前記顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、前記付随検出データに応じて前記抽出特徴データが追加登録の対象として適切であるか否かを判定する判定ステップと、前記記憶装置に登録された特徴データと、前記判定ステップによって追加登録の対象として適切であると判定された前記抽出特徴データのみとを比較して認証処理を行う認証ステップと、連続する前記フレームにおいて同一の前記顔領域を特定する追尾ステップと、前記認証ステップによって前記複数のフレームの１つである第１のフレームにおいて認証が行われ、前記追尾ステップによって前記第１のフレームより後の第２のフレームにおいて前記第１のフレームで認証が行われた前記顔領域と同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって認証できない場合に、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを有することを特徴とする。

本発明による認証プログラムは、画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証プログラムにおいて、前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、前記認証装置が備えるコンピュータに、複数のフレームを有する画像データにおいて前記フレームの各々における顔領域を検出するとともに、前記顔領域における顔の向きを表す顔向き情報を少なくとも含む付随検出データを出力する顔検出ステップと、前記顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、前記付随検出データに応じて前記抽出特徴データが追加登録の対象として適切であるか否かを判定する判定ステップと、前記記憶装置に登録された特徴データと、前記判定ステップによって追加登録の対象として適切であると判定された前記抽出特徴データのみとを比較して認証処理を行う認証ステップと、連続する前記フレームにおいて同一の前記顔領域を特定する追尾ステップと、前記認証ステップによって前記複数のフレームの１つである第１のフレームにおいて認証が行われ、前記追尾ステップによって前記第１のフレームより後の第２のフレームにおいて前記第１のフレームで認証が行われた前記顔領域と同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって認証できない場合に、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを実行させることを特徴とする。

本発明による記録媒体は、上記の認証プログラムが記録されたコンピュータに読み取り可能な記録媒体である。

本発明によれば、複数のフレームを有する画像データを受けて認証を行う場合であっても、認証対象となる被写体の撮影条件が変化する場合に対する認証の精度を向上させることができるという効果がある。

本発明の第１の実施形態による個人認証装置の一例を示すブロック図である。 図１に示す個人認証装置で用いられる特徴データの一例を示す図であり、（ａ）は正面を向いた際の特徴データを構成する特徴点の座標を示す図、（ｂ）は人物の表情が変化した際の特徴データを構成する特徴点の座標を示す図、（ｃ）は人物の向きが変化した際の特徴データを構成する特徴点の座標を示す図である。 図１に示す個人データベース部に登録される個人認証用の特徴データの一例を示す図である。 図１に示す個人認証装置の動作の一例を説明するためのフローチャートである。 図１に示す個人認証装置で処理される動画像データの一例を示す図であり、（ａ）は動画像データにおける１フレームを示す図、（ｂ）は（ａ）に連続するフレームの一例を示す図、（ｃ）は（ａ）に連続するフレームの他の例を示す図である。 図４で説明した個人認証における処理を詳細に説明するためのフローチャートである。 本発明の第２の実施形態による個人認証装置における個人認証結果の変化を示す図である。 本発明の第５の実施形態による個人認証装置に一例についてその構成を示すブロック図である。 図１に示す個人認証装置における追加登録を説明するための図であり、（ａ）は動画像データにおける１フレームを示す図、（ｂ）は（ａ）に連続するフレームの一例を示す図、（ｃ）は図１に示す個人データベース部に登録されているデータの一例を示す図である。 図８に示す個人認証装置の動作の一例を説明するためのフローチャートである。 本発明の第６の実施形態による個人認証装置の一例についてその構成を示すブロック図である。 図１１に示す個人認証装置における個人認証処理の一例を示すフローチャートである。

以下、本発明の実施の形態による個人認証装置について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による個人認証装置の一例を示すブロック図である。

図１を参照して、図示の個人認証装置は、画像入力部１０１を有している。画像入力部１０１から、少なくとも人物の顔を撮影した結果得られた画像データが入力される。そして、この画像データは画像入力部１０１から顔検出部１０２および正規化部１０３に与えられる。

顔検出部１０２は画像データから人物の顔領域の位置およびサイズを検出する。例えば、顔検出部１０２は、入力された画像データから、鼻、口、および目等の顔領域の構成要素に相当する形状を抽出する。そして、顔検出部１０２は両目の中間を通過する延長線上に鼻および口が存在する領域を検出する。そして、顔検出部１０２は両目の大きさと両目間の距離から顔の大きさを推定して、鼻の中心に相当する位置を基準として、推定した大きさの領域で囲んだ領域を顔領域として検出する。この顔領域は顔領域検出データとして顔検出部１０２から正規化部１０３および追尾部１０５に与えられる。

正規化部１０３は、顔領域検出データに応じて画像データから顔領域を切り出し、当該顔領域が、例えば、傾いていると、この傾きをなくすように顔領域を回転する。さらに、正規化部１０３は、例えば、両目間が所定の距離となる所定のサイズに顔領域を拡大縮小して、顔領域を所定の角度・大きさの顔画像データとして正規化する（以下正規化顔画像データと呼ぶ）。そして、正規化部１０３はこの正規化顔画像データを特徴データ生成部１０４および登録部１０９に与える。

特徴データ生成部１０４は、正規化顔画像データから特徴データを抽出する。この特徴データは、例えば、特開２００５−２６６９８１号公報に記載されているように、口、目、眉毛、および鼻等の顔の構成要素の具体的な形状およびこれらの構成要素の位置に関する情報を含む。そして、特徴データは特徴データ生成部１０４から認証部１０６に与えられる。

ここで、特徴データは、正規化顔画像データから、例えば、ニューラルネットワーク又は空間フィルタを用いたエッジ検出等の手法を用いて抽出することができる。なお、形状および位置に関する情報だけでなく、彩度および色相に関する情報も特徴データに含めるようにしてもよい。１つの顔における特徴データが多いほど、その顔の様子を詳細に解析することが可能となり、この特徴データを用いた個人認証の精度が向上する。

ところで、動画像のように複数のフレームを有する画像データにおいては、所定の周期でフレーム毎に顔領域が検出されることになる。つまり、顔検出部１０２は所定の周期のフレーム毎に顔領域を検出することになる。追尾部１０５は１つのフレームで検出された顔領域と別のフレームのいずれかの領域が同一人物の顔領域であるかを判定する。

追尾部（追尾手段）１０５は、例えば、１つのフレームの画像データから複数の顔が検出され、別のフレームの画像データからも１つ又は複数の顔が検出された場合に、それぞれの顔のサイズと位置が類似するものを同一人物であるとみなす。さらに、追尾部１０５は、１つのフレームで検出された顔領域と類似する顔領域が別のフレームで検出できない場合には、前者の顔領域と輝度および色差のパターンが類似している周辺領域を検索して追尾を行う。そして、追尾部１０５における判定結果は認証部１０６および結果出力部１０７に与えられる。

個人データベース部（記憶手段又は記憶装置）１０８には個人認証用の複数の特徴データが正規化顔画像データとともに登録特徴データとして登録されている。認証部（認証手段）１０６は、個人データベース部１０８をアクセスして個人認証用の特徴データ（登録特徴データ）を読み出す。そして、認証部１０６は登録特徴データと特徴データ生成部１０４によって抽出された顔領域の特徴データ（以下抽出特徴データと呼ぶ）とを比較・照合して個人認証を行う。この照合結果は認証部１０６から結果出力部１０７に与えられる。結果出力部１０７は照合結果に応じて認証結果を出力する。

認証部１０６は比較・照合の際、追加登録を行うか否かを判定して、追加登録を行うべきであると判定すると、登録部１０９に当該抽出特徴データを与える。そして、登録部１０９は認証部１０６が追加登録すべきと判断した特徴データを、正規化顔画像データとともに個人データベース部１０８に追加登録する。

なお、認証部１０６は追尾部１０５から与えられる判定結果に応じて認証を行い、結果出力部１０７は追尾部１０５から与えられる判定結果に応じて認証結果を出力する。

ところで、図示の個人認証装置は単体の装置で構成されても、複数の装置からなるシステムで構成されていてもよい。例えば、デジタルカメラ又はデジタルビデオカメラ単体の内部に図示の個人認証装置の全て構成要素を備えるようにしてもよい。

一方、画像入力部１０１のみをデジタルカメラ又はデジタルビデオカメラ内部に配置して、個人認証装置の他の構成要素をデジタルカメラ又はデジタルビデオカメラと通信可能な外部のコンピュータに備えるようにしてもよい。

さらには、図示の個人認証装置の構成要素について、ネットワーク上の複数のコンピュータに分担して配置し、画像入力部１０１を備えたコンピュータが別の外部機器又は記録メディアから画像データを受け取るように構成してもよい。

図２は、図１に示す個人認証装置で用いられる特徴データの一例を示す図である。そして、図２（ａ）は正面を向いた際の特徴データを構成する特徴点の座標を示す図であり、図２（ｂ）は人物の表情が変化した際の特徴データを構成する特徴点の座標を示す図である。また、図２（ｃ）は人物の向きが変化した際の特徴データを構成する特徴点の座標を示す図である。

図２を参照して、ここでは、個人認証用の特徴データとして、図２（ａ）に示すように、合計２３点の特徴点の座標が用いられる。実際に個人認証を行うためには多数の特徴点が必要とされるが、ここでは説明を簡略化するため、合計２３点の特徴点を用いるものとして説明を行う。

これら２３点の特徴点の座標は、抽出された目、鼻、口、および眉等の位置について、両目間の距離で正規化された顔画像データを用いて算出される。これらの座標は、例えば、鼻の端点の位置を基準とする。認証部１０６は、入力された画像データから算出された各特徴点の座標をＰｉ（ｉ＝１，２，・・・，２３）とする。そして、認証部１０６は、予め個人データベース部１０８に登録された顔領域の特徴点である座標Ｐ’ｉと座標Ｐｉとの差分の絶対値和Ｓ＝Σ｜Ｐｉ−Ｐ’ｉ｜を求める。

この絶対値和Ｓが小さい程、認証部１０６は検出対象となった人物（つまり、顔領域）と予め登録された人物とが同一人物の可能性が高いと判断する。認証部１０６は特徴データの比較・照合において、最も可能性が高いと判定された人物に関する絶対値和Ｓが、予め設定された閾値以下であると当該人物であると判定する。一方、絶対値和Ｓが閾値より大きい場合には、認証部１０６は該当者なしと判定する。

なお、上述の絶対値和Ｓを用いる手法は、個人認証を行う手法の１つの例であって、別の手法を用いて個人認証を行うようにしてもよい。例えば、表情が変化する際の目および口の位置、そして、形状の変化のパターンから個人を識別するようにしてもよい。

また、複数の特徴データに対する比較・照合結果に応じて、総合的に最終的な個人認証結果を求めるようにしてもよい。つまり、予め個人データベース部１０８に登録された特徴データを用いて照合を行い、最も可能性の高い人物であると判定する構成であれば、他の手法であっても、上述の例と同様の効果を得ることができる。

ところで、上述の個人認証では画像データから抽出した特徴点を用いて個人認証を行っているため、図２（ｂ）又は図２（ｃ）に示すように、人物（つまり、顔）の表情又は向きが変化した場合には、特徴点の座標が変化してしまうことになる。この結果、前述の絶対値和Ｓの値が大きく変動してしまい、個人認証の精度が低下してしまう。

また、照明条件および背景等様々な撮影条件の変化が個人認証の精度に影響を与える。そこで、同一の人物を様々な条件で撮影した複数の特徴データを、予め個人データベース部１０８に登録しておき、これら複数の特徴データについてそれぞれ絶対値和Ｓを求めるようにすれば、撮影条件が変わっても人物の認証をより高い精度で行うことができる。

しかしながら、予め様々な条件下で人物を撮影しておくことは時間および手間がかかる上に、場合によっては照明等の設備も必要となる。これに対して、図示の例では、１つの条件下で撮影した人物の特徴データを個人データベースに登録しておけば、次のようにして個人認証と特徴データの追加登録とを自動的に行い、認証精度を向上することができる。

図３は、図１に示す個人データベース部１０８に登録される個人認証用の特徴データの一例を示す図である。

図３において、個人データベース部１０８には個人に対して複数の特徴データが登録される。個人データベース部１０８に登録された個人毎に個人ＩＤを割り当る。そして、個人ＩＤに対して複数の特徴データを登録して、特徴データ毎に登録ＩＤを割り当てる。

図示の例において、登録ＩＤ＝１については、ユーザーが予め登録した特徴データであって、登録ＩＤ＝０は特徴データが未登録であることを示している。それ以外の登録ＩＤについては、図１に示す個人認証装置が自動的に追加登録した特徴データを示している。

前述したように、ここでは、個人データベース部１０８には特徴データ毎に正規化部１０３で正規化された顔画像データも登録されており、ユーザーは顔画像データを確認して不要な特徴データを消去することができる。例えば、個人ＩＤ＝１の「こうたろう」の登録ＩＤ＝１における正規化された顔画像データはＡ１１であり、この顔画像データＡ１１から抽出された特徴データがＣ１１である。

なお、顔画像データと特徴データとは、そのいずれかが登録されていれば個人認証は可能であって、顔画像データから特徴データを生成しつつ個人認証を行うことができる。また、図示の例では、個人ＩＤ毎に登録ＩＤの上限数を「３」としているが、この上限数は「２」以上であればよい。さらに、上限数を個人ＩＤ毎でなく、個人データベース部１０８全体で設定するようにしてもよい。

図４は、図１に示す個人認証装置の動作の一例を説明するためのフローチャートである。

図１および図４を参照して、個人認証装置において、画像入力部１０１に画像データが入力されると図４に示す動作が開始される。画像入力部１０１がカメラであれば、カメラにおける撮影の結果得られた画像データ又はカメラに装着された記録メディアから読み出した画像データが個人認証装置に入力されることになる。また、画像入力部１０１がパーソナルコンピュータであれば、記録メディアから読み出した画像又はネットワークを介して受け取った画像データが個人認証装置に入力されることになる。

以下の説明では、画像入力部１０１に動画像データが入力され、個人認証に要する時間に応じたフレーム間隔で連続的に個人認証を行うものとする。

まず、顔検出部１０２は、画像入力部１０１から動画像データの１フレーム分の画像データを受け取って、人物の顔領域の検出を行う（ステップＳ２０１）。そして、顔検出部１０２は顔領域の検出ができたか否かについて判定する（ステップＳ２０２）。少なくとも１つの顔領域が検出できると（ステップＳ２０２において、ＹＥＳ）、正規化部１０３は顔検出部１０２における検出結果に基づいて、画像データから切り出した顔領域の各々を正規化する（ステップＳ２０３）。

続いて、特徴データ生成部１０４は、正規化顔画像データに応じて図５で説明した特徴点の座標を含む特徴データを算出する（ステップＳ２０４）。追尾部１０５は、顔検出部１０２から顔領域の検出結果を受け取り、異なるフレームにおいて検出あるいは判定された顔領域のうち、顔の中心位置およびサイズに基づいて同一人物と見なせる顔があるか否かについて判定する（顔の追尾：ステップＳ２０５）。

このために、追尾部１０５は、各フレームで検出された各顔領域の中心位置およびサイズを比較して、連続するフレーム間で顔領域の中心位置の距離およびサイズの変化の総和が最も小さいものを同一人物の顔領域であると推定する。例えば、追尾部１０５は第１のフレームとこの第１のフレームと異なる第２のフレームとにおいて検出された顔領域を比較して同一人物（個人）の顔領域を特定することになる。

但し、上記の総和が最も小さくともその値が予め設定した閾値の範囲に入っていないのであれば、追尾部１０５は同一人物ではないと判定する。

なお、ステップＳ２０２において、顔領域の検出ができないと（ステップＳ２０２において、ＮＯ）、処理はステップＳ２０２からステップＳ２０５に進む。

この場合、追尾部１０５は、処理対象としているフレームから、それよりも前のフレームで顔検出部１０２によって検出された顔領域および前のフレームで追尾部１０５によって顔領域と判定された領域のいずれかと類似する領域を検出し、同一人物の顔領域として判定する。具体的には、輝度および色差のパターンの類似度が最も高く、かつ、その値が予め設定した閾値の範囲に入っている領域を、その前のフレームにおける顔領域と同一人物の顔領域であると判定する。

図５は、図１に示す個人認証装置で処理される動画像データの一例を示す図である。そして、図５（ａ）は動画像データにおける１フレームを示す図であり、図５（ｂ）は図５（ａ）に連続するフレームの一例を示す図である。また、図５（ｃ）は図５（ａ）に連続するフレームの他の例を示す図である。

いま、図５（ａ）においては人物５０１の顔領域が検出され、図５（ｂ）においては人物５０１および５０２の顔領域がそれぞれ検出されているものとする。追尾部１０５は図５（ｂ）において検出された人物５０１および人物５０２の顔領域を、図５（ａ）において検出された人物５０１の顔領域と比べる。その結果、追尾部１０５は、顔領域の中心位置およびサイズの変化がほとんど無く、予め設定した閾値の範囲に入っている図５（ｂ）に示す人物５０１の顔領域と図５（ａ）に示す人物５０１の顔領域とが同一人物であると判定する。

一方、顔領域が検出されてないか又は同一人物と判定される顔領域が見つからない場合には、追尾部１０５は異なるフレームにおいて顔検出部１０２が検出した顔領域と輝度および色差のパターンが類似している周辺領域を検索する。

いま、図５（ａ）においては、人物５０１の顔領域のみが検出され、図５（ｃ）においては人物５０２の顔領域のみが検出されているものとする。追尾部１０５は、図５（ｃ）に示す人物５０２の顔領域を、図５（ａ）に示す人物５０１の顔領域と比べる。その結果、両者は顔の中心位置およびサイズの変化が大きく、予め設定した閾値の範囲に入らないため、追尾部１０５は別人物であると判定する。

そこで、追尾部１０５は、図５（ａ）において検出した人物５０１の顔領域と輝度および色差のパターンが類似している周辺領域を図５（ｃ）のフレームから検索する。そして、検索の結果、追尾部１０５は類似度が最も高い領域に同一人物の顔領域があるものと推定する。但し、類似度が予め設定した閾値の範囲に入っていないと、追尾部１０５は、同一人物は存在しないと判定することになる。なお、図５（ｃ）における人物５０１は後ろを向いており、図５（ａ）における人物５０１との類似度が閾値の範囲から外れてしまうため、図５（ｃ）では人物５０１は存在しないと判定されることになる。

さらに、追尾部１０５は、連続した複数のフレームを通じて同一人物と判定した人物毎にユニークな人物ＩＤを割り当てる。この人物ＩＤは新しい人物が検出される毎に新しく割り当てられ、存在しなくなった人物の人物ＩＤついては削除される。

例えば、図５（ａ）および（ｂ）に示す連続フレームにおいて、図５（ａ）に示す人物５０１については既に人物ＩＤが割り当てられており、図５（ｂ）において検出された人物５０２の顔領域は新しい人物として、人物１とは異なる新しい人物ＩＤが割り当てられることになる。

再び図１および図４を参照して、認証部１０６は顔領域の検出結果および追尾結果に基づいて人物が存在するか否かについては判定する（ステップＳ２０６）。画像データに人物がひとりでも存在すると判定すると（ステップＳ２０６において、ＹＥＳ）、認証部１０６は、追尾部１０５が割り当てた人物ＩＤ毎に、顔領域の特徴データと個人データベース部１０８に登録された特徴データとの比較・照合を行う。そして、認証部１０６は各顔領域が誰であるか個人の認証を行う（ステップＳ２０７）。

後述するように、認証部１０６は人物ＩＤと個人ＩＤとの対応関係を保持している。認証部１０６は、各人物ＩＤに対して個人データベース部１０８に登録されている個人ＩＤ毎および登録ＩＤ毎に照合を行い、該当する個人が特定された場合には人物ＩＤに対する個人ＩＤを更新する。

また、認証部１０６は、人物ＩＤの特徴データを個人データベース部１０８に追加登録すべきか否かについて判定する。なお、ステップＳ２０７における個人認証処理については後述する。

続いて、結果出力部１０７は、認証部１０６から個人認証の結果を受け、当該認証結果を、認証の対象となった画像データから生成された画像に重畳して表示する（ステップＳ２０８）。

なお、認証結果の表示については、上記の表示手法に限られるものでなく、様々な手法を用いることができる。また、複数の顔領域について個人認証を同時に実行した場合には、各認証結果がいずれの顔領域に対応するものであるのかを明確にすることが望ましい。

さらに、認証部１０６は個人データベース部１０８に追加登録すべき特徴データを有する人物ＩＤがあるか否かについて判定する（ステップＳ２０９）。追加登録すべき特徴データを有する人物ＩＤがあると（ステップＳ２０９において、ＹＥＳ）、登録部１０９は、追加登録すべきと判定された特徴データを追加特徴データとして個人データベース部１０８に追加登録する（ステップＳ２１０）。

続いて、画像入力部１０１は画像データに別フレームが存在するか否かについて判定する（ステップＳ２１１）。別フレームの画像データが存在すると（ステップＳ２１１において、ＹＥＳ）、画像入力部１０１は別フレームに画像データを更新する（ステップＳ２１２）。そして、処理はステップＳ２０１に戻り、顔検出部１０２が更新した画像データに対して顔検出を行う。一方、別フレームの画像データが存在しなければ、処理は終了する。

なお、ステップＳ２０６において、画像データに人物が存在しないと判定されると（ステップＳ２０６において、ＮＯ）、処理はステップＳ２１１に移行する。また、ステップＳ２０９において、追加登録すべき特徴データを有する人物ＩＤがないと（ステップＳ２０９において、ＮＯ）、処理はステップＳ２１１に移行する。

図６は、図４で説明した個人認証における処理を詳細に説明するためのフローチャートである。

図１および図６を参照して、認証部１０６は、追尾部１０５で割り当てられた人物ＩＤと個人データベース部１０８に登録された個人ＩＤとを対応付け、その対応関係を連続するフレームに亘って管理する。また、認証部１０６は、個人データベース部１０８に人物ＩＤに対応する特徴データを追加登録すべきか否かについて判定する。

まず、認証部１０６は、処理中のフレームにおいて、人物ＩＤに対する特徴データが検出されているか否かについて判定する（ステップＳ３０１）。ここで、特徴データが検出されていない場合とは、顔検出部１０２において顔領域の検出ができず、追尾部１０５による追尾によって顔のある領域を判定した場合をいう。

特徴データが検出されている場合には（ステップＳ３０１において、ＹＥＳ）、認証部１０６は、顔領域の特徴データ（抽出特徴データ）と個人データベース部１０８に登録された特徴データ（登録特徴データ）とを比較・照合して、個人の認証を行う（ステップＳ３０２）。そして、認証部１０６は個人認証が行えたか（不可か否か）、つまり、個人の特定ができたか否かについて判定する（ステップＳ３０３）。

個人の特定ができると（ステップＳ３０３において、ＹＥＳ）、認証部１０６は個人の認証結果に基づいて人物ＩＤと個人ＩＤの対応関係を更新する（ステップＳ３０４）。そして、認証部１０６は、処理中のフレームに対して追尾部１０５によって割り当てられた人物ＩＤのうちで、認証処理を行っていないものが残っているか否かについて判定する（ステップＳ３０５）。

認証処理を行っていない人物ＩＤが存在すると（ステップＳ３０５において、ＹＥＳ）、認証部１０６は処理対象である人物ＩＤを更新して（ステップＳ３０６）、ステップＳ３０１に戻り、人物ＩＤに対する特徴データの有無の判定を行う。一方、全ての人物ＩＤに対する認証処理が終わっていると（ステップＳ３０５において、ＮＯ）、認証部１０６は処理を終了する。そして、処理は図４で説明したステップＳ２０８に移行することになる。

ステップＳ３０３において、個人の特定ができないと（ステップＳ３０３において、ＮＯ）、認証部１０６は、人物ＩＤに対応付けられた個人ＩＤが存在するか否かについて判定する（ステップＳ３０７）。人物ＩＤに対応付けられた個人ＩＤが存在すれば（ステップＳ３０７において、ＹＥＳ）、認証部１０６は、処理中のフレームにおける人物ＩＤに係る特徴データを、個人データベース部１０８に追加登録すべきと判定する（ステップＳ３０８）。つまり、認証部１０６は特徴データを登録対象と判定することになる。そして、認証部１０６はステップＳ３０５に進む。

人物ＩＤに対応付けられた個人ＩＤが存在するということは、その人物ＩＤは、処理中のフレームよりも前のフレームにおいて、すでに個人認証に成功しているということである。それにも関わらず、処理中のフレームにおいて、認証部１０６がその人物ＩＤに対する個人認証に失敗したということは、処理中のフレームにおける抽出特徴データが、その人物の登録特徴データではカバーできないものであることを示す。従って、この処理中のフレームにおける抽出特徴データを、その個人ＩＤに対応する新たな登録特徴データとして個人データベース部１０８に追加登録することで、個人認証の精度を高めることができる。

よって、照明条件や顔の向きが変化することによって、すでに前のフレームで個人認証に成功している人物ＩＤに対して認証部１０６が個人認証に失敗するたびに、個人データベース部１０８に新たな特徴データが追加登録されることになる。そのため、様々な照明条件や顔の向きに対応した特徴データが個人データベース部１０８に追加登録されることになり、撮影条件が変化しても、容易に個人認証の精度を向上させることができるようになる。

ステップＳ３０８において、例えば、図３で説明した個人データベース部１０８に対して、個人ＩＤ＝２が対応づけられた人物ＩＤの特徴データを追加登録する場合、登録部１０９は個人ＩＤ＝２に係る登録ＩＤ＝０の要素の１つを、登録ＩＤ＝２と上書きして正規化された画像データととともに人物ＩＤの特徴データを登録する。

人物ＩＤに対応付けられた個人ＩＤが存在しないと（ステップＳ３０７において、ＮＯ）、認証部１０６は、ステップＳ３０５に進む。人物ＩＤに対応付けられた個人ＩＤが存在しない場合とは、当該人物ＩＤに関して個人データベース部１０８によって該当する個人が一度も認証できていない場合をいう。なお、ステップＳ３０１において、特徴データが検出されていない場合には（ステップＳ３０１において、ＮＯ）、認証部１０６はステップＳ３０５に進む。

以上ように、第１の実施形態によれば、撮影条件が変化しても、容易に個人認証の精度を向上させることができる。

［第２の実施形態］
次に、第２の実施形態として、個人認証の信頼度が高い人物の特徴データのみを追加登録する場合について説明する。ここでは、個人認証装置は、個人に対して誤った人物の特徴データを登録しないように、個人認証の信頼度がより高い人物の特徴データのみ追加登録する。なお、個人認証装置自体の構成は図１に示す個人認証装置と同様である。

第２の実施形態における個人認証装置においては、認証部１０６は、互いに異なる２つの閾値を用いて、認証結果の信頼度を異ならせている。つまり、認証部１０６は２つの閾値を用いて特徴データの比較・照合を行って、認証結果の信頼度が高い特徴データのみを追加登録の対象とする。

具体的には、図６で説明した個人認証処理のステップＳ３０２において、認証部１０６は、顔領域の特徴データと個人データベース部１０８に登録された特徴データとの比較・照合を行う際に、認証結果の信頼度が異なる２つの閾値ＡおよびＢを用いる。ここでは、閾値Ａ（第２の閾値）＜閾値Ｂ（第１の閾値）である。

第２の実施形態における個人認証装置において、認証部１０６は、第１の実施形態と同様にして、個人認証の際、特徴点の座標の差分の絶対値和Ｓを算出する。そして、認証部１０６は、最も可能性が高いと判定された人物に係る絶対値和Ｓが閾値Ｂよりも小さければ、当該人物であると判定する。

さらに、認証部１０６は絶対値和Ｓが閾値Ａ（＜閾値Ｂ）よりも小さければ、より高い信頼度で当該人物であると判定する。一度でも高い信頼度で個人が認証された人物ＩＤについては、認証部１０６は、その対応する個人ＩＤが変化しない限り、高い信頼度を保持する。

また、図６で説明した個人認証処理のステップＳ３０８において、認証部１０６は、人物ＩＤに係る特徴データを、個人データベース部１０８に追加登録すべきであると判定する際に、当該人物ＩＤが高い信頼度で個人認証されていることを条件とする。当該人物ＩＤが高い信頼度で個人認証されていない場合には、認証部１０６は個人データベース部１０８への追加登録を登録部１０９に指示しない。

図７は、本発明の第２の実施形態による個人認証装置における個人認証結果の変化を示す図である。

図１、図３、および図７を参照して、図７では、連続する７枚のフレームにおいて、追尾部１０５が同一人物と判定した人物ＩＤの顔領域の特徴データと個人データベース部１０８に登録された特徴データとの差分の絶対値和Ｓの変化が示されている。

黒四角７０１〜７０７は、連続する７枚のフレームにおいて人物ＩＤの顔領域の特徴データと特徴データＣ２１（図３）との差分の絶対値和Ｓを示している。つまり、黒四角７０１〜７０７は、特徴点の座標の差分の絶対値和Ｓを示している。ここで、黒四角７０１〜７０６については、個人データベース部１０８に登録された特徴データの中で特徴データＣ２１との絶対値和Ｓが最小であるものとする。

黒四角７０１に注目すると、黒四角７０１は、その絶対値和Ｓが閾値Ｂよりも小さい。従って、黒四角７０１に対応するフレームではその人物は個人ＩＤ＝２と認証される。さらに、黒四角７０２においては、その絶対値和Ｓが閾値Ａより小さい。このため、黒四角７０２に対応するフレーム以降のフレームにおいては追尾部１０５によって当該人物が追尾されている限り、個人認証の信頼度が高い人物として扱われることになる。

一方、黒四角７０６においては、その絶対値和Ｓが閾値Ｂより大きくなったため、認証部１０６は、黒四角７０６に対応するフレームにおいて検出した人物に係る顔領域の特徴データを、個人データベース部１０８に追加登録すべきであると判定する。この特徴データをＣ２２、正規化顔画像データをＡ２２とすると、登録部１０９は特徴データＣ２２を、個人ＩＤ＝２の登録ＩＤ＝２として、正規化顔画像データＡ２２とともに個人データベース部１０８に追加登録することになる。

図７において黒丸７０６’および７０７’は、人物ＩＤに係る顔領域の特徴データと黒四角７０６に対応するフレームにおいて追加登録された特徴データＣ２２との差分の絶対値和Ｓを示している。黒丸７０７’に対応するフレームにおいては、特徴データＣ２１に代わって、追加登録された特徴データＣ２２に係る絶対値和Ｓが個人データベース部１０８に登録されている特徴データの中で最小となる。

第２の実施形態においては、個人認証の信頼度が異なる２つの閾値ＡおよびＢを絶対値和Ｓに対する閾値として用いているが、個人認証の信頼度が測れるものであれば、他の指標に関する閾値であってもよい。

また、絶対値和Ｓが閾値Ｂを下回った段階で、その人物であると判定しているが、誤った人物として判定結果が出力されることを避けるため、閾値Ａを下回った段階で初めて、その人物として判定結果が結果出力部１０７から出力されるようにしてもよい。

さらに、第２の実施形態においては、ユーザーの指示によって登録された特徴データと追加登録された特徴データとを同等に扱っているが、誤った人物として追加登録されることを避けるため、前者の特徴データに対して高い信頼度で個人認証が行われた場合のみ追加登録を行うようにしてもよい。

以上のように、第２の実施形態によれば、信頼性の高い特徴データのみを追加登録して、より個人認証の精度を向上させることができることになる。

［第３の実施形態］
続いて、第３の実施形態として、個人データベース部１０８にユーザーの指示によって予め登録された特徴データと個人データベース部１０８に追加登録された特徴データとを区別して個人認証を行う場合について説明する。ここでは、個人認証装置はユーザーの指示によって予め登録された特徴データ（指示登録データ）のみを用いて個人認証を行い、一致する人物が見つからなかった場合に、追加登録された特徴データ（追加登録データ）を用いて個人認証を行う。なお、個人認証装置自体の構成は図１に示す個人認証装置と同様である。

具体的には、第３の実施形態における個人認証装置は、ユーザーから特徴データの登録を指示する指示部（図１には示されていない）を備えている。指示部からの指示に応じて、認証部１０６は指示されたフレームにおいて顔検出部１０２が検出した顔領域の中から指示された顔領域を選択する。そして、登録部１０９はその特徴データを個人の名前および正規化顔画像データとともに個人データベース部１０８に登録する。ここで登録された特徴データは登録ＩＤ＝１となる。

また、図６で説明した個人認証処理のステップＳ３０２において、認証部１０６は、まず、顔領域の特徴データ（抽出特徴データ）と個人データベース部１０８に登録された登録ＩＤ＝１の特徴データとの比較・照合を行う。ここで、一致する特徴データが見つからなかった場合にのみ、認証部１０６は個人データベース部１０８に追加登録された登録ＩＤ＞１の特徴データと抽出特徴データとの比較・照合を行う。

以上のように、第３の実施形態によれば、一致する特徴データが見つからなかった場合に、再度追加登録された特徴データを用いて比較・照合を行うようにしたので、誤った人物として認証してしまう頻度を低く抑えることができる。

［第４の実施形態］
次に、第４の実施形態として個人データベース部１０８に登録できる特徴データの数が既に上限に達している場合について説明する。ここでは、個人データベース部１０８に登録された特徴データ毎に利用頻度が合わせて登録されている。そして、登録部１０９は新しく追加登録する特徴データを利用頻度の低い特徴データに上書きする。なお、個人認証装置自体の構成は図１に示す個人認証装置と同様である。

具体的には、図３で説明した個人データベース部１０８に登録された個人認証用の特徴データに関して、顔検出部１０２によって検出された顔領域の特徴データと一致した回数（一致回数）と最後に一致した日時（最終一致日時）とが特徴データ毎に登録される。

また、図６で説明した個人認証処理のステップＳ３０４において、認証部１０６は人物ＩＤに対応する個人ＩＤを更新する際に、個人データベース部１０８の特徴データの利用頻度を更新する。

利用頻度の更新は、人物ＩＤに対して新たな個人ＩＤ又は前回と異なる個人ＩＤが割り当てられる場合に行われる。この場合に、認証部１０６は人物ＩＤの特徴データと一致した個人データベース部１０８の特徴データについて、一致回数をインクリメントして、さらに、最終一致日時を現在日時に更新する。

さらに、図４で説明した全体処理のステップＳ２１２において、登録部１０９は、特徴データを個人データベース部１０８に追加登録する際に、登録できる特徴データの数が既に上限に達していると、利用頻度が低い特徴データに上書きして追加登録を行う。つまり、登録部１０９は、追加特徴データを新たに登録する際、個人データベース部１０８に登録可能な特徴データの数が予め規定された上限に達していると、利用頻度の低い登録特徴データを抹消して追加特徴データを登録することになる。

ここでは、一致回数が予め定められた閾値以下の特徴データの中で最終一致日時が最も古い特徴データを利用頻度が低い特徴データとする。なお、利用頻度の重み付けは、最終一致日時を一致回数よりも優先して判断するようにしてもよく、検出された顔領域の特徴データと一致した際の認証の信頼度の履歴等を用いるようにしてもよい。

但し、ユーザーが登録した登録ＩＤ＝１の特徴データは上書きの対象としないものとする。このため、利用頻度の更新と利用頻度の低い特徴データの検索とは、登録ＩＤ＞１の追加登録された特徴データに対してのみ行えばよいことになる。

以上のように、第４の実施形態によれば、個人データベース部１０８に登録できる特徴データの数が限られている場合においても、登録されている個人を認証できる頻度を高くすることができる。

［第５の実施形態］
次に、本発明の第５の実施形態による個人認証装置の一例について説明する。第５の実施形態では、第１の実施形態で説明した追加登録を行う際に当該追加登録を行う対象が適切な顔領域であるか否かを判定する。

図８は、本発明の第５の実施形態による個人認証装置に一例についてその構成を示すブロック図である。なお、図８において、図１に示す個人認証装置と同一の構成要素については同一の参照番号を付す。

図８に示す個人認証装置は、登録判定部８０１（判定手段）を有しており、顔検出部１０２が登録判定部８０１を介して認証部１０６に接続されている。また、登録判定部８０１は正規化部１０３に接続されている。

図１に関連して説明したように、顔検出部１０２は画像データから人物の顔領域の位置およびサイズを検出して、顔領域検出データを生成する。この際、顔検出部１０２は後述する付随検出データを出力する。登録判定部８０１は顔領域検出データおよび付随検出データに応じて、後述するようにして、追加登録を行う対象として適切な顔領域であるか否かを判定する。

登録判定部８０１が追加登録を行う対象として適切な顔領域であると判定すると、認証部１０６は当該顔領域検出データに対応する特徴データを与える。そして、登録部１０９は当該特徴データを、正規化顔画像データとともに個人データベース部１０８に追加登録する。

一方、登録判定部８０１が追加登録を行う対象として適切な顔領域でないと判定すると、認証部１０６は比較・照合の結果による追加登録すべきか否かの判定によらず、追加登録を行わない。

図８においては、登録判定部８０１による判定結果が追加登録を行う対象である（適切である）ことを示していると、正規化部１０３は当該顔領域検出データを正規化する。そして、登録判定部８０１により適切でないと判定された顔領域検出データに対して正規化部１０３は正規化を行わない。これによって、特徴データ生成部１０４および認証部１０６における処理は実行されないことになる。

図８に示す個人認証装置において、認証部１０６は、図１に関連して説明したように、特徴点の座標の差分の絶対値和Ｓを算出して個人認証を行う。そして、認証部１０６は絶対値和Ｓが小さい程、顔領域と予め登録された人物とが同一人物の可能性が高いと判断する。また、絶対値和Ｓが大きい程、認証部１０６は別の人物の可能性が高いと判断する。

ところで、たとえ同一の人物であったとしても、絶対値和Ｓは変動する。その理由として、例えば、次の２つがある。１つ目は、人物の表情および向きなどの顔の状態変化、そして、照明条件などの環境変化が特徴点に影響するためである。２つ目は、人物が横を向いている場合又は顔領域を遮蔽する物体が存在する場合など特徴点の誤検出が発生するためである。

上述の第１の実施形態においては、同一人物において絶対値和Ｓが下がった場合、つまり、同一人物において上述したような変化があった場合には、特徴データが正規化顔画像データとともに個人データベース部１０８に追加登録される。これによって、同一人物の様々な変化に対応する特徴データなどが登録されることになって、認証精度が向上することになる。

ところが、第１の実施形態においては、例えば、真横を向いた顔および遮蔽物で一部分が遮蔽された顔に関する特徴データなども個人データベース部１０８に登録されてしまう。

図９は、図１に示す個人認証装置における追加登録を説明するための図である。そして、図９（ａ）は動画像データにおける１フレームを示す図であり、図９（ｂ）は図９（ａ）に連続するフレームの一例を示す図である。また、図９（ｃ）は図１に示す個人データベース部１０８に登録されているデータの一例を示す図である。

図９（ａ）に示す人物９０１の顔領域は前のフレームですでに個人データベース部１０８に登録されていた人物９０１の顔領域（図９（ｃ））と同一であると判定されているものとする。つまり、図９（ａ）に示す人物９０１の顔領域と図９（ｃ）に示す人物９０１の顔領域との差分の絶対値和Ｓは小さいので、同一人物であると判定される。

この際には、図９（ａ）に示す人物９０１の顔領域検出データおよび特徴データは個人データベース部１０８に登録されている顔領域検出データおよび特徴データとは変化がないとされる。この結果、図９（ａ）に示す人物９０１の顔領域検出データおよび特徴データは追加登録の対象外とされる。

図９（ｂ）に示すように、人物９０１の一部分が遮蔽物９０２で遮蔽されたとする。この場合、図９（ｂ）に示す人物９０１の顔領域と図９（ｃ）に示す人物９０１との差分の絶対値和Ｓは大きくなる。この結果、同一人物であるにも関わらず別の人物であるという判定されることがある。

これによって、図９（ｂ）に示す人物９０１の顔領域検出データおよび特徴データは個人データベース部１０８に登録されている顔領域検出データおよび特徴データと異なるとされる。そして、図９（ｂ）に示す人物９０１の顔領域検出データおよび特徴データが追加登録の対象とされる。ところが、図９（ｂ）に示す人物９０１のように、個人認証を行う際その特徴点が算出しにくい特徴データを追加登録すると、認証精度が低下することがあるので、追加登録を行うことは好ましくない。

このような追加登録を防止するため、図８に示す個人認証装置では、前述のように、登録判定部８０１が顔領域検出データおよび付随検出データに応じて個人データベース部１０８に追加登録する対象とするか否かを判定して、追加登録の対象として適切でない場合は追加登録の対象外と判定する。

登録判定部８０１における判定では、例えば、付随検出データとして顔向きの向きを表す顔向き情報、顔検出結果の信頼度、および顔領域の大きさが用いられる。ここで、顔検出結果の信頼度とは、顔としての確からしさをいい、顔検出結果の信頼度が低い場合として、顔領域検出データに遮蔽物などが含まれている場合がある。このため、顔検出結果の信頼度が所定の信頼度閾値よりも低い場合には、追加登録の対象として適切でないと判定される。

また、顔領域の大きさが小さい場合には、認証部１０６において比較・照合で用いる特徴データとして十分な解像度でない場合がある。よって、顔領域の大きさが所定の大きさ閾値よりも小さい場合には、追加登録の対象として適切でないと判定される。

さらに、横向きの顔など顔の向き（正面を向いた場合の基準とする角度）が大きい場合は、正面顔など顔の向きが小さい場合と比較して、認証部１０６において個人認証を行うための十分な特徴データが得られない場合がある。よって、顔の向きの大きさ（角度）が所定の向き閾値（角度閾値）よりも大きい場合は、追加登録の対象として適切でないと判定される。

図１０は、図８に示す個人認証装置の動作の一例を説明するためのフローチャートである。なお、図８において、図４に示すフローチャートと同一のステップについては同一の参照符号を付す。

図８および図１０を参照して、図４で説明したように、ステップＳ２０２において、少なくとも１つの顔領域を検出することができると（ステップＳ２０２において、ＹＥＳ）、登録判定部８０１は、検出された顔領域検出データについて、付随検出データによって当該顔領域検出データが追加登録の対象として適切な顔領域であるか否かを判定する（ステップＳ９０１）。登録判定部８０１における判定処理は、検出された顔領域検出データ毎に行われる。

登録判定部８０１よって顔領域検出データが追加登録の対象として適切であると判定されると（ステップＳ９０１において、ＹＥＳ）、図１に関連して説明したように、ステップＳ２０３において正規化部１０３は当該顔領域検出データを正規化する。その後、ステップＳ２０４において特徴データ生成部１０４は特徴データを抽出する。

続いて、登録判定部８０１は全ての顔領域検出データについて判定処理を行ったか否かを確認する（ステップＳ９０２）。全ての顔領域検出データについて判定処理が行われていると（Ｓ９０２において、ＹＥＳ）、図１で説明したステップＳ２０５が行われる。一方、全ての顔領域検出データについて判定処理が行われていない場合には（Ｓ９０２において、ＮＯ）、処理はステップＳ９０１に戻る。

顔領域検出データが追加登録の対象として適切でないと判定すると（ステップＳ９０１において、ＮＯ）、登録判定部８０１はステップＳ９０２の処理に進む。顔領域検出データが追加登録の対象として適切でない場合には、当該顔領域検出データが個人認証を行うための特徴点を抽出しにくい顔領域であるから、ステップＳ２０３およびステップＳ２０４の処理は行われない。

ステップＳ２０５以降であるステップＳ２０６〜Ｓ２１２の処理については、図４に関連して説明したので、説明を省略する。

ステップＳ２０７の個人認証処理については、図３を用いて説明したが、図８に示す個人認証装置においては、ステップＳ３０１で、認証部１０６が処理中のフレームに人物ＩＤに対する特徴データが検出されているか否かについて判定する。この際、特徴データが検出されていない場合とは、顔検出部１０２において顔領域の検出ができず、追尾部１０５による追尾によって顔のある領域を判定した場合に加えて、登録判定部８０１によって顔領域検出データが追加登録の対象として適切でないと判定した場合も含む。

また、図３に示すステップＳ３０２において、認証部１０６は比較・照合処理により個人の証を行うが、比較・照合処理には処理時間が掛かる。しかしながら、登録判定部８０１によって追加登録の対象として不適切であると判定されていれば比較・照合処理は行われないから、処理時間を短縮することができる。

このように、第５の実施形態では、個人データベースに追加登録を行う際に、顔領域検出データが追加登録の対象として適切であるか否かを判定して、適切な顔領域検出データおよびその特徴データのみを登録するようにしている。この結果、個人認証の際の精度を向上することができる。

また、追加登録の対象として不適切であると判定された顔領域検出データについては、比較・照合処理が行われないので、効率よく比較・照合処理を行うことができる。

［第６の実施形態］
続いて、本発明の第６の実施形態による個人認証装置について説明する。

図１１は、本発明の第６の実施形態による個人認証装置の一例についてその構成を示すブロック図である。

図１１に示す個人認証装置において、図８に示す個人認証装置と同一の構成要素については同一の参照番号を付す。図示の個人認証装置はさらに器官特徴量抽出部１１０１（器官特徴量抽出手段）を有している。

図１１に示す個人認証装置では、器官特徴量抽出部１１０１は特徴データ生成部１０４が抽出した特徴データ（抽出特徴データ）から、目の開閉度を示す開閉度情報および顔の向きを示す顔向き情報を器官特徴情報（器官特徴量ともいう）として抽出する。そして、器官特徴量抽出部１１０１は当該器官特徴情報を登録判定部８０１に与える。

登録判定部８０１は、顔検出部１０２から与えられる顔領域検出データおよび付随検出データとともに器官特徴情報を用いて、顔領域検出データおよび特徴データについて個人データベース部１０８に追加登録する対象として適切であるか否かを判定する。そして、登録判定部８０１によって、追加登録する対象として適切であると判定されると、認証部１０６は顔領域検出データおよび特徴データを追加登録の対象として扱う。一方、登録判定部８０１によって、追加登録する対象として適切でないと判定された場合には、認証部１０６は比較・照合の結果に応じた追加登録すべきか否かの判定によることなく、顔領域検出データおよび特徴データを追加登録する対象として扱わない。

ところで、図８で説明した個人認証装置では、前述のように、登録判定部８０１が付随検出データを用いて、個人認証を行うための特徴点が得にくい顔領域検出データを判定している。そして、特徴点が得にくい場合は、追加登録の対象外としている。このようにして、図８に示す個人認証装置では、特徴点を含む特徴データを正しく得ることができる顔領域検出データのみを、個人データベース部１０８に追加登録するようにしている。

図８に示す個人認証装置において、特徴データを正しく得ることができる顔領域検出データであると判定されても、当該顔領域検出データが必ずしも個人認証を行うための顔領域検出データとして適しているとは限らない。例えば、目を瞑っている場合および横向きなど顔向きの角度が大きい（正面に対する角度が大きい）場合には、顔領域検出データから得られる特徴データが個人の特徴を十分に反映せず、この結果、当該特徴データを用いても正しく認証することができない可能性がある。

そこで、図１１に示す個人認証装置では、登録判定部８０１は付随検出データを用いた判定に加えて、器官特徴情報を用いて個人データベース部１０８に追加登録する対象として適切な顔領域検出データであるか否かを判定する。目の開閉度および顔向きを示す器官特徴情報を用いて判定を行えば、認証部１０６は、個人認証を行うために十分でない顔領域検出データを、精度よく追加登録の対象外とすることができる。つまり、図１１に示す個人認証装置では、図８に示す個人認証装置よりも認証精度を向上させることができる。

ここで、上述した器官特徴情報の抽出について説明する。まず、顔検出部１０２によって検出された顔領域検出データを正規化した正規化顔画像データが特徴データ生成部１０４に与えられる。特徴データ生成部１０４は、正規化顔画像データに対して顔の３次元モデルをフィッティングしてその特徴点を抽出して特徴データを得る。器官特徴量抽出部１１０１は、特徴データにおける特徴点の幾何学的な関係に応じて目の開閉度および顔向きを示す器官特徴情報を得る。

ところで、図８に示す個人認証装置では、顔検出部１０２が画像データから顔領域を検出して顔領域検出データを出力するとともに、付随検出データを出力している。そして、この付随検出データは前述したように顔向き情報を有している。付随検出データに含まれる顔向き情報を得る際には、例えば、正面顔および横顔などの顔向きに対応付けて複数の識別器を用い、顔向きの検出を行った識別器を判別して顔向き情報を得ている。このため、器官特徴量抽出部１１０１によって得られる顔向き情報は、付随検出データに含まれる顔向き情報に比べて精度が高い。

つまり、器官特徴量抽出部１１０１は特徴データ生成部１０４から出力される特徴データによって顔向き情報を得ている。このため、器官特徴量抽出部１１０１で得られた顔向き情報は、付随検出データに含まれる顔向き情報に比べて、詳細な特徴を抽出している関係上精度が高い。

上述した器官特徴情報（つまり、目の開閉度および顔向き情報）は次のようにして判定に利用される。目瞑り状態などのように目の開閉度が小さい場合には、目の開閉度が大きい場合と比べて、認証部１０６が個人認証を行う際に十分な特徴データが得られない場合がある。よって、目の開閉度が所定の開閉度閾値よりも小さい場合には、登録判定部１０８は個人データベース部１０８に追加登録する対象として適切な顔領域検出データではないと判定する。

また、横向きの顔などのように顔の向き（角度）が大きい場合には、正面顔など顔の向き（角度）が小さい場合と比較して、認証部１０６が個人認証を行う際に十分な特徴データが得られない場合がある。よって、顔の向きの大きさが所定の角度閾値よりも大きい場合には、登録判定部１０８は追加登録の対象として適切でないと判定する。

図１２は、図１１に示す個人認証装置における個人認証処理の一例を示すフローチャートである。なお、図１２において、図６に示す個人認証処理と同一のステップについては同一の参照符号を付すが、同一のステップであっても処理主体が異なる場合がある。

図１１および図１２を参照して、個人認証処理の際には、器官特徴量抽出部１１０１は、処理中のフレームにおいて、人物ＩＤに対する特徴データが検出されているか否かについて判定する（ステップＳ３０１）。特徴データが検出されている場合には（ステップＳ３０１において、ＹＥＳ）、器官特徴量抽出部１１０１は、人物ＩＤに対する特徴データから目の開閉度および顔向きを示す器官特徴情報を抽出する（ステップＳ１２０１）。

続いて、登録判定部８０１は、器官特徴量抽出部１１０１から与えられた器官特徴情報に応じて、顔検出部１０２で検出された顔領域検出データが追加登録の対象として適切な顔領域検出データであるか否かを判定する（ステップＳ１２０２）。

登録判定部８０１によって顔領域検出データが追加登録の対象として適切であると判定されると（ステップＳ１２０２において、ＹＥＳ）、認証部は、図６に関連して説明したステップＳ３０２の比較・照合を行う。一方、登録判定部８０１によって顔領域検出データが追加登録の対象として適切でないと判定されると（ステップＳ１２０２において、ＮＯ）、認証部１０６は、ステップＳ３０５において処理中のフレームに対して追尾部１０５によって割り当てられた人物ＩＤのうちで、認証処理を行っていないものが残っているか否かについて判定する。つまり、認証部１０６は、ステップＳ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０７、およびＳ３０８の処理を行うことなく、ステップＳ３０７に進むことになる。

なお、ステップＳ３０２、Ｓ３０３、Ｓ３０４、Ｓ３０６、Ｓ３０７、およびＳ３０８の各々の処理については、図６に関連して説明したので省略する。

このようにして、第６の実施形態による個人認証装置では、図１０で説明した付随検出データを用いた処理に加えて、個人認証処理の際に目の開閉度および顔向きを示す器官特徴情報を用いて、顔領域検出データが追加登録の対象として適切であるか否かを判定している。これによって、追加登録の対象として適切な顔領域検出データおよびその特徴データのみが精度よく追加登録されることになって、個人認証の精度を向上させることができる。

さらに、顔領域検出データが追加登録の対象として不適切であると判定されれば、認証部１０６による処理が省略される結果、効率よく認証処理を行うことができる。

なお、第６の実施形態では、登録判定部８０１が付随検出データおよび器官特徴情報に応じて顔領域検出データが追加登録の対象として適切であるか否かを判定するようにしたが、登録判定部８０１における判定において他の情報を用いてもよい。例えば、特徴データ生成部１０４によって得られる特徴データの信頼度を用いるようにしてもよい。そして、特徴データの信頼度が低い場合には、特徴データに基づいて得られる器官特徴情報および認証部１０６による認証結果の信頼性も低いことになる。よって、特徴データの信頼度が所定の信頼閾値よりも低い場合には、登録判定部８０１は顔領域検出データを追加登録の対象として適切でないと判定することになる。

上述の説明から明らかなように、画像入力部１０１および顔検出部１０２が顔検出手段として機能し、正規化部１０３および特徴データ生成部１０４が特徴データ抽出手段として機能する。また、認証部１０６および登録部１０９が集合的に登録手段として機能することになる。

上述の実施の形態では上述、人物の顔領域を用いた個人認証を例にあげて説明を行ったが、これに限られるものではない。一部のデジタルカメラに搭載されてきたペットである動物の顔領域を検出する機能を利用すれば、上述した説明と同様の処理を、動物の個体認証において実行することも可能である。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を個人認証方法として、この個人認証方法を、コンピュータ等に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを個人認証プログラムとして、この個人認証プログラムを個人認証装置が備えるコンピュータに実行させるようにしてもよい。なお、個人認証プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

この際、個人認証方法および個人認証プログラムは、少なくとも顔検出ステップ、特徴データ抽出ステップ、判定ステップ、認証ステップ、追尾ステップ、および登録ステップを有することになる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 画像入力部
１０２ 顔検出部
１０３ 正規化部
１０４ 特徴データ生成部
１０５ 追尾部
１０６ 認証部
１０７ 結果出力部
１０８ 個人データベース部
１０９ 登録部
８０１ 登録判定部
１１０１ 器官特徴量抽出部

Claims (13)

1. 画像データに含まれる顔領域に応じて認証を行う認証装置において、
   複数のフレームを有する画像データを受け、前記フレームの各々において顔領域を検出するとともに、前記顔領域における顔の向きを表す顔向き情報を少なくとも含む付随検出データを出力する顔検出手段と、
   前記顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出手段と、
   前記認証の際に用いられる前記特徴データが登録された記憶手段と、
   前記付随検出データに応じて前記抽出特徴データが追加登録の対象として適切であるか否かを判定する判定手段と、
   前記記憶手段に登録された特徴データと、前記判定手段によって追加登録の対象として適切であると判定された前記抽出特徴データのみとを比較して認証処理を行う認証手段と、
   連続する前記フレームにおいて同一の前記顔領域を特定する追尾手段と、
   前記複数のフレームの１つである第１のフレームにおいて前記認証手段によって認証が行われ、前記追尾手段によって前記第１のフレームより後の第２のフレームにおいて前記第１のフレームで認証が行われた前記顔領域と同一の前記顔領域であると特定されているにも拘わらず、前記認証手段によって認証できない場合に、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶手段に登録する登録手段とを有することを特徴とする認証装置。
2. 前記判定手段は前記顔の向きを示す角度が所定の角度閾値より大きい場合に、前記抽出特徴データが追加登録の対象として適切でないと判定することを特徴とする請求項１に記載の認証装置。
3. 前記付随検出データには、さらに顔検出結果の信頼度又は顔領域の大きさを示す情報が含まれており、
   前記判定手段は、前記信頼度が所定の信頼閾値よりも低い場合又は顔の大きさが所定の大きさ閾値よりも小さい場合に、前記抽出特徴データが追加登録の対象として適切でないと判定することを特徴とする請求項２に記載の認証装置。
4. 前記抽出特徴データから少なくとも前記顔領域における目の開閉度を示す開閉度情報を有する器官特徴情報を抽出する器官特徴量抽出手段を備え、
   前記判定手段は前記目の開閉度が所定の開閉度閾値よりも低い場合に前記抽出特徴データが追加登録の対象として適切でないと判定することを特徴とする請求項１〜３のいずれか１項に記載の認証装置。
5. 前記器官特徴情報には前記顔領域における顔の角度を示す顔向き情報が含まれており、
   前記判定手段は前記顔の角度が所定の角度閾値よりも大きい場合に前記抽出特徴データが追加登録の対象として適切でないと判定することを特徴とする請求項４に記載の認証装置。
6. 前記認証手段は、前記抽出特徴データと前記記憶手段に登録された特徴データとの差分が予め定められた閾値よりも小さいと、前記抽出特徴データと前記記憶手段に登録された特徴データとは同一の個人又は個体であると認証することを特徴とする請求項１〜５のいずれか１項に記載の認証装置。
7. 前記追尾手段は、互いに異なるフレームにおいて前記顔領域のうち顔の中心位置およびサイズに基づいて当該顔領域が同一であるか否かを判定することを特徴とする請求項１〜６のいずれか１項記載の認証装置。
8. 前記予め定められた閾値として第１の閾値と該第１の閾値よりも小さい第２の閾値とが設定されており、
   前記認証手段によって前記第１のフレームにおいて前記差分が第２の閾値よりも小さいとされた際、前記追尾手段によって前記第１のフレームおよび前記第２のフレームにおける前記顔領域が同一であると特定された場合に前記認証手段によって前記第２のフレームにおいて前記差分が前記第１の閾値を越えると判定されると、前記登録手段は前記第２のフレームにおける前記抽出特徴データを前記追加特徴データとして前記記憶手段に登録することを特徴とする請求項６記載の認証装置。
9. 前記認証手段は、前記認証に当たって予め前記記憶手段に登録された前記特徴データを用いて前記認証を実行し、前記記憶手段に予め登録された特徴データによる認証ができないと、前記追加特徴データを用いて前記認証をさらに実行することを特徴とする請求項８記載の認証装置。
10. 前記認証手段による前記認証の際、前記登録手段は前記記憶手段に登録された特徴データの利用頻度を前記記憶手段に登録しており、
    前記登録手段は、前記追加特徴データを新たに登録する際、前記記憶手段に登録可能な特徴データの数が予め規定された上限に達していると、前記利用頻度の低い特徴データを抹消して前記追加特徴データを登録することを特徴とする請求項１〜９のいずれか１項に記載の認証装置。
11. 画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証方法において、
    前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、
    複数のフレームを有する画像データにおいて前記フレームの各々における顔領域を検出するとともに、前記顔領域における顔の向きを表す顔向き情報を少なくとも含む付随検出データを出力する顔検出ステップと、
    前記顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、
    前記付随検出データに応じて前記抽出特徴データが追加登録の対象として適切であるか否かを判定する判定ステップと、
    前記記憶装置に登録された特徴データと、前記判定ステップによって追加登録の対象として適切であると判定された前記抽出特徴データのみとを比較して認証処理を行う認証ステップと、
    連続する前記フレームにおいて同一の前記顔領域を特定する追尾ステップと、
    前記認証ステップによって前記複数のフレームの１つである第１のフレームにおいて認証が行われ、前記追尾ステップによって前記第１のフレームより後の第２のフレームにおいて前記第１のフレームで認証が行われた前記顔領域と同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって認証できない場合に、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを有することを特徴とする認証方法。
12. 画像データに含まれる顔領域に応じて認証を行うための認証装置で用いられる認証プログラムにおいて、
    前記認証装置には、前記認証の際に用いられる前記顔領域の特徴データが登録特徴データとして登録された記憶装置が備えられており、
    前記認証装置が備えるコンピュータに、
    複数のフレームを有する画像データにおいて前記フレームの各々における顔領域を検出するとともに、前記顔領域における顔の向きを表す顔向き情報を少なくとも含む付随検出データを出力する顔検出ステップと、
    前記顔領域からその特徴データを抽出特徴データとして抽出する特徴データ抽出ステップと、
    前記付随検出データに応じて前記抽出特徴データが追加登録の対象として適切であるか否かを判定する判定ステップと、
    前記記憶装置に登録された特徴データと、前記判定ステップによって追加登録の対象として適切であると判定された前記抽出特徴データのみとを比較して認証処理を行う認証ステップと、
    連続する前記フレームにおいて同一の前記顔領域を特定する追尾ステップと、
    前記認証ステップによって前記複数のフレームの１つである第１のフレームにおいて認証が行われ、前記追尾ステップによって前記第１のフレームより後の第２のフレームにおいて前記第１のフレームで認証が行われた前記顔領域と同一の前記顔領域であると特定されているにも拘わらず、前記認証ステップによって認証できない場合に、前記第２のフレームにおける顔領域に対応する前記抽出特徴データを追加特徴データとして前記記憶装置に登録する登録ステップとを実行させることを特徴とする認証プログラム。
13. 請求項１２に記載の認証プログラムが記録されたコンピュータに読み取り可能な記録媒体。

Images