JP5355446B2 - 移動物体追跡システムおよび移動物体追跡方法 - Google Patents

Description

この発明は、たとえば、画像の時系列において複数のフレームに含まれる複数の移動物体を検出し、同一の移動物体どうしをフレーム間で対応付けることにより、移動物体の追跡を行う移動物体追跡システムおよび移動物体追跡方法に関する。

近年、画像の時系列において複数のフレームに含まれる複数の移動物体を検出し、同一の物体どうしをフレーム間で対応付けることで、移動物体の追跡を行い、追跡した結果を記録したり、追跡した結果をもとに移動物体を識別する移動物体追跡システムが開発されている。このような移動物体追跡システムでは、移動物体を正しく追跡すること、あるいは、追跡した結果を効率よく監視している人物に伝えることなどが重要な要素となる。

移動物体を追跡するための主な手法としては、以下の３つの技術が提案されている。
第１に、隣接フレーム間の検出結果からグラフを構成し、対応づけを求める問題を適当な評価関数を最大にする組合せ最適化問題（２部グラフ上の割当問題）として定式化し、複数物体の追跡を行うことを挙げることができる（例えば、特許文献１）。
第２に、移動中の物体が検出できないフレームが存在する場合でも物体を追跡するために、物体の周囲の情報を利用することで検出を補完する手法がある。具体例としては、顔の追跡処理において、上半身のような周囲の情報を利用する手法がある（例えば、特許文献２）。
第３に、事前に動画中の全フレームにおいて物体の検出を行っておき、それらをつなぐことで複数物体の追跡を行う手法がある（たとえば、非特許文献１）。

さらに、追跡結果を管理するための技術としては、以下のような２つの技術が提案されている。
１つ目の技術としては、複数のインターバルをもたせて複数の移動物体を追跡できるように対応をするといった技術がある（たとえば、特許文献３）。また、２つ目の技術としては、移動物体を追跡して記録する技術において移動物体の顔が見えないときでも頭部領域を検出して追跡を続け、同一人物として追跡し続けた結果パターン変動が大きかったら分けて記録を管理する技術がある（たとえば、特許文献４）。

しかしながら、上述した従来の技術では、以下のような問題がある。
まず、特許文献１の技術では、隣接するフレーム間での検出結果だけで対応付けを行うため、物体の移動中に検出が失敗するフレームが存在した場合は追跡が途切れてしまう。特許文献２の技術では、人物の顔を追跡する手法として、検出がとぎれた場合に対応するために、上半身のような周囲の情報を利用することを提案している。しかしながら、複数物体の追跡に対応していない顔以外の別部位を検出する手段を必要とするといった問題がある。非特許文献１の技術では、あらかじめ対象物体が写っているフレームすべてを入力した上で追跡結果を出力する必要がある。さらに、非特許文献１の技術は、false positive（追跡対象ではないものを誤検出すること）には対応しているが、true negative（追跡対象であるものを検出できないこと）により追跡がとぎれる場合には対応していない。

また、特許文献３の技術では、複数物体の追跡を短時間で処理させるための技術であって追跡処理結果の精度や信頼性を向上させるものではない。特許文献４は、複数人の追跡結果を最適な追跡結果として結果を１つだけ出力することになるが、追跡精度の問題で追跡がうまくいかなかった場合は不正な追跡結果として記録され、それに準ずる候補として記録させたりすることや状態に応じて出力結果を制御することができない。

特開平１１−３４１３３９号公報 特開２００６−１６２１８５号公報 特開２００４−５４６１０号公報 特開２００７−６３２４号公報

"Global Data Association for Multi-Object Tracking Using Network Flows, Univ. Southern California", CVPR ‘08.

この発明の一形態は、複数の移動物体が複雑な動きをした場合であっても、良好な追跡結果を得ることができる移動物体追跡システムおよび移動物体追跡方法を提供することを目的とする。

この発明の一形態としての移動物体追跡システムは、移動物体を追跡するものにおいて、複数の時系列の画像を入力する入力手段と、前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、前記移動物体検出手段により複数の時系列の各画像で検出された移動物体と各画像での移動物体の検出失敗状態とに対して、時系列で連続する次の画像で検出された移動物体と前記次の画像での移動物体の検出失敗状態とをつなげたパスの組み合わせを作成する作成手段と、前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段と、を有する。

この発明の一形態としての移動物体追跡システムは、移動物体を追跡するものにおいて、複数の時系列の画像を入力する入力手段と、前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、前記移動物体検出手段により第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成する作成手段と、前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率との比に基づいて、前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段とを有する。

この発明の一形態としての移動物体追跡システムは、移動物体を追跡するものにおいて、複数の時系列の画像を入力する入力手段と、前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、前記移動物体検出手段により第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成する作成手段と、前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率、前記第２の画像に移動物体が出現する確率、前記第２の画像から移動物体が消滅する確率、前記第１の画像で検出された移動物体が前記第２の画像で検出失敗する確率、前記第１の画像で検出されなかった移動物体が前記第２の画像で検出される確率に基づいて、前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段とを有する。

この発明の一形態によれば、複数の移動物体が複雑な動きをした場合であっても、良好な追跡結果を得ることができる移動物体追跡システムおよび移動物体追跡方法を提供できる。

図１は、第１の実施の形態に係る移動物体追跡システムとして人物追跡システムのハードウエア構成例を示す図である。 図２は、顔追跡部から出力される追跡結果を説明するための図である。 図３は、通信調整部における通信設定処理の例を説明するためのフローチャートである。 図４は、監視部の表示部における表示例を示す図である。 図５は、第２の実施の形態に係る移動物体追跡システムとして人物追跡システムのハードウエア構成例を示す図である。 図６は、第２の実施の形態としての監視部の表示部に表示される表示例を示す図である。 図７は、第３の実施の形態に係る移動物体追跡システムとしての人物追跡システムのハードウエア構成例を示す図である。 図８は、顔検出結果蓄積部が蓄積する顔の検出結果を示すデータの構成例を示す図である。 図９は、グラフ作成部により作成されるグラフの例を示す図である。 図１０は、ある画像で検出された顔と連続する別の画像で検出された顔とが対応付く確率と対応付かない確率との例を示す図である。 図１１は、対応付く確率と対応付かない確率との関係に応じた枝重みの値を概念的に示す図である。

以下、この発明の実施の形態について図面を参照して詳細に説明する。
本実施の形態では、カメラで撮影する画像に基づいて移動物体を追跡する移動物体追跡システムについて説明する。本実施の形態では、移動物体追跡システムの例として、人物（移動物体）の移動を追跡する人物追跡システムについて説明する。後述する各実施の形態に係る人物追跡システムは、人物の顔を検出する処理を追跡対象とする移動物体に適したものに切り替えることにより、人物以外の他の移動物体（たとえば、車両、動物など）を追跡する追跡装置としても適用可能である。

以下に説明する第１、第２及び第３実施の形態では、人物追跡装置では、カメラから得られた時系列の画像に対し、画像中に複数の人物の顔が撮影されている場合、それらの複数の人物（顔）を追跡する人物追跡装置を例として説明する。また、本実施の形態で説明する移動物体追跡システムを用いたシステムは、例えば、監視カメラから収集した大量の動画像の中から移動物体（人物或は車両等）を検出してそれらのシーンを追跡結果とともに記録装置に記録するシステム、あるいは、監視カメラで撮影された移動物体（人物或は車両等）を追跡し、その追跡した移動物体と事前にデータベースに登録されている辞書データとを照合して移動物体を識別し、移動物体の識別結果を通知する監視システムなどのシステムが想定される。

まず、第１の実施の形態について説明を行う。
図１は、第１の実施の形態に係る移動物体追跡システムとして人物追跡システムのハードウエア構成例を示す図である。
第１の実施の形態では、監視カメラで撮影した人物の顔を検出対象（移動物体）として追跡し、追跡した結果を記録装置に記録するシステムである。第１の実施の形態としての移動物体追跡システムは、図１に示すような構成の人物追跡システムを例として説明する。

図１に示す人物追跡システムは、監視エリアを撮影するカメラと、カメラが接続された端末装置と、端末装置に接続されたサーバとにより構成される。カメラ及び端末装置は、複数であっても良い。図１に示す構成例では、２か所に設置された２つのカメラ１Ａ、１Ｂ、各カメラ１（１Ａ、１Ｂ）に接続された２つの端末装置２Ａ、２Ｂ、および、各端末装置２（２Ａ、２Ｂ）に接続されたサーバ３などにより構成される。なお、ここでは、複数の地点を監視するカメラを想定して２台のカメラが設置されたシステム構成として説明するが、カメラが１台の場合であっても、３台以上の場合であっても、以下に説明する人物追跡システムは、同様に実現できる。また、カメラと端末装置とは、ＮＴＳＣなどのカメラ用の信号ケーブルを利用して接続するようにしても良い。

端末装置２（２Ａ、２Ｂ）は、制御部２１、画像インターフェース２２、画像メモリ２３、処理部２４、およびネットワークインターフェース２５を有する。制御部２１は、端末装置２の制御を司るものである。制御部２１は、プログラムに従って動作するプロセッサ、およびプロセッサが実行するプログラムを記憶したメモリなどにより構成される。画像インターフェース２２は、カメラ１から複数の時系列の画像を入力する入力手段として機能するインターフェースである。また、画像インターフェース２２は、記憶媒体などから複数の時系列の画像を入力するようにしても良い。画像メモリ２３は、たとえば、カメラから取得した画像を記憶する。処理部２４は、入力された画像に移動物体（人物の顔）が含まれる場合は移動物体の領域を検出する移動物体検出手段としての顔検出部２６と、同一の移動物体を入力される画像間でどこに移動したかを対応付けして追跡をする移動物体追跡手段としての顔追跡部２７とを有する。ネットワークインターフェース２５は、ネットワークを介してサーバと通信を行うためのインターフェースである。

サーバ３は、制御部３１、ネットワークインターフェース３２、追跡結果管理部３３、通信調整部３４、および監視部３５などにより構成される。制御部３１は、サーバ３全体の制御を司るものである。制御部３１は、プログラムに従って動作するプロセッサ、およびプロセッサが実行するプログラムを記憶したメモリなどにより構成される。ネットワークインターフェース３２は、ネットワークを介して各端末装置２と通信を行うためのインターフェースである。追跡結果管理部３３は、各端末装置２から取得する移動物体（人物の顔）の追跡結果を管理する追跡結果管理手段として機能する。追跡結果管理部３３は、追跡結果を示す情報およびカメラが撮影した画像などを記憶する記憶部３３ａを有する。

通信調整部３４は、各端末装置２との通信の調整を行うものである。通信調整部３４は、通信測定部３７と通信設定部３６とを有する。通信測定部３７は、各端末装置２に接続されているカメラ１の数、あるいは、各端末装置２から供給される追跡結果などの情報量などに基づいて通信量などの通信負荷を求める通信計測手段として機能する。通信設定部３６は、通信測定部３７により計測した通信量などに基づいて各端末装置２に対して追跡結果として出力すべき情報のパラメータ設定を行う通信設定手段として機能する。
監視部３５は、追跡結果を表示する出力手段として機能する。監視部３５は、追跡結果および画像などを表示する表示部と、オペレータにより操作されるキーボード或はマウスなどの操作部とを有するユーザインターフェース（ＵＩ）として機能する。

次に、図１に示すシステムにおける各部の構成及び処理について説明する。

カメラ１（１Ａ、１Ｂ）は、監視エリアの画像を撮影するものであり、例えば、装置中央に設置されたＴＶカメラからなる。図１の構成例において、カメラ１は、動画などの複数の時系列の画像を撮影する。カメラ１では、追跡対象とする移動物体としての人物の顔画像を含む画像を撮像する。カメラ１で撮影した画像は、端末装置２の画像インターフェース２２を介してＡ／Ｄ変換され、デジタル化された画像情報として処理部２４内の顔検出部２６に送られる。なお、画像インターフェース２２は、カメラ１以外の機器から画像を入力するものであっても良い。たとえば、画像インターフェース２２は、事前に記録媒体に記録された動画像などの画像情報を取り込むことにより、複数の時系列の画像を入力するようにしても良い。

顔検出部２６は、入力した画像内において、１つまたは複数の顔を検出する処理を行う。顔を検出する具体的な処理方法としては、以下の手法が適用できる。まず、予め用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔画像の領域として検出する。その他、固有空間法や部分空間法を利用した顔抽出法などでも顔の検出は、実現可能である。また、検出された顔画像の領域の中から、目、鼻などの顔部位の位置を検出することにより、顔の検出の精度を高めることも可能である。このような顔の検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌(D),vol.J80-D-II,No.8,pp2170--2177(1997)）など記載の手法が適用可能である。また、上記目及び鼻の検出の他、口の領域の検出については、文献（湯浅 真由美、中島 朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集,pp219-224(2004)）の技術を利用することで容易に実現が可能である。いずれの場合でも、二次元配列状の画像として取り扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。

また、上述の処理では、１枚の画像の中から１つの顔特徴だけを抽出するには全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力すればよい。また、複数の顔特徴を抽出するには、画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔特徴を同時に見つけることも可能である。

顔追跡部２７は、移動物体としての人物の顔を追跡する処理を行う顔追跡手段として機能する。顔追跡部２７は、たとえば、後述する第３の実施の形態で詳細に述べる手法が提供可能である。顔追跡部２７は、入力される複数の画像から検出された人物の顔の座標、或は大きさなどの情報を統合して最適な対応付けを行い、同一人物が複数フレームにわたって対応付けされた結果を統合管理して追跡結果として結果を出力する。なお、複数の人物が動き回っている映像では、人物が交差するなどの複雑な動作をしている場合がある。このような場合には対応付け結果が一意に決まらない可能性がある。この場合、顔追跡部２７は、対応付けを行った際の尤度が最も高くなるものを第一候補として出力するだけでなく、それに準ずる対応付け結果を複数管理することも可能とする。

図２は、顔追跡部２７から出力される追跡結果を説明するための図である。
図２に示すように、顔追跡部２７は、１つの追跡結果のみを出力するだけでなく、複数の追跡結果（追跡候補）を出力できる。顔追跡部２７は、どのような追跡結果を出力するかが動的に設定できる機能を有している。本実施の形態では、上記サーバの通信設定部により設定される基準値に基づいてどのような追跡結果を出力するかを判断する。たとえば、顔追跡部２７は、追跡結果候補に対してそれぞれ信頼度を算出し、通信設定部によって設定される基準値を超える信頼度の追跡結果を出力するようにできる。また、顔追跡部２７は、通信設定手段によって出力すべき追跡結果候補の件数（例えばＮ個）が設定される場合、設定された件数までの追跡結果候補（上位Ｎ個までの追跡結果候補）を信頼度とともに出力するようにもできる。

図２に示す例では、「信頼度７０％以上」と設定された場合、追跡結果の信頼度が７０％以上となる追跡結果１と追跡結果２を出力する。また、設定値が「上位１個まで」という設定であれば、もっとも信頼度の高い追跡結果１のみを送信する。また、追跡結果として出力するデータは、通信設定部により設定可能としたり、サーバ３のオペレータが選択可能としたりしても良い。たとえば、１つの追跡結果候補のデータとしては、入力された画像と追跡結果とを出力するようにしても良い。また、１つの追跡結果候補のデータとしては、入力画像と追跡結果とに加えて検出された移動物体（顔）付近の画像を切り出した画像（顔画像）を出力するようにしても良いし、これらの情報に加えて、複数の画像で同一の移動物体（顔）として対応付けできた全ての画像（または対応付けされた画像の中から選んだ所定の基準枚数の画像）を事前に選択できるようにしても良い。これらのパラメータの設定（１つの追跡結果候補として出力すべきデータの設定）については、上記サーバ３の監視部３５としてのユーザインターフェースを用いて設定したパラメータを各顔追跡部に対して設定するようにしても良い。

追跡結果管理部３３は、各端末装置２から取得した追跡結果をサーバ３で管理するものである。サーバ３の追跡結果管理部３３では、上述したような追跡結果候補のデータを各端末装置２から取得し、各端末装置２から取得した追跡結果候補のデータを記憶部３３ａに記録して管理する。

また、追跡結果管理部３３は、カメラ１が撮影した映像をまるごと動画として記憶部３３ａに記録しても良いし、顔が検出された場合あるいは追跡結果が得られた場合のみその部分の映像を動画として記憶部３３ａに記録するようにしても良い。また、追跡結果管理部３３は、検出した顔領域、或は、人物領域のみ記憶部３３ａに記録するようにしても良いし、追跡した複数フレームの中で一番見やすいと判断されたベストショット画像のみを記憶部３３ａに記録するようにしても良い。また、本実施の形態においては、追跡結果を複数受け取る可能性がある。このため、追跡結果管理部３３は、カメラ１で撮影した動画と対応付けして各フレームの移動物体（人物）の場所と同一の移動物体であることを示す識別ＩＤ、および、追跡結果に対する信頼度を関連づけて記憶部３３ａに記憶して管理するようにしても良い。

通信設定部３６は、追跡結果管理部３３が各端末装置から取得する追跡結果としてのデータの量を調整するためのパラメータを設定する。通信設定部３６は、たとえば、「追跡結果の信頼度に対するしきい値」あるいは「追跡結果候補の最大数」のいずれか、または両方を設定できる。これらのパラメータを設定すると、通信設定部３６は、各端末装置に対して、追跡処理の結果として複数の追跡結果候補が得られた場合に、設定したしきい値以上の信頼度の追跡結果を送信するように設定できる。また、通信設定部３６は、各端末装置に対して、追跡処理の結果として複数の追跡結果候補があった場合に、信頼度が高い順に送信すべき候補の数を設定できる。

また、通信設定部３６は、オペレータの指示に従ってパラメータを設定するようにしても良いし、通信計測部により計測される通信負荷（例えば、通信量）に基づいてパラメータを動的に設定するようにしても良い。なお、前者の場合には、操作部によりオペレータが入力する値に応じてパラメータを設定するようにすれば良い。

通信測定部３７は、複数の端末装置２から送られてくるデータ量などを監視することにより、通信負荷の状態を計測する。通信設定部３６では、通信測定部３７で計測した通信負荷に基づいて各端末装置に対して出力すべき追跡結果を制御するためのパラメータを動的に変更する。たとえば、通信測定部３７は、一定時間内に送られてくる動画の容量あるいは追跡結果の量（通信量）を計測する。これにより、通信設定部３６は、通信測定部３７が計測した通信量に基づいて、各端末装置２に対して追跡結果の出力基準を変更する設定を行う。つまり、通信設定部３６は、通信測定部３７が計測する通信量に従って、各端末装置が出力する顔追跡結果に対する信頼度の基準値を変更したり、追跡結果候補の最大送信数（上位Ｎ個まで送るという設定のＮの数）を調整したりするようにする。

すなわち、通信負荷が高い状態である場合、システム全体としては、各端末装置から取得するデータ（追跡結果候補のデータ）をできるだけ少なくする必要がある。このような状態となった場合であっても、本システムでは、通信測定部３７による計測結果に応じて、信頼度の高い追跡結果だけを出力したり、追跡結果候補として出力する数を少なくしたりするといった対応が可能となる。

図３は、通信調整部３４における通信設定処理の例を説明するためのフローチャートである。
すなわち、通信調整部３４において、通信設定部３６は、各端末装置２に対する通信設定が自動設定であるかオペレータによる手動設定であるかを判断している（ステップＳ１１）。オペレータが操作部３９などにより各端末装置２に対する通信設定の内容を指定している場合（ステップＳ１１、ＮＯ）、通信設定部３６は、オペレータにより指示した内容に沿って各端末装置２に対する通信設定のパラメータを判定し、各端末装置２に対して設定する。つまり、オペレータが手動で通信設定の内容を指示した場合には、通信測定部３７が測定する通信負荷に関係なく、手動で指定された内容で通信設定が行われる。

また、各端末装置２に対する通信設定が自動設定である場合（ステップＳ１１、ＹＥＳ）、通信測定部３７は、各端末装置から供給されるデータ量などによるサーバ３における通信負荷を計測する（ステップＳ１３）。通信設定部３６は、通信測定部３７により計測された通信負荷が所定の基準範囲以上であるか否か（つまり、高負荷の通信状態であるか否か）を判断する（ステップＳ１４）。

通信測定部３７により計測された通信負荷が所定の基準範囲以上であると判断した場合（ステップＳ１４、ＹＥＳ）、通信設定部３６は、通信負荷を軽減するため、各端末装置から出力されるデータ量を抑制するような通信設定のパラメータを判断する（ステップＳ１５）。たとえば、上述した例では、通信負荷を軽減するには、出力すべき追跡結果候補の信頼度に対するしきい値を上げたり、追跡結果候補の最大出力数の設定を減らしたりする設定が考えられる。通信負荷を軽減するためのパラメータ（端末装置からの出力データを抑制するパラメータ）を判定すると、通信設定部３６は、その判定したパラメータを各端末装置２に対して設定する（ステップＳ１６）。これにより、各端末装置２からの出力されるデータ量が減少するため、サーバ３では、通信負荷を低減させることができる。

また、通信測定部３７により計測した通信負荷が所定の基準範囲未満であると判断した場合（ステップＳ１７、ＹＥＳ）、通信設定部３６は、各端末装置からより多くのデータが取得可能であるため、各端末装置から出力されるデータ量を緩和するような通信設定のパラメータを判断する（ステップＳ１８）。たとえば、上述した例では、出力すべき追跡結果候補の信頼度に対するしきい値を下げたり、追跡結果候補の最大出力数の設定を増やしたりする設定が考えられる。供給されるデータ量の増加が見込まれるパラメータ（端末装置からの出力データを緩和するパラメータ）を判定すると、通信設定部３６は、その判定したパラメータを各端末装置２に対して設定する（ステップＳ１９）。これにより、各端末装置２からの出力されるデータ量が増加するため、サーバ３では、より多くのデータが得られる。
上記のような通信設定処理によれば、自動設定である場合には、サーバは、通信負荷に応じて各端末装置からのデータ量を調整することができる。

監視部３５は、追跡結果管理部３３で管理している追跡結果と追跡結果に対応する画像とを表示する表示部３８とオペレータから入力を受け付ける操作部３９とを有するユーザインターフェースである。たとえば、監視部３５は、表示部とキーボード或はポインティングデバイスを具備したＰＣ、あるいは、タッチパネル内容の表示装置などで構成することができる。すなわち、監視部３５では、オペレータの要求に応じて追跡結果管理部３３で管理している追跡結果と当該追跡結果に対応する画像とを表示する。

図４は、監視部３５の表示部３８における表示例を示す図である。図４に示す表示例のように、監視部３５では、表示部３８に表示されたメニューにそってオペレータが指示した希望の日時あるいは希望の場所における動画を表示する機能を有する。また、監視部３５は、図４に示すように、所定の時間で追跡結果がある場合にはその追跡結果を含む撮影映像の画面Ａを表示部３８に表示する。

さらに、追跡結果の候補が複数ある場合、監視部３５は、複数の追跡結果候補がある旨を案内画面Ｂで表示し、それらの追跡結果候補をオペレータが選択するためのアイコンＣ１、Ｃ２を一覧として表示する。また、オペレータが追跡結果候補のアイコンを選択すると、選択されたアイコンの追跡結果候補にあわせて追跡を行うようにしても良い。また、オペレータが追跡結果候補のアイコンを選択した場合、それ以降、その時刻の追跡結果は、オペレータが選択したアイコンに対応する追跡結果を表示するようにする。

図４に示す表示例では、撮影映像の画面Ａには、画面Ａの直下に設けられたシークバー、あるいは、各種の操作ボタンをオペレータが選択することにより再生したり、逆戻ししたり、任意の時間の映像を表示させたりすることが可能である。さらに、図４に示す表示例では、表示対象となるカメラの選択欄Ｅ、および、検索対象とする時刻の入力欄Ｄも設けられている。また、撮影映像の画面Ａには、追跡結果および顔の検出結果を示す情報として、各人物の顔に対する追跡結果（軌跡）を示す線ａ１、ａ２、および、各人物の顔の検出結果を示す枠ｂ１、ｂ２も表示されている。

また、図４に示す表示例では、映像検索のためのキー情報としては、追跡結果に対する「追跡開始時刻」、あるいは「追跡終了時刻」を指定することが可能である。また、映像検索のためのキー情報としては、追跡結果に含まれる撮影場所の情報（指定場所を通った人を映像の中から検索するため）を指定したりすることも可能である。また、図４に示す表示例では、追跡結果を検索するためのボタンＦも設けられている。たとえば、図４に示す表示例において、ボタンＦを指示することにより、次に人物を検出した追跡結果にジャンプすることなども可能である。

図４に示すような表示画面によれば、追跡結果管理部３３に管理されている映像の中から任意の追跡結果を容易に探すことができ、追跡結果が複雑で間違いやすい場合であってもオペレータによる目視の確認によって修正したり、正しい追跡結果を選択したりするインターフェースが提供できる。

上記のような、第１の実施の形態に係る人物追跡システムは、監視映像中の動物体を検出して追跡し、移動物体の映像を記録する移動物体追跡システムに適用できる。上記のような第１の実施の形態を適用した移動物体追跡システムでは、移動物体の追跡処理に対する信頼度を求め、信頼度が高い追跡結果については１つの追跡結果を出力し、信頼度が低い場合には複数の追跡結果候補として映像を記録しておくことができる。この結果として、上記のような移動物体追跡システムでは、記録された映像を後で検索しながら追跡結果あるいは追跡結果の候補を表示したりオペレータが選択したりすることが可能となる。

次に、第２の実施の形態について説明する。
図５は、第２の実施の形態に係る人物追跡装置として人物追跡システムのハードウエア構成例を示す図である。
第２の実施の形態では、監視カメラで撮影した人物の顔を検出対象（移動物体）として追跡し、追跡した人物と予め登録されている複数の人物と一致するかどうか識別し、識別結果を追跡結果とともに記録装置に記録するシステムである。図５に示す第２の実施の形態としての人物追跡システムは、図１に示す構成に、人物識別部４１と人物情報管理部４２とを加えた構成となっている。このため、図１に示す人物追跡システムと同様な構成については、同一箇所に同一符号を付して詳細な説明を省略する。

図５に示す人物追跡システムの構成例において、人物識別部４１は、移動物体としての人物を識別（認識）する。人物情報管理部４２は、予め識別したい人物の特徴情報として顔画像に関する特徴情報を記憶して管理する。すなわち、人物識別部４１は、入力された画像から検出された移動物体としての顔画像の特徴情報と人物情報管理部４２に登録されている人物の顔画像の特徴情報とを比較することにより、入力画像から検出した移動物体としての人物を識別する。

本実施の形態の人物追跡システムにおいて、人物識別部４１では、追跡結果管理部３３で管理している顔を含む画像と人物（顔）の追跡結果（座標情報）とをもとに、同一人物と判断されている複数の画像群を利用して人物を識別するための特徴情報を計算する。この特徴情報は、たとえば、以下の手法により算出される。まず、顔画像において目、鼻、口などの部品を検出し、検出された部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ１とするように正規化を行い、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。１枚の画像で認識結果を出すような処理であれば、これで特徴抽出は完了する。

ただし、連続した複数の画像を利用した動画像による計算をすることでより精度の高い認識処理が行える。このため、本実施の形態では、こちらの手法を想定して説明する。すなわち、連続して得られた入力画像から特徴抽出手段と同様にｍ×ｎピクセルの画像を切り出し、これらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃd ＝Φd Λd Φd T と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。なお、上記のような特徴情報を計算する処理は、人物識別部４１内でやってもよいが、カメラ側の顔追跡部２７の中で処理をするようにしても良い。

また、上述した手法では複数フレームを利用して特徴情報を計算する実施の形態を述べたが、人物を追跡して得られる複数のフレームの中から最も識別処理に適していると思われるフレームを１枚または複数枚選択して識別処理を行う方法を利用してもよい。その場合は顔の向きを求めて正面に近いものを優先的に選んだり、顔の大きさが最も大きいものを選んだりなど、顔の状態が変わる指標であれば、どのような指標を用いてフレームを選択する方法を適用しても良い。

また、特徴抽出手段で得られた入力部分空間と予め登録された１つまたは複数の部分空間との類似度を比較することにより、予め登録された人物が現在の画像中にいるかどうかを判定することが可能となる。部分空間同士の類似性を求める計算方法は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」, 電子情報通信学会論文誌(D),vol.J68-D,No.3,pp345--352(1985) ）にある相互部分空間法が適用可能である。この方法では、予め蓄えられた登録情報の中の認識データも、入力されるデータも複数の画像から計算される部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力手段分空間という。入力データ列に対して同様に相関行列Ｃinを求め、Ｃin＝ΦinΛinΦinT と対角化し、固有ベクトルΦinを求める。二つのΦin，Φd で表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。

複数の顔が画像内に存在する場合には、それぞれ順番に人物情報管理部４２に登録されている顔画像の特徴情報との類似度計算を総当りで計算すれば、すべての人物に対する結果を得ることができる。例えば、Ｘ名の人物が歩いてきた時にY名の辞書が存在すればX×Y回の類似度演算を行うことでX名全員の結果が出力できる。また、ｍ枚の画像が入力された計算結果で認識結果が出力できない場合（登録者の誰とも判定されず次のフレームを取得して計算する場合には上記部分空間に入力される相関行列をそのフレームの１つ分を過去の複数のフレームで作成された相関行列の和に追加し、再度固有ベクトル計算、部分空間作成を行って入力側の部分空間の更新が可能となる。つまり歩行者の顔画像を連続して撮影して照合を行う場合、画像を１枚ずつ取得して部分空間を更新しながら照合計算をしていくことで徐々に精度の高くなる計算も可能となる。

なお、追跡結果管理部３３に同一のシーンで複数の追跡結果が管理されている場合は、複数の人物識別結果を計算することも可能となる。その計算をするかどうかは監視部３５の操作部３９によりオペレータが指示できるようによいし、常に結果を求めておいて必要な情報を選択的に出すようにしてもよい。

人物情報管理部４２は、人物を識別（同定）するために入力される画像から得られる特徴情報を人物ごとに管理する。ここでは、人物情報管理部４２は、人物識別部４１で説明した処理で作られた特徴情報をデータベースとして管理するものであり、本実施の形態では入力画像から得られる特徴情報と同一の特徴抽出をした後のｍ×ｎの特徴ベクトルであることを想定するが、特徴抽出をする前の顔画像であってもよいし、利用する部分空間或はＫＬ展開を行う直前の相関行列でも構わない。これらは、個人を識別するための個人ＩＤ番号をキーとして蓄積する。ここで登録される顔の特徴情報は、１名あたりひとつでもよいし、状況によって切り替え同時に認識に利用できるように複数の顔の特徴情報を保持していても良い。

監視部３５は、第１の実施の形態で説明したものと同様に、追跡結果管理部３３で管理されている追跡結果と追跡結果に対応する画像とを表示する。図６は、第２の実施の形態としての監視部３５の表示部３８に表示される表示例を示す図である。第２の実施の形態では、カメラが撮影した画像から検出された人物を追跡するだけでなく、検出された人物を識別する処理を行う。このため、第２の実施の形態では、監視部３５は、図６に示すように、追跡結果及び追跡結果に対応する画像に加えて、検出した人物の識別結果などを示す画面を表示するようになっている。

すなわち、図６に示す表示例において、表示部３８には、各カメラが撮影した映像における代表的なフレームの画像を順次表示するための入力画像の履歴表示欄Ｈに表示される。図６に示す表示例では、履歴表示欄Ｈには、カメラ１により撮影された画像から検出された移動物体としての人物の顔画像の代表画像が、撮影場所と時間とに対応づけて表示されている。また、履歴表示部Ｈに表示された人物の顔画像は、オペレータが操作部３９により選択することが可能である。

履歴表示部Ｈに表示された１つの人物の顔画像を選択すると、選択した入力画像は、識別対象となった人物の顔画像を示す入力画像欄Ｉに表示される。入力画像欄Ｉは、人物の検索結果欄Ｊに並べて表示される。検索結果欄Ｊには、入力画像欄Ｉに表示された顔画像に類似する登録済みの顔画像が一覧で表示される。検索結果欄Ｊに表示される顔画像は、事前に人物情報管理部４２に登録されている人物の顔画像のうち入力画像欄Ｉに表示された顔画像と類似する登録顔画像である。

なお、図６に示す表示例では、入力画像と一致する人物の候補となる顔画像を一覧表示しているが、検索結果として得られた候補に対する類似度が所定のしきい値以上であれば、色をかえて表示したり、音などのアラームをならしたりすることも可能である。これにより、カメラ１で撮影した画像から所定の人物が検出されたことを通知することも可能である。

また、図６に示す表示例では、入力画像の履歴表示欄Ｈに表示された入力顔画像の１つが選択された場合、選択された顔画像（入力画像）が検出された、カメラ１による撮影映像を同時に映像表示欄Ｋに表示する。これにより、図６に示す表示例では、人物の顔画像だけでなく、その撮影場所における当該人物の挙動あるいは周辺の様子なども容易に確認することが可能となる。すなわち、履歴表示欄Ｈから１つの入力画像が選択された場合、図６に示すように、その選択された入力画像の撮影時を含む動画を映像表示欄Ｋに表示するとともに、入力画像に対応する人物の候補者を示す枠Ｋ１を表示する。なお、ここでは、サーバ３には、端末装置２からカメラ１で撮影した映像全体も供給され、記憶部３３ａなどに記憶されるものとする。

また、追跡結果が複数ある場合には、複数の追跡結果候補がある旨を案内画面Ｌで表示し、それらの追跡結果候補をオペレータが選択するためのアイコンＭ１、Ｍ２を一覧で表示する。オペレータが何れかのアイコンＭ１、Ｍ２を選択すると、上記した人物検索欄に表示される顔画像と動画についても、選択されたアイコンに対応する追跡結果にあわせて表示内容が更新されるようにすることができる。これは、追跡結果が異なることにより、検索に利用される画像群も異なる可能性があるためである。このような検索結果の変化の可能性がある場合であても、図６に示す表示例では、オペレータが目視で確認をしながら複数の追跡結果の候補を確認することが可能となる。
なお、追跡結果管理部で管理されている映像については、第１の実施の形態で説明したものと同様に映像の検索が可能である。

以上のように、第２の実施の形態の人物追跡システムは、カメラが撮影する監視映像中の移動物体を検出して追跡するとともに、追跡した移動物体を事前に登録しておいた情報と比較することにより識別をする移動物体追跡システムとして適用できる。第２の実施の形態を適用した移動物体追跡システムでは、移動物体の追跡処理に対する信頼度を求め、信頼度が高い追跡結果については１つの追跡結果を元に追跡した移動物体の識別処理を行い、信頼度が低い場合には複数の追跡結果をもとに追跡した移動物体の識別処理を行う。

これにより、第２の実施の形態を適用した移動物体追跡システムでは、信頼度が低い場合などの追跡結果として間違いが発生しやすい場合には、複数の追跡結果候補に基づく画像群から人物の識別処理を行うことができ、システムの管理者或はオペレータに対して映像の撮影場所で追跡した移動物体に関する情報（移動物体の追跡結果および移動物体の識別結果）を正しく確認しやすく表示できる。

次に、第３の実施の形態について説明する。
第３の実施の形態では、上記第１および第２の実施の形態で説明した人物追跡システムの顔追跡部２７における処理などに適用できる処理を含むものである。
図７は、第３の実施の形態として人物追跡システムの構成例を示す図である。図７に示す構成例では、人物追跡システムは、カメラ５１、端末装置５２およびサーバ５３などのハードウエアにより構成される。カメラ５１は、監視領域の映像を撮影するものである。端末装置５２は、追跡処理を行うクライアント装置である。サーバ５３は、追跡結果を管理したり、表示したりする装置である。端末装置５２とサーバ５３とは、ネットワークにより接続される。カメラ５１と端末装置５２とは、ネットワークケーブルで接続するようにしても良いし、ＮＴＳＣなどのカメラ用の信号ケーブルを利用して接続しても良い。

また、端末装置５２は、図７に示すように、制御部６１、画像インターフェース６２、画像メモリ６３、処理部６４、およびネットワークインターフェース６５を有する。制御部６１は、端末装置２の制御を司るものである。制御部６１は、プログラムに従って動作するプロセッサ、およびプロセッサが実行するプログラムを記憶するメモリなどにより構成される。画像インターフェース６２は、カメラ５１から移動物体（人物の顔）を含む画像を取得する入力手段としてのインターフェースである。画像メモリ６３は、たとえば、カメラ５１から取得した画像を記憶する。処理部６４は、入力された画像を処理する処理部である。ネットワークインターフェース６５は、ネットワークを介してサーバと通信を行うためのインターフェースである。

処理部６４は、たとえば、プロセッサがプログラムを実行することにより実現される各種の機能を有する。図７に示す構成例において、処理部６４は、プロセッサがプログラムを実行することにより実現される機能として、顔検出部７２、顔検出結果蓄積部７３、追跡結果管理部７４、グラフ作成部７５、枝重み計算部７６、最適パス集合計算部７７、追跡状態判定部７８、および出力部７９などを有する。

顔検出部７２は、入力された画像に移動物体（人物の顔）が含まれる場合は移動物体の領域を検出する移動物体検出手段として機能する。顔検出結果蓄積部７３は、検出した追跡対象としての移動物体を含む画像を過去数フレームにわたって蓄積する移動物体検出結果蓄積手段として機能する。追跡結果管理部７４は、追跡結果管理手段として機能するものである。追跡結果管理部７４は、後述する処理で得られる追跡結果を蓄積して管理し、移動途中のフレームで検出が失敗した場合に再度追跡候補として追加したり、あるいは、出力部により処理結果を出力させたりする。

グラフ作成部７５は、顔検出結果蓄積部７３に蓄積された顔検出結果と追跡結果管理部７４に蓄積された追跡結果の候補とからグラフを作成するグラフ作成手段として機能する。枝重み計算部７６は、グラフ作成部７５により作成したグラフの枝に重みを割り当てる枝重み計算手段として機能する。最適パス集合計算部７７は、グラフの中から目的関数を最適にするパスの組合せを計算する最適パス集合計算手段として機能する。追跡状態判定部７８は、追跡結果管理部７４で蓄積して管理されている追跡対象のうちに物体（顔）の検出が失敗しているフレームがある場合、追跡途中の途切れであるのか画面からいなくなって追跡を終了したのかを判定する追跡状態判定手段として機能する。出力部７９は、追跡結果管理部７４から出力される追跡結果などの情報を出力する出力手段として機能する。

次に、各部の構成及び動作について詳細に説明する。
画像インターフェース６２は、追跡対象となる人物の顔を含む画像を入力するインターフェースである。図７に示す構成例では、画像インターフェース６２は、監視対象となるエリアを撮影するカメラ５１が撮影した映像を取得する。画像インターフェースは、カメラ５１から取得した画像をＡ／Ｄ変換器によりデジタル化して顔検出部７２へ供給する。また、画像インターフェース６２は、追跡結果あるいは顔の検出結果をサーバ５３で目視判断できるように、カメラ５１で撮影した顔画像を１枚、複数枚または動画として、処理部６４による処理結果に対応付けて、ネットワークインターフェース６５によりサーバ５３へ送信するようにしても良い。

顔検出部７２は、入力画像内において、１つまたは複数の顔を検出する処理を行う。具体的な処理方法としては、第１の実施の形態で説明した手法が適用できる。たとえば、予め用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域とする。その他、顔検出部７２には、固有空間法や部分空間法を利用した顔抽出法などを適用することも可能である。

顔検出結果蓄積部７３では、追跡対象とする顔の検出結果を蓄積して管理する。本第３の実施の形態では、カメラ５１が撮影する映像における各フレームの画像を入力画像とし、顔検出部７２により得られる顔検出結果の個数、動画のフレーム番号、および、検出された顔の数だけ「顔情報」を管理する。「顔情報」としては、入力画像内における顔の検出位置（座標）、追跡された同一人物ごとに付与される識別情報（ＩＤ情報）、検出された顔領域の部分画像（顔画像）などの情報が含まれていることとする。

たとえば、図８は、顔検出結果蓄積部７３が蓄積する顔の検出結果を示すデータの構成例を示す図である。図８に示す例では、３つのフレーム（ｔ−１、ｔ−２、ｔ−３）に対する顔検出結果のデータを示している。たとえば、図８に示す例において、ｔ−１のフレームの画像に対しては、検出された顔の数が「３」個であることを示す情報と、それら３つの顔に対する「顔情報」が顔検出結果のデータとして顔検出結果蓄積部７３に蓄積されている。また、図８に示す例において、ｔ−２のフレームの画像に対しては、検出された顔画像の数が「４」個であることを示す情報と、それら４つの「顔情報」とが顔検出結果のデータとして顔検出結果蓄積部７３に蓄積されている。また、図８に示す例において、ｔ−３のフレームの画像に対しては、検出された顔画像の数が「２」個であることを示す情報と、それら２つの「顔情報」とが顔検出結果のデータとして顔検出結果蓄積部７３に蓄積されている。さらに、図８に示す例においては、ｔ−Ｔのフレームの画像に対しては２つの「顔情報」、ｔ−Ｔ−１のフレームの画像に対しては２つの「顔情報」、ｔ−Ｔ―Ｔ´のフレームの画像に対しては３つの「顔情報」が顔検出結果のデータとして顔検出結果蓄積部７３に蓄積されている。

追跡結果管理部７４では、追跡結果あるいは検出結果を記憶して管理する。たとえば、追跡結果管理部７４は、直前のフレーム（ｔ−１）からｔ−Ｔ−Ｔ’のフレーム（Ｔ＞＝０とＴ’＞＝０はパラメータ）までの間で、追跡あるいは検出された情報を管理する。この場合、ｔ−Ｔのフレーム画像までは、追跡処理の対象となる検出結果を示す情報が記憶され、ｔ−Ｔ−１からｔ−Ｔ−Ｔ’までのフレームについては、過去の追跡結果を示す情報が記憶される。また、追跡結果管理部７４は、各フレームの画像に対する顔情報を管理するようにしても良い。

グラフ作成部７５では、顔検出結果蓄積部７３に蓄積された顔検出結果のデータと追跡結果管理部７４で管理されている追跡結果（選別された追跡対象情報）とに対応する頂点（顔の検出位置）に加え、「追跡途中の検出失敗」、「消滅」、および「出現」の各状態に対応する頂点からなるグラフを作成する。ここでいう「出現」とは、直前のフレームの画像に存在しなかった人物が後のフレーム画像に新たに現れた状態を意味する。また、「消滅」とは、直前のフレーム画像内に存在した人物が後のフレーム画像に存在しない状態を意味する。また、「追跡途中の検出失敗」とは、フレーム画像内に存在しているはずであるが、顔の検出に失敗している状態であることを意味する。また、加える頂点としては「false positive」を考慮してもよい。これは顔でない物体を誤って顔として検出してしまった状態を意味する。この頂点を加えることで検出精度による追跡精度の低下を防ぐ効果を得ることができる。

図９は、グラフ作成部７５により作成されるグラフの例を示す図である。図９に示す例では、時系列の複数画像において検出された顔と出現と消滅と検出失敗とをそれぞれノードとした枝（パス）の組合せを示している。さらに、図９に示す例では、追跡済みの追跡結果を反映して、追跡済みのパスが特定されている状態を示している。図９に示すようなグラフが得られると、後段の処理では、グラフに示されるパスのうち何れかのパスが追跡結果として確からしいかを判定する。

図９に示すように、本実施の形態の人物追跡システムでは、追跡処理において追跡途中の画像における顔の検出失敗に対応したノードを追加するようにしたものである。これにより、本実施の形態の移動物体追跡システムとしての人物追跡システムでは、追跡途中で一時的に検出できないフレーム画像があった場合でも、その前後のフレーム画像で追跡中の移動物体（顔）と正しく対応付けを行って確実に移動物体（顔）の追跡を継続できるという効果が得られる。
枝重み計算部７６では、グラフ作成部７５で設定した枝（パス）に重み、すなわち、ある実数値を設定する。これは、顔検出結果どうしが対応づく確率p(X)と対応づかない確率q(X)との両方を考慮することで、精度の高い追跡を実現可能とするものである。本実施の形態では、対応づく確率p(X)と対応づかない確率q(X)との比の対数をとることにより枝重みを算出する例について説明する。ただし、枝重みは、対応づく確率p(X)と対応づかない確率q(X)とを考慮して算出するものであれば良い。つまり、枝重みは、対応づく確率p(X)と対応づかない確率q(X)との相対的な関係を示す値として算出されるものであれば良い。たとえば、枝重みは、対応づく確率p(X)と対応づかない確率q(X)との引き算にしても良いし、対応づく確率p(X)と対応づかない確率q(X)とを用いて枝重みを算出する関数を作成しておき、その所定の関数により枝重みを算出するようにしても良い。

また、対応づく確率p(X)および対応づかない確率q(X)は、特徴量あるいは確率変数として、顔検出結果どうしの距離、顔の検出枠のサイズ比、速度ベクトル、色ヒストグラムの相関値などを用いて得ることができ、適当な学習データによって確率分布を推定しておく。すなわち、本実施の形態の人物追跡システムでは、各ノードが対応づく確率だけでなく、対応づかない確率も加味することで、追跡対象の混同を防ぐことができる。

たとえば、図１０は、あるフレーム画像で検出された顔の位置に対応する頂点uとそのフレームに連続するフレーム画像で検出された顔の位置としての頂点vが対応が付く確率p(X)と対応が付かない確率q(X)との例を示す図である。図１０に示すような確率p(X)と確率q(X)とが与えられた場合、枝重み計算部７６は、グラフ作成部７５により作成されるグラフにおける頂点uと頂点vとの間の枝重みを、確率の比log(p(X)/q(X))によって算出する。

この場合、枝重みは、確率p(X)および確率q(X)の値に応じて、以下のような値として算出される。図１１は、
p(X)＞q(X)＝０である場合（CASEＡ）、log(p(X)/q(X))＝＋∞
p(X)＞q(X)＞０である場合（CASEＢ）、log(p(X)/q(X))＝＋a(X)
q(X)≧p(X)＞０である場合（CASEＣ）、log(p(X)/q(X))＝−b(X)
q(X)≧p(X)＝０である場合（CASEＤ）、log(p(X)/q(X))＝−∞
ただし、a(X)とb(X)はそれぞれ非負の実数値である。

なお、図１１は、上述したCASEＡ〜Ｄのような場合における枝重みの値を概念的に示す図である。
CASEＡの場合、対応が付かない確率q(X)が「０」、かつ、対応が付く確率p(X)が「０」でないので、枝重みが+∞となる。枝重みが正の無限大ということは、最適化計算において、必ず枝が選ばれることになる。CASEＢの場合、対応が付く確率p(X)が対応付かない確率q(X)よりも大きいため、枝重みが正の値となる。枝重みが正の値ということは、最適化計算において、この枝の信頼度が高くなり選ばれやすいことになる。CASEＣの場合、対応が付く確率p(X)が対応付かない確率q(X)よりも小さいため、枝重みが負の値となる。枝重みが負の値ということは、最適化計算において、この枝の信頼度が低くなり選ばれにくいことになる。CASEＤの場合、対応が付く確率p(X)が「０」で、かつ、対応が付かない確率q(X)が「０」でないので、枝重みが−∞となる。枝重みが正の無限大ということは、最適化計算において、必ずこの枝が選ばれないことになる。

また、枝重み計算部７６では、消滅する確率、出現する確率、および、追跡途中で検出が失敗する確率の対数値によって、枝の重みを算出する。これらの確率は、事前に該当するデータ（たとえば、サーバ５３に蓄積されるデータ）を使った学習により定めておくことが可能である。さらに、対応づく確率p(X)、対応付かない確率q(X)のどちらか一方が精度良く推定できない場合でも、p(X)=定数、あるいは、q(X)=定数といったように任意のXの値に対して定数値をとるようにすれば対応が可能である。

最適パス集合計算部７７では、グラフ作成部７５で作成したグラフにおけるパスの組合せについて、枝重み計算部７６で計算した枝重みを割り当てた値の総和を計算し、枝重みの総和が最大となるパスの組合せを計算（最適化計算）する。この最適化計算は、よく知られた組合せ最適化のアルゴリズムが適用できる。例えば、枝重み計算部７６で述べたような確率を用いると、最適パス集合計算部７７は、最適化計算により事後確率が最大なパスの組合せを求めることができる。最適なパスの組合せを求めることによって、過去のフレームから追跡が継続された顔、新たに出現した顔、対応付かなかった顔が得られる。最適パス集合計算部７７は、最適化計算の結果を追跡結果管理部７４に記録する。

追跡状態判定部７８は、追跡状態を判定する。たとえば、追跡状態判定部７８は、追跡結果管理部７４において管理している追跡対象に対する追跡が終了したか否かを判定する。追跡が終了したと判定した場合、追跡状態判定部７８が追跡が終了したことを追跡結果管理部７４に通知することにより、追跡結果管理部７４から出力部７９へ追跡結果を出力する。追跡対象のうちに移動物体としての顔の検出が失敗しているフレームがある場合、追跡途中の途切れ（検出失敗）であるのかフレーム画像（撮影画像）から消滅して追跡を終了したのかを判定する。このような判定の結果を含めた情報が追跡状態判定部７８から追跡結果管理部７４へ通知される。追跡状態判定部７８は、追跡結果を追跡結果管理部７４から出力部７９へ出力させるための基準として、各フレームで出力する、サーバ５３などからの問い合わせがあったときに出力する、追跡対象となる人物が画面ないからいなくなったと判断された時点で対応付けした複数フレームにわたる追跡の情報をまとめて出力する、一定以上のフレームにわたって追跡した場合は一度終了の判定をくだして追跡結果を出力する、などがある。

出力部７９では、追跡結果管理部７４において管理されている追跡結果などを含む情報を映像の監視装置として機能するサーバ５３へ出力するものである。また、当該端末装置５２に表示部及び操作部などを有するユーザインターフェースを設けてオペレータが映像および追跡結果の監視ができるようにしても良い。この場合、出力部７９は、追跡結果管理部７４において管理されている追跡結果などを含む情報を端末装置５２のユーザインターフェースで表示することも可能である。

また、出力部７９は、追跡結果管理部７４において管理されている情報として、顔の情報、すなわち、画像内における顔の検出位置、動画のフレーム番号、追跡された同一人物ごとに付与されるＩＤ情報、顔が検出された画像に関する情報（撮影場所等）などの情報をサーバ５３出力する。出力部７９は、例えば、同一人物（追跡した人物）について、複数フレームにわたる顔の座標、サイズ、顔画像、フレームの番号、時刻、特徴をまとめた情報、あるいは、それらの情報とデジタルビデオレコーダーにおける記録画像（画像メモリ６３などに記憶する映像）とを対応付けた情報などを出力するようにしても良い。さらに、出力する顔領域画像については、追跡中の画像をすべて、あるいは画像のうち所定の条件で最適とされたもの（顔の大きさ、向き、目が開いているか、照明条件がよいか、顔検出時の顔らしさの度合いが高いか、など）だけを扱うようにしても良い。

上記のように、第３の実施の形態の人物追跡システムでは、監視カメラなどから入力される動画の各フレーム画像から検出される大量の顔画像をデータベースに照合する場合であっても、無駄な照合回数を減らし、システムの負荷を軽減することが可能となるとともに、同一人物が複雑な動きをした場合であっても複数フレームにおける顔の検出結果に対して検出失敗の状態を含む確実な対応付けを行うことができ、精度の高い追跡結果を得ることが可能となる。

上記のように、本実施の形態によれば、複雑な挙動を行う人物（移動物体）に対して正しく人物を追跡し、通信量の負荷を減らしながら監視部として機能を有するサーバに人物の追跡結果などの情報を正しく送信できる。たとえば、追跡対象とする人物が移動している途中で当該人物の検出に失敗したフレームが存在した場合でも、追跡がとぎれずに安定して複数の人物の追跡を行うことが可能になる。

また、本実施の形態によれば、人物（移動物体）の追跡の信頼度に応じて追跡結果の記録、あるいは、追跡した人物に対する識別結果を複数管理することができる。これにより、複数の人物を追跡しているときに、別の人物と混同することを防ぐ効果がある。さらに、本実施の形態によれば、現時点からＮフレーム分過去に遡った過去のフレーム画像までを対象とした追跡結果を逐次的に出力するという意味でオンラインの追跡を行うことができる。

本実施の形態の人物追跡システムでは、追跡が正しくできた場合には最適な追跡結果をもとに映像の記録あるいは人物（移動物体）の識別ができる。さらに、本実施の形態の人物追跡システムでは、追跡結果が複雑で複数の追跡結果候補が存在しそうであると判定した場合には、通信の負荷状況あるいは追跡結果の信頼度に応じて追跡結果の複数候補をオペレータに提示したり、映像の記録、表示、あるいは人物の識別などの処理を複数の追跡結果候補をもとに確実に実行したりすることが可能となる。
［１］
移動物体を追跡する移動物体追跡システムにおいて、
複数の時系列の画像を入力する入力手段と、
前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、
前記移動物体検出手段により第１の画像で検出された各移動物体に対して、前記第１の画像に連続する第２の画像で検出された各移動物体、あるいは、前記第１の画像で検出した移動物体が前記第２の画像で検出失敗した状態をつなげたパスの組み合わせを作成するとともに、前記第１の画像で検出されていなかった移動物体が第２の画像で検出された状態をつなげたパスの組み合わせを作成する作成手段と、
前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、
前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、
前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段と、
を有することを特徴とする移動物体追跡システム。
［２］
前記作成手段は、各画像における移動物体の検出結果、出現状態、消滅状態、および、検出失敗の状態に対応する頂点をつなげたパスからなるグラフを作成する、
ことを特徴とした前記［１］に記載の移動物体追跡システム。
［３］
移動物体を追跡する移動物体追跡システムにおいて、
複数の時系列の画像を入力する入力手段と、
前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、
前記移動物体検出手段により第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成する作成手段と、
前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率とに基づいて、前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、
前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、
前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段と、
を有することを特徴とする移動物体追跡システム。
［４］
前記重み計算手段は、前記対応付く確率と前記対応付かない確率の比に基づいて前記パスに対する重みを計算する、
ことを特徴とした前記［３］に記載の移動物体追跡システム。
［５］
前記重み計算手段は、さらに、前記第２の画像に移動物体が出現する確率、前記第２の画像から移動物体が消滅する確率、前記第１の画像で検出された移動物体が前記第２の画像で検出失敗する確率、前記第１の画像で検出されなかった移動物体が前記第２の画像で検出される確率を加えて前記パスに対する重みを計算する、
ことを特徴とした前記［３］に記載の移動物体追跡システム。
［６］
移動物体を追跡する移動物体追跡システムにおいて、
複数の時系列の画像を入力する入力手段と、
前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、
前記移動物体検出手段により第１の画像で検出された各移動物体と、前記第１の画像に連続する第２の画像で検出される移動物体のうち同一の移動物体と、を対応付けして追跡をする移動物体追跡手段と、
前記移動物体追跡手段が処理結果としてどのような基準で移動物体の追跡結果を出力するかを示すパラメータを設定する出力設定手段と、
前記出力設定手段により設定されたパラメータに基づいて選別された前記移動物体追跡手段による移動物体の追跡結果を管理する追跡結果管理手段と、
を有することを特徴とする移動物体追跡システム。
［７］
前記移動物体追跡手段は、移動物体の追跡結果の候補と各候補の信頼度とを判定し、
前記出力設定手段は、前記移動物体追跡手段が処理結果として出力すべき追跡結果の候補の信頼度に対する閾値を設定する、
ことを特徴とする前記［６］に記載の移動物体追跡システム。
［８］
前記移動物体追跡手段は、移動物体の追跡結果の候補と各候補の信頼度とを判定し、
前記出力設定手段は、前記移動物体追跡手段が処理結果として出力すべき追跡結果の候補の数を設定する、
ことを特徴とする前記［６］に記載の移動物体追跡システム。
［９］
さらに、前記移動物体追跡手段と前記追跡結果管理手段との通信負荷の状態を計測する通信計測手段を有し、
前記出力設定手段は、前記通信計測手段により計測した通信負荷の状態に応じたパラメータを設定する、
ことを特徴とする前記［６］に記載の移動物体追跡システム。
［１０］
さらに、予め識別対象とする移動物体を識別するための情報を登録する移動物体情報管理手段と、
前記入力手段により入力した画像から検出された追跡結果に含まれる移動物体の情報と前記移動物体情報管理手段に登録されている移動物体の情報とを比較して前記追跡結果に含まれる移動物体を識別する移動物体識別手段と、
を有することを特徴とする前記［６］に記載の移動物体追跡システム。
［１１］
移動物体を追跡する移動物体追跡方法であって、
複数の時系列の画像を入力し、
前記入力した各画像から追跡対象となる全ての移動物体を検出し、
前記入力した第１の画像で検出された各移動物体に対して、前記第１の画像に連続する第２の画像で検出された各移動物体、あるいは、前記第１の画像で検出した移動物体が前記第２の画像で検出失敗した状態をつなげたパスの組み合わせを作成するとともに、前記第１の画像で検出されていなかった移動物体が第２の画像で検出された状態をつなげたパスの組み合わせを作成し、
前記作成されたパスに対する重みを計算し、
前記計算した重みを割り当てたパスの組合せに対する値を計算し、
前記計算されたパスの組合せに対する値に基づく追跡結果を管理する、
ことを特徴とする移動物体追跡方法。
［１２］
移動物体を追跡する移動物体追跡方法であって、
複数の時系列の画像を入力し、
前記入力した各画像から追跡対象となる全ての移動物体を検出し、
前記入力した第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成し、
前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率とに基づいて、前記作成したパスに対する重みを計算し、
前記計算した重みを割り当てたパスの組合せに対する値を計算し、
前記計算されたパスの組合せに対する値に基づく追跡結果を管理する、
を有することを特徴とする移動物体追跡方法。
［１３］
移動物体を追跡する移動物体追跡方法であって、
複数の時系列の画像を入力し、
前記入力した各画像から追跡対象となる全ての移動物体を検出し、
前記検出により第１の画像から検出された各移動物体と、前記第１の画像に連続する第２の画像で検出される移動物体のうち同一の移動物体と、を対応付けして追跡し、
前記追跡の処理結果としてどのような基準で移動物体の追跡結果を出力するかを示すパラメータを設定し、
前記設定されたパラメータに基づいて選別された移動物体の追跡結果を管理する、
を有することを特徴とする移動物体追跡システム。

１（１Ａ、１Ｂ）…カメラ、２（２Ａ．２Ｂ）…端末装置、３…サーバ、２１…制御部、２２…画像インターフェース、２３…画像メモリ、２４…処理部、２５…ネットワークインターフェース、２６…顔検出部、２７…顔追跡部、３１…制御部、３２…ネットワークインターフェース、３３…追跡結果管理部、３３ａ…記憶部、３４…通信調整部、３５…監視部、３６…通信設定部、３７…通信測定部、３８…表示部、３９…操作部、４１…人物識別部、４２…人物情報管理部、５１…カメラ、５２…端末装置、５３…サーバ、６１…制御部、６２…画像インターフェース、６３…画像メモリ、６４…処理部、６５…ネットワークインターフェース、７２…顔検出部、７３…顔検出結果蓄積部、７４…追跡結果管理部、７５…グラフ作成部、７６…枝重み計算部、７７…最適パス集合計算部、７８…追跡状態判定部、７９…出力部。

Claims (7)

1. 移動物体を追跡する移動物体追跡システムにおいて、
   複数の時系列の画像を入力する入力手段と、
   前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、
   前記移動物体検出手段により複数の時系列の各画像で検出された移動物体と各画像での移動物体の検出失敗状態とに対して、時系列で連続する次の画像で検出された移動物体と前記次の画像での移動物体の検出失敗状態とをつなげたパスの組み合わせを作成する作成手段と、
   前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、
   前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、
   前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段と、
   を有する移動物体追跡システム。
2. 前記作成手段は、さらに、時系列が前の画像で検出された移動物体が後の画像から消滅した消滅状態、あるいは、時系列が前の画像では検出されていなかった移動物体が後の画像で出現した出現状態をつなげたパスの組み合わせを作成する、
   前記請求項１に記載の移動物体追跡システム。
3. 移動物体を追跡する移動物体追跡システムにおいて、
   複数の時系列の画像を入力する入力手段と、
   前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、
   前記移動物体検出手段により第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成する作成手段と、
   前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率との比に基づいて、前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、
   前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、
   前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段と、
   を有する移動物体追跡システム。
4. 移動物体を追跡する移動物体追跡システムにおいて、
   複数の時系列の画像を入力する入力手段と、
   前記入力手段により入力した各画像から追跡対象となる全ての移動物体を検出する移動物体検出手段と、
   前記移動物体検出手段により第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成する作成手段と、
   前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率、前記第２の画像に移動物体が出現する確率、前記第２の画像から移動物体が消滅する確率、前記第１の画像で検出された移動物体が前記第２の画像で検出失敗する確率、前記第１の画像で検出されなかった移動物体が前記第２の画像で検出される確率に基づいて、前記作成手段により作成されたパスに対する重みを計算する重み計算手段と、
   前記重み計算手段により計算した重みを割り当てたパスの組合せに対する値を計算する計算手段と、
   前記計算手段により計算されたパスの組合せに対する値に基づく追跡結果を管理する追跡結果管理手段と、
   を有する移動物体追跡システム。
5. 移動物体を追跡する移動物体追跡方法であって、
   複数の時系列の画像を入力し、
   前記入力した各画像から追跡対象となる全ての移動物体を検出し、
   前記移動物体検出手段により作成手段と、
   前記入力した複数の時系列の各画像で検出された移動物体と当該画像での移動物体の検出失敗状態とに対して、時系列で連続する次の画像で検出された移動物体、前記次の画像での移動物体の検出失敗状態、あるいは、前記次の画像での移動物体の消滅状態をつなげたパスの組み合わせを作成し、
   前記作成されたパスに対する重みを計算し、
   前記計算した重みを割り当てたパスの組合せに対する値を計算し、
   前記計算されたパスの組合せに対する値に基づく追跡結果を管理する、
   ことを特徴とする移動物体追跡方法。
6. 移動物体を追跡する移動物体追跡方法であって、
   複数の時系列の画像を入力し、
   前記入力した各画像から追跡対象となる全ての移動物体を検出し、
   前記入力した第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成し、
   前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率との比に基づいて、前記作成したパスに対する重みを計算し、
   前記計算した重みを割り当てたパスの組合せに対する値を計算し、
   前記計算されたパスの組合せに対する値に基づく追跡結果を管理する、
   を有することを特徴とする移動物体追跡方法。
7. 移動物体を追跡する移動物体追跡方法であって、
   複数の時系列の画像を入力し、
   前記入力した各画像から追跡対象となる全ての移動物体を検出し、
   前記入力した第１の画像で検出された各移動物体と前記第１の画像に連続する第２の画像で検出された各移動物体とをつなげたパスの組み合わせを作成し、
   前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率との比に基づいて、前記作成したパスに対する重みを計算し、
   前記第１の画像で検出された移動物体と前記第２の画像で検出された移動物体とが対応付く確率と対応付かない確率、前記第２の画像に移動物体が出現する確率、前記第２の画像から移動物体が消滅する確率、前記第１の画像で検出された移動物体が前記第２の画像で検出失敗する確率、前記第１の画像で検出されなかった移動物体が前記第２の画像で検出される確率に基づいて、前記作成手段により作成されたパスに対する重みを計算し、
   前記計算した重みを割り当てたパスの組合せに対する値を計算し、
   前記計算されたパスの組合せに対する値に基づく追跡結果を管理する、
   を有することを特徴とする移動物体追跡方法。

Images