JP5674406B2 - 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム - Google Patents

Description

本発明は、自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラムに係り、特に特徴検索機能を用いて適切な移動経路による巡回を行うための自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラムに関する。

従来、カメラ等の撮像手段により撮影された映像に対して画像処理等を行い、その映像を構成する画像中に含まれる人物を自動的に検出する手法が存在する。その中でも画像中から人物の顔を検出する技術が急速に発達しており、例えば顔の判別精度を向上させるために、入力画像から肌色領域を抽出し、その肌色領域に基づいて、頭頂部、目、口等の顔の特徴点の位置を検出して、その検出結果から肌色領域が顔か否かを判定する画像処理装置が存在している（例えば、特許文献１参照）。

また、このような顔検出技術は、例えば銀行や百貨店、コンビニエンスストア等の監視区域内に設置された監視カメラにより得られる映像に対して処理がなされ、犯罪時の迅速な人物特定や、不審者か否かを検出して犯罪を未然に防止するため等に用いられる。

更に、検出された顔情報を特徴情報と共に蓄積しておき、検索したい人物の顔の特徴を検索条件として指定することで、指定された特徴を有する顔画像を検索する手法が存在する（例えば、特許文献２参照）。

なお、上述したような人物特定情報は、主に不審者を特定する等、警備の面での利用性が増してきている。

特開２００４−５３８４号公報 特開２００６−３１８３７５号公報

ところで、上述した従来の手法により検出された不審者等は、早急に警備員等に通知する必要がある。これは、人の場合はもちろんであるが、例えば警備を行う監視ロボットのような自律移動体に対しても同様である。

しかしながら、監視ロボットが所定の監視区域を巡回する場合には、予め設定された時間に予め設定された経路にしたがって巡回するため、巡回開始前に予め巡回経路を設定させなければならない。そのため、監視ロボットの巡回途中に監視センタ側で不審者や迷子等を発見した場合には、その人物の特定情報を監視ロボットに通知して巡回経路を変更させたり、巡回パターンを変更させる等、臨機応変な対応ができる自律移動体を用いた監視システムが存在していなかった。

本発明は、上記の問題点に鑑みてなされたものであって、特徴検索機能を用いて適切な移動経路による巡回を行うための自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラムを提供することを目的とする。

上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。

本発明では、監視区域を所定の経路で巡回する少なくとも１つの自律移動体と、該自律移動体を用いて前記監視区域を監視する監視装置とからなる監視システムにおいて、前記監視装置は、前記監視区域に設置された少なくとも１つの撮像手段により撮影された画像を用いて、特定人物を抽出する特定人物抽出手段と、前記特定人物抽出手段により得られた画像を撮影した撮像手段の位置情報から重要監視地点を選出する重要監視地点選出手段と、前記重要監視地点選出手段により得られる地点に対応させた巡回要求情報を生成し、生成した巡回要求情報を前記自律移動体に指示する巡回指示手段とを有し、前記自律移動体は、前記監視装置から得られる巡回要求情報と、予め設定された巡回経路とを用いて、巡回経路を設定する巡回経路設定手段を有し、前記重要監視地点選出手段は、前記監視区域に予め設定された複数の場所毎に、前記特定人物抽出手段による特定人物の抽出スコア、前記重要監視地点を選出した回数、選出した時間、及び、所定時間内における選出頻度のうち、少なくとも１つを用いて場所別スコアを算出し、算出結果から前記重要監視地点毎の優先度を出力することを特徴とする。

また本発明では、前記巡回要求情報は、前記重要監視地点と、前記重要監視地点毎の優先度とを含むことを特徴とする。

また本発明では、前記巡回経路設定手段は、前記自律移動体が巡回中である場合、現時点の位置情報を取得し、取得した位置情報、前記重要監視地点との距離、前記重要監視地点毎の優先度、及び、前記予め設定された巡回経路のうちの現時点より先の経路情報に基づいて、前記巡回経路を設定することを特徴とする。

また本発明では、監視区域を所定の経路で巡回する少なくとも１つの自律移動体を用いて前記監視区域を監視する監視装置において、前記監視区域に設置された少なくとも１つの撮像手段により撮影された画像を用いて、特定人物を抽出する特定人物抽出手段と、前記特定人物抽出手段により得られた画像を撮影した撮像手段の位置情報から重要監視地点を選出する重要監視地点選出手段と、前記重要監視地点選出手段により得られる地点に対応させた巡回要求情報を生成し、生成した巡回要求情報を前記自律移動体に指示する巡回指示手段とを有し、前記重要監視地点選出手段は、前記監視区域に予め設定された複数の場所毎に、前記特定人物抽出手段による特定人物の抽出スコア、前記重要監視地点を選出した回数、選出した時間、及び、所定時間内における選出頻度のうち、少なくとも１つを用いて場所別スコアを算出し、算出結果から前記重要監視地点毎の優先度を出力することを特徴とする。

また本発明では、前記巡回要求情報は、前記重要監視地点と、前記重要監視地点毎の優先度とを含むことを特徴とする。

また本発明では、請求項４又は５に記載された監視装置からの指示により監視区域を所定の経路で巡回する自律移動体において、前記監視装置から得られる巡回要求情報と、予め設定された巡回経路とを用いて、巡回経路を設定する巡回経路設定手段と、前記巡回経路設定手段により得られる巡回経路に基づいて移動する移動手段と、前記巡回経路を移動中の周囲の映像を撮影する撮像手段とを有し、前記巡回経路設定手段は、前記自律移動体が巡回中である場合、現時点の位置情報を取得し、取得した位置情報、前記重要監視地点との距離、前記重要監視地点毎の優先度、及び、前記予め設定された巡回経路のうちの現時点より先の経路情報に基づいて、前記巡回経路を設定することを特徴とする。

また本発明では、監視区域を所定の経路で巡回する少なくとも１つの自律移動体と、該自律移動体を用いて前記監視区域を監視する監視装置とからなる監視システムにおける監視方法において、前記監視装置により、前記監視区域に設置された少なくとも１つの撮像手段により撮影された画像を用いて、特定人物を抽出する特定人物抽出ステップと、前記特定人物抽出ステップにより得られた画像を撮影した撮像手段の位置情報から重要監視地点を選出する重要監視地点選出ステップと、前記重要監視地点選出ステップにより得られる地点に対応させた巡回要求情報を生成し、生成した巡回要求情報を前記自律移動体に指示する巡回指示ステップと、前記自律移動体により、前記監視装置から得られる巡回要求情報と、予め設定された巡回経路とを用いて、巡回経路を設定する巡回経路設定ステップを有し、前記重要監視地点選出ステップは、前記監視区域に予め設定された複数の場所毎に、前記特定人物抽出ステップによる特定人物の抽出スコア、前記重要監視地点を選出した回数、選出した時間、及び、所定時間内における選出頻度のうち、少なくとも１つを用いて場所別スコアを算出し、算出結果から前記重要監視地点毎の優先度を出力することを特徴とする。

また本発明では、前記巡回要求情報は、前記重要監視地点と、前記重要監視地点毎の優先度とを含むことを特徴とする。

また本発明では、前記巡回経路設定ステップは、前記自律移動体が巡回中である場合、現時点の位置情報を取得し、取得した位置情報、前記重要監視地点との距離、前記重要監視地点毎の優先度、及び、前記予め設定された巡回経路のうちの現時点より先の経路情報に基づいて、前記巡回経路を設定することを特徴とする。

また本発明は、コンピュータを、請求項４又は５に記載の監視装置として機能させるための監視プログラムである。

また本発明は、コンピュータを、請求項６に記載の自律移動体として機能させるための監視プログラムである。

本発明によれば、特徴検索機能を用いて適切な移動経路による巡回を行うことができる。

自律移動体の移動管理システムのシステム概要の一例を示す図である。 本実施形態における監視装置の機能構成の一例を示す図である。 本実施形態における監視ロボットの機能構成の一例を示す図である。 本実施形態における検索用人物特徴を取得するまでの概要を説明するための図である。 本実施形態における検索手法を説明するための一例の図である。 本実施形態におけるリアルタイム捜索時の動作処理手順の一例を示すシーケンスチャートである。 不審箇所巡回時の動作処理手順の一例を示すシーケンスチャートである。 指定特徴人物が抽出された後の処理時の動作処理手順の一例を示すシーケンスチャートである。 監視装置側での巡回経路設定する時の動作処理手順の一例を示すシーケンスチャートである。 監視ロボットに検索機能を設けた時の動作処理手順の一例を示すシーケンスチャートである。 本実施形態における画面遷移例を示す図である。 本実施形態におけるロボット経路設定の画面例を示す図である。

＜本発明について＞
本発明は、例えば映像や画像等から人物等の特徴検索を行う機能等を有する監視センタ（監視装置）と監視ロボット等の自律移動体とが連携して動作することで警備業務や施設監視業務における作業負荷軽減や有人環境における犯罪の未然防止等を図るものである。

具体的には、この発明において、例えば、監視センタ側では、監視区域に設置されたカメラの画像を取得し、画像解析、検索タグ作成等を行い、ロボット側では、巡回経路の生成及び生成した巡回経路にそって巡回動作等を行う。

また、本発明では、監視センタ側においてＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を用いて指定した特徴を持つ人物の捜索要求がなされると、特徴検索側は、指定された特徴を検索キーとして蓄積画像から該当する人物の検索を行い、その結果から、検索された人物候補が多い地点や、指定された特徴に近い人物が検出された地点を、優先巡回地点として１又は複数の監視ロボットに通知する。また、監視ロボット側は、優先巡回地点を効率的に巡回するルートを作成し、巡回を行う。これにより、本発明は、指定した人物の捜索をより効率的に行うことが可能となる。

また、本発明では、監視センタ側において、設定された時間毎に不審検索を行い、地点毎に不審と判定された人物の人数、検索スコアを元に不審度を算出する機能を有する。つまり、不審度が高い地点が現れると、監視ロボットに優先巡回地点として通知すると共に巡回要求を行う。更に、監視ロボットは、優先巡回地点を効率的に巡回するルートを作成して巡回を行う。これにより、不審者が多く確認されている箇所を重点的に巡回することとなり、犯罪の未然防止が図れる。

以下に、本発明における自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラムを好適に実施した形態について、図面を用いて説明する。

＜自律移動体を用いた監視システムのシステム概要例＞
ここで、自律移動体を用いた監視システムのシステム概要例について、図を用いて説明する。図１は、自律移動体の移動管理システムのシステム概要の一例を示す図である。図１に示す移動管理システム１０は、予め設定された監視施設等に設定された撮像手段としての監視カメラ１１−１，１１−２，・・・，１２−ｎと、上記監視施設に設けられた各センサ群１２と、監視装置１３と、予め設定された監視施設を巡回する自律移動体としての複数の監視ロボット１４−１，１４−２，・・・，１４−ｎ等を有するよう構成されている。

なお、監視カメラ１１と、各センサ群１２と、監視装置１３と、監視ロボット１４とは、インターネット等に代表される通信ネットワーク１５等によりデータの送受信が可能な状態で接続されている。なお、通信ネットワーク１５は、有線通信でもよくまた無線通信でもよい。

複数の監視カメラ１１−１〜１１−ｎは、それぞれに識別番号が設けられており、監視カメラ１１からそれぞれ得られる映像には、識別番号や撮影日時等が付加されている。つまり、監視カメラ１１からの映像を取得した監視装置１３は、その映像に付加されている識別情報から、どこに設置された監視カメラであるかを容易に把握することができる。また、監視カメラ１１は、その周囲の音声を録音する音声入力装置を備えていてもよく、その場合には、映像信号に合わせて対応する音声信号を送信してもよい。

また、各センサ群１２とは、監視区域に設けられた警備用や防犯用のセンサであり、例えば、赤外線により侵入者を検知するための赤外線センサや、火や熱、煙等を検知する火災センサ、ガス漏れを検知するガスセンサ、窓やドア等の開閉を検知する開閉検知センサ、窓や柵の破壊を検知する破壊検知センサ等を有する。各センサ群１２は、対応する条件を検知すると、検知したことを示す検知情報を、通信ネットワーク１５を介して監視装置１３に出力する。なお、各センサ群１２は、何れも各センサを識別する識別情報が設定されており、上述した検知情報には、その識別情報と日時情報等を含む。これにより、監視装置１３は、上述した検知情報を取得することで、各センサが監視対象施設や監視対象区域のどこに設定されているかを容易に把握することができる。

監視装置１３は、複数の監視ロボット１４−１，１４−２，・・・，１４−ｎの巡回経路や警備状況等を管理する管理装置である。監視装置１３は、監視カメラ１１や各センサ群１２から得られる映像や検知信号に基づいて、各監視ロボット１４−１〜１４−ｎのうち、少なくとも１つの監視ロボットに対する警備巡回経路を設定又は変更する。

ここで、巡回経路とは、例えば、各設定した地点や区域（例えば、Ａ地点、Ｂ地点、Ｃ地点、Ｄ地点等）の順番だけでなく、その地点や区域に対する巡回回数や巡回時間、巡回内容（例えば、前方のみを監視したり、周囲全体を監視する等）も含む。

また、監視装置１３は、２以上の監視ロボットを用いて、それぞれの巡回経路を調整し、例えば、検知されたセンサの設置位置や、警備カメラ１１から得られる映像信号を用いて行った不審者や迷子等の特定人物検索において、特定人物であると判断された映像を撮影したカメラ等の設置位置に基づいて、その地点やその地点の周囲を重点的に監視するように巡回経路を設定する。

また、監視ロボット１４−１〜１４−ｎは、監視装置１３からの巡回指示信号に基づいて、対応する地点への警備を行う。また、監視ロボットには、音声出力機能や録音機能、撮影機能や画面表示機能等を有しており、その場における音声や映像の入力又は出力を行うことができる。

＜監視装置１３：機能構成例＞
次に、上述した監視装置１３の機能構成例について、図を用いて具体的に説明する。図２は、本実施形態における監視装置の機能構成の一例を示す図である。

図２に示す監視装置１３は、入力手段２１と、出力手段２２と、蓄積手段２３と、顔・人体領域検出手段２４と、同定手段２５と、追跡手段２６と、不審者検出手段２７と、人物情報統合手段２８と、フレーム情報生成手段２９と、検索手段３０と、重要監視地点選出手段３１と、巡回指示手段３２と、画面生成手段３３と、通知手段３４と、送受信手段３５と、制御手段３６とを有するよう構成されている。

なお、上述した顔・人体領域検出手段２４、同定手段２５、追跡手段２６、不審者検出手段２７、人物情報統合手段２８、フレーム情報生成手段２９、及び、検索手段３０は、本実施形態における特定人物抽出手段としての機能に含まれる。

入力手段２１は、ユーザ等からの顔・人体領域検出指示や、同定指示、追跡指示、不審者検出指示、人物情報統合指示、フレーム情報生成指示、検索指示、重要監視地点選出指示、巡回指示、画面生成指示、通知指示、送受信指示等の各種指示を受け付ける。なお、入力手段２１は、例えばキーボードや、マウス等のポインティングデバイス、マイク等の音声入力デバイス等からなる。

出力手段２２は、入力手段２１により入力された指示内容や、各指示内容に基づいて生成された制御データにより、各構成で実行された経過又は結果等の各種情報を表示したり、その音声を出力する。なお、出力手段２２は、ディスプレイ等の画面表示機能やスピーカ等の音声出力機能等を有する。

更に、出力手段２２は、検索手段３０により得られた検索結果や画面生成手段３３により生成された画面に表示された情報等を外部機器に出力する。つまり、出力手段２２は、外部機器への出力として、例えば、プリンタに出力したり、ファイルを生成してデータベース等の記録装置や記録媒体に出力したり、監視ロボット１４に対して検索結果に基づき生成された制御信号を出力したり、監視区域（警備対象施設）内のセンサのＯＮ／ＯＦＦやライトの点灯／消灯を切り替えたり、警備員が所持する携帯端末に対して検索結果に基づく関連情報（異常があった場所や内容等）を表示するための制御信号を出力するといった印刷・出力機能等を有する。また、出力手段２２は、上述した１又は複数の外部機器に同時に出力することができる。

蓄積手段２３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段２３は、顔の認証や、性別・年代等を推定するのに使用される各種特徴量データや、顔・人体領域検出手段２４における顔領域検出結果や人体領域検出結果、同定手段２５における人物同定結果、追跡手段２６における追跡結果、不審者検出手段２７における不審者検出結果、人物情報統合手段２８における人物情報統合結果、フレーム情報生成手段２９におけるフレーム情報生成結果、検索手段３０における検索結果、重要監視地点選出手段３１における重要監視地点選出結果、巡回指示手段３２における巡回指示結果、画面生成手段における画面生成結果、通知手段３４における通知結果、送受信手段３５における送受信情報、制御手段３６により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。

顔・人体領域検出手段２４は、上述した各監視カメラ１１−１〜１１−ｎ等の撮像手段２６等により撮影されたリアルタイム映像や蓄積手段２３に既に蓄積されている膨大な量の監視映像に対して、その映像中の画像に人物が含まれていると判断した場合、その人物の顔領域を検出する。つまり、顔・人体領域検出手段２４は、監視カメラ１１等により撮影された映像を、送受信手段３５を介して取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人物の顔を検出する。

具体的には、顔・人体領域検出手段２４は、例えば撮影された画像に含まれる顔における目や鼻、口等の位置情報からその顔の特徴量を取得し、予め設定された顔として検出されるための特徴量の照合パターンを用いたマッチング処理等を行うことにより人物の顔を検出する。また、顔・人体領域検出手段２４は、上述の顔検出処理に限定されず、例えばエッジ検出や形状パターン検出による顔検出、色相抽出又は肌色抽出による顔検出等を用いることができる。なお、顔・人体領域検出手段２４は、顔検出後、画像中の顔の縦幅、横幅からなる矩形の顔領域等を検出する。

また、顔・人体領域検出手段２４は、顔領域の中心座標（位置情報）、及び領域の画像上の大きさ（サイズ）を検出し、その顔領域を所定形状により元の画像に合成して顔領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段２３に蓄積させる。なお、顔領域の形状は、本発明においては、矩形や円形、楕円形、他の多角形、人物の顔の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。

また、顔・人体領域検出手段２４は、各監視カメラ１１−１〜１１−ｎ等により撮影されたリアルタイム映像や蓄積手段２３に既に蓄積されている膨大な量の監視映像に対して、その映像中の画像に人物が含まれていると判断した場合、その人物の人体領域を検出する。つまり、顔・人体領域検出手段２４は、各監視カメラ１１−１〜１１−ｎ等により撮影された映像を、送受信手段３５を介して取得し、その取得した映像に含まれる時系列の各画像のうち、所定の画像（各フレーム画像や数フレーム分の間隔を空けた画像等）について１又は複数の人体領域を検出する。

具体的には、顔・人体領域検出手段２４は、例えば連続する画像フレーム同士を比較して、色情報（輝度、色度等）が所定時間内に変化する場所が存在し、更にその場所で囲まれる領域が所定の領域以上のもの、又は経時的な移動範囲が所定の範囲内のものを人体領域として検出する。なお、人体検出手法については、本発明においてはこれに限定されるものではない。

また、顔・人体領域検出手段２４は、人体領域の中心座標、及び人体領域の画像上の大きさを検出し、その人体領域を所定形状により元の画像に合成して人体領域が明確に分かるように画面表示するための各種情報を取得し、蓄積手段２３に蓄積させる。なお、人体領域の形状は、上述した顔領域と同様に、矩形や円形、楕円形、他の多角形、人物の外形形状から所定倍率で拡大させたシルエット形状等であってもよい。

更に、顔・人体領域検出手段２４は、付加機能として、検出された顔領域を用いて人物追跡を行い、その際、画像フレーム中に含まれる複数の顔領域をそれぞれ識別して蓄積するために識別情報（トラッキングＩＤ）を割り当てたり、顔認証処理を行って、認証された人物の識別情報（ＩＤ）や人物名を出力したり、性別、年代を推定したり、顔領域がマスクやサングラス等により隠されているが否かを検出したり、画像中における人物と建物との関係等から人物の身長を推定する機能を有していてもよい。

また、顔・人物検出手段２４は、頭髪、上衣、下衣等の色情報を抽出したり、人物の実空間上での位置座標を算出したりする機能を有していてもよい。

同定手段２５は、同一のカメラで異なる時間に撮影された映像から抽出された２つの画像から検出される１又は複数の人物に対して、同一人物が含まれているか否かの同定処理を行う。具体的には、同定手段２５は、例えば撮影中に含まれる人物が今まで撮影された人であるか、又は新規人物であるかを判断する方法として、例えばその前の映像に人物がいるか否かを判断し、人物がいた場合にその人物が予め設定された移動可能範囲に含まれているか否かを判断し、更には前後の顔の特徴量同士の比較による類似性の有無により同一人物が含まれているか否かを判断することができる。

また、同定手段２５は、顔・人体領域検出手段２４において検出された顔のパターンと、蓄積手段２３に予め蓄積されている人物情報（氏名、性別、年齢、どの芸能人（人物）に似ている等）を含む顔のパターンとを比較して、その顔が誰の顔であるか、すなわち、人物が誰であるかを判定することができる。更に、同定手段２５は、その顔が誰にどの程度類似しているかといった類似度を取得することもできる。これにより、画面生成手段３３等において、ある人物に対する類似度の高い人が表示されている画像を類似度の高い順に所定の数だけ表示させていくことができる。

なお、同定手段２５は、その画像の状況に応じた特徴量の取捨選択手法により適切なパラメータを用いて人物の同定を行ってもよい。例えば、同定手段２５は、人物の状態（立ち止まっているか、歩いているか、日照変化があったかどうか等）を判定し、その結果に基づいて各種特徴量（歩容（歩幅、歩く速度、姿勢等を含む）、体型、性別、服の色、髪の色等）を人物同定に使用することができる。更に、同定手段２５は、使用する特徴量のみについて分離度を算出し、その分離度に基づいて重み付けを行い、人物同定に対する特徴量毎の寄与率を変化させる。これにより、状況に応じた特徴量を用いて高精度な人物判定を行うことができる。

追跡手段２６は、同定手段２５により同定された同一人物の挙動を撮影された映像を用いて経時的（時系列的）に追跡する。なお、追跡手段２６は、映像に含まれる複数の人物に対して平行して経時的に追跡することができる。また、追跡手段２６は、映像に含まれる人物を経時的に追跡する場合、画像中から取得されるその人物の向き、姿勢、今までの行動等から、次の移動可能範囲を推測することもできる。この場合、追跡手段２６は、その移行可能範囲を画像に合成するための情報を生成し、画面生成手段３３に出力することもできる。

ここで、追跡手段２６は、画像中に含まれる人体領域の足、頭の位置とその特徴から人物を追跡し、同一として判断できる人物の大きさが変化した場合、人物の一部が、建物等で隠蔽されたか否かを判断する。なお、隠蔽される人物の一部とは、例えば下半身や上半身、頭、腕、胴体等である。つまり、本実施形態では、少なくとも１度画面上で足のつま先から頭部までの人体の身長に関する情報が取得できた場合、その後、頭及び足の両方が同時に隠蔽されていなければ、隠蔽部分を推定して人物を追跡することができる。

不審者検出手段２７は、追跡手段２６による追跡結果を、蓄積手段２３に蓄積された予め設定される経時的な不審行動パターンや挙動データ等と照合することで、監視カメラ１１により撮影された１又は複数の人物のうち、不審者に該当する人物を検出する。

つまり、不審者検出手段２７は、追跡対象人物が遮蔽物に隠れたり、カメラを所定時間以上気にしてみていたり、きょろきょろしていたり、長時間滞在している等の不審行動が少なくとも１つある場合には、その人物を不審者として検出する。更に、不審者検出手段２７は、追跡対象人物がマスクをしていたり、サングラスをかけていることで、顔を隠している場合にも不審者として検出する。

また、不審者検出手段２７は、不審者を検出した場合に、どの不審行動に該当したのかの情報も含めてその全ての内容を蓄積手段２３に蓄積しておく。これにより、検索時におけるキーワードとして「不審者に相当するもの」が指定された場合に検索者の簡単な操作で容易に抽出されるようにしておく。更に、不審者検出手段２７は、不審者を検出した段階で画面生成手段３３にその旨の内容を通知する画面を生成させてもよい。

人物情報統合手段２８は、顔領域と人体領域とを同一人物として対応付けて、その人物の特徴を統合する。具体的には、人物情報統合手段２８は、画像中における顔領域の重心座標を取得し、取得した座標を包含する人体領域があった場合、その顔領域及び人体領域は、同一人物によるものであるとして対応付けを行う。

更に、人物情報統合手段２８は、１つの人体領域が２つ以上の顔領域を包含する場合、全ての顔領域に同じ人体領域を対応付けておく。これにより、追跡処理等において映像の途中で複数の人物が画面上で一時的に重なった場合にも、途切れることなく継続して追跡することができる。なお、人物の管理はＩＤ等の識別情報を用いて行う。なお、上述した人体領域と顔領域とを同一人物のものとして対応付ける処理については、本発明においてはこれに限定されるものではなく、例えば人物の姿勢や向き等を抽出し、抽出した情報を用いて対応付けを行ってもよい。

フレーム情報生成手段２９は、上述した人物情報統合手段２８により統合された人物毎の人物情報を、映像に含まれる画像の１フレーム毎に格納したフレーム情報を生成し、生成した検索用人物特徴データを蓄積手段２３にデータベース等として蓄積する。これにより、フレーム単位で人物の特徴を管理することができる。また、フレーム毎にその撮影された時間情報が付与されているので、検索の際に、どの時間にどのような人物が何人いるか等、多種の検索キーワードを用いて様々な検索を高精度に実現することができる。

なお、本実施形態におけるフレーム情報としては、例えば共通の項目として「ファイル名」、「検出日時」があり、また顔領域から抽出される情報として「人物位置座標（Ｘ，Ｙ，Ｚ）」、「身長情報」、「各種色情報」、既に抽出された人物が予め設定されたデータベース等に登録されている場合には「登録者情報」、「似ている芸能人情報」、「年代情報」、「性別情報」、「顔の向き（ＰＡＮ，ＴＩＬＴ）」、「マスクの有無」、「サングラスの有無」、「取得顔画像情報」等があり、その他にも「人物位置座標（Ｘ，Ｙ，Ｚ）」、「身長情報」等があるが、本発明においてはこれに限定されるものではない。

検索手段３０は、各監視カメラ１１−１〜１１−ｎ等により撮影されたリアルタイム映像や、蓄積手段２３に既に蓄積されている監視映像等の各種情報に対して、本実施形態により検索者が指定する選択可能な所定のキーワードや抽出条件等を設定し、又は予め不審者や迷子を検出するための検出条件を設定して、対応する人物が含まれる画像等の検索結果を抽出する。

また、検索手段３０は、その検索結果に対して自動的に顔や服装（衣類だけでなく帽子、マスク、眼鏡等も含む）等の特徴、行動等の抽出条件等を設定し、当該検索結果に類似する人物の検索を行う類似検索を行い、その類似度を出力したり、類似度の高い順に所定の数だけ検索結果を出力するといった処理を行うこともできる。

また、検索手段３０は、上述した監視ロボット１４−１〜１４−ｎを用いて迷子等の捜索をリアルタイムで行う場合等には、監視ロボットに備えられた撮像手段からの映像に対して、予め設定された条件（身長、洋服の色、場所情報等）を満たす人物が表示されている画像を検索し、その結果を画面生成手段３３によりリアルタイムに表示させるといった機能も有する。

また、検索手段３０における検索画面やその結果表示される出力結果等は、画面生成手段３３により対応する画面が生成され、出力手段２２により出力される。これにより、本実施形態では、予め蓄積された映像やリアルタイム映像に基づいて所定の条件を満たす検索を行い、その検索結果を表示させることができる。

重要監視地点選出手段３１は、検索手段３０等により得られた不審者や迷子等の捜索対象人物等の特定人物に対して、その人物がいた地点又はその周辺の地点を重要監視地点として選出する。なお、特定人物を検索した場所の情報は、例えば撮影された映像に含まれる監視カメラ１１毎の識別情報と、予め蓄積された監視カメラ１１の識別情報に対応付けられた設置位置情報により取得することができる。また、本実施形態では、上記識別情報の中に設置位置情報が含まれていてもよく、その場合には、識別情報から設置位置情報を直接取得することができる。

また、重要監視地点選出手段３１は、上述した重要監視地点を基準として優先巡回地点を選定する。つまり、重要監視地点選出手段３１は、監視区域に予め設定された地点（場所）毎に特定人物の抽出スコア（類似度）や、重要監視地点を選出した回数、選出した時間、及び、所定時間内における選出頻度等のうち、少なくとも１つを用いて場所別スコアを算出し、その結果から優先巡回を行う重要監視の候補地点を選出し、場所別スコアからなる優先度を出力する。

巡回指示手段３２は、重要監視地点選出手段３１により選出された重要監視地点に対して優先巡回を行わせるため、複数の監視ロボット１４−１〜１４−ｎのうち、その地点の巡回を担当する１又は複数の監視ロボットに対して巡回要求を生成し、生成した巡回要求情報による巡回指示を対象の監視ロボットに対して送信する。

画面生成手段３３は、監視カメラ１１により撮影された映像や顔・人体領域検出手段２４により検出された顔領域や、顔・人体領域検出手段２４により検出された人体領域、本実施形態における人物検索を行うためのメニュー画面、検索手段３０により検索で使用される入力画面、検索結果画面等、通知手段３４における通知結果等を出力するための画面を生成する。このとき、画面生成手段３３は、例えば撮影された人物の領域に対応する位置情報等の数値化されたデータ等を表示させることもできる。

また、画面生成手段３３は、映像に含まれる人物を追跡する際に用いられる移動可能範囲や追跡手段２６により得られる追跡ルート等の各種データを監視し易いように画面を生成して表示させることができる。更に、画面生成手段３３は、予め設定される不審者の行動パターンに該当する場合には、その旨の内容を通知するための画面を生成する。

更に、画面生成手段３３は、検索手段３０により得られる検索結果を表示する際、その検索結果をリアルタイムで表示するような場合には、その検索結果の更新表示等を一時的に停止することができる。これにより、例えば、検索結果をリアルタイムで随時更新表示させているような場合には、一時停止することで、情報を確認し忘れることなく、必要な情報を表示させておくことができる。また、画面生成手段３３は、上述したように一時停止した表示内容を、その続きから継続して表示させることができる。

また、画面生成手段３３は、映像に含まれる人物の特徴或いは行動を表示するだけでなく、例えば撮像手段を設けた１又は複数の監視ロボットが監視区域内を巡回しているような場合には、その監視ロボット毎に監視映像と共に送信された巡回位置情報（３次元座標、緯度、経度等）や巡回経路等を表示することもできる。これにより、監視ロボット毎の現在位置を正確に把握することができる。

なお、画面生成に必要な各種情報は、蓄積手段２３に予め蓄積されている情報等から必要な情報を適宜読み出して使用することができる。また、画面生成手段３３は、生成された画面等を出力手段２２としてのディスプレイに表示したり、スピーカ等により音声等を出力することができる。

通知手段３４は、不審者検出手段２７により得られる不審者として検出された画像と、その画像に関する情報（検出日時、検出場所、その前の所定時間分の映像等）を画面生成手段３３により生成させて、出力手段２２により表示させる。また、通知手段３４は、そのような不審行動検出における問題発生信号に対応させて、管理者や警備会社におけるそのビルの担当警備員、監視員、代表責任者、監視ロボット等に通知を行うアラート機能を有する。

なお、通知手段３４は、例えば監視ロボット等に通知を行う場合には、その監視ロボットが対象者と対面しているか又は監視ロボットの撮像手段により対象者が撮影されるほど接近した位置にいるため、監視ロボットから対象者に対して音声メッセージを出力させたり、警報ランプや非常音等により周囲に対して注意を促すような処理を行わせるような監視ロボット１４に対する制御信号を通知することもできる。

送受信手段３５は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の監視カメラ１１−１〜１１−ｎや監視ロボット１４−１〜１４−ｎが備える撮像手段からの監視映像を受信する。なお、送受信手段３５は、監視カメラ１１から直接監視映像を受信しなくてもよく、例えば予め監視カメラ１１で取得した映像をどこかに一時的に保存しておき、その保存された情報を用いて本実施形態における人体検出を行ってもよい。

また、送受信手段３５は、監視装置１３を構成する他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。

制御手段３６は、監視装置１３における各機能構成全体の制御を行う。具体的には、制御手段３６は、入力手段２１により入力されたユーザからの入力情報に基づいて、上述した各機能構成における処理を実行させる等の各種制御を行う。

また、制御手段３６は、例えば監視ロボット１４に監視区域内を巡回させている場合には、その監視ロボット１４に対して巡回経路や対象者発見時の動作等について制御を行う。具体的には、制御手段３６は、対象者発見時に通知手段３４により対象者やその周囲について、音声メッセージや警報等の出力を行わせたり、対象者発見後に監視ロボット１４の巡回を強制終了させ、帰還経路を設定する等の制御を行う。つまり、監視ロボット１４が対象者を発見した時点で巡回を終了させ、管理室等の所定の場所まで対象者を案内させるという経路設定が可能になる。

更に、制御手段３６は、監視ロボット１４から得られる警告信号(例えば、火災、漏水、人物検知等)に対応して、監視ロボット１４に緊急時の動作等を行わせる制御信号を生成し、その制御信号を、出力手段２２や送受信手段３５等を介して監視ロボット１４等に送信し、監視ロボット１４を制御することができる。

＜監視ロボット１４：機能構成例＞
次に、上述した監視ロボット１４の機能構成例について、図を用いて具体的に説明する。図３は、本実施形態における監視ロボットの機能構成の一例を示す図である。

図３に示す監視ロボット１４は、入力手段４１と、出力手段４２と、蓄積手段４３と、移動手段４４と、巡回経路設定手段４５と、撮像手段４６と、追跡・誘導手段４７と、移動体間連携手段４８と、通知手段４９と、送受信手段５０と、制御手段５１とを有するよう構成されている。

入力手段４１は、監視装置１３からの入力指示や、監視ロボット１４に設けられた各種操作ボタンやタッチパネル等により人手により入力された指示情報を受け付ける。なお、入力手段４１は、例えばマイク等の音声入力デバイス等であってもよい。

出力手段４２は、入力手段４１により入力された指示内容や、各指示内容に基づいて生成された制御データにより、各構成で実行された経過又は結果等の各種情報を表示したり、その音声を出力する。なお、出力手段４２は、ディスプレイやタッチパネル等の画面表示機能やスピーカ等の音声出力機能等を有する。

蓄積手段４３は、上述した本実施形態を実現するための様々な情報を蓄積することができ、必要に応じて読み出しや書き込みが行われる。具体的には、蓄積手段４３は、巡回経路設定手段４５における設定された巡回経路、撮像手段４６における映像や音声、追跡・誘導手段４７における追跡又は誘導における経過や結果、移動間連携手段４８における移動間連携結果、通知手段４９における通知結果、送受信手段５０における送受信情報、制御手段５１により制御された情報、エラー発生時のエラー情報、ログ情報、本発明を実現するためのプログラム等の各情報が蓄積される。

更に、蓄積手段４３は、監視装置１３により得られる不審者情報や迷子情報等の特定人物情報を登録しておき、追跡・誘導手段４７において、人物の照合をする際に用いられる。

移動手段４４は、監視ロボット１４を移動するためのタイヤによる移動機能や歩行機能等を備え、所定の地点や巡回経路に基づいて移動を行うものである。

巡回経路設定手段４５は、監視装置１３等により個々の監視ロボット１４に予め割り当てられた巡回経路に基づいて、新たに監視装置１３により得られる不審者情報や迷子情報等に基づく巡回要求情報に基づいて、巡回経路の変更を行う。

また、巡回経路設定手段４５は、監視ロボット１４が巡回中である場合、巡回を一端中止して現時点の位置情報を取得し、取得した位置情報と、重要監視地点との距離や重要監視地点の優先度、予め設定された巡回経路のうちの現時点より先の経路情報等に基づいて、新たな巡回経路を再設定する。

これにより、今まで巡回してきた続きから新たな巡回経路を用いて巡回を行うことができる。また、重要監視地点として、まだ巡回していない地点を巡回するのであれば、その地点を巡回する際には、巡回速度を既定の速度よりも遅らせたり、移動を停止したりすることで、その地点にいる時間を既定の時間よりも増加させる等の処理を行うことができ、既に巡回した地点であれば、既定の巡回経路が終わった後に、その地点を再度巡回するといった処理を行う等、巡回警備等を臨機応変に対応することができる。

撮像手段４６は、監視ロボット１４に設けられたカメラ等により、監視ロボット１４の前方や周囲の映像を撮影する。なお、撮像手段４６は、周囲の音声を入力する音声入力機能を有していてもよい。また、撮像手段４６により撮影された映像や音声は、蓄積手段４３に蓄積されるか、リアルタイムで送受信手段５０により通信ネットワーク１５を介して監視装置１３に出力される。

追跡・誘導手段４７は、撮像手段４６により得られる映像に含まれる人物を上述した顔領域検出や人体領域検出等によって検出し、蓄積手段４３に蓄積されているか、若しくは、監視装置１３により得られる不審者情報や迷子情報等の特定人物情報と照合する。また、追跡・誘導手段４７は、照合の結果、その撮影された映像に含まれる人物が不審者である場合には、その不審者の後を追跡する。また、その撮影された映像に含まれる人物が迷子である場合には、その迷子に音声等により後についてくるようにメッセージを出力して、移動手段４４により移動しながら迷子を所定の位置まで誘導するといった処理を行う。追跡・誘導手段４７は、撮影された映像に対して所定のタイミングで継続的に不審者や迷子等の特定人物との照合を行う。

これにより、監視ロボット１４が対象者を発見した時点で巡回を終了させ、管理室等の所定の場所まで対象者を案内させるという経路設定が可能になる。

また、移動体間連携手段４８は、複数の監視ロボットを用いて、ある地点を重点的に巡回して監視する場合には、他の監視ロボット間においてそれぞれ巡回している場所や時間、内容等を制御する。そのため、移動体間連携手段４８は、通信ネットワーク１５により各監視ロボット間において、巡回している現在の位置と、経路情報を交換しながら、それぞれの巡回タイミング等を、監視ロボット１４間で連携をとりながら監視を行うことができる。

これにより、重点地域については、常に１台以上の監視ロボットがいるようにしたり、１度にその重点地域を巡回するロボットを２台にするとか等、複数のロボットに対して制御を行うことができる。

通知手段４９は、警告信号(例えば、火災、漏水、人物検知等)巡回中に不審者や迷子等の特定人物を発見した場合、若しくは火災、漏水された場合には、その旨の警告情報を、通信ネットワーク１５を介して監視装置１３に通知する。また、不審者に対しては、例えば「ここは、立ち入り禁止区域です」等の情報を通知する。また、迷子等に対しては、例えば「もう大丈夫です」、「私の後についてきてください」等の情報を通知する。

また、通知手段４９は、予め設定された巡回経路にしたがい、定期的或いは各地点間の移動等の所定のタイミングで監視装置１３に現在位置の通知を行う。また、通知手段４９は、巡回が終了した場合に、巡回が終了したことを示す巡回終了通知を監視装置１３に通知する。

なお、通知手段４９は、例えば監視ロボット１４等に通知を行う場合には、その監視ロボット１４が対象者と対面しているか又は監視ロボット１４の撮像手段により対象者が撮影されるほど接近した位置にいるため、監視ロボット１４から対象者に対して音声メッセージを出力させたり、警報ランプや非常音等により周囲に対して注意を促すような処理を行わせるような信号を出力することもできる。

送受信手段５０は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の通信ネットワーク等を介して１又は複数の監視カメラ１１−１〜１１−ｎや監視ロボット１４−１〜１４−ｎが備える撮像手段からの監視映像を受信する。なお、送受信手段５０は、監視カメラ１１から直接監視映像を受信しなくてもよく、例えば予め監視カメラ１１で取得した映像をどこかに一時的に保存しておき、その保存された情報を用いて本実施形態における人体検出を行ってもよい。

また、送受信手段５０は、監視ロボット１４の他の端末に送信したり、他の端末から各種データを受信するための通信インタフェースとして用いることができる。

制御手段５１は、監視ロボット１４における各機能構成全体の制御を行う。具体的には、制御手段５１は、入力手段４１により入力されたユーザからの入力情報に基づいて、上述した各機能構成における処理を実行させる等の各種制御を行う。

また、制御手段５１は、例えば監視ロボット１４に監視区域内を巡回させている場合には、その監視ロボット１４に対して巡回経路や対象者発見時の動作等について制御を行う。具体的には、制御手段５１は、対象者発見時に通知手段４９により対象者やその周囲について、音声メッセージや警報等の出力を行わせたり、対象者発見後に監視ロボット１４の巡回を強制終了させ、帰還経路を設定する等の制御を行う。つまり、監視ロボット１４が対象者を発見した時点で巡回を終了させ、管理室等の所定の場所まで対象者を案内させるという経路設定が可能になる。

更に、制御手段５１は、監視ロボット１４から得られる警告信号(例えば、火災、漏水、人物検知等)に対応して、監視ロボット１４に、緊急時の動作や監視装置１３への通知等の制御を行わせる。

上述した各装置構成を用いることにより、特徴検索機能を用いて適切な移動経路による巡回を行うことができる。

具体的に説明すると、従来では、特徴検索装置や監視ロボットは独立したシステムとなっており、システム間の連携は威嚇音声の出力要求等を行うのみで、お互いのシステム動作に大きく干渉することはなかった。

しかしながら、本実施形態を適用することにより、特徴検索機能における検索結果に基づいて監視ロボットに対し、巡回する地点を指定することができる。

＜検索手段３０における検索処理＞
ここで、本実施形態における検索処理として、検索用人物特徴を取得するまでの概要について説明する。図４は、本実施形態における検索用人物特徴を取得するまでの概要を説明するための図である。図４に示す図は、上述した顔領域検出や人体領域検出により得られる人物特徴から検索用人物特徴データを生成するための図である。なお、人物特徴データがフレーム情報生成手段２９等により生成され、蓄積手段２３にデータベース等により蓄積される。

具体的に説明すると、図４（ａ）では、フレーム情報生成において、各フレーム（Ｆ）において検出された人物（例えば、人物Ａ、人物Ｂ等）に対する特徴（例えば、身長、サングラスの有無等）が取得され、これらの人物特徴を図４（ｂ）に示すように人物毎に纏めて人物特徴をカウントする。つまり、図４（ｂ）では、全てのデータを離散化して出現回数をカウントしており、具体的には、図４（ｂ）において、人物Ａは、映像中の３フレームで抽出され、そのうち、身長が１７０ｃｍと推定された場合が２回、１７５ｃｍと推定された場合が１回あり、更にサングラスの着用ありと検出された場合が２回、着用なしと検出された場合が１回ある等とカウントされる。なお、上述の例では、身長を５ｃｍ毎に離散化しているが、本発明においてはこれに限定されない。

次に、図４（ｃ）に示すように、各フレーム数で正規化を行い、このデータを検索に使用する。具体的には、検索用人物特徴データの作成する際、様々な特徴や行動の組み合わせで人物を検索するために、例えば、身長、性別、服の色のＨＳＶ値等の様々な形態により出力される人物情報を下記の式に従い、統一的に記述する。

例えば、ある人物Ａにおける特徴Ｘについてのデータを作成する場合、特徴Ｘがデジタル値（性別（男・女）、サングラス（有・無）、マスク（有・無）等）の際には、以下に示す（１）式により頻度値Ｘの人物Ａについての総頻度Ｆ_ＡＸを算出する。

また、特徴Ｘがアナログ値（身長、認証スコア、服の色のＨＳＶ値等）の際には、以下に示す（２）式により連続値Ｘ内特定範囲ｄの人物Ａについての総頻度を算出する。

これにより、人物の全ての情報をヒストグラムへと変換することができる。なお、このままでは人物間の比較に用いることができないため、各人物の検出フレーム数で正規化することで、正規化ヒストグラムへと変換し、以下に示す（３）式により人物Ａの特徴Ｘについての信頼度Ｐ_ＡＸを算出する。

これにより、図４（ｃ）に示すように検索用人物特徴データを取得することができる。

＜本実施形態における検索手法＞
次に、上述した検索手段３０における本発明における検索手法について、図を用いて説明する。本実施形態における検索手法では、上述した人物特徴データを用いた検索スコアリング手法により、映像に映っている人物を、様々な人物の特徴や行動の組み合わせで、検索することができる。また、どの組み合わせにおいても、検索要求との一致度が高い順番に検索結果を出力することができる。

ここで、図５は、本実施形態における検索手法を説明するための一例の図である。本実施形態では、図５（ａ）に示すように検索者が入力した検索要求「サングラスをしている１７５ｃｍの人」を、上述した特徴量へと変換し、正規化ヒストグラム上の最大値（＝１）を検索要求特徴量とする（図５（ｂ））。また、検索要求特徴量に該当する特徴を参照して抽出し（図５（ｃ））と、その該当特徴との距離を算出し、その距離を検索スコアとし（図５（ｄ））、スコアの高い人物順に検索結果を出力する。

なお、本実施形態における検索に適した色情報の取り扱いとしては、人物特徴の中でも、服や髪の毛の色は、特に重要な要素であるが、色の表現は主観により変化するため、主観による変動を吸収できるようにする。具体的には、人が感じる色に検索結果を適合させるため、例えば、ＨＳＶ空間等の予め人の視覚特性に基づき設定された色空間で処理を行う。なお、上述した色空間は、本発明においてはＨＳＶに限定されず、例えばＨＬＳ、ＬＵＶ、ＬＡＢ等を用いることができる。更に、色解像度を低下させることで、主観による変動を吸収する。

また、フリーワードによる検索を行う際には、入力された語句を検索要求へと変換し、検索処理を行う。なお、従来では、検索キーワードとして例えば「赤い 上着 青い ズボン」のように入力した場合、どの形容詞と、どの名詞とが修飾関係にあるかが理解できないという問題があった。そのため、本実施形態では、入力された語句の修飾関係を考慮して、検索要求へと変換することで、検索精度をより向上させることができる。なお、本実施形態では、検索要求の入力の際には、人物を表現するフリーワード入力や、検索可能な人物特徴一覧から選択することができる。

これにより、蓄積された膨大な量の映像から、検索者が意図する人物像に近い人物が撮影された時刻の映像を容易に検索し、その検索結果を取得することができる。また、本実施形態では、映像確認の際には、人物映像に加えて、その人物の見た目の特徴と行動が文字で表記される。また、所望の人物については、不審者情報として各種媒体へ出力することができる。これにより、撮影された画像に対して簡単な操作で効率的に高精度な人物検索を行うことができる。

次に、本実施形態を用いた動作フローについて具体的に説明する。なお、以下に示す例では、（１）リアルタイム捜索、（２）不審箇所巡回、（３）指定特徴人物が抽出された後の処理に関するフローを順に説明する。なお、以下の処理では、監視装置１３と監視ロボット１４とを用いたシーケンスフローについて説明する。

＜（１）リアルタイム捜索＞
図６は、本実施形態におけるリアルタイム捜索時の動作処理手順の一例を示すシーケンスチャートである。図６に示す動作処理手順では、監視装置１３において、ユーザ等からのリアルタイム捜査要求があると（Ｓ０１）、予め蓄積されている画像から上述したように本実施形態における検索を行い（Ｓ０２）、場所別スコアを算出する（Ｓ０３）。また、その結果から候補地点を選出し（Ｓ０４）、選出した結果に基づいて監視ロボット１４に対して巡回要求を送信し（Ｓ０５）、リアルタイム捜索を開始する（Ｓ０６）。

また、監視ロボット１４では、監視装置１３から巡回要求情報を取得すると（Ｓ０７）、現在巡回途中であるか否かを判断する（Ｓ０８）。ここで、巡回中である場合（Ｓ０８において、ＹＥＳ）、巡回を停止し（Ｓ０９）、現在の位置からの巡回経路の再設定を行う（Ｓ１０）。また、Ｓ０８の処理において、巡回中でない場合（Ｓ０８において、ＮＯ）、予め設定された巡回情報とＳ０７により受信した巡回要求情報に基づいて巡回経路を設定し（Ｓ１１）、Ｓ１０又はＳ１１の処理が終了後、巡回を開始する（Ｓ１２）。

つまり、上述したリアルタイム捜索では、指定された特徴を元に蓄積画像から特徴検索を行い、検索結果で得られた特定人物を、その画像を撮影した監視カメラ１１の識別情報等から場所別に分類し、場所毎のスコアを算出する。また、算出されたスコアに基づいて、優先巡回地点を選定し、その地点やその付近の巡回を担当する監視ロボット１４等に対して巡回要求を送信する。また、監視ロボット１４は、巡回要求を受け取ると、巡回要求情報中の優先巡回地点を巡回可能なように巡回経路を計算し、巡回を行う。

＜巡回要求情報＞
ここで、巡回要求情報の具体例について説明する。本実施形態における巡回要求情報では、例えば、その要求情報の種別を示す情報種別や優先巡回地点情報等のデータを含む。

情報種別では、例えば、リアルタイム捜索、追跡、不審警戒経路等の種別が設定される。なお、上述の例では、情報種別は「リアルタイム捜索」が設定される。また、優先巡回地点情報では、例えば、（ＰｏｉｎｔＡ，１００．０）、（ＰｏｉｎｔＢ，９０．０）、・・・等である。ここで、上述の優先巡回地点情報（Ｘ，Ｙ）のＸ（ＰｏｉｎｔＡ等）はその地点の座標を示し、Ｙ（１００．０等）は巡回の優先度を示す。

このように、優先巡回地点情報を設定しておくことで、巡回経路を容易に設定することができる。また、巡回要求情報に含まれる情報識別に基づいて、監視ロボットの監視時間や監視内容等が設定される。なお、巡回要求情報に含まれる情報は、本発明においてはこれに限定されるものではなく、例えば、捜索対象の人物情報（顔や髪、服装の特徴等）を含むことができる。

＜（２）不審箇所巡回＞
次に、本実施形態における不審箇所巡回について説明する。図７は、不審箇所巡回時の動作処理手順の一例を示すシーケンスチャートである。図７において、まず監視装置１３は、監視ロボット１４のロボット状態を管理し（Ｓ２１）、現在巡回中であるか否かを判断する（Ｓ２２）。ここで、巡回中である場合（Ｓ２２において、ＹＥＳ）、Ｓ２１に戻り後続の処理を行う。また、巡回中でない場合（Ｓ２２において、ＮＯ）、予め蓄積手段２３に蓄積された画像から不審検索を行い（Ｓ２３）、不審検索結果に基づいて、場所別スコアを算出する（Ｓ２４）。なお、Ｓ２３の処理では、不審者が画像中に存在していると判断した場合に、その画像を撮影した監視カメラ１１の識別情報と撮影時間、不審者との類似度等を用いて、複数の監視カメラ１１−１〜１１−ｎから得られる各画像の不審者検索結果に基づいて、Ｓ２４の処理により場所別にスコアを算出する。

次に、Ｓ２３の処理により得られた不審者の不審度と、予め設定された閾値とを比較する。具体的には、不審度が閾値よりも大きいか否かを判断し（Ｓ２５）、不審度が閾値より大きくない場合（Ｓ２５において、ＮＯ）、Ｓ２３に戻り後続の処理を行う。また、Ｓ２５の処理において、不審度が閾値より大きい場合（Ｓ２５において、ＹＥＳ）、巡回要求を監視ロボット１４に送信する（Ｓ２６）。

監視ロボット１４は、巡回要求を受信すると（Ｓ２７）、巡回経路を設定し（Ｓ２８）、警備巡回を開始する（Ｓ２９）。また、所定の経路で巡回しながら（Ｓ３０）、巡回が終了であるか否かを判断し（Ｓ３１）、巡回を終了でない場合（Ｓ３１において、ＮＯ）、Ｓ３０の戻り、巡回が終了するまで、継続して処理を行う。

また、巡回が終了した場合（Ｓ３１において、ＹＥＳ）、巡回を終了したことを示す巡回終了通知を監視装置１３に通知する（Ｓ３３）。監視装置１３は、監視ロボット１４からの巡回終了通知を受信すると、処理を終了する（Ｓ３４）。

つまり、上述の処理では、特徴検索を行う監視装置１３は、監視ロボット１４の状態を管理し、ロボットが巡回中でないとき、一定時間毎に不審検索を行う。また、監視装置１３は、検索結果を場所毎に分類し、スコアがある閾値を越えた場所が存在するとき、その場所を優先巡回地点に選定し、監視ロボットへ巡回要求を送信する。監視システム１４では、巡回要求を受信すると、巡回要求情報中の優先巡回地点情報をもとに巡回経路を算出し、巡回を開始する。なお、上述したＳ２６、Ｓ２７の処理において、送受信される巡回要求情報は、上述した内容と同様であるが、情報識別は、不審警戒となる。

＜（３）指定特徴人物が抽出された後の処理＞
次に、本実施形態における指定特徴人物が抽出された後の処理について説明する。図８は、指定特徴人物が抽出された後の処理時の動作処理手順の一例を示すシーケンスチャートである。図８において、まず、監視装置１３は、指定特徴の入力を受け付けると（Ｓ４１）、蓄積画像から検索を行う（Ｓ４２）。

次に、検索結果から最高スコアの人物を抽出し（Ｓ４３）、抽出した情報に基づいて目的地を設定する（Ｓ４４）。なお、Ｓ４４の処理では、最高スコアの人物が撮影された画像を取得した監視カメラ１１等に基づいて、その監視カメラ１１が設置された地点、或いは設置された地点と、その画像が撮影されてからの経過時間や、経時的に見たその人物の移動している方向に基づいて目的地が設定される。

ここで、Ｓ４４の処理にて設定された目的地が予め設定された目的地から変化しているか否かを判断し（Ｓ４５）、目的地が変化している場合（Ｓ４５において、ＹＥＳ）、その目的地を対する巡回要求情報を監視装置１３から監視ロボット１４に送信する（Ｓ４６）。なお、Ｓ４６の処理では、捜索対象の人物情報（顔や髪、服装の特徴等）も送信することができる。

監視ロボット１４は、監視装置１３から巡回要求情報を受信すると（Ｓ４７）、巡回経路を設定し（Ｓ４８）、設定された巡回経路に基づいて、警備巡回を開始する（Ｓ４９）。また、巡回を行い（Ｓ５０）、対象人物（不審者等）が発見されたか否かを判断する（Ｓ５１）。ここで、対象人物が発見されていない場合（Ｓ５１において、ＮＯ）、Ｓ５０に戻り、巡回を継続する。また、対象人物を発見した場合（Ｓ５１において、ＹＥＳ）、発見通知を監視装置１３に通知する（Ｓ５２）。その後、追跡を行い（Ｓ５３）、見失った（ロスト）か否かを判断する（Ｓ５４）。ここで、見失っていない場合（Ｓ５４において、ＮＯ）、Ｓ５３に戻り追跡を継続する。また、見失った場合（Ｓ５５において、ＹＥＳ）、ロスト通知を監視装置１３に行う（Ｓ５５）。

ここで、監視装置１３は、監視ロボット１４からの通知結果を受信し（Ｓ５６）、対象人物を発見したか否かを判断する（Ｓ５７）。ここで、発見した場合（Ｓ５７において、ＹＥＳ）、Ｓ５６に戻り、追跡結果の通知を継続して待つ。また、発見しなかった場合（Ｓ５７において、ＮＯ）、Ｓ４２に戻り、指定特徴人物検索から後続の処理を行う。

つまり、上述の例では、監視装置１３は、指定特徴が入力されると、蓄積画像より最高スコアが算出された人物を抽出する。更に、その人物が確認された場所を目的地に設定し、監視ロボットへ巡回要求を送信する。

監視ロボット１４は、巡回要求を受信すると、巡回要求情報中の目的地に到達するように、巡回経路を算出し、巡回を開始する。また、指定された人物が監視ロボット１４に設けた撮像手段で撮影した画像に含まれていた場合、発見通知を監視装置１３に送信し、更に追跡を開始する。また、追跡中に対象人物を見失った場合、ロスト通知を監視装置１３に送信する。監視装置１３では、発見通知を受け取ると、監視ロボット１４への巡回要求を一時停止し、ロスト通知を受け取ると、再度蓄積画像からの検索を開始する。なお、上述の動作は、ユーザからの終了通知がなされるまで継続される。

上述した実施形態により、自律移動体である監視ロボット１４がランダムに巡回経路を設定するよりも、特徴検索のスコアと連携し、そのスコアを有効に活用することにより、監視ロボットの効率的な運用が可能になる。また、監視システムにかかる人の負担を軽減しながら、監視ロボットによって犯罪の未然防止を実現することができる。なお、上述の実施例では、１台の監視ロボット１４に対してのみ制御を行っていたが、本発明においてはこれに限定されるものではなく、複数の監視ロボットに対して監視装置１３から同一又は監視ロボット毎の巡回位置等により異なる制御を行うことができる。

＜他の実施形態＞
なお、上述の実施形態では、監視ロボット側で巡回経路を設定していたが、本発明においてはこれに限定されるものではなく、監視装置１３側で各監視ロボット１４毎に巡回経路を設定することができる。この場合には、監視装置１３に上述した巡回経路設定手段を設けた構成とする。ここで、上述の内容を他の実施形態として説明する。

＜他の実施形態：監視装置側での巡回経路設定＞
図９は、監視装置側での巡回経路設定する時の動作処理手順の一例を示すシーケンスチャートである。図９において、まず、監視装置１３は、蓄積画像から検索を行い（Ｓ６１）、検索結果から場所別スコアを算出する（Ｓ６２）。

次に、不審度が予め設定した閾値より大きいか否かを判断する（Ｓ６３）。ここで、不審度が閾値よりも大きくない場合（Ｓ６３において、ＮＯ）、Ｓ６１に戻り後続の処理を行う。また、Ｓ６３において、不審度が閾値よりも大きい場合（Ｓ６３において、ＹＥＳ）、ロボット位置情報を監視ロボット１４に要求する（Ｓ６４）。

監視ロボット１４は、監視装置１３からの位置情報要求を受信し（Ｓ６５）、現在の位置情報を監視装置１３に送信する（Ｓ６６）。このとき、現在位置と同時に監視ロボット１４の識別情報や時刻情報等を含んでもよい。

次に、監視システム１３は、監視ロボット１４からロボット位置情報を受信し（Ｓ６７）、巡回経路を設定する（Ｓ６８）。また、設定した巡回要求情報を監視ロボット１４に送信する（Ｓ６９）。監視ロボット１４は、監視装置１３から巡回要求情報を受信し（Ｓ７０）、現在巡回中であるか否かを判断し（Ｓ７１）、巡回中である場合（Ｓ７１において、ＹＥＳ）、巡回中止する（Ｓ７２）。また、巡回中でない場合（Ｓ７１において、ＮＯ）、又はＳ７２の処理が終了後、警備巡回を開始し（Ｓ７３）、巡回を行う（Ｓ７４）。

つまり、上記実施例では、不審検索結果で巡回条件を満たすと、監視ロボット１４に位置情報を要求する。監視ロボット１４からロボットの現在位置を受信すると、不審場所情報を元に巡回経路を算出し、監視ロボット１４に巡回要求を送信する。

なお、上述した本実施形態における巡回要求情報は、情報種別と、経路情報とを含むよう構成される。なお、上述の例では、情報種別は「不審警戒経路」が設定される。また、経路情報では、例えば、（ＰｏｉｎｔＡ，ｗｏｒｋ１，ｗｏｒｋ２，・・・）、（ＰｏｉｎｔＯ，ｗｏｒｋ１，ｗｏｒｋ２，・・・）、・・・等である。ここで、上述の優先巡回地点情報（Ｘ、Ｙ１、Ｙ２、・・・）のＸ（ＰｏｉｎｔＡ等）はその地点の座標を示し、Ｙ１（ｗｏｒｋ１等）、Ｙ２（ｗｏｒｋ２等）はその座標におけるロボット動作（ワーク）内容（例えば、監視ロボット１４が備えるカメラ制御等のオペレーション）を示す。

このように、優先巡回地点情報を設定しておくことで、巡回経路を容易に設定することができる。また、巡回要求情報に含まれる情報識別に基づいて、監視ロボットの監視時間や監視内容等が設定される。なお、巡回要求情報に含まれる情報は、本発明においてはこれに限定されるものではなく、例えば、捜索対象の人物情報（顔や髪、服装の特徴等）を含むことができる。また、上述した例では、監視ロボットを複数台運用することもできる。

＜監視ロボットが検索機能を設けた場合の動作フロー＞
更に、本発明では、監視ロボット１４からで上述した監視装置１３における特徴人物の検索機能を設けておいてもよい。この場合には、監視ロボット１４に上述した検索手段を設けた構成とする。ここで、上記の内容の具体例について以下に説明する。

図１０は、監視ロボットに検索機能を設けた時の動作処理手順の一例を示すシーケンスチャートである。なお、図１０の処理については、監視装置１３を用いることなく、巡回設定ができるため、監視カメラ１１と監視ロボット１４とを用いた例について図を用いて説明するが、本発明においてはこれに限定されるものではなく、監視装置１３を用いて全体の処理管理を行ってもよい。

図１０において、まず各監視カメラ１１−１〜１１−ｎから得られる画像を監視ロボット１４に送信する（Ｓ８１）。監視ロボット１４は、各監視カメラ１１−１〜１１−ｎから撮影された画像を受信し（Ｓ８２）、受信した画像を蓄積する（Ｓ８３）。このとき、監視ロボット１４に設けられたカメラ等の撮像手段から撮影された画像を蓄積してもよい。

次に、監視ロボット１４は、蓄積画像から検索を行い（Ｓ８４）、検索結果から場所別スコアを算出する（Ｓ８５）。

次に、不審度が予め設定した閾値より大きいか否かを判断する（Ｓ８６）。ここで、不審度が閾値よりも大きくない場合（Ｓ８６において、ＮＯ）、Ｓ８４に戻り後続の処理を行う。また、Ｓ８６において、不審度が閾値よりも大きい場合（Ｓ８６において、ＹＥＳ）、巡回経路を設定する（Ｓ８７）。また、現在巡回中であるか否かを判断し（Ｓ８８）、巡回中である場合（Ｓ８８において、ＹＥＳ）、巡回中止する（Ｓ８９）。また、巡回中でない場合（Ｓ８８において、ＮＯ）、又はＳ８９の処理が終了後、警備巡回を開始し（Ｓ９０）、巡回を行う（Ｓ９１）。

なお、上述した本実施形態における処理では、各センサ群１２からのセンサ検知情報に基づいて、場所別スコア算出を行ってもよい。この場合センサに画像は含まれていないため、検知位置情報と検知識別情報とが管理ロボット１４に送信される。

＜画面生成手段３３において生成される画面例＞
次に、画面生成手段３３において生成される画面例について図を用いて説明する。図１１は、本実施形態における画面遷移例を示す図である。図１１に示す画面例では、初期画面６１と、日時指定画面６２と、特徴・行動条件指定画面６３と、検索結果表示画面６４と、映像再生画面６５と、共有画面６６とを有するよう構成されている。本実施形態に係るシステム起動時には、最初に初期画面６１が表示される。また、図１１に示す各画面への遷移は、図１１に示すように予め所定の画面に遷移する遷移ボタンを設定し、その遷移ボタンを選択することで、それぞれの画面がディスプレイ等の出力手段２２に出力される。なお、本発明における画面生成される画面例はこれに限定されず、また以下に示す画面レイアウトや表示内容についてもこれに限定されるものではない。

初期画面６１からの検索方法には、例えば、来店者検索、不審者検索、キーワード検索と、条件指定検索（人物特徴検索）と、リアルタイム捜索との５種類がある。

例えば、上述した監視カメラ１１が設置された対象設備内（例えば商店に来店した人物を確認する場合には、来店者検索の「来店者検索ボタン」を押下することで日時指定画面６２へと遷移する。また、初期画面６１において、不審者を検索する場合には、不審者検索ボタンを押下することで日時指定画面６２へと遷移する。

また、初期画面６１において、キーワード検索を行う場合には、キーワード検索のエディットボックス内に検索対象のキーワードを入力し、「キーワード検索」ボタンを押下することで、予め設定された日時や場所情報等と、エディットボックス内に入力された検索用の文字をキーワード（検索要求の変換処理）として検索手段３０により検索がなされると同時に、画面が検索結果表示画面６４へと遷移して、その検索結果が表示される。

また、初期画面６１において、人物の特徴から検索する場合には、「人物特徴から検索」ボタンを押下することで、特徴・行動条件指定画面６３へと遷移する。

更に、初期画面において、監視ロボットによる迷子等のリアルタイム捜索を行う場合には、「リアルタイム捜索ボタン」を押下することで、特徴・行動条件指定画面６３へと遷移する。

また、日時指定画面６２では、日時条件や検索場所条件を指定する。これにより、例えば、監視ロボット等の移動型の撮像手段により得られる映像を対象とした場合にも、その映像と共に得られる監視ロボットの巡回位置情報等に基づいて、対象とする場所により得られる映像のみを対象として効率よく検索することができる。なお、この場所指定は、例えば、固定型の撮像手段からの映像を対象とする場合にも、検索対象の映像を限定することができるため有効である。

次に、指定された日時条件や場所条件を、検索処理に渡し、検索処理が終了したら検索結果を呼び出して検索結果表示画面６４へ遷移する。なお、指定される場所としては、例えば地名や郵便番号、商店や商業施設等の名称、フロアの階数等でもよく、更に、その映像を撮影した監視ロボットから半径１００ｍ以内等の地域範囲として指定することもできる。

特徴・行動条件指定画面６３は、「人物特徴から検索」又は「リアルタイム捜索」が選択された場合に検索条件を指定する。全ての条件について、格納関数を呼び出す。また、検索ボタンが押されると、検索処理関数を呼び出し、検索結果表示画面６４へ遷移する。

また、特徴・行動条件指定画面６３には、日付指定、場所指定、身長指定、色情報指定、性別指定、マスク指定、サングラス指定、年代指定、登場人物指定、似ている芸能人指定等の各指定領域と、検索実行ボタン群及びハイパーリンク表示領域を有している。

なお、上述した場所指定では、対象の人物を検索する場所の設定を行う。具体的には、映像が撮影された監視カメラ１１の位置情報に基づいて検索対象の場所情報を指定する。また、位置情報は、監視カメラ１１のように固定型であれば、映像データに含まれるその撮像手段の識別情報により容易に取得することができ、更に監視ロボット等の移動型である場合には、映像データに含まれるその監視ロボットの巡回位置情報を利用することができる。

また、登場人物指定では、予め蓄積されている登録人物情報にしたがって、リスト中から登録人物名を設定する。また、似ている芸能人指定では、予め蓄積されている芸能人情報にしたがって、リスト中から芸能人名を設定する。

検索実行ボタン群では、「この条件に合う人物を検索ボタン」と「クリアボタン」とを有し、「この条件に合う人物を検索ボタン」を押下した場合、初期画面６１で指示された「人物特徴から検索」又は「リアルタイム捜索」に対応する全ての条件に関しての格納関数を順次呼び出す。また、最後に検索関数を呼び出して検索処理を実行し、処理が終了後、検索結果表示画面６４へ遷移する。なお、条件に合わない入力があった場合には、例えば「もう一度入力してください」というメッセージが通知される。また、検索実行ボタン群の「クリアボタン」が押下された場合には、特徴・行動条件指定画面６３上の各種条件の設定がクリア（初期化）される。また、ハイパーリンク表示領域６８では、文字が表示された部分を選択することで、最初の画面（初期画面６１）に遷移する。

本実施形態では、上述した初期画面６１、日時指定画面６２、特徴・行動条件指定画面６３において、各種検索条件を指定し、検索結果表示画面６４にて検索結果を表示する。また、所定の検索結果出力関数を呼び出し、各種情報を表示する。

検索結果表示画面６４は、各種検索領域、検索結果数表示領域、該当人物出現時の画像表示領域、該当人物の顔画像、検索結果表示領域等を有し、その他にも映像確認ボタンやページ選択アイコン、及びハイパーリンク表示領域を有している。

各種検索領域では、初期画面６１等で選択したイベントに従い、そのイベントに対応する各種ボタンを押下することで、検索処理と画面遷移を行う。なお、各種検索領域には、「一時停止ボタン」が設けられているが、このボタンは、例えば、リアルタイム捜索等におけるリアルタイムな検索結果の出力を更新せずに一時的に停止するためのものである。具体的には、例えば、リアルタイム捜索の場合には、検索結果表示領域に迷子等の捜索の対象となる人物との類似性が高いものから随時表示されたり、ある一定以上の類似性を有する結果が随時表示されるため、表示内容が更新され、これにより画面の表示されている内容を見逃す恐れがある。そのため、検索結果の更新表示を一時停止することにより、検索結果を正確に確認することができる。

また、検索結果数表示領域では、検索した結果数と、現在表示中の件数を表示する（例えば、「検索結果６２件中１−５件目」等）。また、該当人物出現時の画像表示領域では、該当人物出現時のサムネイル用人体画像を表示する。また、該当人物の顔画像では、該当人物のサムネイル用顔画像を表示する。なお、該当人物出現時の画像表示領域及び該当人物の顔画像において、表示対象画像ない場合は表示しない（「ＮＯ ＩＭＡＧＥ」表示等）。

また、検索結果表示領域は、検索の結果、該当する人物の情報（見た目の特徴・行動）、又は監視ロボットによる検知等に対応するアイコンを表示する。

また、上述のアイコンは、上述の各条件に対応して予め設定されており、更に「赤」、「黒」、「グレー」等の予め設定された色で分けて表示することができる。ここで、「赤」で表示されている場合は、検索条件に含まれていたものを示し、「黒」で検索条件には含まれていないが、上記条件に該当する映像であるものと示し、「グレー」は検索条件及び映像の解析結果で該当しなかったものを示している。なお、色の種類については本発明においては特に制限はなく、他の色でもよく、また点滅や斜線等により区別して強調表示させることもできる。また、アイコン表示領域には、アイコンではなく文字そのものを表示することもでき、この場合には、例えば文字のフォントの種類や大きさ、太さ、下線等の形式を変更したり、点滅させたり、色を変える等により区別させることができる。

また、映像確認ボタンでは、ボタンをクリックすると映像再生処理を呼び出し、映像再生画面６５へ遷移する。また、ページ選択アイコンでは、検索結果が複数ページに及ぶ場合に、それぞれのページにジャンプする。また、ハイパーリンク表示領域７６では、文字が表示された部分を選択することで、最初の画面（初期画面６１）に遷移する。上述した画面により、検索者に対して抽出された検索結果がどの条件に該当しているかを容易に把握させることができる。

つまり、検索結果表示画面６４において、人物の特徴や行動といった情報や、撮像手段２６と連携した機器等をアイコンによって表示することにより、容易に要求する人物の確認ができる。

映像再生画面６５は、映像表示領域、テキスト表示領域、特徴表示領域、及びボタン領域を有している。映像表示領域では、入力されたファイルパス、再生開始時間、再生終了時間を映像再生処理の引数として、映像を再生・表示する。また、映像表示領域には、スライダ、再生ボタン、停止ボタン等があり、映像を見たい場所から見たり、映像の再生、停止を容易に行うことができる。また、映像表示領域で表示されるデータは、ＡＶＩファイルの他、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４、ＷＭＶ、ＭＰ４等のファイル形式のデータを表示することができ、またＪＰＥＧ、ＧＩＦ、ＴＩＦＦ、ＢＭＰ等の画像データも表示させることができる。

また、テキスト表示領域には、映像再生の時間がテキスト内の時間になった際に、映像に対応する行動の文章を赤文字や太字等の強調文字により表示することができる。また、過去の情報はそのまま表示し、新たな情報が表示された場合、過去の情報は黒文字へ変化させる。これにより、現在の行動と今までの行動履歴を容易に把握することができる。

また、特徴表示領域には、表示されている映像に含まれる人物の特徴情報が表示される。なお、複数人が撮影されている場合には、それぞれの特徴情報が表示される。

また、ボタン領域では、「共有ボタン」と「類似検索ボタン」とが設けられている。「共有ボタン」を押下すると共有画面６６に遷移する。なお、この場合、映像表示領域における映像再生は、装置の負荷を軽減するために停止する。また、「類似検索ボタン」を押下すると、表示された人物の特徴等に基づいて他の映像からの類似検索を行い、他のカメラで撮影されていないかをチェックし、その結果を上述した検索結果表示画面６４に遷移した後に出力する。

つまり、映像再生画面６５では、検索結果表示画面６４より渡されたテキスト内に、映像中の人物の行動と、時間が記述されているため、映像表示領域にて映像が表示中に、映像の時間が、テキストに対応する時間になった時に、テキスト表示領域により該当テキストを赤く表示する（強調表示）。その後、新たな情報がある場合、過去の情報は黒文字で表示する。

また、上述した映像再生画面６５において、ボタン領域の「共有ボタン」を押下した際に、共有画面６６にて人物情報を表示する。ここで、共有画面６６は、画像表示領域、テキスト表示領域、及びコメント入力領域を有している。画像表示領域では、該当人物出現時の画像、及び該当人物の顔画像が表示される。また、テキスト表示領域では、赤文字等の強調文字で不審情報を表示し、その他に時刻情報（日付、入店時間、退店時間等）、特徴（身長、性別、年別等）が表示される。コメント入力領域では、入力手段２１により、コメントが入力される。なお、コメント入力領域はデフォルト表示として「コメントを入力してください。」と表示し、入力手段２１により検索者等により文字の入力を受け付けることができる。これにより、検索者が独自の観点で人物情報を設定し管理することができる。

更に、共有画面６６に表示される各種の内容をプリンタに出力したり、ファイルを生成して所定の携帯電話にメール送信する印刷・出力機能を有する。これにより、映像表示画面において、人物についての情報を、文字と映像の両方から確認でき、更に印刷物の形態等により外部機器に出力可能とすることで、容易に要求する人物の確認と、情報伝達（共有）ができる。

＜ロボット経路設定画面＞
次に、上述した本実施形態におけるロボット経路設定の画面例について説明する。図１２は、本実施形態におけるロボット経路設定の画面例を示す図である。図１２に示すロボット経路設定画面７１は、経路地図表示領域７２と、ロボット別経路候補選択領域７３と、巡回経路情報表示領域７４と、経路編集領域７５とを有するよう構成されている。

経路地図表示領域７２では、選択された巡回経路を表示する。なお、経路地図表示領域７２は、予め設定される各ポイントや監視カメラ１１又は各センサ群１２が設置されている場所等も表示させることができる。

更に、経路地図表示領域７２は、監視ロボットが撮影した監視映像や、監視映像都共に送信された巡回位置情報（３次元座標、緯度、経度等）を表示させることもできる。

また、ロボット別経路候補選択領域７３は、ロボット毎に算出された経路候補のリストが表示される。これにより、ユーザは、容易に監視ロボット毎に経路候補を把握することができる。また、巡回経路情報表示領域７４は、選択された経路の通過座標のリストを表示する。更に、経路編集領域７５は、選択した経路の編集、地点毎のロボット動作の編集等を行う。

図１２の例では、監視装置１３側にて複数の監視ロボット１４−１〜１４−ｎの経路算出を行うことができる。図１２の例では、ロボット別巡回経路算出時点の画面例を示している。

つまり、ロボット経路設定画面７１上には、監視ロボット毎の経路候補、及び、地点毎の監視ロボット動作が表示され、ユーザによって、編集が可能となっている。ユーザによる選択、編集がなされない場合、最上位の経路候補が選択される。

＜実行プログラム＞
ここで、上述した自律移動体を用いた監視システム（監視装置１３、監視ロボット１４等）は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性の記憶媒体、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記憶媒体、タッチパネルやマウスやキーボード、ポインティングデバイス等の入力装置、画像やデータを表示する表示装置、並びに外部と通信するためのインタフェース装置を備えたコンピュータを組み込むことによって構成することができる。

したがって、監視装置１３や監視ロボット１４が有する上述した各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。

つまり、上述した各構成における処理をコンピュータに実行させるための実行プログラム（監視プログラム））を生成し、例えば汎用のパーソナルコンピュータやサーバ等にそのプログラムをインストールすることにより、監視処理を実現することができる。なお、本発明における実行プログラムによる処理については、例えば上述した各処理を実現することができる。

上述したように、本発明によれば、特徴検索機能を用いて適切な移動経路による巡回を行うための自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラムを提供することができる。

また、人物検索については、予め蓄積された映像に対して人物検索する場合や、リアルタイムで得られた映像に対して人物検索する場合があり、また、その映像を撮影する撮像手段としては、予め設定された壁や天井等に設置される固定型のものや、監視ロボット等に搭載された移動型のものがあるが、本発明によれば、その何れにも対応した適切な人物検索を実現することができる。

また、本発明によれば、例えば上述した検索スコアリング手法により、蓄積映像又はリアルタイム映像に映っている人物を、様々な人物の特徴や行動の組み合わせで検索することができる。また、どの組み合わせにおいても、検索要求との一致度が高い順番に検索結果が出力される。これにより、検索結果を効果的に出力し、映像確認の作業を大幅に軽減することができる。更に、本発明によれば、各映像間における人物の類似検索を行い、その結果を表示させることができる。

つまり、監視ロボットがランダムに巡回経路を設定するよりも、特徴検索のスコアと連携し、そのスコアを有効に活用することにより、監視ロボットの効率的な運用が可能になる。監視システムにかかる人の負担を軽減しながら、監視ロボットによって犯罪の未然防止を実現することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 移動管理システム
１１ 監視カメラ
１２ 各センサ群
１３ 監視装置
１３ 監視ロボット
１５ 通信ネットワーク
２１，４１ 入力手段
２２，４２ 出力手段
２３，４３ 蓄積手段
２４ 顔・人体領域検出手段
２５ 同定手段
２６ 追跡手段
２７ 不審者検出手段
２８ 人物情報統合手段
２９ フレーム情報生成手段
３０ 検索手段
３１ 重要監視地点選出手段
３２ 巡回指示手段
３３ 画面生成手段
３４，４９ 通知手段
３５，５０ 送受信手段
３６，５１ 制御手段
４４ 移動手段
４５ 巡回経路設定手段
４６ 撮像手段
４７ 追跡・誘導手段
４８ 移動体間連携手段
６１ 初期画面
６２ 日時指定画面
６３ 特徴・行動条件指定画面
６４ 検索結果表示画面
６５ 映像再生画面
６６ 共有画面
７１ ロボット経路設定画面
７２ 経路地図表示領域
７３ ロボット別経路候補選択領域
７４ 巡回経路情報表示領域
７５ 経路編集領域

Claims (11)

1. 監視区域を所定の経路で巡回する少なくとも１つの自律移動体と、該自律移動体を用いて前記監視区域を監視する監視装置とからなる監視システムにおいて、
   前記監視装置は、
   前記監視区域に設置された少なくとも１つの撮像手段により撮影された画像を用いて、特定人物を抽出する特定人物抽出手段と、
   前記特定人物抽出手段により得られた画像を撮影した撮像手段の位置情報から重要監視地点を選出する重要監視地点選出手段と、
   前記重要監視地点選出手段により得られる地点に対応させた巡回要求情報を生成し、生成した巡回要求情報を前記自律移動体に指示する巡回指示手段とを有し、
   前記自律移動体は、
   前記監視装置から得られる巡回要求情報と、予め設定された巡回経路とを用いて、巡回経路を設定する巡回経路設定手段を有し、
   前記重要監視地点選出手段は、前記監視区域に予め設定された複数の場所毎に、前記特定人物抽出手段による特定人物の抽出スコア、前記重要監視地点を選出した回数、選出した時間、及び、所定時間内における選出頻度のうち、少なくとも１つを用いて場所別スコアを算出し、算出結果から前記重要監視地点毎の優先度を出力することを特徴とする監視システム。
2. 前記巡回要求情報は、
   前記重要監視地点と、前記重要監視地点毎の優先度とを含むことを特徴とする請求項１に記載の監視システム。
3. 前記巡回経路設定手段は、
   前記自律移動体が巡回中である場合、現時点の位置情報を取得し、取得した位置情報、前記重要監視地点との距離、前記重要監視地点毎の優先度、及び、前記予め設定された巡回経路のうちの現時点より先の経路情報に基づいて、前記巡回経路を設定することを特徴とする請求項１又は２に記載の監視システム。
4. 監視区域を所定の経路で巡回する少なくとも１つの自律移動体を用いて前記監視区域を監視する監視装置において、
   前記監視区域に設置された少なくとも１つの撮像手段により撮影された画像を用いて、特定人物を抽出する特定人物抽出手段と、
   前記特定人物抽出手段により得られた画像を撮影した撮像手段の位置情報から重要監視地点を選出する重要監視地点選出手段と、
   前記重要監視地点選出手段により得られる地点に対応させた巡回要求情報を生成し、生成した巡回要求情報を前記自律移動体に指示する巡回指示手段とを有し、
   前記重要監視地点選出手段は、前記監視区域に予め設定された複数の場所毎に、前記特定人物抽出手段による特定人物の抽出スコア、前記重要監視地点を選出した回数、選出した時間、及び、所定時間内における選出頻度のうち、少なくとも１つを用いて場所別スコアを算出し、算出結果から前記重要監視地点毎の優先度を出力することを特徴とする監視装置。
5. 前記巡回要求情報は、
   前記重要監視地点と、前記重要監視地点毎の優先度とを含むことを特徴とする請求項４に記載の監視装置。
6. 請求項４又は５に記載された監視装置からの指示により監視区域を所定の経路で巡回する自律移動体において、
   前記監視装置から得られる巡回要求情報と、予め設定された巡回経路とを用いて、巡回経路を設定する巡回経路設定手段と、
   前記巡回経路設定手段により得られる巡回経路に基づいて移動する移動手段と、
   前記巡回経路を移動中の周囲の映像を撮影する撮像手段とを有し、
   前記巡回経路設定手段は、前記自律移動体が巡回中である場合、現時点の位置情報を取得し、取得した位置情報、前記重要監視地点との距離、前記重要監視地点毎の優先度、及び、前記予め設定された巡回経路のうちの現時点より先の経路情報に基づいて、前記巡回経路を設定することを特徴とする自律移動体。
7. 監視区域を所定の経路で巡回する少なくとも１つの自律移動体と、該自律移動体を用いて前記監視区域を監視する監視装置とからなる監視システムにおける監視方法において、
   前記監視装置により、前記監視区域に設置された少なくとも１つの撮像手段により撮影された画像を用いて、特定人物を抽出する特定人物抽出ステップと、
   前記特定人物抽出ステップにより得られた画像を撮影した撮像手段の位置情報から重要監視地点を選出する重要監視地点選出ステップと、
   前記重要監視地点選出ステップにより得られる地点に対応させた巡回要求情報を生成し、生成した巡回要求情報を前記自律移動体に指示する巡回指示ステップと、
   前記自律移動体により、前記監視装置から得られる巡回要求情報と、予め設定された巡回経路とを用いて、巡回経路を設定する巡回経路設定ステップを有し、
   前記重要監視地点選出ステップは、前記監視区域に予め設定された複数の場所毎に、前記特定人物抽出ステップによる特定人物の抽出スコア、前記重要監視地点を選出した回数、選出した時間、及び、所定時間内における選出頻度のうち、少なくとも１つを用いて場所別スコアを算出し、算出結果から前記重要監視地点毎の優先度を出力することを特徴とする監視方法。
8. 前記巡回要求情報は、
   前記重要監視地点と、前記重要監視地点毎の優先度とを含むことを特徴とする請求項７に記載の監視方法。
9. 前記巡回経路設定ステップは、
   前記自律移動体が巡回中である場合、現時点の位置情報を取得し、取得した位置情報、前記重要監視地点との距離、前記重要監視地点毎の優先度、及び、前記予め設定された巡回経路のうちの現時点より先の経路情報に基づいて、前記巡回経路を設定することを特徴とする請求項７又は８に記載の監視方法。
10. コンピュータを、請求項４又は５に記載の監視装置として機能させるための監視プログラム。
11. コンピュータを、請求項６に記載の自律移動体として機能させるための監視プログラム。
    

Images