JP2011128911A - Target detection system, target detection method, target detecting apparatus and mobile information acquisition device - Google Patents

Target detection system, target detection method, target detecting apparatus and mobile information acquisition device Download PDF

Info

Publication number
JP2011128911A
JP2011128911A JP2009286972A JP2009286972A JP2011128911A JP 2011128911 A JP2011128911 A JP 2011128911A JP 2009286972 A JP2009286972 A JP 2009286972A JP 2009286972 A JP2009286972 A JP 2009286972A JP 2011128911 A JP2011128911 A JP 2011128911A
Authority
JP
Japan
Prior art keywords
information
subject
information acquisition
target person
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009286972A
Other languages
Japanese (ja)
Other versions
JP5674307B2 (en
Inventor
Hiroshi Kameyama
博史 亀山
Yojiro Kamise
陽二郎 神瀬
Hiroyuki Onishi
弘之 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glory Ltd
Original Assignee
Glory Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Glory Ltd filed Critical Glory Ltd
Priority to JP2009286972A priority Critical patent/JP5674307B2/en
Publication of JP2011128911A publication Critical patent/JP2011128911A/en
Application granted granted Critical
Publication of JP5674307B2 publication Critical patent/JP5674307B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To detect the location and behavior of a target not only when the target is located in a detection range of a fixed camera but also when the target is located outside the detection range of the fixed camera. <P>SOLUTION: A management device uses a fixed camera A to detect appearance information of the target, and refines the target on the basis of the detected appearance information. The management device also uses detection results of appearance information by the fixed camera A and a fixed camera B to detect an abnormal condition of the target. Then, the management device, upon detecting the abnormal condition of the target, moves a mobile robot to non-detection ranges of the fixed camera A and the fixed camera B, and identifies the target on the basis of face information detected by using the mobile robot. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

この発明は、所定エリア内に所在する対象者を検出する対象者検出システム、対象者検出方法、対象者検出装置および移動式情報取得装置に関する。   The present invention relates to a target person detection system, a target person detection method, a target person detection apparatus, and a mobile information acquisition apparatus that detect a target person located in a predetermined area.

従来、福祉施設やオフィスといった施設内における対象者の所在を管理する方法が各種提案されている。   Conventionally, various methods for managing the location of a target person in facilities such as welfare facilities and offices have been proposed.

たとえば、特許文献1には、対象者に対してICタグを身に付けさせておき、施設内に設置された読取装置によってICタグの識別情報が読み取られた場合に、この読取装置の周辺に設置された監視カメラの映像を管理装置のディスプレイに表示する所在管理システムが開示されている。   For example, in Patent Document 1, when an IC tag is worn by a target person and the identification information of the IC tag is read by a reading device installed in a facility, A location management system that displays an image of an installed surveillance camera on a display of a management device is disclosed.

また、特許文献2には、施設内の各部屋の出入口に顔認証装置を設置し、各部屋へ入室する対象者に対して顔認証装置を用いた認証手続きを行わせることによって、対象者の所在を管理する所在管理システムが開示されている。   Further, in Patent Document 2, a face authentication device is installed at the entrance of each room in the facility, and the subject person who enters the room is subjected to an authentication procedure using the face authentication device. A location management system for managing the location is disclosed.

特開2007−272852号公報JP 2007-272852 A 特開2007−80149号公報JP 2007-80149 A

しかしながら、ICタグの読取装置や監視カメラあるいは顔認証装置といった固定的に設置される情報取得装置(以下、固定式情報取得装置)を用いて対象者を検出する方法には、固定式情報取得装置の取得範囲外(たとえば、監視カメラの死角など)に所在する対象者を検出することができないという問題があった。   However, a method for detecting a target person using an information acquisition device (hereinafter referred to as a fixed information acquisition device) that is fixedly installed such as an IC tag reading device, a monitoring camera, or a face authentication device includes a fixed information acquisition device. There is a problem that it is impossible to detect a subject who is outside the acquisition range (for example, blind spot of a surveillance camera).

ここで、取得範囲外の場所を減らしたい場合には、施設内に多数の固定式情報取得装置を設置することが考えられる。しかし、固定式情報取得装置の増設には多大な費用が必要であり、たとえ増設したとしても、壁や天井等に固定して使用するという固定式情報取得装置の性質上、施設内の全てをカバーするには限界があるため、現実的とは言えない。   Here, when it is desired to reduce the places outside the acquisition range, it is conceivable to install a large number of fixed information acquisition devices in the facility. However, adding a fixed information acquisition device requires a large amount of money. Even if it is added, the fixed information acquisition device that is fixed to a wall or ceiling is used. Because there is a limit to the cover, it is not realistic.

また、監視カメラを増設することとすると、監視カメラの映像を監視する監視者の負担が増大する結果、対象者が陥っている重大な危機を見逃してしまうおそれもある。   Further, if the number of surveillance cameras is increased, the burden on the supervisor who monitors the video of the surveillance camera increases, and as a result, there is a possibility that a serious crisis that the target person has fallen over may be missed.

これらのことから、対象者が固定式情報取得装置の取得範囲内に所在する場合のみならず、対象者が固定式情報取得装置の取得範囲外に所在する場合を含めて対象者の所在や行動を検出することができる対象者検出システムあるいは対象者検出方法をいかにして実現するかが大きな課題となっている。   Therefore, not only when the subject is within the acquisition range of the fixed information acquisition device, but also when the subject is located outside the acquisition range of the fixed information acquisition device. How to realize a target person detection system or a target person detection method that can detect the problem is a big problem.

なお、たとえば固定式情報取得装置が顔認証装置である場合、顔認証装置に対象者が映っていても、横向きやうしろ向きなど顔が映らない状態で映っていないならば、この対象者は顔認証装置の取得範囲外(検出範囲外)に所在すると言える。すなわち、「対象者が固定式情報取得装置の取得範囲外に所在する場合」とは、情報取得装置によって対象者を検出できない状態にある場合を示している。これは、ICタグの読取装置や指紋認証装置といった他の生体認証装置についても同様である。   For example, when the fixed information acquisition device is a face authentication device, even if the target person is shown on the face authentication device, if the target person is not shown in a state where no face is shown such as sideways or behind, the target person It can be said that it is located outside the acquisition range (outside the detection range) of the authentication device. That is, “when the subject is located outside the acquisition range of the fixed information acquisition device” indicates a case where the information acquisition device cannot detect the subject. The same applies to other biometric authentication devices such as IC tag reading devices and fingerprint authentication devices.

本発明は、上述した従来技術による問題点を解消するためになされたものであって、対象者が固定式情報取得装置の取得範囲内に所在する場合のみならず、対象者が固定式情報取得装置の取得範囲外に所在する場合を含めて対象者の所在や行動を検出することができる対象者検出システム、対象者検出方法、対象者検出装置および移動式情報取得装置を提供することを目的とする。   The present invention has been made to solve the above-described problems caused by the prior art, and not only when the target person is located within the acquisition range of the fixed information acquisition apparatus but also when the target person acquires the fixed information. An object of the present invention is to provide a target person detection system, a target person detection method, a target person detection apparatus, and a mobile information acquisition apparatus capable of detecting the location and behavior of a target person including a case where the target person is located outside the acquisition range of the apparatus. And

上述した課題を解決し、目的を達成するため、本発明は、対象者を特定する情報を登録情報として記憶する記憶部と、対象者に関する情報を取得する移動可能な移動式情報取得装置と、固定的に設置され、対象者に関する情報を取得する固定式情報取得装置と、前記固定式情報取得装置によって取得された情報を前記登録情報と照合することによって前記対象者を検出する照合部と、前記照合部による前記対象者の検出結果に基づき、当該対象者の異常を検知する異常検知部とを備えたことを特徴とする。このため、本発明によれば、対象者が固定式情報取得装置の取得範囲内に所在する場合のみならず、対象者が固定式情報取得装置の取得範囲外に所在する場合を含めて対象者の所在や行動を検出することができるという効果を奏する。   In order to solve the above-described problems and achieve the object, the present invention includes a storage unit that stores information for specifying a subject as registration information, a movable mobile information acquisition device that acquires information about the subject, A fixed information acquisition device that is fixedly installed and acquires information about the subject, and a collation unit that detects the subject by collating information acquired by the fixed information acquisition device with the registration information; And an abnormality detection unit that detects an abnormality of the subject based on the detection result of the subject by the collation unit. For this reason, according to the present invention, not only when the subject is located within the acquisition range of the fixed information acquisition device, but also when the subject is located outside the acquisition range of the fixed information acquisition device. There is an effect that it is possible to detect the whereabouts and behavior.

また、本発明は、上記の発明において、前記異常検知部によって前記対象者の異常が検知された場合に、前記固定式情報取得装置の非取得範囲へ前記移動式情報取得装置を移動させる指示を行う移動指示部をさらに備えたことを特徴とする。このため、本発明によれば、対象者の異常が検知された場合に、固定式情報取得装置の非取得範囲に所在する対象者の情報を取得することができる。   Further, the present invention provides an instruction to move the mobile information acquisition device to a non-acquisition range of the fixed information acquisition device when the abnormality detection unit detects an abnormality of the subject in the above invention. It is further characterized by further including a movement instruction unit for performing the operation. For this reason, according to this invention, when abnormality of a subject person is detected, the information of the subject person who exists in the non-acquisition range of a fixed information acquisition device is acquirable.

また、本発明は、上記の発明において、前記固定式情報取得装置は、所定の経路に沿って設置された第一の固定式情報取得装置および第二の固定式情報取得装置を含み、前記異常検知部は、前記第一の固定式情報取得装置によって前記対象者が検出されてから前記第二の固定式情報取得装置によって当該対象者が検出されるまでの経過時間に基づいて当該対象者の異常を検知し、前記移動指示部は、前記異常検知部によって前記対象者の異常が検知された場合に、前記第一の固定式情報取得装置および前記第二の固定式情報取得装置間の非取得範囲のうち、前記経過時間に基づいて決定される範囲へ前記移動式情報取得装置を移動させる指示を行うことを特徴とする。このため、本発明によれば、たとえば、気絶等の異常が発生したと思われる対象者の元へ移動式情報取得装置を向かわせることができる。   Further, the present invention is the above invention, wherein the fixed information acquisition device includes a first fixed information acquisition device and a second fixed information acquisition device installed along a predetermined path, and the abnormality The detection unit is configured to detect the target person based on an elapsed time from when the target person is detected by the first fixed information acquisition apparatus to when the target person is detected by the second fixed information acquisition apparatus. When the abnormality is detected by the abnormality detection unit, the movement instructing unit detects a non-operation between the first fixed information acquisition device and the second fixed information acquisition device. The mobile information acquisition apparatus is instructed to move to a range determined based on the elapsed time in the acquisition range. For this reason, according to the present invention, for example, the mobile information acquisition device can be directed to the subject who seems to have experienced an abnormality such as fainting.

また、本発明は、上記の発明において、前記照合部は、前記移動指示部によって前記移動式情報取得装置の移動が指示されていない場合に、前記固定式情報取得装置または前記移動式情報取得装置によって取得された情報に基づいて前記対象者を検出することを特徴とする。このため、本発明によれば、移動式情報取得装置が固定式情報取得装置としての役割も果たす結果、固定的に設置される撮像部の設置数を抑えることができる。   Further, in the present invention according to the above-described invention, the collation unit may be the fixed information acquisition device or the mobile information acquisition device when the movement instruction unit is not instructed to move the mobile information acquisition device. The target person is detected based on the information acquired by the above. Therefore, according to the present invention, as a result of the mobile information acquisition device also serving as a fixed information acquisition device, the number of imaging units that are fixedly installed can be reduced.

また、本発明は、上記の発明において、前記移動式情報取得装置は、前記対象者に関する情報を取得する情報取得部を備えるとともに、前記移動指示部による指示がない場合に、所定の経路を巡回して前記対象者に関する情報を取得し、前記移動指示部は、前記固定式情報取得装置の検出結果および/または前記移動式情報取得装置によって取得された前記対象者に関する情報に基づき、前記固定式情報取得装置の非取得範囲へ前記移動式情報取得装置を移動させる指示を行うことを特徴とする。このため、本発明によれば、移動式情報取得装置が所定の経路を巡回することによって、固定的に設置される撮像部の設置数をより一層抑えることができる。   Further, the present invention is the above invention, wherein the mobile information acquisition device includes an information acquisition unit that acquires information about the target person, and travels a predetermined route when there is no instruction from the movement instruction unit. Then, the information on the subject is acquired, and the movement instruction unit is based on the detection result of the fixed information acquisition device and / or the information on the subject acquired by the mobile information acquisition device. The mobile information acquisition device is instructed to move to a non-acquisition range of the information acquisition device. For this reason, according to the present invention, the mobile information acquisition device circulates a predetermined route, whereby the number of imaging units that are fixedly installed can be further reduced.

また、本発明は、上記の発明において、前記固定式情報取得装置または前記移動式情報取得装置は、前記対象者に関する情報として前記対象者の画像を取得する撮像部を備え、前記記憶部は、前記登録情報として対象者の外観情報を記憶し、前記照合部は、前記撮像部によって取得された前記対象者の画像を前記記憶部に記憶された外観情報と照合することによって、当該画像との一致度の高い外観情報と関連付けられた対象者を検出対象として絞り込むことを特徴とする。このため、本発明によれば、対象者が撮像部から離れた位置にいる場合や対象者の顔が隠れている場合であっても、かかる対象者が誰であるかを絞り込むことができる。   Further, the present invention is the above invention, wherein the fixed information acquisition device or the mobile information acquisition device includes an imaging unit that acquires an image of the subject as information about the subject, and the storage unit includes: The appearance information of the subject person is stored as the registration information, and the collation unit collates the image of the subject person acquired by the imaging unit with the appearance information stored in the storage unit. A target person associated with appearance information having a high degree of coincidence is narrowed down as a detection target. For this reason, according to the present invention, it is possible to narrow down who the target person is even when the target person is at a position away from the imaging unit or when the face of the target person is hidden.

また、本発明は、上記の発明において、前記記憶部は、前記登録情報として前記対象者の顔情報をさらに記憶し、前記移動式情報取得装置は、前記対象者に関する情報として前記対象者の画像を取得する撮像部を備え、前記照合部は、前記撮像部によって撮像された画像を前記検出対象として絞り込んだ対象者の顔情報と照合することによって当該対象者を特定する。このため、本発明によれば、絞込手段によって絞り込まれた対象者が誰であるかをより確実に特定することができる。   Further, the present invention is the above invention, wherein the storage unit further stores face information of the subject as the registration information, and the mobile information acquisition device includes the image of the subject as information about the subject. The collation unit identifies the target person by collating the face image of the target person narrowed down as the detection target with the image captured by the imaging unit. For this reason, according to the present invention, it is possible to more reliably identify the target person narrowed down by the narrowing-down means.

また、本発明は、上記の発明において、前記移動式情報取得装置は、携帯端末装置であり、前記異常検知部によって前記対象者の異常が検知された場合に、前記異常の検出態様に基づき、前記固定式情報取得装置によって取得された情報および前記異常が検知された旨を前記携帯端末装置へ通知する通知部をさらに備えたことを特徴とする。したがって、本発明によれば、移動式情報取得装置が自走式の移動ロボットであるような場合と比較して、システム導入に要するコストを抑えることができる。   Further, the present invention is the above invention, wherein the mobile information acquisition device is a mobile terminal device, and when the abnormality of the subject is detected by the abnormality detection unit, based on the detection mode of the abnormality, The information processing apparatus further includes a notification unit that notifies the mobile terminal device that the information acquired by the fixed information acquisition device and the abnormality are detected. Therefore, according to the present invention, compared with the case where the mobile information acquisition device is a self-propelled mobile robot, the cost required for system introduction can be suppressed.

本発明によれば、対象者が固定式情報取得装置の取得範囲内に所在する場合のみならず、対象者が固定式情報取得装置の取得範囲外に所在する場合を含めて対象者の所在や行動を検出することができるという効果を奏する。   According to the present invention, not only when the subject is located within the acquisition range of the fixed information acquisition device, but also when the subject is located outside the acquisition range of the fixed information acquisition device, There is an effect that an action can be detected.

図1は、本発明に係る対象者検出手法の概要を示す図である。FIG. 1 is a diagram showing an outline of a subject detection method according to the present invention. 図2は、本実施例に係る管理装置が接続されるネットワーク環境を示す図である。FIG. 2 is a diagram illustrating a network environment to which the management apparatus according to the present embodiment is connected. 図3は、本実施例に係る管理装置および移動ロボットの構成を示すブロック図である。FIG. 3 is a block diagram illustrating the configuration of the management device and the mobile robot according to the present embodiment. 図4は、登録情報の一例を示す図である。FIG. 4 is a diagram illustrating an example of registration information. 図5は、異常検知部および移動指示部の動作例を説明するための図である。FIG. 5 is a diagram for explaining an operation example of the abnormality detection unit and the movement instruction unit. 図6は、アピアランス情報が登録されていない対象者を検出した場合における異常検知部および移動指示部の動作例を説明するための図である。FIG. 6 is a diagram for explaining an operation example of the abnormality detection unit and the movement instruction unit when a target person for which appearance information is not registered is detected. 図7は、移動ロボットの外観構成の一例を示す図である。FIG. 7 is a diagram illustrating an example of an external configuration of a mobile robot. 図8は、本実施例に係る管理装置および移動ロボットが実行する処理手順を示すシーケンス図である。FIG. 8 is a sequence diagram illustrating a processing procedure executed by the management apparatus and the mobile robot according to the present embodiment. 図9は、ディスプレイの表示例を示す図である。FIG. 9 is a diagram illustrating a display example of the display. 図10は、移動ロボットを固定カメラとして兼用する場合について説明するための図である。FIG. 10 is a diagram for explaining a case where the mobile robot is also used as a fixed camera. 図11は、本発明に係る対象者検出手法を屋外に適用した場合について説明するための図である。FIG. 11 is a diagram for explaining a case where the subject detection method according to the present invention is applied outdoors. 図12は、固定式のICタグリーダの読取範囲外を移動ロボットがカバーする場合について説明するための図である。FIG. 12 is a diagram for explaining a case where the mobile robot covers outside the reading range of the fixed IC tag reader.

以下に添付図面を参照して、本発明に係る対象者検出システムおよび対象者検出方法の実施例を詳細に説明する。   Embodiments of a subject detection system and subject detection method according to the present invention will be described below in detail with reference to the accompanying drawings.

まず、実施例の詳細な説明に先立って、本発明に係る対象者検出手法の概要について図1を用いて説明する。図1は、本発明に係る対象者検出手法の概要を示す図である。同図に示すように、本発明に係る対象者検出手法では、固定式情報取得装置を用いて検出したアピアランス情報に基づいて対象者の絞り込みを行い、移動式情報取得装置を用いて検出した顔情報に基づいて対象者を特定する点に特徴がある。また、本発明に係る対象者検出手法では、固定式情報取得装置の非取得範囲(死角)を移動式情報取得装置で補う点にも特徴がある。   First, prior to detailed description of the embodiment, an outline of the subject detection method according to the present invention will be described with reference to FIG. FIG. 1 is a diagram showing an outline of a subject detection method according to the present invention. As shown in the figure, in the target person detection method according to the present invention, the target person is narrowed down based on the appearance information detected using the fixed information acquisition apparatus, and the face detected using the mobile information acquisition apparatus It is characterized in that the target person is specified based on the information. The subject detection method according to the present invention is also characterized in that the non-acquisition range (dead angle) of the fixed information acquisition device is supplemented by the mobile information acquisition device.

なお、以下では、情報取得装置の一例として、対象者を撮像するカメラを用いて説明することとする。具体的には、固定式情報取得装置として、施設内の壁や天井といった場所に固定的に設置される固定カメラを用い、移動式情報取得装置として、カメラを搭載した移動ロボットを用いて説明する。   Hereinafter, as an example of the information acquisition apparatus, a description will be given using a camera that captures an image of a target person. Specifically, a fixed camera that is fixedly installed in a place such as a wall or a ceiling in a facility will be used as the fixed information acquisition device, and a mobile robot equipped with the camera will be used as the mobile information acquisition device. .

同図の(A)に示したように、固定カメラAや固定カメラBによって撮像された画像は、図示しない対象者検出装置(以下、「管理装置」と記載する)へと送られる。そして、管理装置は、固定カメラAによる撮像画像から対象者のアピアランス情報を検出し(同図の(A−1)参照)、検出したアピアランス情報によって対象者を絞り込む(同図の(A−2)参照)。   As shown to (A) of the figure, the image imaged with the fixed camera A and the fixed camera B is sent to the object detection apparatus (henceforth "management apparatus") which is not shown in figure. Then, the management apparatus detects the appearance information of the target person from the image captured by the fixed camera A (see (A-1) in the figure), and narrows down the target person based on the detected appearance information ((A-2 in the figure)). )reference).

ここで、アピアランス情報とは、対象者の風貌に関する情報(外観情報)である。具体的には、アピアランス情報は、対象者の服装や髪型等のシルエットあるいは服の色といった静的な情報および歩容(歩き方)などの動的な情報を特徴量として含んでいる。また、アピアランス情報は、対象者の横顔や正面顔等の顔情報も特徴量として含む場合もある。   Here, the appearance information is information (appearance information) regarding the appearance of the subject. Specifically, the appearance information includes static information such as a silhouette of the subject's clothes and hairstyle or clothes color and dynamic information such as a gait (how to walk) as a feature amount. In addition, the appearance information may include face information such as a profile of the subject or a front face as a feature amount.

つづいて、管理装置は、固定カメラAによって対象者が検出されてから所定時間が経過したにもかかわらず、対象者を次に検出すべき固定カメラBによって対象者が検出されない場合(同図の(A−3)参照)、対象者の異常を検知する(同図の(A−4)参照)。かかる異常としては、たとえば、固定カメラAおよび固定カメラB間の経路で倒れている場合や、対象者が固定カメラAおよび固定カメラB間の経路を徘徊している場合などが考えられる。   Subsequently, the management apparatus detects that the target person is not detected by the fixed camera B that should next detect the target person even though a predetermined time has passed since the target person was detected by the fixed camera A (see FIG. (See (A-3)), the abnormality of the subject is detected (see (A-4) in the figure). As such an abnormality, for example, a case where the subject falls down on the route between the fixed camera A and the fixed camera B, or a case where the subject is tricking the route between the fixed camera A and the fixed camera B can be considered.

このようにして対象者の異常を検知すると、管理装置は、予め登録された対象者のアピアランス情報および顔情報を移動ロボットに渡す。そして、管理装置は、固定カメラAおよび固定カメラB間の通路であり、かつ、固定カメラAおよび固定カメラBの非検出範囲(死角)を探索範囲として移動ロボットを移動させる(同図の(B−1)参照)。   When the abnormality of the subject person is detected in this way, the management device passes the appearance information and face information of the subject person registered in advance to the mobile robot. The management apparatus is a path between the fixed camera A and the fixed camera B, and moves the mobile robot using the non-detection range (dead angle) of the fixed camera A and the fixed camera B as a search range ((B -1)).

ここで、顔情報以外のアピアランス情報は、対象者が固定カメラから比較的離れた位置にいる場合であっても検出可能である反面、顔情報を用いた照合と比較して照合精度が低いという性質を持つ。そこで、移動ロボットは、管理装置から渡されたアピアランス情報に基づき探索範囲内にいる対象者を発見すると、対象者へ接近して顔情報を検出する(同図の(B−2)参照)。そして、移動ロボットは、検出した顔情報を管理装置から渡された顔情報と照合することによって、アピアランス情報によって絞り込まれた対象者が誰であるかを確実に特定する(同図の(B−3)参照)。   Here, appearance information other than face information can be detected even when the subject is located at a relatively distant position from the fixed camera. On the other hand, it is said that the matching accuracy is lower than that using face information. Has properties. Therefore, when the mobile robot finds a target person within the search range based on the appearance information passed from the management apparatus, the mobile robot approaches the target person and detects face information (see (B-2) in the figure). The mobile robot collates the detected face information with the face information passed from the management device, thereby reliably identifying the target person narrowed down by the appearance information ((B- 3)).

このように、本発明に係る対象者検出手法では、固定式情報取得装置による検出結果に基づき固定式情報取得装置の非取得範囲へ移動式情報取得装置を移動させることとしたため、対象者が固定カメラの検出範囲内に所在する場合のみならず、対象者が固定カメラの検出範囲外に所在する場合を含めて対象者の所在や行動を検出することができる。   As described above, in the subject detection method according to the present invention, the mobile information acquisition device is moved to the non-acquisition range of the fixed information acquisition device based on the detection result by the fixed information acquisition device. The location and behavior of the subject can be detected not only when the subject is located within the detection range of the camera but also when the subject is located outside the detection range of the fixed camera.

また、本発明に係る対象者検出手法では、固定カメラによって対象者のアピアランス情報を検出し、移動ロボットによって対象者の顔情報を検出することとしている。このため、本発明に係る対象者検出手法によれば、異常が発生した対象者をアピアランス情報で絞り込んだうえで、移動ロボットを用いた顔照合によって対象者を正確に特定することができる。   In the subject detection method according to the present invention, the appearance information of the subject is detected by a fixed camera, and the face information of the subject is detected by a mobile robot. For this reason, according to the subject detection method according to the present invention, it is possible to accurately identify the subject by face matching using the mobile robot after narrowing down the subject in which the abnormality has occurred with the appearance information.

なお、固定カメラとして高解像度のカメラを用いることとすれば、対象者が比較的離れた位置にいる場合であってもかかる対象者の顔情報を検出することもできるため、顔情報をアピアランス情報として用いることもできる。すなわち、アピアランス情報は、顔情報を含む場合もある。   If a high-resolution camera is used as the fixed camera, the target person's face information can be detected even when the target person is located at a relatively distant position. Can also be used. That is, the appearance information may include face information.

また、ここでは、本人を特定するための情報として顔情報を用いているが、これに限ったものではなく、たとえば、指紋や静脈あるいは虹彩といった生体情報を本人を特定するための情報として用いてもよい。   Further, here, face information is used as information for identifying the person, but the information is not limited to this. For example, biometric information such as fingerprints, veins, or irises is used as information for identifying the person. Also good.

ところで、アピアランス情報は、服装や服の色などを特徴量として含むことから、対象者の短期的な特徴に基づく情報であると言える。すなわち、対象者が着替えを行った場合には、予め登録されたアピアランス情報と、着替え後に検出されるアピアランス情報とが一致しなくなる結果、対象者を照合できなくなるという問題がある。そこで、本発明に係る対象者検出手法では、施設内の出入口やエレベータ内、あるいはエレベータ前のホールなどに登録用カメラを設置して、施設を出入りする毎あるいは階を移動する毎にアピアランス情報を登録し直すこととしている。   By the way, the appearance information includes clothes, clothes color, and the like as feature quantities, and thus can be said to be information based on short-term characteristics of the subject. That is, when the subject changes clothes, there is a problem that the appearance information registered in advance and the appearance information detected after changing clothes do not match, so that the subject cannot be collated. Therefore, in the subject detection method according to the present invention, a registration camera is installed in the entrance / exit of the facility, in the elevator, or in the hall in front of the elevator, etc., and the appearance information is obtained every time the facility enters / exits or the floor is moved. I am going to register again.

以下では、図1を用いて説明した対象者検出手法を適用した対象者検出システムについての実施例を詳細に説明する。なお、以下に示す実施例では、福祉施設内において高齢者等の要介護者の行動を管理する場合について説明する。   Below, the Example about the subject detection system to which the subject detection method demonstrated using FIG. 1 is applied is described in detail. In addition, the Example shown below demonstrates the case where behavior of care recipients, such as elderly people, are managed in welfare facilities.

図2は、本実施例に係る管理装置が接続されるネットワーク環境を示す図である。なお、同図の(A)には、管理装置を含む各装置の接続関係を示している。   FIG. 2 is a diagram illustrating a network environment to which the management apparatus according to the present embodiment is connected. Note that (A) in the figure shows the connection relationship of each device including the management device.

同図の(A)に示すように、本実施例に管理装置10は、LAN(Local Area Network)などのネットワーク経由で、固定式情報取得部である登録用カメラおよび固定カメラA〜Dと接続されている。また、管理装置10は、無線LANなどの無線ネットワーク経由で、移動ロボット20と接続されている。なお、同図の(A)では、4台の固定カメラを用いる場合を例示しているが、固定カメラ任意の台数としてよい。   As shown in FIG. 3A, in this embodiment, the management apparatus 10 is connected to a registration camera and fixed cameras A to D, which are fixed information acquisition units, via a network such as a LAN (Local Area Network). Has been. The management apparatus 10 is connected to the mobile robot 20 via a wireless network such as a wireless LAN. In addition, although (A) of the figure illustrates the case where four fixed cameras are used, any number of fixed cameras may be used.

管理装置10は、固定カメラA〜Dによって撮像された画像を用いて対象者の行動を管理したり、移動ロボット20に対して対象者の探索を指示したりする装置である。また、移動ロボット20は、登録用カメラや固定カメラA〜Dと同様のカメラ(情報取得部)を搭載し、管理装置10からの指示に従って目的の場所まで移動して、対象者を探索する自律移動型のロボットである。なお、移動ロボット20のカメラの解像度を固定カメラよりも高くしたり、移動ロボット20のカメラの焦点距離を固定カメラよりも短くしたりしてもよい。   The management device 10 is a device that manages the behavior of the target person using images captured by the fixed cameras A to D and instructs the mobile robot 20 to search for the target person. In addition, the mobile robot 20 is equipped with a registration camera and a camera (information acquisition unit) similar to the fixed cameras A to D, and moves to a target location in accordance with an instruction from the management device 10 to search for a target person. It is a mobile robot. Note that the resolution of the camera of the mobile robot 20 may be higher than that of the fixed camera, or the focal length of the camera of the mobile robot 20 may be shorter than that of the fixed camera.

同図の(B)に、福祉施設内における各装置の配置を示す。同図の(B)に示したように、管理装置10および移動ロボット20は、福祉施設の管理者が待機する管理室に設置されている。ここで、移動ロボット20は、管理装置10から指示を受けた場合には、管理室を出て、福祉施設内の目的の場所まで移動することとなる。なお、移動ロボット20については、管理室に待機させておくのではなく、福祉施設内を巡回させることとしてもよい。   FIG. 5B shows the arrangement of each device in the welfare facility. As shown to (B) of the figure, the management apparatus 10 and the mobile robot 20 are installed in the management room where the manager of a welfare facility stands by. Here, when receiving an instruction from the management device 10, the mobile robot 20 leaves the management room and moves to a target location in the welfare facility. The mobile robot 20 may be circulated in the welfare facility instead of waiting in the management room.

登録用カメラは、福祉施設の入口に設置されており、福祉施設を訪れる対象者を撮像し、撮像した画像をネットワーク経由で管理装置10へ送る。福祉施設を訪れる対象者は、かかる登録用カメラを用いてアピアランス情報および顔情報を登録したうえで施設内へ入ることとなる。ただし、顔情報が登録済みである場合には、短期的な情報であるアピアランス情報のみを登録済みの顔情報と関連付けて都度登録することとしてもよい。   The registration camera is installed at the entrance of the welfare facility, captures an image of a person who visits the welfare facility, and sends the captured image to the management apparatus 10 via the network. A subject who visits a welfare facility enters the facility after registering appearance information and face information using the registration camera. However, when face information has already been registered, only appearance information, which is short-term information, may be registered in association with the registered face information.

ここで、福祉施設の入口は、1台の登録用カメラと図示しないゲート装置とが設置された登録ゲートとなっている。具体的には、管理装置10は、登録用カメラによる対象者の登録手続きが完了した場合に、ゲート装置のゲートを開かせて対象者を福祉施設内へと入場させる。なお、福祉施設の入口には、複数台の登録用カメラを設置し、対象者を複数の角度から撮像するようにしてもよい。また、顔情報取得用のカメラと、アピアランス情報取得用のカメラとを所定台数ずつ設けることとしてもよい。なお、福祉施設が複数階建ての建造物である場合には、エレベータ内や階段に登録用カメラを設置してもよい。   Here, the entrance of the welfare facility is a registration gate in which one registration camera and a gate device (not shown) are installed. Specifically, when the registration procedure for the subject person by the registration camera is completed, the management device 10 opens the gate of the gate device to allow the subject person to enter the welfare facility. Note that a plurality of registration cameras may be installed at the entrance of the welfare facility so that the target person can be imaged from a plurality of angles. Also, a predetermined number of cameras for acquiring face information and cameras for acquiring appearance information may be provided. If the welfare facility is a multi-storey building, a registration camera may be installed in the elevator or on the stairs.

固定カメラA〜Dは、福祉施設内の通路や部屋に固定的に設置されており、通路や部屋に所在する対象者を撮像し、撮像した画像をネットワーク経由で管理装置10へ送る。すなわち、固定カメラA〜Dは、対象者に関する情報として対象者の画像を取得する。ここで、同図の(B)には、固定カメラA〜Dの撮像範囲のうち、対象者のアピアランス情報を検出可能な範囲を斜線で示している。すなわち、同図の(B)において斜線が付されていない部分が、固定カメラA〜Dの非検出範囲(死角)となる。   The fixed cameras A to D are fixedly installed in a passage or a room in the welfare facility, pick up an image of a target person located in the passage or the room, and send the picked up image to the management apparatus 10 via the network. That is, the fixed cameras A to D acquire the image of the subject as information about the subject. Here, in (B) of the figure, the range in which the appearance information of the subject can be detected among the imaging ranges of the fixed cameras A to D is indicated by hatching. That is, the part not hatched in (B) in the figure is the non-detection range (dead angle) of the fixed cameras A to D.

なお、ここでは、登録カメラを登録手続き専用のカメラとして説明したが、登録カメラを固定カメラとして兼用してもよい。   Here, the registered camera has been described as a dedicated camera for the registration procedure, but the registered camera may also be used as a fixed camera.

次に、本実施例に係る管理装置10および移動ロボット20の構成について図3を用いて説明する。図3は、本実施例に係る管理装置10および移動ロボット20の構成を示すブロック図である。なお、同図には、管理装置10および移動ロボット20の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。   Next, the configuration of the management apparatus 10 and the mobile robot 20 according to the present embodiment will be described with reference to FIG. FIG. 3 is a block diagram illustrating the configuration of the management device 10 and the mobile robot 20 according to the present embodiment. In the figure, only components necessary for explaining the features of the management apparatus 10 and the mobile robot 20 are shown, and descriptions of general components are omitted.

同図に示すように、管理装置10は、無線通信部11と、ディスプレイ12と、スピーカ13と、制御部14と、記憶部15とを備えている。また、制御部14は、登録処理部14aと、アピアランス照合部14bと、異常検知部14cと、移動指示部14dと、照合結果取得部14eとを備えている。また、記憶部15は、登録情報15aと、照合履歴情報15bと、施設内地図情報15cとを記憶している。   As shown in the figure, the management apparatus 10 includes a wireless communication unit 11, a display 12, a speaker 13, a control unit 14, and a storage unit 15. The control unit 14 includes a registration processing unit 14a, an appearance collation unit 14b, an abnormality detection unit 14c, a movement instruction unit 14d, and a collation result acquisition unit 14e. The storage unit 15 stores registration information 15a, verification history information 15b, and in-facility map information 15c.

一方、移動ロボット20は、無線通信部21と、駆動部22と、カメラ23と、スピーカ24と、制御部25と、記憶部26とを備えている。また、制御部25は、移動実行部25aと、アピアランス照合部25bと、顔照合部25cとを備えている。また、記憶部26は、施設内地図情報26aを記憶している。   On the other hand, the mobile robot 20 includes a wireless communication unit 21, a drive unit 22, a camera 23, a speaker 24, a control unit 25, and a storage unit 26. The control unit 25 includes a movement execution unit 25a, an appearance collation unit 25b, and a face collation unit 25c. The storage unit 26 stores in-facility map information 26a.

以下では、まず、管理装置10の各構成要素について説明する。無線通信部11は、移動ロボット20との間で各種データの送受信を行う無線通信デバイスである。また、ディスプレイ12は、各種の情報を表示する表示デバイスであり、スピーカ13は、各種の情報を音声にて報知する音声出力デバイスである。   Below, each component of the management apparatus 10 is demonstrated first. The wireless communication unit 11 is a wireless communication device that transmits and receives various data to and from the mobile robot 20. The display 12 is a display device that displays various types of information, and the speaker 13 is an audio output device that notifies various types of information by voice.

制御部14は、対象者の登録処理、アピアランス照合、アピアランス照合の照合履歴に基づく対象者の異常検知、移動ロボット20の移動指示、移動ロボット20からの照合結果の取得といった処理を実行する処理部である。   The control unit 14 is a processing unit that performs processing such as subject registration processing, appearance verification, detection of an abnormality of the subject based on the verification history of appearance verification, movement instructions for the mobile robot 20, and acquisition of verification results from the mobile robot 20. It is.

登録処理部14aは、登録用カメラによって撮像された画像から対象者のアピアランス情報や顔情報を検出し、対象者を識別する対象者IDと関連付けて登録情報15aとして記憶部15へ記憶させる処理部である。ここで、記憶部15に記憶される登録情報15aについて図4を用いて説明する。図4は、登録情報15aの一例を示す図である。   The registration processing unit 14a detects the appearance information and face information of the target person from the image captured by the registration camera, and stores the registration information 15a in the storage unit 15 in association with the target person ID for identifying the target person. It is. Here, the registration information 15a stored in the storage unit 15 will be described with reference to FIG. FIG. 4 is a diagram illustrating an example of the registration information 15a.

図4に示すように、登録情報15aは、対象者ごとに、顔情報やアピアランス情報を関連付けた情報である。具体的には、登録情報15aは、同図の(A)に示したように、「対象者ID」項目と、「名前」項目と、「顔情報ID」項目と、「アピアランス情報ID」項目とを含んだ情報である。   As shown in FIG. 4, the registration information 15a is information in which face information and appearance information are associated with each target person. Specifically, as shown in FIG. 5A, the registration information 15a includes a “subject ID” item, a “name” item, a “face information ID” item, and an “appearance information ID” item. This information includes

「対象者ID」項目は、対象者を識別する対象者IDが格納される項目である。「名前」項目は、対象者の名前が格納される項目である。「顔情報ID」項目は、顔情報を識別する顔情報IDが格納される項目である。「アピアランス情報ID」項目は、アピアランス情報を識別するアピアランス識別情報が格納される項目である。たとえば、登録情報15aには、対象者ID「001」と関連付けて、名前「栄光太郎」、顔情報ID「FA001」およびアピアランス情報ID「AP0841」が記憶されている。   The “target person ID” item is an item in which a target person ID for identifying the target person is stored. The “name” item is an item in which the name of the target person is stored. The “face information ID” item is an item in which a face information ID for identifying face information is stored. The “appearance information ID” item is an item in which appearance identification information for identifying appearance information is stored. For example, in the registration information 15a, the name “Eiko Taro”, the face information ID “FA001”, and the appearance information ID “AP0841” are stored in association with the subject ID “001”.

また、同図の(B)に示したように、登録情報15aは、顔情報IDと関連付けて顔情報を記憶している。同様に、同図の(C)に示したように、登録情報15aは、アピアランス情報IDと関連付けてアピアランス情報を記憶している。なお、ここでは、顔情報およびアピアランス情報が画像データとして記憶されることとしたが、画像データから抽出した特徴量を顔情報およびアピアランス情報として記憶してもよい。   Further, as shown in FIG. 5B, the registration information 15a stores face information in association with the face information ID. Similarly, as shown in (C) of the figure, the registration information 15a stores appearance information in association with the appearance information ID. Here, face information and appearance information are stored as image data. However, a feature amount extracted from image data may be stored as face information and appearance information.

図3に戻り、アピアランス照合部14bについて説明する。アピアランス照合部14bは、固定カメラA〜Dによって撮像された画像を、登録情報15aとして記憶されたアピアランス情報と照合することによって、かかる画像との一致度の高いアピアランス情報と関連付けられた対象者を検出対象として絞り込む処理部である。   Returning to FIG. 3, the appearance verification unit 14b will be described. The appearance collation unit 14b collates the images captured by the fixed cameras A to D with the appearance information stored as the registration information 15a, thereby identifying the target person associated with the appearance information having a high degree of coincidence with the image. It is a processing unit that narrows down as a detection target.

たとえば、アピアランス照合部14bは、登録情報15aとして記憶されているアピアランス情報(画像データ)からテンプレートを作成しておき、固定カメラA〜Dによる撮像画像とテンプレートとをマッチングさせる。つづいて、アピアランス照合部14bは、固定カメラA〜Dによる撮像画像とテンプレートとの一致度を算出し、一致度が閾値以上の領域が撮像画像中に存在する場合に、かかる領域の情報をアピアランス情報として検出する。このようにして、アピアランス照合部14bは、撮像画像から検出されたアピアランス情報との一致度が高いアピアランス情報を特定する。   For example, the appearance matching unit 14b creates a template from appearance information (image data) stored as the registration information 15a, and matches images captured by the fixed cameras A to D with the template. Subsequently, the appearance collation unit 14b calculates the degree of coincidence between the images captured by the fixed cameras A to D and the template, and when there is an area in the captured image where the degree of coincidence is equal to or greater than the threshold, the appearance information Detect as information. Thus, appearance collation part 14b specifies appearance information with high coincidence with appearance information detected from a picked-up image.

そして、アピアランス照合部14bは、特定したアピアランス情報と関連付けられた対象者IDを登録情報15aから取り出し、対象者を検出したカメラのカメラIDおよび現在日時と関連付けて照合履歴情報15bとして記憶部15へ記憶させる。   Then, the appearance collation unit 14b extracts the target person ID associated with the identified appearance information from the registration information 15a, and associates it with the camera ID of the camera that detected the target person and the current date and time as collation history information 15b to the storage unit 15. Remember.

なお、登録情報15aとして記憶された各アピアランス情報の何れとも一致しない、あるいは、一致度が低いアピアランス情報が固定カメラA〜Dによって検出される場合がある。これは、たとえば、福祉施設の入口において登録手続きを行っていない対象者(不審者)が固定カメラA〜Dによって検出された場合に起こり得る。   In some cases, the fixed cameras A to D detect appearance information that does not match any of the appearance information stored as the registration information 15a or has a low matching degree. This may occur, for example, when a target person (suspicious person) who has not performed the registration procedure at the entrance of the welfare facility is detected by the fixed cameras A to D.

このような場合、アピアランス照合部14bは、対象者(不審者)を検出した固定カメラのカメラIDに対して、不明な対象者であることを示す対象者ID(たとえば、「不明01」など)および現在日時を関連付けて照合履歴情報15bとして記憶部15に記憶する。このように、不審者のアピアランス情報ごとにかかる不審者を識別するIDを関連付けておけば、福祉施設内に不審者が複数人いる場合であっても、各不審者の所在や行動を個別に管理することができる。   In such a case, the appearance collation unit 14b has a subject ID (for example, “unknown 01” or the like) indicating that it is an unknown subject with respect to the camera ID of the fixed camera that detected the subject (suspicious person). The current date and time are associated with each other and stored in the storage unit 15 as collation history information 15b. In this way, by associating an ID for identifying a suspicious person for each appearance information of the suspicious person, even if there are multiple suspicious persons in the welfare facility, the location and behavior of each suspicious person can be individually determined. Can be managed.

異常検知部14cは、アピアランス照合部14bによる固定カメラA〜Dを用いた対象者の検出結果を用いて、対象者の異常を検知する処理部である。たとえば、異常検知部14cは、固定カメラAによって対象者が検出された時刻を基準時刻とした場合に、基準時刻から所定時間内に、かかる対象者を次に検知すべき固定カメラBによって対象者が検出されなかった場合に、かかる対象者の異常を検知する。また、固定カメラAによって対象者が検出された後、固定カメラBによってかかる対象者が通常よりも早く検出された場合にも、かかる対象者の異常を検知する。   The abnormality detection unit 14c is a processing unit that detects the abnormality of the subject using the detection results of the subject using the fixed cameras A to D by the appearance matching unit 14b. For example, when the time when the target person is detected by the fixed camera A is set as the reference time, the abnormality detection unit 14c uses the fixed camera B to detect the target person within a predetermined time from the reference time. If no is detected, the abnormality of the subject is detected. Further, after the target person is detected by the fixed camera A, when the target person is detected earlier than usual by the fixed camera B, the abnormality of the target person is detected.

このように、異常検知部14cは、第一の固定カメラによって対象者が検出されてから第二の固定カメラによってこの対象者が検出されるまでの経過時間に基づいてこの対象者の異常を検知する。かかる点の詳細については、図6を用いて後述することとする。   As described above, the abnormality detection unit 14c detects the abnormality of the subject based on the elapsed time from when the subject is detected by the first fixed camera to when the subject is detected by the second fixed camera. To do. Details of this point will be described later with reference to FIG.

移動指示部14dは、異常検知部14cによって対象者の異常が検知された場合に、かかる対象者の元へ向かうよう移動ロボット20に対して指示する処理部である。まず、移動指示部14dは、施設内地図情報15cを参照して、対象者が所在すると思われる場所、すなわち、移動ロボット20の探索範囲を特定する。ここで、施設内地図情報15cは、福祉施設内の地図、施設内における固定カメラA〜Dの設置場所、固定カメラA〜Dの撮像方向および検出範囲等を含んだ情報である。   The movement instruction unit 14d is a processing unit that instructs the mobile robot 20 to go to the subject when the abnormality detection unit 14c detects the abnormality of the subject. First, the movement instruction unit 14d refers to the in-facility map information 15c, and specifies a place where the target person is supposed to be located, that is, a search range of the mobile robot 20. Here, the in-facility map information 15c is information including a map in the welfare facility, an installation location of the fixed cameras A to D in the facility, an imaging direction and a detection range of the fixed cameras A to D, and the like.

つづいて、移動指示部14dは、登録情報15aを参照して、探索対象となっている対象者の顔情報およびアピアランス情報を特定する。そして、移動指示部14dは、これら探索範囲、顔情報およびアピアランス情報を含んだ移動指示を移動ロボット20に対して送信する。これにより、移動ロボット20は、指定された探索範囲へ移動し、対象者を探索して顔照合を行うこととなる。   Subsequently, the movement instructing unit 14d refers to the registration information 15a and specifies the face information and appearance information of the target person to be searched. Then, the movement instruction unit 14 d transmits a movement instruction including the search range, face information, and appearance information to the mobile robot 20. As a result, the mobile robot 20 moves to the designated search range, searches for the target person, and performs face matching.

照合結果取得部14eは、移動ロボット20から顔照合の照合結果を受け取るとともに、受け取った照合結果に応じた情報をディスプレイ12やスピーカ13を用いて報知する処理部である。   The matching result acquisition unit 14e is a processing unit that receives the matching result of the face matching from the mobile robot 20 and notifies the information corresponding to the received matching result using the display 12 or the speaker 13.

ここで、異常検知部14cおよび移動指示部14dの動作例について図5を用いて説明する。図5は、異常検知部14cおよび移動指示部14dの動作例を説明するための図である。なお、図5の(A)には、説明の前提とする照合履歴情報15bの内容を示している。以下では、同図の(A)に示したように、「11月1日21時30分00秒」に、「固定カメラA」が対象者ID「001」の対象者を検出した場合について説明する。   Here, an operation example of the abnormality detection unit 14c and the movement instruction unit 14d will be described with reference to FIG. FIG. 5 is a diagram for explaining an operation example of the abnormality detection unit 14c and the movement instruction unit 14d. FIG. 5A shows the contents of the collation history information 15b that is the premise of the description. In the following, as shown in FIG. 6A, a case where “fixed camera A” detects a target person with the target person ID “001” at “November 1, 21:30:30” will be described. To do.

また、同図の(B)には、同図の(A)に示した照合履歴情報15bに対応する異常検知の条件を示している。同図の(B)に示したように、異常検知部14cは、固定カメラBによる対象者「001」の検出時刻が、固定カメラAによって対象者「001」が検出された時刻「21時30分00秒」(基準時刻)から10分後の「21時40分00秒」以降である場合、対象者「001」の異常を検知する(異常その1)。   Further, (B) in the figure shows an abnormality detection condition corresponding to the matching history information 15b shown in (A) in the figure. As shown in FIG. 5B, the abnormality detection unit 14c detects that the detection time of the target person “001” by the fixed camera B is the time “21:30” when the target person “001” is detected by the fixed camera A. If it is after “21:40:00” 10 minutes after “minute 00 seconds” (reference time), an abnormality of the subject “001” is detected (abnormality 1).

ここで、異常その1の発生状況としては、たとえば、対象者「001」が、固定カメラAおよび固定カメラB間の通路であって、かつ、固定カメラAおよび固定カメラBの検出範囲外(死角)を徘徊している場合や、かかる範囲において倒れ込んでいる場合等が挙げられる。   Here, as the occurrence state of the abnormality 1, for example, the subject “001” is a passage between the fixed camera A and the fixed camera B, and is outside the detection range of the fixed camera A and the fixed camera B (dead angle). ), Or when falling within such a range.

異常検知部14cが対象者「001」の「異常その1」を検知すると、移動指示部14dは、対象者「001」の顔情報、アピアランス情報および探索範囲を含んだ移動指示を移動ロボット20に対して送信する。ここでは、固定カメラAおよび固定カメラB間の通路であって、かつ、固定カメラAおよび固定カメラBの検出範囲外(死角)が対象者「001」の探索範囲となる。このように、移動指示部14dは、異常検知部14cによって対象者の異常が検出された場合に、第一の固定カメラおよび第二の固定カメラ間の非検出範囲のうち、第一の固定カメラによって対象者が検出されてから第二の固定カメラによってこの対象者が検出されるまでの経過時間に基づいて決定される範囲へ移動ロボット20を移動させる指示を行う。   When the abnormality detection unit 14c detects “abnormality 1” of the subject “001”, the movement instruction unit 14d gives a movement instruction including the face information, appearance information, and search range of the subject “001” to the mobile robot 20. Send to. Here, the search range of the subject “001” is a path between the fixed camera A and the fixed camera B and outside the detection range (dead angle) of the fixed camera A and the fixed camera B. As described above, the movement instruction unit 14d includes the first fixed camera in the non-detection range between the first fixed camera and the second fixed camera when the abnormality detection unit 14c detects an abnormality of the subject. The mobile robot 20 is instructed to move to a range determined based on the elapsed time from when the subject is detected by the second fixed camera until the subject is detected by the second fixed camera.

これにより、移動ロボット20は、同図の(C−1)に示したように、固定カメラAおよび固定カメラB間の通路であって、かつ、固定カメラAおよび固定カメラBの検出範囲外(死角)の場所まで移動する。そして、カメラ23でアピアランス情報を取得しつつ対象者を探索し、移動指示に含まれる対象者が確かに対象者「001」であることを顔照合によって特定することとなる。   As a result, the mobile robot 20 is a path between the fixed camera A and the fixed camera B and is outside the detection range of the fixed camera A and the fixed camera B as shown in FIG. Move to the blind spot). Then, the target person is searched while the appearance information is acquired by the camera 23, and it is specified by face matching that the target person included in the movement instruction is indeed the target person “001”.

一方、同図の(B)に示したように、異常検知部14cは、固定カメラBによる対象者「001」の検出時刻が、固定カメラAによって対象者「001」が検出された時刻「21時30分00秒」(基準時刻)から1分後の「21時31分00秒」よりも早い場合にも、対象者「001」の異常を検知する(異常その2)。   On the other hand, as shown in FIG. 5B, the abnormality detection unit 14c detects that the target person “001” is detected by the fixed camera B, and the time “21” when the target person “001” is detected by the fixed camera A. Even when it is earlier than “21:31:00” that is one minute after “30:00” (reference time), the abnormality of the subject “001” is detected (abnormality 2).

これは、対象者「001」が、固定カメラAおよび固定カメラB間の通路を異常な速さで移動したことを示している。すなわち、異常その2の発生状況としては、対象者「001」が、精神不安定な状態にある場合等が挙げられる。   This indicates that the subject “001” has moved through the path between the fixed camera A and the fixed camera B at an abnormal speed. That is, as a situation of occurrence of abnormality 2, there may be mentioned a case where the subject “001” is in an unstable state.

そして、異常検知部14cが対象者「001」の「異常その2」を検知すると、移動指示部14dは、固定カメラB〜D間の通路であって、かつ、固定カメラB〜Dの検出範囲外(死角)を対象者「001」の探索範囲として指定した移動指示を移動ロボット20に対して送信する。   When the abnormality detection unit 14c detects “abnormality 2” of the subject “001”, the movement instruction unit 14d is a path between the fixed cameras B to D and the detection range of the fixed cameras B to D. A movement instruction specifying the outside (dead angle) as the search range of the subject “001” is transmitted to the mobile robot 20.

これにより、移動ロボット20は、同図の(C−2)に示したように、固定カメラB〜D間の通路であって、かつ、固定カメラB〜Dの検出範囲外(死角)の場所まで移動する。そして、カメラ23でアピアランス情報を取得しつつ対象者を探索し、移動指示に含まれる対象者が確かに対象者「001」であることを顔照合によって特定することとなる。   Thereby, as shown in (C-2) of the figure, the mobile robot 20 is a path between the fixed cameras B to D and a place outside the detection range (dead angle) of the fixed cameras B to D. Move up. Then, the target person is searched while the appearance information is acquired by the camera 23, and it is specified by face matching that the target person included in the movement instruction is indeed the target person “001”.

このように、本実施例では、固定カメラA〜Dによって福祉施設内の対象者の所在を大まかに把握しつつ、これら固定カメラA〜Dの検出範囲外にいる対象者の異常を検知した場合には、移動ロボット20を出動させて、異常が検知された対象者を顔照合によって正確に特定する。このため、福祉施設内の対象者をより効率的に管理することができ、少ない管理者しか用意出来ない場合であっても、福祉施設全体の異常発生を見落としてしまうリスクを低下させることができる。   As described above, in this embodiment, when the location of the target person in the welfare facility is roughly grasped by the fixed cameras A to D, and the abnormality of the target person outside the detection range of the fixed cameras A to D is detected. In this case, the mobile robot 20 is dispatched, and the target person whose abnormality is detected is accurately specified by face matching. For this reason, the target person in a welfare facility can be managed more efficiently, and even when only a few administrators can be prepared, the risk of overlooking the occurrence of an abnormality in the entire welfare facility can be reduced. .

また、たとえば、「異常その1」が検知された場合であっても、異常が検知された対象者が、実際には、窓から外を眺めているだけであったり、他の対象者と立ち話をしているだけであったりする可能性もある。このように、確実に異常が発生したと断定できない状況で管理者を現場へ向かわせていたのでは、管理者に多大な負担がかかることとなる。そこで、本実施例のように、異常が検知された場合に、管理者の出動に先立って、移動ロボット20を現場に向かわせることによって、管理者への負担を軽減することができる。   Further, for example, even when “abnormality 1” is detected, the target person whose abnormality is detected is actually only looking out from the window, or is talking with another target person. There is also the possibility of just doing. In this way, if the administrator is sent to the site in a situation where it cannot be determined that an abnormality has occurred reliably, a great burden is placed on the administrator. Therefore, as in the present embodiment, when an abnormality is detected, the burden on the administrator can be reduced by moving the mobile robot 20 to the site prior to the dispatch of the administrator.

ところで、図5では、福祉施設の入口にて登録済みの対象者の異常を検知した場合について説明したが、福祉施設内には、入口にて登録手続き行っていない対象者(不審者)が潜んでいる場合もある。そこで、アピアランス情報が登録されていない対象者を検出した場合における異常検知部14cおよび移動指示部14dの動作例について図6を用いて説明しておく。   By the way, although FIG. 5 demonstrated the case where the abnormality of the registered target person was detected at the entrance of a welfare facility, the target person (suspicious person) who did not perform registration procedure at the entrance lurked in the welfare facility. In some cases. Accordingly, an example of the operation of the abnormality detection unit 14c and the movement instruction unit 14d when a target person whose appearance information is not registered is detected will be described with reference to FIG.

図6は、アピアランス情報が登録されていない対象者を検出した場合における異常検知部14cおよび移動指示部14dの動作例を説明するための図である。ここで、図6の(A)には、説明の前提とする照合履歴情報15bの内容を示している。   FIG. 6 is a diagram for describing an operation example of the abnormality detection unit 14c and the movement instruction unit 14d when a target person whose appearance information is not registered is detected. Here, FIG. 6A shows the contents of the collation history information 15b as a premise of the description.

同図の(A)に示したように、「11月1日23時55分30秒」に、「固定カメラB」によって対象者ID「不明01」の対象者(不審者)が検出された場合、異常検知部14cは、対象者の異常、すなわち、不審者が侵入したことを検知する。そして、異常検知部14cによってかかる異常が検知された場合には、移動指示部14dは、同図の(B)に示したように、固定カメラB〜D間の通路であって、かつ、固定カメラB〜Dの検出範囲外(死角)を対象者「001」の探索範囲として指定した移動指示を移動ロボット20に対して送信する。   As shown in (A) of the figure, a target person (suspicious person) with the target person ID “unknown 01” was detected by “fixed camera B” at “November 1, 23:55:30”. In this case, the abnormality detection unit 14c detects the abnormality of the target person, that is, the intrusion of the suspicious person. When such an abnormality is detected by the abnormality detection unit 14c, the movement instruction unit 14d is a path between the fixed cameras B to D as shown in FIG. A movement instruction in which the outside of the detection range (dead angle) of the cameras B to D is designated as the search range of the subject “001” is transmitted to the mobile robot 20.

なお、同図の(B)では、固定カメラB〜D間の通路であって、かつ、固定カメラB〜Dの検出範囲外へ移動ロボット20を向かわせることとしたが、固定カメラAおよび固定カメラB間の通路であって、かつ、固定カメラAおよび固定カメラBの検出範囲外へ移動ロボット20を向かわせてもよい。このように、探索範囲の候補が複数ある場合、移動指示部14dは、固定カメラA〜Dによって撮像された画像から対象者の進行方向を割り出し、割り出した進行方向に応じて探索範囲を決定すればよい。   In FIG. 5B, the mobile robot 20 is directed to the path between the fixed cameras B to D and out of the detection range of the fixed cameras B to D. The mobile robot 20 may be directed to the path between the cameras B and out of the detection range of the fixed cameras A and B. In this way, when there are a plurality of search range candidates, the movement instruction unit 14d determines the traveling direction of the subject from the images captured by the fixed cameras A to D, and determines the search range according to the calculated traveling direction. That's fine.

また、移動指示部14dは、不審者を検知した場合には、かかる不審者を検知した固定カメラの検出範囲内に移動ロボット20を移動させることとしてもよい。   Moreover, the movement instruction | indication part 14d is good also as moving the mobile robot 20 within the detection range of the fixed camera which detected this suspicious person, when a suspicious person is detected.

図3に戻り、移動ロボット20の構成について説明する。無線通信部21は、管理装置10との間で移動指示や画像データ等の送受信を行う無線通信デバイスである。駆動部22は、移動ロボット20の各部位を駆動させるための機構部であり、たとえば、移動ロボット20を移動させるためのモータや車輪あるいは障害物を検知したり対象者までの距離を測ったりするためのセンサー等で構成されている。また、カメラ23は、登録用カメラや固定カメラA〜Dと同様、対象者を撮像するための撮像部であり、スピーカ24は、対象者等に対して所定の音声情報を報知する音声出力デバイスである。   Returning to FIG. 3, the configuration of the mobile robot 20 will be described. The wireless communication unit 21 is a wireless communication device that transmits and receives movement instructions, image data, and the like to and from the management apparatus 10. The drive unit 22 is a mechanism unit for driving each part of the mobile robot 20. For example, the drive unit 22 detects a motor, a wheel, or an obstacle for moving the mobile robot 20, and measures a distance to the subject. It consists of sensors for the purpose. The camera 23 is an image capturing unit for capturing an image of the target person, like the registration camera and the fixed cameras A to D, and the speaker 24 is an audio output device that notifies the target person and the like of predetermined audio information. It is.

ここで、図3に示した移動ロボット20の外観構成について図7を用いて説明しておく。図7は、移動ロボット20の外観構成の一例を示す図である。なお、図7に示した移動ロボット20の外観構成は、あくまでも一例であり、これ以外の外観であっても構わない。   Here, the external configuration of the mobile robot 20 shown in FIG. 3 will be described with reference to FIG. FIG. 7 is a diagram illustrating an example of an external configuration of the mobile robot 20. Note that the appearance configuration of the mobile robot 20 shown in FIG. 7 is merely an example, and other appearances may be used.

同図の(A)に示したように、移動ロボット20は、頭部20aと、本体部20bとを有している。頭部20aは、人間の頭部を模して形成されており、人間の目に相当する部分にはカメラ23が内蔵され、人間の口に相当する部分にはスピーカ24が内蔵されている。   As shown to (A) of the figure, the mobile robot 20 has the head 20a and the main-body part 20b. The head 20a is formed to imitate a human head, and a camera 23 is built in a portion corresponding to the human eye, and a speaker 24 is built in a portion corresponding to the human mouth.

また、本体部20bには、駆動部22が内蔵されている。たとえば、駆動部22は、本体部20bの底部に設けられた車輪を回転させて移動ロボット20を移動させる。ここで、駆動部22は、障害物検知機能や自己位置定位機能を備えている。障害物検知機能としては、たとえば、レーザー全方位距離センサーを用いることができる。これは、自装置から照射されたレーザー光の反射光を検知することによって障害物を検知したり、対象者までの距離を計測したりするものである。   Moreover, the drive part 22 is incorporated in the main-body part 20b. For example, the drive part 22 rotates the wheel provided in the bottom part of the main-body part 20b, and moves the mobile robot 20. FIG. Here, the drive unit 22 has an obstacle detection function and a self-positioning function. As the obstacle detection function, for example, a laser omnidirectional distance sensor can be used. This detects an obstacle by detecting the reflected light of the laser beam emitted from its own device, or measures the distance to the subject.

また、自己位置定位機能としては、たとえば、レーザー自己位置定位システムを用いることができる。これは、施設内の経路上に自己位置を確認するためのマーカーを予め貼り付けておき、かかるマーカーからのレーザー反射光を検出することによって自己位置を同定するものである。なお、その他の自己位置定位機能として、車輪の回転数を計測することによって自己位置を同定する手法等を用いることもできる。   Moreover, as a self-localization function, a laser self-localization system can be used, for example. In this method, a marker for confirming the self position is attached in advance on the route in the facility, and the self position is identified by detecting the laser reflected light from the marker. As another self-localization function, a method of identifying the self-position by measuring the rotation speed of the wheel can be used.

移動ロボット20は、これらの機能を用いることによって、前方の障害物を検知して停止したり、自装置の現在位置を同定したり、あるいは、対象者までの距離を計測して対象者の位置を割り出したりすることができる。   By using these functions, the mobile robot 20 detects an obstacle ahead and stops, identifies the current position of its own device, or measures the distance to the subject to determine the location of the subject. Can be determined.

また、駆動部22は、同図の(B)に示すように、モータを用いて頭部20aの高さや向きの変更等も行う。このように、頭部20aの高さや向きを変更することによって、対象者の顔画像を適切な位置で撮像することができる。なお、駆動部22は、本体部20bの向きと頭部20aの向きとからカメラ23の撮影方向を割り出す撮影方向特定機能も備えている。   Further, as shown in FIG. 5B, the drive unit 22 also changes the height and orientation of the head 20a using a motor. Thus, the face image of the subject can be captured at an appropriate position by changing the height and orientation of the head 20a. The drive unit 22 also has a shooting direction specifying function for determining the shooting direction of the camera 23 from the direction of the main body 20b and the direction of the head 20a.

また、本体部20bの一側面には、アーム27が設けられている。さらに、アーム27の先端には、移動ロボット20の足元付近を撮像するカメラ27aが取り付けられている。駆動部22は、同図の(B)に示したように、アーム27と本体部20bとの取り付け部分(肩部)やカメラ27aの取り付け部分を回転させたりアーム27を伸縮させたりして、カメラ23では撮像が困難な状態にある対象者(たとえば、地面に倒れている対象者)をカメラ27aで撮像することができる。   An arm 27 is provided on one side surface of the main body 20b. Further, a camera 27 a that captures the vicinity of the foot of the mobile robot 20 is attached to the tip of the arm 27. As shown in FIG. 5B, the drive unit 22 rotates the attachment portion (shoulder portion) of the arm 27 and the main body portion 20b, the attachment portion of the camera 27a, or extends and contracts the arm 27. A subject who is difficult to capture with the camera 23 (for example, a subject who has fallen on the ground) can be captured with the camera 27a.

図3に戻り、制御部25について説明する。制御部25は、駆動部22の駆動制御、カメラ23による撮像画像を用いたアピアランス照合および顔照合といった処理を実行する処理部である。   Returning to FIG. 3, the controller 25 will be described. The control unit 25 is a processing unit that executes processing such as drive control of the drive unit 22, appearance matching using a captured image by the camera 23, and face matching.

移動実行部25aは、管理装置10の移動指示部14dから受けた移動指示に従って、自装置を探索範囲まで移動させる処理部である。具体的には、移動実行部25aは、記憶部26に記憶された施設内地図情報26aを用いて、移動指示部14dから指示された探索範囲を特定する。ここで、施設内地図情報26aは、管理装置10に記憶される施設内地図情報15cと同一の情報である。そして、移動実行部25aは、駆動部22を駆動させることによって、特定した探索範囲まで自装置を移動させる。   The movement execution unit 25a is a processing unit that moves the own apparatus to the search range in accordance with the movement instruction received from the movement instruction unit 14d of the management apparatus 10. Specifically, the movement execution unit 25a uses the in-facility map information 26a stored in the storage unit 26 to specify the search range instructed from the movement instruction unit 14d. Here, the facility map information 26 a is the same information as the facility map information 15 c stored in the management device 10. And the movement execution part 25a drives the drive part 22, and moves an own apparatus to the specified search range.

また、移動実行部25aは、自装置が探索範囲に到着すると、探索範囲内を移動したり頭部20aの向きを変更したりして、探索範囲内に所在する対象者をカメラ23で撮像する。   Further, when the own apparatus arrives at the search range, the movement execution unit 25a moves within the search range or changes the direction of the head 20a, and images the target person located within the search range with the camera 23. .

アピアランス照合部25bは、探索範囲内において撮像された対象者の画像を管理装置10から受け取ったアピアランス情報と照合する処理部である。これにより、探索範囲内に複数の対象者が所在する場合であっても、これら複数の対象者の中から探索対象となっている対象者を絞り込むことができる。   The appearance collation unit 25 b is a processing unit that collates the image of the subject imaged within the search range with the appearance information received from the management apparatus 10. Thereby, even if it is a case where a some target person exists in the search range, the target person used as search object can be narrowed down from these some target persons.

顔照合部25cは、アピアランス照合部25bによって、管理装置10から受け取ったアピアランス情報と一致する(一致度の高い)アピアランス情報を持った対象者が検出された場合に、撮像画像から対象者の顔情報を検出し、管理装置10から受け取った顔情報と照合する処理部である。   The face matching unit 25c detects the target person's face from the captured image when the appearance matching unit 25b detects the target person having appearance information that matches the appearance information received from the management apparatus 10 (highly coincident). A processing unit that detects information and collates with face information received from the management apparatus 10.

ここで、顔照合部25cは、対象者の顔情報を精度よく検出するために、カメラ23によって検出された対象者のアピアランス情報から対象者の顔位置を推定し、自装置を対象者へ接近させつつ、推定した顔位置に応じて頭部20aの位置や向きを調整する。   Here, in order to accurately detect the target person's face information, the face matching unit 25c estimates the target person's face position from the appearance information of the target person detected by the camera 23, and approaches the subject apparatus to the target person. The position and orientation of the head 20a are adjusted according to the estimated face position.

さらに、顔照合部25cは、スピーカ24から「もしもし。」といった音声を出力させ、対象者の注意を引いたうえで、かかる対象者の顔照合を行う。このように、顔照合を行う前に、対象者に対して声かけを行うことによって、たとえば、対象者が自装置に対して背中を向けているような場合でも、対象者を振り向かせて顔画像を撮像することができる。なお、移動ロボット20は、声かけによって対象者を振り向かせて顔画像を撮像するのではなく、対象者の前方へ回り込んで顔画像を撮像してもよい。   Further, the face matching unit 25c outputs a voice such as “Hello” from the speaker 24, draws the attention of the subject, and performs face matching of the subject. Thus, by performing a voice call to the subject before performing face matching, for example, even when the subject is turning his back against his / her device, the subject is turned around to face An image can be taken. Note that the mobile robot 20 may capture the face image by turning around in front of the target person instead of turning the target person around to capture the face image.

また、顔照合部25cは、顔照合の照合結果を無線通信部21経由で管理装置10へ送信する。ここで、管理装置10へ送信される照合結果には、対象者の顔情報と管理装置10から受け取った顔情報とが一致したか否を示す照合内容、自装置の現在位置、カメラ23の撮像方向および撮像画像が含まれる。   In addition, the face matching unit 25 c transmits the matching result of face matching to the management apparatus 10 via the wireless communication unit 21. Here, the collation result transmitted to the management apparatus 10 includes collation contents indicating whether or not the face information of the subject matches the face information received from the management apparatus 10, the current position of the own apparatus, and the imaging of the camera 23. Directions and captured images are included.

次に、本実施例に係る管理装置10および移動ロボット20の具体的動作について図8を用いて説明する。図8は、本実施例に係る管理装置10および移動ロボット20が実行する処理手順を示すシーケンス図である。   Next, specific operations of the management apparatus 10 and the mobile robot 20 according to the present embodiment will be described with reference to FIG. FIG. 8 is a sequence diagram illustrating a processing procedure executed by the management apparatus 10 and the mobile robot 20 according to the present embodiment.

同図に示すように、異常検知部14cが対象者の異常を検知すると(ステップS101)、移動指示部14dは、探索範囲、対象者のアピアランス情報および顔情報を含んだ移動指示を移動ロボット20に対して送信する(ステップS102)。   As shown in the figure, when the abnormality detection unit 14c detects an abnormality of the subject (step S101), the movement instruction unit 14d gives a movement instruction including the search range, the appearance information of the subject, and face information. (Step S102).

つづいて、移動ロボット20は、管理装置10からの移動指示に従って探索範囲へ移動すると(ステップS103)、アピアランス照合部25bが、移動指示に含まれるアピアランス情報との一致度が高いアピアランス情報を検出したか否かを判定する(ステップS104)。かかる処理において、移動指示に含まれるアピアランス情報との一致度が高いアピアランス情報を検出していない場合(ステップS104、No)、移動実行部25aは、探索範囲内を移動して探索対象の対象者を探索し続ける(ステップS105)。   Subsequently, when the mobile robot 20 moves to the search range in accordance with the movement instruction from the management device 10 (step S103), the appearance verification unit 25b detects appearance information having a high degree of coincidence with the appearance information included in the movement instruction. It is determined whether or not (step S104). In such processing, when the appearance information having a high degree of coincidence with the appearance information included in the movement instruction has not been detected (No in step S104), the movement execution unit 25a moves within the search range and is the target person to be searched. Is continuously searched (step S105).

一方、移動指示に含まれるアピアランス情報との一致度が高いアピアランス情報を検出した場合(ステップS104、Yes)、顔照合部25cは、対象者の顔位置を推定し(ステップS106)、推定した顔位置に応じて頭部20aの位置や向きを調整する(ステップS107)。そして、顔照合部25cは、対象者に対して声かけを行ったうえで(ステップS108)、対象者の顔を撮像し(ステップS109)、撮像画像から検出した顔情報と移動指示に含まれる顔情報とを照合して(ステップS110)、照合結果を管理装置10へ送信する(ステップS111)。   On the other hand, when the appearance information having a high degree of coincidence with the appearance information included in the movement instruction is detected (Yes in step S104), the face matching unit 25c estimates the face position of the subject (step S106), and the estimated face The position and orientation of the head 20a are adjusted according to the position (step S107). Then, the face matching unit 25c speaks to the subject (step S108), images the subject's face (step S109), and is included in the face information and the movement instruction detected from the captured image. The face information is collated (step S110), and the collation result is transmitted to the management apparatus 10 (step S111).

つづいて、管理装置10は、照合結果取得部14eが、移動ロボット20から受信した照合結果に応じた情報をディスプレイ12やスピーカ13を用いて管理者へ報知して(ステップS112)、処理を終了する。ここで、管理者に対して報知される情報の一例について図9を用いて説明しておく。図9は、ディスプレイ12の表示例を示す図である。   Subsequently, in the management device 10, the verification result acquisition unit 14e notifies the administrator of information according to the verification result received from the mobile robot 20 using the display 12 or the speaker 13 (step S112), and ends the processing. To do. Here, an example of information notified to the administrator will be described with reference to FIG. FIG. 9 is a diagram illustrating a display example of the display 12.

同図に示すように、照合結果取得部14eは、移動ロボット20からの照合結果に含まれる情報を用いて、探索対象となっている対象者の元へ向かうべき旨の指示を含んだ出動要請画面を生成して、ディスプレイ12に対して表示させる。かかる出動要請画面には、同図に示したように、照合結果に含まれる移動ロボット20の現在位置や方向といった情報が、探索対象となっている対象者(ここでは、「栄光太郎」)の発見場所として表示される。また、出動要請画面には、探索対象となっている対象者の顔画像や名前、対象者ID等も表示さる。   As shown in the figure, the collation result acquisition unit 14e uses the information included in the collation result from the mobile robot 20, and includes a dispatch request including an instruction to go to the target person to be searched. A screen is generated and displayed on the display 12. On this dispatch request screen, as shown in the figure, information such as the current position and direction of the mobile robot 20 included in the collation result is the search target subject (here, “Eiko Taro”). It is displayed as a discovery place. In addition, on the dispatch request screen, the face image and name of the target person to be searched, the target person ID, and the like are also displayed.

さらに、同図に示したように、出動要請画面には、移動ロボット20がカメラ23またはカメラ27aを用いて撮像した対象者の画像も表示される。これによって、管理者は、対象者の現在の様子を知ることができるため、かかる対象者に対して適切な対応を取ることができる。たとえば、管理者は、出動要請画面に対象者が倒れている画像が表示されている場合には現場へ急行するが、窓から外を眺めているような画像が表示された場合には異常なしと判断することができる。   Furthermore, as shown in the figure, an image of the subject imaged by the mobile robot 20 using the camera 23 or the camera 27a is also displayed on the dispatch request screen. As a result, the administrator can know the current state of the target person, and can take an appropriate response to the target person. For example, the administrator rushes to the scene when an image showing the subject is falling on the call-out request screen, but there is no abnormality when an image that looks out from the window is displayed. It can be judged.

上述してきたように、本実施例では、管理装置のアピアランス照合部が、固定的に設置された固定カメラによって対象者のアピアランス情報を検出し、管理装置の移動指示部が、アピアランス情報の検出結果に基づき、固定カメラの非検出範囲へ移動ロボットを移動させ、移動ロボットの顔照合部が、固定カメラの非検出範囲に所在する対象者の顔情報を検出することとした。したがって、エリア内に固定設置される固定式情報取得装置の数を抑えつつ、固定式情報取得装置の取得範囲外に所在する対象者を検出することができる。   As described above, in the present embodiment, the appearance verification unit of the management device detects the appearance information of the target person using a fixed camera fixedly installed, and the movement instruction unit of the management device detects the appearance information detection result. Based on the above, the mobile robot is moved to the non-detection range of the fixed camera, and the face matching unit of the mobile robot detects the face information of the subject who is located in the non-detection range of the fixed camera. Therefore, it is possible to detect a subject who is located outside the acquisition range of the fixed information acquisition device while suppressing the number of fixed information acquisition devices fixedly installed in the area.

なお、上述した実施例では、固定カメラA〜Dを用いてアピアランス情報を検出することで対象者を絞り込み、移動ロボット20を用いて顔情報を検出することで対象者を正確に特定する場合について説明してきたが、これに限ったものではない。   In the above-described embodiment, the target person is narrowed down by detecting appearance information using the fixed cameras A to D, and the target person is accurately specified by detecting face information using the mobile robot 20. I've explained, but it's not limited to this.

たとえば、固定カメラA〜Dを用いてアピアランス情報を検出し、さらに移動ロボット20でもアピアランス情報を検出することとしてもよい。これは、たとえば、顔情報の登録が困難な場合(不特定多数の対象者がエリア内を出入りするような場合)に有効である。また、将来的に固定カメラA〜Dの検出精度が向上し、遠方にいる対象者の顔情報を検出できるようになった場合には、固定カメラA〜Dによって顔情報を検出することとしてもよい。このように、固定カメラA〜Dによって顔情報を検出できた場合には、顔情報のみを用いて対象者を特定することとしてもよい。なお、記憶部15に登録されている対象者の顔画像(正面画像)から横顔等を推定することによって、固定カメラA〜Dによる顔情報の検出頻度を高めることができる。   For example, appearance information may be detected using the fixed cameras A to D, and the appearance information may also be detected by the mobile robot 20. This is effective, for example, when it is difficult to register face information (when an unspecified number of subjects enter and exit the area). In addition, when the detection accuracy of the fixed cameras A to D is improved in the future and the face information of the subject who is far away can be detected, the face information may be detected by the fixed cameras A to D. Good. As described above, when the face information can be detected by the fixed cameras A to D, the target person may be specified using only the face information. Note that the frequency of detection of face information by the fixed cameras A to D can be increased by estimating a profile or the like from the face image (front image) of the subject registered in the storage unit 15.

また、上述した実施例では、管理装置10から指示された場合にのみ移動ロボット20が福祉施設内を移動する場合について説明したが、移動ロボット20は、管理装置10からの指示がない場合には、固定カメラとして兼用してもよい。以下では、かかる場合について図10を用いて説明する。図10は、移動ロボット20を固定カメラとして兼用する場合について説明するための図である。   In the above-described embodiment, the case where the mobile robot 20 moves within the welfare facility only when instructed by the management apparatus 10 has been described. However, the mobile robot 20 does not receive an instruction from the management apparatus 10. It may also be used as a fixed camera. Hereinafter, such a case will be described with reference to FIG. FIG. 10 is a diagram for explaining a case where the mobile robot 20 is also used as a fixed camera.

たとえば、同図の(A)に示すように、移動ロボット20は、管理装置10からの指示がない場合には、福祉施設内を巡回することとしてもよい。具体的には、移動ロボット20は、予め記憶された規定経路を巡回して(同図の(1)参照)、巡回情報を管理装置10へ定期的に送信する(同図の(2)参照)。ここで、巡回情報とは、現在時刻、現在位置、カメラ方向および撮像画像を含んだ情報である。そして、管理装置10は、移動カメラから受信した巡回情報を加味して対象者のアピアランス照合を行う(同図の(3)参照)。   For example, as shown to (A) of the figure, when there is no instruction | indication from the management apparatus 10, the mobile robot 20 is good also as going around the welfare institution. Specifically, the mobile robot 20 circulates a pre-stored prescribed route (see (1) in the figure), and periodically transmits the circulation information to the management apparatus 10 (see (2) in the figure). ). Here, the traveling information is information including the current time, the current position, the camera direction, and the captured image. Then, the management device 10 performs the appearance verification of the target person in consideration of the patrol information received from the mobile camera (see (3) in the figure).

このように、移動ロボット20に対して福祉施設内を巡回させることで、移動ロボット20は、固定カメラA〜Dとしての役割も果たすこととなるため、固定カメラの設置数をより一層抑えることができる。また、壁や天井等に固定して使用するという固定カメラA〜Dの性質上、固定カメラA〜Dでの撮像が困難な場所などを移動ロボット20に対して重点的に巡回させることとすれば、福祉施設内における対象者の検出範囲をより一層広げることが可能となる。なお、移動ロボット20が、撮像画像のみを管理装置10へ送信し、管理装置10が、かかる撮像画像を含んだ巡回情報を生成することとしてもよい。かかる場合、管理装置10は、移動ロボット20の現在位置およびカメラ方向を常に把握しているものとする。   In this way, by causing the mobile robot 20 to go around the welfare facility, the mobile robot 20 also plays a role as the fixed cameras A to D, so that the number of fixed cameras can be further suppressed. it can. In addition, due to the nature of the fixed cameras A to D that are used by being fixed to a wall or a ceiling, the mobile robot 20 is to be circulated mainly in places where imaging with the fixed cameras A to D is difficult. Thus, it is possible to further expand the detection range of the target person in the welfare facility. The mobile robot 20 may transmit only the captured image to the management apparatus 10, and the management apparatus 10 may generate the tour information including the captured image. In such a case, it is assumed that the management device 10 always knows the current position of the mobile robot 20 and the camera direction.

また、同図の(B)に示すように、複数台の移動ロボット20を福祉施設内の通路等に設置し、かかる移動ロボット20を用いて対象者のアピアランス情報を検出することとしてもよい。そして、管理装置10が対象者の異常を検知した場合に、対象者の探索範囲に最も近い場所に設置された移動ロボット20に対して移動指示を行うこととすれば、対象者をより迅速に発見することが可能となる。   Further, as shown in FIG. 5B, a plurality of mobile robots 20 may be installed in a passage in a welfare facility, and the appearance information of the target person may be detected using the mobile robot 20. When the management apparatus 10 detects an abnormality of the subject, if the mobile robot 20 installed in the place closest to the search range of the subject is instructed to move, the subject is more quickly It becomes possible to discover.

また、管理装置10は、異常検知部14cが対象者の異常を検知した場合だけでなく、特定の対象者を探索したい場合に、移動ロボット20を移動させてもよい。かかる場合、管理装置10の移動指示部14dは、探索したい対象者の顔情報およびアピアランス情報を登録情報15aから取り出して移動ロボット20へ渡す。そして、移動ロボット20は、既定の経路に従って特定の対象者を探索する。なお、管理装置10は、固定カメラA〜Dによって特定の対象者らしき対象者が検出された場合には、かかる対象者の検出場所を移動ロボット20へ通知して、移動ロボット20を検出場所へ向かわせてもよい。   Moreover, the management apparatus 10 may move the mobile robot 20 not only when the abnormality detection unit 14c detects an abnormality of the target person but also when searching for a specific target person. In such a case, the movement instruction unit 14d of the management apparatus 10 takes out the face information and appearance information of the target person to be searched from the registration information 15a and passes it to the mobile robot 20. Then, the mobile robot 20 searches for a specific target person according to a predetermined route. In addition, when the target person who seems to be a specific target person is detected by the fixed cameras A to D, the management apparatus 10 notifies the mobile robot 20 of the detection place of the target person, and moves the mobile robot 20 to the detection place. It may be directed.

また、上述した実施例では、移動ロボット20が、カメラ23またはカメラ27aを用いて対象者を撮像した後、アピアランス照合や顔照合まで行う場合について説明した。しかしながらこれに限らず、管理装置10が、移動ロボット20によって撮像された画像に対してアピアランス照合や顔照合を行うこととしてもよい。   Further, in the above-described embodiment, a case has been described in which the mobile robot 20 performs the appearance matching and the face matching after imaging the subject using the camera 23 or the camera 27a. However, the present invention is not limited to this, and the management device 10 may perform appearance matching and face matching on an image captured by the mobile robot 20.

かかる場合には、移動ロボット20が、アピアランス照合部25bおよび顔照合部25cを備えず、管理装置10が、顔照合部をさらに備えることとすればよい。具体的には、移動ロボット20が、カメラ23またはカメラ27aによる撮像画像を無線通信部21経由で管理装置10へ送信し、かかる撮像画像に対して、管理装置10が、アピアランス照合部14bを用いてアピアランス照合を行い、顔照合部を用いて顔照合を行うこととすればよい。   In such a case, the mobile robot 20 does not include the appearance verification unit 25b and the face verification unit 25c, and the management device 10 may further include a face verification unit. Specifically, the mobile robot 20 transmits an image captured by the camera 23 or the camera 27a to the management device 10 via the wireless communication unit 21, and the management device 10 uses the appearance matching unit 14b for the captured image. Appearance matching is performed, and face matching is performed using a face matching unit.

なお、これまでは、移動ロボット20が、自律移動型のロボットである場合について説明してきたが、管理装置10または管理者等が移動ロボット20をリモートコントロールすることとしてもよい。かかる場合、移動ロボット20には、施設内地図情報26aが記憶されていなくともよい。移動ロボット20に搭載されているカメラ23を警備員等に持たせてもよい。かかる場合には、カメラ23を持った警備員が移動ロボット20としての役割を果たすこととなる。   Heretofore, the case where the mobile robot 20 is an autonomous mobile robot has been described. However, the management device 10 or an administrator may remotely control the mobile robot 20. In such a case, the in-facility map information 26a may not be stored in the mobile robot 20. A camera 23 mounted on the mobile robot 20 may be provided to a security guard or the like. In such a case, the guard with the camera 23 plays a role as the mobile robot 20.

また、これまでは、移動式情報取得装置の一例として移動ロボット20を用いて説明してきたが、移動式情報取得装置は、警備員等が所持するPDA(Personal Digital Assistant)等の携帯端末装置であってもよい。かかる場合、管理装置10の移動指示部14dは、異常検知部14cによって対象者の異常が検知された場合に、異常の検出態様に基づき、固定カメラによる撮像画像および異常が検知された旨を携帯端末装置へ通知する。   In the past, the mobile robot 20 was used as an example of the mobile information acquisition device. However, the mobile information acquisition device is a portable terminal device such as a PDA (Personal Digital Assistant) held by a security guard or the like. There may be. In such a case, the movement instructing unit 14d of the management device 10 carries the image captured by the fixed camera and the fact that the abnormality has been detected based on the abnormality detection mode when the abnormality detection unit 14c detects the abnormality of the subject. Notify the terminal device.

たとえば、図5の(B)に示したように、異常検知部14cが対象者の「異常その1」を検出した場合、すなわち、固定カメラAによって対象者が検出されてから所定時間内に固定カメラBによって対象者が検出されなかった場合、移動指示部14dは、固定カメラAによる撮像画像およびこの対象者の異常が検知された旨を警備員の所持するPDAへ通知する。   For example, as shown in FIG. 5B, when the abnormality detection unit 14c detects “abnormality 1” of the subject, that is, the subject is fixed within a predetermined time after the subject is detected by the fixed camera A. When the target person is not detected by the camera B, the movement instructing unit 14d notifies the PDA possessed by the security guard that the captured image by the fixed camera A and the abnormality of the target person have been detected.

また、図5の(C)に示したように、異常検知部14cが対象者の「異常その2」を検出した場合、すなわち、固定カメラAによって対象者が検出されてから固定カメラBによって対象者が検出されるまでの時間が通常よりも早い場合、移動指示部14dは、固定カメラBによる撮像画像およびこの対象者の異常が検知された旨を警備員の所持するPDAへ通知する。   Further, as shown in FIG. 5C, when the abnormality detection unit 14c detects the “abnormality 2” of the target person, that is, after the target person is detected by the fixed camera A, the target is detected by the fixed camera B. When the time until the person is detected is earlier than usual, the movement instructing unit 14d notifies the PDA possessed by the security guard that the image captured by the fixed camera B and the abnormality of the subject have been detected.

これによって、警備員は、PDAに送られてきた撮像画像を確認したうえで、異常発生現場へと向かうことができる。なお、移動指示部14dは、固定カメラによる撮像画像や対象者の異常が検知された旨だけでなく、「異常その1」や「異常その2」といった異常の内容もPDAへ通知してもよい。このように、異常の内容も通知することによって、警備員は、たとえば、異常が検知された旨が複数通知された場合であっても、異常の内容を確認することで、異常発生現場へ向かう場合の優先度を決めることができる。   As a result, the security guard can check the captured image sent to the PDA and then go to the site where the abnormality occurred. The movement instructing unit 14d may notify the PDA of the content of the abnormality such as “abnormality 1” and “abnormality 2” as well as the image captured by the fixed camera and the fact that the abnormality of the subject has been detected. . In this way, by notifying the content of the abnormality, for example, even when a plurality of notifications that the abnormality has been detected are sent, the guard goes to the site where the abnormality occurs by confirming the content of the abnormality. The priority of the case can be determined.

このように、対象者の異常が検知された場合に、異常が発生した旨を警備員が所持するPDAへ通知し、警備員に対して異常を確認させることとすれば、移動式情報取得装置として移動ロボット20を用いる場合と比較して、システム導入に要するコストを抑えることができる。   In this way, if an abnormality of the subject is detected, the mobile information acquisition device is configured to notify the PDA possessed by the security guard that the abnormality has occurred and cause the security guard to confirm the abnormality. As compared with the case where the mobile robot 20 is used, the cost required for system introduction can be reduced.

なお、移動指示部14dからPDAに対して通知される撮像画像は、対象者の異常検知に用いられた固定カメラの撮像画像であればよい。すなわち、移動指示部14dは、異常検知部14cが対象者の「異常その1」を検出した場合に、固定カメラBによる撮像画像をPDAへ通知してもよいし、異常検知部14cが対象者の「異常その2」を検出した場合に、固定カメラAによる撮像画像をPDAへ通知してもよい。また、移動指示部14dは、固定カメラAおよび固定カメラBの両方の撮像画像をPDAへ通知してもよい。   The captured image notified from the movement instruction unit 14d to the PDA may be a captured image of a fixed camera used for detecting an abnormality of the subject. That is, the movement instruction unit 14d may notify the PDA of an image captured by the fixed camera B when the abnormality detection unit 14c detects “abnormality 1” of the subject, or the abnormality detection unit 14c When “abnormality 2” is detected, an image captured by the fixed camera A may be notified to the PDA. In addition, the movement instruction unit 14d may notify the PDA of the captured images of both the fixed camera A and the fixed camera B.

ところで、上述してきた実施例では、福祉施設といった屋内に所在する対象者を検出する場合について説明してきたが、本発明に係る対象者検出手法は、屋内だけに限らず、屋外に所在する対象者にも適用することができる。そこで、以下では、かかる場合について図11を用いて説明しておく。図11は、本発明に係る対象者検出手法を屋外に適用した場合について説明するための図である。なお、同図では、一例として、小学校から学童保育所を経由して自宅に帰るまでの児童の行動を管理する場合について示している。   By the way, although the Example mentioned above has demonstrated the case where the target person located indoors, such as a welfare facility, was detected, the target person detection method which concerns on this invention is not only indoors but the target person who exists outdoors. It can also be applied to. Therefore, in the following, such a case will be described with reference to FIG. FIG. 11 is a diagram for explaining a case where the subject detection method according to the present invention is applied outdoors. In the figure, as an example, the case of managing the behavior of the child from the elementary school through the school nursery school until returning home is shown.

同図の(A)に示したように、登録用カメラは、小学校や学童保育所あるいは自宅の入口に設置されており、これらの建物を出入りする児童を撮像した画像を図示しない管理装置へ送信する。また、固定カメラA〜Eは、小学校から学童保育所を経由して自宅に帰るまでの経路の各所に固定設置されており、撮像画像を図示しない管理装置へ送信する。なお、登録用カメラは、固定カメラとして兼用してもよい。   As shown in (A) of the figure, the registration camera is installed at the entrance of an elementary school, school nursery school, or home, and sends an image of children entering and leaving these buildings to a management device (not shown). To do. The fixed cameras A to E are fixedly installed in various places on the route from the elementary school to the home via the school nursery school, and transmit the captured images to a management device (not shown). The registration camera may also be used as a fixed camera.

また、移動ロボットは、これら固定カメラA〜Eの検出範囲外の場所を巡回し、撮像画像を図示しない管理装置へ送信する。なお、同図に示したように、自動車などの移動体にカメラを設置し、かかるカメラによって撮像された画像を管理装置へ送信することとしてもよい。これにより、固定カメラA〜Eの設置台数をより一層抑えることができる。   In addition, the mobile robot patrolls a place outside the detection range of these fixed cameras A to E, and transmits the captured image to a management device (not shown). In addition, as shown in the figure, it is good also as installing a camera in moving bodies, such as a motor vehicle, and transmitting the image imaged with this camera to the management apparatus. Thereby, the number of fixed cameras A to E can be further suppressed.

ここで、たとえば、固定カメラCによって対象者である児童が検出されてから所定時間内に、児童を次に検出すべき固定カメラDによって児童が検出されなかったとすると、管理装置は、かかる児童の異常を検知する。そして、管理装置は、移動ロボットに対して、かかる児童のアピアランス情報および顔情報を渡すとともに、固定カメラCおよび固定カメラD間の経路であって、かつ、固定カメラCおよび固定カメラDの非検出範囲を探索範囲に指定して移動させる。これにより、固定カメラA〜Eの非検出範囲に所在する児童を移動ロボットによって発見することができる。   Here, for example, if a child is not detected by the fixed camera D that should detect the child within a predetermined time after the child who is the subject is detected by the fixed camera C, the management device Detect abnormalities. Then, the management device passes the appearance information and face information of the child to the mobile robot, and is a path between the fixed camera C and the fixed camera D, and is not detected by the fixed camera C and the fixed camera D. Designate the range as the search range and move it. Thereby, the child located in the non-detection range of the fixed cameras A to E can be found by the mobile robot.

なお、同図の(B)に示したように、探索範囲の候補が複数ある場合(固定カメラCに対して右方向の範囲および左方向の範囲)、移動指示部14dは、固定カメラCの撮像画像から対象者の進行方向を割り出し、割り出した進行方向に応じて探索範囲を決定すればよい。   As shown in FIG. 5B, when there are a plurality of search range candidates (a range in the right direction and a range in the left direction with respect to the fixed camera C), the movement instruction unit 14d What is necessary is just to determine the traveling direction of the subject from the captured image and to determine the search range according to the determined traveling direction.

また、児童がアピアランス情報の登録されていない人物(不審者)と2人で学校を出たことが、固定カメラによって検出された場合には、連れ去りが起きた可能性が高いと判定して、移動ロボットを直ぐに移動させてもよい。かかる場合、不審者のアピアランス情報を登録しておけば、固定カメラによって再度不審者のアピアランス情報が検出されることで、かかる不審者の居場所を特定することができる。   In addition, if it is detected by a fixed camera that the child has left the school with a person whose appearance information is not registered (suspicious person), it is determined that there is a high possibility that the child has taken away, The mobile robot may be moved immediately. In this case, if the appearance information of the suspicious person is registered, the location information of the suspicious person can be specified by detecting the appearance information of the suspicious person again by the fixed camera.

また、同図では、屋外のみを対象エリアとして説明したが、屋内および屋外を対象エリアとすることもできる。すなわち、福祉施設から抜け出した対象者を、屋外に設置された固定カメラで検出し、これら固定カメラによる検出結果に応じて移動ロボットを屋外へ移動させるといったことも可能である。   Moreover, although only the outdoor has been described as the target area in the figure, indoor and outdoor can also be the target area. That is, it is also possible to detect a subject who has left the welfare facility with a fixed camera installed outdoors, and move the mobile robot to the outdoors according to the detection results of these fixed cameras.

また、本発明に係る対象者検出手法は、災害発生時において災害避難者を探索する場合にも適用することができる。たとえば、現状では、避難所へ避難し終えた災害避難者の本人確認しか行うことができないが、避難所へ避難途中の対象者を移動ロボットを用いて顔照合することによって、避難途中の災害避難者の居場所を特定することも可能となる。   The subject detection method according to the present invention can also be applied when searching for disaster evacuees when a disaster occurs. For example, at present, only the identity of a disaster evacuee who has evacuated to an evacuation center can be confirmed. It is also possible to specify the location of the person.

ところで、これまでは、対象者を撮像するカメラを情報取得装置の一例として説明してきたが、情報取得装置は、カメラに限ったものではなく、たとえば、ICタグのID情報を読み取るICタグリーダであってもよい。そこで、以下では、かかる場合について図12を用いて説明する。図12は、固定式のICタグリーダの読取範囲外を移動ロボットがカバーする場合について説明するための図である。   Until now, a camera that captures an image of a subject has been described as an example of an information acquisition device. However, the information acquisition device is not limited to a camera, for example, an IC tag reader that reads ID information of an IC tag. May be. Therefore, such a case will be described below with reference to FIG. FIG. 12 is a diagram for explaining a case where the mobile robot covers outside the reading range of the fixed IC tag reader.

同図の(A)に示すように、エリア内の経路には、ICタグリーダAおよびICタグリーダBが固定的に設置されている。また、対象者は、ICタグを予め身に付けている。ここで、同図の(A)に示したように、ICタグリーダAによって対象者が検出されたとする(同図の(1)参照)。すなわち、対象者が身に付けたICタグのID情報がICタグリーダAによって読み取られたとする。   As shown in FIG. 3A, IC tag reader A and IC tag reader B are fixedly installed on the route in the area. The subject wears an IC tag in advance. Here, as shown to (A) of the figure, suppose that the subject was detected by IC tag reader A (refer (1) of the figure). That is, it is assumed that the IC tag reader A reads ID information of the IC tag worn by the subject.

かかる場合において、ICタグリーダAによって対象者が検出されてから所定時間が経過したにもかかわらず、対象者を次に検出すべきICタグリーダBによって対象者が検出されない場合(同図の(2)参照)、管理装置は、対象者の異常を検知する(同図の(3)参照)。   In such a case, the target person is not detected by the IC tag reader B that should detect the target person next, even though a predetermined time has elapsed since the target person was detected by the IC tag reader A ((2) in the figure). The management device detects the abnormality of the subject person (see (3) in the figure).

このようにして対象者の異常を検知すると、管理装置は、対象者が身に付けているICタグのID情報を移動ロボットに渡し、ICタグリーダAおよびICタグリーダB間の通路であり、かつ、ICタグリーダAおよびICタグリーダBの非検出範囲へ移動ロボットを移動させる。そして、移動ロボットは、同図の(B)に示したように、管理装置から渡されたID情報に基づき探索範囲内にいる対象者を発見し、探索対象の対象者を発見した旨を現在位置とともに管理装置へ送信する。   When the abnormality of the subject is detected in this way, the management device passes the ID information of the IC tag worn by the subject to the mobile robot, and is a path between the IC tag reader A and the IC tag reader B, and The mobile robot is moved to the non-detection range of the IC tag reader A and the IC tag reader B. Then, as shown in (B) of the figure, the mobile robot discovers the target person within the search range based on the ID information passed from the management apparatus, and indicates that the target person to be searched has been found. It is transmitted to the management device together with the position.

また、ICタグリーダとカメラとを情報取得装置として併用することとしてもよい。たとえば、管理装置は、登録ゲートにおいて対象者の顔情報およびアピアランス情報とともにICタグのID情報を関連付けて記憶しておく。そして、エリア内の経路に固定カメラを設置した場合には、管理装置が、固定カメラを用いたアピアランス情報の検出結果に基づいて対象者の異常を検知し、移動ロボットが、ICタグのID情報に基づき対象者を特定することとすればよい。   Further, an IC tag reader and a camera may be used together as an information acquisition device. For example, the management device stores the ID information of the IC tag in association with the face information and appearance information of the subject at the registration gate. When a fixed camera is installed on the route in the area, the management device detects an abnormality of the target person based on the detection result of the appearance information using the fixed camera, and the mobile robot detects the ID information of the IC tag. The target person may be specified based on the above.

また、エリア内の経路にICタグリーダを設置した場合には、管理装置が、ICタグリーダによるID情報の読取結果に基づいて対象者の異常を検知し、移動ロボットが、アピアランス情報に基づき対象者を絞り込んだり顔情報に基づき対象者を特定したりすることとすればよい。   When an IC tag reader is installed on the route in the area, the management device detects an abnormality of the target person based on the ID information read result by the IC tag reader, and the mobile robot detects the target person based on the appearance information. What is necessary is just to narrow down or specify an object person based on face information.

なお、これまでは、個人を特定するための情報として、顔情報やICタグのID情報を用いて説明してきたが、これに限ったものではなく、たとえば、指紋や静脈あるいは虹彩といった生体情報を用いることができる。   Up to now, the information for identifying an individual has been described using face information and IC tag ID information. However, the present invention is not limited to this. For example, biological information such as fingerprints, veins or irises can be used. Can be used.

以上のように、本発明に係る対象者検出システムおよび対象者検出方法は、対象者が固定式情報取得装置の取得範囲内に所在する場合のみならず、対象者が固定式情報取得装置の取得範囲外に所在する場合を含めて対象者の所在や行動を検出したい場合に有用であり、特に、福祉施設や病院といった屋内に所在する対象者を検出する場合に適している。   As described above, the target person detection system and the target person detection method according to the present invention are applicable not only when the target person is located within the acquisition range of the fixed information acquisition apparatus but also when the target person acquires the fixed information acquisition apparatus. This is useful when it is desired to detect the location and behavior of the subject, including when the subject is out of the range, and is particularly suitable for detecting a subject who is located indoors such as a welfare facility or hospital.

10 管理装置
11 無線通信部
12 ディスプレイ
13 スピーカ
14 制御部
14a 登録処理部
14b アピアランス照合部
14c 異常検知部
14d 移動指示部
14e 照合結果取得部
15 記憶部
15a 登録情報
15b 照合履歴情報
15c 施設内地図情報
20 移動ロボット
21 無線通信部
22 駆動部
23 カメラ
24 スピーカ
25 制御部
25a 移動実行部
25b アピアランス照合部
25c 顔照合部
26 記憶部
26a 施設内地図情報
DESCRIPTION OF SYMBOLS 10 Management apparatus 11 Wireless communication part 12 Display 13 Speaker 14 Control part 14a Registration process part 14b Appearance collation part 14c Abnormality detection part 14d Movement instruction part 14e Collation result acquisition part 15 Storage part 15a Registration information 15b Collation history information 15c Facility map information DESCRIPTION OF SYMBOLS 20 Mobile robot 21 Wireless communication part 22 Drive part 23 Camera 24 Speaker 25 Control part 25a Movement execution part 25b Appearance collation part 25c Face collation part 26 Memory | storage part 26a In-facility map information

Claims (11)

対象者を特定する情報を登録情報として記憶する記憶部と、
対象者に関する情報を取得する移動可能な移動式情報取得装置と、
固定的に設置され、対象者に関する情報を取得する固定式情報取得装置と、
前記固定式情報取得装置によって取得された情報を前記登録情報と照合することによって前記対象者を検出する照合部と、
前記照合部による前記対象者の検出結果に基づき、当該対象者の異常を検知する異常検知部と
を備えたことを特徴とする対象者検出システム。
A storage unit for storing information for identifying the target person as registration information;
A movable mobile information acquisition device for acquiring information about the subject;
A fixed information acquisition device that is fixedly installed and acquires information about the target person;
A collation unit that detects the target person by collating the information acquired by the fixed information acquisition device with the registration information;
An object detection system comprising: an abnormality detection unit that detects an abnormality of the object person based on a detection result of the object person by the collation unit.
前記異常検知部によって前記対象者の異常が検知された場合に、前記固定式情報取得装置の非取得範囲へ前記移動式情報取得装置を移動させる指示を行う移動指示部
をさらに備えたことを特徴とする請求項1に記載の対象者検出システム。
A movement instructing unit that gives an instruction to move the mobile information acquisition device to a non-acquisition range of the fixed information acquisition device when the abnormality of the subject is detected by the abnormality detection unit; The subject detection system according to claim 1.
前記固定式情報取得装置は、所定の経路に沿って設置された第一の固定式情報取得装置および第二の固定式情報取得装置を含み、
前記異常検知部は、
前記第一の固定式情報取得装置によって前記対象者が検出されてから前記第二の固定式情報取得装置によって当該対象者が検出されるまでの経過時間に基づいて当該対象者の異常を検知し、
前記移動指示部は、
前記異常検知部によって前記対象者の異常が検知された場合に、前記第一の固定式情報取得装置および前記第二の固定式情報取得装置間の非取得範囲のうち、前記経過時間に基づいて決定される範囲へ前記移動式情報取得装置を移動させる指示を行うことを特徴とする請求項2に記載の対象者検出システム。
The fixed information acquisition device includes a first fixed information acquisition device and a second fixed information acquisition device installed along a predetermined route,
The abnormality detection unit
An abnormality of the subject is detected based on an elapsed time from the detection of the subject by the first fixed information acquisition device to the detection of the subject by the second fixed information acquisition device. ,
The movement instruction unit includes:
Based on the elapsed time out of the non-acquisition range between the first fixed information acquisition device and the second fixed information acquisition device when the abnormality of the subject is detected by the abnormality detection unit. The subject detection system according to claim 2, wherein an instruction to move the mobile information acquisition device to a range to be determined is given.
前記照合部は、
前記移動指示部によって前記移動式情報取得装置の移動が指示されていない場合に、前記固定式情報取得装置または前記移動式情報取得装置によって取得された情報に基づいて前記対象者を検出することを特徴とする請求項2または3に記載の対象者検出システム。
The collation unit
Detecting the subject based on the information acquired by the fixed information acquisition device or the mobile information acquisition device when the movement instruction unit is not instructed to move the mobile information acquisition device. The subject detection system according to claim 2 or 3, characterized in that
前記移動式情報取得装置は、
前記対象者に関する情報を取得する情報取得部を備えるとともに、前記移動指示部による指示がない場合に、所定の経路を巡回して前記対象者に関する情報を取得し、
前記移動指示部は、
前記固定式情報取得装置の検出結果および/または前記移動式情報取得装置によって取得された前記対象者に関する情報に基づき、前記固定式情報取得装置の非取得範囲へ前記移動式情報取得装置を移動させる指示を行うことを特徴とする請求項2、3または4に記載の対象者検出システム。
The mobile information acquisition device includes:
In addition to providing an information acquisition unit that acquires information about the target person, when there is no instruction by the movement instruction unit, to acquire information about the target person by traveling around a predetermined route,
The movement instruction unit includes:
The mobile information acquisition device is moved to a non-acquisition range of the fixed information acquisition device based on a detection result of the fixed information acquisition device and / or information on the subject acquired by the mobile information acquisition device. 5. The subject detection system according to claim 2, 3 or 4, wherein an instruction is given.
前記固定式情報取得装置または前記移動式情報取得装置は、
前記対象者に関する情報として前記対象者の画像を取得する撮像部を備え、
前記記憶部は、
前記登録情報として対象者の外観情報を記憶し、
前記照合部は、
前記撮像部によって取得された前記対象者の画像を前記記憶部に記憶された外観情報と照合することによって、当該画像との一致度の高い外観情報と関連付けられた対象者を検出対象として絞り込むことを特徴とする請求項1〜5のいずれか一つに記載の対象者検出システム。
The fixed information acquisition device or the mobile information acquisition device is:
An imaging unit that acquires an image of the subject as information about the subject,
The storage unit
Store the appearance information of the subject as the registration information,
The collation unit
The target person associated with the appearance information having a high degree of coincidence with the image is narrowed down as a detection target by collating the image of the subject acquired by the imaging unit with the appearance information stored in the storage unit. The target person detection system according to any one of claims 1 to 5.
前記記憶部は、
前記登録情報として前記対象者の顔情報をさらに記憶し、
前記移動式情報取得装置は、
前記対象者に関する情報として前記対象者の画像を取得する撮像部を備え、
前記照合部は、
前記撮像部によって撮像された画像を前記検出対象として絞り込んだ対象者の顔情報と照合することによって当該対象者を特定することを特徴とする請求項6に記載の対象者検出システム。
The storage unit
Further storing the subject's face information as the registration information,
The mobile information acquisition device includes:
An imaging unit that acquires an image of the subject as information about the subject,
The collation unit
The target person detection system according to claim 6, wherein the target person is specified by collating an image picked up by the image pickup unit with face information of the target person narrowed down as the detection target.
前記移動式情報取得装置は、携帯端末装置であり、
前記異常検知部によって前記対象者の異常が検知された場合に、前記異常の検出態様に基づき、前記固定式情報取得装置によって取得された情報および前記異常が検知された旨を前記携帯端末装置へ通知する通知部
をさらに備えたことを特徴とする請求項1に記載の対象者検出システム。
The mobile information acquisition device is a mobile terminal device,
When the abnormality of the subject is detected by the abnormality detection unit, based on the detection mode of the abnormality, the information acquired by the fixed information acquisition device and the fact that the abnormality is detected to the portable terminal device The target person detection system according to claim 1, further comprising a notification unit for notifying.
対象者を特定する情報を登録情報として記憶する記憶ステップと、
固定的に設置された固定式情報取得装置を用いて対象者に関する情報を取得する固定式情報取得ステップと、
前記固定式情報取得ステップにおいて取得した情報を前記登録情報と照合することによって前記対象者を検出する照合ステップと、
前記照合ステップにおける前記対象者の検出結果に基づき、当該対象者の異常を検知する異常検知ステップと、
前記異常検知ステップにおいて前記対象者の異常を検出した場合に、対象者に関する情報を取得する移動可能な移動式情報取得装置を前記固定式情報取得装置の非取得範囲へ移動させる指示を行う移動指示ステップと
前記移動指示ステップにおける指示に応じて移動した前記移動式情報取得装置を用いて対象者に関する情報を取得する移動式情報取得ステップと
を含んだことを特徴とする対象者検出方法。
A storage step of storing information for identifying the target person as registration information;
A fixed information acquisition step of acquiring information about the subject using a fixed information acquisition device fixedly installed;
A collation step of detecting the target person by collating the information acquired in the fixed information acquisition step with the registration information;
An abnormality detection step for detecting an abnormality of the subject based on the detection result of the subject in the matching step;
A movement instruction for giving an instruction to move a movable mobile information acquisition device that acquires information about the subject to a non-acquisition range of the fixed information acquisition device when an abnormality of the subject is detected in the abnormality detection step And a mobile information acquisition step of acquiring information about the target using the mobile information acquisition device that has moved according to the instruction in the movement instruction step.
固定的に設置される固定式情報取得装置によって取得された対象者に関する情報に基づいて前記対象者を検出する対象者検出システムに用いられる対象者検出装置であって、
前記対象者の検出結果に基づき、当該対象者の異常を検知する異常検知部と、
前記異常検知部によって前記対象者の異常が検知された場合に、前記対象者に関する情報を取得する移動可能な前記移動式情報取得装置を前記固定式情報取得装置の非取得範囲へ移動させる指示を行う移動指示部と
を備えたことを特徴とする対象者検出装置。
A target person detection device used in a target person detection system for detecting the target person based on information about the target person acquired by a fixed information acquisition device installed in a fixed manner,
Based on the detection result of the target person, an abnormality detection unit that detects an abnormality of the target person,
An instruction to move the movable information acquisition device that acquires information about the subject to a non-acquisition range of the fixed information acquisition device when an abnormality of the subject is detected by the abnormality detection unit. An object detection device comprising: a movement instruction unit for performing the operation.
固定的に設置される固定式情報取得装置によって取得された対象者に関する情報に基づいて前記対象者を検出する対象者検出システムに用いられる移動式情報取得装置であって、
駆動部と、
前記駆動部を駆動させることによって移動を実行する移動実行部と、
前記固定式情報取得装置の非取得範囲内に所在する対象者に関する情報を取得する情報取得部と
を備えたことを特徴とする移動式情報取得装置。
A mobile information acquisition device used in a target person detection system that detects the target person based on information about the target person acquired by a fixed type information acquisition apparatus installed in a fixed manner,
A drive unit;
A movement execution unit that performs movement by driving the driving unit;
An information acquisition unit comprising: an information acquisition unit that acquires information about a target person who is located within a non-acquisition range of the fixed information acquisition device.
JP2009286972A 2009-12-17 2009-12-17 Subject detection system and subject detection method Active JP5674307B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009286972A JP5674307B2 (en) 2009-12-17 2009-12-17 Subject detection system and subject detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009286972A JP5674307B2 (en) 2009-12-17 2009-12-17 Subject detection system and subject detection method

Publications (2)

Publication Number Publication Date
JP2011128911A true JP2011128911A (en) 2011-06-30
JP5674307B2 JP5674307B2 (en) 2015-02-25

Family

ID=44291442

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009286972A Active JP5674307B2 (en) 2009-12-17 2009-12-17 Subject detection system and subject detection method

Country Status (1)

Country Link
JP (1) JP5674307B2 (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196423A (en) * 2012-03-21 2013-09-30 Glory Ltd Monitoring system, monitoring device and monitoring method
JP2014197330A (en) * 2013-03-29 2014-10-16 綜合警備保障株式会社 Security device, security method and program
JP2016066312A (en) * 2014-09-25 2016-04-28 綜合警備保障株式会社 Security system and security method
WO2017099037A1 (en) * 2015-12-09 2017-06-15 ソニー株式会社 Information processing device, information processing method, and program
WO2017175360A1 (en) * 2016-04-07 2017-10-12 株式会社日立製作所 Control system and control device
JP2018018150A (en) * 2016-07-25 2018-02-01 ユニティガードシステム株式会社 Crime prevention system, crime prevention method, and robot
WO2018083798A1 (en) * 2016-11-07 2018-05-11 株式会社ラムロック Monitoring system and mobile robot device
JP2018142907A (en) * 2017-02-28 2018-09-13 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method and program of information processing apparatus
JP2018147482A (en) * 2017-02-28 2018-09-20 トヨタ自動車株式会社 Proactive acquisition of data for maintenance of appearance model by mobile robot
JP2018173788A (en) * 2017-03-31 2018-11-08 日本電気株式会社 Collation system, management device, collation method, and program
CN108831157A (en) * 2018-07-27 2018-11-16 中山火炬高新企业孵化器有限公司 A kind of garden security protection based on intelligent robot is deployed to ensure effective monitoring and control of illegal activities management system
JP2019077444A (en) * 2018-12-14 2019-05-23 みこらった株式会社 Flight body
JP2019149061A (en) * 2018-02-28 2019-09-05 パナソニックIpマネジメント株式会社 In-facility monitoring system and in-facility monitoring method
JP2019201413A (en) * 2015-03-17 2019-11-21 日本電気株式会社 Monitoring system, monitoring method, and recording medium for storing monitoring program
US10705884B2 (en) 2018-07-12 2020-07-07 Toyota Jidosha Kabushiki Kaisha Managing computational tasks in vehicle context
US10754351B2 (en) 2017-02-28 2020-08-25 Toyota Jidosha Kabushiki Kaisha Observability grid-based autonomous environment search
JP2020187720A (en) * 2019-05-13 2020-11-19 綜合警備保障株式会社 Information processing system and information processing method
JP2021082348A (en) * 2021-02-24 2021-05-27 日本電気株式会社 Collation system, management device, collation method, and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173582A (en) * 1997-08-29 1999-03-16 Nippon Signal Co Ltd:The Tracing robot for wandering aged person
JP2000339466A (en) * 1999-05-31 2000-12-08 Omron Corp Data retaining device and face image retaining device
JP2005057592A (en) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd Monitor system
JP2005103680A (en) * 2003-09-29 2005-04-21 Toshiba Corp Monitoring system and monitoring robot
JP2005329515A (en) * 2004-05-21 2005-12-02 Hitachi Ltd Service robot system
JP2008117132A (en) * 2006-11-02 2008-05-22 Fujitsu Ltd Security robot system, monitoring method using security robot, and warning method
WO2008152897A1 (en) * 2007-06-14 2008-12-18 Nec Corporation Monitoring system and monitoring method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173582A (en) * 1997-08-29 1999-03-16 Nippon Signal Co Ltd:The Tracing robot for wandering aged person
JP2000339466A (en) * 1999-05-31 2000-12-08 Omron Corp Data retaining device and face image retaining device
JP2005057592A (en) * 2003-08-06 2005-03-03 Matsushita Electric Ind Co Ltd Monitor system
JP2005103680A (en) * 2003-09-29 2005-04-21 Toshiba Corp Monitoring system and monitoring robot
JP2005329515A (en) * 2004-05-21 2005-12-02 Hitachi Ltd Service robot system
JP2008117132A (en) * 2006-11-02 2008-05-22 Fujitsu Ltd Security robot system, monitoring method using security robot, and warning method
WO2008152897A1 (en) * 2007-06-14 2008-12-18 Nec Corporation Monitoring system and monitoring method

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013196423A (en) * 2012-03-21 2013-09-30 Glory Ltd Monitoring system, monitoring device and monitoring method
JP2014197330A (en) * 2013-03-29 2014-10-16 綜合警備保障株式会社 Security device, security method and program
JP2016066312A (en) * 2014-09-25 2016-04-28 綜合警備保障株式会社 Security system and security method
JP2019201413A (en) * 2015-03-17 2019-11-21 日本電気株式会社 Monitoring system, monitoring method, and recording medium for storing monitoring program
US12067852B2 (en) 2015-03-17 2024-08-20 Nec Corporation Monitoring system, monitoring method, and monitoring program
US11533436B2 (en) 2015-03-17 2022-12-20 Nec Corporation Monitoring system, monitoring method, and monitoring program
US10887526B2 (en) 2015-03-17 2021-01-05 Nec Corporation Monitoring system, monitoring method, and monitoring program
US10728460B2 (en) 2015-03-17 2020-07-28 Nec Corporation Monitoring system, monitoring method, and monitoring program
WO2017099037A1 (en) * 2015-12-09 2017-06-15 ソニー株式会社 Information processing device, information processing method, and program
JPWO2017175360A1 (en) * 2016-04-07 2018-06-07 株式会社日立製作所 Control system and control device
WO2017175360A1 (en) * 2016-04-07 2017-10-12 株式会社日立製作所 Control system and control device
JP2018018150A (en) * 2016-07-25 2018-02-01 ユニティガードシステム株式会社 Crime prevention system, crime prevention method, and robot
WO2018083798A1 (en) * 2016-11-07 2018-05-11 株式会社ラムロック Monitoring system and mobile robot device
US11377210B2 (en) 2016-11-07 2022-07-05 Ramrock, Co., Ltd. Monitoring system and mobile robot device
JPWO2018083798A1 (en) * 2016-11-07 2019-09-19 株式会社ラムロック Monitoring system and mobile robot apparatus
US10754351B2 (en) 2017-02-28 2020-08-25 Toyota Jidosha Kabushiki Kaisha Observability grid-based autonomous environment search
JP2018147482A (en) * 2017-02-28 2018-09-20 トヨタ自動車株式会社 Proactive acquisition of data for maintenance of appearance model by mobile robot
JP2018142907A (en) * 2017-02-28 2018-09-13 キヤノンマーケティングジャパン株式会社 Information processing apparatus, control method and program of information processing apparatus
US10816974B2 (en) 2017-02-28 2020-10-27 Toyota Jidosha Kabushiki Kaisha Proactive acquisition of data for maintenance of appearance model by mobile robot
JP2018173788A (en) * 2017-03-31 2018-11-08 日本電気株式会社 Collation system, management device, collation method, and program
JP2019149061A (en) * 2018-02-28 2019-09-05 パナソニックIpマネジメント株式会社 In-facility monitoring system and in-facility monitoring method
JP7028675B2 (en) 2018-02-28 2022-03-02 パナソニックi-PROセンシングソリューションズ株式会社 In-facility monitoring system and in-facility monitoring method
US10705884B2 (en) 2018-07-12 2020-07-07 Toyota Jidosha Kabushiki Kaisha Managing computational tasks in vehicle context
CN108831157A (en) * 2018-07-27 2018-11-16 中山火炬高新企业孵化器有限公司 A kind of garden security protection based on intelligent robot is deployed to ensure effective monitoring and control of illegal activities management system
JP2019077444A (en) * 2018-12-14 2019-05-23 みこらった株式会社 Flight body
JP2020187720A (en) * 2019-05-13 2020-11-19 綜合警備保障株式会社 Information processing system and information processing method
JP7374708B2 (en) 2019-05-13 2023-11-07 綜合警備保障株式会社 Information processing system and information processing method
JP2021082348A (en) * 2021-02-24 2021-05-27 日本電気株式会社 Collation system, management device, collation method, and program
JP7088343B2 (en) 2021-02-24 2022-06-21 日本電気株式会社 Matching system, management device, matching method, and program

Also Published As

Publication number Publication date
JP5674307B2 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
JP5674307B2 (en) Subject detection system and subject detection method
EP1499129B1 (en) Object detection device, object detection server, and object detection method
JP6340538B2 (en) Biological search system
JP4984728B2 (en) Subject collation device and subject collation method
JP6155032B2 (en) Shooting system
US10728505B2 (en) Monitoring system
KR101387628B1 (en) Entrance control integrated video recorder
JP2006127240A (en) Suspicious person detection system and suspicious person detection program
KR102230552B1 (en) Device For Computing Position of Detected Object Using Motion Detect and Radar Sensor
WO2020110400A1 (en) Unmanned aerial vehicle, control method, and program
US20220139199A1 (en) Accurate digital security system, method, and program
JP2018067755A (en) Detection data management device
JP7339485B2 (en) measurement system
JP2005086626A (en) Wide area monitoring device
KR20160074208A (en) System and method for providing safety service using beacon signals
KR102511084B1 (en) Ai based vision monitoring system
JP2007122528A (en) Node management system and node management program
KR20180040255A (en) Airport robot
JP5411744B2 (en) Security system
JP7176868B2 (en) monitoring device
JP6390015B2 (en) Biological search system
TW201447825A (en) Surveillance system for image recognition
JP2019139642A (en) Device, system, and method for detecting locations
JP7442289B2 (en) Apartment housing intercom system
WO2023189476A1 (en) Guidance system, guidance method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141222

R150 Certificate of patent or registration of utility model

Ref document number: 5674307

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150