WO2019240195A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2019240195A1
WO2019240195A1 PCT/JP2019/023346 JP2019023346W WO2019240195A1 WO 2019240195 A1 WO2019240195 A1 WO 2019240195A1 JP 2019023346 W JP2019023346 W JP 2019023346W WO 2019240195 A1 WO2019240195 A1 WO 2019240195A1
Authority
WO
WIPO (PCT)
Prior art keywords
exit
entrance
person
distance image
information processing
Prior art date
Application number
PCT/JP2019/023346
Other languages
English (en)
French (fr)
Inventor
安川　徹
Original Assignee
エイアイビューライフ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイアイビューライフ株式会社 filed Critical エイアイビューライフ株式会社
Publication of WO2019240195A1 publication Critical patent/WO2019240195A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an information processing apparatus and an information processing method.
  • the position of the bed is extracted from the distance image, the person's area is detected, and the person's movement is discriminated. Specifically, the position of the bed is obtained from the frequency distribution of the height in the longitudinal direction and the short direction of the bed.
  • the human motion is determined by detecting the position of the object with respect to a predetermined height position, such as a bedded state, a state where the upper body is raised, and a standing state.
  • Patent Document 1 has a problem in that it cannot detect a detailed position or operation in an area such as a room where a person who is a care recipient is located. For example, even if a person is present in the room, there is a possibility that the person will leave the room, and such a situation cannot be detected quickly. In addition, if a person is positioned in the blind spot of a camera installed indoors, there arises a problem that such presence cannot be detected.
  • an object of the present invention is to provide an information processing apparatus that can solve the above-described problem that the detailed position and motion of a person in a monitoring area cannot be detected.
  • An information processing apparatus for acquiring a distance image of a predetermined area; Accepting means for accepting designation of an entrance / exit location having a predetermined width on the distance image and an exit / entry direction at the entrance / exit location; Detecting means for detecting a person in the distance image based on the distance image and detecting a movement state of the person with respect to the entrance / exit location and the exit / entry direction; With The configuration is as follows.
  • the accepting means accepts designation of a length along the exit / entry direction at the entrance / exit location
  • the detection means detects a movement state of the person located in an area set by a width of the entrance / exit portion and a length along the exit / entry direction;
  • the detection means performs a notification process to the outside when the person moves in one direction of the access direction at the entrance / exit.
  • the configuration is as follows.
  • the detection means activates a timer when the person moves in one direction of the exit / entry direction at the entrance / exit.
  • the configuration is as follows.
  • the detection means performs a notification process to the outside when a state in which the person does not move in the other direction of the entrance / exit at the entrance / exit portion continues for a predetermined time after the timer is activated,
  • the configuration is as follows.
  • the detection means detects the movement of the person based on the distance image, and enables or disables continuation of the detection process of the movement of the person according to the movement status of the person with respect to the entrance / exit location and the entrance / exit direction.
  • the configuration is as follows.
  • an information processing method includes: Information processing device Get a distance image of a given area, Accepting designation of an entrance / exit location having a predetermined width on the distance image and an entrance / exit direction at the entrance / exit location, Based on the distance image, a person in the distance image is detected, and the movement status of the person with respect to the entrance / exit location and the entrance / exit direction is detected.
  • Information processing device Get a distance image of a given area, Accepting designation of an entrance / exit location having a predetermined width on the distance image and an entrance / exit direction at the entrance / exit location, Based on the distance image, a person in the distance image is detected, and the movement status of the person with respect to the entrance / exit location and the entrance / exit direction is detected.
  • the configuration is as follows.
  • the program which is the other form of this invention is: In the information processing device, Distance image acquisition means for acquiring a distance image of a predetermined area; Accepting means for accepting designation of an entrance / exit location having a predetermined width on the distance image and an exit / entry direction at the entrance / exit location; Detecting means for detecting a person in the distance image based on the distance image and detecting a movement state of the person with respect to the entrance / exit location and the exit / entry direction; To realize, The configuration is as follows.
  • the present invention can provide an information processing apparatus, an information processing method, and a program that can detect the detailed position and motion of a person in a monitoring area by being configured as described above.
  • FIG. 1 It is the schematic which shows the structure of the information processing system in Embodiment 1 of this invention. It is a block diagram which shows the structure of the monitoring server disclosed in FIG. It is a figure which shows the mode of the image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of the image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of the image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of the image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of the image processing by the monitoring server disclosed in FIG. It is a flowchart which shows the processing operation of the monitoring server disclosed in FIG. It is a flowchart which shows the processing operation of the monitoring server disclosed in FIG.
  • FIGS. 1 and 2 are diagrams illustrating the configuration of the information processing system.
  • 3 to 9 are diagrams for explaining the processing operation of the information processing system.
  • the configuration and operation of the information processing system will be described with reference to the drawings.
  • the information processing system is an information processing system for monitoring the operation of a person P to be monitored, such as a cared person or a monitored person, and includes a monitoring server 10, a distance image camera C, a portable terminal 20, and the like. And a monitoring terminal 30.
  • the distance image camera C is disposed at a position where a distance image in the region R where the bed B on which the person P to be monitored lies is disposed can be photographed.
  • the distance image camera C is provided on the ceiling of a medical facility, a nursing facility, or a room in the room, and is disposed at a position where the entire bed B and the entire room can be accommodated in the image.
  • the distance image camera C is not necessarily installed on the ceiling, and may be installed in any place such as a wall or a stand.
  • the bed B to be photographed may be another bed such as a futon.
  • the distance image camera C captures a distance image with a pixel value as a distance value.
  • the distance image camera C may be of a type that measures a distance from a round-trip time when an infrared laser is projected onto a target, or may be of any type.
  • the distance image camera C has a function of photographing a distance image at a constant time interval or at a timing when a photographing instruction is received, and transmitting the distance image to the monitoring server 10 described later.
  • the mobile terminal 20 is an information processing terminal such as a smartphone that is held and operated by a user U who is a monitoring person who cares for or monitors a person who is a care recipient.
  • the portable terminal 20 is connected to and can communicate with the monitoring server 10 via wireless communication, and can input an operation instruction of the user U to the monitoring server 10 as described later.
  • the mobile terminal 20 displays a distance image captured by the distance image camera C on the display screen and an operation screen on which an operation instruction related to monitoring can be input.
  • the operation instruction is transmitted from the mobile terminal 20 to the monitoring server 10.
  • the mobile terminal 20 also has a function of receiving a notification of motion detection of a person who is a care receiver issued from the monitoring server 10 and notifying the user U.
  • the monitoring terminal 30 is an information processing terminal that is operated by a user U who is a monitoring person who cares for or monitors a person who is a care receiver.
  • the monitoring terminal 30 is installed in a place such as a monitoring room where a user U such as a monitor is present, and can be operated by a plurality of users U.
  • the monitoring terminal 30 displays a distance image on the display screen and allows an operation instruction related to monitoring to be input.
  • the operation instruction can be transmitted to the monitoring server 10 or issued from the monitoring server 10. Receiving a notification of motion detection of the person to be notified and notifying the user U.
  • the monitoring server 10 is a server device (information processing device) having an arithmetic device and a storage device. And the monitoring server 10 is provided with the distance image acquisition part 11, the area
  • the monitoring server 10 also includes a region information storage unit 16 formed in the storage device.
  • region information storage unit 16 formed in the storage device.
  • the distance image acquisition unit 11 acquires the distance image of the room including the bed B taken by the distance image camera C from the distance image camera C as described above. Then, the acquired distance image is transferred to the region setting unit 12 and the monitoring unit 13, and the distance image is used for region setting processing and monitoring processing described later.
  • the area setting unit 12 (accepting means) first receives an instruction for performing a process of setting an entrance / exit area of each place transmitted from the user U to the monitoring server 10 via the mobile terminal 20, the left side of FIG. An entrance / exit area setting screen including the distance image 21 as shown is output to be displayed on the portable terminal 20 (step S1 in FIG. 8).
  • the entrance / exit area of the door D serving as the entrance / exit of the room itself (see FIG. 3), the entrance / exit area of the toilet T in the room (see FIG. 4), and the distance image camera C in the room are photographed. It is assumed that a so-called blind spot entrance / exit area that cannot be set (see FIG. 5) can be set. However, in the present invention, it may be configured to set an entrance / exit area at any place.
  • the region setting unit 12 receives a designation input of the width 31 of the doorway entrance / exit portion on the distance image 21 from the user U via the mobile terminal 20 (step S2 in FIG. 8). For example, designation of two points representing both ends of the door D in the width direction of the entrance / exit part is accepted. Subsequently, the area setting unit 12 receives a designation input of the access direction 32 at the entrance / exit location of the door D from the user U (step S3 in FIG. 8).
  • the user performs a sliding input from the inside to the outside of the room by a touch operation, so that information indicating the direction is received as an input / exit direction 32.
  • the ⁇ mark represents the inside of the room, and the opposite side represents the outside of the door D.
  • the area setting unit 12 further accepts designation of a length along the entry / exit direction 32 of the information representing the input / exit direction 32.
  • Such a length corresponds to, for example, the slide length when the user U inputs a slide in the access direction 32.
  • input methods such as the width 31 of an entrance / exit location, the entrance / exit direction 31, and the length of an entrance / exit, are not limited to the method mentioned above.
  • the area setting unit 12 sets the area 30 formed by the width 31 of the designated entrance / exit portion of the door D and the length in the entrance / exit direction 32. For example, as indicated by a dotted line with reference numeral 30 in the right diagram of FIG. 3, a rectangular region 30 is set in which the width 31 of the entrance / exit portion and the length in the entrance / exit direction 32 are vertically and horizontally, respectively. Then, when the region setting unit 12 sets the region 30 at the entrance / exit location of the door D by measurement and calculation as described above, information indicating the region 30 and the entrance / exit direction 32 is stored in the region information storage unit 16. Registration is performed (step S4 in FIG. 8).
  • the area setting unit 12 displays the next entrance / exit location setting screen. It outputs so that it may display on the portable terminal 20. And the setting of the entrance / exit location of another place is repeated similarly to the above-mentioned.
  • the area setting unit 12 receives a designation input of the width 41 of the entrance / exit location of the toilet T on the distance image 21 and the access direction 42 at the entrance / exit location.
  • the ⁇ mark represents the interior side of the room, and the opposite side represents the toilet T side.
  • the area setting unit 12 sets a substantially rectangular area 40 formed by the width 41 of the designated entrance / exit portion of the toilet T and the length of the entrance / exit direction 42, as shown in the right figure of FIG.
  • information indicating the area 40 and the entry / exit direction 42 is stored and registered in the area information storage unit 16.
  • the region setting unit 12 receives designation input of the width 51 of the entrance / exit portion of the blind spot on the distance image 21 and the entrance / exit direction 52 at the entrance / exit location.
  • the ⁇ mark represents the interior side of the room, and the opposite corner of the room represents the blind spot.
  • the region setting unit 12 sets the region 50 formed by the width 51 of the entrance / exit portion of the designated blind spot and the length in the entrance / exit direction 52, and the region 50 And information indicating the entry / exit direction 52 is stored and registered in the area information storage unit 16.
  • the monitoring unit 13 (detection means) first performs processing for detecting a person P in the distance image 21. At this time, the monitoring unit 13 detects a moving object using, for example, the difference between the distance images 21 moving back and forth in time, and further detects the shape of the moving object (for example, the pair of the head P1 and the body P2). The person P is detected based on whether there is a corresponding object. However, the person P may be detected by any method.
  • the monitoring part 13 detects the operation
  • the monitoring unit 13 detects the height and the gravity center position of the person P, and determines the operation of the person P from the positional relationship in the distance image 21 between the height and the gravity center position.
  • the monitoring unit 13 determines the action of the person P based on the height, the position of the center of gravity of the person P, and the positional relationship between the bed B in the distance image 21, and the person is set in the detection target state in advance. It is determined whether it is an operation.
  • the detection target state for example, when the person P is sleeping on the bed B (recumbent position), when the person P is located at the boundary of the bed B (boundary position), the person P becomes the bed B There are cases of standing (standing), a case where the person P is sitting on the bed B (getting up), and a case where the person P is separated from the bed B (leaving).
  • the detection target state determined in the present invention is not limited to the above-described operation, and another operation may be determined as the detection target state.
  • the monitoring unit 13 detects the movement status of the detected person P with respect to the entrance / exit location and the entrance / exit direction at each location set as described above. In particular, the monitoring unit 13 detects in which direction along the entrance / exit direction the person P located in the areas 30, 40, 50 set at the entrance / exit at each place has moved.
  • the monitoring part 13 performs the following processes according to the moving direction of the person P along the entrance / exit direction of each entrance / exit. For example, it is assumed that the monitoring unit 13 detects that the person P is located in the area 30 where the entrance / exit part of the door D is set as shown in the left diagram of FIG. At this time, it is assumed that the monitoring unit 13 detects that the person P moves from the outside to the room in the entrance / exit direction 32 of the entrance / exit as shown in the right diagram of FIG. 6. In this case, the monitoring unit 13 validates the subsequent process of detecting the action of the person P, continuously detects the action of the person P, and detects the detection target state of the person P of the action.
  • the monitoring unit 13 detects that the person P moves from the room to the room in the direction opposite to the arrow shown in the right diagram of FIG. In this case, the monitoring unit 13 invalidates the motion detection process of the person P, does not continuously detect the motion of the person P, and issues an alert notifying the person P of the detection target state from the notification unit 14.
  • the data is output to the mobile terminal 20 or the monitoring terminal 30.
  • the monitoring unit 13 detects that the person P is located in the area 50 where the entrance / exit portion of the blind spot is set (step S11 in FIG. 9). At this time, it is assumed that the monitoring unit 13 detects that the person P moves from the room to the blind spot side in the entrance / exit direction 52 of the entrance / exit as shown in the right diagram of FIG. 7 (in steps S12 and S13 of FIG. 9). Yes). In this case, the monitoring unit 13 does not continuously detect the action of the person P, detects that the person P is in the detection target state, operates the timer (step S14 in FIG. 9), and the person P Time until it comes out from the blind spot is measured (step S15 in FIG. 9).
  • the monitoring unit 13 does not detect that the person P moves from the blind spot side to the indoor side in the entrance / exit direction 52 of the blind spot entrance / exit, that is, the person P does not exit the blind spot.
  • the time measured by the timer continues for a preset time (Yes in step S15 in FIG. 9)
  • an alert for notifying that the person P is in the detection target state from the notification unit 14 is sent to the mobile terminal 20 or The data is output to the monitoring terminal 30 (step S16 in FIG. 9).
  • the monitoring unit 13 performs the same process as described above when detecting that the person P is located in the area 40 where the entrance / exit part of the toilet T is set. Assume that the monitoring unit 13 detects that the person P moves from a predetermined location in the room to the toilet T side in the entrance / exit direction 42 at the entrance / exit location, as shown in the right diagram of FIG. 4. In this case, the monitoring unit 13 does not continuously detect the action of the person P, detects that the person P is in the detection target state, operates the timer, and until the person P comes out of the toilet T. Measure the time.
  • the monitoring unit 13 Thereafter, when the monitoring unit 13 does not come out of the toilet in the entrance / exit direction 42 of the entrance / exit portion of the toilet T and the measurement time by the timer continues for a preset time, the monitoring unit 13 14, an alert for notifying the detection target of the person P is output to the mobile terminal 20 and the monitoring terminal 30.
  • the present invention when a person P who is a care recipient is present in a room, it is possible to quickly detect a detection target state such as being located in a blind spot of the camera in the room or going out of the room. It is possible to detect the error and to promptly notify a caregiver or the like.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (Random Access Memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

本発明の情報処理装置は、所定領域の距離画像を取得する距離画像取得手段と、距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、距離画像に基づいて、当該距離画像内の人物を検出すると共に、出入口箇所及び出入り方向に対する前記人物の移動状況を検出する検出手段と、を備える。

Description

情報処理装置
　本発明は、情報処理装置及び情報処理方法に関する。
　近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
　特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。
特開２０１２－０３００４２号公報
　しかしながら、上述した特許文献１の技術では、被介護者である人物が所在している室内などの領域における詳細な位置や動作については検出することができない、という問題が生じる。例えば、人物が室内に在室している場合であっても、その後、退出してしまう可能性もあり、かかる状況を迅速に検出することができない。また、人物が室内に設置したカメラの死角に位置してしまうと、かかる存在も検出することができない、という問題が生じる。
　このため、本発明の目的は、上述した課題である、監視領域における人物の詳細な位置や動作を検出することができない、ということを解決することができる情報処理装置を提供することにある。
　本発明の一形態である情報処理装置は、
　所定領域の距離画像を取得する距離画像取得手段と、
　前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
　前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
を備えた、
という構成をとる。
　また、上記情報処理装置では、
　前記受付手段は、前記出入口箇所における前記出入り方向に沿った長さの指定を受け付け、
　前記検出手段は、前記出入口箇所の幅と前記出入り方向に沿った長さとにより設定される領域内に位置する前記人物の移動状況を検出する、
という構成をとる。
　また、上記情報処理装置では、
　前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、外部への通知処理を行う、
という構成をとる。
　また、上記情報処理装置では、
　前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、タイマーを作動させる、
という構成をとる。
　また、上記情報処理装置では、
　前記検出手段は、前記タイマーの作動後、前記人物が前記出入口箇所における前記出入り方向の他方向に移動しない状況が所定時間継続した場合に、外部への通知処理を行う、
という構成をとる。
　また、上記情報処理装置では、
　前記検出手段は、前記距離画像に基づいて前記人物の動作を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況に応じて、当該人物の動作の検出処理の継続を有効又は無効とする、
という構成をとる。
　また、本発明の他の形態である情報処理方法は、
　情報処理装置が、
　所定領域の距離画像を取得し、
　前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付け、
　前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する、
という構成をとる。
　また、本発明の他の形態であるプログラムは、
　情報処理装置に、
　所定領域の距離画像を取得する距離画像取得手段と、
　前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
　前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
を実現させる、
という構成をとる。
　本発明は、以上のように構成されることにより、監視領域における人物の詳細な位置や動作を検出することができる、情報処理装置、情報処理方法、プログラムを提供することができる。
本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。 図１に開示した監視サーバの処理動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図９を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図９は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
　本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの動作を監視するための情報処理システムであり、監視サーバ１０と、距離画像カメラＣと、携帯端末２０と、監視端末３０と、を備えて構成されている。
　上記距離画像カメラＣは、監視対象となる人物Ｐが横たわるベッドＢが配置された領域Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドＢ全体及び可能な限り部屋全体が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドＢは、布団といった他の寝床であってもよい。
　距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式のものであってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。
　上記携帯端末２０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物の動作検知の通知を受信して、ユーザＵに報知する機能も有する。
　上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の動作検知の通知を受信して、ユーザＵに報知する機能を有する。
　上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、領域特定部１２、監視部１３、通知部１４、を備えている。また、監視サーバ１０は、記憶装置に形成された、領域情報記憶部１６を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も、図８及び図９のフローチャートを参照して説明する。なお、監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。
　上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢを含む室内の距離画像を、当該距離画像カメラＣから取得する。そして、取得した距離画像を、領域設定部１２、監視部１３に渡し、当該距離画像は後述する領域設定処理や監視処理に用いられる。
　上記領域設定部１２（受付手段）は、まず、ユーザＵから携帯端末２０を介して監視サーバ１０に送信された各場所の出入口領域を設定する処理を行う指令を受け付けると、図３左図に示すような、距離画像２１を含む出入口領域設定画面を携帯端末２０に表示するよう出力する（図８のステップＳ１）。なお、本実施形態では、部屋自体の出入口となるドアＤの出入口領域と（図３参照）、部屋内のトイレＴの出入口領域と（図４参照）、部屋内における距離画像カメラＣにて撮影不可能ないわゆる死角の出入口領域と（図５参照）、を設定可能であることとする。但し、本発明では、いかなる場所の出入口領域を設定するよう構成されていてもよい。
　まず、図３を参照して、部屋自体の出入口となるドアＤの出入口領域を設定する場合を説明する。領域設定部１２は、ユーザＵから携帯端末２０を介して、距離画像２１上におけるドアＤの出入口箇所の幅３１の指定入力を受け付ける（図８のステップＳ２）。例えば、ドアＤの出入口箇所の幅方向の両端を表す２点の指定を受け付ける。続いて、領域設定部１２は、ユーザＵから、ドアＤの出入口箇所における出入り方向３２の指定入力を受け付ける（図８のステップＳ３）。
　ここでは、携帯端末２０の表示画面上において、ユーザがタッチ操作により、部屋の内部側から外側に向かってスライド入力することで、かかる方向を表す情報を出入り方向３２の入力として受け付ける。図３左図の符号３２の例では、●印が部屋の内部側を表しており、その反対側がドアＤの外側を表していることとする。このとき、さらに領域設定部１２は、入力された出入り方向３２を表す情報の当該出入り方向３２に沿った長さの指定も受け付ける。かかる長さは、例えば、ユーザＵによる出入り方向３２のスライド入力時におけるスライド長さに相当する。なお、出入口箇所の幅３１や出入り方向３１、出入り方向の長さなどの入力方法は、上述した方法に限定されない。
　また、領域設定部１２は、指定されたドアＤの出入口箇所の幅３１と、出入口方向３２の長さと、により形成される領域３０を設定する。例えば、図３右図の符号３０の点線で示すように、出入口箇所の幅３１と出入口方向３２の長さとをそれぞれ縦横とする長方形の領域３０を設定する。そして、領域設定部１２は、以上のようにして計測及び算出によりドアＤの出入口箇所の領域３０を設定すると、かかる領域３０と出入り方向３２を表す情報を、領域情報記憶部１６に記憶して登録する（図８のステップＳ４）。
　その後、領域設定部１２は、出入口箇所の設定が完了せず、他にも出入口箇所の設定を行う場所がある場合には（図８のステップＳ５でＮｏ）、次の出入口箇所の設定画面を携帯端末２０に表示するよう出力する。そして、上述同様に、他の場所の出入口箇所の設定を繰り返す。
　ここで、図４を参照して、部屋内のトイレＴの出入口領域を設定する場合を説明する。領域設定部１２は、上述同様に、距離画像２１上におけるトイレＴの出入口箇所の幅４１と、かかる出入口箇所における出入り方向４２と、の指定入力を受け付ける。ここでは、図４左図の符号４２の例では、●印が部屋の内部側を表しており、その反対側がトイレＴ側を表していることとする。そして、領域設定部１２は、図４右図に示すように、指定されたトイレＴの出入口箇所の幅４１と、出入口方向４２の長さと、により形成される略長方形形状の領域４０を設定して、かかる領域４０と出入り方向４２を表す情報を、領域情報記憶部１６に記憶して登録する。
　さらに、図５を参照して、部屋内において距離画像カメラＣにて撮影不可能ないわゆる死角の出入口領域を設定する場合を説明する。領域設定部１２は、上述同様に、距離画像２１上における死角の出入口箇所の幅５１と、かかる出入口箇所における出入り方向５２と、の指定入力を受け付ける。ここでは、図５左図の符号５２の例では、●印が部屋の内部側を表しており、その反対側である部屋の隅側が死角を表していることとする。そして、領域設定部１２は、図５右図に示すように、指定された死角の出入口箇所の幅５１と、出入口方向５２の長さと、により形成される領域５０を設定して、かかる領域５０と出入り方向５２を表す情報を、領域情報記憶部１６に記憶して登録する。
　次に、上記監視部１３の構成と動作について説明する。監視部１３（検出手段）は、まず、距離画像２１内における人物Ｐを検出する処理を行う。このとき、監視部１３は、例えば、時間的に前後する距離画像２１の差分を用いて移動する物体を検出し、さらに、移動する物体の形状（例えば、頭部Ｐ１及び胴体部Ｐ２の対に相当する物体があるか）に基づいて、人物Ｐとして検出する。但し、人物Ｐの検出は、いかなる方法で行ってもよい。
　そして、監視部１３は、人物Ｐの動作を検出して、当該動作に応じた人物Ｐの検知対象状態の検出を行う。例えば、監視部１３は、人物Ｐの高さと重心位置を検出し、当該高さと重心位置との距離画像２１内における位置関係から、人物Ｐの動作を判定する。このとき、監視部１３は、人物Ｐの高さと重心位置と距離画像２１内のベッドＢとの位置関係にも基づいて、人物Ｐの動作を判定し、人物が予め検知対象状態と設定された動作であるか否かを判定する。本実施形態では、検知対象状態として、例えば、人物PがベッドB上に寝ている場合（臥位）、人物ＰがベッドＢの境界に位置する場合（境界位）、人物ＰがベッドＢに立つ場合（立位）、人物ＰがベッドＢ上に座っている場合（起き上がり）、人物ＰがベッドＢから離れた場合（離床）、がある。但し、本発明で判定する検知対象状態は、上述した動作に限定されず、他の動作を検知対象状態として判定してもよい。
　さらに、監視部１３は、上述したように設定した各場所における出入口箇所及び出入り方向に対する、検出した人物Ｐの移動状況を検出する。特に、監視部１３は、各場所における出入口に設定された領域３０，４０，５０内に位置する人物Ｐが、出入り方向に沿ったいずれの方向に移動したかを検出する。
　そして、監視部１３は、各出入口の出入口方向に沿った人物Ｐの移動方向に応じて、以下のような処理を行う。例えば、監視部１３は、図６左図に示すように、ドアＤの出入口箇所の設定された領域３０に人物Ｐが位置していることを検出したとする。このとき、監視部１３は、図６右図に示すように、出入口箇所の出入口方向３２において、人物Ｐが室外から室内に移動することを検出したとする。この場合、監視部１３は、その後の人物Ｐの動作を検出する処理を有効とし、当該人物Ｐの動作を継続的に検出して、当該動作の人物Ｐの検知対象状態を検出する。
　一方で、監視部１３は、図６右図に示す矢印とは反対方向、つまり、出入口箇所の出入口方向３２において、人物Ｐが室内から室外に移動することを検出したとする。この場合、監視部１３は、人物Ｐの動作の検出処理を無効とし、当該人物Ｐの動作を継続的に検出せず、通知部１４から人物Ｐの検知対象状態であることを通知するアラートを携帯端末２０や監視端末３０に出力する。
　また、監視部１３は、図７左図に示すように、死角の出入口箇所の設定された領域５０に人物Ｐが位置していることを検出したとする（図９のステップＳ１１）。このとき、監視部１３は、図７右図に示すように、出入口箇所の出入口方向５２において、人物Ｐが室内から死角側に移動することを検出したとする（図９のステップＳ１２，Ｓ１３でＹｅｓ）。この場合、監視部１３は、人物Ｐの動作を継続的に検出せず、人物Ｐの検知対象状態であることを検知して、タイマーを作動させ（図９のステップＳ１４）、当該人物Ｐが死角から出てくるまでの時間を計測する（図９のステップＳ１５）。
　その後、監視部１３は、人物Ｐが死角の出入口箇所の出入口方向５２において、死角側から室内側に向かう方向に移動することを検知せず、つまり人物Ｐが死角から出てこない場合であって、上記タイマーによる計測時間が予め設定された時間だけ継続した場合には（図９のステップＳ１５でＹｅｓ）、通知部１４から人物Ｐの検知対象状態であることを通知するアラートを携帯端末２０や監視端末３０に出力する（図９のステップＳ１６）。
　なお、監視部１３は、図４左図に示すように、トイレＴの出入口箇所の設定された領域４０に人物Ｐが位置していることを検出した場合も、上記同様に処理する。監視部１３は、図４右図に示すように、出入口箇所の出入口方向４２において、人物Ｐが室内の所定箇所からトイレＴ側に移動することを検出したとする。この場合、監視部１３は、人物Ｐの動作を継続的に検出せず、人物Ｐの検知対象状態であることを検知して、タイマーを作動させ、当該人物ＰがトイレＴから出てくるまでの時間を計測する。その後、監視部１３は、人物ＰがトイレＴの出入口箇所の出入口方向４２においてトイレから出てこない場合であって、上記タイマーによる計測時間が予め設定された時間だけ継続した場合には、通知部１４から人物Ｐの検知対象を通知するアラートを携帯端末２０や監視端末３０に出力する。
　以上のように、本発明によると、被介護者である人物Ｐが室内に存在している場合に、かかる室内においてカメラの死角に位置したり、室外に出てしまうなどの検知対象状態を迅速に検出することができ、また、介護者等に迅速に通知することができる。
　なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２０１８年６月１５日に特許出願された特願２０１８－１１４２１７の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１０　監視サーバ
１１　距離画像取得部
１２　領域設定部
１３　監視部
１４　通知部
１６　領域情報記憶部
２０　携帯端末
２１　距離画像
３０　監視端末
Ｂ　ベッド
Ｃ　距離画像カメラ
Ｐ　人物
Ｕ　ユーザ
 

Claims (8)

  1. 　所定領域の距離画像を取得する距離画像取得手段と、
    　前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
    　前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
    を備えた情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記受付手段は、前記出入口箇所における前記出入り方向に沿った長さの指定を受け付け、
    　前記検出手段は、前記出入口箇所の幅と前記出入り方向に沿った長さとにより設定される領域内に位置する前記人物の移動状況を検出する、
    情報処理装置。
  3. 　請求項１又は２に記載の情報処理装置であって、
    　前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、外部への通知処理を行う、
    情報処理装置。
  4. 　請求項１乃至３のいずれかに記載の情報処理装置であって、
    　前記検出手段は、前記出入口箇所における前記出入り方向の一方向に前記人物が移動した場合に、タイマーを作動させる、
    情報処理装置。
  5. 　請求項４に記載の情報処理装置であって、
    　前記検出手段は、前記タイマーの作動後、前記人物が前記出入口箇所における前記出入り方向の他方向に移動しない状況が所定時間継続した場合に、外部への通知処理を行う、
    情報処理装置。
  6. 　請求項１乃至５のいずれかに記載の情報処理装置であって、
    　前記検出手段は、前記距離画像に基づいて前記人物の動作を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況に応じて、当該人物の動作の検出処理の継続を有効又は無効とする、
    情報処理装置。
  7. 　情報処理装置が、
    　所定領域の距離画像を取得し、
    　前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付け、
    　前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する、
    情報処理方法。
  8. 　情報処理装置に、
    　所定領域の距離画像を取得する距離画像取得手段と、
    　前記距離画像上における所定の幅を有する出入口箇所と、当該出入口箇所における出入り方向と、の指定を受け付ける受付手段と、
    　前記距離画像に基づいて、当該距離画像内の人物を検出すると共に、前記出入口箇所及び前記出入り方向に対する前記人物の移動状況を検出する検出手段と、
    を実現させるためのプログラム。
     
PCT/JP2019/023346 2018-06-15 2019-06-12 情報処理装置 WO2019240195A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018114217A JP7232497B2 (ja) 2018-06-15 2018-06-15 情報処理装置
JP2018-114217 2018-06-15

Publications (1)

Publication Number Publication Date
WO2019240195A1 true WO2019240195A1 (ja) 2019-12-19

Family

ID=68842244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/023346 WO2019240195A1 (ja) 2018-06-15 2019-06-12 情報処理装置

Country Status (2)

Country Link
JP (1) JP7232497B2 (ja)
WO (1) WO2019240195A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7563401B2 (ja) 2022-02-15 2024-10-08 コニカミノルタ株式会社 見守り監視システム、見守り監視方法、および見守り監視プログラム
JP7279241B1 (ja) 2022-08-03 2023-05-22 セーフィー株式会社 システムおよびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004256A (ja) * 2003-06-09 2005-01-06 Omron Corp 在室者の挙動監視システムおよび在室検知システム
JP2016131028A (ja) * 2011-10-19 2016-07-21 能美防災株式会社 防災設備および障害物検知装置
JP2016170701A (ja) * 2015-03-13 2016-09-23 ノーリツプレシジョン株式会社 浴室異常検知装置、浴室異常検知方法、及び、浴室異常検知プログラム
JP2017228042A (ja) * 2016-06-21 2017-12-28 グローリー株式会社 監視装置、監視システム、監視方法及び監視プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3779494B2 (ja) 1998-06-03 2006-05-31 松下電器産業株式会社 動き検出装置及び記録媒体
JP2006048217A (ja) 2004-08-02 2006-02-16 Masanori Fujisawa 警報システム
JP4543830B2 (ja) 2004-08-26 2010-09-15 パナソニック電工株式会社 異常検知装置
JP5228290B2 (ja) 2006-06-30 2013-07-03 ソニー株式会社 監視システム、監視装置及び監視方法
JP2011002339A (ja) 2009-06-18 2011-01-06 Panasonic Electric Works Co Ltd 物体検知装置
JP6373680B2 (ja) 2014-07-29 2018-08-15 株式会社東芝 電子機器、セキュリティ処理方法およびプログラム
JP6476945B2 (ja) 2015-02-09 2019-03-06 サクサ株式会社 画像処理装置
JP6607253B2 (ja) 2015-05-20 2019-11-20 ノーリツプレシジョン株式会社 画像解析装置、画像解析方法、及び、画像解析プログラム
WO2016194402A1 (ja) 2015-05-29 2016-12-08 ノ－リツプレシジョン株式会社 画像解析装置、画像解析方法、及び、画像解析プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005004256A (ja) * 2003-06-09 2005-01-06 Omron Corp 在室者の挙動監視システムおよび在室検知システム
JP2016131028A (ja) * 2011-10-19 2016-07-21 能美防災株式会社 防災設備および障害物検知装置
JP2016170701A (ja) * 2015-03-13 2016-09-23 ノーリツプレシジョン株式会社 浴室異常検知装置、浴室異常検知方法、及び、浴室異常検知プログラム
JP2017228042A (ja) * 2016-06-21 2017-12-28 グローリー株式会社 監視装置、監視システム、監視方法及び監視プログラム

Also Published As

Publication number Publication date
JP7232497B2 (ja) 2023-03-03
JP2019220735A (ja) 2019-12-26

Similar Documents

Publication Publication Date Title
JP2018097487A (ja) 監視装置及びプログラム
KR102601978B1 (ko) 시큐리티 관리 시스템
WO2017212690A1 (ja) 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体
WO2019240195A1 (ja) 情報処理装置
WO2019240196A1 (ja) 情報処理装置
WO2020031850A1 (ja) 情報処理装置
JP7363780B2 (ja) レポート出力プログラム、レポート出力方法、およびレポート出力装置
JP7062753B2 (ja) 監視システム及び監視方法
US11513007B2 (en) Notification control device, notification control system, and notification control method
JP2020187389A (ja) 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法
WO2019240197A1 (ja) 情報処理装置
JP6115689B1 (ja) 転倒検知装置および転倒検知方法ならびに被監視者監視装置
WO2020021897A1 (ja) 情報処理装置
JP2022126069A (ja) 画像処理方法
JP7039011B2 (ja) 情報処理装置
JP2022126071A (ja) 画像処理方法
WO2019163561A1 (ja) 情報処理装置
JP2022126070A (ja) 画像処理方法
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2020149126A1 (ja) 情報処理装置
WO2020145145A1 (ja) 情報処理装置
JP7354634B2 (ja) 制御装置、制御プログラム、および制御方法
JP6778131B2 (ja) ナースコールシステム
JP3215201U (ja) 監視装置
JP2021189761A (ja) 算出装置、算出システム、プログラムおよび算出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19820464

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19820464

Country of ref document: EP

Kind code of ref document: A1