JP2005277640A - Device and method for setting image area - Google Patents

Device and method for setting image area Download PDF

Info

Publication number
JP2005277640A
JP2005277640A JP2004086257A JP2004086257A JP2005277640A JP 2005277640 A JP2005277640 A JP 2005277640A JP 2004086257 A JP2004086257 A JP 2004086257A JP 2004086257 A JP2004086257 A JP 2004086257A JP 2005277640 A JP2005277640 A JP 2005277640A
Authority
JP
Japan
Prior art keywords
motion detection
image
region
area
setting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004086257A
Other languages
Japanese (ja)
Other versions
JP4846203B2 (en
Inventor
Taketo Sasaki
雄飛 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004086257A priority Critical patent/JP4846203B2/en
Publication of JP2005277640A publication Critical patent/JP2005277640A/en
Application granted granted Critical
Publication of JP4846203B2 publication Critical patent/JP4846203B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image area setting device and an image area setting method capable of simply setting a motion detection area even if a photography range is changed by the travel of a photography means. <P>SOLUTION: The image area setting device sets the motion detection area in an image obtained by allowing a photographing part 301 to change the photography range for photography. The image area setting device has a detection area production section 108, which sets a first motion detection area in a first image photographed by the photographing part 301, and sets a second motion detection area corresponding to the first motion detection area in a second image based on the relationship between the second image photographed by the photographing part 301 and the first image. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、主として画像により侵入者等の発見を行う監視システムに用いられ、撮影によって得られる画像において、動き検出領域を設定する画像領域設定装置及び画像領域設定方法に関する。   The present invention relates to an image region setting apparatus and an image region setting method for setting a motion detection region in an image obtained mainly by use in a monitoring system that detects an intruder or the like by using an image.

従来、侵入者等の発見を可能とする監視システムは、カメラが撮影することによって得られた画像を他所に伝達する。他所にいる監視者は、伝達された画像の目視を行い、侵入者等の発見を行う。しかし、監視者による目視では、人手を要することになるため、この人手を節約するために、自動的に画像内の動きを検出する機能が提案されている。   2. Description of the Related Art Conventionally, a monitoring system that enables discovery of an intruder or the like transmits an image obtained by a camera to other places. A monitor in another place looks at the transmitted image and finds an intruder or the like. However, since visual inspection by a supervisor requires human labor, a function for automatically detecting motion in an image has been proposed in order to save the human labor.

動き検出としては、現時点での画像と直前の撮影により得られた画像とを比較し、相違がある場合に動きがあったと判断する方法と、あらかじめ異常のない状態の画像(以下、「基準画像」と称する)を記録しておき、現時点での画像と基準画像とを比較し、相違がある場合に動きがあったと判断する方法とがある。   For motion detection, a comparison is made between the current image and the image obtained by the previous shooting, and when there is a difference, it is determined that there is a motion, and an image with no abnormality in advance (hereinafter referred to as “reference image”). Is recorded), the current image and the reference image are compared, and if there is a difference, it is determined that there is a movement.

ところで、動き検出においては、必ずしも画像全体の動きでなく、一部の領域における動きのみを検出したいとの要望がある。例えば、ゲートからの侵入者の監視の場合には、ゲートから進入する者だけが検出されればよく、その他の通行人等は動きがあったとしても検出されない方が望ましい。このため、作業者が画像内において動きを検出すべき領域(動き検出領域)を設定可能な動き検出機能が提案されている(例えば、特許文献1参照)。   By the way, in motion detection, there is a demand to detect only motion in a partial area, not necessarily motion of the entire image. For example, in the case of monitoring an intruder from a gate, only a person entering from the gate needs to be detected, and it is desirable that other passersby are not detected even if there is movement. For this reason, a motion detection function has been proposed in which an operator can set a region (motion detection region) in which motion should be detected in an image (see, for example, Patent Document 1).

実空間における動き検出領域の一例を図16に示し、撮影によって得られる画像内における動き検出領域の一例を図17に示す。図16に示すカメラ402の撮影によって図17に示す画像404が得られる場合、作業者が画像404内の長方形領域405が動き検出領域として設定すると、この長方形領域405は、実空間においてはカメラ402を頂点とする錐状領域403に対応付けられる。   An example of the motion detection area in the real space is shown in FIG. 16, and an example of the motion detection area in the image obtained by photographing is shown in FIG. When the image 404 shown in FIG. 17 is obtained by photographing with the camera 402 shown in FIG. 16, when the operator sets the rectangular area 405 in the image 404 as the motion detection area, the rectangular area 405 is not displayed in the real space. Is associated with a cone-shaped area 403 having a vertex as a vertex.

また、従来の監視システムでは、撮影範囲が固定されたカメラを用いることが一般的であるために死角が多くなり、この死角を解消するためには多くのカメラを使用する必要がありコストが増加するという問題があった。このため、昨今の無線通信技術と、ロボットに代表される移動体技術とを用いた移動体を利用した画像監視機能が提案されている(例えば、特許文献2参照)。移動体にカメラを搭載することにより、撮影範囲が広がり、死角を解消することが可能となる。   In addition, in conventional surveillance systems, it is common to use a camera with a fixed shooting range, so there are many blind spots. To eliminate this blind spot, it is necessary to use many cameras and the cost increases. There was a problem to do. For this reason, an image monitoring function using a moving body using a recent wireless communication technique and a moving body technique represented by a robot has been proposed (for example, see Patent Document 2). By mounting the camera on the moving body, the shooting range is widened, and the blind spot can be eliminated.

しかし、このようなカメラの撮影範囲が変化する監視システムでは、前述の動き検出の手法を用いることが困難である。具体的には、現時点での画像と直前の撮影によって得られる画像とを比較する方法では、画像の変化はカメラの移動によっても生じるため、両者の比較により動きを検出することはできない。一方、現時点での画像と基準画像とを比較する方法では、撮影範囲の変化に応じて複数の基準画像を設定する(例えば、特許文献3参照)。
特開2000−3480号公報 特開平8−7186号公報 特開2002−158999号公報
However, it is difficult to use the above-described motion detection method in such a monitoring system in which the shooting range of the camera changes. Specifically, in the method of comparing the current image with the image obtained by the previous shooting, the change in the image is also caused by the movement of the camera, and therefore the motion cannot be detected by comparing the two. On the other hand, in the method of comparing the current image with the reference image, a plurality of reference images are set according to the change in the shooting range (see, for example, Patent Document 3).
JP 2000-3480 A JP-A-8-7186 JP 2002-158999 A

しかしながら、従来の動き検出の手法において、撮影範囲が変化する場合、撮影範囲の異なる個々の基準画像毎に動き検出領域を設定する必要があり、作業者の負担が大きいという問題があった。   However, in the conventional motion detection method, when the shooting range changes, it is necessary to set a motion detection region for each reference image having a different shooting range, and there is a problem that the burden on the operator is heavy.

本発明は、従来の問題を解決するためになされたもので、撮影手段が移動することにより撮影範囲が変化する場合においても、動き検出領域を簡易に設定可能な画像領域設定装置及び画像領域設定方法を提供することを目的とする。   The present invention has been made to solve the conventional problems, and an image area setting device and an image area setting capable of easily setting a motion detection area even when an imaging range changes due to movement of an imaging unit. It aims to provide a method.

本発明の画像領域設定装置は、撮影手段が撮影範囲を変化させつつ撮影して得られた画像内において、動き検出領域を設定するものであって、前記撮影手段が撮影して得られた第1の画像内に第1の動き検出領域を設定する第1の動き検出領域設定手段と、前記撮影手段が撮影して得られた第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き検出領域に対応する第2の動き検出領域を設定する第2の動き検出領域設定手段とを有する構成となる。   An image area setting device according to the present invention sets a motion detection area in an image obtained by photographing while the photographing means changes the photographing range, and is obtained by photographing by the photographing means. A first motion detection region setting means for setting a first motion detection region in one image, and a relationship between the second image obtained by photographing by the photographing means and the first image; And a second motion detection region setting means for setting a second motion detection region corresponding to the first motion detection region in the second image.

この構成により、撮影手段の撮影により得られたいずれかの画像を第1の画像とし、この第1の画像と、第1の画像以外の第2の画像との関連性に基づいて、第2の画像内に、第1の画像内に設定された第1の動き検出領域に対応する第2の動き検出領域が設定される。このため、撮影範囲が変化する場合においても、人手を介することなく、第2の画像内に、第2の動き検出領域を設定することができる。   With this configuration, any image obtained by photographing by the photographing unit is set as the first image, and the second image is based on the relationship between the first image and the second image other than the first image. A second motion detection area corresponding to the first motion detection area set in the first image is set in the first image. For this reason, even when the shooting range changes, the second motion detection region can be set in the second image without manual intervention.

また、本発明の画像領域設定装置は、前記第2の動き検出領域設定手段が、前記第2の画像内に前記第1の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記第1の動き検出領域に対応する領域を前記第2の動き検出領域として設定する構成とすることができる。   In the image region setting device of the present invention, the second motion detection region setting unit determines whether or not a region corresponding to the first motion detection region is included in the second image, If included, the region corresponding to the first motion detection region may be set as the second motion detection region.

この構成により、必要に応じた第2の動き検出領域の設定を適切に行うことが可能となる。   With this configuration, it is possible to appropriately set the second motion detection area as necessary.

また、本発明の画像領域設定装置は、前記第2の動き検出領域設定手段が、前記第1の画像と前記第1の動き検出領域との対応関係に基づいて、前記第2の動き検出領域を設定する構成とすることができる。   In the image region setting device according to the present invention, the second motion detection region setting means may be configured such that the second motion detection region is based on a correspondence relationship between the first image and the first motion detection region. Can be configured.

この構成により、第1の画像と第1の動き検出領域との対応関係から第1の動き検出領域の位置や範囲を適切にとらえ、第2の動き検出領域の設定を適切に行うことが可能となる。   With this configuration, it is possible to appropriately determine the position and range of the first motion detection area from the correspondence between the first image and the first motion detection area, and to appropriately set the second motion detection area. It becomes.

また、本発明の画像領域設定装置は、前記第2の動き検出領域設定手段が、前記第1の画像が得られた際の前記撮影手段の位置情報及び姿勢情報と、前記第2の画像が得られた際の前記撮影手段の位置情報及び姿勢情報とに基づいて、前記第2の動き検出領域を設定する構成とすることができる。   In the image region setting device according to the present invention, the second motion detection region setting unit may include the position information and posture information of the photographing unit when the first image is obtained, and the second image. The second motion detection region can be set based on the position information and posture information of the photographing unit obtained at the time.

この構成により、第1の画像が得られた際の撮影手段の位置情報及び姿勢情報と、第2の画像が得られた際の撮影手段の位置情報及び姿勢情報とに基づいて、第1の画像及び第2の画像の撮影範囲を把握し、第2の動き検出領域の設定を適切に行うことが可能となる。   With this configuration, based on the position information and posture information of the photographing unit when the first image is obtained, and the position information and posture information of the photographing unit when the second image is obtained, It is possible to grasp the shooting ranges of the image and the second image and appropriately set the second motion detection area.

また、本発明の画像領域設定装置は、前記第1の動き検出領域設定手段が、前記第1の動き検出領域としての3次元空間領域を設定し、前記第2の動き検出領域設定手段は、前記第2の動き検出領域としての3次元空間領域を設定する構成とすることができる。   In the image region setting device of the present invention, the first motion detection region setting unit sets a three-dimensional space region as the first motion detection region, and the second motion detection region setting unit includes: A three-dimensional space area as the second motion detection area can be set.

この構成により、動き検出領域としての第1の動き検出領域及び第2の動き検出領域を3次元空間領域として設定することが可能となる。   With this configuration, it is possible to set the first motion detection region and the second motion detection region as the motion detection region as a three-dimensional space region.

また、本発明の画像領域設定装置は、前記第1の動き検出領域設定手段が、前記第1の画像における平面領域と奥行とによって形成される前記3次元空間領域を設定する構成とすることができる。   Moreover, the image area setting device of the present invention is configured such that the first motion detection area setting means sets the three-dimensional space area formed by the planar area and the depth in the first image. it can.

この構成により、第1の画像における平面領域と奥行とに関する情報を用いて第2の動き検出領域を適切に設定することが可能となる。   With this configuration, it is possible to appropriately set the second motion detection region using information regarding the planar region and the depth in the first image.

また、本発明の画像領域設定装置は、前記第1の動き検出領域設定手段が、前記平面領域と、前記第1の画像における前方の奥行及び後方の奥行の少なくとも一方とによって形成される錐状、錐台状及び直方体状のいずれかの前記3次元空間領域を設定する構成とすることができる。   In the image region setting device of the present invention, the first motion detection region setting means is formed in a cone shape formed by the planar region and at least one of a front depth and a rear depth in the first image. Further, the three-dimensional space region can be set to any one of a frustum shape and a rectangular parallelepiped shape.

また、本発明の画像領域設定装置は、前記第1の動き検出領域設定手段が、前記第1の画像における位置が既知の基準点を利用して前記前方の奥行及び前記後方の奥行を設定する構成とすることができる。   In the image region setting device of the present invention, the first motion detection region setting means sets the front depth and the rear depth using a reference point whose position in the first image is known. It can be configured.

また、本発明の画像領域設定装置は、前記第1の動き検出領域設定手段が、所定位置を中心とし、前記所定位置からの距離を径とする球状の前記3次元空間領域を設定する構成とすることができる。   In the image region setting device according to the present invention, the first motion detection region setting unit sets the spherical three-dimensional space region having a predetermined position as a center and a distance from the predetermined position as a diameter. can do.

この構成により、第1の画像における所定位置とその所定位置からの距離とを用いて球状の第2の動き検出領域を適切に設定することが可能となる。   With this configuration, it is possible to appropriately set the spherical second motion detection region using the predetermined position in the first image and the distance from the predetermined position.

また、本発明の画像領域設定装置は、前記第1の動き検出領域設定手段が、複数の前記第1の動き検出領域を設定し、前記第2の動き検出領域設定手段は、複数の前記第1の動き検出領域の各々に対応する複数の前記第2の動き検出領域を設定する構成とすることができる。   In the image region setting device of the present invention, the first motion detection region setting unit sets a plurality of the first motion detection regions, and the second motion detection region setting unit includes a plurality of the first motion detection regions. A plurality of the second motion detection areas corresponding to each of the one motion detection areas can be set.

また、本発明の画像領域設定装置は、前記第1の動き検出領域設定手段が、前記第1の動き検出領域の各々に優先度を設定し、前記第2の動き検出領域設定手段が、前記第2の動き検出領域の各々に優先度を設定する構成とすることができる。   In the image region setting device of the present invention, the first motion detection region setting unit sets a priority for each of the first motion detection regions, and the second motion detection region setting unit includes the It can be set as the structure which sets a priority to each of a 2nd motion detection area | region.

また、本発明の画像領域設定装置は、前記第1の画像内に動きを検出すべきでない第1の動き非検出領域を設定する第1の動き非検出領域設定手段と、前記第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き非検出領域に対応する動きを検出すべきでない第2の動き非検出領域を設定する第2の動き検出領域設定手段とを有する構成とすることができる。   The image area setting device of the present invention includes a first motion non-detection area setting means for setting a first motion non-detection area in which motion should not be detected in the first image, and the second image. And a second motion non-detection region in which a motion corresponding to the first motion non-detection region should not be detected is set in the second image based on the relationship between the first image and the first image. The motion detection area setting means can be configured.

また、本発明の画像領域設定方法は、撮影手段が撮影範囲を変化させつつ撮影して得られた画像内において、動き検出領域を設定するものであって、前記撮影手段が撮影して得られた第1の画像内に第1の動き検出領域を設定する第1の動き検出領域設定ステップと、前記撮影手段が撮影して得られた第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き検出領域に対応する第2の動き検出領域を設定する第2の動き検出領域設定ステップとを有する構成となる。   The image area setting method of the present invention is to set a motion detection area in an image obtained by photographing while changing the photographing range by the photographing means, and obtained by photographing by the photographing means. A first motion detection region setting step for setting a first motion detection region in the first image, and a relationship between the second image obtained by photographing by the photographing means and the first image. And a second motion detection region setting step for setting a second motion detection region corresponding to the first motion detection region in the second image.

また、本発明の画像領域設定方法は、前記第2の動き検出領域設定ステップが、前記第2の画像内に前記第1の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記第1の動き検出領域に対応する領域を前記第2の動き検出領域として設定する構成とすることができる。   In the image region setting method of the present invention, the second motion detection region setting step determines whether or not a region corresponding to the first motion detection region is included in the second image, If included, the region corresponding to the first motion detection region may be set as the second motion detection region.

また、本発明の画像領域設定方法は、前記第2の動き検出領域設定ステップが、前記第1の画像と前記第1の動き検出領域との対応関係に基づいて、前記第2の動き検出領域を設定する構成とすることができる。   In the image region setting method of the present invention, the second motion detection region setting step may be configured such that the second motion detection region is based on a correspondence relationship between the first image and the first motion detection region. Can be configured.

また、本発明の画像領域設定方法は、前記第2の動き検出領域設定ステップが、前記第1の画像が得られた際の前記撮影手段の位置情報及び姿勢情報と、前記第2の画像が得られた際の前記撮影手段の位置情報及び姿勢情報とに基づいて、前記第2の動き検出領域を設定する構成とすることができる。   In the image region setting method according to the present invention, the second motion detection region setting step may include the positional information and posture information of the photographing unit when the first image is obtained, and the second image. The second motion detection region can be set based on the position information and posture information of the photographing unit obtained at the time.

また、本発明の画像領域設定方法は、前記第1の動き検出領域設定ステップが、前記第1の動き検出領域としての3次元空間領域を設定し、前記第2の動き検出領域設定ステップが、前記第2の動き検出領域としての3次元空間領域を設定する構成とすることができる。   In the image region setting method of the present invention, the first motion detection region setting step sets a three-dimensional space region as the first motion detection region, and the second motion detection region setting step includes: A three-dimensional space area as the second motion detection area can be set.

また、本発明の画像領域設定方法は、前記第1の動き検出領域設定ステップが、前記第1の画像における平面領域と奥行とによって形成される前記3次元空間領域を設定する構成とすることができる。   The image region setting method of the present invention may be configured such that the first motion detection region setting step sets the three-dimensional space region formed by a planar region and a depth in the first image. it can.

また、本発明の画像領域設定方法は、前記第1の動き検出領域設定ステップが、所定位置を中心とし、前記所定位置からの距離を径とする球状の前記3次元空間領域を設定する構成とすることができる。   In the image region setting method of the present invention, the first motion detection region setting step sets the spherical three-dimensional space region having a predetermined position as a center and a distance from the predetermined position as a diameter. can do.

また、本発明の画像領域設定方法は、前記第1の動き検出領域設定ステップが、複数の前記第1の動き検出領域を設定し、前記第2の動き検出領域設定ステップが、複数の前記第1の動き検出領域の各々に対応する複数の前記第2の動き検出領域を設定する構成とすることができる。   In the image region setting method of the present invention, the first motion detection region setting step sets a plurality of the first motion detection regions, and the second motion detection region setting step includes a plurality of the first motion detection regions. A plurality of the second motion detection areas corresponding to each of the one motion detection areas can be set.

また、本発明の画像領域設定方法は、前記第1の動き検出領域設定ステップが、前記第1の動き検出領域の各々に優先度を設定し、前記第2の動き検出領域設定ステップが、前記第2の動き検出領域の各々に優先度を設定する構成とすることができる。   In the image region setting method of the present invention, the first motion detection region setting step sets a priority for each of the first motion detection regions, and the second motion detection region setting step includes It can be set as the structure which sets a priority to each of a 2nd motion detection area | region.

また、本発明の画像領域設定方法は、前記第1の画像内に動きを検出すべきでない第1の動き非検出領域を設定する第1の動き非検出領域設定ステップと、前記第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き非検出領域に対応する動きを検出すべきでない第2の動き非検出領域を設定する第2の動き検出領域設定ステップとを有する構成とすることができる。   The image region setting method of the present invention includes a first motion non-detection region setting step for setting a first motion non-detection region in which motion should not be detected in the first image, and the second image. And a second motion non-detection region in which a motion corresponding to the first motion non-detection region should not be detected is set in the second image based on the relationship between the first image and the first image. And a motion detection region setting step.

本発明は、撮影範囲が変化する場合においても、人手を介することなく、第2の画像内に、動き検出領域としての第2の動き検出領域を設定することができる。   According to the present invention, even when the shooting range changes, the second motion detection area as the motion detection area can be set in the second image without manual intervention.

以下、本発明の実施の形態の監視システムについて、図面を用いて説明する。   Hereinafter, a monitoring system according to an embodiment of the present invention will be described with reference to the drawings.

本発明の実施の形態における監視システムが監視に用いる画像を撮影する移動ロボットの動作の一例を図1に示す。図1に示す移動ロボット300は、位置302a、302b、302c及び302dへ移動しつつ、これらの位置で内蔵する撮像部(図示せず)により撮影を行う。移動ロボット300の撮影によって得られる画像の一例を図2に示す。図2において、画像308aは位置302aにおける移動ロボット300の撮影によって得られる画像、画像308bは位置302bにおける移動ロボット300の撮影によって得られる画像、画像308cは位置302cにおける移動ロボット300の撮影によって得られる画像、画像308dは位置302dにおける移動ロボット300の撮影によって得られる画像である。   An example of the operation of the mobile robot that captures an image used for monitoring by the monitoring system according to the embodiment of the present invention is shown in FIG. The mobile robot 300 shown in FIG. 1 moves to positions 302a, 302b, 302c, and 302d, and performs imaging using an imaging unit (not shown) built in these positions. An example of an image obtained by shooting by the mobile robot 300 is shown in FIG. In FIG. 2, an image 308a is obtained by photographing the mobile robot 300 at the position 302a, an image 308b is obtained by photographing the mobile robot 300 at the position 302b, and an image 308c is obtained by photographing the mobile robot 300 at the position 302c. The image 308d is an image obtained by photographing the mobile robot 300 at the position 302d.

監視システムのブロック図を図3に示す。図3に示す監視システムは、移動ロボット300の動作に関する情報(シーケンス情報)を管理するシーケンサ101と、シーケンス情報に従って移動ロボット300の動作を制御する動作制御部102と、移動ロボット300内の撮像部301の撮影によって得られた画像の中から基準画像を選択する基準画像選択部103と、選択された基準画像に関する情報(基準画像情報)を取得、管理する基準画像情報管理部104と、基準画像を記録する基準画像記録部105と、基準画像を表示する基準画像表示部106と、基準画像内に動きを検出すべき領域である動き検出領域を設定するための作業者の操作指示を入力する基準画像領域入力部107と、動き検出領域を数値化する検出領域算出部108と、数値化された動き検出領域を記録する検出領域記録部109と、基準画像と撮像部301によって随時撮影が行われることによって得られる画像(監視画像)とを比較する画像比較部110と、動き検出領域における画像の変化を抽出する検出領域抽出部111と、画像の変化が抽出された場合に警告を発生させる警告発生部112とを有する。   A block diagram of the monitoring system is shown in FIG. The monitoring system shown in FIG. 3 includes a sequencer 101 that manages information (sequence information) related to the operation of the mobile robot 300, an operation control unit 102 that controls the operation of the mobile robot 300 according to the sequence information, and an imaging unit in the mobile robot 300. A reference image selection unit 103 that selects a reference image from images obtained by photographing 301, a reference image information management unit 104 that acquires and manages information (reference image information) related to the selected reference image, and a reference image A reference image recording unit 105 that records a reference image, a reference image display unit 106 that displays a reference image, and an operator's operation instruction for setting a motion detection region that is a region in which motion should be detected in the reference image. A reference image area input unit 107, a detection area calculation unit 108 that digitizes the motion detection area, and a digitized motion detection area. A detection area recording unit 109 for performing comparison, an image comparison unit 110 for comparing a reference image and an image (monitoring image) obtained by performing shooting at any time by the imaging unit 301, and detection for extracting an image change in the motion detection region. An area extracting unit 111 and a warning generating unit 112 that generates a warning when an image change is extracted are included.

これらのうち、基準画像の動き領域を設定する画像領域設定装置は、基準画像選択部103、基準画像情報管理部104、基準画像記録部105、基準画像表示部106、検出領域入力部107、検出領域算出部108及び検出領域記録部109によって構成される。   Among these, the image area setting device that sets the movement area of the reference image includes a reference image selection unit 103, a reference image information management unit 104, a reference image recording unit 105, a reference image display unit 106, a detection region input unit 107, and a detection. The area calculation unit 108 and the detection area recording unit 109 are configured.

以上のように構成された画像領域設定装置について、動作を説明する。画像領域設定装置の動作のフローチャートを図4に示す。   The operation of the image area setting apparatus configured as described above will be described. A flowchart of the operation of the image area setting apparatus is shown in FIG.

基準画像選択部103は、作業者が移動ロボット300内の撮像部301によって随時撮影が行われることにより得られる画像の中から基準画像を選択するための操作を行ったか否かを判定する(S101)。基準画像の選択操作が行われた場合、基準画像選択部103は、その操作に応じて基準画像を選択し、基準画像情報管理部104へ出力する(S102)。   The reference image selection unit 103 determines whether or not the operator has performed an operation for selecting a reference image from images obtained by the imaging unit 301 in the mobile robot 300 being photographed as needed (S101). ). When a reference image selection operation is performed, the reference image selection unit 103 selects a reference image according to the operation and outputs the selected reference image to the reference image information management unit 104 (S102).

基準画像情報管理部104は、選択された基準画像が得られた時の移動ロボット300のシーケンス情報をシーケンサ101から取得し、基準画像情報として管理する。   The reference image information management unit 104 acquires the sequence information of the mobile robot 300 when the selected reference image is obtained from the sequencer 101 and manages it as reference image information.

基準画像情報の一例を図5に示す。前述のS102における基準画像の選択が繰り返されることによって、基準画像情報管理部104は、図5に示すように複数の基準画像の各々に対応する基準画像情報を管理することになる。図5(a)に示す基準画像情報は、選択された各基準画像を特定するための画像番号と、その基準画像が撮影された時刻とが対応付けられている。なお、撮影時刻は、実時刻であってもよく、移動ロボット300内の撮像部301が撮影を開始してからの経過時間を示す時刻であっても良い。一方、図5(b)に示す基準画像情報は、選択された各基準画像を特定するための画像番号と、その基準画像が得られた時の移動ロボット300の位置及び姿勢とが対応付けられている。この移動ロボット300の位置及び姿勢により、各基準画像の撮影範囲が特定され、この基準画像内に設定される動き検出領域を他の基準画像へ投影させることが可能となる。なお、撮像部301が移動ロボット300の他の部分から独立して動作可能であり、移動ロボット300の位置及び姿勢のみでは、基準画像の撮影範囲が特定されない場合には、更に基準画像情報として撮像部301の撮影方向に関する情報(例えば視角パラメータ)が含まれるようにしても良い。   An example of the reference image information is shown in FIG. By repeating the selection of the reference image in S102 described above, the reference image information management unit 104 manages reference image information corresponding to each of a plurality of reference images as shown in FIG. In the reference image information shown in FIG. 5A, an image number for specifying each selected reference image is associated with the time when the reference image was captured. Note that the shooting time may be an actual time or a time indicating an elapsed time since the imaging unit 301 in the mobile robot 300 started shooting. On the other hand, the reference image information shown in FIG. 5B associates the image number for specifying each selected reference image with the position and posture of the mobile robot 300 when the reference image is obtained. ing. The shooting range of each reference image is specified by the position and orientation of the mobile robot 300, and the motion detection area set in the reference image can be projected onto another reference image. Note that if the imaging unit 301 can operate independently from the other parts of the mobile robot 300 and the imaging range of the reference image is not specified only by the position and orientation of the mobile robot 300, the imaging is further performed as reference image information. Information regarding the shooting direction of the unit 301 (for example, viewing angle parameters) may be included.

また、基準画像情報管理部104は、選択された基準画像を基準画像記録部105へ出力する。基準画像記録部105は、入力した基準画像を記録するとともに、基準画像表示部106へ出力する。基準画像表示部106は、入力した基準画像を表示する。   Further, the reference image information management unit 104 outputs the selected reference image to the reference image recording unit 105. The reference image recording unit 105 records the input reference image and outputs it to the reference image display unit 106. The reference image display unit 106 displays the input reference image.

再び図4に戻って説明する。S102における基準画像の選択の後、基準画像選択部103は、作業者によって基準画像を再選択するための操作が行われたか否かを判定する(S103)。基準画像の再選択操作が行われた場合には、基準画像選択部103による基準画像の選択(S102)以降の動作が繰り返される。   Returning to FIG. 4, the description will be continued. After the selection of the reference image in S102, the reference image selection unit 103 determines whether an operation for reselecting the reference image has been performed by the operator (S103). When the reference image reselection operation is performed, the operations after the selection of the reference image (S102) by the reference image selection unit 103 are repeated.

一方、基準画像の再選択操作が行われなかった場合、検出領域入力部107は、作業者が選択された基準画像において動きを検出すべき領域である第1の動き検出領域を設定するための操作を行ったか否かを判定する。動き検出領域の設定操作が行われなかった場合、基準画像選択部103による基準画像再選択の操作が行われたか否かの判定(S103)以降の動作が繰り返される。   On the other hand, when the re-selection operation of the reference image is not performed, the detection area input unit 107 sets a first motion detection area that is an area in which motion should be detected in the reference image selected by the operator. It is determined whether or not an operation has been performed. When the operation for setting the motion detection area is not performed, the operation after the determination (S103) on whether or not the operation for reselecting the reference image by the reference image selection unit 103 is performed is repeated.

一方、動き検出領域の設定操作が行われた場合、検出領域入力部107は、検出領域算出部108へその操作に関する情報を出力する。検出領域算出部108は、この操作に関する情報と、基準画像情報管理部104から取得した基準画像情報とに基づいて、基準画像内に第1の動き検出領域を設定する(S105)。以下、第1の動き検出領域が設定された基準画像を第1の基準画像と称する。   On the other hand, when a motion detection region setting operation is performed, the detection region input unit 107 outputs information regarding the operation to the detection region calculation unit 108. The detection area calculation unit 108 sets a first motion detection area in the reference image based on the information related to this operation and the reference image information acquired from the reference image information management unit 104 (S105). Hereinafter, the reference image in which the first motion detection area is set is referred to as a first reference image.

具体的には、検出領域算出部108は、基準画像情報管理部104から取得した基準画像情報に基づいて、第1の基準画像の撮影範囲を認識し、更に、作業者による動き検出領域の設定操作に関する情報に基づいて、実空間における第1の動き検出領域のデータ(例えば座標)や、第1の基準画像における第1の動き検出領域のデータ(例えば座標)を算出することにより、第1の動き検出領域を設定する。算出された第1の動き検出領域のデータは、第1の基準画像に関する情報と対応付けられて検出領域記録部109に記録される。   Specifically, the detection area calculation unit 108 recognizes the shooting range of the first reference image based on the reference image information acquired from the reference image information management unit 104, and further sets the motion detection area by the operator. Based on the information regarding the operation, the first motion detection area data (for example, coordinates) in the real space and the first motion detection area data (for example, coordinates) in the first reference image are calculated to obtain the first Set the motion detection area. The calculated data of the first motion detection area is recorded in the detection area recording unit 109 in association with the information related to the first reference image.

実空間における第1の動き検出領域の一例を図6に示し、基準画像における第1の動き検出領域の一例を図7に示す。図7に示す基準画像321が第1の基準画像とされた場合、作業者が第1の動き検出領域を設定するために、基準画像321において点323a、点323b、点323c及び点323dを選択して平面領域323を指定するとともに、基準画像321とともに表示される奥行入力欄において前方奥行及び後方奥行を指定すると、検出領域算出部108は、図6に示すように、実空間においては、移動ロボット300の撮影時の位置を頂点とし、平面領域323に対応する平面を底面とする錐状の領域312が前方奥行315及び後方奥行314によって切断されることによって形成される錐台状の領域310を第1の動き検出領域として設定する。ここで、平面領域323に対応する平面は、移動ロボット300から前方奥行315だけ離れた位置の平面に対応する。   An example of the first motion detection area in the real space is shown in FIG. 6, and an example of the first motion detection area in the reference image is shown in FIG. When the reference image 321 shown in FIG. 7 is the first reference image, the operator selects the point 323a, the point 323b, the point 323c, and the point 323d in the reference image 321 in order to set the first motion detection area. When the plane area 323 is designated and the front depth and the rear depth are designated in the depth input field displayed together with the reference image 321, the detection area calculation unit 108 moves in the real space as shown in FIG. A frustum-shaped region 310 formed by cutting a cone-shaped region 312 having a vertex at the shooting position of the robot 300 and a bottom surface corresponding to the plane region 323 by a front depth 315 and a rear depth 314. Is set as the first motion detection region. Here, the plane corresponding to the plane area 323 corresponds to the plane at a position away from the mobile robot 300 by the front depth 315.

再び図4に戻って説明する。S105において第1の動き検出領域が設定された後、検出領域算出部108は、第1の基準画像以外の基準画像(第2の基準画像)において空間領域変換を行い(S106)、更に、第1の基準画像に関連する第2の基準画像が存在するか否かを判定する(S107)。具体的には、S106及びS107において、検出領域算出部108は、基準画像情報管理部104から基準画像情報を取得し、この基準画像情報に基づいて、第1の基準画像の撮影範囲と第2の基準画像の撮影範囲を認識する。更に、検出領域算出部108は、S105において算出した第1の動き検出領域のデータを用いて、この第1の動き検出領域の全体又は一部を含む第2の基準画像が存在するか否かを判定する。そして、第1の動き検出領域の全体又は一部を含む第2の基準画像が存在する場合には、検出領域算出部108は、その第2の基準画像を、第1の基準画像に関連する第2の基準画像と判断する。   Returning to FIG. 4, the description will be continued. After the first motion detection region is set in S105, the detection region calculation unit 108 performs spatial region conversion on a reference image (second reference image) other than the first reference image (S106). It is determined whether there is a second reference image related to the one reference image (S107). Specifically, in S106 and S107, the detection area calculation unit 108 acquires reference image information from the reference image information management unit 104, and based on this reference image information, the shooting range of the first reference image and the second The imaging range of the reference image is recognized. Furthermore, the detection area calculation unit 108 uses the data of the first motion detection area calculated in S105 to determine whether or not there is a second reference image including all or part of the first motion detection area. Determine. When there is a second reference image that includes the entire or part of the first motion detection area, the detection area calculation unit 108 relates the second reference image to the first reference image. The second reference image is determined.

第1の基準画像に関連する第2の基準画像が存在しない場合には、一連の動作が終了する。一方、第1の基準画像に関連する第2の基準画像が存在する場合には、検出領域算出部108は、その第2の基準画像内に、第1の動き検出領域に対応する動き検出領域(第2の動き検出領域)を設定する。   If there is no second reference image related to the first reference image, the series of operations ends. On the other hand, when there is a second reference image related to the first reference image, the detection area calculation unit 108 includes a motion detection area corresponding to the first motion detection area in the second reference image. (Second motion detection area) is set.

検出領域算出部108によって算出される基準画像における動き検出領域のデータの一例を図8及び図9に示す。   Examples of motion detection area data in the reference image calculated by the detection area calculation unit 108 are shown in FIGS.

図8では、各基準画像を特定するための画像番号、その基準画像に出現する動き検出領域を特定するための検出領域番号、及び、その基準画像における動き検出領域の2次元座標とが対応付けられている。例えば、画像番号N+2の基準画像が第1の基準画像とされるとともに、画像番号N及びN+1の基準画像が第2の基準画像とされ、第1の基準画像において検出領域番号1及び2の動き検出領域が設定された場合を考える。この場合、検出領域番号1の動き検出領域が画像番号N及びN+1の基準画像にも出現する一方、検出領域番号2の動き検出領域が画像番号N及びN+1の基準画像に出現しない場合には、検出領域算出部108によって算出される基準画像における動き検出領域のデータは、図8に示すものとなる。   In FIG. 8, the image number for specifying each reference image, the detection region number for specifying the motion detection region appearing in the reference image, and the two-dimensional coordinates of the motion detection region in the reference image are associated with each other. It has been. For example, the reference image with the image number N + 2 is set as the first reference image, and the reference images with the image numbers N and N + 1 are set as the second reference image. The movements of the detection area numbers 1 and 2 in the first reference image. Consider the case where a detection area is set. In this case, when the motion detection area with the detection area number 1 also appears in the reference images with the image numbers N and N + 1, while the motion detection area with the detection area number 2 does not appear in the reference images with the image numbers N and N + 1, The data of the motion detection area in the reference image calculated by the detection area calculation unit 108 is as shown in FIG.

一方、図9では、図9(a)において、各基準画像を特定するための画像番号と、その基準画像に出現する動き検出領域を特定するための検出領域番号とが対応付けられており、図9(b)において、各動き検出領域を特定するための検出領域番号と、その動き検出領域の実空間における3次元座標とが対応付けられている。この場合、検出領域算出部108は、動き検出領域の実空間における3次元座標を、更に、各基準画像における2次元座標に変換する。   On the other hand, in FIG. 9, in FIG. 9A, an image number for specifying each reference image is associated with a detection area number for specifying a motion detection area appearing in the reference image. In FIG. 9B, the detection area number for specifying each motion detection area is associated with the three-dimensional coordinates in the real space of the motion detection area. In this case, the detection area calculation unit 108 further converts the three-dimensional coordinates in the real space of the motion detection area into two-dimensional coordinates in each reference image.

各基準画像における動き検出領域の一例を図10に示す。図10において、基準画像331aは図1の位置302aにおける移動ロボット300の撮影により得られる画像、基準画像331bは図1の位置302bにおける移動ロボット300の撮影により得られる画像、基準画像331cは図1の位置302cにおける移動ロボット300の撮影により得られる画像、基準画像331dは図1の位置302dにおける移動ロボット300の撮影により得られる画像である。これらの各基準画像の内、基準画像331bが第1の基準画像であり、基準画像331a、基準画像331c及び基準画像331dが第2の基準画像である場合、第1の基準画像331bにおいて設定された動き検出領域330bは、第2の基準画像331aにおいては動き検出領域330aとして設定され、第2の基準画像331cにおいては動き検出領域330cとして設定され、第2の基準画像331dにおいては動き検出領域330dとして設定される。   An example of the motion detection area in each reference image is shown in FIG. 10, the reference image 331a is an image obtained by photographing the mobile robot 300 at the position 302a in FIG. 1, the reference image 331b is an image obtained by photographing the mobile robot 300 at the position 302b in FIG. 1, and the reference image 331c is FIG. The image obtained by photographing the mobile robot 300 at the position 302c and the reference image 331d are images obtained by photographing the mobile robot 300 at the position 302d in FIG. Among these reference images, when the reference image 331b is the first reference image and the reference image 331a, the reference image 331c, and the reference image 331d are the second reference images, they are set in the first reference image 331b. The motion detection area 330b is set as the motion detection area 330a in the second reference image 331a, is set as the motion detection area 330c in the second reference image 331c, and is the motion detection area in the second reference image 331d. 330d is set.

第2の基準画像における第2の動き検出領域の設定後は、検出領域算出部108による空間領域変換(S106)以降の動作が繰り返される。   After the setting of the second motion detection region in the second reference image, the operations after the spatial region conversion (S106) by the detection region calculation unit 108 are repeated.

このような基準画像における動き検出領域の設定後、その動き検出領域に侵入者等が存在するか否かについての監視が可能となる。すなわち、画像比較部110は、移動ロボット300内の撮像部301によって随時撮影が行われることによって得られる監視画像を入力するとともに、シーケンサ101におけるシーケンス情報に基づいて、その監視画像と同一の撮影範囲の撮影により得られた基準画像を基準画像記録部105から取得する。更に、画像比較部110は、入力した監視画像と取得した基準画像とを比較し、画像の変化を比較結果として検出領域抽出部111へ出力する。検出領域抽出部111は、この比較結果を入力するとともに、検出領域記録部109に記録された動き検出領域のデータを、検出領域算出部108を介して取得し、動き検出領域における画像の変化を抽出する。警告発生部112は、検出領域抽出部111により画像の変化が抽出された場合に警告を発生させる。なお、検出領域抽出部111により画像の変化が抽出された場合には、警告発生部112は、警告の発生以外に、何らかの処理を行うためのトリガを発生させるようにしても良い。   After setting the motion detection area in such a reference image, it is possible to monitor whether or not an intruder exists in the motion detection area. That is, the image comparison unit 110 inputs a monitoring image obtained by performing shooting at any time by the imaging unit 301 in the mobile robot 300, and based on the sequence information in the sequencer 101, the same shooting range as the monitoring image. A reference image obtained by shooting is acquired from the reference image recording unit 105. Further, the image comparison unit 110 compares the input monitoring image with the acquired reference image, and outputs the image change to the detection region extraction unit 111 as a comparison result. The detection area extraction unit 111 inputs the comparison result, acquires the data of the motion detection area recorded in the detection area recording unit 109 via the detection area calculation unit 108, and changes the image in the motion detection area. Extract. The warning generation unit 112 generates a warning when a change in the image is extracted by the detection area extraction unit 111. In addition, when the change of the image is extracted by the detection region extraction unit 111, the warning generation unit 112 may generate a trigger for performing some processing other than the generation of the warning.

このように本実施の形態では、画像領域設定装置は、移動ロボット300内の撮像部301が、移動ロボット300の移動に伴って撮影範囲を変化させながら撮影を行う場合に、撮影によって得られた基準画像のいずれかである第1の基準画像内に、作業者の操作に応じた第1の動き検出領域を設定し、他の基準画像である第2の基準画像内には、第1の基準画像及び第2の基準画像が撮影された際の移動ロボット300の位置及び姿勢や、第1の基準画像と第1の動き検出領域との対応関係に基づく第1の基準画像との関連性に応じて、第2の動き検出領域を設定する。このため、撮影範囲が変化する場合においても、第1の基準画像内に第1の動き検出領域が設定されれば、人手を介することなく、第2の基準画像内に、その第1の動き検出領域を投影させた第2の動き検出領域を設定することができる。   As described above, in the present embodiment, the image area setting device is obtained by shooting when the imaging unit 301 in the mobile robot 300 performs shooting while changing the shooting range as the mobile robot 300 moves. A first motion detection area corresponding to the operator's operation is set in the first reference image which is one of the reference images, and the first reference image which is another reference image is set in the first reference image. The position and orientation of the mobile robot 300 when the reference image and the second reference image are taken, and the relevance of the first reference image based on the correspondence between the first reference image and the first motion detection area. Accordingly, the second motion detection area is set. For this reason, even when the shooting range changes, if the first motion detection region is set in the first reference image, the first motion is not detected in the second reference image without manual intervention. A second motion detection area on which the detection area is projected can be set.

また、画像領域設定装置は、第2の基準画像内に第1の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、第2の動き検出領域を設定しており、必要に応じた適切な動き検出領域の設定が可能となる。更に、画像領域設定装置は、第1の基準画像における平面領域と前方及び後方の奥行とによって形成される3次元空間領域としての第1の動き検出領域を設定しており、これら平面領域と前方及び後方の奥行と関する情報を用いて3次元空間領域としての第2の動き検出領域を適切に設定することができる。   Further, the image area setting device determines whether or not an area corresponding to the first motion detection area is included in the second reference image, and if included, sets the second motion detection area. Therefore, it is possible to set an appropriate motion detection area as required. Further, the image area setting device sets a first motion detection area as a three-dimensional space area formed by the planar area and the depths of the front and rear in the first reference image. And the 2nd motion detection area | region as a three-dimensional space area | region can be set appropriately using the information regarding depth of back and back.

なお、前述の実施の形態では、画像比較部110が基準画像と監視画像との比較を行い、その後、検出領域抽出部111が動き検出領域における画像の変化を抽出したが、先に基準画像における動き検出領域と、監視画像における動き検出領域に対応する領域とが抽出され、これら抽出された領域の画像同士が比較されるようにしても良い。   In the above-described embodiment, the image comparison unit 110 compares the reference image with the monitoring image, and then the detection region extraction unit 111 extracts the change in the image in the motion detection region. The motion detection area and the area corresponding to the motion detection area in the monitoring image may be extracted, and the images of these extracted areas may be compared with each other.

また、シーケンサ101及び動作制御部102は、移動ロボット300内に構成されるようにしても良い。この場合、画像情報管理部104は、無線通信等によりシーケンサ101からのシーケンス情報を取得する。   Further, the sequencer 101 and the operation control unit 102 may be configured in the mobile robot 300. In this case, the image information management unit 104 acquires sequence information from the sequencer 101 by wireless communication or the like.

また、前述の実施の形態では、検出領域算出部108は、図6に示すように、移動ロボット300の撮影時の位置を頂点とし、図7の平面領域323に対応する平面を底面とする錐状の領域312が前方奥行315及び後方奥行314によって切断されることによって形成される錐台状の領域310を第1の動き検出領域として設定したが、図11に示すように、図7の平面領域323に対応する平面を前方奥行315の位置における底面とし、後方奥行314の位置までの奥行を有する直方体状の第1の動き検出領域340が設定されるようにしても良い。また、検出領域算出部108は、図12に示すように移動ロボットから奥行358の位置を中心356とし、径357を有する球状の第1の動き検出領域355を設定するようにしても良い。更には、検出領域算出部108は、図13に示すように、奥行369の位置に平面状の第1の動き検出領域368を設定するようにしても良い。   Further, in the above-described embodiment, as shown in FIG. 6, the detection area calculation unit 108 has a cone whose top is the position corresponding to the plane area 323 in FIG. The frustum-shaped region 310 formed by cutting the region 312 by the front depth 315 and the rear depth 314 is set as the first motion detection region. As shown in FIG. A flat surface corresponding to the region 323 may be set as a bottom surface at the position of the front depth 315, and the rectangular parallelepiped first motion detection region 340 having a depth up to the position of the rear depth 314 may be set. Further, as shown in FIG. 12, the detection region calculation unit 108 may set a spherical first motion detection region 355 having a diameter 357 with the position of the depth 358 from the mobile robot as the center 356. Furthermore, as shown in FIG. 13, the detection area calculation unit 108 may set a planar first motion detection area 368 at the position of the depth 369.

また、検出領域算出部108は、複数の基準画像を用いて、立体視手法により特徴点の奥行を計測するとともに、この特徴点を基準点として計測結果とともに基準画像表示部106に表示し、作業者による基準点の選択に応じた奥行を算出するようにしても良い。例えば、検出領域算出部108は、図14において基準点A乃至Eまでの奥行を計測し、図15に示すように基準画像279とともに表示される奥行入力欄において基準点の指定を可能とする。   In addition, the detection area calculation unit 108 measures the depth of a feature point by a stereoscopic method using a plurality of reference images, displays the feature point as a reference point on the reference image display unit 106 together with a measurement result, The depth corresponding to the selection of the reference point by the person may be calculated. For example, the detection area calculation unit 108 measures the depth from the reference points A to E in FIG. 14, and enables the specification of the reference point in the depth input field displayed together with the reference image 279 as shown in FIG.

また、作業者による動き検出領域の設定操作において指定される平面領域は、四角形に限定されるものではなく、他の形状であっても良い。更には、作業者による動き検出領域の設定操作において指定される平面領域は、作業者によって指定される複数の小領域の集合であっても良い。また、作業者が2点を指定することにより、その2点間の線分を対角線とする正方形あるいは長方形が平面領域として指定されるようにしても良い。あるいは、基準画像における輝度や色の相違から導出される輪郭線で囲まれた領域や、撮影時刻の異なる2つの基準画像の差分に基づいて抽出されるオブジェクトが平面領域の指定単位となるようにしても良い。   Further, the plane area specified in the operation for setting the motion detection area by the operator is not limited to a quadrangle, and may be another shape. Furthermore, the plane area specified in the operation for setting the motion detection area by the worker may be a set of a plurality of small areas specified by the worker. In addition, when the operator designates two points, a square or a rectangle having a line segment between the two points as a diagonal line may be designated as a plane region. Alternatively, an area surrounded by a contour line derived from a difference in luminance or color in the reference image or an object extracted based on a difference between two reference images having different shooting times may be a designated unit of the plane area. May be.

また、検出領域算出部108は、動き検出領域の設定と同様の手順により、基準画像内に動きを検出すべきでない領域としての動き非検出領域(マスク領域)を設定するようにしても良い。この場合、検出領域抽出部111はマスク領域における画像の変化を抽出しないようにする。   Further, the detection area calculation unit 108 may set a motion non-detection area (mask area) as an area where motion should not be detected in the reference image by the same procedure as the setting of the motion detection area. In this case, the detection area extraction unit 111 does not extract image changes in the mask area.

また、第1の基準画像内に複数の第1の動き検出領域が設定され、それに伴って第2の基準画像内に複数の第2の動き検出領域が設定される場合には、警告発生部112は、どの動き検出領域において画像の変化が生じたかを判別可能であるような警告や何らかの処理を行うためのトリガを発生させるようにしても良い。   Further, when a plurality of first motion detection areas are set in the first reference image, and a plurality of second motion detection areas are set in the second reference image accordingly, a warning generation unit In 112, a warning for enabling determination of which motion detection region has undergone the image change or a trigger for performing some processing may be generated.

また、複数の第1の動き検出領域が第1の基準画像内に設定される場合や、複数の第2の動き検出領域が第2の基準画像内に設定される場合には、検出領域算出部108は、動き検出領域の各々に優先度を設定するようにしても良い。この場合、優先度は、作業者の操作指示に応じて設定されても良い。あるいは、優先度は、移動ロボット300に近い側の動き検出領域ほど優先度が高くなるように設定されても良く、立体視手法により算出される奥行が小さい動き検出領域ほど優先度が高くなるように設定されても良い。優先度に関する情報は、動き検出領域のデータとして検出領域記録部109に記録される。そして、動き検出の際には、検出領域抽出部111は、各動き検出領域における画像の変化とともに、その動き検出領域の優先度を警告発生部112へ通知し、警告発生部112は、優先度に応じた警告や何らかの処理を行うためのトリガを発生させるようにしても良い。   In addition, when a plurality of first motion detection areas are set in the first reference image, or when a plurality of second motion detection areas are set in the second reference image, the detection area calculation is performed. The unit 108 may set a priority for each motion detection area. In this case, the priority may be set according to the operator's operation instruction. Alternatively, the priority may be set such that the priority is higher in the motion detection area closer to the mobile robot 300, and the priority is higher in the motion detection area having a smaller depth calculated by the stereoscopic method. May be set. Information about the priority is recorded in the detection area recording unit 109 as motion detection area data. At the time of motion detection, the detection area extraction unit 111 notifies the warning generation unit 112 of the priority of the motion detection area together with the image change in each motion detection area. A warning or a trigger for performing some processing may be generated in accordance with the above.

また、警告発生部112は、複数の動き検出領域が重なる部分において画像の変化が生じた場合、それぞれの動き検出領域に対応する警告や何らかの処理を行うためのトリガを発生させるようにしても良い。   Further, when an image change occurs in a portion where a plurality of motion detection areas overlap, the warning generation unit 112 may generate a warning corresponding to each motion detection area or a trigger for performing some processing. .

以上のように、本発明にかかる画像領域設定装置及び画像領域設定方法は、撮影手段が移動することにより撮影範囲が変化する場合においても、動き検出領域を簡易に設定可能であるという効果を有し、画像により侵入者等の発見を行う監視システムに用いられ、撮影によって得られる画像において、動き検出領域を設定する画像領域設定装置及び画像領域設定方法として有用である。   As described above, the image area setting device and the image area setting method according to the present invention have the effect that the motion detection area can be easily set even when the shooting range changes as the shooting means moves. It is useful for an image area setting apparatus and an image area setting method for setting a motion detection area in an image obtained by photographing, which is used in a monitoring system that detects an intruder or the like by an image.

移動ロボットの動作の一例を示す図The figure which shows an example of operation of a mobile robot 移動ロボットの撮影により得られる画像の一例を示す図The figure which shows an example of the image obtained by imaging | photography of a mobile robot 画像領域設定装置を内蔵する監視システムのブロック図Block diagram of surveillance system with built-in image area setting device 画像領域設定装置の動作のフローチャートFlow chart of operation of image area setting device 基準画像情報の一例を示す図The figure which shows an example of reference | standard image information 実空間における第1の動き検出領域の第1の例を示す図The figure which shows the 1st example of the 1st motion detection area | region in real space. 図6に対応する基準画像における第1の動き検出領域の一例を示す図The figure which shows an example of the 1st motion detection area | region in the reference | standard image corresponding to FIG. 基準画像における動き検出領域のデータの一例を示す図The figure which shows an example of the data of the motion detection area | region in a reference | standard image 基準画像における動き検出領域のデータの他の例を示す図The figure which shows the other example of the data of the motion detection area | region in a reference | standard image 各基準画像における動き検出領域の一例を示す図The figure which shows an example of the motion detection area | region in each reference | standard image 実空間における第1の動き検出領域の第2の例を示す図The figure which shows the 2nd example of the 1st motion detection area | region in real space. 実空間における第1の動き検出領域の第3の例を示す図The figure which shows the 3rd example of the 1st motion detection area | region in real space. 実空間における第1の動き検出領域の第4の例を示す図The figure which shows the 4th example of the 1st motion detection area | region in real space. 実空間における基準点の一例を示す図Diagram showing an example of a reference point in real space 図14に対応する基準画像における基準点の一例を示す図The figure which shows an example of the reference | standard point in the reference | standard image corresponding to FIG. 従来の監視システムが用いられる場合の実空間における動き検出領域の一例を示す図The figure which shows an example of the motion detection area | region in the real space when the conventional monitoring system is used 従来の監視システムが用いられる場合の画像内における動き検出領域の一例を示す図The figure which shows an example of the motion detection area | region in the image when the conventional monitoring system is used

符号の説明Explanation of symbols

101 シーケンサ
102 動作制御部
103 基準画像選択部
104 基準画像情報管理部
105 基準画像記録部
106 基準画像表示部
107 検出領域入力部
108 検出領域算出部
109 検出領域記録部
110 画像比較部
111 検出領域抽出部
112 警告発生部
300 移動ロボット
301 撮像部
DESCRIPTION OF SYMBOLS 101 Sequencer 102 Operation control part 103 Reference | standard image selection part 104 Reference | standard image information management part 105 Reference | standard image recording part 106 Reference | standard image display part 107 Detection area input part 108 Detection area calculation part 109 Detection area recording part 110 Image comparison part 111 Detection area extraction Unit 112 warning generation unit 300 mobile robot 301 imaging unit

Claims (22)

撮影手段が撮影範囲を変化させつつ撮影して得られた画像内において、動き検出領域を設定する画像領域設定装置であって、
前記撮影手段が撮影して得られた第1の画像内に第1の動き検出領域を設定する第1の動き検出領域設定手段と、
前記撮影手段が撮影して得られた第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き検出領域に対応する第2の動き検出領域を設定する第2の動き検出領域設定手段とを有することを特徴とする画像領域設定装置。
An image area setting device for setting a motion detection area in an image obtained by shooting while changing the shooting range of the shooting means,
First motion detection area setting means for setting a first motion detection area in a first image obtained by photographing by the photographing means;
A second motion detection corresponding to the first motion detection region in the second image based on the relevance between the first image and the second image obtained by photographing by the photographing means. An image area setting device comprising: second motion detection area setting means for setting an area.
前記第2の動き検出領域設定手段は、前記第2の画像内に前記第1の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記第1の動き検出領域に対応する領域を前記第2の動き検出領域として設定することを特徴とする請求項1記載の画像領域設定装置。 The second motion detection region setting means determines whether or not a region corresponding to the first motion detection region is included in the second image, and if included, the first motion detection The image area setting apparatus according to claim 1, wherein an area corresponding to an area is set as the second motion detection area. 前記第2の動き検出領域設定手段は、前記第1の画像と前記第1の動き検出領域との対応関係に基づいて、前記第2の動き検出領域を設定することを特徴とする請求項1又は2記載の画像領域設定装置。 2. The second motion detection region setting means sets the second motion detection region based on a correspondence relationship between the first image and the first motion detection region. Or the image area setting apparatus of 2 description. 前記第2の動き検出領域設定手段は、前記第1の画像が得られた際の前記撮影手段の位置情報及び姿勢情報と、前記第2の画像が得られた際の前記撮影手段の位置情報及び姿勢情報とに基づいて、前記第2の動き検出領域を設定することを特徴とする請求項1乃至3のいずれか記載の画像領域設定装置。 The second motion detection area setting unit includes position information and posture information of the photographing unit when the first image is obtained, and position information of the photographing unit when the second image is obtained. 4. The image region setting device according to claim 1, wherein the second motion detection region is set based on the posture information and the posture information. 5. 前記第1の動き検出領域設定手段は、前記第1の動き検出領域としての3次元空間領域を設定し、
前記第2の動き検出領域設定手段は、前記第2の動き検出領域としての3次元空間領域を設定することを特徴とする請求項1乃至4のいずれか記載の画像領域設定装置。
The first motion detection region setting means sets a three-dimensional space region as the first motion detection region,
5. The image region setting device according to claim 1, wherein the second motion detection region setting unit sets a three-dimensional space region as the second motion detection region.
前記第1の動き検出領域設定手段は、前記第1の画像における平面領域と奥行とによって形成される前記3次元空間領域を設定することを特徴とする請求項5記載の画像領域設定装置。 6. The image area setting device according to claim 5, wherein the first motion detection area setting means sets the three-dimensional space area formed by a plane area and a depth in the first image. 前記第1の動き検出領域設定手段は、前記平面領域と、前記第1の画像における前方の奥行及び後方の奥行の少なくとも一方とによって形成される錐状、錐台状及び直方体状のいずれかの前記3次元空間領域を設定することを特徴とする請求項6記載の画像領域設定装置。 The first motion detection region setting means is any one of a cone shape, a frustum shape, and a rectangular parallelepiped shape formed by the planar region and at least one of a front depth and a rear depth in the first image. The image area setting apparatus according to claim 6, wherein the three-dimensional space area is set. 前記第1の動き検出領域設定手段は、前記第1の画像における位置が既知の基準点を利用して前記前方の奥行及び前記後方の奥行を把握することを特徴とする請求項7記載の画像領域設定装置。 The image according to claim 7, wherein the first motion detection area setting unit grasps the front depth and the rear depth by using a reference point whose position in the first image is known. Area setting device. 前記第1の動き検出領域設定手段は、所定位置を中心とし、前記所定位置からの距離を径とする球状の前記3次元空間領域を設定することを特徴とする請求項6記載の画像領域設定装置。 7. The image area setting according to claim 6, wherein the first motion detection area setting means sets the spherical three-dimensional space area having a predetermined position as a center and a distance from the predetermined position as a diameter. apparatus. 前記第1の動き検出領域設定手段は、複数の前記第1の動き検出領域を設定し、
前記第2の動き検出領域設定手段は、複数の前記第1の動き検出領域の各々に対応する複数の前記第2の動き検出領域を設定することを特徴とする請求項1乃至9のいずれか記載の画像領域設定装置。
The first motion detection region setting means sets a plurality of the first motion detection regions,
The said 2nd motion detection area setting means sets the said some 2nd motion detection area corresponding to each of the said some 1st motion detection area, The any one of Claim 1 thru | or 9 characterized by the above-mentioned. The image area setting device described.
前記第1の動き検出領域設定手段は、前記第1の動き検出領域の各々に優先度を設定し、
前記第2の動き検出領域設定手段は、前記第2の動き検出領域の各々に優先度を設定することを特徴とする請求項10記載の画像領域設定装置。
The first motion detection region setting means sets a priority for each of the first motion detection regions,
11. The image region setting device according to claim 10, wherein the second motion detection region setting means sets a priority for each of the second motion detection regions.
前記第1の画像内に動きを検出すべきでない第1の動き非検出領域を設定する第1の動き非検出領域設定手段と、
前記第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き非検出領域に対応する動きを検出すべきでない第2の動き非検出領域を設定する第2の動き検出領域設定手段とを有することを特徴とする請求項1乃至11のいずれか記載の画像領域設定装置。
First motion non-detection region setting means for setting a first motion non-detection region in which motion should not be detected in the first image;
A second motion non-detection region where motion corresponding to the first motion non-detection region should not be detected in the second image based on the relevance between the second image and the first image The image area setting device according to claim 1, further comprising second motion detection area setting means for setting
撮影手段が撮影範囲を変化させつつ撮影して得られた画像内において、動き検出領域を設定する画像領域設定方法であって、
前記撮影手段が撮影して得られた第1の画像内に第1の動き検出領域を設定する第1の動き検出領域設定ステップと、
前記撮影手段が撮影して得られた第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き検出領域に対応する第2の動き検出領域を設定する第2の動き検出領域設定ステップとを有することを特徴とする画像領域設定方法。
An image area setting method for setting a motion detection area in an image obtained by shooting while changing the shooting range by the shooting means,
A first motion detection region setting step for setting a first motion detection region in a first image obtained by photographing by the photographing means;
A second motion detection corresponding to the first motion detection region in the second image based on the relevance between the first image and the second image obtained by photographing by the photographing means. And a second motion detection area setting step for setting the area.
前記第2の動き検出領域設定ステップは、前記第2の画像内に前記第1の動き検出領域に対応する領域が含まれるか否かを判定し、含まれる場合に、前記第1の動き検出領域に対応する領域を前記第2の動き検出領域として設定することを特徴とする請求項13記載の画像領域設定方法。 The second motion detection region setting step determines whether or not a region corresponding to the first motion detection region is included in the second image, and if included, the first motion detection 14. The image area setting method according to claim 13, wherein an area corresponding to an area is set as the second motion detection area. 前記第2の動き検出領域設定ステップは、前記第1の画像と前記第1の動き検出領域との対応関係に基づいて、前記第2の動き検出領域を設定することを特徴とする請求項13又は14記載の画像領域設定装置。 14. The second motion detection region setting step sets the second motion detection region based on a correspondence relationship between the first image and the first motion detection region. Or the image area setting apparatus of 14. 前記第2の動き検出領域設定ステップは、前記第1の画像が得られた際の前記撮影手段の位置情報及び姿勢情報と、前記第2の画像が得られた際の前記撮影手段の位置情報及び姿勢情報とに基づいて、前記第2の動き検出領域を設定することを特徴とする請求項13乃至15のいずれか記載の画像領域設定方法。 The second motion detection area setting step includes position information and posture information of the photographing unit when the first image is obtained, and position information of the photographing unit when the second image is obtained. 16. The image region setting method according to claim 13, wherein the second motion detection region is set based on the posture information and the posture information. 前記第1の動き検出領域設定ステップは、前記第1の動き検出領域としての3次元空間領域を設定し、
前記第2の動き検出領域設定ステップは、前記第2の動き検出領域としての3次元空間領域を設定することを特徴とする請求項13乃至16のいずれか記載の画像領域設定方法。
The first motion detection region setting step sets a three-dimensional space region as the first motion detection region,
The image region setting method according to claim 13, wherein the second motion detection region setting step sets a three-dimensional space region as the second motion detection region.
前記第1の動き検出領域設定ステップは、前記第1の画像における平面領域と奥行とによって形成される前記3次元空間領域を設定することを特徴とする請求項17記載の画像領域設定方法。 The image region setting method according to claim 17, wherein the first motion detection region setting step sets the three-dimensional space region formed by a planar region and a depth in the first image. 前記第1の動き検出領域設定ステップは、所定位置を中心とし、前記所定位置からの距離を径とする球状の前記3次元空間領域を設定することを特徴とする請求項18記載の画像領域設定方法。 19. The image region setting according to claim 18, wherein the first motion detection region setting step sets the spherical three-dimensional space region having a predetermined position as a center and a distance from the predetermined position as a diameter. Method. 前記第1の動き検出領域設定ステップは、複数の前記第1の動き検出領域を設定し、
前記第2の動き検出領域設定ステップは、複数の前記第1の動き検出領域の各々に対応する複数の前記第2の動き検出領域を設定することを特徴とする請求項13乃至19のいずれか記載の画像領域設定方法。
The first motion detection region setting step sets a plurality of the first motion detection regions,
20. The second motion detection area setting step sets a plurality of the second motion detection areas corresponding to each of the plurality of first motion detection areas. The image area setting method described.
前記第1の動き検出領域設定ステップは、前記第1の動き検出領域の各々に優先度を設定し、
前記第2の動き検出領域設定ステップは、前記第2の動き検出領域の各々に優先度を設定することを特徴とする請求項20記載の画像領域設定方法。
The first motion detection region setting step sets a priority for each of the first motion detection regions,
21. The image region setting method according to claim 20, wherein the second motion detection region setting step sets a priority for each of the second motion detection regions.
前記第1の画像内に動きを検出すべきでない第1の動き非検出領域を設定する第1の動き非検出領域設定ステップと、
前記第2の画像と前記第1の画像との関連性に基づいて、前記第2の画像内に前記第1の動き非検出領域に対応する動きを検出すべきでない第2の動き非検出領域を設定する第2の動き検出領域設定ステップとを有することを特徴とする請求項13乃至22のいずれか記載の画像領域設定方法。
A first motion non-detection region setting step for setting a first motion non-detection region in which motion should not be detected in the first image;
A second motion non-detection region where motion corresponding to the first motion non-detection region should not be detected in the second image based on the relevance between the second image and the first image 23. The image region setting method according to claim 13, further comprising: a second motion detection region setting step for setting.
JP2004086257A 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method Expired - Fee Related JP4846203B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004086257A JP4846203B2 (en) 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004086257A JP4846203B2 (en) 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method

Publications (2)

Publication Number Publication Date
JP2005277640A true JP2005277640A (en) 2005-10-06
JP4846203B2 JP4846203B2 (en) 2011-12-28

Family

ID=35176853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004086257A Expired - Fee Related JP4846203B2 (en) 2004-03-24 2004-03-24 Image area setting apparatus and image area setting method

Country Status (1)

Country Link
JP (1) JP4846203B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009768A (en) * 2006-06-29 2008-01-17 Victor Co Of Japan Ltd Motion detector and motion detecting method
WO2019093371A1 (en) * 2017-11-09 2019-05-16 コニカミノルタ株式会社 Object detecting system and object detecting program
CN114453283A (en) * 2021-12-17 2022-05-10 珠海市奥德维科技有限公司 Air blowing discharging monitoring method for sorting machine

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0261792A (en) * 1988-08-26 1990-03-01 Matsushita Electric Works Ltd Intruder detecting device
JPH0635443A (en) * 1992-07-15 1994-02-10 N T T Data Tsushin Kk Monitor device
JPH09282459A (en) * 1996-04-18 1997-10-31 Matsushita Electric Ind Co Ltd Body detector
JPH1079934A (en) * 1996-09-02 1998-03-24 Nippon Koei Co Ltd Method for monitoring intrusion in monitoring area and its device
JP2000057376A (en) * 1998-08-11 2000-02-25 Gen Tec:Kk Method for generating new viewpoint image
JP2001069494A (en) * 1999-08-31 2001-03-16 Matsushita Electric Ind Co Ltd Supervisory camera apparatus and display method for supervisory camera
JP2001204007A (en) * 2000-01-19 2001-07-27 Meidensha Corp Device for setting supervised area by supervisory camera and its method
JP2003269915A (en) * 2002-03-13 2003-09-25 Omron Corp Monitor for three-dimensional space

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0261792A (en) * 1988-08-26 1990-03-01 Matsushita Electric Works Ltd Intruder detecting device
JPH0635443A (en) * 1992-07-15 1994-02-10 N T T Data Tsushin Kk Monitor device
JPH09282459A (en) * 1996-04-18 1997-10-31 Matsushita Electric Ind Co Ltd Body detector
JPH1079934A (en) * 1996-09-02 1998-03-24 Nippon Koei Co Ltd Method for monitoring intrusion in monitoring area and its device
JP2000057376A (en) * 1998-08-11 2000-02-25 Gen Tec:Kk Method for generating new viewpoint image
JP2001069494A (en) * 1999-08-31 2001-03-16 Matsushita Electric Ind Co Ltd Supervisory camera apparatus and display method for supervisory camera
JP2001204007A (en) * 2000-01-19 2001-07-27 Meidensha Corp Device for setting supervised area by supervisory camera and its method
JP2003269915A (en) * 2002-03-13 2003-09-25 Omron Corp Monitor for three-dimensional space

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009768A (en) * 2006-06-29 2008-01-17 Victor Co Of Japan Ltd Motion detector and motion detecting method
JP4706573B2 (en) * 2006-06-29 2011-06-22 日本ビクター株式会社 Motion detection device and motion detection method
WO2019093371A1 (en) * 2017-11-09 2019-05-16 コニカミノルタ株式会社 Object detecting system and object detecting program
JPWO2019093371A1 (en) * 2017-11-09 2020-12-03 コニカミノルタ株式会社 Object detection system and object detection program
JP7244801B2 (en) 2017-11-09 2023-03-23 コニカミノルタ株式会社 Object detection system and object detection program
CN114453283A (en) * 2021-12-17 2022-05-10 珠海市奥德维科技有限公司 Air blowing discharging monitoring method for sorting machine
CN114453283B (en) * 2021-12-17 2022-12-09 珠海市奥德维科技有限公司 Air blowing discharging monitoring method for sorting machine

Also Published As

Publication number Publication date
JP4846203B2 (en) 2011-12-28

Similar Documents

Publication Publication Date Title
US10728459B2 (en) System and method for tracking moving objects in a scene
JP5979458B1 (en) Unmanned air vehicle detection system and unmanned air vehicle detection method
KR102111935B1 (en) Display control apparatus, display control method, and program
WO2017163688A1 (en) Monitoring system and monitoring method
US10791395B2 (en) Flying object detection system and flying object detection method
JP6812203B2 (en) Information processing system, information processing method, mobile projection terminal
JPWO2005076620A1 (en) Detection area adjustment device
JP4418805B2 (en) Detection area adjustment device
JP2009273006A (en) Monitoring apparatus and monitor system
JP6865371B2 (en) Monitoring system and monitoring method
JP2016177640A (en) Video monitoring system
JP2017138947A (en) Flight altitude control device, unmanned aerial vehicle, flight altitude control method, and flight altitude control program
JP2016127571A (en) Camera system, display control device, display control method, and program
JP2013218432A (en) Image processing device, image processing method, program for image processing, and recording medium
JP2017092938A (en) Audio source detection system and audio source detection method
JP2018101987A (en) Sound source display system in monitoring area and sound source display method
JP2016197797A (en) Image processing apparatus, image processing method, and image processing system
TWI471825B (en) System and method for managing security of a roof
JP2017175474A (en) Monitoring system and monitoring method
JP6104066B2 (en) Image processing apparatus and image processing method
JP4846203B2 (en) Image area setting apparatus and image area setting method
JP4574509B2 (en) System camera, surveillance system, and surveillance method
WO2020111053A1 (en) Monitoring device, monitoring system, monitoring method, and monitoring program
JP2006033188A (en) Supervisory apparatus and supervisory method
JP2020088840A (en) Monitoring device, monitoring system, monitoring method, and monitoring program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070323

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070412

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090519

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090715

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090818

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091201

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100409

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111012

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees