JP6456584B2 - Perimeter monitoring equipment for work machines - Google Patents

Perimeter monitoring equipment for work machines Download PDF

Info

Publication number
JP6456584B2
JP6456584B2 JP2013057398A JP2013057398A JP6456584B2 JP 6456584 B2 JP6456584 B2 JP 6456584B2 JP 2013057398 A JP2013057398 A JP 2013057398A JP 2013057398 A JP2013057398 A JP 2013057398A JP 6456584 B2 JP6456584 B2 JP 6456584B2
Authority
JP
Japan
Prior art keywords
image
alarm
output
camera
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013057398A
Other languages
Japanese (ja)
Other versions
JP2014181508A (en
Inventor
芳永 清田
芳永 清田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Heavy Industries Ltd
Original Assignee
Sumitomo Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Heavy Industries Ltd filed Critical Sumitomo Heavy Industries Ltd
Priority to JP2013057398A priority Critical patent/JP6456584B2/en
Publication of JP2014181508A publication Critical patent/JP2014181508A/en
Application granted granted Critical
Publication of JP6456584B2 publication Critical patent/JP6456584B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、作業機械の周囲における人の存否を判定する機能を備える作業機械用周辺監視装置に関する。   The present invention relates to a work machine periphery monitoring device having a function of determining the presence or absence of a person around a work machine.

従来、ショベルに搭載される障害物検出器の監視範囲内で作業者が検出された場合に警報音を発する周辺監視装置が知られている(例えば、特許文献1参照。)。また、ショベルの周囲に設定した作業エリア内に進入した作業者が共同作業者であるか否かをその作業者のヘルメットに取り付けられたLEDの発光パターンから判断して警報音を出力させるか否かを決定する警報システムが知られている(例えば、特許文献2参照。)。また、フォークリフトとその近傍(周り)で作業を行う作業者との間で通信を行い、この通信に基づいて警報音の出力を制御する安全装置が知られている(例えば、特許文献3参照。)。   2. Description of the Related Art Conventionally, a periphery monitoring device that emits an alarm sound when an operator is detected within a monitoring range of an obstacle detector mounted on an excavator is known (see, for example, Patent Document 1). Whether or not the worker who entered the work area set around the excavator is a collaborator is judged based on the light emission pattern of the LED attached to the helmet of the worker and outputs an alarm sound. There is known an alarm system that determines whether or not (see, for example, Patent Document 2). In addition, a safety device is known that performs communication between a forklift and an operator who performs work in the vicinity (around) and controls the output of an alarm sound based on this communication (see, for example, Patent Document 3). ).

特開2008−179940号公報JP 2008-179940 A 特開2009−193494号公報JP 2009-193494 A 特開2007−310587号公報JP 2007-310587 A

しかしながら、特許文献1〜3の技術は何れも、所定範囲内に進入した作業者を確実に検出できることを前提としており、所定範囲内で作業する作業者を検出し損ねる場合を想定していない。そのため、ショベル等の操作者は、警報音が止めば、所定範囲内で作業していた作業者が所定範囲外に退出したものと判断し、操作者自身による確認を行うことなくショベル等による作業を開始してしまうおそれがある。   However, all of the techniques of Patent Documents 1 to 3 are based on the premise that an operator who has entered a predetermined range can be reliably detected, and do not assume a case where a worker who works within the predetermined range is missed. Therefore, if the alarm is stopped, the operator such as the excavator determines that the worker who was working within the predetermined range has moved out of the predetermined range, and the operator using the excavator does not perform confirmation by the operator himself / herself. May start.

上述の点に鑑み、本発明は、作業機械の周囲の所定範囲内に存在していた人が所定範囲外に退出したことの確認を操作者に促すことができる作業機械用周辺監視装置を提供することを目的とする。   In view of the above, the present invention provides a work machine periphery monitoring device that can prompt an operator to confirm that a person who was within a predetermined range around the work machine has left the predetermined range. The purpose is to do.

上述の目的を達成するために、本発明の実施例に係る作業機械用周辺監視装置は、操作者の入力を受ける入力部と該操作者に対する警報を出力する警報出力部とを備える作業機械の周辺監視装置であって、前記作業機械の周囲における人の存否を判定する人存否判定手段と、前記警報出力部を制御する警報制御手段と、を有し、前記警報制御手段は、前記作業機械の周囲に人が存在すると判定された場合に警報を出力させ、前記入力部を通じた該警報を停止させるための前記操作者の入力を受けるまで該警報の出力を継続させる。   In order to achieve the above object, a work machine periphery monitoring device according to an embodiment of the present invention includes a work machine including an input unit that receives an input from an operator and an alarm output unit that outputs an alarm to the operator. A perimeter monitoring apparatus, comprising: a presence / absence determination unit that determines the presence / absence of a person around the work machine; and an alarm control unit that controls the alarm output unit, wherein the alarm control unit includes the work machine An alarm is output when it is determined that there is a person around the terminal, and the output of the alarm is continued until an input from the operator for stopping the alarm through the input unit is received.

上述の手段により、本発明は、作業機械の周囲の所定範囲内に存在していた人が所定範囲外に退出したことの確認を操作者に促すことができる作業機械用周辺監視装置を提供することができる。   With the above-described means, the present invention provides a work machine periphery monitoring device that can prompt an operator to confirm that a person who was within a predetermined range around the work machine has left the predetermined range. be able to.

本発明の実施例に係る画像生成装置の構成例を概略的に示すブロック図である。It is a block diagram which shows roughly the structural example of the image generation apparatus which concerns on the Example of this invention. 画像生成装置が搭載されるショベルの構成例を示す図である。It is a figure which shows the structural example of the shovel mounted with an image generation apparatus. 入力画像が投影される空間モデルの一例を示す図である。It is a figure which shows an example of the space model on which an input image is projected. 空間モデルと処理対象画像平面との間の関係の一例を示す図(その1)である。It is FIG. (1) which shows an example of the relationship between a space model and a process target image plane. 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。It is a figure for demonstrating matching with the coordinate on an input image plane, and the coordinate on a space model. 座標対応付け手段による座標間の対応付けを説明するための図である。It is a figure for demonstrating the matching between the coordinates by a coordinate matching means. 平行線群の作用を説明するための図である。It is a figure for demonstrating the effect | action of a parallel line group. 補助線群の作用を説明するための図である。It is a figure for demonstrating the effect | action of an auxiliary line group. 処理対象画像生成処理及び出力画像生成処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process target image generation process and an output image generation process. 出力画像の表示例(その1)である。It is a display example (the 1) of an output image. 画像生成装置が搭載されるショベルの上面図である。It is a top view of the shovel in which an image generation apparatus is mounted. ショベルに搭載された3台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図(その1)である。FIG. 4 is a diagram (No. 1) illustrating input images of three cameras mounted on an excavator and output images generated using the input images. 2つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理を説明するための図である。It is a figure for demonstrating the image loss prevention process which prevents the loss | disappearance of the object in the overlap part of each imaging space of two cameras. 図12で示される出力画像と、図12の出力画像に画像消失防止処理を適用することで得られる出力画像との違いを表す対比図である。FIG. 13 is a comparison diagram showing the difference between the output image shown in FIG. 12 and the output image obtained by applying image loss prevention processing to the output image of FIG. 12. ショベルに搭載された3台のカメラのそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図(その2)である。It is FIG. (2) which shows each input image of the three cameras mounted in the shovel, and the output image produced | generated using those input images. 空間モデルと処理対象画像平面との間の関係の一例を示す図(その2)である。It is FIG. (2) which shows an example of the relationship between a space model and a process target image plane. 第1出力画像切換処理で切り換えられる2つの出力画像の関係を説明する図である。It is a figure explaining the relationship of the two output images switched by the 1st output image switching process. 第2出力画像切換処理で切り換えられる3つの出力画像の関係を説明する図である。It is a figure explaining the relationship of the three output images switched by the 2nd output image switching process. 人存否判定手段の判定結果と、出力画像の内容との対応関係を示す対応表である。It is a correspondence table | surface which shows the correspondence of the determination result of a human presence determination means, and the content of an output image. 第1警報制御処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a 1st alarm control process. 第1警報制御処理中に表示される出力画像の推移の一例を示す図である。It is a figure which shows an example of transition of the output image displayed during a 1st alarm control process. 第2警報制御処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a 2nd alarm control process. 第2警報制御処理中に表示される出力画像の推移の一例を示す図である。It is a figure which shows an example of transition of the output image displayed during a 2nd alarm control process. 作業機械状態判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a working machine state determination process. 作業開始時警報制御処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a warning control process at the time of a work start. 周辺監視装置の別の構成例を概略的に示すブロック図である。It is a block diagram which shows another structural example of a periphery monitoring apparatus roughly. 周辺監視装置のさらに別の構成例を概略的に示すブロック図である。It is a block diagram which shows schematically the further another structural example of a periphery monitoring apparatus.

以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。   Hereinafter, the best mode for carrying out the present invention will be described with reference to the drawings.

図1は、本発明の実施例に係る画像生成装置100の構成例を概略的に示すブロック図である。   FIG. 1 is a block diagram schematically illustrating a configuration example of an image generation apparatus 100 according to an embodiment of the present invention.

画像生成装置100は、作業機械の周辺を監視する作業機械用周辺監視装置の1例であり、制御部1、カメラ2、入力部3、記憶部4、表示部5、人検出センサ6、警報出力部7、ゲートロックレバー8、及びイグニッションスイッチ9で構成される。具体的には、画像生成装置100は、作業機械に搭載されたカメラ2が撮像した入力画像に基づいて出力画像を生成しその出力画像を操作者に提示する。また、画像生成装置100は、人検出センサ6の出力に基づいて、提示すべき出力画像の内容を切り換える。   The image generation device 100 is an example of a work machine periphery monitoring device that monitors the periphery of the work machine, and includes a control unit 1, a camera 2, an input unit 3, a storage unit 4, a display unit 5, a human detection sensor 6, an alarm. An output unit 7, a gate lock lever 8, and an ignition switch 9 are included. Specifically, the image generation device 100 generates an output image based on an input image captured by the camera 2 mounted on the work machine and presents the output image to the operator. Further, the image generation device 100 switches the content of the output image to be presented based on the output of the human detection sensor 6.

図2は、画像生成装置100が搭載される作業機械としてのショベル60の構成例を示す図であり、ショベル60は、クローラ式の下部走行体61の上に、旋回機構62を介して、上部旋回体63を旋回軸PVの周りで旋回自在に搭載している。   FIG. 2 is a diagram illustrating a configuration example of an excavator 60 as a work machine on which the image generating apparatus 100 is mounted. The excavator 60 is placed on a crawler-type lower traveling body 61 via a turning mechanism 62. A swing body 63 is mounted so as to be swingable around a swing axis PV.

また、上部旋回体63は、その前方左側部にキャブ(運転室)64を備え、その前方中央部に掘削アタッチメントEを備え、その右側面及び後面にカメラ2(右側方カメラ2R、後方カメラ2B)及び人検出センサ6(右側方人検出センサ6R、後方人検出センサ6B)を備えている。なお、キャブ64内の操作者が視認し易い位置には表示部5が設置されている。また、キャブ64内には、警報出力部7(右側方警報出力部7R、後方警報出力部7B)、ゲートロックレバー8、イグニッションスイッチ9が設置されている。   The upper swing body 63 includes a cab (operator's cab) 64 on the front left side, a drilling attachment E on the front center, and the camera 2 (right camera 2R, rear camera 2B) on the right and rear surfaces. ) And a person detection sensor 6 (right person detection sensor 6R, rear person detection sensor 6B). In addition, the display part 5 is installed in the position in the cab 64 where the operator is easy to visually recognize. In the cab 64, an alarm output unit 7 (right alarm output unit 7R, rear alarm output unit 7B), a gate lock lever 8, and an ignition switch 9 are installed.

次に、画像生成装置100の各構成要素について説明する。   Next, each component of the image generation apparatus 100 will be described.

制御部1は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、NVRAM(Non-Volatile Random Access Memory)等を備えたコンピュータである。本実施例では、制御部1は、例えば、後述する座標対応付け手段10、画像生成手段11、人存否判定手段12、警報制御手段13、及び作業機械状態判定手段14のそれぞれに対応するプログラムをROMやNVRAMに記憶し、一時記憶領域としてRAMを利用しながら各手段に対応する処理をCPUに実行させる。   The control unit 1 is a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), an NVRAM (Non-Volatile Random Access Memory), and the like. In the present embodiment, the control unit 1 has programs corresponding to, for example, a coordinate association unit 10, an image generation unit 11, a presence / absence determination unit 12, an alarm control unit 13, and a work machine state determination unit 14 described later. The CPU stores the data in the ROM or NVRAM, and causes the CPU to execute processing corresponding to each means while using the RAM as a temporary storage area.

カメラ2は、ショベル60の周囲を映し出す入力画像を取得するための装置である。本実施例では、カメラ2は、例えば、キャブ64にいる操作者の死角となる領域を撮像できるよう上部旋回体63の右側面及び後面に取り付けられる右側方カメラ2R及び後方カメラ2Bである(図2参照。)。また、カメラ2は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を備える。なお、カメラ2は、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられていてもよく、広い範囲を撮像できるよう広角レンズ又は魚眼レンズが装着されていてもよい。   The camera 2 is a device for acquiring an input image that reflects the surroundings of the excavator 60. In the present embodiment, the camera 2 is, for example, a right side camera 2R and a rear camera 2B that are attached to the right side and the rear side of the upper swing body 63 so as to image a blind spot of the operator in the cab 64 (see FIG. 2). The camera 2 includes an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). The camera 2 may be attached to a position other than the right side and the rear side of the upper swing body 63 (for example, the front side and the left side), and a wide-angle lens or a fisheye lens is attached so as to capture a wide range. It may be.

また、カメラ2は、制御部1からの制御信号に応じて入力画像を取得し、取得した入力画像を制御部1に対して出力する。なお、カメラ2は、魚眼レンズ又は広角レンズを用いて入力画像を取得した場合には、それらレンズを用いることによって生じる見掛け上の歪曲やアオリを補正した補正済みの入力画像を制御部1に対して出力する。また、カメラ2は、その見掛け上の歪曲やアオリを補正していない入力画像をそのまま制御部1に対して出力してもよい。その場合には、制御部1がその見掛け上の歪曲やアオリを補正する。   In addition, the camera 2 acquires an input image according to a control signal from the control unit 1 and outputs the acquired input image to the control unit 1. In addition, when the camera 2 acquires an input image using a fisheye lens or a wide-angle lens, the corrected input image obtained by correcting apparent distortion and tilt caused by using these lenses is transmitted to the control unit 1. Output. Further, the camera 2 may output an input image without correcting its apparent distortion and tilt to the control unit 1 as it is. In that case, the control unit 1 corrects the apparent distortion and tilt.

入力部3は、操作者が画像生成装置100に対して各種情報を入力できるようにするための装置であり、例えば、タッチパネル、ボタンスイッチ、ポインティングデバイス、キーボード等である。   The input unit 3 is a device that allows an operator to input various types of information to the image generation device 100, and is, for example, a touch panel, a button switch, a pointing device, a keyboard, or the like.

記憶部4は、各種情報を記憶するための装置であり、例えば、ハードディスク、光学ディスク、又は半導体メモリ等である。   The storage unit 4 is a device for storing various types of information, and is, for example, a hard disk, an optical disk, or a semiconductor memory.

表示部5は、画像情報を表示するための装置であり、例えば、ショベル60のキャブ64(図2参照。)内に設置された液晶ディスプレイ又はプロジェクタ等であって、制御部1が出力する各種画像を表示する。   The display unit 5 is a device for displaying image information. For example, the display unit 5 is a liquid crystal display, a projector, or the like installed in the cab 64 (see FIG. 2) of the excavator 60. Display an image.

人検出センサ6は、ショベル60の周囲に存在する人を検出するための装置である。本実施例では、人検出センサ6は、例えば、キャブ64にいる操作者の死角となる領域に存在する人を検出できるよう上部旋回体63の右側面及び後面に取り付けられる(図2参照。)。   The human detection sensor 6 is a device for detecting a person existing around the excavator 60. In the present embodiment, the human detection sensor 6 is attached to the right side surface and the rear surface of the upper swing body 63 so as to detect, for example, a person present in the blind spot of the operator in the cab 64 (see FIG. 2). .

人検出センサ6は、人以外の物体から人を区別して検出するセンサであり、例えば、対応する監視空間内のエネルギ変化を検出するセンサであって、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等の出力信号を利用した動体検出センサを含む。本実施例では、人検出センサ6は、焦電型赤外線センサを用いたものであり、動体(移動する熱源)を人として検出する。また、右側方人検出センサ6Rの監視空間は、右側方カメラの撮像空間に含まれ、後方人検出センサ6Bの監視空間は、後方カメラ2Bの撮像空間に含まれる。   The person detection sensor 6 is a sensor that distinguishes and detects a person from an object other than a person. For example, the person detection sensor 6 is a sensor that detects a change in energy in a corresponding monitoring space, and includes a pyroelectric infrared sensor, a bolometer infrared sensor, Includes a moving object detection sensor using an output signal of an infrared camera or the like. In this embodiment, the human detection sensor 6 uses a pyroelectric infrared sensor, and detects a moving object (moving heat source) as a person. The monitoring space of the right person detection sensor 6R is included in the imaging space of the right camera, and the monitoring space of the rear person detection sensor 6B is included in the imaging space of the rear camera 2B.

なお、人検出センサ6は、カメラ2と同様、上部旋回体63の右側面及び後面以外の位置(例えば、前面及び左側面である。)に取り付けられてもよく、上部旋回体63の前面、左側面、右側面、及び後面のうちの何れか1つに取り付けられていてもよく、全ての面に取り付けられていてもよい。   Note that the human detection sensor 6 may be attached to a position other than the right side and the rear side of the upper swing body 63 (for example, the front and left sides), like the camera 2. It may be attached to any one of the left side surface, the right side surface, and the rear surface, or may be attached to all surfaces.

警報出力部7は、ショベル60の操作者に対する警報を出力する装置である。例えば、警報出力部7は、音及び光の少なくとも一方を出力する警報装置であり、ブザー、スピーカ等の音声出力装置、LED、フラッシュライト等の発光装置を含む。本実施例では、警報出力部7は、警報音を出力するブザーであり、キャブ64の右側内壁に取り付けられる右側方警報出力部7R、及び、キャブ64の後側内壁に取り付けられる後方警報出力部7Bで構成される(図2参照。)。   The alarm output unit 7 is a device that outputs an alarm for the operator of the excavator 60. For example, the alarm output unit 7 is an alarm device that outputs at least one of sound and light, and includes a sound output device such as a buzzer and a speaker, and a light emitting device such as an LED and a flashlight. In the present embodiment, the alarm output unit 7 is a buzzer that outputs an alarm sound. The right side alarm output unit 7 </ b> R attached to the right inner wall of the cab 64 and the rear alarm output unit attached to the rear inner wall of the cab 64. 7B (see FIG. 2).

ゲートロックレバー8は、ショベル60の状態を切り換える装置である。本実施例では、ゲートロックレバー8は、ショベル60を作業不可状態とするロック状態と、ショベル60を作業可能状態とするロック解除状態とを有する。なお、「作業可能状態」は、操作者がショベル60を操作できる状態を意味し、「作業不可状態」は、操作者がショベル60を操作できない状態を意味する。ゲートロックレバー8は、自身の現在の状態を表す信号を所定周期で繰り返し制御部1に対して出力する。   The gate lock lever 8 is a device that switches the state of the excavator 60. In the present embodiment, the gate lock lever 8 has a locked state in which the excavator 60 is in a work-impossible state and a unlocked state in which the excavator 60 is in a workable state. The “workable state” means a state where the operator can operate the shovel 60, and the “work not possible state” means a state where the operator cannot operate the shovel 60. The gate lock lever 8 repeatedly outputs a signal representing its current state to the control unit 1 at a predetermined cycle.

具体的には、操作者は、ゲートロックレバー8を引き上げてほぼ水平にすることによりゲートロックレバー8をロック解除状態とし、ゲートロックレバー8を押し下げることによりゲートロックレバー8をロック状態とする。   Specifically, the operator raises the gate lock lever 8 and makes it substantially horizontal to bring the gate lock lever 8 into the unlocked state, and depressing the gate lock lever 8 brings the gate lock lever 8 into the locked state.

ロック解除状態において、ゲートロックレバー8は、キャブ64の乗降口を遮って操作者がキャブ64から退出するのを規制しながら、キャブ64内の図示しない操作レバー及び操作ペダル等(以下、「操作ペダル等」とする。)による操作を有効にして操作者がショベル60を操作できるようにする。   In the unlocked state, the gate lock lever 8 blocks an entrance / exit of the cab 64 and restricts the operator from exiting the cab 64, and controls an operation lever and an operation pedal (not shown) in the cab 64 (hereinafter referred to as “operation”). The operation according to “Pedal etc.” is made effective so that the operator can operate the shovel 60.

一方、ロック状態において、ゲートロックレバー8は、キャブ64の乗降口を開放して操作者がキャブ64から退出するのを許容しながら、キャブ64内の操作レバー等による操作を無効にして操作者がショベル60を操作できないようにする。   On the other hand, in the locked state, the gate lock lever 8 opens the entrance / exit of the cab 64 and allows the operator to leave the cab 64 while invalidating the operation by the operation lever or the like in the cab 64. Prevents the shovel 60 from being operated.

より具体的には、ゲートロックレバー8は、ロック状態においてゲートロック弁を閉状態とし、ロック解除状態においてゲートロック弁を開状態とする。ゲートロック弁は、コントロールバルブ(図示せず。)と操作レバー等との間の油路の間に設けられる切換弁である。また、コントロールバルブは、図示しない油圧ポンプと各種油圧アクチュエータとの間の作動油の流れを制御する流量制御弁である。ゲートロック弁は、閉状態において、コントロールバルブと操作レバー等との間の作動油の流れを遮断して操作レバー等を無効にする。また、ゲートロック弁は、開状態において、コントロールバルブと操作レバー等との間で作動油を連通させて操作レバー等を有効にする。   More specifically, the gate lock lever 8 closes the gate lock valve in the locked state and opens the gate lock valve in the unlocked state. The gate lock valve is a switching valve provided between an oil passage between a control valve (not shown) and an operation lever or the like. The control valve is a flow control valve that controls the flow of hydraulic oil between a hydraulic pump (not shown) and various hydraulic actuators. In the closed state, the gate lock valve shuts off the flow of hydraulic oil between the control valve and the operation lever and disables the operation lever and the like. In the open state, the gate lock valve makes the operation lever and the like effective by communicating hydraulic fluid between the control valve and the operation lever and the like.

イグニッションスイッチ9は、ショベル60の状態を切り換える装置である。本実施例では、イグニッションスイッチ9は、ショベル60を作業不可状態とするオフ状態と、ショベル60を作業可能状態とするオン状態とを有する。イグニッションスイッチ9は、自身の現在の状態を表す信号を所定周期で繰り返し制御部1に対して出力する。   The ignition switch 9 is a device that switches the state of the excavator 60. In the present embodiment, the ignition switch 9 has an off state in which the excavator 60 is in an unworkable state and an on state in which the excavator 60 is in a workable state. The ignition switch 9 repeatedly outputs a signal representing its current state to the control unit 1 repeatedly at a predetermined cycle.

具体的には、操作者は、イグニッションスイッチ9を押下することによりイグニッションスイッチ9のオン状態とオフ状態とを切り換える。   Specifically, the operator switches the on / off state of the ignition switch 9 by pressing the ignition switch 9.

オン状態において、イグニッションスイッチ9は、エンジンを始動させることによって、コントロールバルブと操作レバー等との間の油路に作動油を供給するコントロールポンプを始動させる。そして、イグニッションスイッチ9は、キャブ64内の操作レバー等による操作を有効にして操作者がショベル60を操作できるようにする。   In the ON state, the ignition switch 9 starts a control pump that supplies hydraulic oil to an oil passage between the control valve and the operation lever and the like by starting the engine. The ignition switch 9 enables the operation of the excavator 60 by enabling the operation by the operation lever or the like in the cab 64.

一方、オフ状態において、イグニッションスイッチ9は、エンジンを停止させることによって、コントロールポンプを停止させる。そして、イグニッションスイッチ9は、キャブ64内の操作レバー等による操作を無効にして操作者がショベル60を操作できないようにする。   On the other hand, in the off state, the ignition switch 9 stops the control pump by stopping the engine. The ignition switch 9 disables the operation of the operation lever or the like in the cab 64 so that the operator cannot operate the excavator 60.

また、画像生成装置100は、入力画像に基づいて処理対象画像を生成し、その処理対象画像に画像変換処理を施すことによって周囲の物体との位置関係や距離感を直感的に把握できるようにする出力画像を生成した上で、その出力画像を操作者に提示するようにしてもよい。   In addition, the image generation apparatus 100 generates a processing target image based on the input image, and performs an image conversion process on the processing target image so that the positional relationship with the surrounding objects and a sense of distance can be intuitively grasped. An output image to be generated may be generated, and the output image may be presented to the operator.

「処理対象画像」は、入力画像に基づいて生成される、画像変換処理(例えば、スケール変換処理、アフィン変換処理、歪曲変換処理、視点変換処理等である。)の対象となる画像である。具体的には、「処理対象画像」は、例えば、地表を上方から撮像するカメラによる入力画像であってその広い画角により水平方向の画像(例えば、空の部分である。)を含む入力画像から生成される、画像変換処理に適した画像である。より具体的には、その水平方向の画像が不自然に表示されないよう(例えば、空の部分が地表にあるものとして扱われないよう)その入力画像を所定の空間モデルに投影した上で、その空間モデルに投影された投影画像を別の二次元平面に再投影することによって生成される。なお、処理対象画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。   The “processing target image” is an image that is a target of image conversion processing (for example, scale conversion processing, affine conversion processing, distortion conversion processing, viewpoint conversion processing, etc.) that is generated based on the input image. Specifically, the “processing target image” is, for example, an input image by a camera that images the ground surface from above, and includes an image in the horizontal direction (for example, an empty portion) with a wide angle of view. It is an image suitable for image conversion processing generated from the above. More specifically, the input image is projected onto a predetermined spatial model so that the horizontal image is not displayed unnaturally (for example, the sky is not treated as being on the ground surface) It is generated by reprojecting the projection image projected on the spatial model onto another two-dimensional plane. The processing target image may be used as an output image as it is without performing an image conversion process.

「空間モデル」は、入力画像の投影対象である。具体的には、「空間モデル」は、少なくとも、処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面を含む、一又は複数の平面若しくは曲面で構成される。処理対象画像が位置する平面である処理対象画像平面以外の平面又は曲面は、例えば、処理対象画像平面に平行な平面、又は、処理対象画像平面との間で角度を形成する平面若しくは曲面である。   The “space model” is a projection target of the input image. Specifically, the “space model” includes at least one plane or curved surface including a plane or curved surface other than the processing target image plane that is a plane on which the processing target image is located. The plane or curved surface other than the processing target image plane that is the plane on which the processing target image is located is, for example, a plane parallel to the processing target image plane or a plane or curved surface that forms an angle with the processing target image plane. .

なお、画像生成装置100は、処理対象画像を生成することなく、その空間モデルに投影された投影画像に画像変換処理を施すことによって出力画像を生成するようにしてもよい。また、投影画像は、画像変換処理を施すことなくそのまま出力画像として用いられてもよい。   Note that the image generation apparatus 100 may generate an output image by performing image conversion processing on the projection image projected on the space model without generating a processing target image. Further, the projection image may be used as an output image as it is without being subjected to image conversion processing.

図3は、入力画像が投影される空間モデルMDの一例を示す図であり、図3左図は、ショベル60を側方から見たときのショベル60と空間モデルMDとの間の関係を示し、図3右図は、ショベル60を上方から見たときのショベル60と空間モデルMDとの間の関係を示す。   FIG. 3 is a diagram illustrating an example of a spatial model MD onto which an input image is projected, and the left diagram in FIG. 3 illustrates a relationship between the excavator 60 and the spatial model MD when the excavator 60 is viewed from the side. 3 shows the relationship between the shovel 60 and the space model MD when the shovel 60 is viewed from above.

図3で示されるように、空間モデルMDは、半円筒形状を有し、その底面内側の平面領域R1とその側面内側の曲面領域R2とを有する。   As shown in FIG. 3, the space model MD has a semi-cylindrical shape, and includes a planar region R1 inside the bottom surface and a curved region R2 inside the side surface.

また、図4は、空間モデルMDと処理対象画像平面との間の関係の一例を示す図であり、処理対象画像平面R3は、例えば、空間モデルMDの平面領域R1を含む平面である。なお、図4は、明確化のために、空間モデルMDを、図3で示すような半円筒形状ではなく、円筒形状で示しているが、空間モデルMDは、半円筒形状及び円筒形状の何れであってもよい。以降の図においても同様である。また、処理対象画像平面R3は、上述のように、空間モデルMDの平面領域R1を含む円形領域であってもよく、空間モデルMDの平面領域R1を含まない環状領域であってもよい。   FIG. 4 is a diagram illustrating an example of a relationship between the space model MD and the processing target image plane, and the processing target image plane R3 is a plane including the plane area R1 of the space model MD, for example. 4 shows the space model MD not in a semi-cylindrical shape as shown in FIG. 3 but in a cylindrical shape for the sake of clarity, the space model MD may be either a semi-cylindrical shape or a cylindrical shape. It may be. The same applies to the subsequent drawings. Further, as described above, the processing target image plane R3 may be a circular area including the plane area R1 of the spatial model MD, or may be an annular area not including the plane area R1 of the spatial model MD.

次に、制御部1が有する各種手段について説明する。   Next, various units included in the control unit 1 will be described.

座標対応付け手段10は、カメラ2が撮像した入力画像が位置する入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付けるための手段である。本実施例では、座標対応付け手段10は、例えば、予め設定された、或いは、入力部3を介して入力されるカメラ2に関する各種パラメータと、予め決定された、入力画像平面、空間モデルMD、及び処理対象画像平面R3の相互の位置関係とに基づいて、入力画像平面上の座標と、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付ける。なお、カメラ2に関する各種パラメータは、例えば、カメラ2の光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、座標対応付け手段10は、それらの対応関係を記憶部4の入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41に記憶する。   The coordinate association unit 10 is a unit for associating coordinates on the input image plane where the input image captured by the camera 2 is located, coordinates on the space model MD, and coordinates on the processing target image plane R3. In the present embodiment, the coordinate association unit 10 includes, for example, various parameters relating to the camera 2 that are set in advance or input via the input unit 3, and predetermined input image planes, space models MD, The coordinates on the input image plane, the coordinates on the space model MD, and the coordinates on the processing target image plane R3 are associated with each other based on the mutual positional relationship of the processing target image plane R3. The various parameters related to the camera 2 are, for example, the optical center of the camera 2, focal length, CCD size, optical axis direction vector, camera horizontal direction vector, projection method, and the like. Then, the coordinate association unit 10 stores these correspondences in the input image / space model correspondence map 40 and the space model / processing object image correspondence map 41 of the storage unit 4.

なお、座標対応付け手段10は、処理対象画像を生成しない場合には、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応付け、及び、その対応関係の空間モデル・処理対象画像対応マップ41への記憶を省略する。   When the processing target image is not generated, the coordinate association unit 10 associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3, and the spatial model / processing target of the corresponding relationship. The storage in the image correspondence map 41 is omitted.

画像生成手段11は、出力画像を生成するための手段である。本実施例では、画像生成手段11は、例えば、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。各画素の値は、例えば、輝度値、色相値、彩度値等である。   The image generation means 11 is a means for generating an output image. In the present embodiment, the image generation unit 11 performs, for example, scale conversion, affine transformation, or distortion conversion on the processing target image, so that the coordinates on the processing target image plane R3 and the output image plane on which the output image is located. Match coordinates. Then, the image generation unit 11 stores the correspondence relationship in the processing target image / output image correspondence map 42 of the storage unit 4. The image generation unit 11 associates the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image / space model correspondence map 40 and the space model / processing target image correspondence map 41. Generate an output image. The value of each pixel is, for example, a luminance value, a hue value, a saturation value, and the like.

また、画像生成手段11は、予め設定された、或いは、入力部3を介して入力される仮想カメラに関する各種パラメータに基づいて、処理対象画像平面R3上の座標と出力画像が位置する出力画像平面上の座標とを対応付ける。なお、仮想カメラに関する各種パラメータは、例えば、仮想カメラの光学中心、焦点距離、CCDサイズ、光軸方向ベクトル、カメラ水平方向ベクトル、射影方式等である。そして、画像生成手段11は、その対応関係を記憶部4の処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。   Further, the image generation means 11 outputs the output image plane where the coordinates on the processing target image plane R3 and the output image are located based on various parameters relating to the virtual camera set in advance or input via the input unit 3. Correlate with the coordinates above. Various parameters relating to the virtual camera are, for example, the optical center of the virtual camera, the focal length, the CCD size, the optical axis direction vector, the camera horizontal direction vector, the projection method, and the like. Then, the image generation unit 11 stores the correspondence relationship in the processing target image / output image correspondence map 42 of the storage unit 4. The image generation unit 11 associates the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image / space model correspondence map 40 and the space model / processing target image correspondence map 41. Generate an output image.

なお、画像生成手段11は、仮想カメラの概念を用いることなく、処理対象画像のスケールを変更して出力画像を生成するようにしてもよい。   Note that the image generation unit 11 may generate the output image by changing the scale of the processing target image without using the concept of the virtual camera.

また、画像生成手段11は、処理対象画像を生成しない場合には、施した画像変換処理に応じて空間モデルMD上の座標と出力画像平面上の座標とを対応付ける。そして、画像生成手段11は、入力画像・空間モデル対応マップ40を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。この場合、画像生成手段11は、処理対象画像平面R3上の座標と出力画像平面上の座標との対応付け、及び、その対応関係の処理対象画像・出力画像対応マップ42への記憶を省略する。   Further, when the processing target image is not generated, the image generation unit 11 associates the coordinates on the space model MD with the coordinates on the output image plane according to the applied image conversion processing. Then, the image generation unit 11 generates an output image by associating the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image / space model correspondence map 40. In this case, the image generation unit 11 omits the association between the coordinates on the processing target image plane R3 and the coordinates on the output image plane and the storage of the correspondence relationship in the processing target image / output image correspondence map 42. .

また、画像生成手段11は、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える。なお、画像生成手段11による出力画像の切り換えについてはその詳細を後述する。   Further, the image generation unit 11 switches the content of the output image based on the determination result of the presence / absence determination unit 12. Details of the output image switching by the image generation means 11 will be described later.

人存否判定手段12は、作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定する手段である。本実施例では、人存否判定手段12は、人検出センサ6の出力に基づいてショベル60の周囲の人の存否を判定する。   The presence / absence determination means 12 is a means for determining the presence / absence of a person in each of a plurality of monitoring spaces set around the work machine. In the present embodiment, the presence / absence determination unit 12 determines the presence / absence of a person around the excavator 60 based on the output of the person detection sensor 6.

また、人存否判定手段12は、カメラ2が撮像した入力画像に基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。具体的には、人存否判定手段12は、オプティカルフロー、パターンマッチング等の画像処理技術を用いて作業機械の周囲の人の存否を判定してもよい。なお、人存否判定手段12は、カメラ2とは別の画像センサの出力に基づいて作業機械の周囲の人の存否を判定してもよい。   Further, the presence / absence determination unit 12 may determine the presence / absence of a person in each of a plurality of monitoring spaces set around the work machine based on an input image captured by the camera 2. Specifically, the presence / absence determination unit 12 may determine the presence / absence of a person around the work machine using an image processing technique such as optical flow or pattern matching. The presence / absence determination unit 12 may determine the presence / absence of a person around the work machine based on an output of an image sensor different from the camera 2.

或いは、人存否判定手段12は、人検出センサ6の出力とカメラ2等の画像センサの出力とに基づいて作業機械の周囲に設定される複数の監視空間のそれぞれにおける人の存否を判定してもよい。   Alternatively, the presence / absence determination unit 12 determines the presence / absence of a person in each of a plurality of monitoring spaces set around the work machine based on the output of the human detection sensor 6 and the output of the image sensor such as the camera 2. Also good.

警報制御手段13は、警報出力部7を制御する手段である。本実施例では、警報制御手段13は、人存否判定手段12の判定結果に基づいて、或いは、人存否判定手段12の判定結果と作業機械状態判定手段14の判定結果とに基づいて、警報出力部7を制御する。なお、警報制御手段13による警報出力部7の制御についてはその詳細を後述する。   The alarm control means 13 is a means for controlling the alarm output unit 7. In this embodiment, the alarm control unit 13 outputs an alarm based on the determination result of the presence / absence determination unit 12 or based on the determination result of the presence / absence determination unit 12 and the determination result of the work machine state determination unit 14. The unit 7 is controlled. The details of the control of the alarm output unit 7 by the alarm control means 13 will be described later.

作業機械状態判定手段14は、作業機械の状態を判定する手段である。本実施例では、作業機械状態判定手段14は、ショベル60が作業可能状態にあるか否かを判定する。なお、作業機械状態判定手段14によるショベル60の状態の判定についてはその詳細を後述する。   The work machine state determination means 14 is a means for determining the state of the work machine. In this embodiment, the work machine state determination unit 14 determines whether or not the excavator 60 is in a workable state. Details of the determination of the state of the excavator 60 by the work machine state determination means 14 will be described later.

次に、座標対応付け手段10及び画像生成手段11による具体的な処理の一例について説明する。   Next, an example of specific processing by the coordinate association unit 10 and the image generation unit 11 will be described.

座標対応付け手段10は、例えば、ハミルトンの四元数を用いて、入力画像平面上の座標と空間モデル上の座標とを対応付けることができる。   The coordinate association means 10 can associate the coordinates on the input image plane with the coordinates on the space model using, for example, a Hamilton quaternion.

図5は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。カメラ2の入力画像平面は、カメラ2の光学中心Cを原点とするUVW直交座標系における一平面として表される。空間モデルは、XYZ直交座標系における立体面として表される。   FIG. 5 is a diagram for explaining the association between the coordinates on the input image plane and the coordinates on the space model. The input image plane of the camera 2 is represented as one plane in the UVW orthogonal coordinate system with the optical center C of the camera 2 as the origin. The spatial model is represented as a three-dimensional surface in the XYZ orthogonal coordinate system.

最初に、座標対応付け手段10は、XYZ座標系の原点を光学中心C(UVW座標系の原点)に並行移動させた上で、X軸をU軸に、Y軸をV軸に、Z軸を−W軸にそれぞれ一致させるようXYZ座標系を回転させる。空間モデル上の座標(XYZ座標系上の座標)を入力画像平面上の座標(UVW座標系上の座標)に変換するためである。なお、「−W軸」の符号「−」は、Z軸の方向と−W軸の方向が逆であることを意味する。これは、UVW座標系がカメラ前方を+W方向とし、XYZ座標系が鉛直下方を−Z方向としていることに起因する。   First, the coordinate matching unit 10 moves the origin of the XYZ coordinate system in parallel to the optical center C (the origin of the UVW coordinate system), then sets the X axis as the U axis, the Y axis as the V axis, and the Z axis. The XYZ coordinate system is rotated so as to match the −W axis. This is because the coordinates on the space model (the coordinates on the XYZ coordinate system) are converted to the coordinates on the input image plane (the coordinates on the UVW coordinate system). Note that the sign “-” of “−W axis” means that the direction of the Z axis is opposite to the direction of the −W axis. This is because the UVW coordinate system has the + W direction in front of the camera, and the XYZ coordinate system has the −Z direction in the vertically downward direction.

なお、カメラ2が複数存在する場合、カメラ2のそれぞれが個別のUVW座標系を有するので、座標対応付け手段10は、複数のUVW座標系のそれぞれに対して、XYZ座標系を並行移動させ且つ回転させる。   When there are a plurality of cameras 2, each of the cameras 2 has an individual UVW coordinate system, so the coordinate association unit 10 moves the XYZ coordinate system in parallel with respect to each of the plurality of UVW coordinate systems, and Rotate.

上述の変換は、カメラ2の光学中心CがXYZ座標系の原点となるようにXYZ座標系を並行移動させた後に、Z軸が−W軸に一致するよう回転させ、更に、X軸がU軸に一致するよう回転させることによって実現される。そのため、座標対応付け手段10は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。   In the above conversion, the XYZ coordinate system is translated so that the optical center C of the camera 2 is the origin of the XYZ coordinate system, and then the Z axis is rotated so as to coincide with the −W axis. This is realized by rotating to coincide with the axis. Therefore, the coordinate matching means 10 can combine these two rotations into one rotation calculation by describing this conversion in Hamilton's quaternion.

ところで、あるベクトルAを別のベクトルBに一致させるための回転は、ベクトルAとベクトルBとが張る面の法線を軸としてベクトルAとベクトルBとが形成する角度だけ回転させる処理に相当する。そして、その角度をθとすると、ベクトルAとベクトルBとの内積から、角度θは、   By the way, the rotation for making one vector A coincide with another vector B corresponds to the process of rotating the vector A and the vector B by the angle formed by using the normal line of the plane formed by the vectors A and B as an axis. . And, if the angle is θ, from the inner product of the vector A and the vector B, the angle θ is

で表される。 It is represented by

また、ベクトルAとベクトルBとが張る面の法線の単位ベクトルNは、ベクトルAとベクトルBとの外積から   Further, the unit vector N of the normal line between the vector A and the vector B is obtained from the outer product of the vector A and the vector B.

で表されることとなる。 It will be expressed as

なお、四元数は、i、j、kをそれぞれ虚数単位とした場合、   Note that the quaternion has i, j, and k as imaginary units,

を満たす超複素数であり、本実施例において、四元数Qは、実成分をt、純虚成分をa、b、cとして、 In this embodiment, the quaternion Q is represented by t as a real component and a, b, and c as pure imaginary components.

で表され、四元数Qの共役四元数は、 The conjugate quaternion of the quaternion Q is

で表される。 It is represented by

四元数Qは、実成分tを0(ゼロ)としながら、純虚成分a、b、cで三次元ベクトル(a,b,c)を表現することができ、また、t、a、b、cの各成分により任意のベクトルを軸とした回転動作を表現することもできる。   The quaternion Q can represent a three-dimensional vector (a, b, c) with pure imaginary components a, b, c while setting the real component t to 0 (zero), and t, a, b , C can also be used to express a rotational motion with an arbitrary vector as an axis.

更に、四元数Qは、連続する複数回の回転動作を統合して一回の回転動作として表現することができる。具体的には、四元数Qは、例えば、任意の点S(sx,sy,sz)を、任意の単位ベクトルC(l,m,n)を軸としながら角度θだけ回転させたときの点D(ex,ey,ez)を以下のように表現することができる。   Further, the quaternion Q can be expressed as a single rotation operation by integrating a plurality of continuous rotation operations. Specifically, the quaternion Q is obtained when, for example, an arbitrary point S (sx, sy, sz) is rotated by an angle θ with an arbitrary unit vector C (l, m, n) as an axis. The point D (ex, ey, ez) can be expressed as follows.

ここで、本実施例において、Z軸を−W軸に一致させる回転を表す四元数をQzとすると、XYZ座標系におけるX軸上の点Xは、点X'に移動させられるので、点X'は、 Here, in this embodiment, if the quaternion representing the rotation that makes the Z axis coincide with the −W axis is Qz, the point X on the X axis in the XYZ coordinate system is moved to the point X ′. X '

で表される。 It is represented by

また、本実施例において、X軸上にある点X'と原点とを結ぶ線をU軸に一致させる回転を表す四元数をQxとすると、「Z軸を−W軸に一致させ、更に、X軸をU軸に一致させる回転」を表す四元数Rは、   In this embodiment, if the quaternion representing the rotation that matches the line connecting the point X ′ on the X axis and the origin to the U axis is Qx, “the Z axis matches the −W axis, , A quaternion R representing "rotation to make the X axis coincide with the U axis"

で表される。 It is represented by

以上により、空間モデル(XYZ座標系)上の任意の座標Pを入力画像平面(UVW座標系)上の座標で表現したときの座標P'は、   As described above, the coordinate P ′ when an arbitrary coordinate P on the space model (XYZ coordinate system) is expressed by a coordinate on the input image plane (UVW coordinate system) is

で表される。また、四元数Rがカメラ2のそれぞれで不変であることから、座標対応付け手段10は、以後、この演算を実行するだけで空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換することができる。 It is represented by In addition, since the quaternion R is invariant in each of the cameras 2, the coordinate association unit 10 thereafter executes the calculation to convert the coordinates on the space model (XYZ coordinate system) to the input image plane (UVW). Can be converted to coordinates on the coordinate system).

空間モデル(XYZ座標系)上の座標を入力画像平面(UVW座標系)上の座標に変換した後、座標対応付け手段10は、線分CP'と、カメラ2の光軸Gとが形成する入射角αを算出する。なお、線分CP'は、カメラ2の光学中心C(UVW座標系上の座標)と空間モデル上の任意の座標PをUVW座標系で表した座標P'とを結ぶ線分である。   After the coordinates on the space model (XYZ coordinate system) are converted to the coordinates on the input image plane (UVW coordinate system), the coordinate association means 10 is formed by the line segment CP ′ and the optical axis G of the camera 2. The incident angle α is calculated. The line segment CP ′ is a line segment that connects the optical center C (coordinate on the UVW coordinate system) of the camera 2 and a coordinate P ′ that represents an arbitrary coordinate P on the space model in the UVW coordinate system.

また、座標対応付け手段10は、カメラ2の入力画像平面R4(例えば、CCD面)に平行で且つ座標P'を含む平面Hにおける偏角φ、及び線分EP'の長さを算出する。なお、線分EP'は、平面Hと光軸Gとの交点Eと、座標P'とを結ぶ線分であり、偏角φは、平面HにおけるU'軸と線分EP'とが形成する角度である。   In addition, the coordinate association unit 10 calculates the deflection angle φ and the length of the line segment EP ′ in the plane H that is parallel to the input image plane R4 (for example, the CCD plane) of the camera 2 and includes the coordinates P ′. The line segment EP ′ is a line segment connecting the intersection point E between the plane H and the optical axis G and the coordinate P ′, and the deflection angle φ is formed by the U ′ axis and the line segment EP ′ in the plane H. It is an angle to do.

カメラの光学系は、通常、像高さhが入射角α及び焦点距離fの関数となっている。そのため、座標対応付け手段10は、通常射影(h=ftanα)、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等の適切な射影方式を選択して像高さhを算出する。   In the camera optical system, the image height h is usually a function of the incident angle α and the focal length f. Therefore, the coordinate correlating means 10 performs normal projection (h = ftan α), orthographic projection (h = fsin α), stereoscopic projection (h = 2 ftan (α / 2)), and equal solid angle projection (h = 2 fsin (α / 2). )), An appropriate projection method such as equidistant projection (h = fα) is selected to calculate the image height h.

その後、座標対応付け手段10は、算出した像高さhを偏角φによりUV座標系上のU成分及びV成分に分解し、入力画像平面R4の一画素当たりの画素サイズに相当する数値で除算する。これにより、座標対応付け手段10は、空間モデルMD上の座標P(P')と入力画像平面R4上の座標とを対応付けることができる。   Thereafter, the coordinate matching means 10 decomposes the calculated image height h into U and V components on the UV coordinate system by the declination φ, and is a numerical value corresponding to the pixel size per pixel of the input image plane R4. Divide. As a result, the coordinate association unit 10 can associate the coordinates P (P ′) on the space model MD with the coordinates on the input image plane R4.

なお、入力画像平面R4のU軸方向における一画素当たりの画素サイズをaとし、入力画像平面R4のV軸方向における一画素当たりの画素サイズをaとすると、空間モデルMD上の座標P(P')に対応する入力画像平面R4上の座標(u,v)は、 Incidentally, when the pixel size per one pixel in the U axis direction of the input image plane R4 and a U, the pixel size per one pixel in the V axis direction of the input image plane R4 and a V, coordinates P of the space model MD The coordinates (u, v) on the input image plane R4 corresponding to (P ′) are

で表される。 It is represented by

このようにして、座標対応付け手段10は、空間モデルMD上の座標と、カメラ毎に存在する一又は複数の入力画像平面R4上の座標とを対応付け、空間モデルMD上の座標、カメラ識別子、及び入力画像平面R4上の座標を関連付けて入力画像・空間モデル対応マップ40に記憶する。   In this way, the coordinate association unit 10 associates the coordinates on the space model MD with the coordinates on one or a plurality of input image planes R4 existing for each camera, and coordinates on the space model MD, the camera identifier. And the coordinates on the input image plane R4 are stored in the input image / space model correspondence map 40 in association with each other.

また、座標対応付け手段10は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、座標対応付け手段10は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。   Further, since the coordinate association unit 10 calculates the coordinate conversion using the quaternion, unlike the case where the coordinate conversion is calculated using the Euler angle, there is an advantage that no gimbal lock is generated. . However, the coordinate association unit 10 is not limited to the one that calculates the coordinate conversion using the quaternion, and may perform the coordinate conversion using the Euler angle.

なお、複数の入力画像平面R4上の座標への対応付けが可能な場合、座標対応付け手段10は、空間モデルMD上の座標P(P')を、その入射角αが最も小さいカメラに関する入力画像平面R4上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面R4上の座標に対応付けるようにしてもよい。   Note that, when it is possible to associate the coordinates on the plurality of input image planes R4, the coordinate associating means 10 inputs the coordinates P (P ′) on the spatial model MD with respect to the camera having the smallest incident angle α. It may be associated with coordinates on the image plane R4, or may be associated with coordinates on the input image plane R4 selected by the operator.

次に、空間モデルMD上の座標のうち、曲面領域R2上の座標(Z軸方向の成分を持つ座標)を、XY平面上にある処理対象画像平面R3に再投影する処理について説明する。   Next, a process of reprojecting coordinates on the curved surface area R2 (coordinates having a component in the Z-axis direction) among the coordinates on the spatial model MD onto the processing target image plane R3 on the XY plane will be described.

図6は、座標対応付け手段10による座標間の対応付けを説明するための図である。F6Aは、一例として通常射影(h=ftanα)を採用するカメラ2の入力画像平面R4上の座標と空間モデルMD上の座標との間の対応関係を示す図である。座標対応付け手段10は、カメラ2の入力画像平面R4上の座標とその座標に対応する空間モデルMD上の座標とを結ぶ線分のそれぞれがカメラ2の光学中心Cを通過するようにして、両座標を対応付ける。   FIG. 6 is a diagram for explaining the association between coordinates by the coordinate association means 10. F6A is a diagram illustrating a correspondence relationship between coordinates on the input image plane R4 of the camera 2 that adopts normal projection (h = ftanα) as an example and coordinates on the space model MD. The coordinate associating means 10 is arranged so that each line segment connecting the coordinates on the input image plane R4 of the camera 2 and the coordinates on the spatial model MD corresponding to the coordinates passes through the optical center C of the camera 2. Associate both coordinates.

F6Aの例では、座標対応付け手段10は、カメラ2の入力画像平面R4上の座標K1を空間モデルMDの平面領域R1上の座標L1に対応付け、カメラ2の入力画像平面R4上の座標K2を空間モデルMDの曲面領域R2上の座標L2に対応付ける。このとき、線分K1−L1及び線分K2−L2は共にカメラ2の光学中心Cを通過する。   In the example of F6A, the coordinate association means 10 associates the coordinate K1 on the input image plane R4 of the camera 2 with the coordinate L1 on the plane area R1 of the space model MD, and coordinates K2 on the input image plane R4 of the camera 2 Is associated with the coordinate L2 on the curved surface region R2 of the space model MD. At this time, both the line segment K1-L1 and the line segment K2-L2 pass through the optical center C of the camera 2.

なお、カメラ2が通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、座標対応付け手段10は、それぞれの射影方式に応じて、カメラ2の入力画像平面R4上の座標K1、K2を空間モデルMD上の座標L1、L2に対応付ける。   In addition, when the camera 2 employs a projection method other than normal projection (for example, orthographic projection, stereoscopic projection, equisolid angle projection, equidistant projection, etc.), the coordinate association unit 10 uses each projection method. Accordingly, the coordinates K1 and K2 on the input image plane R4 of the camera 2 are associated with the coordinates L1 and L2 on the space model MD.

具体的には、座標対応付け手段10は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、入力画像平面上の座標と空間モデルMD上の座標とを対応付ける。この場合、線分K1−L1及び線分K2−L2がカメラ2の光学中心Cを通過することはない。   Specifically, the coordinate association unit 10 is configured to use a predetermined function (for example, orthographic projection (h = fsin α), stereoscopic projection (h = 2 ftan (α / 2)), or equal solid angle projection (h = 2 fsin (α / 2)), equidistant projection (h = fα), etc.), the coordinates on the input image plane are associated with the coordinates on the space model MD. In this case, the line segment K1-L1 and the line segment K2-L2 do not pass through the optical center C of the camera 2.

F6Bは、空間モデルMDの曲面領域R2上の座標と処理対象画像平面R3上の座標との間の対応関係を示す図である。座標対応付け手段10は、XZ平面上に位置する平行線群PLであって、処理対象画像平面R3との間で角度βを形成する平行線群PLを導入する。そして、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標とその座標に対応する処理対象画像平面R3上の座標とが共に平行線群PLのうちの一つに乗るようにして、両座標を対応付ける。   F6B is a diagram illustrating a correspondence relationship between coordinates on the curved surface region R2 of the space model MD and coordinates on the processing target image plane R3. The coordinate association unit 10 introduces a parallel line group PL that is located on the XZ plane and forms an angle β with the processing target image plane R3. Then, the coordinate association means 10 causes both the coordinates on the curved surface region R2 of the spatial model MD and the coordinates on the processing target image plane R3 corresponding to the coordinates to ride on one of the parallel line groups PL. Associate both coordinates.

F6Bの例では、座標対応付け手段10は、空間モデルMDの曲面領域R2上の座標L2と処理対象画像平面R3上の座標M2とが共通の平行線に乗るとして、両座標を対応付ける。   In the example of F6B, the coordinate association means 10 associates both coordinates on the assumption that the coordinate L2 on the curved surface region R2 of the spatial model MD and the coordinate M2 on the processing target image plane R3 are on a common parallel line.

なお、座標対応付け手段10は、空間モデルMDの平面領域R1上の座標を曲面領域R2上の座標と同様に平行線群PLを用いて処理対象画像平面R3上の座標に対応付けることも可能である。しかしながら、F6Bの例では、平面領域R1と処理対象画像平面R3とが共通の平面となっている。そのため、空間モデルMDの平面領域R1上の座標L1と処理対象画像平面R3上の座標M1とは同じ座標値を有する。   The coordinate association means 10 can also associate the coordinates on the plane area R1 of the space model MD with the coordinates on the processing target image plane R3 using the parallel line group PL in the same manner as the coordinates on the curved surface area R2. is there. However, in the example of F6B, the plane area R1 and the processing target image plane R3 are a common plane. Therefore, the coordinate L1 on the plane area R1 of the space model MD and the coordinate M1 on the processing target image plane R3 have the same coordinate value.

このようにして、座標対応付け手段10は、空間モデルMD上の座標と、処理対象画像平面R3上の座標とを対応付け、空間モデルMD上の座標及び処理対象画像平面R3上の座標を関連付けて空間モデル・処理対象画像対応マップ41に記憶する。   In this way, the coordinate association unit 10 associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3, and associates the coordinates on the spatial model MD with the coordinates on the processing target image plane R3. And stored in the space model / processing object image correspondence map 41.

F6Cは、処理対象画像平面R3上の座標と、一例として通常射影(h=ftanα)を採用する仮想カメラ2Vの出力画像平面R5上の座標との間の対応関係を示す図である。画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標とその座標に対応する処理対象画像平面R3上の座標とを結ぶ線分のそれぞれが仮想カメラ2Vの光学中心CVを通過するようにして、両座標を対応付ける。   F6C is a diagram illustrating a correspondence relationship between the coordinates on the processing target image plane R3 and the coordinates on the output image plane R5 of the virtual camera 2V adopting the normal projection (h = ftanα) as an example. The image generation means 11 causes each of the line segments connecting the coordinates on the output image plane R5 of the virtual camera 2V and the coordinates on the processing target image plane R3 corresponding to the coordinates to pass through the optical center CV of the virtual camera 2V. And correlate both coordinates.

F6Cの例では、画像生成手段11は、仮想カメラ2Vの出力画像平面R5上の座標N1を処理対象画像平面R3(空間モデルMDの平面領域R1)上の座標M1に対応付け、仮想カメラ2Vの出力画像平面R5上の座標N2を処理対象画像平面R3上の座標M2に対応付ける。このとき、線分M1−N1及び線分M2−N2は共に仮想カメラ2Vの光学中心CVを通過する。   In the example of F6C, the image generation unit 11 associates the coordinate N1 on the output image plane R5 of the virtual camera 2V with the coordinate M1 on the processing target image plane R3 (plane area R1 of the spatial model MD), and the virtual camera 2V The coordinate N2 on the output image plane R5 is associated with the coordinate M2 on the processing target image plane R3. At this time, both the line segment M1-N1 and the line segment M2-N2 pass through the optical center CV of the virtual camera 2V.

なお、仮想カメラ2Vが通常射影以外の射影方式(例えば、正射影、立体射影、等立体角射影、等距離射影等である。)を採用する場合、画像生成手段11は、それぞれの射影方式に応じて、仮想カメラ2Vの出力画像平面R5上の座標N1、N2を処理対象画像平面R3上の座標M1、M2に対応付ける。   Note that when the virtual camera 2V employs a projection method other than normal projection (for example, orthographic projection, stereoscopic projection, equisolid angle projection, equidistant projection, etc.), the image generation unit 11 uses each projection method. Accordingly, the coordinates N1 and N2 on the output image plane R5 of the virtual camera 2V are associated with the coordinates M1 and M2 on the processing target image plane R3.

具体的には、画像生成手段11は、所定の関数(例えば、正射影(h=fsinα)、立体射影(h=2ftan(α/2))、等立体角射影(h=2fsin(α/2))、等距離射影(h=fα)等である。)に基づいて、出力画像平面R5上の座標と処理対象画像平面R3上の座標とを対応付ける。この場合、線分M1−N1及び線分M2−N2が仮想カメラ2Vの光学中心CVを通過することはない。   Specifically, the image generating unit 11 is configured to use a predetermined function (for example, orthographic projection (h = fsin α), stereoscopic projection (h = 2 ftan (α / 2)), or equal solid angle projection (h = 2 fsin (α / 2)). )), Equidistant projection (h = fα), etc.), the coordinates on the output image plane R5 and the coordinates on the processing target image plane R3 are associated with each other. In this case, the line segment M1-N1 and the line segment M2-N2 do not pass through the optical center CV of the virtual camera 2V.

このようにして、画像生成手段11は、出力画像平面R5上の座標と、処理対象画像平面R3上の座標とを対応付け、出力画像平面R5上の座標及び処理対象画像平面R3上の座標を関連付けて処理対象画像・出力画像対応マップ42に記憶する。そして、画像生成手段11は、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41を参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。   In this way, the image generation unit 11 associates the coordinates on the output image plane R5 with the coordinates on the processing target image plane R3, and sets the coordinates on the output image plane R5 and the coordinates on the processing target image plane R3. The image is associated and stored in the processing image / output image correspondence map 42. The image generation unit 11 associates the value of each pixel in the output image with the value of each pixel in the input image while referring to the input image / space model correspondence map 40 and the space model / processing target image correspondence map 41. Generate an output image.

なお、F6Dは、F6A〜F6Cを組み合わせた図であり、カメラ2、仮想カメラ2V、空間モデルMDの平面領域R1及び曲面領域R2、並びに、処理対象画像平面R3の相互の位置関係を示す。   F6D is a diagram in which F6A to F6C are combined, and shows the positional relationship between the camera 2, the virtual camera 2V, the plane area R1 and the curved area R2 of the spatial model MD, and the processing target image plane R3.

次に、図7を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの作用について説明する。   Next, the operation of the parallel line group PL introduced by the coordinate association unit 10 to associate the coordinates on the space model MD with the coordinates on the processing target image plane R3 will be described with reference to FIG.

図7左図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度βが形成される場合の図である。一方、図7右図は、XZ平面上に位置する平行線群PLと処理対象画像平面R3との間で角度β1(β1>β)が形成される場合の図である。また、図7左図及び図7右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。また、図7左図における座標La〜Ldのそれぞれの間隔は、図7右図における座標La〜Ldのそれぞれの間隔と等しい。なお、平行線群PLは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の全ての点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、この場合のZ軸を「再投影軸」と称する。   The left figure of FIG. 7 is a figure in case the angle (beta) is formed between the parallel line group PL located on XZ plane, and process target image plane R3. On the other hand, the right diagram in FIG. 7 is a diagram in the case where an angle β1 (β1> β) is formed between the parallel line group PL positioned on the XZ plane and the processing target image plane R3. Each of the coordinates La to Ld on the curved surface region R2 of the spatial model MD in the left diagram of FIG. 7 and the right diagram of FIG. 7 corresponds to each of the coordinates Ma to Md on the processing target image plane R3. Further, the intervals between the coordinates La to Ld in the left diagram in FIG. 7 are equal to the respective intervals between the coordinates La to Ld in the right diagram in FIG. The parallel line group PL is assumed to exist on the XZ plane for the purpose of explanation, but actually exists so as to extend radially from all points on the Z axis toward the processing target image plane R3. To do. In this case, the Z axis is referred to as a “reprojection axis”.

図7左図及び図7右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、平行線群PLと処理対象画像平面R3との間の角度が増大するにつれて線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離とは関係なく一様に減少する。一方で、空間モデルMDの平面領域R1上の座標群は、図7の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。   As shown in the left diagram of FIG. 7 and the right diagram of FIG. 7, the distance between the coordinates Ma to Md on the processing target image plane R3 increases the angle between the parallel line group PL and the processing target image plane R3. Decreases linearly with time. That is, the distance decreases uniformly regardless of the distance between the curved surface region R2 of the spatial model MD and each of the coordinates Ma to Md. On the other hand, since the coordinate group on the plane region R1 of the space model MD is not converted into the coordinate group on the processing target image plane R3 in the example of FIG. 7, the interval between the coordinate groups does not change. .

これら座標群の間隔の変化は、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが線形的に拡大或いは縮小されることを意味する。   The change in the interval between these coordinate groups is such that only the image portion corresponding to the image projected on the curved surface region R2 of the spatial model MD is linearly enlarged or out of the image portion on the output image plane R5 (see FIG. 6). It means to be reduced.

次に、図8を参照しながら、空間モデルMD上の座標と処理対象画像平面R3上の座標とを対応付けるために座標対応付け手段10が導入する平行線群PLの代替例について説明する。   Next, an alternative example of the parallel line group PL introduced by the coordinate association unit 10 to associate the coordinates on the space model MD with the coordinates on the processing target image plane R3 will be described with reference to FIG.

図8左図は、XZ平面上に位置する補助線群ALの全てがZ軸上の始点T1から処理対象画像平面R3に向かって延びる場合の図である。一方、図8右図は、補助線群ALの全てがZ軸上の始点T2(T2>T1)から処理対象画像平面R3に向かって延びる場合の図である。また、図8左図及び図8右図における空間モデルMDの曲面領域R2上の座標La〜Ldのそれぞれは、処理対象画像平面R3上の座標Ma〜Mdのそれぞれに対応する。なお、図8左図の例では、座標Mc、Mdは、処理対象画像平面R3の領域外となるため図示されていない。また、図8左図における座標La〜Ldのそれぞれの間隔は、図8右図における座標La〜Ldのそれぞれの間隔と等しい。なお、補助線群ALは、説明目的のためにXZ平面上に存在するものとしているが、実際には、Z軸上の任意の一点から処理対象画像平面R3に向かって放射状に延びるように存在する。なお、図7と同様、この場合のZ軸を「再投影軸」と称する。   The left diagram in FIG. 8 is a diagram in the case where all the auxiliary line groups AL positioned on the XZ plane extend from the start point T1 on the Z axis toward the processing target image plane R3. On the other hand, the right figure of FIG. 8 is a figure in case all the auxiliary line groups AL are extended toward the process target image plane R3 from the starting point T2 (T2> T1) on a Z-axis. Further, each of the coordinates La to Ld on the curved surface region R2 of the spatial model MD in the left diagram of FIG. 8 and the right diagram of FIG. 8 corresponds to each of the coordinates Ma to Md on the processing target image plane R3. In the example of the left diagram in FIG. 8, the coordinates Mc and Md are not shown because they are outside the region of the processing target image plane R3. Further, the respective intervals between the coordinates La to Ld in the left diagram of FIG. 8 are equal to the respective intervals of the coordinates La to Ld in the right diagram of FIG. The auxiliary line group AL is assumed to exist on the XZ plane for the purpose of explanation, but actually exists so as to extend radially from an arbitrary point on the Z axis toward the processing target image plane R3. To do. As in FIG. 7, the Z axis in this case is referred to as a “reprojection axis”.

図8左図及び図8右図で示されるように、処理対象画像平面R3上の座標Ma〜Mdのそれぞれの間隔は、補助線群ALの始点と原点Oとの間の距離(高さ)が増大するにつれて非線形的に減少する。すなわち、空間モデルMDの曲面領域R2と座標Ma〜Mdのそれぞれとの間の距離が大きいほど、それぞれの間隔の減少幅が大きくなる。一方で、空間モデルMDの平面領域R1上の座標群は、図8の例では、処理対象画像平面R3上の座標群への変換が行われないので、座標群の間隔が変化することはない。   As shown in the left diagram of FIG. 8 and the right diagram of FIG. 8, the distance between the coordinates Ma to Md on the processing target image plane R3 is the distance (height) between the starting point of the auxiliary line group AL and the origin O. As it increases, it decreases non-linearly. That is, the greater the distance between the curved surface region R2 of the space model MD and each of the coordinates Ma to Md, the greater the reduction width of each interval. On the other hand, since the coordinate group on the plane region R1 of the spatial model MD is not converted into the coordinate group on the processing target image plane R3 in the example of FIG. 8, the interval between the coordinate groups does not change. .

これら座標群の間隔の変化は、平行線群PLのときと同様、出力画像平面R5(図6参照。)上の画像部分のうち、空間モデルMDの曲面領域R2に投影された画像に対応する画像部分のみが非線形的に拡大或いは縮小されることを意味する。   The change in the interval between these coordinate groups corresponds to the image projected on the curved surface region R2 of the spatial model MD in the image portion on the output image plane R5 (see FIG. 6), as in the case of the parallel line group PL. It means that only the image portion is enlarged or reduced nonlinearly.

このようにして、画像生成装置100は、空間モデルMDの平面領域R1に投影された画像に対応する出力画像の画像部分(例えば、路面画像である。)に影響を与えることなく、空間モデルMDの曲面領域R2に投影された画像に対応する出力画像の画像部分(例えば、水平画像である。)を線形的に或いは非線形的に拡大或いは縮小させることができる。そのため、画像生成装置100は、ショベル60の近傍の路面画像(ショベル60を真上から見たときの仮想画像)に影響を与えることなく、ショベル60の周囲に位置する物体(ショベル60から水平方向に周囲を見たときの画像における物体)を迅速且つ柔軟に拡大或いは縮小させることができ、ショベル60の死角領域の視認性を向上させることができる。   In this way, the image generation device 100 does not affect the image portion (for example, a road surface image) of the output image corresponding to the image projected on the plane region R1 of the space model MD, and does not affect the space model MD. The image portion (for example, a horizontal image) of the output image corresponding to the image projected on the curved surface area R2 can be linearly or nonlinearly enlarged or reduced. Therefore, the image generation apparatus 100 does not affect the road surface image in the vicinity of the excavator 60 (virtual image when the excavator 60 is viewed from directly above), and does not affect the object (the horizontal direction from the excavator 60). The object in the image when viewing the surroundings can be expanded and contracted quickly and flexibly, and the visibility of the blind spot area of the excavator 60 can be improved.

次に、図9を参照しながら、画像生成装置100が処理対象画像を生成する処理(以下、「処理対象画像生成処理」とする。)、及び、生成した処理対象画像を用いて出力画像を生成する処理(以下、「出力画像生成処理」とする。)について説明する。なお、図9は、処理対象画像生成処理(ステップS1〜ステップS3)及び出力画像生成処理(ステップS4〜ステップS6)の流れを示すフローチャートである。また、カメラ2(入力画像平面R4)、空間モデル(平面領域R1及び曲面領域R2)、並びに、処理対象画像平面R3の配置は予め決定されている。   Next, referring to FIG. 9, the image generation apparatus 100 generates a processing target image (hereinafter referred to as “processing target image generation processing”), and an output image using the generated processing target image. Processing to be generated (hereinafter referred to as “output image generation processing”) will be described. FIG. 9 is a flowchart showing the flow of the processing target image generation process (steps S1 to S3) and the output image generation process (steps S4 to S6). Further, the arrangement of the camera 2 (input image plane R4), the space model (plane area R1 and curved surface area R2), and the processing target image plane R3 is determined in advance.

最初に、制御部1は、座標対応付け手段10により、処理対象画像平面R3上の座標と空間モデルMD上の座標とを対応付ける(ステップS1)。   First, the control unit 1 associates the coordinates on the processing target image plane R3 with the coordinates on the space model MD using the coordinate association unit 10 (step S1).

具体的には、座標対応付け手段10は、平行線群PLと処理対象画像平面R3との間に形成される角度を取得する。そして、座標対応付け手段10は、処理対象画像平面R3上の一座標から延びる平行線群PLの一つが空間モデルMDの曲面領域R2と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する曲面領域R2上の座標を、処理対象画像平面R3上のその一座標に対応する曲面領域R2上の一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。なお、平行線群PLと処理対象画像平面R3との間に形成される角度は、記憶部4等に予め記憶された値であってもよく、入力部3を介して操作者が動的に入力する値であってもよい。   Specifically, the coordinate association unit 10 acquires an angle formed between the parallel line group PL and the processing target image plane R3. Then, the coordinate association unit 10 calculates a point where one of the parallel line groups PL extending from one coordinate on the processing target image plane R3 intersects the curved surface region R2 of the space model MD. Then, the coordinate association unit 10 derives the coordinates on the curved surface region R2 corresponding to the calculated point as one coordinate on the curved surface region R2 corresponding to the one coordinate on the processing target image plane R3, and the correspondence relationship is derived. It is stored in the spatial model / processing object image correspondence map 41. It should be noted that the angle formed between the parallel line group PL and the processing target image plane R3 may be a value stored in advance in the storage unit 4 or the like. It may be a value to be entered.

また、座標対応付け手段10は、処理対象画像平面R3上の一座標が空間モデルMDの平面領域R1上の一座標と一致する場合には、平面領域R1上のその一座標を、処理対象画像平面R3上のその一座標に対応する一座標として導き出し、その対応関係を空間モデル・処理対象画像対応マップ41に記憶する。   In addition, when one coordinate on the processing target image plane R3 matches one coordinate on the plane area R1 of the space model MD, the coordinate association unit 10 uses the one coordinate on the plane area R1 as the processing target image. It is derived as one coordinate corresponding to the one coordinate on the plane R3, and the correspondence is stored in the space model / processing object image correspondence map 41.

その後、制御部1は、座標対応付け手段10により、上述の処理によって導き出された空間モデルMD上の一座標と入力画像平面R4上の座標とを対応付ける(ステップS2)。   Thereafter, the control unit 1 causes the coordinate association unit 10 to associate one coordinate on the spatial model MD derived by the above-described processing with a coordinate on the input image plane R4 (step S2).

具体的には、座標対応付け手段10は、通常射影(h=ftanα)を採用するカメラ2の光学中心Cの座標を取得する。そして、座標対応付け手段10は、空間モデルMD上の一座標から延びる線分であり、光学中心Cを通過する線分が入力画像平面R4と交差する点を算出する。そして、座標対応付け手段10は、算出した点に対応する入力画像平面R4上の座標を、空間モデルMD上のその一座標に対応する入力画像平面R4上の一座標として導き出し、その対応関係を入力画像・空間モデル対応マップ40に記憶する。   Specifically, the coordinate association unit 10 acquires the coordinates of the optical center C of the camera 2 that employs normal projection (h = ftanα). And the coordinate matching means 10 is a line segment extended from one coordinate on the space model MD, and calculates the point where the line segment passing through the optical center C intersects the input image plane R4. Then, the coordinate association unit 10 derives a coordinate on the input image plane R4 corresponding to the calculated point as one coordinate on the input image plane R4 corresponding to the one coordinate on the space model MD, and the correspondence relationship is derived. The image is stored in the input image / space model correspondence map 40.

その後、制御部1は、処理対象画像平面R3上の全ての座標を空間モデルMD上の座標及び入力画像平面R4上の座標に対応付けたか否かを判定する(ステップS3)。そして、制御部1は、未だ全ての座標を対応付けていないと判定した場合には(ステップS3のNO)、ステップS1及びステップS2の処理を繰り返す。   Thereafter, the control unit 1 determines whether or not all the coordinates on the processing target image plane R3 are associated with the coordinates on the space model MD and the coordinates on the input image plane R4 (step S3). And when it determines with the control part 1 having not matched all the coordinates yet (NO of step S3), the process of step S1 and step S2 is repeated.

一方、制御部1は、全ての座標を対応付けたと判定した場合には(ステップS3のYES)、処理対象画像生成処理を終了させた上で出力画像生成処理を開始させる。そして、制御部1は、画像生成手段11により、処理対象画像平面R3上の座標と出力画像平面R5上の座標とを対応付ける(ステップS4)。   On the other hand, when determining that all the coordinates are associated (YES in step S3), the control unit 1 ends the processing target image generation process and then starts the output image generation process. And the control part 1 matches the coordinate on process target image plane R3, and the coordinate on output image plane R5 by the image generation means 11 (step S4).

具体的には、画像生成手段11は、処理対象画像にスケール変換、アフィン変換、又は歪曲変換を施すことによって出力画像を生成する。そして、画像生成手段11は、施したスケール変換、アフィン変換、又は歪曲変換の内容によって定まる、処理対象画像平面R3上の座標と出力画像平面R5上の座標との間の対応関係を処理対象画像・出力画像対応マップ42に記憶する。   Specifically, the image generation unit 11 generates an output image by performing scale conversion, affine conversion, or distortion conversion on the processing target image. Then, the image generation unit 11 determines the correspondence between the coordinates on the processing target image plane R3 and the coordinates on the output image plane R5, which are determined by the contents of the scale conversion, affine transformation, or distortion conversion performed. Store in the output image correspondence map 42.

或いは、画像生成手段11は、仮想カメラ2Vを用いて出力画像を生成する場合には、採用した射影方式に応じて処理対象画像平面R3上の座標から出力画像平面R5上の座標を算出し、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。   Alternatively, when generating the output image using the virtual camera 2V, the image generation unit 11 calculates the coordinates on the output image plane R5 from the coordinates on the processing target image plane R3 according to the adopted projection method, The correspondence relationship may be stored in the processing target image / output image correspondence map 42.

或いは、画像生成手段11は、通常射影(h=ftanα)を採用する仮想カメラ2Vを用いて出力画像を生成する場合には、その仮想カメラ2Vの光学中心CVの座標を取得する。そして、画像生成手段11は、出力画像平面R5上の一座標から延びる線分であり、光学中心CVを通過する線分が処理対象画像平面R3と交差する点を算出する。そして、画像生成手段11は、算出した点に対応する処理対象画像平面R3上の座標を、出力画像平面R5上のその一座標に対応する処理対象画像平面R3上の一座標として導き出す。このようにして、画像生成手段11は、その対応関係を処理対象画像・出力画像対応マップ42に記憶するようにしてもよい。   Alternatively, the image generation unit 11 acquires the coordinates of the optical center CV of the virtual camera 2V when generating an output image using the virtual camera 2V that employs normal projection (h = ftanα). Then, the image generation unit 11 calculates a point that is a line segment extending from one coordinate on the output image plane R5 and that intersects the processing target image plane R3 with a line segment passing through the optical center CV. Then, the image generation unit 11 derives the coordinate on the processing target image plane R3 corresponding to the calculated point as one coordinate on the processing target image plane R3 corresponding to the one coordinate on the output image plane R5. In this way, the image generation unit 11 may store the correspondence relationship in the processing target image / output image correspondence map 42.

その後、制御部1の画像生成手段11は、入力画像・空間モデル対応マップ40、空間モデル・処理対象画像対応マップ41、及び処理対象画像・出力画像対応マップ42を参照する。そして、画像生成手段11は、入力画像平面R4上の座標と空間モデルMD上の座標との対応関係、空間モデルMD上の座標と処理対象画像平面R3上の座標との対応関係、及び処理対象画像平面R3上の座標と出力画像平面R5上の座標との対応関係を辿る。そして、画像生成手段11は、出力画像平面R5上の各座標に対応する入力画像平面R4上の座標が有する値(例えば、輝度値、色相値、彩度値等である。)を取得し、その取得した値を、対応する出力画像平面R5上の各座標の値として採用する(ステップS5)。なお、出力画像平面R5上の一座標に対して複数の入力画像平面R4上の複数の座標が対応する場合、画像生成手段11は、それら複数の入力画像平面R4上の複数の座標のそれぞれの値に基づく統計値を導き出し、出力画像平面R5上のその一座標の値としてその統計値を採用してもよい。統計値は、例えば、平均値、最大値、最小値、中間値等である。   Thereafter, the image generation unit 11 of the control unit 1 refers to the input image / space model correspondence map 40, the space model / processing target image correspondence map 41, and the processing target image / output image correspondence map 42. The image generation unit 11 then associates the coordinates on the input image plane R4 with the coordinates on the space model MD, the correspondence between the coordinates on the space model MD and the coordinates on the processing target image plane R3, and the processing target. The correspondence between the coordinates on the image plane R3 and the coordinates on the output image plane R5 is traced. Then, the image generation unit 11 acquires values (for example, luminance values, hue values, saturation values, etc.) possessed by the coordinates on the input image plane R4 corresponding to the respective coordinates on the output image plane R5. The acquired value is adopted as the value of each coordinate on the corresponding output image plane R5 (step S5). Note that when a plurality of coordinates on the plurality of input image planes R4 correspond to one coordinate on the output image plane R5, the image generation unit 11 uses each of the plurality of coordinates on the plurality of input image planes R4. A statistical value based on the value may be derived, and the statistical value may be adopted as the value of the one coordinate on the output image plane R5. The statistical value is, for example, an average value, a maximum value, a minimum value, an intermediate value, or the like.

その後、制御部1は、出力画像平面R5上の全ての座標の値を入力画像平面R4上の座標の値に対応付けたか否かを判定する(ステップS6)。そして、制御部1は、未だ全ての座標の値を対応付けていないと判定した場合には(ステップS6のNO)、ステップS4及びステップS5の処理を繰り返す。   Thereafter, the control unit 1 determines whether or not all the coordinate values on the output image plane R5 are associated with the coordinate values on the input image plane R4 (step S6). And when it determines with the control part 1 having not matched all the values of the coordinate yet (NO of step S6), the process of step S4 and step S5 is repeated.

一方、制御部1は、全ての座標の値を対応付けたと判定した場合には(ステップS6のYES)、出力画像を生成して、この一連の処理を終了させる。   On the other hand, if the control unit 1 determines that all coordinate values are associated (YES in step S6), the control unit 1 generates an output image and ends the series of processes.

なお、画像生成装置100は、処理対象画像を生成しない場合には、処理対象画像生成処理を省略する。この場合、出力画像生成処理におけるステップS4の"処理対象画像平面上の座標"は、"空間モデル上の座標"で読み替えられる。   Note that the image generation apparatus 100 omits the processing target image generation processing when the processing target image is not generated. In this case, “coordinates on the processing target image plane” in step S4 in the output image generation processing is read as “coordinates on the space model”.

以上の構成により、画像生成装置100は、ショベル60の周囲の物体とショベル60との位置関係を操作者に直感的に把握させることが可能な処理対象画像及び出力画像を生成することができる。   With the above configuration, the image generation apparatus 100 can generate a processing target image and an output image that allow the operator to intuitively grasp the positional relationship between the object around the excavator 60 and the excavator 60.

また、画像生成装置100は、処理対象画像平面R3から空間モデルMDを経て入力画像平面R4に遡るように座標の対応付けを実行する。これにより、画像生成装置100は、処理対象画像平面R3上の各座標を入力画像平面R4上の一又は複数の座標に確実に対応させることができる。そのため、画像生成装置100は、入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合と比べ、より良質な処理対象画像を迅速に生成することができる。入力画像平面R4から空間モデルMDを経て処理対象画像平面R3に至る順番で座標の対応付けを実行する場合には、入力画像平面R4上の各座標を処理対象画像平面R3上の一又は複数の座標に確実に対応させることができる。しかしながら、処理対象画像平面R3上の座標の一部が、入力画像平面R4上の何れの座標にも対応付けられない場合があり、その場合にはそれら処理対象画像平面R3上の座標の一部に補間処理等を施す必要がある。   In addition, the image generation apparatus 100 performs coordinate association so as to go back from the processing target image plane R3 to the input image plane R4 via the spatial model MD. Thereby, the image generation device 100 can reliably correspond each coordinate on the processing target image plane R3 to one or a plurality of coordinates on the input image plane R4. Therefore, the image generation apparatus 100 can quickly generate a higher-quality processing target image as compared with the case where the coordinate association is executed in the order from the input image plane R4 to the processing target image plane R3 via the spatial model MD. Can do. When the coordinate association is executed in the order from the input image plane R4 to the processing target image plane R3 via the space model MD, each coordinate on the input image plane R4 is set to one or more on the processing target image plane R3. It is possible to reliably correspond to the coordinates. However, some of the coordinates on the processing target image plane R3 may not be associated with any of the coordinates on the input image plane R4, and in this case, some of the coordinates on the processing target image plane R3. Need to be interpolated.

また、画像生成装置100は、空間モデルMDの曲面領域R2に対応する画像のみを拡大或いは縮小する場合には、平行線群PLと処理対象画像平面R3との間に形成される角度を変更して空間モデル・処理対象画像対応マップ41における曲面領域R2に関連する部分のみを書き換えるだけで、入力画像・空間モデル対応マップ40の内容を書き換えることなく、所望の拡大或いは縮小を実現させることができる。   Further, when enlarging or reducing only the image corresponding to the curved surface region R2 of the space model MD, the image generating apparatus 100 changes the angle formed between the parallel line group PL and the processing target image plane R3. Thus, it is possible to realize a desired enlargement or reduction without rewriting the contents of the input image / space model correspondence map 40 only by rewriting only the portion related to the curved surface region R2 in the space model / processing object image correspondence map 41. .

また、画像生成装置100は、出力画像の見え方を変更する場合には、スケール変換、アフィン変換又は歪曲変換に関する各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の出力画像(スケール変換画像、アフィン変換画像又は歪曲変換画像)を生成することができる。   Further, when changing the appearance of the output image, the image generating apparatus 100 simply rewrites the processing target image / output image correspondence map 42 by changing the values of various parameters relating to scale conversion, affine transformation, or distortion transformation. The desired output image (scale-converted image, affine-transformed image, or distortion-converted image) can be generated without rewriting the contents of the input image / space model correspondence map 40 and the space model / processing object image correspondence map 41.

同様に、画像生成装置100は、出力画像の視点を変更する場合には、仮想カメラ2Vの各種パラメータの値を変更して処理対象画像・出力画像対応マップ42を書き換えるだけで、入力画像・空間モデル対応マップ40及び空間モデル・処理対象画像対応マップ41の内容を書き換えることなく、所望の視点から見た出力画像(視点変換画像)を生成することができる。   Similarly, when changing the viewpoint of the output image, the image generating apparatus 100 simply changes the values of various parameters of the virtual camera 2V and rewrites the processing target image / output image correspondence map 42 to change the input image / space. An output image (viewpoint conversion image) viewed from a desired viewpoint can be generated without rewriting the contents of the model correspondence map 40 and the space model / processing object image correspondence map 41.

図10は、ショベル60に搭載された二台のカメラ2(右側方カメラ2R及び後方カメラ2B)の入力画像を用いて生成される出力画像を表示部5に表示させたときの表示例である。   FIG. 10 is a display example when an output image generated using input images of two cameras 2 (the right side camera 2R and the rear camera 2B) mounted on the excavator 60 is displayed on the display unit 5. .

画像生成装置100は、それら二台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。そして、画像生成装置100は、その生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。このようにして、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する出力画像を生成する。以下では、このような出力画像を周辺監視用仮想視点画像と称する。   The image generation apparatus 100 projects the input images of the two cameras 2 onto the plane region R1 and the curved surface region R2 of the space model MD, and then reprojects them onto the processing target image plane R3 to generate a processing target image. To do. Then, the image generation apparatus 100 generates an output image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, etc.) on the generated processing target image. In this way, the image generating apparatus 100 has an image in which the vicinity of the excavator 60 is looked down from above (an image in the plane region R1), and an image in which the surroundings are viewed in the horizontal direction from the excavator 60 (an image in the processing target image plane R3). An output image that simultaneously displays is generated. Hereinafter, such an output image is referred to as a peripheral monitoring virtual viewpoint image.

なお、周辺監視用仮想視点画像は、画像生成装置100が処理対象画像を生成しない場合には、空間モデルMDに投影された画像に画像変換処理(例えば、視点変換処理である。)を施すことによって生成される。   Note that the virtual viewpoint image for periphery monitoring is subjected to image conversion processing (for example, viewpoint conversion processing) on the image projected on the space model MD when the image generation apparatus 100 does not generate a processing target image. Generated by.

また、周辺監視用仮想視点画像は、ショベル60が旋回動作を行う際の画像を違和感なく表示できるよう、円形にトリミングされ、その円の中心CTRが空間モデルMDの円筒中心軸上で、且つ、ショベル60の旋回軸PV上となるように生成される。そのため、周辺監視用仮想視点画像は、ショベル60の旋回動作に応じてその中心CTRを軸に回転するように表示される。この場合、空間モデルMDの円筒中心軸は、再投影軸と一致するものであってもよく、一致しないものであってもよい。   Further, the periphery monitoring virtual viewpoint image is trimmed in a circle so that the image when the excavator 60 performs the turning motion can be displayed without a sense of incongruity, the center CTR of the circle is on the cylindrical center axis of the space model MD, and It is generated so as to be on the pivot axis PV of the excavator 60. Therefore, the peripheral viewpoint virtual viewpoint image is displayed so as to rotate around the center CTR in accordance with the turning operation of the excavator 60. In this case, the cylindrical central axis of the space model MD may or may not coincide with the reprojection axis.

なお、空間モデルMDの半径は、例えば、5メートルである。また、平行線群PLが処理対象画像平面R3との間で形成する角度、又は、補助線群ALの始点高さは、ショベル60の旋回中心から掘削アタッチメントEの最大到達距離(例えば12メートルである。)だけ離れた位置に物体(例えば、作業者である。)が存在する場合にその物体が表示部5で十分大きく(例えば、7ミリメートル以上である。)表示されるように、設定され得る。   Note that the radius of the space model MD is, for example, 5 meters. Further, the angle formed between the parallel line group PL and the processing target image plane R3 or the starting point height of the auxiliary line group AL is the maximum reachable distance (for example, 12 meters) of the excavation attachment E from the turning center of the shovel 60. If there is an object (for example, an operator) at a position separated by a certain distance, the display unit 5 is set to display the object sufficiently large (for example, 7 mm or more). obtain.

更に、周辺監視用仮想視点画像は、ショベル60のCG画像を、ショベル60の前方が表示部5の画面上方と一致し、且つ、その旋回中心が中心CTRと一致するように配置してもよい。ショベル60と出力画像に現れる物体との間の位置関係をより分かり易くするためである。なお、周辺監視用仮想視点画像は、方位等の各種情報を含む額縁画像をその周囲に配置してもよい。   Further, the virtual viewpoint image for peripheral monitoring may be a CG image of the excavator 60 so that the front of the excavator 60 coincides with the upper part of the screen of the display unit 5 and the turning center thereof coincides with the center CTR. . This is to make the positional relationship between the shovel 60 and the object appearing in the output image easier to understand. It should be noted that a frame image including various information such as an orientation may be arranged around the virtual viewpoint image for periphery monitoring.

次に、図11〜図14を参照しながら、画像生成装置100が生成する周辺監視用仮想視点画像の詳細について説明する。   Next, the details of the periphery monitoring virtual viewpoint image generated by the image generation apparatus 100 will be described with reference to FIGS.

図11は、画像生成装置100を搭載するショベル60の上面図である。図11に示す実施例では、ショベル60は、3台のカメラ2(左側方カメラ2L、右側方カメラ2R、及び後方カメラ2B)と3台の人検出センサ6(左側方人検出センサ6L、右側方人検出センサ6R、及び後方人検出センサ6B)とを備える。なお、図11の一点鎖線で示す領域CL、CR、CBは、それぞれ、左側方カメラ2L、右側方カメラ2R、後方カメラ2Bの撮像空間を示す。また、図11の点線で示す領域ZL、ZR、ZBは、それぞれ、左側方人検出センサ6L、右側方人検出センサ6R、後方人検出センサ6Bの監視空間を示す。また、ショベル60は、キャブ64内に、表示部5と、3台の警報出力部7(左側方警報出力部7L、右側方警報出力部7R、及び後方警報出力部7B)と、ゲートロックレバー8と、イグニッションスイッチ9とを備える。   FIG. 11 is a top view of the excavator 60 on which the image generating apparatus 100 is mounted. In the embodiment shown in FIG. 11, the excavator 60 includes three cameras 2 (left side camera 2L, right side camera 2R, and rear camera 2B) and three person detection sensors 6 (left side person detection sensor 6L, right side). A person detection sensor 6R and a rear person detection sensor 6B). Note that regions CL, CR, and CB indicated by alternate long and short dashed lines in FIG. 11 indicate imaging spaces of the left side camera 2L, the right side camera 2R, and the rear camera 2B, respectively. Further, areas ZL, ZR, and ZB indicated by dotted lines in FIG. 11 indicate monitoring spaces for the left side person detection sensor 6L, the right side person detection sensor 6R, and the rear person detection sensor 6B, respectively. In addition, the excavator 60 includes a display unit 5, three alarm output units 7 (a left side alarm output unit 7L, a right side alarm output unit 7R, and a rear alarm output unit 7B), a gate lock lever, and a gate lock lever. 8 and an ignition switch 9.

なお、本実施例では、人検出センサ6の監視空間がカメラ2の撮像空間よりも狭いが、人検出センサ6の監視空間は、カメラ2の撮像空間と同じでもよく、カメラ2の撮像空間より広くてもよい。また、人検出センサ6の監視空間は、カメラ2の撮像空間内において、ショベル60の近傍に位置するが、ショベル60からより遠い領域にあってもよい。また、人検出センサ6の監視空間は、カメラ2の撮像空間が重複する部分において、重複部分を有する。例えば、右側方カメラ2Rの撮像空間CRと後方カメラ2Bの撮像空間CBとの重複部分において、右側方人検出センサ6Rの監視空間ZRは、後方人検出センサ6Bの監視空間ZBと重複する。しかしながら、人検出センサ6の監視空間は、重複が生じないように配置されてもよい。   In the present embodiment, the monitoring space of the human detection sensor 6 is narrower than the imaging space of the camera 2, but the monitoring space of the human detection sensor 6 may be the same as the imaging space of the camera 2. It may be wide. The monitoring space of the human detection sensor 6 is located in the vicinity of the shovel 60 in the imaging space of the camera 2, but may be in a region farther from the shovel 60. In addition, the monitoring space of the human detection sensor 6 has an overlapping portion in the portion where the imaging spaces of the camera 2 overlap. For example, in the overlapping portion of the imaging space CR of the right camera 2R and the imaging space CB of the rear camera 2B, the monitoring space ZR of the right person detection sensor 6R overlaps with the monitoring space ZB of the rear person detection sensor 6B. However, the monitoring space of the human detection sensor 6 may be arranged so as not to overlap.

図12は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図である。   FIG. 12 is a diagram illustrating input images of the three cameras 2 mounted on the excavator 60 and output images generated using the input images.

画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像(平面領域R1における画像)と、ショベル60から水平方向に周囲を見た画像(処理対象画像平面R3における画像)とを同時に表示する周辺監視用仮想視点画像を生成する。なお、周辺監視用仮想視点画像の中央に表示される画像は、ショベル60のCG画像60CGである。   The image generation apparatus 100 projects the input images of the three cameras 2 onto the plane area R1 and the curved surface area R2 of the space model MD, and then reprojects them onto the process target image plane R3 to generate a process target image. . The image generation apparatus 100 generates an output image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, etc.) on the generated processing target image. As a result, the image generating apparatus 100 includes an image in which the vicinity of the excavator 60 is looked down from above (an image in the plane region R1) and an image in which the periphery is viewed from the shovel 60 in the horizontal direction (an image in the processing target image plane R3). A virtual viewpoint image for periphery monitoring to be displayed at the same time is generated. Note that the image displayed at the center of the virtual viewpoint image for periphery monitoring is the CG image 60CG of the excavator 60.

図12において、右側方カメラ2Rの入力画像、及び、後方カメラ2Bの入力画像はそれぞれ、右側方カメラ2Rの撮像空間と後方カメラ2Bの撮像空間との重複部分内に人物を捉えている(右側方カメラ2Rの入力画像における二点鎖線で囲まれる領域R10、及び、後方カメラ2Bの入力画像における二点鎖線で囲まれる領域R11参照。)。   In FIG. 12, the input image of the right-side camera 2R and the input image of the rear camera 2B each capture a person in an overlapping portion between the imaging space of the right-side camera 2R and the imaging space of the rear camera 2B (right side). (See region R10 surrounded by a two-dot chain line in the input image of the direction camera 2R and region R11 surrounded by a two-dot chain line in the input image of the rear camera 2B.)

しかしながら、出力画像平面上の座標が入射角の最も小さいカメラに関する入力画像平面上の座標に対応付けられるものとすると、出力画像は、重複部分内の人物を消失させてしまう(出力画像内の一点鎖線で囲まれる領域R12参照。)。   However, if the coordinates on the output image plane are associated with the coordinates on the input image plane for the camera with the smallest incident angle, the output image loses the person in the overlapping portion (one point in the output image). (See region R12 surrounded by a chain line.)

そこで、画像生成装置100は、重複部分に対応する出力画像部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域とを混在させ、重複部分内の物体が消失するのを防止する。   Therefore, in the output image portion corresponding to the overlapping portion, the image generating apparatus 100 associates the region on the input image plane of the rear camera 2B with the coordinate on the input image plane of the right-side camera 2R. The area is mixed to prevent the object in the overlapping portion from disappearing.

図13は、2つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止する画像消失防止処理の一例であるストライプパタン処理を説明するための図である。   FIG. 13 is a diagram for explaining a stripe pattern process which is an example of an image disappearance prevention process for preventing the disappearance of an object in an overlapping portion of the imaging spaces of two cameras.

F13Aは、右側方カメラ2Rの撮像空間と後方カメラ2Bの撮像空間との重複部分に対応する出力画像部分を示す図であり、図12の点線で示す矩形領域R13に対応する。   F13A is a diagram illustrating an output image portion corresponding to an overlapping portion between the imaging space of the right-side camera 2R and the imaging space of the rear camera 2B, and corresponds to a rectangular region R13 indicated by a dotted line in FIG.

また、F13Aにおいて、灰色で塗り潰された領域PR1は、後方カメラ2Bの入力画像部分が配置される画像領域であり、領域PR1に対応する出力画像平面上の各座標には後方カメラ2Bの入力画像平面上の座標が対応付けられる。   In F13A, a region PR1 filled in gray is an image region in which the input image portion of the rear camera 2B is arranged, and the input image of the rear camera 2B is at each coordinate on the output image plane corresponding to the region PR1. Coordinates on the plane are associated.

一方、白色で塗り潰された領域PR2は、右側方カメラ2Rの入力画像部分が配置される画像領域であり、部分PR2に対応する出力画像平面上の各座標には右側方カメラ2Rの入力画像平面上の座標が対応付けられる。   On the other hand, a region PR2 filled with white is an image region in which the input image portion of the right side camera 2R is arranged, and each coordinate on the output image plane corresponding to the portion PR2 has an input image plane of the right side camera 2R. The upper coordinates are associated.

本実施例では、領域PR1と領域PR2とが縞模様(ストライプパタン処理)を形成するように配置され、領域PR1と領域PR2とが縞状に交互に並ぶ部分の境界線は、ショベル60の旋回中心を中心とする水平面上の同心円によって定められる。   In this embodiment, the region PR1 and the region PR2 are arranged so as to form a stripe pattern (stripe pattern processing), and the boundary line of the portion where the regions PR1 and the region PR2 are alternately arranged in a stripe shape is the swivel of the excavator 60. Defined by concentric circles on a horizontal plane centered on the center.

F13Bは、ショベル60の右斜め後方の空間領域の状況を示す上面図であり、後方カメラ2B及び右側方カメラ2Rの双方によって撮像される空間領域の現在の状況を示す。また、F13Bは、ショベル60の右斜め後方に棒状の立体物OBが存在することを示す。   F13B is a top view showing the situation of the space area diagonally right behind the excavator 60, and shows the current situation of the space area imaged by both the rear camera 2B and the right-side camera 2R. Further, F13B indicates that a rod-shaped three-dimensional object OB exists on the right rear side of the excavator 60.

F13Cは、F13Bが示す空間領域を後方カメラ2B及び右側方カメラ2Rで実際に撮像して得られた入力画像に基づいて生成される出力画像の一部を示す。   F13C represents a part of an output image generated based on an input image obtained by actually capturing the space area indicated by F13B with the rear camera 2B and the right-side camera 2R.

具体的には、画像OB1は、後方カメラ2Bの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、後方カメラ2Bと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB1は、後方カメラ2Bの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。   Specifically, the image OB1 is expanded in the extension direction of the line connecting the rear camera 2B and the three-dimensional object OB by the viewpoint conversion for generating the road surface image of the three-dimensional object OB in the input image of the rear camera 2B. Represents what was done. That is, the image OB1 is a part of the image of the three-dimensional object OB displayed when the road surface image in the output image portion is generated using the input image of the rear camera 2B.

また、画像OB2は、右側方カメラ2Rの入力画像における立体物OBの画像が、路面画像を生成するための視点変換によって、右側方カメラ2Rと立体物OBとを結ぶ線の延長方向に伸長されたものを表す。すなわち、画像OB2は、右側方カメラ2Rの入力画像を用いて出力画像部分における路面画像を生成した場合に表示される立体物OBの画像の一部である。   In addition, the image OB2 is expanded in the extension direction of the line connecting the right camera 2R and the three-dimensional object OB by the viewpoint conversion for generating the road surface image of the three-dimensional object OB in the input image of the right camera 2R. Represents a thing. That is, the image OB2 is a part of an image of the three-dimensional object OB displayed when a road surface image in the output image portion is generated using the input image of the right side camera 2R.

このように、画像生成装置100は、重複部分において、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域PR1と、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域PR2とを混在させる。その結果、画像生成装置100は、1つの立体物OBに関する2つの画像OB1及び画像OB2の双方を出力画像上に表示させ、立体物OBが出力画像から消失するのを防止する。   As described above, the image generating apparatus 100 includes the region PR1 in which the coordinates on the input image plane of the rear camera 2B are associated with the region PR2 in which the coordinates on the input image plane of the right-side camera 2R are associated with each other in the overlapping portion. Mix. As a result, the image generation apparatus 100 displays both the two images OB1 and OB2 related to one solid object OB on the output image, and prevents the solid object OB from disappearing from the output image.

図14は、図12の出力画像と、図12の出力画像に画像消失防止処理(ストライプパタン処理)を適用することで得られる出力画像との違いを表す対比図であり、図14上図が図12の出力画像を示し、図14下図が画像消失防止処理(ストライプパタン処理)を適用した後の出力画像を示す。図14上図における一点鎖線で囲まれる領域R12では人物が消失しているのに対し、図14下図における一点鎖線で囲まれる領域R14では人物が消失せずに表示されている。   FIG. 14 is a comparison diagram showing the difference between the output image of FIG. 12 and the output image obtained by applying image loss prevention processing (stripe pattern processing) to the output image of FIG. The output image of FIG. 12 is shown, and the lower part of FIG. 14 shows the output image after applying the image loss prevention process (stripe pattern process). The person disappears in the region R12 surrounded by the alternate long and short dash line in the upper diagram of FIG. 14, whereas the person is displayed without disappearing in the region R14 surrounded by the dashed dotted line in the lower diagram of FIG.

なお、画像生成装置100は、ストライプパタン処理の代わりに、メッシュパタン処理、平均化処理等を適用して重複部分内の物体の消失を防止してもよい。具体的には、画像生成装置100は、平均化処理により、2つのカメラのそれぞれの入力画像における対応する画素の値(例えば、輝度値である。)の平均値を、重複部分に対応する出力画像部分の画素の値として採用する。或いは、画像生成装置100は、メッシュパタン処理により、重複部分に対応する出力画像部分において、一方のカメラの入力画像における画素の値が対応付けられる領域と、他方のカメラの入力画像における画素の値が対応付けられる領域とを網模様(メッシュパタン)を形成するように配置させる。これにより、画像生成装置100は、重複部分内の物体が消失するのを防止する。   Note that the image generating apparatus 100 may prevent the disappearance of the object in the overlapping portion by applying a mesh pattern process, an averaging process, or the like instead of the stripe pattern process. Specifically, the image generation apparatus 100 outputs an average value of corresponding pixel values (for example, luminance values) in the input images of the two cameras, corresponding to the overlapping portion, by averaging processing. It is adopted as the pixel value of the image portion. Alternatively, the image generation apparatus 100 performs mesh pattern processing so that, in the output image portion corresponding to the overlapping portion, the region in which the pixel value in the input image of one camera is associated with the pixel value in the input image of the other camera Are arranged so as to form a net pattern (mesh pattern). Thereby, the image generation device 100 prevents the objects in the overlapping portion from disappearing.

次に、図15〜図17を参照して、画像生成手段11が、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える処理(以下、「第1出力画像切換処理」とする。)について説明する。なお、図15は、ショベル60に搭載された3台のカメラ2のそれぞれの入力画像と、それら入力画像を用いて生成される出力画像とを示す図であり、図12に対応する。また、図16は、第1出力画像切換処理で用いられる空間モデルMDと処理対象画像平面R3との間の関係の一例を示す図であり、図4に対応する。また、図17は、第1出力画像切換処理で切り換えられる2つの出力画像の関係を説明する図である。   Next, referring to FIGS. 15 to 17, the image generation unit 11 switches the content of the output image based on the determination result of the presence / absence determination unit 12 (hereinafter referred to as “first output image switching process”). .). FIG. 15 is a diagram illustrating input images of the three cameras 2 mounted on the excavator 60 and output images generated using the input images, and corresponds to FIG. FIG. 16 is a diagram illustrating an example of the relationship between the spatial model MD used in the first output image switching process and the processing target image plane R3, and corresponds to FIG. FIG. 17 is a diagram for explaining the relationship between two output images switched in the first output image switching process.

図15に示すように、画像生成装置100は、3台のカメラ2のそれぞれの入力画像を空間モデルMDの平面領域R1及び曲面領域R2上に投影した上で処理対象画像平面R3に再投影して処理対象画像を生成する。また、画像生成装置100は、生成した処理対象画像に画像変換処理(例えば、スケール変換、アフィン変換、歪曲変換、視点変換処理等である。)を施すことによって出力画像を生成する。その結果、画像生成装置100は、ショベル60の近傍を上空から見下ろした画像と、ショベル60から水平方向に周囲を見た画像とを同時に表示する周辺監視用仮想視点画像を生成する。   As shown in FIG. 15, the image generating apparatus 100 projects the input images of the three cameras 2 onto the plane area R1 and the curved area R2 of the space model MD, and then reprojects them onto the processing target image plane R3. To generate a processing target image. The image generation apparatus 100 generates an output image by performing image conversion processing (for example, scale conversion, affine conversion, distortion conversion, viewpoint conversion processing, etc.) on the generated processing target image. As a result, the image generation device 100 generates a peripheral monitoring virtual viewpoint image that simultaneously displays an image of the vicinity of the excavator 60 as viewed from above and an image of the periphery of the excavator 60 viewed in the horizontal direction.

また、図15において、左側方カメラ2L、後方カメラ2B、及び右側方カメラ2Rのそれぞれの入力画像は、作業者が3人ずつ存在する状態を示す。また、出力画像は、ショベル60の周囲に9人の作業者が存在する状態を示す。   In FIG. 15, the input images of the left camera 2L, the rear camera 2B, and the right camera 2R indicate a state where there are three workers. The output image shows a state where nine workers are present around the excavator 60.

なお、空間モデルMDの平面領域R1の高さは、ショベル60の接地面である路面に相当する高さに設定されている。そのため、図15の平面領域R1における画像では、9人の作業者のそれぞれの接地位置とショベル60のCG画像60CGとの間の距離は、9人の作業者のそれぞれとショベル60との間の実際の距離を正確に表している。しかしながら、作業者の画像は、接地位置(足下)から遠ざかるにつれて大きくなるように表示される。特に、図15に示すように、作業者の頭部は、ショベル60のCG画像60CGの大きさと比べても顕著に大きく表示されている。そのため、図15の出力画像を見たショベル60の操作者は、ショベル60と作業者との間の距離が実際の距離よりも大きいと錯覚するおそれがある。   The height of the plane region R1 of the space model MD is set to a height corresponding to the road surface that is the ground contact surface of the excavator 60. Therefore, in the image in the plane region R1 in FIG. 15, the distance between the ground contact position of each of the nine workers and the CG image 60CG of the shovel 60 is the distance between each of the nine workers and the shovel 60. It accurately represents the actual distance. However, the worker's image is displayed so as to increase as the distance from the ground contact position (foot) increases. In particular, as shown in FIG. 15, the operator's head is displayed significantly larger than the size of the CG image 60CG of the excavator 60. Therefore, the operator of the excavator 60 who sees the output image of FIG. 15 may have an illusion that the distance between the excavator 60 and the operator is larger than the actual distance.

そこで、画像生成手段11は、人存否判定手段12により、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの何れかに人が存在すると判定された場合、出力画像の内容を切り換える。本実施例では、画像生成手段11は、空間モデルMDの平面領域R1の高さを、路面に相当する高さから人の頭の高さに相当する高さ(以下、「頭高さ」とする。)に切り換える。なお、頭高さは、予め設定される値であり、例えば150cmである。但し、頭高さは、動的に決定される値であってもよい。例えば、画像生成装置100は、人検出センサ6等の出力に基づいてショベル60の周囲に存在する作業者の高さ(身長)を検出できる場合、検出した身長に基づいて頭高さを決定してもよい。具体的には、ショベル60に最も近い作業者の身長に応じて頭高さを決定してもよく、ショベル60の周囲に存在する複数の作業者の身長の統計値(最大値、最小値、平均値等)に応じて頭高さを決定してもよい。   Therefore, the image generation unit 11 determines the content of the output image when the presence / absence determination unit 12 determines that a person is present in any of the left side monitoring space ZL, the rear monitoring space ZB, and the right side monitoring space ZR. Switch. In the present embodiment, the image generating means 11 changes the height of the plane region R1 of the spatial model MD from the height corresponding to the road surface to the height corresponding to the height of the human head (hereinafter referred to as “head height”). Switch to). The head height is a preset value, for example, 150 cm. However, the head height may be a dynamically determined value. For example, when the height (height) of the worker existing around the excavator 60 can be detected based on the output of the human detection sensor 6 or the like, the image generation apparatus 100 determines the head height based on the detected height. May be. Specifically, the head height may be determined according to the height of the worker closest to the excavator 60, and the statistical values (maximum value, minimum value, The head height may be determined according to an average value or the like.

ここで、図16及び図17を参照して、路面に相当する高さの平面領域R1を有する図4の空間モデルMDと、頭高さの平面領域R1Mを有する頭高さ基準空間モデルMDMとの関係について説明する。なお、図16上図は、空間モデルMDと、平面領域R1を含む処理対象画像平面R3との関係を示し、図16下図は、頭高さ基準空間モデルMDMと、頭高さ基準平面領域R1Mを含む頭高さ基準処理対象画像平面R3Mとの関係を示す。また、図17において、出力画面D1は、空間モデルMDを用いて生成される路面高さ基準の周辺監視用仮想視点画像であり、出力画像D2は、空間モデルMDMを用いて生成される頭高さ基準の周辺監視用仮想視点画像である。なお、画像D3は、路面高さ基準の周辺監視用仮想視点画像と頭高さ基準の周辺監視用仮想視点画像との大きさの違いを表す説明用の画像である。また、路面高さ基準の周辺監視用仮想視点画像における画像部分D10の大きさは、頭高さ基準の周辺監視用仮想視点画像の大きさに対応する。   Here, referring to FIG. 16 and FIG. 17, the space model MD of FIG. 4 having a plane area R1 having a height corresponding to the road surface, and the head height reference space model MDM having a plane area R1M of the head height, The relationship will be described. 16 shows the relationship between the space model MD and the processing target image plane R3 including the plane region R1, and the lower diagram in FIG. 16 shows the head height reference space model MDM and the head height reference plane region R1M. The head height reference processing target image plane R3M including the relationship is shown. In FIG. 17, an output screen D1 is a road surface height reference virtual viewpoint image for road monitoring generated using the space model MD, and an output image D2 is a head height generated using the space model MDM. It is a virtual viewpoint image for reference periphery monitoring. The image D3 is an explanatory image showing the difference in size between the road viewpoint-based periphery monitoring virtual viewpoint image and the head height-based periphery monitoring virtual viewpoint image. In addition, the size of the image portion D10 in the road viewpoint-based periphery monitoring virtual viewpoint image corresponds to the size of the head height-based periphery monitoring virtual viewpoint image.

図16に示すように、頭高さ基準平面領域R1M及び頭高さ基準処理対象画像平面R3Mの高さは、路面の高さに相当する平面領域R1M及び処理対象画像平面R3の高さに比べ、頭高さHTだけ高い。   As shown in FIG. 16, the height of the head height reference plane area R1M and the head height reference processing target image plane R3M is higher than the height of the plane area R1M and processing target image plane R3 corresponding to the height of the road surface. The head height is high by HT.

その結果、図17に示すように、頭高さ基準の周辺監視用仮想視点画像である出力画像D2は、頭高さHTに存在する作業者の身体部分(頭)とショベル60との距離が、作業者とショベル60との間の実際の距離を表すように表示される。これにより、画像生成装置100は、出力画像を見たショベル60の操作者が、ショベル60と作業者との間の距離を実際の距離よりも大きめに捉えてしまうのを防止できる。   As a result, as shown in FIG. 17, the output image D <b> 2 that is the virtual viewpoint image for the periphery monitoring based on the head height has a distance between the body part (head) of the worker existing at the head height HT and the excavator 60. The actual distance between the operator and the excavator 60 is displayed. Thereby, the image generating apparatus 100 can prevent the operator of the shovel 60 who has seen the output image from capturing the distance between the shovel 60 and the worker larger than the actual distance.

なお、図16に示すように、画像部分D10に対応する空間モデルMDM上の領域D10Mは、頭高さ基準平面領域R1Mに含まれる。すなわち、頭高さ基準の周辺監視用仮想視点画像は、頭高さ基準処理対象画像平面R3Mの環状部分(頭高さ基準平面領域R1M以外の部分)に再投影される入力画像部分を利用しない。そのため、本実施例では、画像生成装置100は、領域D10M以外の領域における座標の対応付けを省略する。   As shown in FIG. 16, a region D10M on the spatial model MDM corresponding to the image portion D10 is included in the head height reference plane region R1M. In other words, the virtual viewpoint image for periphery monitoring based on the head height does not use the input image portion that is re-projected on the annular portion (portion other than the head height reference plane region R1M) of the head height reference processing target image plane R3M. . For this reason, in this embodiment, the image generation apparatus 100 omits the association of coordinates in the region other than the region D10M.

以上の構成により、画像生成装置100は、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成装置100は、ショベル60の周囲に人が存在すると判定した場合に、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換える。その結果、画像生成装置100は、ショベル60の周囲に作業者を検出した場合に、ショベル60と作業者との間の距離をより正確にショベル60の操作者に伝えることができる。なお、画像生成装置100は、その後にショベル60の周囲に人が存在しないと判定した場合には、頭高さ基準の周辺監視用仮想視点画像を路面高さ基準の周辺監視用仮想視点画像に切り換える。ショベル60の操作者がショベル60の周囲をより広範囲に監視できるようにするためである。   With the above configuration, the image generation apparatus 100 switches the content of the output image based on the determination result of the presence / absence determination unit 12. Specifically, when it is determined that there is a person around the excavator 60, the image generation device 100 switches the road surface height-based periphery monitoring virtual viewpoint image to the head height-based periphery monitoring virtual viewpoint image. . As a result, when the operator is detected around the excavator 60, the image generating apparatus 100 can more accurately convey the distance between the excavator 60 and the operator to the operator of the excavator 60. If the image generating apparatus 100 determines that there is no person around the excavator 60 after that, the head height-based periphery monitoring virtual viewpoint image is changed to a road surface height-based periphery monitoring virtual viewpoint image. Switch. This is because the operator of the shovel 60 can monitor the periphery of the shovel 60 in a wider range.

次に、図18を参照して、画像生成手段11が、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える別の処理(以下、「第2出力画像切換処理」とする。)について説明する。なお、図18は、第2出力画像切換処理で切り換えられる3つの出力画像の関係を説明する図である。   Next, referring to FIG. 18, the image generation means 11 is referred to as another process for switching the contents of the output image based on the determination result of the presence / absence determination means 12 (hereinafter referred to as “second output image switching process”). ). FIG. 18 is a diagram for explaining the relationship between the three output images switched in the second output image switching process.

画像生成装置100は、2つのカメラのそれぞれの撮像空間の重複部分における物体の消失を防止するストライプパタン処理、メッシュパタン処理、平均化処理等の画像消失防止処理を実行する。具体的には、画像生成装置100は、画像消失防止処理により、重複部分に対応する出力画像部分において、2つのカメラのそれぞれの入力画像平面上の座標が対応付けられる領域を混在させることによって重複部分における物体の消失を防止する。しかしながら、画像消失防止処理は、重複部分における物体の視認性を低下させてしまうという問題がある。   The image generation apparatus 100 executes image loss prevention processing such as stripe pattern processing, mesh pattern processing, and averaging processing that prevent the disappearance of objects in the overlapping portions of the imaging spaces of the two cameras. Specifically, the image generation apparatus 100 overlaps the output image portion corresponding to the overlapped portion by mixing regions in which the coordinates on the input image planes of the two cameras are associated with each other by the image loss prevention processing. Prevent disappearance of objects in the part. However, the image loss prevention process has a problem that the visibility of the object in the overlapping portion is lowered.

そこで、画像生成手段11は、人存否判定手段12の判定結果に応じて出力画像の内容を切り換える。本実施例では、画像生成手段11は、人が存在すると判定された監視空間に対応するカメラを優先カメラとし、人が存在しないと判定された監視空間に対応するカメラを被優先カメラとする。なお、優先カメラの撮像空間と被優先カメラの撮像空間は重複部分を有する。そして、画像生成手段11は、優先カメラと被優先カメラとを決定できない場合には、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。一方で、画像生成手段11は、優先カメラと被優先カメラとを決定できた場合には、画像消失防止処理を適用することなく、重複部分に対応する出力画像部分に優先カメラの入力画像平面上の座標を対応付けることによって周辺監視用仮想視点画像を生成する。   Therefore, the image generation unit 11 switches the content of the output image according to the determination result of the presence / absence determination unit 12. In the present embodiment, the image generation unit 11 sets a camera corresponding to a monitoring space determined to have a person as a priority camera and a camera corresponding to a monitoring space determined to have no person as a priority camera. Note that the imaging space of the priority camera and the imaging space of the priority camera have overlapping portions. Then, when the priority camera and the priority camera cannot be determined, the image generation unit 11 generates a peripheral monitoring virtual viewpoint image to which the image loss prevention process is applied. On the other hand, if the image generation unit 11 can determine the priority camera and the priority camera, the image generation unit 11 applies the output image portion corresponding to the overlapped portion on the input image plane of the priority camera without applying the image loss prevention process. Peripheral monitoring virtual viewpoint images are generated by associating the coordinates.

具体的には、画像生成手段11は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在すると判定された場合に、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。何れのカメラも優先カメラとはなり得ず、何れのカメラも被優先カメラとはなり得ないためである。すなわち、何れかのカメラを優先カメラとした場合には重複部分内の人を消失させてしまうおそれがあるためである。   Specifically, the image generation unit 11 performs peripheral monitoring using image loss prevention processing when it is determined that there is a person in all of the left side monitoring space ZL, the rear side monitoring space ZB, and the right side monitoring space ZR. A virtual viewpoint image is generated. This is because none of the cameras can be a priority camera, and none of the cameras can be a priority camera. That is, if any one of the cameras is set as the priority camera, there is a possibility that the person in the overlapping portion may be lost.

また、画像生成手段11は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在しないと判定された場合にも、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。何れかのカメラを優先カメラとしながら表示すべき対象が存在しないためである。但し、この場合には、画像生成手段11は、画像消失防止処理を適用することなく、重複部分に対応する出力画像部分に何れか一方のカメラの入力画像平面上の座標を対応付けることによって周辺監視用仮想視点画像を生成してもよい。そもそも消失のおそれがある物体が存在しないためであり、また、画像消失防止処理を省略することで制御部1の処理負荷を低減できるためである。   Further, the image generation means 11 is for peripheral monitoring that applies image loss prevention processing even when it is determined that no person is present in all of the left side monitoring space ZL, the rear side monitoring space ZB, and the right side monitoring space ZR. A virtual viewpoint image is generated. This is because there is no target to be displayed while using any camera as the priority camera. However, in this case, the image generation unit 11 does not apply the image loss prevention process, and associates the coordinates on the input image plane of one of the cameras with the output image portion corresponding to the overlapping portion, thereby monitoring the periphery. A virtual viewpoint image may be generated. This is because there is no object that may be lost in the first place, and the processing load on the control unit 1 can be reduced by omitting the image loss prevention process.

図18の出力画像D11は、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在すると判定された場合に生成される、画像消失防止処理が適用された周辺監視用仮想視点画像を示す。この場合、画像生成手段11は、左側方撮像空間CLと後方撮像空間CBの重複部分に対応する出力画像部分R15に、左側方カメラ2Lの入力画像平面上の座標が対応付けられる領域と、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域とを混在させる。また、画像生成手段11は、右側方撮像空間CRと後方撮像空間CBの重複部分に対応する出力画像部分R16に、右側方カメラ2Rの入力画像平面上の座標が対応付けられる領域と、後方カメラ2Bの入力画像平面上の座標が対応付けられる領域とを混在させる。出力画像部分R15、R16での作業者の消失を防止するためである。   The output image D11 of FIG. 18 is a periphery to which image loss prevention processing is generated that is generated when it is determined that there is a person in all of the left side monitoring space ZL, the rear side monitoring space ZB, and the right side monitoring space ZR. A virtual viewpoint image for monitoring is shown. In this case, the image generation unit 11 includes a region in which coordinates on the input image plane of the left camera 2L are associated with an output image portion R15 corresponding to an overlapping portion of the left imaging space CL and the rear imaging space CB, An area associated with coordinates on the input image plane of the camera 2B is mixed. In addition, the image generation unit 11 includes a region in which coordinates on the input image plane of the right-side camera 2R are associated with an output image portion R16 corresponding to an overlapping portion of the right-side imaging space CR and the rear imaging space CB, and a rear camera. An area associated with coordinates on the 2B input image plane is mixed. This is to prevent the worker from disappearing in the output image portions R15 and R16.

一方で、画像生成手段11は、左側方監視空間ZLに人が存在すると判定され、且つ、後方監視空間ZBに人が存在しないと判定された場合には、左側方カメラ2Lを優先カメラとし、後方カメラ2Bを被優先カメラとする。すなわち、画像生成手段11は、左側方撮像空間CLと後方撮像空間CBの重複部分に対応する出力画像部分R15に左側方カメラ2Lの入力画像平面上の座標を対応付ける。   On the other hand, if it is determined that there is a person in the left side monitoring space ZL and it is determined that there is no person in the rear side monitoring space ZB, the image generating unit 11 sets the left side camera 2L as the priority camera. The rear camera 2B is a priority camera. That is, the image generation means 11 associates the coordinates on the input image plane of the left camera 2L with the output image portion R15 corresponding to the overlapping portion of the left side imaging space CL and the rear imaging space CB.

また、画像生成手段11は、右側方監視空間ZRに人が存在すると判定され、且つ、後方監視空間ZBに人が存在しないと判定された場合には、右側方カメラ2Rを優先カメラとし、後方カメラ2Bを被優先カメラとする。すなわち、画像生成手段11は、右側方撮像空間CRと後方撮像空間CBの重複部分に対応する出力画像部分R16に右側方カメラ2Rの入力画像平面上の座標を対応付ける。   Further, when it is determined that there is a person in the right monitoring space ZR and it is determined that there is no person in the rear monitoring space ZB, the image generation unit 11 sets the right camera 2R as the priority camera, The camera 2B is a priority camera. That is, the image generation unit 11 associates the coordinates on the input image plane of the right-side camera 2R with the output image portion R16 corresponding to the overlapping portion of the right-side imaging space CR and the rear imaging space CB.

図18の出力画像D12は、左側方監視空間ZL及び右側方監視空間ZRに人が存在すると判定され、且つ、後方監視空間ZBに人が存在しないと判定された場合に生成される側方カメラ優先の周辺監視用仮想視点画像を示す。この場合、画像生成手段11は、左側方カメラ2L及び右側方カメラ2Rのそれぞれを優先カメラとし、後方カメラ2Bを被優先カメラとする。そして、画像生成手段11は、左側方撮像空間CLと後方撮像空間CBの重複部分に対応する出力画像部分R15に左側方カメラ2Lの入力画像平面上の座標を対応付け、右側方撮像空間CRと後方撮像空間CBの重複部分に対応する出力画像部分R16に右側方カメラ2Lの入力画像平面上の座標を対応付ける。その結果、画像生成手段11は、出力画像部分R17Pに左側方カメラ2Lの入力画像平面上の座標を対応付け、出力画像部分R18Pに右側方カメラ2Rの入力画像平面上の座標を対応付け、出力画像部分R19Nに後方カメラ2Bの入力画像平面上の座標を対応付ける。   The output image D12 of FIG. 18 is a side camera generated when it is determined that there is a person in the left side monitoring space ZL and the right side monitoring space ZR, and it is determined that there is no person in the rear monitoring space ZB. The priority viewpoint virtual viewpoint image for surrounding monitoring is shown. In this case, the image generation unit 11 sets the left camera 2L and the right camera 2R as priority cameras, and the rear camera 2B as a priority camera. Then, the image generation means 11 associates the coordinates on the input image plane of the left side camera 2L with the output image portion R15 corresponding to the overlapping portion of the left side imaging space CL and the rear imaging space CB, and the right side imaging space CR. Coordinates on the input image plane of the right side camera 2L are associated with the output image portion R16 corresponding to the overlapping portion of the rear imaging space CB. As a result, the image generating means 11 associates the coordinates on the input image plane of the left camera 2L with the output image portion R17P, associates the coordinates on the input image plane of the right camera 2R with the output image portion R18P, and outputs the result. The image portion R19N is associated with the coordinates on the input image plane of the rear camera 2B.

また、画像生成手段11は、左側方監視空間ZLに人が存在しないと判定され、且つ、後方監視空間ZBに人が存在すると判定された場合には、左側方カメラ2Lを被優先カメラとし、後方カメラ2Bを優先カメラとする。すなわち、画像生成手段11は、左側方撮像空間CLと後方撮像空間CBの重複部分に対応する出力画像部分R15に後方カメラ2Bの入力画像平面上の座標を対応付ける。   Further, when it is determined that there is no person in the left side monitoring space ZL and it is determined that there is no person in the rear side monitoring space ZB, the image generating unit 11 sets the left side camera 2L as a priority camera, The rear camera 2B is set as the priority camera. That is, the image generation unit 11 associates the coordinates on the input image plane of the rear camera 2B with the output image portion R15 corresponding to the overlapping portion of the left side imaging space CL and the rear imaging space CB.

また、画像生成手段11は、右側方監視空間ZRに人が存在しないと判定され、且つ、後方監視空間ZBに人が存在すると判定された場合には、右側方カメラ2Rを被優先カメラとし、後方カメラ2Bを優先カメラとする。すなわち、画像生成手段11は、右側方撮像空間CRと後方撮像空間CBの重複部分に対応する出力画像部分R16に後方カメラ2Bの入力画像平面上の座標を対応付ける。   Further, when it is determined that there is no person in the right side monitoring space ZR and it is determined that there is no person in the rear side monitoring space ZB, the image generating unit 11 sets the right side camera 2R as a priority camera, The rear camera 2B is set as the priority camera. That is, the image generation means 11 associates the coordinates on the input image plane of the rear camera 2B with the output image portion R16 corresponding to the overlapping portion of the right side imaging space CR and the rear imaging space CB.

図18の出力画像D13は、左側方監視空間ZL及び右側方監視空間ZRに人が存在しないと判定され、且つ、後方監視空間ZBに人が存在すると判定された場合に生成される、後方カメラ優先の周辺監視用仮想視点画像を示す。この場合、画像生成手段11は、左側方カメラ2L及び右側方カメラ2Rのそれぞれを被優先カメラとし、後方カメラ2Bを優先カメラとする。そして、画像生成手段11は、左側方撮像空間CLと後方撮像空間CBの重複部分に対応する出力画像部分R15に後方カメラ2Bの入力画像平面上の座標を対応付け、右側方撮像空間CRと後方撮像空間CBの重複部分に対応する出力画像部分R16にも後方カメラ2Bの入力画像平面上の座標を対応付ける。その結果、画像生成手段11は、出力画像部分R17Nに左側方カメラ2Lの入力画像平面上の座標を対応付け、出力画像部分R18Nに右側方カメラ2Rの入力画像平面上の座標を対応付け、出力画像部分R19Pに後方カメラ2Bの入力画像平面上の座標を対応付ける。   The output image D13 of FIG. 18 is generated when it is determined that there is no person in the left side monitoring space ZL and the right side monitoring space ZR and it is determined that there is no person in the rear monitoring space ZB. The priority viewpoint virtual viewpoint image for surrounding monitoring is shown. In this case, the image generation unit 11 sets each of the left camera 2L and the right camera 2R as a priority camera and the rear camera 2B as a priority camera. Then, the image generation means 11 associates the coordinates on the input image plane of the rear camera 2B with the output image portion R15 corresponding to the overlapping portion of the left side imaging space CL and the rear imaging space CB, and the right side imaging space CR and the rear side. Coordinates on the input image plane of the rear camera 2B are also associated with the output image portion R16 corresponding to the overlapping portion of the imaging space CB. As a result, the image generating means 11 associates the coordinates on the input image plane of the left camera 2L with the output image portion R17N, associates the coordinates on the input image plane of the right camera 2R with the output image portion R18N, and outputs Coordinates on the input image plane of the rear camera 2B are associated with the image portion R19P.

なお、図18に示すように、出力画像部分R17Pは、出力画像部分R17Nに出力画像部分R15を加えた部分に相当し、出力画像部分R18Pは、出力画像部分R18Nに出力画像部分R16を加えた部分に相当する。また、出力画像部分R19Pは、出力画像部分R19Nに出力画像部分R15及び出力画像部分R16を加えた部分に相当する。   As shown in FIG. 18, the output image portion R17P corresponds to a portion obtained by adding the output image portion R15 to the output image portion R17N, and the output image portion R18P is obtained by adding the output image portion R16 to the output image portion R18N. It corresponds to the part. The output image portion R19P corresponds to a portion obtained by adding the output image portion R15 and the output image portion R16 to the output image portion R19N.

図19は、人存否判定手段12の判定結果と、出力画像の内容との対応関係を示す対応表である。なお、○印は、人存否判定手段12により人が存在すると判定されたことを表し、×印は、人が存在しないと判定されたことを表す。   FIG. 19 is a correspondence table showing a correspondence relationship between the determination result of the presence / absence determination unit 12 and the content of the output image. A circle indicates that the person is determined to exist by the presence / absence determination means 12, and a mark x indicates that it is determined that no person exists.

パターンAは、左側方監視空間ZLのみで人が存在すると判定され、後方監視空間ZB及び右側方監視空間ZRでは人が存在しないと判定された場合に、図18の出力画像D12に示すような側方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。   In the pattern A, when it is determined that a person exists only in the left side monitoring space ZL and it is determined that no person exists in the rear side monitoring space ZB and the right side monitoring space ZR, as shown in the output image D12 of FIG. This indicates that a virtual viewpoint image for peripheral monitoring with priority given to the side camera is generated.

パターンBは、右側方監視空間ZRのみで人が存在すると判定され、左側方監視空間ZL及び後方監視空間ZBでは人が存在しないと判定された場合に、図18の出力画像D12に示すような側方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。   In the pattern B, when it is determined that there is a person only in the right side monitoring space ZR and it is determined that there is no person in the left side monitoring space ZL and the rear monitoring space ZB, as shown in the output image D12 of FIG. This indicates that a virtual viewpoint image for peripheral monitoring with priority given to the side camera is generated.

パターンCは、左側方監視空間ZL及び右側方監視空間ZRで人が存在すると判定され、後方監視空間ZBでは人が存在しないと判定された場合に、図18の出力画像D12に示すような側方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。   The pattern C is a side as shown in the output image D12 of FIG. 18 when it is determined that there is a person in the left side monitoring space ZL and the right side monitoring space ZR and no person is present in the rear monitoring space ZB. This indicates that a virtual viewpoint image for peripheral monitoring with priority given to the direction camera is generated.

パターンDは、左側方監視空間ZL及び後方監視空間ZBで人が存在すると判定され、右側方監視空間ZRでは人が存在しないと判定された場合に、図18の出力画像D13に示すような後方カメラ優先の周辺監視用仮想視点画像が生成されることを表す。   In the pattern D, when it is determined that there is a person in the left side monitoring space ZL and the rear side monitoring space ZB and it is determined that there is no person in the right side monitoring space ZR, the rear side as shown in the output image D13 in FIG. This indicates that a camera-periphered peripheral monitoring virtual viewpoint image is generated.

パターンE〜Gは、左側方監視空間ZL及び右側方監視空間ZRの少なくとも一方と後方監視空間ZBとで人が存在すると判定された場合に、図18の出力画像D11に示すような画像消失防止処理を適用した周辺監視用仮想視点画像が生成されることを表す。   Patterns E to G are for preventing image loss as shown in the output image D11 of FIG. 18 when it is determined that a person is present in at least one of the left side monitoring space ZL and the right side monitoring space ZR and the rear monitoring space ZB. This indicates that a virtual viewpoint image for periphery monitoring to which the process is applied is generated.

パターンHは、左側方監視空間ZL、後方監視空間ZB、及び右側方監視空間ZRの全てで人が存在しないと判定された場合に、図18の出力画像D11に示すような画像消失防止処理を適用した周辺監視用仮想視点画像が生成されることを表す。   In the pattern H, when it is determined that no person exists in all of the left side monitoring space ZL, the rear side monitoring space ZB, and the right side monitoring space ZR, an image loss prevention process as shown in the output image D11 of FIG. 18 is performed. This indicates that an applied peripheral monitoring virtual viewpoint image is generated.

以上の構成により、画像生成装置100は、人存否判定手段12の判定結果に基づいて出力画像の内容を切り換える。具体的には、画像生成装置100は、優先カメラと被優先カメラを決定できない場合には、画像消失防止処理を適用した周辺監視用仮想視点画像を生成する。一方で、画像生成手段11は、優先カメラと被優先カメラとを決定できる場合には、画像消失防止処理を適用することなく、重複部分に対応する出力画像部分に優先カメラの入力画像平面上の座標を対応付けることによって周辺監視用仮想視点画像を生成する。その結果、画像生成装置100は、2つのカメラのそれぞれの撮像空間の重複部分に存在する作業者をより鮮明に表示することができる。   With the above configuration, the image generation apparatus 100 switches the content of the output image based on the determination result of the presence / absence determination unit 12. Specifically, when the priority camera and the priority camera cannot be determined, the image generation apparatus 100 generates a peripheral monitoring virtual viewpoint image to which image loss prevention processing is applied. On the other hand, when the image generation unit 11 can determine the priority camera and the priority camera, the image generation unit 11 does not apply the image loss prevention process to the output image portion corresponding to the overlapping portion on the input image plane of the priority camera. A virtual viewpoint image for peripheral monitoring is generated by associating coordinates. As a result, the image generating apparatus 100 can display the workers present in the overlapping portions of the imaging spaces of the two cameras more clearly.

また、上述の実施例では、画像生成装置100は、左側方カメラ2L及び右側方カメラ2Rを優先カメラとし、後方カメラ2Bを被優先カメラとする側方カメラ優先の周辺監視用仮想視点画像を生成する。或いは、画像生成装置100は、左側方カメラ2L及び右側方カメラ2Rを被優先カメラとし、後方カメラ2Bを優先カメラとする後方カメラ優先の周辺監視用仮想視点画像を生成する。しかしながら、本発明は、この構成に限定されるものではない。例えば、画像生成装置100は、出力画像部分R15に左側方カメラ2L及び後方カメラ2Bの何れか一方の入力画像平面上の座標を対応付けながらも、出力画像部分R16に画像消失防止処理を適用してもよい。また、画像生成装置100は、出力画像部分R16に右側方カメラ2R及び後方カメラ2Bの何れか一方の入力画像平面上の座標を対応付けながらも、出力画像部分R15に画像消失防止処理を適用してもよい。   Further, in the above-described embodiment, the image generation apparatus 100 generates a peripheral viewpoint virtual viewpoint image with priority on the side camera in which the left camera 2L and the right camera 2R are the priority cameras and the rear camera 2B is the priority camera. To do. Alternatively, the image generating apparatus 100 generates a virtual viewpoint image for peripheral monitoring with priority on the rear camera in which the left camera 2L and the right camera 2R are priority cameras and the rear camera 2B is a priority camera. However, the present invention is not limited to this configuration. For example, the image generation device 100 applies the image loss prevention process to the output image portion R16 while associating the coordinates on the input image plane of either the left camera 2L or the rear camera 2B with the output image portion R15. May be. In addition, the image generation apparatus 100 applies the image loss prevention process to the output image portion R15 while associating the coordinates on the input image plane of either the right camera 2R or the rear camera 2B with the output image portion R16. May be.

また、画像生成装置100は、第1出力画像切換処理と第2出力画像切換処理とを組み合わせてもよい。   The image generation apparatus 100 may combine the first output image switching process and the second output image switching process.

また、上述の実施例では、画像生成装置100は、1つのカメラの撮像空間に1つの人検出センサの監視空間を対応させるが、複数のカメラの撮像空間に1つの人検出センサの監視空間を対応させてもよく、1つのカメラの撮像空間に複数の人検出センサの監視空間を対応させてもよい。   In the above-described embodiment, the image generation apparatus 100 associates the monitoring space of one human detection sensor with the imaging space of one camera. However, the monitoring space of one human detection sensor is set in the imaging space of a plurality of cameras. You may make it respond | correspond, and you may make the monitoring space of a some human detection sensor respond | correspond to the imaging space of one camera.

また、上述の実施例では、画像生成装置100は、人存否判定手段12の判定結果が変わった瞬間に出力画像の内容を切り換える。しかしながら、本発明はこの構成に限定されるものではない。例えば、画像生成装置100は、人存否判定手段12の判定結果が変わってから出力画像の内容を切り換えるまでに所定の遅延時間を設定してもよい。出力画像の内容が頻繁に切り換えられるのを抑制するためである。   In the above-described embodiment, the image generation apparatus 100 switches the content of the output image at the moment when the determination result of the presence / absence determination unit 12 changes. However, the present invention is not limited to this configuration. For example, the image generation apparatus 100 may set a predetermined delay time from when the determination result of the presence / absence determination unit 12 changes until the content of the output image is switched. This is to suppress frequent switching of the contents of the output image.

次に、図20及び図21を参照しながら、警報制御手段13が人存否判定手段12の判定結果に基づいて警報出力部7を制御する処理(以下、「第1警報制御処理」とする。)について説明する。なお、図20は、第1警報制御処理の流れを示すフローチャートであり、図21は、第1警報制御処理中に表示される出力画像の推移の一例を示す。なお、警報制御手段13は、所定周期で繰り返しこの第1警報制御処理を実行する。   Next, referring to FIG. 20 and FIG. 21, the alarm control unit 13 controls the alarm output unit 7 based on the determination result of the presence / absence determination unit 12 (hereinafter referred to as “first alarm control process”). ). FIG. 20 is a flowchart showing the flow of the first alarm control process, and FIG. 21 shows an example of the transition of the output image displayed during the first alarm control process. The alarm control means 13 repeatedly executes this first alarm control process at a predetermined cycle.

最初に、人存否判定手段12は、ショベル60の周囲に人が存在するか否かを判定する(ステップS11)。このとき、画像生成手段11は、例えば、図21の出力画像D21に示すような路面高さ基準の周辺監視用仮想視点画像を生成して表示する。   First, the presence / absence determination unit 12 determines whether or not there is a person around the excavator 60 (step S11). At this time, the image generation unit 11 generates and displays a road surface height reference virtual viewpoint image as shown in an output image D21 of FIG. 21, for example.

ショベル60の周囲に人が存在すると判定した場合(ステップS11のYES)、人存否判定手段12は、検出信号を警報制御手段13に対して出力する。検出信号を受けた警報制御手段13は、警報を開始させるための警報開始信号を警報出力部7に対して出力し、警報出力部7から警報を出力させる(ステップS12)。   When it is determined that there is a person around the excavator 60 (YES in step S <b> 11), the presence / absence determination unit 12 outputs a detection signal to the alarm control unit 13. Upon receiving the detection signal, the alarm control means 13 outputs an alarm start signal for starting an alarm to the alarm output unit 7, and outputs an alarm from the alarm output unit 7 (step S12).

本実施例では、警報出力部7は、警報音を出力する。そして、画像生成手段11は、例えば、図21の出力画像D22に示すように、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換えて表示する。具体的には、人存否判定手段12は、後方監視空間ZBに作業者P1が存在すると判定した場合に警報制御手段13に対して検出信号を通知する。そして、警報制御手段13は、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rに対して警報開始信号を出力し、3つ全ての警報出力部から警報音を出力させる。また、画像生成手段11は、頭高さ基準の周辺監視用仮想視点画像上に警報停止ボタンG1を重畳表示する。警報停止ボタンG1は、入力部3としてのタッチパネルとの協働によって構成されるソフトウェアボタンである。操作者は、警報停止ボタンG1を押下することによって警報音を停止させることができる。なお、警報停止ボタンG1は、表示部5の近傍に設置されるハードウェアボタンであってもよい。この場合、画像生成手段11は、警報停止ボタンG1としてのハードウェアボタンを押下することによって警報を停止させることができる旨を表すテキストメッセージを周辺監視用仮想視点画像に重畳表示してもよい。また、画像生成手段11は、ショベル60の周囲に人が存在すると判定された場合であっても、図21の出力画像D23に示すように、路面高さ基準の周辺監視用仮想視点画像をそのまま用いながら警報停止ボタンG1を重畳表示してもよい。   In this embodiment, the alarm output unit 7 outputs an alarm sound. Then, for example, as shown in an output image D22 in FIG. 21, the image generation unit 11 switches the road surface height-based periphery monitoring virtual viewpoint image to the head height-based periphery monitoring virtual viewpoint image and displays it. Specifically, the presence / absence determination unit 12 notifies the alarm control unit 13 of a detection signal when it is determined that the worker P1 exists in the rear monitoring space ZB. And the alarm control means 13 outputs an alarm start signal to the left side alarm output unit 7L, the rear side alarm output unit 7B, and the right side alarm output unit 7R, and outputs an alarm sound from all three alarm output units. Let Further, the image generation means 11 superimposes and displays an alarm stop button G1 on the head height reference periphery monitoring virtual viewpoint image. The alarm stop button G1 is a software button configured by cooperation with a touch panel as the input unit 3. The operator can stop the alarm sound by pressing the alarm stop button G1. Note that the alarm stop button G1 may be a hardware button installed in the vicinity of the display unit 5. In this case, the image generation unit 11 may superimpose and display a text message indicating that the alarm can be stopped by pressing a hardware button as the alarm stop button G1 on the virtual viewpoint image for peripheral monitoring. Further, even when it is determined that there is a person around the excavator 60, the image generation unit 11 directly uses the road viewpoint-based periphery monitoring virtual viewpoint image as shown in the output image D23 of FIG. The alarm stop button G1 may be superimposed and displayed while being used.

一方、ショベル60の周囲に人が存在しないと判定した場合(ステップS11のNO)、人存否判定手段12は、警報制御手段13に対して検出信号を出力しない。そのため、警報制御手段13は、警報出力部7に対して警報開始信号を出力しない。また、警報制御手段13は、既に警報を出力させている場合であっても、警報を停止させるための警報停止信号を警報出力部7に対して出力することはない。   On the other hand, when it is determined that there is no person around the excavator 60 (NO in step S11), the presence / absence determination unit 12 does not output a detection signal to the alarm control unit 13. Therefore, the alarm control means 13 does not output an alarm start signal to the alarm output unit 7. Further, the alarm control means 13 does not output an alarm stop signal for stopping the alarm to the alarm output unit 7 even when the alarm has already been output.

その後、警報制御手段13は、警報停止ボタンG1が押下されたか否かを判定する(ステップS13)。そして、警報停止ボタンG1が押下されたと判定した場合(ステップS13のYES)、警報制御手段13は、警報停止信号を警報出力部7に対して出力し、警報出力部7からの警報の出力を停止させる(ステップS14)。また、画像生成手段11は、頭高さ基準の周辺監視用仮想視点画像を表示している場合には、頭高さ基準の周辺監視用仮想視点画像を路面高さ基準の周辺監視用仮想視点画像に切り換えて表示する。   Thereafter, the alarm control means 13 determines whether or not the alarm stop button G1 has been pressed (step S13). If it is determined that the alarm stop button G1 has been pressed (YES in step S13), the alarm control means 13 outputs an alarm stop signal to the alarm output unit 7 and outputs an alarm output from the alarm output unit 7. Stop (step S14). Further, when displaying the head height-based periphery monitoring virtual viewpoint image, the image generation means 11 converts the head height-based periphery monitoring virtual viewpoint image into the road surface height-based periphery monitoring virtual viewpoint image. Switch to the image for display.

一方、警報停止ボタンG1が押下されていないと判定した場合(ステップS13のNO)、警報制御手段13は、警報停止信号を警報出力部7に対して出力しない。すなわち、警報制御手段13が出力させた警報は、その後に人存否判定手段12がショベル60の周囲に人が存在しないと判定した場合であっても、警報停止ボタンG1が押下されるまで停止しない。また、画像生成手段11は、頭高さ基準の周辺監視用仮想視点画像を表示している場合には、頭高さ基準の周辺監視用仮想視点画像の表示を継続させる。   On the other hand, if it is determined that the alarm stop button G1 is not pressed (NO in step S13), the alarm control means 13 does not output an alarm stop signal to the alarm output unit 7. That is, the alarm output by the alarm control unit 13 does not stop until the alarm stop button G1 is pressed even if the human presence determination unit 12 subsequently determines that there is no person around the excavator 60. . In addition, when the head height-based periphery monitoring virtual viewpoint image is displayed, the image generation unit 11 continues to display the head height-based periphery monitoring virtual viewpoint image.

なお、警報制御手段13は、警報停止ボタンG1が押下される前であっても、人存否判定手段12がショベル60の周囲に人が存在しないと判定した場合には、警報の内容を変更してもよい。具体的には、警報制御手段13は、既に出力している警報音の強弱、高低、出力間隔等を変更してもよく、或いは、既に発光させている警報ランプの強弱、発光色、発光間隔等を変更してもよい。警報を受ける操作者が、人存否判定手段12により人が存在すると判定されている場合と、人が存在しないと判定されている場合とを区別できるようにするためである。   The alarm control means 13 changes the content of the alarm when the presence / absence determination means 12 determines that there is no person around the excavator 60 even before the alarm stop button G1 is pressed. May be. Specifically, the alarm control means 13 may change the intensity, level, output interval, etc. of the alarm sound that has already been output, or the intensity, emission color, emission interval of the alarm lamp that has already emitted light. Etc. may be changed. This is because the operator who receives the warning can distinguish between the case where it is determined by the presence / absence determination unit 12 that a person is present and the case where it is determined that there is no person.

以上の構成により、画像生成装置100は、監視空間内に人が存在すると判定した場合に警報を出力し、操作者が警報を停止させる意思を示すまでは、その警報を停止させない。すなわち、画像生成装置100は、監視空間内に存在していた人がその監視空間内から退出した場合、或いは、監視空間内に存在する人を検出し損ねた場合であっても警報を停止させることはない。そのため、画像生成装置100は、ショベル60の周囲の監視空間に存在していた作業者が監視空間外に退出したことの確認を操作者に促すことができる。   With the above configuration, the image generation apparatus 100 outputs an alarm when it is determined that there is a person in the monitoring space, and does not stop the alarm until the operator indicates an intention to stop the alarm. That is, the image generating apparatus 100 stops the alarm even when a person who exists in the monitoring space leaves the monitoring space or fails to detect a person existing in the monitoring space. There is nothing. Therefore, the image generating apparatus 100 can prompt the operator to confirm that the worker who was present in the monitoring space around the excavator 60 has left the monitoring space.

また、画像生成装置100は、人存否判定手段12が動体検出センサに基づいて作業者(動体)の存否を判定する構成において、監視空間内で作業者が静止したことに応じて警報を停止させてしまうのを防止できる。また、画像生成装置100は、人存否判定手段12がオプティカルフローを用いて作業者(動体)の存否を判定する構成において、監視空間内で作業者が静止したことに応じて警報を停止させてしまうのを防止できる。なお、動体検出センサ及びオプティカルフローは、静止物を検出対象とせず、作業者が監視空間内で静止したことと作業者が監視空間から退出したこととを区別しない。そのため、人が存在しないと判定した時点で警報を停止させる構成では、監視空間内に作業者が存在するにもかかわらず警報を停止させてしまうおそれがある。これに対し、画像生成装置100は、監視空間内に作業者が存在するおそれがある場合には警報を停止させないようにすることによってショベル60の操作者の注意を喚起することができる。   Further, the image generation apparatus 100 stops the alarm in response to the worker being stationary in the monitoring space in the configuration in which the human presence determination unit 12 determines the presence or absence of the worker (moving body) based on the moving body detection sensor. Can be prevented. Further, the image generation apparatus 100 is configured such that the presence / absence determination unit 12 uses the optical flow to determine the presence / absence of the worker (moving object), and stops the alarm in response to the worker being stationary in the monitoring space. Can be prevented. Note that the moving object detection sensor and the optical flow do not set a stationary object as a detection target, and do not distinguish whether the worker has stopped in the monitoring space and that the worker has left the monitoring space. Therefore, in the configuration in which the alarm is stopped when it is determined that there is no person, there is a possibility that the alarm may be stopped despite the presence of the worker in the monitoring space. On the other hand, the image generating apparatus 100 can alert the operator of the excavator 60 by not stopping the alarm when there is a possibility that an operator exists in the monitoring space.

次に、図22〜図25を参照して、警報制御手段13が人存否判定手段12の判定結果と、作業機械状態判定手段14の判定結果とに基づいて警報出力部7を制御する処理(以下、「第2警報制御処理」とする。)について説明する。なお、図22は、第2警報制御処理の流れを示すフローチャートであり、図23は、第2警報制御処理中に表示される出力画像の推移の一例を示す。また、図24は、作業機械状態判定手段14が作業機械の状態を判定する処理(以下、「作業機械状態判定処理」とする。)の流れを示すフローチャートであり、図25は、作業不能状態から作業可能状態への切り替わり時に警報制御手段13が警報出力部7を制御する処理(以下、「作業開始時警報制御処理」とする。)の流れを示すフローチャートである。なお、警報制御手段13は、所定周期で繰り返し第2警報制御処理を実行し、作業機械状態判定手段14は、所定周期で繰り返し作業機械状態判定処理を実行する。また、警報制御手段13は、作業不能状態から作業可能状態への切り替わり時に作業開始時警報制御処理を実行する。   Next, referring to FIGS. 22 to 25, the alarm control unit 13 controls the alarm output unit 7 based on the determination result of the presence / absence determination unit 12 and the determination result of the work machine state determination unit 14 ( Hereinafter, “second alarm control processing” will be described. FIG. 22 is a flowchart showing the flow of the second alarm control process, and FIG. 23 shows an example of the transition of the output image displayed during the second alarm control process. FIG. 24 is a flowchart showing a flow of a process in which the work machine state determination means 14 determines the state of the work machine (hereinafter referred to as “work machine state determination process”), and FIG. 5 is a flowchart showing a flow of a process (hereinafter referred to as “work start alarm control process”) in which the alarm control means 13 controls the alarm output unit 7 at the time of switching from a workable state to a workable state. The alarm control unit 13 repeatedly executes the second alarm control process at a predetermined cycle, and the work machine state determination unit 14 repeatedly executes the work machine state determination process at a predetermined cycle. Moreover, the alarm control means 13 performs a work start time alarm control process at the time of switching from the work impossible state to the work available state.

最初に、人存否判定手段12は、ショベル60の周囲に人が存在するか否かを判定する(ステップS21)。このとき、画像生成手段11は、表示部5が起動している場合には、例えば、図23の出力画像D31に示すような路面高さ基準の周辺監視用仮想視点画像を生成して表示する。   First, the person presence / absence determination means 12 determines whether or not there is a person around the excavator 60 (step S21). At this time, when the display unit 5 is activated, the image generation unit 11 generates and displays a road viewpoint-based periphery monitoring virtual viewpoint image as shown in the output image D31 of FIG. 23, for example. .

ショベル60の周囲に人が存在すると判定した場合(ステップS21のYES)、人存否判定手段12は、作業機械状態判定手段14による判定の結果(後述の図24参照。)を参照する(ステップS22)。この場合、人存否判定手段12は、ゲートロックレバー8をロック状態に固定してもよい。具体的には、人存否判定手段12は、操作者がゲートロックレバー8を引き上げることができないようにしてもよく、ゲートロックレバー8が引き上げられたとしてもロック解除状態とならないようにしてもよい。   When it is determined that there is a person around the excavator 60 (YES in step S21), the presence / absence determination unit 12 refers to the result of determination by the work machine state determination unit 14 (see FIG. 24 described later) (step S22). ). In this case, the presence / absence determination means 12 may fix the gate lock lever 8 in the locked state. Specifically, the presence / absence determination means 12 may prevent the operator from pulling up the gate lock lever 8 and may prevent the lock release state even if the gate lock lever 8 is pulled up. .

作業機械状態判定手段14によりショベル60が作業可能状態にあると判定された場合(ステップS22のYES)、人存否判定手段12は、検出信号を警報制御手段13に対して出力する。検出信号を受けた警報制御手段13は、警報を出力させるための警報開始信号を警報出力部7に対して出力し、警報出力部7から警報を出力させる(ステップS23)。   When it is determined by the work machine state determination unit 14 that the excavator 60 is in a workable state (YES in step S22), the human presence determination unit 12 outputs a detection signal to the alarm control unit 13. Upon receiving the detection signal, the alarm control means 13 outputs an alarm start signal for outputting an alarm to the alarm output unit 7, and outputs an alarm from the alarm output unit 7 (step S23).

本実施例では、警報出力部7は、警報音を出力する。具体的には、人存否判定手段12は、左側方監視空間ZLに人(ここでは作業者P10〜P12である。)が存在すると判定した場合に警報制御手段13に対して左側方検出信号を通知する。そして、警報制御手段13は、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rに対して警報開始信号を出力し、3つ全ての警報出力部から警報音を出力させる。この場合、制御部1は、表示部5が起動していない場合には表示部5を起動させる。そして、画像生成手段11は、図21の出力画像D22に示すように、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換えて警報停止ボタンG1を重畳表示する。また、画像生成手段11は、図21の出力画像D23に示すように、路面高さ基準の周辺監視用仮想視点画像上に警報停止ボタンG1を重畳表示してもよい。この場合、警報制御手段13は、警報停止ボタンG1が押下されるまで、ショベル60による作業を禁止してもよい。具体的には、警報制御手段13は、ゲートロック弁を閉状態にし、コントロールバルブと操作レバー等との間の作動油の流れを遮断して操作レバー等を無効にしてもよい。   In this embodiment, the alarm output unit 7 outputs an alarm sound. Specifically, the presence / absence determination unit 12 outputs a left side detection signal to the alarm control unit 13 when it is determined that a person (here, workers P10 to P12) exists in the left side monitoring space ZL. Notice. And the alarm control means 13 outputs an alarm start signal to the left side alarm output unit 7L, the rear side alarm output unit 7B, and the right side alarm output unit 7R, and outputs an alarm sound from all three alarm output units. Let In this case, the control unit 1 activates the display unit 5 when the display unit 5 is not activated. Then, as shown in the output image D22 of FIG. 21, the image generation means 11 switches the road surface height-based periphery monitoring virtual viewpoint image to the head height-based periphery monitoring virtual viewpoint image and presses the alarm stop button G1. Superimposed display. Further, as shown in the output image D23 of FIG. 21, the image generation means 11 may superimpose and display the alarm stop button G1 on the periphery monitoring virtual viewpoint image based on the road surface height. In this case, the alarm control means 13 may prohibit the work by the shovel 60 until the alarm stop button G1 is pressed. Specifically, the alarm control means 13 may close the gate lock valve, shut off the flow of hydraulic oil between the control valve and the operation lever, and invalidate the operation lever.

また、作業機械状態判定手段14によりショベル60が作業可能状態にないと判定された場合(ステップS22のNO)、人存否判定手段12は、検出信号を警報制御手段13に対して出力せず、NVRAM等に用意された人検出フラグの値を「1」(オン)に設定する(ステップS24)。なお、人検出フラグは、初期値として値「0」(オフ)が設定されており、検出フラグの値「1」(オン)は人を検出したことを表し、検出フラグの値「0」(オフ)は人を検出していないことを表す。この時点では、警報制御手段13は、検出信号を受けないため、警報開始信号を警報出力部7に対して出力することはなく、警報出力部7から警報を出力させることもない。また、警報制御手段13は、既に警報出力部7に対して警報開始信号を出力していた場合にはそれら警報出力部7に対して警報停止信号を出力してもよい。また、画像生成手段11は、表示部5が起動している場合には、ショベル60の周囲に人が存在すると判定されているにもかかわらず、人が存在しないと判定された場合と同様の出力画像を表示する。具体的には、画像生成手段11は、例えば図23の出力画像D32に示すような路面高さ基準の周辺監視用仮想視点画像を表示する。但し、画像生成手段11は、路面高さ基準の周辺監視用仮想視点画像を頭高さ基準の周辺監視用仮想視点画像に切り換えてもよい。   When it is determined by the work machine state determination unit 14 that the excavator 60 is not in a workable state (NO in step S22), the human presence determination unit 12 does not output a detection signal to the alarm control unit 13, The value of the human detection flag prepared in the NVRAM or the like is set to “1” (ON) (step S24). The person detection flag has an initial value “0” (off), and the detection flag value “1” (on) indicates that a person has been detected, and the detection flag value “0” ( (Off) indicates that no person is detected. At this time, since the alarm control means 13 does not receive the detection signal, the alarm start signal is not output to the alarm output unit 7 and the alarm output unit 7 does not output an alarm. Further, the alarm control means 13 may output an alarm stop signal to the alarm output unit 7 when the alarm start signal has already been output to the alarm output unit 7. Further, when the display unit 5 is activated, the image generation unit 11 is the same as the case where it is determined that there is no person even though it is determined that there is a person around the excavator 60. Display the output image. Specifically, the image generation unit 11 displays a virtual viewpoint image for periphery monitoring based on the road surface height, for example, as shown in the output image D32 of FIG. However, the image generation means 11 may switch the road viewpoint-based periphery monitoring virtual viewpoint image to the head height-based periphery monitoring virtual viewpoint image.

一方、ショベル60の周囲に人が存在しないと判定した場合(ステップS21のNO)、人存否判定手段12は、作業機械状態判定手段14による判定の結果を参照することはなく、警報制御手段13に対して検出信号を出力することもない。   On the other hand, when it is determined that there is no person around the excavator 60 (NO in step S21), the presence / absence determination unit 12 does not refer to the determination result by the work machine state determination unit 14, and the alarm control unit 13 No detection signal is output.

この場合、画像生成手段11は、既に警報が出力されている場合には、ショベル60の周囲に人が存在いないと判定されているにもかかわらず、人が存在すると判定された場合と同様の出力画像を表示する。具体的には、画像生成手段11は、例えば図23の出力画像D33に示すような頭高さ基準の周辺監視用仮想視点画像を警報停止ボタンG1と共に表示する。但し、画像生成手段11は、頭高さ基準の周辺監視用仮想視点画像を、図23の出力画像D34に示すような路面高さ基準の周辺監視用仮想視点画像に切り換えてもよい。   In this case, when the alarm has already been output, the image generation unit 11 is the same as the case where it is determined that there is a person even though it is determined that there is no person around the excavator 60. Display the output image. Specifically, the image generation unit 11 displays a head height reference periphery monitoring virtual viewpoint image, for example, as shown in the output image D33 of FIG. 23 together with the alarm stop button G1. However, the image generation means 11 may switch the periphery monitoring virtual viewpoint image based on the head height to a road monitoring based viewpoint visual viewpoint image as shown in the output image D34 of FIG.

その後、警報制御手段13は、既に警報が出力されている場合には、警報停止ボタンG1が押下されたか否かを監視する(ステップS25)。そして、警報停止ボタンG1が押下されたと判定した場合(ステップS25のYES)、警報制御手段13は、警報停止信号を警報出力部7に対して出力し、警報出力部7からの警報の出力を停止させる(ステップS26)。また、画像生成手段11は、頭高さ基準の周辺監視用仮想視点画像(出力画像D33参照。)を表示している場合には、頭高さ基準の周辺監視用仮想視点画像を路面高さ基準の周辺監視用仮想視点画像(出力画像D31参照。)に切り換えて表示する。   Thereafter, when the alarm has already been output, the alarm control means 13 monitors whether or not the alarm stop button G1 has been pressed (step S25). If it is determined that the alarm stop button G1 has been pressed (YES in step S25), the alarm control means 13 outputs an alarm stop signal to the alarm output unit 7 and outputs an alarm output from the alarm output unit 7. Stop (step S26). In addition, when the image generation means 11 displays the head height-based periphery monitoring virtual viewpoint image (see the output image D33), the head height-based periphery monitoring virtual viewpoint image is displayed on the road surface height. It switches to the reference | standard periphery monitoring virtual viewpoint image (refer the output image D31), and displays it.

一方、警報停止ボタンG1が押下されていないと判定した場合(ステップS25のNO)、警報制御手段13は、警報停止信号を警報出力部7に対して出力しない。すなわち、警報制御手段13が出力させた警報は、その後に人存否判定手段12がショベル60の周囲に人が存在しないと判定した場合であっても、警報停止ボタンG1が押下されるまで停止しない。また、画像生成手段11は、頭高さ基準の周辺監視用仮想視点画像(出力画像D33参照。)を表示している場合には、その頭高さ基準の周辺監視用仮想視点画像の表示を継続させる。   On the other hand, if it is determined that the alarm stop button G1 has not been pressed (NO in step S25), the alarm control means 13 does not output an alarm stop signal to the alarm output unit 7. That is, the alarm output by the alarm control unit 13 does not stop until the alarm stop button G1 is pressed even if the human presence determination unit 12 subsequently determines that there is no person around the excavator 60. . Further, when displaying the head height-based periphery monitoring virtual viewpoint image (see the output image D33), the image generation means 11 displays the head height-based periphery monitoring virtual viewpoint image. Let it continue.

なお、警報制御手段13は、警報停止ボタンG1が押下される前であっても、人存否判定手段12がショベル60の周囲に人が存在しないと判定した場合には、警報の内容を変更してもよい。具体的には、警報制御手段13は、既に出力している警報音の強弱、高低、出力間隔等を変更してもよく、或いは、既に発光させている警報ランプの強弱、発光色、発光間隔等を変更してもよい。警報を受ける操作者が、人存否判定手段12により人が存在すると判定されている場合と、人が存在しないと判定されている場合とを区別できるようにするためである。   The alarm control means 13 changes the content of the alarm when the presence / absence determination means 12 determines that there is no person around the excavator 60 even before the alarm stop button G1 is pressed. May be. Specifically, the alarm control means 13 may change the intensity, level, output interval, etc. of the alarm sound that has already been output, or the intensity, emission color, emission interval of the alarm lamp that has already emitted light. Etc. may be changed. This is because the operator who receives the warning can distinguish between the case where it is determined by the presence / absence determination unit 12 that a person is present and the case where it is determined that there is no person.

次に、図24を参照して、作業機械状態判定手段14による作業機械状態判定処理について説明する。   Next, with reference to FIG. 24, work machine state determination processing by the work machine state determination unit 14 will be described.

最初に、作業機械状態判定手段14は、イグニッションスイッチ9の出力に基づいて、イグニッションスイッチ9がオン状態にあるか否かを判定する(ステップS31)。   First, the work machine state determination means 14 determines whether or not the ignition switch 9 is in an ON state based on the output of the ignition switch 9 (step S31).

イグニッションスイッチ9がオン状態にあると判定した場合(ステップS31のYES)、作業機械状態判定手段14は、ゲートロックレバー8の出力に基づいてゲートロックレバー8がロック解除状態にあるか否かを判定する(ステップS32)。   When it is determined that the ignition switch 9 is in the on state (YES in step S31), the work machine state determination unit 14 determines whether the gate lock lever 8 is in the unlocked state based on the output of the gate lock lever 8. Determination is made (step S32).

ゲートロックレバー8がロック解除状態にあると判定した場合(ステップS32のYES)、作業機械状態判定手段14は、ショベル60が作業可能状態にあると判定する(ステップS33)。   When it is determined that the gate lock lever 8 is in the unlocked state (YES in step S32), the work machine state determining unit 14 determines that the excavator 60 is in a workable state (step S33).

一方、イグニッションスイッチ9がオン状態にないと判定した場合(ステップS31のNO)、或いは、ゲートロックレバー8がロック解除状態にないと判定した場合(ステップS32のNO)、作業機械状態判定手段14は、ショベル60が作業可能状態にない、すなわち、ショベル60が作業不可状態にあると判定する(ステップS34)。   On the other hand, when it is determined that the ignition switch 9 is not in the ON state (NO in step S31), or when it is determined that the gate lock lever 8 is not in the unlocked state (NO in step S32), the work machine state determination means 14 Determines that the excavator 60 is not in a workable state, that is, the excavator 60 is in a work-impossible state (step S34).

その後、作業機械状態判定手段14は、NVRAM等に用意された作業可能フラグの値を判定結果に応じて設定する。人存否判定手段12は、図22に示す第2警報制御処理のステップS22においてこの作業可能フラグの値を参照し、参照した値に基づいて警報出力の有無を判断する。なお、作業可能フラグは、初期値として値「0」(オフ)が設定されており、作業可能フラグの値「1」(オン)は作業可能であることを表し、作業可能フラグの値「0」(オフ)は作業不可であることを表す。   Thereafter, the work machine state determination unit 14 sets the value of the work enable flag prepared in the NVRAM or the like according to the determination result. The presence / absence determination means 12 refers to the value of the work enable flag in step S22 of the second alarm control process shown in FIG. 22, and determines the presence or absence of an alarm output based on the referred value. Note that the work available flag has an initial value of “0” (off), and the work available flag value “1” (on) indicates that work is possible, and the work available flag value “0”. "(Off) indicates that the work is not possible.

なお、作業機械状態判定手段14は、ゲートロックレバー8及びイグニッションスイッチ9の何れか一方の状態のみに基づいてショベル60が作業可能状態にあるか否かを判定してもよい。   The work machine state determination means 14 may determine whether or not the excavator 60 is in a workable state based only on the state of either the gate lock lever 8 or the ignition switch 9.

次に、図25を参照して、警報制御手段13による作業開始時警報制御処理について説明する。   Next, with reference to FIG. 25, the alarm control process at the time of the work start by the alarm control means 13 is demonstrated.

最初に、警報制御手段13は、人検出フラグの値を参照する(ステップS41)。そして、人検出フラグの値が「1」オンであると判定した場合(ステップS41のYES)、警報制御手段13は、警報開始信号を警報出力部7に対して出力し、警報出力部7から警報を出力させる(ステップS42)。具体的には、警報制御手段13は、人存否判定手段12により、現時点においてショベル60の周囲に人が存在しないと判定された場合であっても警報を出力させる。本実施例では、警報制御手段13は、左側方警報出力部7L、後方警報出力部7B、及び右側方警報出力部7Rに対して警報開始信号を出力し、3つ全ての警報出力部から警報音を出力させる。この場合、警報制御手段13は、警報の出力が停止されるまで、ショベル60による作業を禁止してもよい。具体的には、警報制御手段13は、ゲートロック弁を閉状態にし、コントロールバルブと操作レバー等との間の作動油の流れを遮断して操作レバー等を無効にしてもよい。   First, the alarm control means 13 refers to the value of the person detection flag (step S41). When it is determined that the value of the human detection flag is “1” ON (YES in step S41), the alarm control unit 13 outputs an alarm start signal to the alarm output unit 7, and the alarm output unit 7 An alarm is output (step S42). Specifically, the alarm control unit 13 outputs an alarm even when the presence / absence determination unit 12 determines that there is no person around the excavator 60 at the present time. In this embodiment, the alarm control means 13 outputs an alarm start signal to the left alarm output unit 7L, the rear alarm output unit 7B, and the right alarm output unit 7R, and the alarm is output from all three alarm output units. Output sound. In this case, the alarm control means 13 may prohibit the work by the excavator 60 until the alarm output is stopped. Specifically, the alarm control means 13 may close the gate lock valve, shut off the flow of hydraulic oil between the control valve and the operation lever, and invalidate the operation lever.

その後、警報制御手段13は、警報開始後の経過時間を計測し、警報開始後に所定時間(例えば2秒間である。)が経過したか否かを判定する(ステップS43)。   Thereafter, the alarm control means 13 measures the elapsed time after the alarm is started, and determines whether or not a predetermined time (for example, 2 seconds) has elapsed after the alarm is started (step S43).

警報開始後に所定時間が経過していないと判定した場合(ステップS43のNO)、警報制御手段13は、所定時間が経過するまで待機する。   If it is determined that the predetermined time has not elapsed after the alarm is started (NO in step S43), the alarm control unit 13 waits until the predetermined time elapses.

一方、警報開始後に所定時間が経過したと判定した場合(ステップS43のYES)、警報制御手段13は、警報停止信号を警報出力部7に対して出力し、警報出力部7からの警報の出力を停止させる(ステップS44)。また、警報制御手段13は、人検出フラグの値を「0」(オフ)にリセットする(ステップS45)。なお、警報制御手段13は、警報停止ボタンG1が押下されるまで警報を停止させないようにしてもよい。   On the other hand, when it is determined that a predetermined time has elapsed after the start of the alarm (YES in step S43), the alarm control means 13 outputs an alarm stop signal to the alarm output unit 7 and outputs an alarm from the alarm output unit 7 Is stopped (step S44). Further, the alarm control means 13 resets the value of the person detection flag to “0” (off) (step S45). The alarm control unit 13 may not stop the alarm until the alarm stop button G1 is pressed.

以上の構成により、画像生成装置100は、監視空間内に人が存在すると判定した場合であってもショベル60が作業不可状態の場合には警報を出力しない。そのため、画像生成装置100は、ショベル60が作業不可状態にある場合に不要な警報が出力されてしまうのを防止できる。   With the above configuration, the image generation apparatus 100 does not output an alarm when the excavator 60 is in a work-impossible state even when it is determined that there is a person in the monitoring space. Therefore, the image generating apparatus 100 can prevent an unnecessary alarm from being output when the excavator 60 is in a work-impossible state.

一方で、画像生成装置100は、現時点において監視空間内に人が存在しないと判定した場合であっても、ショベル60が作業不可状態にある間に作業者が監視範囲内に進入していた場合には警報を出力する。そのため、画像生成装置100は、ショベル60の周囲の監視空間に存在していた作業者が監視空間外に退出したことの確認を操作者に促すことができる。   On the other hand, even when the image generating apparatus 100 determines that there is no person in the monitoring space at the present time, the worker has entered the monitoring range while the excavator 60 is in an unworkable state. Outputs an alarm. Therefore, the image generating apparatus 100 can prompt the operator to confirm that the worker who was present in the monitoring space around the excavator 60 has left the monitoring space.

また、上述の作業開始時警報制御処理では、警報制御手段13は、人検出フラグの値が「1」(オン)でありさえすれば警報を出力させる。しかしながら、本発明はこの構成に限定されるものではない。例えば、警報制御手段13は、人検知フラグの値が「1」(オン)に設定された時点からの経過時間が所定時間以上であれば警報を出力させないようにしてもよい。或いは、人存否判定手段12は、人検知フラグの値を「1」(オン)に設定した時点からの経過時間が所定時間に達した場合に人検知フラグの値を「0」(オフ)にリセットしてもよい。あまりにも古い検出記録に基づいて警報を出力させてしまうのを防止するためである。   Also, in the above-described work start time alarm control process, the alarm control means 13 outputs an alarm as long as the value of the person detection flag is “1” (ON). However, the present invention is not limited to this configuration. For example, the alarm control means 13 may not output an alarm if the elapsed time from the time when the value of the human detection flag is set to “1” (ON) is a predetermined time or more. Alternatively, the presence / absence determination unit 12 sets the value of the human detection flag to “0” (off) when the elapsed time from the time when the value of the human detection flag is set to “1” (on) reaches a predetermined time. It may be reset. This is to prevent an alarm from being output based on a too old detection record.

また、画像生成装置100は、人存否判定手段12が動体検出センサに基づいて作業者(動体)の存否を判定する場合、ショベル60が作業不可状態にあるときに監視空間内に進入して静止している作業者を、ショベル60が作業可能状態になったときに検出し損ね、ショベル60の操作者がその作業者に気付かないままショベル60による作業を開始してしまうのを防止できる。   Further, when the presence / absence determination unit 12 determines the presence / absence of the worker (moving body) based on the moving body detection sensor, the image generation apparatus 100 enters the monitoring space and stops still when the excavator 60 is in a work impossible state. It is possible to prevent the worker who is working from being detected when the excavator 60 is ready to work and the operator of the excavator 60 starts working with the excavator 60 without noticing the worker.

また、画像生成装置100は、人存否判定手段12がオプティカルフローを用いて作業者(動体)の存否を判定する場合に、ショベル60が作業不可状態にあるときに監視空間内に進入して静止している作業者を、ショベル60が作業可能状態になったときに検出し損ね、ショベル60の操作者がその作業者に気付かないままショベル60による作業を開始してしまうのを防止できる。   In addition, when the presence / absence determination unit 12 determines the presence / absence of the worker (moving object) using the optical flow, the image generation apparatus 100 enters the monitoring space and stops still when the excavator 60 is in a work-impossible state. It is possible to prevent the worker who is working from being detected when the excavator 60 is ready to work and the operator of the excavator 60 starts working with the excavator 60 without noticing the worker.

なお、動体検出センサ及びオプティカルフローは、静止物を検出対象とせず、作業者が監視空間内で静止したことと作業者が監視空間から退出したこととを区別しない。そのため、現時点において監視空間内に人が存在しないと判定した場合には如何なる場合も警報を出力させない構成では、ショベル60が作業可能状態となる前に監視空間内に進入して静止している作業者が存在するにもかかわらずショベル60の作業を許容してしまうおそれがある。これに対し、画像生成装置100は、監視空間内に作業者が存在するおそれがある場合には警報を出力することによってショベル60の操作者の注意を喚起することができる。   Note that the moving object detection sensor and the optical flow do not set a stationary object as a detection target, and do not distinguish whether the worker has stopped in the monitoring space and that the worker has left the monitoring space. Therefore, when it is determined that there is no person in the monitoring space at the present time, in a configuration in which an alarm is not output in any case, the work that enters the monitoring space and is stationary before the excavator 60 enters the workable state. There is a risk that the excavator 60 may be allowed to work despite the presence of a person. On the other hand, the image generating apparatus 100 can alert the operator of the excavator 60 by outputting an alarm when there is a possibility that an operator exists in the monitoring space.

また、上述の第2警報制御処理において、画像生成装置100は、ショベル60が作業不可状態にある場合にも表示部5に出力画像を表示させるが、表示部5に出力画像を表示させないようにしてもよい。ショベル60が作業不可状態にある場合には、ショベル60と作業者が接触するおそれがなく、操作者は、出力画像を通じてショベル60の周囲を監視する必要もないためである。   Further, in the second alarm control process described above, the image generation apparatus 100 displays the output image on the display unit 5 even when the excavator 60 is in a work-impossible state, but does not display the output image on the display unit 5. May be. This is because when the excavator 60 is in a work-impossible state, there is no possibility that the excavator 60 and the operator come into contact with each other, and the operator does not need to monitor the periphery of the excavator 60 through the output image.

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。   Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.

例えば、上述の実施例において、画像生成装置100は、空間モデルとして円筒状の空間モデルMDを採用するが、多角柱等の他の柱状の形状を有する空間モデルを採用してもよく、底面及び側面の二面から構成される空間モデルを採用してもよく、或いは、側面のみを有する空間モデルを採用してもよい。   For example, in the above-described embodiment, the image generation apparatus 100 employs the cylindrical spatial model MD as the spatial model, but may employ a spatial model having other columnar shapes such as a polygonal column, A spatial model composed of two side surfaces may be adopted, or a spatial model having only side surfaces may be adopted.

また、画像生成装置100は、バケット、アーム、ブーム、旋回機構等の可動部材を備えながら自走するショベルに、カメラ及び人検出センサと共に搭載される。そして、画像生成装置100は、周囲画像をその操作者に提示しながらそのショベルの移動及びそれら可動部材の操作を支援する操作支援システムを構成する。しかしながら、画像生成装置100は、フォークリフト、アスファルトフィニッシャ等のように旋回機構を有しない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。或いは、画像生成装置100は、産業用機械若しくは固定式クレーン等のように可動部材を有するが自走はしない作業機械に、カメラ及び人検出センサと共に搭載されてもよい。そして、画像生成装置100は、それら作業機械の操作を支援する操作支援システムを構成してもよい。   The image generating apparatus 100 is mounted on a self-propelled excavator with movable members such as a bucket, an arm, a boom, and a turning mechanism together with a camera and a human detection sensor. The image generating apparatus 100 constitutes an operation support system that supports the movement of the shovel and the operation of these movable members while presenting the surrounding image to the operator. However, the image generation apparatus 100 may be mounted together with a camera and a human detection sensor on a work machine that does not have a turning mechanism such as a forklift or an asphalt finisher. Alternatively, the image generation apparatus 100 may be mounted together with a camera and a human detection sensor on a work machine that has a movable member but does not self-propel, such as an industrial machine or a fixed crane. The image generation apparatus 100 may constitute an operation support system that supports the operation of these work machines.

また、周辺監視装置は、カメラ2及び表示部5を含む画像生成装置100を1例として説明されたが、カメラ2、表示部5等による画像表示機能を含まない装置として構成されてもよい。例えば、第1警報制御処理を実行する装置としての周辺監視装置100Aは、図26に示すように、カメラ2、記憶部4、表示部5、ゲートロックレバー8、イグニッションスイッチ9、座標対応付け手段10、画像生成手段11、及び作業機械状態判定手段14を省略してもよい。また、第2音声伝達支援処理及び作業開始時警報制御処理を実行する装置としての周辺監視装置100Bは、図27に示すように、カメラ2、入力部3、記憶部4、表示部5、座標対応付け手段10、及び画像生成手段11を省略してもよい。   Further, the periphery monitoring device has been described by taking the image generation device 100 including the camera 2 and the display unit 5 as an example, but may be configured as a device that does not include an image display function by the camera 2, the display unit 5, and the like. For example, as shown in FIG. 26, the periphery monitoring device 100A as a device that executes the first alarm control process includes a camera 2, a storage unit 4, a display unit 5, a gate lock lever 8, an ignition switch 9, and coordinate matching means. 10, the image generation means 11 and the work machine state determination means 14 may be omitted. Further, as shown in FIG. 27, the periphery monitoring device 100B as a device that executes the second voice transmission support process and the work start warning control process includes a camera 2, an input unit 3, a storage unit 4, a display unit 5, and coordinates. The association unit 10 and the image generation unit 11 may be omitted.

1・・・制御部 2・・・カメラ 2L・・・左側方カメラ 2R・・右側方カメラ 2B・・後方カメラ 3・・・入力部 4・・・記憶部 5・・・表示部 6・・・人検出センサ 6L・・・左側方人検出センサ 6R・・・右側方人検出センサ 6B・・・後方人検出センサ 7・・・警報出力部 7L・・・左側方警報出力部 7B・・・後側方警報出力部 7R・・・右側方警報出力部 8・・・ゲートロックレバー 9・・・イグニッションスイッチ 10・・・座標対応付け手段 11・・・画像生成手段 12・・・人存否判定手段 13・・・警報制御手段 14・・・作業機械状態判定手段 40・・・入力画像・空間モデル対応マップ 41・・・空間モデル・処理対象画像対応マップ 42・・・処理対象画像・出力画像対応マップ 60・・・ショベル 61・・・下部走行体 62・・・旋回機構 63・・・上部旋回体 64・・・キャブ 100・・・画像生成装置 100A、100B・・・周辺監視装置   DESCRIPTION OF SYMBOLS 1 ... Control part 2 ... Camera 2L ... Left side camera 2R ... Right side camera 2B ... Rear camera 3 ... Input part 4 ... Memory | storage part 5 ... Display part 6 .... -Human detection sensor 6L ... Left side person detection sensor 6R ... Right side person detection sensor 6B ... Back person detection sensor 7 ... Alarm output unit 7L ... Left side alarm output unit 7B ... Rear side warning output unit 7R ... right side warning output unit 8 ... gate lock lever 9 ... ignition switch 10 ... coordinate association means 11 ... image generation means 12 ... human existence determination Means 13: Alarm control means 14 ... Work machine state determination means 40 ... Input image / space model correspondence map 41 ... Spatial model / processing object image correspondence map 42 ... Processing object image / output image Compatible maps 60 ... excavator 61 ... lower traveling body 62 ... turning mechanism 63 ... upper swing body 64 ... cab 100 ... image generating apparatus 100A, 100B ... environment monitoring device

Claims (2)

操作者の入力を受ける入力部と、
該操作者に対する警報を出力する警報出力部と、
制御部と、を有し、
前記制御部は、
作業機械の周囲における人を含む動体の存否を判定する動体存否判定手段と、
前記警報出力部を制御する警報制御手段と、を有し、
前記入力部には、前記警報を停止させる警報停止操作部が含まれており、
前記警報制御手段は、前記動体存否判定手段によって動体が存在すると判定された場合に前記警報出力部に対して前記警報を出力させるための信号を出力し、且つ、前記動体存否判定手段によって動体が存在しないと判定され且つ前記警報停止操作部が操作された場合に前記警報出力部に対して前記警報を停止させるための信号を出力する、
作業機械用周辺監視装置。
An input unit that receives input from the operator;
An alarm output unit for outputting an alarm to the operator;
A control unit,
The controller is
A moving object presence / absence determining means for determining the presence or absence of a moving object including a person around the work machine;
Alarm control means for controlling the alarm output unit,
The input unit includes an alarm stop operation unit for stopping the alarm,
The alarm control unit outputs a signal for outputting the alarm to the alarm output unit when the moving object is determined to be present by the moving object existence determining unit, and the moving object is determined by the moving object existence determining unit. When it is determined that it does not exist and the alarm stop operation unit is operated, a signal for stopping the alarm is output to the alarm output unit.
Perimeter monitoring device for work machines.
前記警報制御手段は、前記作業機械の周囲に動体が存在すると判定された場合に前記警報出力部から音及び光の少なくとも一方による警報を出力させ、該警報を出力させた後で前記動体存否判定手段により前記作業機械の周囲に動体が存在しないと判定された場合に、該警報の内容を変更する、
請求項1に記載の作業機械用周辺監視装置。
The alarm control means outputs an alarm based on at least one of sound and light from the alarm output unit when it is determined that there is a moving object around the work machine, and after the alarm is output, the moving object existence determination When it is determined by the means that there is no moving object around the work machine, the content of the alarm is changed.
The work machine periphery monitoring device according to claim 1 .
JP2013057398A 2013-03-19 2013-03-19 Perimeter monitoring equipment for work machines Active JP6456584B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013057398A JP6456584B2 (en) 2013-03-19 2013-03-19 Perimeter monitoring equipment for work machines

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013057398A JP6456584B2 (en) 2013-03-19 2013-03-19 Perimeter monitoring equipment for work machines

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2017174756A Division JP6420432B2 (en) 2017-09-12 2017-09-12 Excavator
JP2018206431A Division JP6602936B2 (en) 2018-11-01 2018-11-01 Excavator
JP2018206432A Division JP2019060228A (en) 2018-11-01 2018-11-01 Periphery monitoring device for work machine

Publications (2)

Publication Number Publication Date
JP2014181508A JP2014181508A (en) 2014-09-29
JP6456584B2 true JP6456584B2 (en) 2019-01-23

Family

ID=51700496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013057398A Active JP6456584B2 (en) 2013-03-19 2013-03-19 Perimeter monitoring equipment for work machines

Country Status (1)

Country Link
JP (1) JP6456584B2 (en)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094627A1 (en) * 2015-11-30 2017-06-08 住友重機械工業株式会社 Periphery monitoring system for work machine
EP3480374B1 (en) 2016-07-04 2023-12-20 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. Shovel
JP7171436B2 (en) 2016-11-01 2022-11-15 住友建機株式会社 Perimeter monitoring system for work machine, display device
JP7009063B2 (en) * 2017-01-11 2022-01-25 住友建機株式会社 Peripheral monitoring system for work machines
JP6878025B2 (en) * 2017-02-03 2021-05-26 住友重機械工業株式会社 Peripheral monitoring system for work machines
EP3584120B1 (en) 2017-02-17 2021-04-14 Sumitomo Heavy Industries, Ltd. Work machine surroundings monitoring system
EP3722519B1 (en) 2017-12-04 2022-05-11 Sumitomo Heavy Industries, Ltd. Surrounding-area monitoring device
JP6548235B1 (en) * 2018-01-16 2019-07-24 三菱ロジスネクスト株式会社 Industrial vehicles and driving support systems
CN111819334A (en) 2018-03-08 2020-10-23 住友重机械工业株式会社 Construction machine, information processing device, information processing method, and program
JP7463354B2 (en) 2019-04-26 2024-04-08 住友建機株式会社 Excavator
CN113727883A (en) 2019-04-26 2021-11-30 住友建机株式会社 Display device, shovel, and information processing device
JP7258653B2 (en) * 2019-05-23 2023-04-17 日本車輌製造株式会社 Pile driver safety system
JP7261721B2 (en) * 2019-10-15 2023-04-20 日立建機株式会社 Construction support system and work machine
JP7349880B2 (en) * 2019-10-18 2023-09-25 株式会社小松製作所 Work machine surroundings monitoring system, work machine, and work machine surroundings monitoring method
JP7153627B2 (en) * 2019-10-31 2022-10-14 日立建機株式会社 Work machine and perimeter monitoring system
JP7508815B2 (en) * 2020-03-13 2024-07-02 コベルコ建機株式会社 Work support server and work support method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60176196A (en) * 1984-02-23 1985-09-10 松下電工株式会社 Alarm buzzer
JP2777534B2 (en) * 1993-10-01 1998-07-16 建設省関東地方建設局長 Monitoring equipment for construction machinery
JPH09158258A (en) * 1995-12-05 1997-06-17 Shin Caterpillar Mitsubishi Ltd Monitoring device of construction equipment
JP2002047692A (en) * 2000-08-02 2002-02-15 Komatsu Ltd Self-propelled work machine
JP5064976B2 (en) * 2007-11-12 2012-10-31 クラリオン株式会社 Work safety monitoring system for construction and civil engineering vehicles
JP2009193494A (en) * 2008-02-18 2009-08-27 Shimizu Corp Warning system

Also Published As

Publication number Publication date
JP2014181508A (en) 2014-09-29

Similar Documents

Publication Publication Date Title
JP6456584B2 (en) Perimeter monitoring equipment for work machines
JP6052881B2 (en) Perimeter monitoring equipment for work machines
JP6352592B2 (en) Excavator
JP6545430B2 (en) Shovel
JP6740259B2 (en) Work machine
JP6290497B2 (en) Excavator
JP6763913B2 (en) Peripheral monitoring equipment and excavators for work machines
JP2019060228A (en) Periphery monitoring device for work machine
JP6420432B2 (en) Excavator
JP6852026B2 (en) Excavator
JP6602936B2 (en) Excavator
JP6301536B2 (en) Excavator
JP2014183497A (en) Periphery monitoring apparatus for working machine
JP6391656B2 (en) Peripheral monitoring device for work machine and work machine
JP7257357B2 (en) Excavators and systems for excavators
JP7125454B2 (en) Excavator
JP6302622B2 (en) Perimeter monitoring equipment for work machines
JP6356323B2 (en) Excavator
JP7263288B2 (en) Excavators and systems for excavators
JP7263290B2 (en) Excavators and systems for excavators
JP7257356B2 (en) Excavators and systems for excavators
JP7263289B2 (en) Excavators and systems for excavators
JP7478055B2 (en) Periphery monitoring device for work machine and work machine
JP6295026B2 (en) Excavator
JP2020188474A (en) Shovel

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170118

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170912

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170920

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20171117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181219

R150 Certificate of patent or registration of utility model

Ref document number: 6456584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150