JP2013223012A - Image processing device, image processing method, and image processing program - Google Patents

Image processing device, image processing method, and image processing program Download PDF

Info

Publication number
JP2013223012A
JP2013223012A JP2012091889A JP2012091889A JP2013223012A JP 2013223012 A JP2013223012 A JP 2013223012A JP 2012091889 A JP2012091889 A JP 2012091889A JP 2012091889 A JP2012091889 A JP 2012091889A JP 2013223012 A JP2013223012 A JP 2013223012A
Authority
JP
Japan
Prior art keywords
image
image processing
camera
data
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012091889A
Other languages
Japanese (ja)
Inventor
Masaaki Yamamoto
政明 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012091889A priority Critical patent/JP2013223012A/en
Publication of JP2013223012A publication Critical patent/JP2013223012A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a camera control device which allows the user to intuitively grasp directional relations between a thumbnail image and a map.SOLUTION: A receiving unit (101) receives image data consisting of the picked-up image of a camera. A storage unit (105) stores therein angle data indicating the horizontal angle of the image pickup direction of the camera, map data indicting the map of a monitoring area, camera position data indicating the position of the camera, and trapezoid data indicating the shape of a trapezoid having a long upper side and a short lower side. An image processing unit (109) performs first image processing on the picked-up image by using the trapezoid data stored in the storage unit and then performs second image processing on the picked-up image having the first image processing applied thereto, in which processing the picked-up image is rotated according to the angle data stored in the storage unit. A synthesis unit (106) combines the map data with the picked-up image having had its position processed corresponding to the camera position data to generate an output image. An output unit (107) outputs the output image generated by the synthesis unit.

Description

本発明は、カメラで撮像した画像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。   The present invention relates to an image processing apparatus, an image processing method, and an image processing program for processing an image captured by a camera.

水平方向の回動(パン)により撮像方向を変更する雲台を備えた雲台付きカメラを制御して、広い監視場所を監視できるよう構成した監視システムが知られている。   There is known a monitoring system configured to control a camera with a pan head having a pan head that changes an imaging direction by rotating (panning) in a horizontal direction so as to monitor a wide monitoring place.

このような監視システムにおいて、監視領域を示す電子地図とカメラの位置を示すカメラアイコンとを画面に表示するとともに、カメラアイコンに対し撮像方位の方向に、撮像方位にあわせて回転させたサムネイル画像を表示する画像処理装置が提案されている(たとえば、特許文献1参照)。   In such a monitoring system, an electronic map indicating the monitoring area and a camera icon indicating the position of the camera are displayed on the screen, and a thumbnail image rotated in accordance with the imaging direction is displayed in the direction of the imaging direction with respect to the camera icon. An image processing apparatus for displaying has been proposed (see, for example, Patent Document 1).

特開2005−269104号公報JP 2005-269104 A

特許文献1に記載の画像処理装置により、表示される画像の模式図を図10に示す。図10a)に示すサムネイル画像において、サムネイル画像の左右方向をAA’、上下方向をBB’方向とする。図10a)のサムネイル画像を地図上に合成した模式図を、図10b)に示す。地図における、AA’と同一方向をaa’、BB’と同一方向をbb’とする。図10b)からわかるように、従来の画像処理装置によれば、サムネイル画像の中の被写体の左右方向AA’は、地図上の方向aa’と一致するので、地図上での被写体の左右方向を容易に知ることができる。しかしながらサムネイル画像の中の被写体の上方向Bは、実際には地図の平面から垂直に浮き出る方向であり、地図上の方向bとは異なっている。このように従来の画像処理装置は、サムネイル画像と地図との方向の関係が直感的に把握しづらく、視覚上の混乱が生じる恐れがあるという問題があった。   A schematic diagram of an image displayed by the image processing apparatus described in Patent Document 1 is shown in FIG. In the thumbnail image shown in FIG. 10A), the left-right direction of the thumbnail image is AA ′, and the vertical direction is the BB ′ direction. FIG. 10b) shows a schematic diagram in which the thumbnail images of FIG. 10a) are synthesized on a map. In the map, the same direction as AA ′ is aa ′, and the same direction as BB ′ is bb ′. As can be seen from FIG. 10b), according to the conventional image processing apparatus, the left-right direction AA ′ of the subject in the thumbnail image matches the direction aa ′ on the map. It is easy to know. However, the upward direction B of the subject in the thumbnail image is actually a direction that protrudes vertically from the plane of the map, and is different from the direction b on the map. As described above, the conventional image processing apparatus has a problem in that it is difficult to intuitively understand the relationship between the direction of the thumbnail image and the map, and there is a risk of visual confusion.

そこで、本発明が解決しようとする課題は、直感的にサムネイル画像と地図との方向の関係を把握することのできる技術を提供することにある。   Therefore, the problem to be solved by the present invention is to provide a technique that can intuitively grasp the relationship between the direction of the thumbnail image and the map.

上記の課題を解決するために、本発明は以下の装置、方法、プログラムを提供するものである。
1)カメラで撮像した撮像画像の撮像画像データを受信する受信部(101)と、カメラが設置されている領域の地図を示す地図データと、カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データと、カメラの撮像方向の水平方向の角度を示す角度データとを記憶する記憶部(105)と、撮像画像に対して記憶部に記憶された台形データを用いた第1の画像処理を行い、第1の画像処理を行った撮像画像を記憶部に記憶された角度データに応じて回転させる第2の画像処理を行う画像処理部(109)と、地図データに対しカメラ位置データに応じた位置に第2の画像処理を行われた撮像画像を合成して出力画像を生成する合成部(106)と、合成部が生成する出力画像を出力する出力部(107)とを備えることを特徴とする画像処理装置。
2)第1の画像処理は記憶部に記憶された台形データを用いて撮像画像を上底が長く下底が短い台形形状に変換する画像処理であることを特徴とする1)に記載の画像処理装置。
3)第1の画像処理は記憶された台形データを用いて撮像画像を上底が長く下底が短い台形形状に切り取る画像処理であることを特徴とする1)に記載の画像処理装置。
4)第1の画像処理は記憶された台形データを用いて記憶された台形データを用いて撮像画像に上底が長く下底が短い台形形状の枠を付加する画像処理であることを特徴とする1)に記載の画像処理装置。
5)第1の画像処理は記憶された台形データを用いて撮像画像に隣接させて上底が長く下底が短い台形形状の台形アイコンを付加する画像処理であることを特徴とする1)に記載の画像処理装置。
6)合成部は、記憶部が記憶するアイコンデータと地図データとカメラ位置データとから地図上のカメラの位置にカメラアイコンを合成し、カメラアイコンを基準として角度データに応じた方向に所定の距離離間した位置に画像処理部で画像処理した撮像画像を合成して出力画像を生成することを特徴とする1)から5)のいずれか一項に記載の画像処理装置。
7)カメラで撮像した撮像画像の画像データを受信する受信ステップと、カメラの撮像方向の水平方向の角度を示す角度データと、カメラが設置されている領域の地図を示す地図データと、カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶する記憶ステップと、受信部が受信する撮像画像に対して記憶部ステップで記憶された台形データを用いた第1の画像処理を行い(ステップS401)、第1の画像処理を行った撮像画像を記憶ステップで記憶された角度データに応じて回転させる第2の画像処理を行う(ステップS402)画像処理ステップと、地図データに対しカメラ位置データに応じた位置に画像処理ステップで画像処理された撮像画像を合成して出力画像を生成する合成ステップ(ステップS403)と、合成ステップで合成された出力画像を出力する出力ステップ(ステップS405)とを含むことを特徴とする画像処理方法。
8)カメラと通信回線を介して接続され、カメラの撮像した撮像画像を出力するコンピューターに用いられる画像処理プログラムであって、カメラで撮像した撮像画像の画像データを受信する受信機能と、カメラの撮像方向の水平方向の角度を示す角度データと、カメラが設置されている領域の地図を示す地図データと、カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶部に記憶させる記憶機能と、受信機能により受信された撮像画像に対して記憶部に記憶された台形データを用いた第1の画像処理を行い、第1の画像処理を行った撮像画像を記憶部が記憶する角度データに応じて回転させる第2の画像処理を行う画像処理機能と、地図データに対しカメラ位置データに応じた位置に画像処理機能により画像処理された撮像画像を合成して出力画像を生成する合成機能と、出力画像を出力する出力機能とをコンピューターに実現させることを特徴とする画像処理プログラム。
In order to solve the above problems, the present invention provides the following apparatus, method, and program.
1) A receiving unit (101) that receives captured image data of a captured image captured by a camera, map data indicating a map of an area where the camera is installed, camera position data indicating a camera position, and an upper base A storage unit (105) for storing trapezoidal data indicating a trapezoidal shape having a long bottom and a short bottom, and angle data indicating a horizontal angle of the imaging direction of the camera, and a trapezoid stored in the storage unit for the captured image An image processing unit (109) that performs first image processing using data and performs second image processing for rotating the captured image that has been subjected to the first image processing in accordance with the angle data stored in the storage unit; Synthesizes the captured image that has been subjected to the second image processing with respect to the map data at a position corresponding to the camera position data to generate an output image, and outputs an output image generated by the combining unit Output unit (107) The image processing apparatus comprising: a.
2) The first image processing is image processing according to 1), wherein the captured image is converted into a trapezoidal shape having a long upper base and a short lower base using the trapezoidal data stored in the storage unit. Processing equipment.
3) The image processing apparatus according to 1), wherein the first image processing is image processing in which a captured image is cut into a trapezoidal shape having a long upper base and a short lower base using stored trapezoidal data.
4) The first image processing is image processing in which a trapezoidal frame having a long upper base and a short lower base is added to a captured image using trapezoidal data stored using the stored trapezoidal data. The image processing apparatus according to 1).
5) The first image processing is 1) characterized in that a trapezoidal icon having a long upper base and a short lower base is added adjacent to the captured image using the stored trapezoidal data. The image processing apparatus described.
6) The synthesizing unit synthesizes the camera icon at the position of the camera on the map from the icon data stored in the storage unit, the map data, and the camera position data, and a predetermined distance in the direction according to the angle data with the camera icon as a reference The image processing apparatus according to any one of 1) to 5), wherein an output image is generated by synthesizing the captured images image-processed by the image processing unit at spaced positions.
7) A reception step of receiving image data of a captured image captured by the camera, angle data indicating a horizontal angle of a camera imaging direction, map data indicating a map of an area where the camera is installed, A storage step for storing camera position data indicating a position and a trapezoidal data indicating a trapezoidal shape having a long upper base and a short lower base, and trapezoid data stored in the storage unit step with respect to the captured image received by the receiving unit Is performed (step S401), and the second image processing is performed to rotate the captured image subjected to the first image processing in accordance with the angle data stored in the storing step (step S402). An image processing step and a combining step for generating an output image by combining the captured image image-processed in the image processing step at a position corresponding to the camera position data with respect to the map data. Flop (step S403), the image processing method characterized by comprising an output step (step S405) for outputting an output image synthesized in the synthesis step.
8) An image processing program connected to the camera via a communication line and used for a computer that outputs a captured image captured by the camera, a reception function for receiving image data of the captured image captured by the camera, Angle data indicating the horizontal angle of the imaging direction, map data indicating a map of the area where the camera is installed, camera position data indicating the position of the camera, and a trapezoidal shape with a long upper base and a short lower base Storage function for storing the trapezoidal data shown in the storage unit, and first image processing using the trapezoidal data stored in the storage unit is performed on the captured image received by the reception function, and the first image processing is performed. An image processing function for performing the second image processing for rotating the captured image that is performed according to the angle data stored in the storage unit, and an image at a position corresponding to the camera position data with respect to the map data Image processing program, wherein the synthetic function of generating an output image by combining the captured images to image processing by the management functions, that is implemented in the computer and an output function for outputting an output image.

本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、直感的にサムネイル画像と地図との方向の関係を把握することができる。   According to the image processing apparatus, the image processing method, and the image processing program of the present invention, it is possible to intuitively grasp the relationship between the direction of the thumbnail image and the map.

本発明の画像処理装置の一実施形態であるカメラ制御端末のブロック構成図である。It is a block block diagram of the camera control terminal which is one Embodiment of the image processing apparatus of this invention. 本発明の実施形態に係るカメラのブロック構成図である。It is a block block diagram of the camera which concerns on embodiment of this invention. 本発明の実施形態に係る監視システムのシステム構成図である。1 is a system configuration diagram of a monitoring system according to an embodiment of the present invention. 本発明の実施形態に係る出力画像の合成方法の第1実施例を示すフローチャートである。It is a flowchart which shows the 1st Example of the synthesis method of the output image which concerns on embodiment of this invention. 本発明の実施形態に係る第1の画像処理の例を示す模式図である。It is a schematic diagram which shows the example of the 1st image processing which concerns on embodiment of this invention. 第1実施例における出力画像の例である。It is an example of the output image in 1st Example. 本発明の実施形態に係る出力画像の合成方法の第2実施例を示すフローチャートである。It is a flowchart which shows the 2nd Example of the synthesis method of the output image which concerns on embodiment of this invention. 第2実施例における撮像画像の合成の例である。It is an example of the synthesis | combination of the captured image in 2nd Example. 第2実施例における出力画像の例である。It is an example of the output image in 2nd Example. 従来の画像処理装置におけるサムネイル画像を地図上に合成した模式図である。It is the schematic diagram which combined the thumbnail image in the conventional image processing apparatus on the map.

以下、本発明の画像処理装置の一実施形態であるカメラ制御端末について、添付図面を参照して説明する。
[カメラ制御端末の構成]
本発明の一実施形態のカメラ制御端末10について、図1に基づき説明する。図1はカメラ制御端末10のブロック構成図である。カメラ制御端末10は、たとえば汎用のパーソナルコンピューターに制御用のアプリケーションソフトウェアをインストールしたものであり、後述の監視カメラ20の撮像画像を閲覧したり監視カメラ20を制御する端末である。
Hereinafter, a camera control terminal which is an embodiment of an image processing apparatus of the present invention will be described with reference to the accompanying drawings.
[Camera control terminal configuration]
A camera control terminal 10 according to an embodiment of the present invention will be described with reference to FIG. FIG. 1 is a block diagram of the camera control terminal 10. The camera control terminal 10 is a terminal in which control application software is installed in a general-purpose personal computer, for example, and is a terminal for viewing a captured image of a monitoring camera 20 described later and controlling the monitoring camera 20.

カメラ制御端末10において、通信処理部101は、監視カメラ20から送られる撮像画像データ、ズームデータ、パンデータを受信する。通信処理部101はまた、監視カメラ20へパン指示データ、ズーム指示データを送信する。このように通信処理部101は、本実施形態における受信部の一態様であるとともに送信部の一態様である。   In the camera control terminal 10, the communication processing unit 101 receives captured image data, zoom data, and pan data sent from the monitoring camera 20. The communication processing unit 101 also transmits pan instruction data and zoom instruction data to the monitoring camera 20. As described above, the communication processing unit 101 is an aspect of the reception unit and an aspect of the transmission unit in the present embodiment.

復号処理部102は、通信処理部101で受信した、JPEGやMPEG−4などの規格でディジタル画像圧縮された撮像画像データを復号し、画像処理部109へ送る。   The decoding processing unit 102 decodes the captured image data received by the communication processing unit 101 and compressed with a digital image in accordance with a standard such as JPEG or MPEG-4, and sends it to the image processing unit 109.

パンデータ処理部104は、通信処理部101を通して、監視カメラ20からパンデータを取得して、記憶部105へ送る。パンデータ処理部104はまた、操作部108からの入力と記憶部105のデータとから、パン方向を変更するためのパン指示データを算出し、通信処理部101へ送る。   The pan data processing unit 104 acquires pan data from the monitoring camera 20 through the communication processing unit 101 and sends the pan data to the storage unit 105. The pan data processing unit 104 also calculates pan instruction data for changing the pan direction from the input from the operation unit 108 and the data in the storage unit 105, and sends the pan instruction data to the communication processing unit 101.

ズームデータ処理部103は、通信処理部101を通して取得したズームデータを、記憶部105へ送る。ズームデータ処理部103はまた、操作部108からの入力と記憶部105のデータとから、ズームレンズ208の焦点距離を変更するためのズーム指示データを算出し、通信処理部101へ送る。   The zoom data processing unit 103 sends the zoom data acquired through the communication processing unit 101 to the storage unit 105. The zoom data processing unit 103 also calculates zoom instruction data for changing the focal length of the zoom lens 208 from the input from the operation unit 108 and the data in the storage unit 105, and sends the zoom instruction data to the communication processing unit 101.

記憶部105は半導体メモリやハードディスクドライブなどで構成されており、あらかじめ地図データと、カメラ位置データと、台形データとを記憶している。地図データとは、監視カメラ20が設置され、監視を行っている店舗などの領域全体を示す地図のデータである。カメラ位置データとは、地図上の監視カメラ20の位置を示すデータである。台形データとは、台形の形状を示すデータであり、本実施の形態では上底が長く下底が短い台形のテンプレートである。   The storage unit 105 includes a semiconductor memory, a hard disk drive, and the like, and stores map data, camera position data, and trapezoid data in advance. The map data is map data indicating the entire area of a store or the like where the monitoring camera 20 is installed and monitoring. The camera position data is data indicating the position of the monitoring camera 20 on the map. The trapezoid data is data indicating a trapezoidal shape, and is a trapezoidal template having a long upper base and a short lower base in the present embodiment.

記憶部105はさらに、パンデータ処理部104から送られたパンデータと、ズームデータ処理部103から送られたズームデータとを記憶する。記憶部105はこれらの記憶したデータを、必要に応じて提供する。   The storage unit 105 further stores the pan data sent from the pan data processing unit 104 and the zoom data sent from the zoom data processing unit 103. The storage unit 105 provides these stored data as necessary.

画像処理部109は、復号処理部102で復号処理を行った撮像画像データと、記憶部105に記憶されているデータとを用いて、撮像画像データに対して画像処理を行う。画像処理の詳細は後述する。   The image processing unit 109 performs image processing on the captured image data using the captured image data that has been decoded by the decoding processing unit 102 and the data stored in the storage unit 105. Details of the image processing will be described later.

合成処理部106は、画像処理部109で処理を行った撮像画像データと、記憶部105に記憶されている地図データと、カメラの位置データとを用いて、出力画像データを合成する。出力画像データの合成方法の詳細は後述する。   The combination processing unit 106 combines the output image data using the captured image data processed by the image processing unit 109, the map data stored in the storage unit 105, and the camera position data. Details of the composition method of output image data will be described later.

出力部107は、合成処理部106で合成した出力画像データを出力する。出力部107には、液晶モニタやプロジェクタなどの画像表示装置40が接続されているので、出力部107が出力した出力画像データが画像表示装置40に表示される。   The output unit 107 outputs the output image data synthesized by the synthesis processing unit 106. Since the image display device 40 such as a liquid crystal monitor or a projector is connected to the output unit 107, the output image data output from the output unit 107 is displayed on the image display device 40.

操作部108はマウスやタッチパネル、キーボードなどで構成されており、オペレーターが画像表示装置40に表示された出力画像データをみながら操作部108を操作して、種々の指示を行う。   The operation unit 108 includes a mouse, a touch panel, a keyboard, and the like, and an operator operates the operation unit 108 while viewing output image data displayed on the image display device 40 to give various instructions.

たとえば、出力画像にパン制御ボタン、ズーム制御ボタンなどの制御ボタンを合成し、オペレーターが操作部108でこれらの制御ボタンを選択すると、パンデータ処理部104がパン方向を変更するためのパン指示データを算出して通信処理部101へ送ったり、ズームデータ処理部103がズームレンズの焦点距離を変更するためのズーム指示データを算出して通信処理部101へ送る。
[監視カメラの構成]
図2は、カメラ制御端末10で制御する監視カメラ20のブロック構成図の例である。本実施形態における監視カメラ20はネットワークカメラであり、撮像した画像をネットワークを介して送信したり、ネットワークを介して受信した制御信号にしたがって撮像方向を変更したりする。
For example, when control buttons such as a pan control button and a zoom control button are combined with the output image, and the operator selects these control buttons with the operation unit 108, the pan instruction data for the pan data processing unit 104 to change the pan direction. Is calculated and sent to the communication processing unit 101, or the zoom data processing unit 103 calculates zoom instruction data for changing the focal length of the zoom lens and sends it to the communication processing unit 101.
[Configuration of surveillance camera]
FIG. 2 is an example of a block configuration diagram of the monitoring camera 20 controlled by the camera control terminal 10. The monitoring camera 20 in this embodiment is a network camera, and transmits a captured image via a network or changes an imaging direction according to a control signal received via the network.

撮像部201は、周囲の被写体を撮像し、撮像した画像を圧縮部202へ送る。圧縮部202は、撮像部201で撮像した画像を、たとえばJPEG(Joint Picture Expert Group)やMPEG(Moving Picture Expert Group)−4などの規格でディジタル画像圧縮し、通信部203へ送る。   The imaging unit 201 captures a surrounding subject and sends the captured image to the compression unit 202. The compression unit 202 compresses a digital image of the image captured by the imaging unit 201 according to a standard such as JPEG (Joint Picture Expert Group) or MPEG (Moving Picture Expert Group) -4, and sends the compressed image to the communication unit 203.

パン角度センサー206は、現在の撮像部201の撮像方向の水平方向の角度を、パンデータとして出力する。ズームセンサー209は、現在のズームレンズ208の焦点距離を示すデータを、ズームデータとして出力する。   The pan angle sensor 206 outputs the horizontal angle in the imaging direction of the current imaging unit 201 as pan data. The zoom sensor 209 outputs data indicating the current focal length of the zoom lens 208 as zoom data.

通信部203は、要求に応じて、圧縮部202で圧縮された撮像画像データと、パンデータと、ズームデータとを、カメラ制御端末10へ送信する。通信部203はまた、カメラ制御端末10から送信されるパン指示データ、ズーム指示データを受信して、制御部204へ送る。   The communication unit 203 transmits the captured image data, pan data, and zoom data compressed by the compression unit 202 to the camera control terminal 10 in response to a request. The communication unit 203 also receives pan instruction data and zoom instruction data transmitted from the camera control terminal 10 and sends them to the control unit 204.

制御部204は、通信部203が受信したパン指示データ、ズーム指示データに基づき、雲台駆動部205にパンをさせるための制御信号を送ったり、ズームレンズ駆動部207へズームレンズ208を駆動するための制御信号を送ったりする。   Based on the pan instruction data and zoom instruction data received by the communication unit 203, the control unit 204 sends a control signal for panning the pan head drive unit 205 or drives the zoom lens 208 to the zoom lens drive unit 207. Or send a control signal.

雲台駆動部205は、制御部204から送られる制御信号にしたがって、撮像部201をパンさせて、撮像方向を変更する。   The pan / tilt head driving unit 205 pans the imaging unit 201 in accordance with a control signal sent from the control unit 204 and changes the imaging direction.

ズームレンズ駆動部207は、制御部204から送られる制御信号にしたがって、ズームレンズ208を駆動してズームレンズ208の焦点距離を変更する。   The zoom lens driving unit 207 changes the focal length of the zoom lens 208 by driving the zoom lens 208 according to the control signal sent from the control unit 204.

[監視システムの構成]
カメラ制御端末10と監視カメラ20とを用いた監視システムについて、図3に基づき説明する。図3の監視システムは店舗の内部を監視する監視システムの例であり、店舗の内部を監視するための監視カメラ20と、監視カメラ20のズームやパンを制御したり、監視カメラ20で撮像した画像を閲覧したりするためのカメラ制御端末10とを有している。カメラ制御端末10には、カメラ制御端末10が出力する画像データを表示する液晶モニタやプロジェクタなどの画像表示装置40が接続されている。説明を簡略化するため監視カメラ20が1台の例で説明するが、監視カメラ20が複数台あってもよいことはもちろんである。
[Monitoring system configuration]
A monitoring system using the camera control terminal 10 and the monitoring camera 20 will be described with reference to FIG. The monitoring system in FIG. 3 is an example of a monitoring system that monitors the inside of a store. The monitoring camera 20 for monitoring the inside of the store and the zooming and panning of the monitoring camera 20 are controlled or captured by the monitoring camera 20. And a camera control terminal 10 for viewing images. The camera control terminal 10 is connected to an image display device 40 such as a liquid crystal monitor or a projector that displays image data output from the camera control terminal 10. In order to simplify the description, an example in which there is one monitoring camera 20 will be described, but it goes without saying that there may be a plurality of monitoring cameras 20.

監視カメラ20は、店舗の内部を見渡せるよう、天井や壁面の高所などに取り付けられている。カメラ制御端末10は、監視カメラ20と同じ店舗の内部に設置したり、警備員室などに設置したり、遠隔地の警備会社に設置してもよい。   The monitoring camera 20 is attached to a ceiling or a high place on the wall surface so that the inside of the store can be looked at. The camera control terminal 10 may be installed in the same store as the monitoring camera 20, installed in a security room, or installed in a remote security company.

ネットワーク30はルーターやハブなどのネットワーク機器から構成されている。カメラ制御端末10と監視カメラ20とは、LAN(Local Area Network)ケーブルを介してネットワーク30と接続されており、ネットワーク30を介してカメラ制御端末10と監視カメラ20とが相互に通信を行う。なお、カメラ制御端末10と監視カメラ20との通信手段は、LANケーブルを介した通信に限らず、無線LANや携帯電話回線など他の通信手段であってもよい。   The network 30 includes network devices such as routers and hubs. The camera control terminal 10 and the monitoring camera 20 are connected to the network 30 via a LAN (Local Area Network) cable, and the camera control terminal 10 and the monitoring camera 20 communicate with each other via the network 30. Note that the communication means between the camera control terminal 10 and the monitoring camera 20 is not limited to communication via a LAN cable, but may be other communication means such as a wireless LAN or a mobile phone line.

[出力画像の生成方法の第1実施例]
カメラ制御端末10の画像処理部109と合成処理部106による出力画像の生成方法の第1実施例について、図4のフローチャートに基づき説明する。
[First Example of Output Image Generation Method]
A first embodiment of an output image generation method by the image processing unit 109 and the composition processing unit 106 of the camera control terminal 10 will be described with reference to the flowchart of FIG.

画像処理部109は、記憶部105から台形のテンプレート501を読み出し、読み出した台形のテンプレート501を用いて撮像画像502に対する第1の画像処理を行う(ステップS401)。
[第1の画像処理の第1の例]
ステップS401の第1の画像処理の第1の例として、撮像画像を縮小し、上辺が長く下辺が短い台形となるよう、読み出したテンプレートに応じて変形させる画像処理を説明する。図5は第1の画像処理の例を示す模式図である。図5において、第1の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501aである。テンプレート501aは、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。また、通信処理部101が受信した撮像画像の例が撮像画像502である。
The image processing unit 109 reads the trapezoidal template 501 from the storage unit 105, and performs first image processing on the captured image 502 using the read trapezoidal template 501 (step S401).
[First example of first image processing]
As a first example of the first image processing in step S401, image processing will be described in which a captured image is reduced and deformed according to the read template so that the upper side is long and the lower side is a trapezoid. FIG. 5 is a schematic diagram showing an example of the first image processing. In FIG. 5, an example of a trapezoidal template stored in the storage unit 105 in the first example is a template 501a. The template 501a has an upper base and a lower base that are parallel to each other, and is an isosceles trapezoid having a long upper base and a short lower base. An example of a captured image received by the communication processing unit 101 is a captured image 502.

画像処理部109は第1の画像処理として、撮像画像502の高さをテンプレート501aの高さにあわせて縮小した縮小画像503を生成する。そしてアフィン変換などの処理により、テンプレート501aの形状にあわせて、上底が長く下底が短い台形形状となるよう縮小画像503を変形させる画像処理を行って、サムネイル画像504aを生成する(ステップS401)。   As the first image processing, the image processing unit 109 generates a reduced image 503 in which the height of the captured image 502 is reduced in accordance with the height of the template 501a. Then, by processing such as affine transformation, image processing is performed to deform the reduced image 503 so as to have a trapezoidal shape with a long upper base and a short lower base according to the shape of the template 501a, thereby generating a thumbnail image 504a (step S401). ).

サムネイル画像504aは撮像画像そのものを台形に変形させているので、後述のように地図上に合成すれば、撮像画像の上部が手前に浮き上がってみえやすく、撮像画像の上部が手前にあることを直感的に把握することができる。
[第1の画像処理の第2の例]
第1の画像処理の第2の例として、撮像画像を、上底が長く下底が短い台形形状となるよう切り取ってもよい。第2の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501bである。テンプレート501bはテンプレート501aと同じく、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。テンプレート501bは、テンプレート501aに比べ横幅を狭くしている。
Since the thumbnail image 504a deforms the captured image itself into a trapezoidal shape, if it is synthesized on a map as will be described later, it is easy to see that the upper part of the captured image is lifted to the front and the upper part of the captured image is in front. Can be grasped.
[Second example of first image processing]
As a second example of the first image processing, the captured image may be cut out to have a trapezoidal shape with a long upper base and a short lower bottom. An example of a trapezoidal template stored in the storage unit 105 in the second example is a template 501b. Similar to the template 501a, the template 501b has an upper base and a lower base that are parallel to each other, and is an isosceles trapezoid having a long upper base and a short lower base. The template 501b has a narrower width than the template 501a.

画像処理部109は第1の画像処理として、撮像画像502の高さをテンプレート501bの高さにあわせて縮小した縮小画像503を生成する。そしてテンプレート501bの形状にあわせて、縮小画像503の左右の下部を切り取る画像処理を行ってサムネイル画像504bを生成する(ステップS401)。   As the first image processing, the image processing unit 109 generates a reduced image 503 in which the height of the captured image 502 is reduced in accordance with the height of the template 501b. Then, in accordance with the shape of the template 501b, the left and right lower parts of the reduced image 503 are subjected to image processing to generate a thumbnail image 504b (step S401).

サムネイル画像504aのように撮像画像そのものを台形に変形させたほうがより直感的な把握をしやすいが、サムネイル画像504bのように撮像画像を切り取ったほうが撮像画像がひずむことがなく、また計算の負荷が軽いという効果がある。   It is easier to understand intuitively if the captured image itself is transformed into a trapezoid like the thumbnail image 504a, but if the captured image is cut like the thumbnail image 504b, the captured image is not distorted and the calculation load is reduced. Is effective.

[第1の画像処理の第3の例]
第1の画像処理の第3の例として、撮像画像に、上底が長く下底が短い台形形状の枠を付加してもよい。第3の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501cである。テンプレート501cはテンプレート501aと同じく、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。テンプレート501cは、テンプレート501aに比べ横幅を広くしている。
[Third example of first image processing]
As a third example of the first image processing, a trapezoidal frame having a long upper base and a short lower base may be added to the captured image. An example of a trapezoidal template stored in the storage unit 105 in the third example is a template 501c. Similar to the template 501a, the template 501c has an upper base and a lower base that are parallel to each other, and is an isosceles trapezoid having a long upper base and a short lower base. The template 501c has a wider width than the template 501a.

画像処理部109は第1の画像処理として、撮像画像502の高さをテンプレート501cの高さにあわせて縮小した縮小画像503を生成する。そしてテンプレート501cの形状の枠を作成し、縮小画像503の背面に付加する画像処理を行ってサムネイル画像504cを生成する(ステップS401)。   As the first image processing, the image processing unit 109 generates a reduced image 503 in which the height of the captured image 502 is reduced in accordance with the height of the template 501c. Then, a frame having the shape of the template 501c is created, and image processing added to the back of the reduced image 503 is performed to generate a thumbnail image 504c (step S401).

サムネイル画像504aのように撮像画像そのものを台形に変形させたほうがより直感的な把握がしやすいが、サムネイル画像504cのように撮像画像に枠を付加するほうが撮像画像がひずむことがなく、また計算の負荷が軽いという効果がある。   It is easier to grasp the captured image more intuitively by transforming the captured image itself into a trapezoid like the thumbnail image 504a. However, adding a frame to the captured image as in the thumbnail image 504c does not distort the captured image. There is an effect that the load of is light.

[第1の画像処理の第4の例]
第1の画像処理の第4の例として、撮像画像に隣接させて、上底が長く下底が短い台形形状の台形アイコンを付加してもよい。第4の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501dである。テンプレート501dはテンプレート501aと同じく、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。テンプレート501dは、テンプレート501aに比べ上底と下底との間隔を狭くしている。
[Fourth example of first image processing]
As a fourth example of the first image processing, a trapezoidal trapezoid icon having a long upper base and a short lower bottom may be added adjacent to the captured image. An example of a trapezoidal template stored in the storage unit 105 in the fourth example is a template 501d. Similar to the template 501a, the template 501d has an upper base and a lower base that are parallel to each other, and is an isosceles trapezoid having a long upper base and a short lower base. The template 501d has a narrower gap between the upper base and the lower base than the template 501a.

画像処理部109は第1の画像処理として、撮像画像502の幅をテンプレート501dの上底の長さにあわせて縮小した縮小画像503を生成する。そしてテンプレート501dを台形アイコンとして、縮小画像503の下側に隣接するように合成する画像処理を行ってサムネイル画像を生成する(ステップS401)。台形のアイコンは縮小画像503と接してもよいし、わずかに離間して近接させてもよい。台形のアイコンは縮小画像の下部でなく、たとえば上部に付加してもよい。縮小画像503の下部に隣接させて台形のアイコンを付加した例がサムネイル画像504d、縮小画像503の上部に隣接させて台形のアイコンを付加した例がサムネイル画像504eである。   As the first image processing, the image processing unit 109 generates a reduced image 503 in which the width of the captured image 502 is reduced in accordance with the length of the upper base of the template 501d. Then, the template 501d is used as a trapezoid icon, and image processing is performed so as to be adjacent to the lower side of the reduced image 503 to generate a thumbnail image (step S401). The trapezoidal icon may be in contact with the reduced image 503 or may be close to each other with a slight separation. The trapezoid icon may be added to the upper portion of the reduced image, for example, at the upper portion. An example in which a trapezoid icon is added adjacent to the lower part of the reduced image 503 is a thumbnail image 504d, and an example in which a trapezoid icon is added adjacent to the upper part of the reduced image 503 is a thumbnail image 504e.

サムネイル画像504aのように撮像画像そのものを台形に変形させたほうが直感的な把握がしやすいが、サムネイル画像504dのように撮像画像に台形アイコンを付加するほうが撮像画像がひずむことがなく、また計算の負荷が軽いという効果がある。   It is easier to grasp intuitively if the captured image itself is transformed into a trapezoid like the thumbnail image 504a, but adding a trapezoid icon to the captured image like the thumbnail image 504d does not distort the captured image. There is an effect that the load of is light.

[第2の画像処理]
画像処理部109は、画像角度データを用いて、第1の例から第4の例のように第1の画像処理を施されたサムネイル画像504を、画像角度データθだけ回転させる第2の画像処理を行う(ステップS402)。監視カメラ20の撮像方向が地図上で上向きのときに画像角度データが0°となるよう、記憶部105は、あらかじめパンデータに対するオフセット値θoffを記憶しており、画像処理部109は監視カメラ20から送られたパンデータにオフセット値θoffを加算した画像角度データを用いて、サムネイル画像504を回転させるものとする。サムネイル画像504aに第2の画像処理を行って回転させた例がサムネイル画像505である。
[合成処理]
合成処理部106はまず背景作成処理として、記憶部105が記憶する地図データを読み出し、背景として描画する(ステップS403)。
[Second image processing]
The image processing unit 109 uses the image angle data to rotate the thumbnail image 504 that has been subjected to the first image processing as in the first to fourth examples by a second image angle data θ. Processing is performed (step S402). The storage unit 105 stores an offset value θoff for pan data in advance so that the image angle data becomes 0 ° when the imaging direction of the monitoring camera 20 is upward on the map, and the image processing unit 109 stores the monitoring camera 20. It is assumed that the thumbnail image 504 is rotated using image angle data obtained by adding the offset value θoff to the pan data sent from. An example in which the thumbnail image 504a is rotated by performing the second image processing is a thumbnail image 505.
[Composition process]
First, as a background creation process, the composition processing unit 106 reads the map data stored in the storage unit 105 and draws it as a background (step S403).

次に合成処理部106は撮像画像合成処理として、カメラ位置データを記憶部105から読み出し、画像処理部109から送られたサムネイル画像505を、その中心がカメラ位置データと一致するようにして、背景に合成する(ステップS404)。これにより、地図上の、カメラの設置されている位置に、撮像方向側に長い上辺が向くような配置で、サムネイル画像を合成した出力画像が生成される。合成処理部106は、生成した出力画像データを出力部107へ送る。
[出力処理]
出力部107は、合成処理部106が生成した出力画像データを出力する(ステップS405)。出力部107から出力された出力画像データは、液晶モニタやプロジェクタなどの画像表示装置40に送られ、出力画像が画像表示装置40に表示される。
Next, as a captured image composition process, the composition processing unit 106 reads the camera position data from the storage unit 105, and selects the thumbnail image 505 sent from the image processing unit 109 so that the center of the thumbnail image 505 matches the camera position data. (Step S404). As a result, an output image is generated by combining the thumbnail images in such an arrangement that the long upper side faces the imaging direction side at the position where the camera is installed on the map. The composition processing unit 106 sends the generated output image data to the output unit 107.
[Output processing]
The output unit 107 outputs the output image data generated by the synthesis processing unit 106 (step S405). The output image data output from the output unit 107 is sent to the image display device 40 such as a liquid crystal monitor or a projector, and the output image is displayed on the image display device 40.

このようにして出力された出力画像の例を図6に示す。図6は店舗に設置された監視システムにおけるカメラ制御端末10の出力画像の例であり、第1の例であるサムネイル画像505の態様で生成したサムネイル画像62を、地図61上に合成する例を示している。地図61上のそれぞれ対応するカメラの位置に、複数のサムネイル画像62が、サムネイル画像62の上側を対応するカメラの撮像方向に向けて、合成されている。一般に上底が長い台形を見ると、上底が手前に浮き上がっているように感じられるので、サムネイル画像62の上側が地図の平面に対して手前に浮き上がる方向であることを直感的に把握することができる。   An example of the output image output in this way is shown in FIG. FIG. 6 is an example of an output image of the camera control terminal 10 in the monitoring system installed in the store, and an example in which the thumbnail image 62 generated in the form of the thumbnail image 505 as the first example is combined on the map 61. Show. A plurality of thumbnail images 62 are combined at the positions of the corresponding cameras on the map 61 with the upper side of the thumbnail images 62 facing the imaging direction of the corresponding camera. In general, if you look at a trapezoid with a long upper base, it will feel as if the upper base is raised toward you, so you can intuitively understand that the upper side of the thumbnail image 62 is in the direction that is raised toward you toward the plane of the map. Can do.

本実施例のカメラ制御端末10は、撮像画像を上側が長い上底となる台形形状に変形させるとともに、撮像方向に合わせて回転させたサムネイル画像を生成して、地図上に合成した出力画像を出力するので、オペレーターは画像表示装置に表示された画像を見れば、直感的にサムネイル画像とマップとの方向の関係を把握することができる。
[出力画像の生成方法の第2実施例]
本実施形態のカメラ制御端末10の画像処理部109と合成処理部106による出力画像の生成方法の第2実施例について、図7のフローチャートに基づき説明する。また図8に、第2実施例における合成処理の例を示す。第2実施例では、画像処理部109の第1の画像処理(ステップS401)、第2の画像処理(ステップS402)と、合成処理部106の背景作成処理(ステップS403)とは第1実施例と同じである。図7において、これら同じ処理については図4に示した第1実施例のフローチャートと同じ番号を用いて、詳細な説明は省略する。
The camera control terminal 10 according to the present embodiment transforms the captured image into a trapezoidal shape having an upper top with a long upper side, generates a thumbnail image rotated in accordance with the imaging direction, and outputs the synthesized image on the map. Since the output is performed, the operator can intuitively grasp the relationship between the direction of the thumbnail image and the map by looking at the image displayed on the image display device.
[Second Embodiment of Output Image Generation Method]
A second example of the output image generation method performed by the image processing unit 109 and the composition processing unit 106 of the camera control terminal 10 according to the present embodiment will be described with reference to the flowchart of FIG. FIG. 8 shows an example of the synthesis process in the second embodiment. In the second embodiment, the first image processing (step S401), the second image processing (step S402) of the image processing unit 109, and the background creation processing (step S403) of the composition processing unit 106 are the first embodiment. Is the same. In FIG. 7, the same processes as those in the flowchart of the first embodiment shown in FIG.

第1実施例と同様、画像処理部109は第1の画像処理(ステップS401)、第2の画像処理を行い(ステップS402)、合成処理部106は、背景作成処理を行う(ステップS403)。   Similar to the first embodiment, the image processing unit 109 performs first image processing (step S401) and second image processing (step S402), and the composition processing unit 106 performs background generation processing (step S403).

合成処理部106は、次にカメラアイコン合成処理として、記憶部105が記憶するカメラアイコンデータとカメラ位置データとを読み出し、カメラ位置データに応じた地図上のカメラの位置に、カメラアイコンデータに応じたカメラアイコン801を合成する(ステップS701)。   Next, as a camera icon composition process, the composition processing unit 106 reads the camera icon data and the camera position data stored in the storage unit 105, and responds to the camera position on the map according to the camera position data according to the camera icon data. The camera icons 801 are combined (step S701).

そして、合成処理部106は、地図上のカメラの設置されている位置から、撮像方向に所定の距離だけ離れた位置に、撮像方向側が長い上底となるような配置で、サムネイル画像505を合成した出力画像を生成する(ステップS702)。このときの、カメラアイコン801に対してサムネイル画像505を合成する例を図8に示す。カメラアイコン801の中心座標を(X1、Y1)、画像角度データをθ、カメラアイコン801の中心点と合成するサムネイル画像505の中心点との距離をDとしたとき、合成処理部106は、合成するサムネイル画像505の中心点の座標を、(X1+D × sinθ、Y1+D × cosθ)として背景に合成を行って、出力画像を生成する。Dは所定の距離とする。合成処理部106は、このようにして生成した出力画像を出力部107へ送る。   Then, the composition processing unit 106 synthesizes the thumbnail image 505 in an arrangement in which the imaging direction side has a long upper base at a position away from the position where the camera is installed on the map by a predetermined distance in the imaging direction. The output image thus generated is generated (step S702). An example in which the thumbnail image 505 is combined with the camera icon 801 at this time is shown in FIG. When the center coordinate of the camera icon 801 is (X1, Y1), the image angle data is θ, and the distance between the center point of the camera icon 801 and the center point of the thumbnail image 505 to be combined is D, the combining processing unit 106 The coordinates of the center point of the thumbnail image 505 to be performed are combined with the background as (X1 + D × sin θ, Y1 + D × cos θ) to generate an output image. D is a predetermined distance. The composition processing unit 106 sends the output image generated in this way to the output unit 107.

出力部107は、合成処理部106で生成した出力画像データを出力する(ステップS405)。   The output unit 107 outputs the output image data generated by the synthesis processing unit 106 (step S405).

図9は店舗に設置された監視システムにおける第2実施例の出力画像の例である。図9において、91は地図、92はカメラアイコン、93はサムネイル画像である。地図91の上の複数のカメラの位置に応じて複数のカメラアイコン92が合成され、図8の例にしたがってカメラアイコン92に対応する複数のサムネイル画像93がそれぞれ合成されている。   FIG. 9 is an example of an output image of the second embodiment in the monitoring system installed in the store. In FIG. 9, 91 is a map, 92 is a camera icon, and 93 is a thumbnail image. A plurality of camera icons 92 are combined according to the positions of the plurality of cameras on the map 91, and a plurality of thumbnail images 93 corresponding to the camera icons 92 are respectively combined according to the example of FIG.

なお、サムネイル画像93がカメラアイコン92に対応したものであることを示すため、サムネイル画像93の外形とカメラアイコン92とを線で結んだり、中心同士を線で結んだりして、サムネイル画像93とカメラアイコン92とを画面上で連結させて表現することも好適である。また、カメラアイコン92の方向は、固定としてもよいしパン方向にあわせて回転させてもよい。このほか、ズームレンズの焦点距離に応じて距離Dを変更したり、ズームレンズの焦点距離に応じてサムネイル画像93の大きさを拡大縮小したり、サムネイル画像93の表示の態様を適宜変更してもよい。   In order to indicate that the thumbnail image 93 corresponds to the camera icon 92, the thumbnail image 93 and the camera icon 92 are connected by a line, or the centers are connected by a line, It is also preferable to represent the camera icon 92 by connecting it on the screen. Further, the direction of the camera icon 92 may be fixed or rotated in accordance with the pan direction. In addition, the distance D is changed according to the focal length of the zoom lens, the size of the thumbnail image 93 is enlarged / reduced according to the focal length of the zoom lens, and the display mode of the thumbnail image 93 is appropriately changed. Also good.

図9に示す第2実施例の出力画像を図6に示す第1実施例の出力画像と比較すると、第2実施例の出力画像では、地図上にカメラアイコンが合成され、合成されたカメラアイコンの撮像方向に所定の距離だけ離れた位置にサムネイル画像が合成される。そのため、サムネイル画像の上側が地図の平面に対して手前に浮きあがる方向であることが直感的に把握することができるのに加え、撮像方向を直感的に把握することができる。   When the output image of the second embodiment shown in FIG. 9 is compared with the output image of the first embodiment shown in FIG. 6, in the output image of the second embodiment, camera icons are combined on the map, and the combined camera icon is displayed. A thumbnail image is synthesized at a position separated by a predetermined distance in the imaging direction. Therefore, in addition to being able to intuitively grasp that the upper side of the thumbnail image is the direction that floats toward the front of the map, it is possible to intuitively grasp the imaging direction.

なお、本実施形態におけるカメラ制御端末の構成は、ハードウェア的には、任意のコンピューターのCPU、メモリ、その他のLSIで実現でき、ソフトウェア的にメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。   The configuration of the camera control terminal in the present embodiment can be realized in hardware by a CPU, memory, or other LSI of an arbitrary computer, and is realized by a program loaded in the memory as software. Here, functional blocks realized by the cooperation are depicted. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.

10 カメラ制御端末
20 監視カメラ
30 ネットワーク
40 画像表示装置
101 通信処理部
102 復号処理部
103 ズームデータ処理部
104 パンデータ処理部
105 記憶部
106 合成処理部
107 出力部
108 操作部
109 画像処理部
DESCRIPTION OF SYMBOLS 10 Camera control terminal 20 Surveillance camera 30 Network 40 Image display apparatus 101 Communication processing part 102 Decoding processing part 103 Zoom data processing part 104 Pan data processing part 105 Storage part 106 Composition processing part 107 Output part 108 Operation part 109 Image processing part

Claims (8)

カメラで撮像した撮像画像の撮像画像データを受信する受信部と、
前記カメラが設置されている領域の地図を示す地図データと、前記カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データと、前記カメラの撮像方向の水平方向の角度を示す角度データとを記憶する記憶部と、
前記撮像画像に対して前記記憶部に記憶された前記台形データを用いた第1の画像処理を行い、前記第1の画像処理を行った撮像画像を前記記憶部に記憶された前記角度データに応じて回転させる第2の画像処理を行う画像処理部と、
前記地図データに対し前記カメラ位置データに応じた位置に前記第2の画像処理が行われた撮像画像を合成して出力画像を生成する合成部と、
前記合成部が生成する出力画像を出力する出力部と
を備えることを特徴とする画像処理装置。
A receiving unit that receives captured image data of a captured image captured by the camera;
Map data indicating a map of an area where the camera is installed, camera position data indicating the position of the camera, trapezoid data indicating a trapezoidal shape with a long upper base and a short lower base, and the imaging direction of the camera A storage unit for storing angle data indicating a horizontal angle;
A first image processing using the trapezoidal data stored in the storage unit is performed on the captured image, and the captured image that has been subjected to the first image processing is used as the angle data stored in the storage unit. An image processing unit for performing second image processing to be rotated according to the
A combining unit that combines the captured image that has been subjected to the second image processing at a position corresponding to the camera position data with respect to the map data, and generates an output image;
An image processing apparatus comprising: an output unit that outputs an output image generated by the combining unit.
前記第1の画像処理は
前記記憶部に記憶された前記台形データを用いて前記撮像画像を上底が長く下底が短い台形形状に変換する画像処理であることを特徴とする請求項1に記載の画像処理装置。
2. The image processing according to claim 1, wherein the first image processing is image processing for converting the captured image into a trapezoidal shape having a long upper base and a short lower bottom using the trapezoidal data stored in the storage unit. The image processing apparatus described.
前記第1の画像処理は
前記記憶部に記憶された前記台形データを用いて前記撮像画像を上底が長く下底が短い台形形状に切り取る画像処理であることを特徴とする請求項1に記載の画像処理装置。
2. The image processing according to claim 1, wherein the first image processing is image processing in which the captured image is cut into a trapezoidal shape having a long upper base and a short lower bottom using the trapezoidal data stored in the storage unit. Image processing apparatus.
前記第1の画像処理は
前記記憶部に記憶された前記台形データを用いて前記撮像画像に上底が長く下底が短い台形形状の枠を付加する画像処理であることを特徴とする請求項1に記載の画像処理装置。
The first image processing is image processing in which a trapezoidal frame having a long upper base and a short lower base is added to the captured image using the trapezoidal data stored in the storage unit. The image processing apparatus according to 1.
前記第1の画像処理は
前記記憶部に記憶された前記台形データを用いて前記撮像画像に隣接させて上底が長く下底が短い台形形状の台形アイコンを付加する画像処理であることを特徴とする請求項1に記載の画像処理装置。
The first image processing is image processing in which a trapezoidal icon having a long upper base and a short lower base is added adjacent to the captured image using the trapezoid data stored in the storage unit. The image processing apparatus according to claim 1.
前記合成部は、
前記記憶部に記憶された前記アイコンデータと前記地図データと前記カメラ位置データとから前記地図上の前記カメラの位置に前記カメラアイコンを合成し、前記カメラアイコンを基準として前記角度データに応じた方向に所定の距離離間した位置に前記画像処理部で画像処理した撮像画像を合成して出力画像を生成する
ことを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。
The synthesis unit is
The camera icon is combined with the position of the camera on the map from the icon data, the map data, and the camera position data stored in the storage unit, and the direction according to the angle data based on the camera icon The image processing apparatus according to claim 1, wherein an output image is generated by synthesizing the captured images image-processed by the image processing unit at positions separated by a predetermined distance.
カメラで撮像した撮像画像の画像データを受信する受信ステップと、
前記カメラの撮像方向の水平方向の角度を示す角度データと、前記カメラが設置されている領域の地図を示す地図データと、前記カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶する記憶ステップと、
前記受信部が受信する撮像画像に対して前記記憶部に記憶された前記台形データを用いた第1の画像処理を行い、前記第1の画像処理を行った撮像画像を前記記憶部に記憶された前記角度データに応じて回転させる第2の画像処理を行う画像処理ステップと、
前記地図データに対し前記カメラ位置データに応じた位置に前記画像処理ステップで画像処理された前記撮像画像を合成して出力画像を生成する合成ステップと、
前記合成ステップで合成された出力画像を出力する出力ステップと
を含むことを特徴とする画像処理方法。
A receiving step for receiving image data of a captured image captured by the camera;
Angle data indicating a horizontal angle of the imaging direction of the camera, map data indicating a map of an area where the camera is installed, camera position data indicating the position of the camera, A storage step for storing trapezoidal data indicating the shape of a short trapezoid;
The captured image received by the receiving unit is subjected to first image processing using the trapezoidal data stored in the storage unit, and the captured image subjected to the first image processing is stored in the storage unit. An image processing step for performing a second image processing to be rotated according to the angle data;
A synthesizing step of synthesizing the captured image image-processed in the image processing step at a position corresponding to the camera position data with respect to the map data to generate an output image;
And an output step of outputting the output image combined in the combining step.
カメラと通信回線を介して接続され、前記カメラの撮像した撮像画像を出力するコンピューターに用いられる画像処理プログラムであって、
カメラで撮像した撮像画像の画像データを受信する受信機能と、
前記カメラの撮像方向の水平方向の角度を示す角度データと、前記カメラが設置されている領域の地図を示す地図データと、前記カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶部に記憶させる記憶機能と、
前記受信機能により受信された撮像画像に対して前記記憶部に記憶された前記台形データを用いた第1の画像処理を行い、前記第1の画像処理を行った撮像画像を前記記憶部に記憶された前記角度データに応じて回転させる第2の画像処理を行う画像処理機能と、
前記地図データに対し前記カメラ位置データに応じた位置に前記画像処理機能により画像処理された撮像画像を合成して出力画像を生成する合成機能と、
前記出力画像を出力する出力機能と
をコンピューターに実現させることを特徴とする画像処理プログラム。
An image processing program used in a computer connected to a camera via a communication line and outputting a captured image captured by the camera,
A receiving function for receiving image data of a captured image captured by the camera;
Angle data indicating a horizontal angle of the imaging direction of the camera, map data indicating a map of an area where the camera is installed, camera position data indicating the position of the camera, A storage function for storing the trapezoid data indicating the shape of the short trapezoid in the storage unit;
The captured image received by the reception function is subjected to first image processing using the trapezoidal data stored in the storage unit, and the captured image subjected to the first image processing is stored in the storage unit. An image processing function for performing second image processing to be rotated in accordance with the angle data,
A synthesis function for generating an output image by synthesizing the captured image image-processed by the image processing function at a position corresponding to the camera position data with respect to the map data;
An image processing program for causing a computer to realize an output function for outputting the output image.
JP2012091889A 2012-04-13 2012-04-13 Image processing device, image processing method, and image processing program Pending JP2013223012A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012091889A JP2013223012A (en) 2012-04-13 2012-04-13 Image processing device, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012091889A JP2013223012A (en) 2012-04-13 2012-04-13 Image processing device, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
JP2013223012A true JP2013223012A (en) 2013-10-28

Family

ID=49593723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012091889A Pending JP2013223012A (en) 2012-04-13 2012-04-13 Image processing device, image processing method, and image processing program

Country Status (1)

Country Link
JP (1) JP2013223012A (en)

Similar Documents

Publication Publication Date Title
RU2528566C2 (en) Control device, camera system and programme
CN111034181B (en) Image capturing apparatus, image display system, and operation method
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
WO2007055335A1 (en) Image processing device, image processing method, program thereof, and recording medium containing the program
JP2015018296A (en) Display controller, program, and recording medium
JP6622650B2 (en) Information processing apparatus, control method therefor, and imaging system
JP2012089954A (en) Conference system, monitoring system, image processing system, image processing method, and image processing program or the like
CN110572564B (en) Information processing apparatus, information processing method, and storage medium
US9723190B2 (en) Video surveillance method, device, and system
JP2015119338A (en) Control device, imaging system, control method, and program
JP5708051B2 (en) Video processing apparatus, video processing system, video conference system, remote monitoring system, video processing method, and imaging apparatus
JP2004128997A (en) Device, method and program for video remote control, and recording medium with the program recorded thereon
JP6938237B2 (en) Information processing equipment, information processing methods and programs
JPWO2015122052A1 (en) Image transmission device, information processing terminal, image transmission method, information processing method, program, and information storage medium
JP2014192745A (en) Imaging apparatus, information processing apparatus, control method and program thereof
US11928775B2 (en) Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
KR20170055455A (en) Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it
JP2013223012A (en) Image processing device, image processing method, and image processing program
CN116016950A (en) Method and system for transmitting video stream
JP2013030924A (en) Camera control device, camera control method, and camera control program
JP2012049781A (en) Remote control system, remote control method, bidirectional communication system and bidirectional communication method for imaging apparatus
JP5765279B2 (en) Camera control device, camera control method, and camera control program
JP6128966B2 (en) Image processing apparatus, image processing method, and program
JP5464290B2 (en) Control device, control method, and camera system
JP2013030923A (en) Image display device, image display method, and image display program