JP2013223012A - Image processing device, image processing method, and image processing program - Google Patents
Image processing device, image processing method, and image processing program Download PDFInfo
- Publication number
- JP2013223012A JP2013223012A JP2012091889A JP2012091889A JP2013223012A JP 2013223012 A JP2013223012 A JP 2013223012A JP 2012091889 A JP2012091889 A JP 2012091889A JP 2012091889 A JP2012091889 A JP 2012091889A JP 2013223012 A JP2013223012 A JP 2013223012A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- camera
- data
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、カメラで撮像した画像を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, and an image processing program for processing an image captured by a camera.
水平方向の回動(パン)により撮像方向を変更する雲台を備えた雲台付きカメラを制御して、広い監視場所を監視できるよう構成した監視システムが知られている。 There is known a monitoring system configured to control a camera with a pan head having a pan head that changes an imaging direction by rotating (panning) in a horizontal direction so as to monitor a wide monitoring place.
このような監視システムにおいて、監視領域を示す電子地図とカメラの位置を示すカメラアイコンとを画面に表示するとともに、カメラアイコンに対し撮像方位の方向に、撮像方位にあわせて回転させたサムネイル画像を表示する画像処理装置が提案されている(たとえば、特許文献1参照)。 In such a monitoring system, an electronic map indicating the monitoring area and a camera icon indicating the position of the camera are displayed on the screen, and a thumbnail image rotated in accordance with the imaging direction is displayed in the direction of the imaging direction with respect to the camera icon. An image processing apparatus for displaying has been proposed (see, for example, Patent Document 1).
特許文献1に記載の画像処理装置により、表示される画像の模式図を図10に示す。図10a)に示すサムネイル画像において、サムネイル画像の左右方向をAA’、上下方向をBB’方向とする。図10a)のサムネイル画像を地図上に合成した模式図を、図10b)に示す。地図における、AA’と同一方向をaa’、BB’と同一方向をbb’とする。図10b)からわかるように、従来の画像処理装置によれば、サムネイル画像の中の被写体の左右方向AA’は、地図上の方向aa’と一致するので、地図上での被写体の左右方向を容易に知ることができる。しかしながらサムネイル画像の中の被写体の上方向Bは、実際には地図の平面から垂直に浮き出る方向であり、地図上の方向bとは異なっている。このように従来の画像処理装置は、サムネイル画像と地図との方向の関係が直感的に把握しづらく、視覚上の混乱が生じる恐れがあるという問題があった。 A schematic diagram of an image displayed by the image processing apparatus described in Patent Document 1 is shown in FIG. In the thumbnail image shown in FIG. 10A), the left-right direction of the thumbnail image is AA ′, and the vertical direction is the BB ′ direction. FIG. 10b) shows a schematic diagram in which the thumbnail images of FIG. 10a) are synthesized on a map. In the map, the same direction as AA ′ is aa ′, and the same direction as BB ′ is bb ′. As can be seen from FIG. 10b), according to the conventional image processing apparatus, the left-right direction AA ′ of the subject in the thumbnail image matches the direction aa ′ on the map. It is easy to know. However, the upward direction B of the subject in the thumbnail image is actually a direction that protrudes vertically from the plane of the map, and is different from the direction b on the map. As described above, the conventional image processing apparatus has a problem in that it is difficult to intuitively understand the relationship between the direction of the thumbnail image and the map, and there is a risk of visual confusion.
そこで、本発明が解決しようとする課題は、直感的にサムネイル画像と地図との方向の関係を把握することのできる技術を提供することにある。 Therefore, the problem to be solved by the present invention is to provide a technique that can intuitively grasp the relationship between the direction of the thumbnail image and the map.
上記の課題を解決するために、本発明は以下の装置、方法、プログラムを提供するものである。
1)カメラで撮像した撮像画像の撮像画像データを受信する受信部(101)と、カメラが設置されている領域の地図を示す地図データと、カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データと、カメラの撮像方向の水平方向の角度を示す角度データとを記憶する記憶部(105)と、撮像画像に対して記憶部に記憶された台形データを用いた第1の画像処理を行い、第1の画像処理を行った撮像画像を記憶部に記憶された角度データに応じて回転させる第2の画像処理を行う画像処理部(109)と、地図データに対しカメラ位置データに応じた位置に第2の画像処理を行われた撮像画像を合成して出力画像を生成する合成部(106)と、合成部が生成する出力画像を出力する出力部(107)とを備えることを特徴とする画像処理装置。
2)第1の画像処理は記憶部に記憶された台形データを用いて撮像画像を上底が長く下底が短い台形形状に変換する画像処理であることを特徴とする1)に記載の画像処理装置。
3)第1の画像処理は記憶された台形データを用いて撮像画像を上底が長く下底が短い台形形状に切り取る画像処理であることを特徴とする1)に記載の画像処理装置。
4)第1の画像処理は記憶された台形データを用いて記憶された台形データを用いて撮像画像に上底が長く下底が短い台形形状の枠を付加する画像処理であることを特徴とする1)に記載の画像処理装置。
5)第1の画像処理は記憶された台形データを用いて撮像画像に隣接させて上底が長く下底が短い台形形状の台形アイコンを付加する画像処理であることを特徴とする1)に記載の画像処理装置。
6)合成部は、記憶部が記憶するアイコンデータと地図データとカメラ位置データとから地図上のカメラの位置にカメラアイコンを合成し、カメラアイコンを基準として角度データに応じた方向に所定の距離離間した位置に画像処理部で画像処理した撮像画像を合成して出力画像を生成することを特徴とする1)から5)のいずれか一項に記載の画像処理装置。
7)カメラで撮像した撮像画像の画像データを受信する受信ステップと、カメラの撮像方向の水平方向の角度を示す角度データと、カメラが設置されている領域の地図を示す地図データと、カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶する記憶ステップと、受信部が受信する撮像画像に対して記憶部ステップで記憶された台形データを用いた第1の画像処理を行い(ステップS401)、第1の画像処理を行った撮像画像を記憶ステップで記憶された角度データに応じて回転させる第2の画像処理を行う(ステップS402)画像処理ステップと、地図データに対しカメラ位置データに応じた位置に画像処理ステップで画像処理された撮像画像を合成して出力画像を生成する合成ステップ(ステップS403)と、合成ステップで合成された出力画像を出力する出力ステップ(ステップS405)とを含むことを特徴とする画像処理方法。
8)カメラと通信回線を介して接続され、カメラの撮像した撮像画像を出力するコンピューターに用いられる画像処理プログラムであって、カメラで撮像した撮像画像の画像データを受信する受信機能と、カメラの撮像方向の水平方向の角度を示す角度データと、カメラが設置されている領域の地図を示す地図データと、カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶部に記憶させる記憶機能と、受信機能により受信された撮像画像に対して記憶部に記憶された台形データを用いた第1の画像処理を行い、第1の画像処理を行った撮像画像を記憶部が記憶する角度データに応じて回転させる第2の画像処理を行う画像処理機能と、地図データに対しカメラ位置データに応じた位置に画像処理機能により画像処理された撮像画像を合成して出力画像を生成する合成機能と、出力画像を出力する出力機能とをコンピューターに実現させることを特徴とする画像処理プログラム。
In order to solve the above problems, the present invention provides the following apparatus, method, and program.
1) A receiving unit (101) that receives captured image data of a captured image captured by a camera, map data indicating a map of an area where the camera is installed, camera position data indicating a camera position, and an upper base A storage unit (105) for storing trapezoidal data indicating a trapezoidal shape having a long bottom and a short bottom, and angle data indicating a horizontal angle of the imaging direction of the camera, and a trapezoid stored in the storage unit for the captured image An image processing unit (109) that performs first image processing using data and performs second image processing for rotating the captured image that has been subjected to the first image processing in accordance with the angle data stored in the storage unit; Synthesizes the captured image that has been subjected to the second image processing with respect to the map data at a position corresponding to the camera position data to generate an output image, and outputs an output image generated by the combining unit Output unit (107) The image processing apparatus comprising: a.
2) The first image processing is image processing according to 1), wherein the captured image is converted into a trapezoidal shape having a long upper base and a short lower base using the trapezoidal data stored in the storage unit. Processing equipment.
3) The image processing apparatus according to 1), wherein the first image processing is image processing in which a captured image is cut into a trapezoidal shape having a long upper base and a short lower base using stored trapezoidal data.
4) The first image processing is image processing in which a trapezoidal frame having a long upper base and a short lower base is added to a captured image using trapezoidal data stored using the stored trapezoidal data. The image processing apparatus according to 1).
5) The first image processing is 1) characterized in that a trapezoidal icon having a long upper base and a short lower base is added adjacent to the captured image using the stored trapezoidal data. The image processing apparatus described.
6) The synthesizing unit synthesizes the camera icon at the position of the camera on the map from the icon data stored in the storage unit, the map data, and the camera position data, and a predetermined distance in the direction according to the angle data with the camera icon as a reference The image processing apparatus according to any one of 1) to 5), wherein an output image is generated by synthesizing the captured images image-processed by the image processing unit at spaced positions.
7) A reception step of receiving image data of a captured image captured by the camera, angle data indicating a horizontal angle of a camera imaging direction, map data indicating a map of an area where the camera is installed, A storage step for storing camera position data indicating a position and a trapezoidal data indicating a trapezoidal shape having a long upper base and a short lower base, and trapezoid data stored in the storage unit step with respect to the captured image received by the receiving unit Is performed (step S401), and the second image processing is performed to rotate the captured image subjected to the first image processing in accordance with the angle data stored in the storing step (step S402). An image processing step and a combining step for generating an output image by combining the captured image image-processed in the image processing step at a position corresponding to the camera position data with respect to the map data. Flop (step S403), the image processing method characterized by comprising an output step (step S405) for outputting an output image synthesized in the synthesis step.
8) An image processing program connected to the camera via a communication line and used for a computer that outputs a captured image captured by the camera, a reception function for receiving image data of the captured image captured by the camera, Angle data indicating the horizontal angle of the imaging direction, map data indicating a map of the area where the camera is installed, camera position data indicating the position of the camera, and a trapezoidal shape with a long upper base and a short lower base Storage function for storing the trapezoidal data shown in the storage unit, and first image processing using the trapezoidal data stored in the storage unit is performed on the captured image received by the reception function, and the first image processing is performed. An image processing function for performing the second image processing for rotating the captured image that is performed according to the angle data stored in the storage unit, and an image at a position corresponding to the camera position data with respect to the map data Image processing program, wherein the synthetic function of generating an output image by combining the captured images to image processing by the management functions, that is implemented in the computer and an output function for outputting an output image.
本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、直感的にサムネイル画像と地図との方向の関係を把握することができる。 According to the image processing apparatus, the image processing method, and the image processing program of the present invention, it is possible to intuitively grasp the relationship between the direction of the thumbnail image and the map.
以下、本発明の画像処理装置の一実施形態であるカメラ制御端末について、添付図面を参照して説明する。
[カメラ制御端末の構成]
本発明の一実施形態のカメラ制御端末10について、図1に基づき説明する。図1はカメラ制御端末10のブロック構成図である。カメラ制御端末10は、たとえば汎用のパーソナルコンピューターに制御用のアプリケーションソフトウェアをインストールしたものであり、後述の監視カメラ20の撮像画像を閲覧したり監視カメラ20を制御する端末である。
Hereinafter, a camera control terminal which is an embodiment of an image processing apparatus of the present invention will be described with reference to the accompanying drawings.
[Camera control terminal configuration]
A
カメラ制御端末10において、通信処理部101は、監視カメラ20から送られる撮像画像データ、ズームデータ、パンデータを受信する。通信処理部101はまた、監視カメラ20へパン指示データ、ズーム指示データを送信する。このように通信処理部101は、本実施形態における受信部の一態様であるとともに送信部の一態様である。
In the
復号処理部102は、通信処理部101で受信した、JPEGやMPEG−4などの規格でディジタル画像圧縮された撮像画像データを復号し、画像処理部109へ送る。
The
パンデータ処理部104は、通信処理部101を通して、監視カメラ20からパンデータを取得して、記憶部105へ送る。パンデータ処理部104はまた、操作部108からの入力と記憶部105のデータとから、パン方向を変更するためのパン指示データを算出し、通信処理部101へ送る。
The pan
ズームデータ処理部103は、通信処理部101を通して取得したズームデータを、記憶部105へ送る。ズームデータ処理部103はまた、操作部108からの入力と記憶部105のデータとから、ズームレンズ208の焦点距離を変更するためのズーム指示データを算出し、通信処理部101へ送る。
The zoom
記憶部105は半導体メモリやハードディスクドライブなどで構成されており、あらかじめ地図データと、カメラ位置データと、台形データとを記憶している。地図データとは、監視カメラ20が設置され、監視を行っている店舗などの領域全体を示す地図のデータである。カメラ位置データとは、地図上の監視カメラ20の位置を示すデータである。台形データとは、台形の形状を示すデータであり、本実施の形態では上底が長く下底が短い台形のテンプレートである。
The
記憶部105はさらに、パンデータ処理部104から送られたパンデータと、ズームデータ処理部103から送られたズームデータとを記憶する。記憶部105はこれらの記憶したデータを、必要に応じて提供する。
The
画像処理部109は、復号処理部102で復号処理を行った撮像画像データと、記憶部105に記憶されているデータとを用いて、撮像画像データに対して画像処理を行う。画像処理の詳細は後述する。
The
合成処理部106は、画像処理部109で処理を行った撮像画像データと、記憶部105に記憶されている地図データと、カメラの位置データとを用いて、出力画像データを合成する。出力画像データの合成方法の詳細は後述する。
The
出力部107は、合成処理部106で合成した出力画像データを出力する。出力部107には、液晶モニタやプロジェクタなどの画像表示装置40が接続されているので、出力部107が出力した出力画像データが画像表示装置40に表示される。
The
操作部108はマウスやタッチパネル、キーボードなどで構成されており、オペレーターが画像表示装置40に表示された出力画像データをみながら操作部108を操作して、種々の指示を行う。
The
たとえば、出力画像にパン制御ボタン、ズーム制御ボタンなどの制御ボタンを合成し、オペレーターが操作部108でこれらの制御ボタンを選択すると、パンデータ処理部104がパン方向を変更するためのパン指示データを算出して通信処理部101へ送ったり、ズームデータ処理部103がズームレンズの焦点距離を変更するためのズーム指示データを算出して通信処理部101へ送る。
[監視カメラの構成]
図2は、カメラ制御端末10で制御する監視カメラ20のブロック構成図の例である。本実施形態における監視カメラ20はネットワークカメラであり、撮像した画像をネットワークを介して送信したり、ネットワークを介して受信した制御信号にしたがって撮像方向を変更したりする。
For example, when control buttons such as a pan control button and a zoom control button are combined with the output image, and the operator selects these control buttons with the
[Configuration of surveillance camera]
FIG. 2 is an example of a block configuration diagram of the
撮像部201は、周囲の被写体を撮像し、撮像した画像を圧縮部202へ送る。圧縮部202は、撮像部201で撮像した画像を、たとえばJPEG(Joint Picture Expert Group)やMPEG(Moving Picture Expert Group)−4などの規格でディジタル画像圧縮し、通信部203へ送る。
The
パン角度センサー206は、現在の撮像部201の撮像方向の水平方向の角度を、パンデータとして出力する。ズームセンサー209は、現在のズームレンズ208の焦点距離を示すデータを、ズームデータとして出力する。
The
通信部203は、要求に応じて、圧縮部202で圧縮された撮像画像データと、パンデータと、ズームデータとを、カメラ制御端末10へ送信する。通信部203はまた、カメラ制御端末10から送信されるパン指示データ、ズーム指示データを受信して、制御部204へ送る。
The
制御部204は、通信部203が受信したパン指示データ、ズーム指示データに基づき、雲台駆動部205にパンをさせるための制御信号を送ったり、ズームレンズ駆動部207へズームレンズ208を駆動するための制御信号を送ったりする。
Based on the pan instruction data and zoom instruction data received by the
雲台駆動部205は、制御部204から送られる制御信号にしたがって、撮像部201をパンさせて、撮像方向を変更する。
The pan / tilt
ズームレンズ駆動部207は、制御部204から送られる制御信号にしたがって、ズームレンズ208を駆動してズームレンズ208の焦点距離を変更する。
The zoom
[監視システムの構成]
カメラ制御端末10と監視カメラ20とを用いた監視システムについて、図3に基づき説明する。図3の監視システムは店舗の内部を監視する監視システムの例であり、店舗の内部を監視するための監視カメラ20と、監視カメラ20のズームやパンを制御したり、監視カメラ20で撮像した画像を閲覧したりするためのカメラ制御端末10とを有している。カメラ制御端末10には、カメラ制御端末10が出力する画像データを表示する液晶モニタやプロジェクタなどの画像表示装置40が接続されている。説明を簡略化するため監視カメラ20が1台の例で説明するが、監視カメラ20が複数台あってもよいことはもちろんである。
[Monitoring system configuration]
A monitoring system using the
監視カメラ20は、店舗の内部を見渡せるよう、天井や壁面の高所などに取り付けられている。カメラ制御端末10は、監視カメラ20と同じ店舗の内部に設置したり、警備員室などに設置したり、遠隔地の警備会社に設置してもよい。
The monitoring
ネットワーク30はルーターやハブなどのネットワーク機器から構成されている。カメラ制御端末10と監視カメラ20とは、LAN(Local Area Network)ケーブルを介してネットワーク30と接続されており、ネットワーク30を介してカメラ制御端末10と監視カメラ20とが相互に通信を行う。なお、カメラ制御端末10と監視カメラ20との通信手段は、LANケーブルを介した通信に限らず、無線LANや携帯電話回線など他の通信手段であってもよい。
The
[出力画像の生成方法の第1実施例]
カメラ制御端末10の画像処理部109と合成処理部106による出力画像の生成方法の第1実施例について、図4のフローチャートに基づき説明する。
[First Example of Output Image Generation Method]
A first embodiment of an output image generation method by the
画像処理部109は、記憶部105から台形のテンプレート501を読み出し、読み出した台形のテンプレート501を用いて撮像画像502に対する第1の画像処理を行う(ステップS401)。
[第1の画像処理の第1の例]
ステップS401の第1の画像処理の第1の例として、撮像画像を縮小し、上辺が長く下辺が短い台形となるよう、読み出したテンプレートに応じて変形させる画像処理を説明する。図5は第1の画像処理の例を示す模式図である。図5において、第1の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501aである。テンプレート501aは、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。また、通信処理部101が受信した撮像画像の例が撮像画像502である。
The
[First example of first image processing]
As a first example of the first image processing in step S401, image processing will be described in which a captured image is reduced and deformed according to the read template so that the upper side is long and the lower side is a trapezoid. FIG. 5 is a schematic diagram showing an example of the first image processing. In FIG. 5, an example of a trapezoidal template stored in the
画像処理部109は第1の画像処理として、撮像画像502の高さをテンプレート501aの高さにあわせて縮小した縮小画像503を生成する。そしてアフィン変換などの処理により、テンプレート501aの形状にあわせて、上底が長く下底が短い台形形状となるよう縮小画像503を変形させる画像処理を行って、サムネイル画像504aを生成する(ステップS401)。
As the first image processing, the
サムネイル画像504aは撮像画像そのものを台形に変形させているので、後述のように地図上に合成すれば、撮像画像の上部が手前に浮き上がってみえやすく、撮像画像の上部が手前にあることを直感的に把握することができる。
[第1の画像処理の第2の例]
第1の画像処理の第2の例として、撮像画像を、上底が長く下底が短い台形形状となるよう切り取ってもよい。第2の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501bである。テンプレート501bはテンプレート501aと同じく、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。テンプレート501bは、テンプレート501aに比べ横幅を狭くしている。
Since the
[Second example of first image processing]
As a second example of the first image processing, the captured image may be cut out to have a trapezoidal shape with a long upper base and a short lower bottom. An example of a trapezoidal template stored in the
画像処理部109は第1の画像処理として、撮像画像502の高さをテンプレート501bの高さにあわせて縮小した縮小画像503を生成する。そしてテンプレート501bの形状にあわせて、縮小画像503の左右の下部を切り取る画像処理を行ってサムネイル画像504bを生成する(ステップS401)。
As the first image processing, the
サムネイル画像504aのように撮像画像そのものを台形に変形させたほうがより直感的な把握をしやすいが、サムネイル画像504bのように撮像画像を切り取ったほうが撮像画像がひずむことがなく、また計算の負荷が軽いという効果がある。
It is easier to understand intuitively if the captured image itself is transformed into a trapezoid like the
[第1の画像処理の第3の例]
第1の画像処理の第3の例として、撮像画像に、上底が長く下底が短い台形形状の枠を付加してもよい。第3の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501cである。テンプレート501cはテンプレート501aと同じく、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。テンプレート501cは、テンプレート501aに比べ横幅を広くしている。
[Third example of first image processing]
As a third example of the first image processing, a trapezoidal frame having a long upper base and a short lower base may be added to the captured image. An example of a trapezoidal template stored in the
画像処理部109は第1の画像処理として、撮像画像502の高さをテンプレート501cの高さにあわせて縮小した縮小画像503を生成する。そしてテンプレート501cの形状の枠を作成し、縮小画像503の背面に付加する画像処理を行ってサムネイル画像504cを生成する(ステップS401)。
As the first image processing, the
サムネイル画像504aのように撮像画像そのものを台形に変形させたほうがより直感的な把握がしやすいが、サムネイル画像504cのように撮像画像に枠を付加するほうが撮像画像がひずむことがなく、また計算の負荷が軽いという効果がある。
It is easier to grasp the captured image more intuitively by transforming the captured image itself into a trapezoid like the
[第1の画像処理の第4の例]
第1の画像処理の第4の例として、撮像画像に隣接させて、上底が長く下底が短い台形形状の台形アイコンを付加してもよい。第4の例における、記憶部105に記憶された台形のテンプレートの例がテンプレート501dである。テンプレート501dはテンプレート501aと同じく、互いに平行な上底と下底とを備え、上底が長く下底が短い等脚台形となっている。テンプレート501dは、テンプレート501aに比べ上底と下底との間隔を狭くしている。
[Fourth example of first image processing]
As a fourth example of the first image processing, a trapezoidal trapezoid icon having a long upper base and a short lower bottom may be added adjacent to the captured image. An example of a trapezoidal template stored in the
画像処理部109は第1の画像処理として、撮像画像502の幅をテンプレート501dの上底の長さにあわせて縮小した縮小画像503を生成する。そしてテンプレート501dを台形アイコンとして、縮小画像503の下側に隣接するように合成する画像処理を行ってサムネイル画像を生成する(ステップS401)。台形のアイコンは縮小画像503と接してもよいし、わずかに離間して近接させてもよい。台形のアイコンは縮小画像の下部でなく、たとえば上部に付加してもよい。縮小画像503の下部に隣接させて台形のアイコンを付加した例がサムネイル画像504d、縮小画像503の上部に隣接させて台形のアイコンを付加した例がサムネイル画像504eである。
As the first image processing, the
サムネイル画像504aのように撮像画像そのものを台形に変形させたほうが直感的な把握がしやすいが、サムネイル画像504dのように撮像画像に台形アイコンを付加するほうが撮像画像がひずむことがなく、また計算の負荷が軽いという効果がある。
It is easier to grasp intuitively if the captured image itself is transformed into a trapezoid like the
[第2の画像処理]
画像処理部109は、画像角度データを用いて、第1の例から第4の例のように第1の画像処理を施されたサムネイル画像504を、画像角度データθだけ回転させる第2の画像処理を行う(ステップS402)。監視カメラ20の撮像方向が地図上で上向きのときに画像角度データが0°となるよう、記憶部105は、あらかじめパンデータに対するオフセット値θoffを記憶しており、画像処理部109は監視カメラ20から送られたパンデータにオフセット値θoffを加算した画像角度データを用いて、サムネイル画像504を回転させるものとする。サムネイル画像504aに第2の画像処理を行って回転させた例がサムネイル画像505である。
[合成処理]
合成処理部106はまず背景作成処理として、記憶部105が記憶する地図データを読み出し、背景として描画する(ステップS403)。
[Second image processing]
The
[Composition process]
First, as a background creation process, the
次に合成処理部106は撮像画像合成処理として、カメラ位置データを記憶部105から読み出し、画像処理部109から送られたサムネイル画像505を、その中心がカメラ位置データと一致するようにして、背景に合成する(ステップS404)。これにより、地図上の、カメラの設置されている位置に、撮像方向側に長い上辺が向くような配置で、サムネイル画像を合成した出力画像が生成される。合成処理部106は、生成した出力画像データを出力部107へ送る。
[出力処理]
出力部107は、合成処理部106が生成した出力画像データを出力する(ステップS405)。出力部107から出力された出力画像データは、液晶モニタやプロジェクタなどの画像表示装置40に送られ、出力画像が画像表示装置40に表示される。
Next, as a captured image composition process, the
[Output processing]
The
このようにして出力された出力画像の例を図6に示す。図6は店舗に設置された監視システムにおけるカメラ制御端末10の出力画像の例であり、第1の例であるサムネイル画像505の態様で生成したサムネイル画像62を、地図61上に合成する例を示している。地図61上のそれぞれ対応するカメラの位置に、複数のサムネイル画像62が、サムネイル画像62の上側を対応するカメラの撮像方向に向けて、合成されている。一般に上底が長い台形を見ると、上底が手前に浮き上がっているように感じられるので、サムネイル画像62の上側が地図の平面に対して手前に浮き上がる方向であることを直感的に把握することができる。
An example of the output image output in this way is shown in FIG. FIG. 6 is an example of an output image of the
本実施例のカメラ制御端末10は、撮像画像を上側が長い上底となる台形形状に変形させるとともに、撮像方向に合わせて回転させたサムネイル画像を生成して、地図上に合成した出力画像を出力するので、オペレーターは画像表示装置に表示された画像を見れば、直感的にサムネイル画像とマップとの方向の関係を把握することができる。
[出力画像の生成方法の第2実施例]
本実施形態のカメラ制御端末10の画像処理部109と合成処理部106による出力画像の生成方法の第2実施例について、図7のフローチャートに基づき説明する。また図8に、第2実施例における合成処理の例を示す。第2実施例では、画像処理部109の第1の画像処理(ステップS401)、第2の画像処理(ステップS402)と、合成処理部106の背景作成処理(ステップS403)とは第1実施例と同じである。図7において、これら同じ処理については図4に示した第1実施例のフローチャートと同じ番号を用いて、詳細な説明は省略する。
The
[Second Embodiment of Output Image Generation Method]
A second example of the output image generation method performed by the
第1実施例と同様、画像処理部109は第1の画像処理(ステップS401)、第2の画像処理を行い(ステップS402)、合成処理部106は、背景作成処理を行う(ステップS403)。
Similar to the first embodiment, the
合成処理部106は、次にカメラアイコン合成処理として、記憶部105が記憶するカメラアイコンデータとカメラ位置データとを読み出し、カメラ位置データに応じた地図上のカメラの位置に、カメラアイコンデータに応じたカメラアイコン801を合成する(ステップS701)。
Next, as a camera icon composition process, the
そして、合成処理部106は、地図上のカメラの設置されている位置から、撮像方向に所定の距離だけ離れた位置に、撮像方向側が長い上底となるような配置で、サムネイル画像505を合成した出力画像を生成する(ステップS702)。このときの、カメラアイコン801に対してサムネイル画像505を合成する例を図8に示す。カメラアイコン801の中心座標を(X1、Y1)、画像角度データをθ、カメラアイコン801の中心点と合成するサムネイル画像505の中心点との距離をDとしたとき、合成処理部106は、合成するサムネイル画像505の中心点の座標を、(X1+D × sinθ、Y1+D × cosθ)として背景に合成を行って、出力画像を生成する。Dは所定の距離とする。合成処理部106は、このようにして生成した出力画像を出力部107へ送る。
Then, the
出力部107は、合成処理部106で生成した出力画像データを出力する(ステップS405)。
The
図9は店舗に設置された監視システムにおける第2実施例の出力画像の例である。図9において、91は地図、92はカメラアイコン、93はサムネイル画像である。地図91の上の複数のカメラの位置に応じて複数のカメラアイコン92が合成され、図8の例にしたがってカメラアイコン92に対応する複数のサムネイル画像93がそれぞれ合成されている。
FIG. 9 is an example of an output image of the second embodiment in the monitoring system installed in the store. In FIG. 9, 91 is a map, 92 is a camera icon, and 93 is a thumbnail image. A plurality of
なお、サムネイル画像93がカメラアイコン92に対応したものであることを示すため、サムネイル画像93の外形とカメラアイコン92とを線で結んだり、中心同士を線で結んだりして、サムネイル画像93とカメラアイコン92とを画面上で連結させて表現することも好適である。また、カメラアイコン92の方向は、固定としてもよいしパン方向にあわせて回転させてもよい。このほか、ズームレンズの焦点距離に応じて距離Dを変更したり、ズームレンズの焦点距離に応じてサムネイル画像93の大きさを拡大縮小したり、サムネイル画像93の表示の態様を適宜変更してもよい。
In order to indicate that the
図9に示す第2実施例の出力画像を図6に示す第1実施例の出力画像と比較すると、第2実施例の出力画像では、地図上にカメラアイコンが合成され、合成されたカメラアイコンの撮像方向に所定の距離だけ離れた位置にサムネイル画像が合成される。そのため、サムネイル画像の上側が地図の平面に対して手前に浮きあがる方向であることが直感的に把握することができるのに加え、撮像方向を直感的に把握することができる。 When the output image of the second embodiment shown in FIG. 9 is compared with the output image of the first embodiment shown in FIG. 6, in the output image of the second embodiment, camera icons are combined on the map, and the combined camera icon is displayed. A thumbnail image is synthesized at a position separated by a predetermined distance in the imaging direction. Therefore, in addition to being able to intuitively grasp that the upper side of the thumbnail image is the direction that floats toward the front of the map, it is possible to intuitively grasp the imaging direction.
なお、本実施形態におけるカメラ制御端末の構成は、ハードウェア的には、任意のコンピューターのCPU、メモリ、その他のLSIで実現でき、ソフトウェア的にメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。 The configuration of the camera control terminal in the present embodiment can be realized in hardware by a CPU, memory, or other LSI of an arbitrary computer, and is realized by a program loaded in the memory as software. Here, functional blocks realized by the cooperation are depicted. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
10 カメラ制御端末
20 監視カメラ
30 ネットワーク
40 画像表示装置
101 通信処理部
102 復号処理部
103 ズームデータ処理部
104 パンデータ処理部
105 記憶部
106 合成処理部
107 出力部
108 操作部
109 画像処理部
DESCRIPTION OF
Claims (8)
前記カメラが設置されている領域の地図を示す地図データと、前記カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データと、前記カメラの撮像方向の水平方向の角度を示す角度データとを記憶する記憶部と、
前記撮像画像に対して前記記憶部に記憶された前記台形データを用いた第1の画像処理を行い、前記第1の画像処理を行った撮像画像を前記記憶部に記憶された前記角度データに応じて回転させる第2の画像処理を行う画像処理部と、
前記地図データに対し前記カメラ位置データに応じた位置に前記第2の画像処理が行われた撮像画像を合成して出力画像を生成する合成部と、
前記合成部が生成する出力画像を出力する出力部と
を備えることを特徴とする画像処理装置。 A receiving unit that receives captured image data of a captured image captured by the camera;
Map data indicating a map of an area where the camera is installed, camera position data indicating the position of the camera, trapezoid data indicating a trapezoidal shape with a long upper base and a short lower base, and the imaging direction of the camera A storage unit for storing angle data indicating a horizontal angle;
A first image processing using the trapezoidal data stored in the storage unit is performed on the captured image, and the captured image that has been subjected to the first image processing is used as the angle data stored in the storage unit. An image processing unit for performing second image processing to be rotated according to the
A combining unit that combines the captured image that has been subjected to the second image processing at a position corresponding to the camera position data with respect to the map data, and generates an output image;
An image processing apparatus comprising: an output unit that outputs an output image generated by the combining unit.
前記記憶部に記憶された前記台形データを用いて前記撮像画像を上底が長く下底が短い台形形状に変換する画像処理であることを特徴とする請求項1に記載の画像処理装置。 2. The image processing according to claim 1, wherein the first image processing is image processing for converting the captured image into a trapezoidal shape having a long upper base and a short lower bottom using the trapezoidal data stored in the storage unit. The image processing apparatus described.
前記記憶部に記憶された前記台形データを用いて前記撮像画像を上底が長く下底が短い台形形状に切り取る画像処理であることを特徴とする請求項1に記載の画像処理装置。 2. The image processing according to claim 1, wherein the first image processing is image processing in which the captured image is cut into a trapezoidal shape having a long upper base and a short lower bottom using the trapezoidal data stored in the storage unit. Image processing apparatus.
前記記憶部に記憶された前記台形データを用いて前記撮像画像に上底が長く下底が短い台形形状の枠を付加する画像処理であることを特徴とする請求項1に記載の画像処理装置。 The first image processing is image processing in which a trapezoidal frame having a long upper base and a short lower base is added to the captured image using the trapezoidal data stored in the storage unit. The image processing apparatus according to 1.
前記記憶部に記憶された前記台形データを用いて前記撮像画像に隣接させて上底が長く下底が短い台形形状の台形アイコンを付加する画像処理であることを特徴とする請求項1に記載の画像処理装置。 The first image processing is image processing in which a trapezoidal icon having a long upper base and a short lower base is added adjacent to the captured image using the trapezoid data stored in the storage unit. The image processing apparatus according to claim 1.
前記記憶部に記憶された前記アイコンデータと前記地図データと前記カメラ位置データとから前記地図上の前記カメラの位置に前記カメラアイコンを合成し、前記カメラアイコンを基準として前記角度データに応じた方向に所定の距離離間した位置に前記画像処理部で画像処理した撮像画像を合成して出力画像を生成する
ことを特徴とする請求項1から5のいずれか一項に記載の画像処理装置。 The synthesis unit is
The camera icon is combined with the position of the camera on the map from the icon data, the map data, and the camera position data stored in the storage unit, and the direction according to the angle data based on the camera icon The image processing apparatus according to claim 1, wherein an output image is generated by synthesizing the captured images image-processed by the image processing unit at positions separated by a predetermined distance.
前記カメラの撮像方向の水平方向の角度を示す角度データと、前記カメラが設置されている領域の地図を示す地図データと、前記カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶する記憶ステップと、
前記受信部が受信する撮像画像に対して前記記憶部に記憶された前記台形データを用いた第1の画像処理を行い、前記第1の画像処理を行った撮像画像を前記記憶部に記憶された前記角度データに応じて回転させる第2の画像処理を行う画像処理ステップと、
前記地図データに対し前記カメラ位置データに応じた位置に前記画像処理ステップで画像処理された前記撮像画像を合成して出力画像を生成する合成ステップと、
前記合成ステップで合成された出力画像を出力する出力ステップと
を含むことを特徴とする画像処理方法。 A receiving step for receiving image data of a captured image captured by the camera;
Angle data indicating a horizontal angle of the imaging direction of the camera, map data indicating a map of an area where the camera is installed, camera position data indicating the position of the camera, A storage step for storing trapezoidal data indicating the shape of a short trapezoid;
The captured image received by the receiving unit is subjected to first image processing using the trapezoidal data stored in the storage unit, and the captured image subjected to the first image processing is stored in the storage unit. An image processing step for performing a second image processing to be rotated according to the angle data;
A synthesizing step of synthesizing the captured image image-processed in the image processing step at a position corresponding to the camera position data with respect to the map data to generate an output image;
And an output step of outputting the output image combined in the combining step.
カメラで撮像した撮像画像の画像データを受信する受信機能と、
前記カメラの撮像方向の水平方向の角度を示す角度データと、前記カメラが設置されている領域の地図を示す地図データと、前記カメラの位置を示すカメラ位置データと、上底が長く下底が短い台形の形状を示す台形データとを記憶部に記憶させる記憶機能と、
前記受信機能により受信された撮像画像に対して前記記憶部に記憶された前記台形データを用いた第1の画像処理を行い、前記第1の画像処理を行った撮像画像を前記記憶部に記憶された前記角度データに応じて回転させる第2の画像処理を行う画像処理機能と、
前記地図データに対し前記カメラ位置データに応じた位置に前記画像処理機能により画像処理された撮像画像を合成して出力画像を生成する合成機能と、
前記出力画像を出力する出力機能と
をコンピューターに実現させることを特徴とする画像処理プログラム。 An image processing program used in a computer connected to a camera via a communication line and outputting a captured image captured by the camera,
A receiving function for receiving image data of a captured image captured by the camera;
Angle data indicating a horizontal angle of the imaging direction of the camera, map data indicating a map of an area where the camera is installed, camera position data indicating the position of the camera, A storage function for storing the trapezoid data indicating the shape of the short trapezoid in the storage unit;
The captured image received by the reception function is subjected to first image processing using the trapezoidal data stored in the storage unit, and the captured image subjected to the first image processing is stored in the storage unit. An image processing function for performing second image processing to be rotated in accordance with the angle data,
A synthesis function for generating an output image by synthesizing the captured image image-processed by the image processing function at a position corresponding to the camera position data with respect to the map data;
An image processing program for causing a computer to realize an output function for outputting the output image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012091889A JP2013223012A (en) | 2012-04-13 | 2012-04-13 | Image processing device, image processing method, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012091889A JP2013223012A (en) | 2012-04-13 | 2012-04-13 | Image processing device, image processing method, and image processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013223012A true JP2013223012A (en) | 2013-10-28 |
Family
ID=49593723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012091889A Pending JP2013223012A (en) | 2012-04-13 | 2012-04-13 | Image processing device, image processing method, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013223012A (en) |
-
2012
- 2012-04-13 JP JP2012091889A patent/JP2013223012A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2528566C2 (en) | Control device, camera system and programme | |
CN111034181B (en) | Image capturing apparatus, image display system, and operation method | |
US9619861B2 (en) | Apparatus and method for improving quality of enlarged image | |
WO2007055335A1 (en) | Image processing device, image processing method, program thereof, and recording medium containing the program | |
JP2015018296A (en) | Display controller, program, and recording medium | |
JP6622650B2 (en) | Information processing apparatus, control method therefor, and imaging system | |
JP2012089954A (en) | Conference system, monitoring system, image processing system, image processing method, and image processing program or the like | |
CN110572564B (en) | Information processing apparatus, information processing method, and storage medium | |
US9723190B2 (en) | Video surveillance method, device, and system | |
JP2015119338A (en) | Control device, imaging system, control method, and program | |
JP5708051B2 (en) | Video processing apparatus, video processing system, video conference system, remote monitoring system, video processing method, and imaging apparatus | |
JP2004128997A (en) | Device, method and program for video remote control, and recording medium with the program recorded thereon | |
JP6938237B2 (en) | Information processing equipment, information processing methods and programs | |
JPWO2015122052A1 (en) | Image transmission device, information processing terminal, image transmission method, information processing method, program, and information storage medium | |
JP2014192745A (en) | Imaging apparatus, information processing apparatus, control method and program thereof | |
US11928775B2 (en) | Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image | |
KR20170055455A (en) | Camera system for compensating distortion of lens using super wide angle camera and Transport Video Interface Apparatus used in it | |
JP2013223012A (en) | Image processing device, image processing method, and image processing program | |
CN116016950A (en) | Method and system for transmitting video stream | |
JP2013030924A (en) | Camera control device, camera control method, and camera control program | |
JP2012049781A (en) | Remote control system, remote control method, bidirectional communication system and bidirectional communication method for imaging apparatus | |
JP5765279B2 (en) | Camera control device, camera control method, and camera control program | |
JP6128966B2 (en) | Image processing apparatus, image processing method, and program | |
JP5464290B2 (en) | Control device, control method, and camera system | |
JP2013030923A (en) | Image display device, image display method, and image display program |