JP2017130798A - Photographing system, information processor and control method therefor, and computer program - Google Patents

Photographing system, information processor and control method therefor, and computer program Download PDF

Info

Publication number
JP2017130798A
JP2017130798A JP2016009138A JP2016009138A JP2017130798A JP 2017130798 A JP2017130798 A JP 2017130798A JP 2016009138 A JP2016009138 A JP 2016009138A JP 2016009138 A JP2016009138 A JP 2016009138A JP 2017130798 A JP2017130798 A JP 2017130798A
Authority
JP
Japan
Prior art keywords
image data
image
analysis
storage
format
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016009138A
Other languages
Japanese (ja)
Other versions
JP6663229B2 (en
JP2017130798A5 (en
Inventor
祐一 常松
Yuichi Tsunematsu
祐一 常松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016009138A priority Critical patent/JP6663229B2/en
Priority to US15/409,968 priority patent/US20170208242A1/en
Publication of JP2017130798A publication Critical patent/JP2017130798A/en
Publication of JP2017130798A5 publication Critical patent/JP2017130798A5/en
Application granted granted Critical
Publication of JP6663229B2 publication Critical patent/JP6663229B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technology capable of appropriately facilitating setting of image analysis and recording, in a monitoring camera system connected with a plurality of cameras.SOLUTION: The information processor includes: acquisition means for acquiring a plurality of image data imaged by a plurality of imaging devices; storage control means for storing the plurality of image data acquired by the acquisition means in storage means as an analysis target by analysis means; and determination means for determining a format in the storage means of the image data according to a description of analysis by the analysis means to be executed for each of the plurality of image data. The storage control means makes the storage means store the plurality of image data in a format determined by the determination means.SELECTED DRAWING: Figure 1

Description

本発明は撮影システム、情報処理装置及びその制御方法、コンピュータプログラムに関し、特に、監視カメラシステムにおいて画像データ長期記録設定を行う技術に関する。   The present invention relates to an imaging system, an information processing apparatus, a control method thereof, and a computer program, and more particularly to a technique for performing long-term image data recording setting in a surveillance camera system.

1つの施設、システムで使用される監視カメラ台数は増加傾向にあり、監視カメラシステムは年々大規模化している。システムを構築する際は、カメラ台数、ネットワーク帯域、接続可能台数、録画時間、記録画像の品位などをシステム要件から洗い出し、それを満足するようにシステムを設計し、機材の調達を行う。システムの設定は静的であり、最も負荷がかかる稼働状況に応じて決定される。   The number of surveillance cameras used in one facility and system is increasing, and surveillance camera systems are becoming larger year by year. When constructing a system, the number of cameras, network bandwidth, number of connectable devices, recording time, quality of recorded images, etc. are identified from the system requirements, the system is designed to satisfy them, and equipment is procured. The system settings are static, and are determined according to the operating conditions with the highest load.

より長時間のカメラ画像を限られたシステムリソースで記録するため、画像を間引き、リサイズしてから記録することが行われている。例えば、リアルタイム監視するフレームレートは10fpsに設定し、直近1週間分の画像は2〜3fpsのフレームレートで記録する。さらに数週間から数か月以上の長期にわたる記録はフレームレートを0.2〜1fpsに設定し、段階的にデータサイズが低減されるようにする。これによりカメラ画像の最長記録期間を長期化し、かつ利用される可能性が高い直近の映像は高画質、高フレームレートで残すことを可能にしている。このような画像データの長期記録機能が、監視システムを構成する際に使われる録画管理ソフトウェア(VMS:Video Management Software)には一般的に備わっている。   In order to record longer camera images with limited system resources, images are thinned out and resized before recording. For example, the frame rate for real-time monitoring is set to 10 fps, and images for the latest one week are recorded at a frame rate of 2 to 3 fps. Further, for recording over a long period of several weeks to several months or more, the frame rate is set to 0.2 to 1 fps so that the data size is gradually reduced. As a result, the longest recording period of the camera image is lengthened, and the latest video that is likely to be used can be left with high image quality and a high frame rate. Such a long-term recording function of image data is generally provided in video management software (VMS: Video Management Software) used in configuring a monitoring system.

さらに効率的な記録を実現するため、特許文献1には、映像の重要度、外部センサからのイベント情報に応じて画像データをレイヤ分けして記録し、低位レイヤからデータを削除することが記載されている。また、特許文献2には、監視カメラシステム全体の合計録画フレームレートを一定以下に抑えつつ、利用者指定のカメラ、異常を検出したカメラ、およびその隣接カメラのフレームレートを優先的に目標に近づけることが記載されている。   In order to realize more efficient recording, Patent Document 1 describes that image data is recorded in layers according to the importance of video and event information from an external sensor, and data is deleted from a lower layer. Has been. Patent Document 2 preferentially brings the frame rate of the camera designated by the user, the camera in which an abnormality has been detected, and its adjacent camera close to the target while keeping the total recording frame rate of the entire surveillance camera system below a certain level. It is described.

特開2005-151546号公報JP 2005-151546 A 特開2007-36615号公報JP 2007-36615 A

監視カメラシステムの大規模化に伴い、録画管理ソフトウェアにおける各種設定は複雑化している。中でも画像解析はカメラの重要度やシステム負荷に応じて設定を細かく変える必要がある。現状では経験者が独自の経験を基に記録設定(記録先ディスクの選択、画像の間引き・リサイズの動作タイミングなど)、画像解析設定(画像解析の種別、動作タイミングなど)を行っている。一方で精度の高い画像解析を行うには高い解像度で、高フレームレートの画像を用いる必要がある。しかし、カメラが何十台・何百台と接続された環境では、長期記録設定と矛盾のない画像解析設定を行うことは非常に困難である。設定したつもりでも画像解析の精度が十分に出なかったり、画像解析に必要な前提条件を満たさない画像しか画像処理開始時点で残っていなかったりすることが起こりうる。画像解析設定と長期記録設定を矛盾なく、簡単に設定できることは非常に重要である。   As the surveillance camera system becomes larger, various settings in the recording management software have become complicated. Above all, image analysis needs to be changed finely according to the importance of the camera and system load. At present, an experienced person performs recording settings (selection of a recording destination disk, image thinning / resizing operation timing, etc.) and image analysis settings (image analysis type, operation timing, etc.) based on his / her own experience. On the other hand, in order to perform highly accurate image analysis, it is necessary to use an image with a high resolution and a high frame rate. However, in an environment where tens or hundreds of cameras are connected, it is very difficult to perform image analysis settings consistent with long-term recording settings. Even if the setting is intended, the accuracy of the image analysis may not be sufficient, or only images that do not satisfy the preconditions necessary for the image analysis may remain at the start of the image processing. It is very important that image analysis settings and long-term recording settings can be set easily and consistently.

本発明は上記課題に鑑みなされたものであり、複数のカメラが接続された監視カメラシステムにおいて、画像解析と記録設定を矛盾なく簡単に設定することが可能な技術を提供することを目的とする。   The present invention has been made in view of the above problems, and an object thereof is to provide a technique capable of easily setting image analysis and recording settings without contradiction in a surveillance camera system in which a plurality of cameras are connected. .

上記目的を達成するため、本発明による情報処理装置は以下の構成を備える。即ち、
複数の撮像装置によって撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された前記複数の画像データを、解析手段による解析対象として記憶手段に記憶させる記憶制御手段と、
前記複数の画像データの各々について、画像データに対して行われる前記解析手段による解析の内容に応じて、当該画像データの前記記憶手段におけるフォーマットを決定する決定手段と
を備え、
前記記憶制御手段は、前記決定手段により決定されたフォーマットで前記複数の画像データを前記記憶手段に記憶させる。
In order to achieve the above object, an information processing apparatus according to the present invention comprises the following arrangement. That is,
Acquisition means for acquiring a plurality of image data captured by a plurality of imaging devices;
Storage control means for storing the plurality of image data acquired by the acquisition means in a storage means as an analysis object by the analysis means;
Determining means for determining the format of the image data in the storage means according to the content of the analysis by the analyzing means performed on the image data for each of the plurality of image data;
The storage control unit causes the storage unit to store the plurality of image data in the format determined by the determination unit.

本発明によれば、複数のカメラが接続された監視カメラシステムにおいて、画像解析と記録設定を矛盾なく簡単に設定することが可能な技術を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, in the surveillance camera system to which the some camera was connected, the technique which can set an image analysis and a recording setting easily without contradiction can be provided.

監視システムの動作環境を示したネットワーク接続構成図。The network connection block diagram which showed the operating environment of the monitoring system. 監視システムの構成図。The block diagram of a monitoring system. 管理装置のハードウェア構成例を示す図。The figure which shows the hardware structural example of a management apparatus. 監視カメラの設置例を示す図。The figure which shows the example of installation of a surveillance camera. 撮影システムの動作による処理手順を示すフローチャート。The flowchart which shows the process sequence by operation | movement of an imaging | photography system. 画像解析種別と各解析の前提条件の例を示す図。The figure which shows the example of an image analysis classification and the precondition of each analysis. 画像解析設定例を示す図。The figure which shows the example of an image analysis setting. 画像記録設定の下限値の算出例を示す図。The figure which shows the example of calculation of the lower limit of image recording setting. 一定のカメラ間で記録条件を揃えた画像記録設定の下限値を示す図。The figure which shows the lower limit of the image recording setting which arranged the recording conditions between fixed cameras. 画像のフレームを間引く様子を示す図。The figure which shows a mode that the flame | frame of an image is thinned out. 記録装置におけるディスク動作状況の例を示す図。FIG. 4 is a diagram illustrating an example of a disk operation status in the recording apparatus. ディスク動作状況を考慮した記録先の割り当て例を示す図。The figure which shows the example of allocation of the recording destination which considered the disk operation condition. 各ディスクに記録されるデータサイズの計算例を示す図。The figure which shows the example of calculation of the data size recorded on each disc.

以下、添付の図面を参照して、本発明をその実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。   Hereinafter, the present invention will be described in detail based on the embodiments with reference to the accompanying drawings. The configurations shown in the following embodiments are merely examples, and the present invention is not limited to the illustrated configurations.

<実施形態1>
(監視システム)
図1は本発明の第一の実施形態(実施形態1)に係る撮影システムとしての監視カメラシステム(監視システム装置)の動作環境を示したネットワーク接続構成図である。監視カメラシステムにおいては、監視カメラ100、画像記録装置200、画像解析装置300、管理装置(画像表示装置)400が、ネットワーク回線であるLAN500によって接続されている。
<Embodiment 1>
(Monitoring system)
FIG. 1 is a network connection configuration diagram showing an operating environment of a surveillance camera system (surveillance system apparatus) as a photographing system according to a first embodiment (Embodiment 1) of the present invention. In the surveillance camera system, a surveillance camera 100, an image recording device 200, an image analysis device 300, and a management device (image display device) 400 are connected by a LAN 500 that is a network line.

監視カメラ100は撮像装置であり、撮影対象を撮影して画像データを符号化してネットワーク経由で配信する機能を有する。後述するように、撮影システムには、複数の監視カメラ100が設けられている。画像記録装置200はネットワークストレージ機能を備えた画像を記録する装置(記憶装置)であり、複数の監視カメラ100で撮影された複数の画像データを、LAN500を介して記録(記憶)する。画像解析装置300は、画像記録装置200に記録された画像データに対して画像解析処理を行う。管理装置400は、監視カメラ100と、画像記録装置200と、画像解析装置300とを管理する情報処理装置である。具体的には、画像記録装置200に記録された画像データ、および画像解析装置300での画像解析結果を表示する。また、管理装置400は、画像記録・画像解析の設定など利用者(ユーザ)が諸操作を行うための指示入力装置(キーボード、ポインティングデバイス等)を提供する機能も有する。   The monitoring camera 100 is an image pickup apparatus, and has a function of shooting a shooting target, encoding image data, and distributing the image data via a network. As will be described later, the imaging system is provided with a plurality of surveillance cameras 100. The image recording apparatus 200 is an apparatus (storage device) that records an image having a network storage function, and records (stores) a plurality of image data captured by a plurality of monitoring cameras 100 via the LAN 500. The image analysis device 300 performs image analysis processing on the image data recorded in the image recording device 200. The management device 400 is an information processing device that manages the monitoring camera 100, the image recording device 200, and the image analysis device 300. Specifically, the image data recorded in the image recording device 200 and the image analysis result in the image analysis device 300 are displayed. The management apparatus 400 also has a function of providing an instruction input device (keyboard, pointing device, etc.) for a user (user) to perform various operations such as image recording / image analysis settings.

画像記録装置200、画像解析装置300、管理装置400は、それぞれPC(パーソナルコンピュータ)やタブレット端末等の汎用の情報処理装置により実現されるが、組込み機器等の専用装置として構成してもよい。本実施形態では、装置間の通信経路となるネットワーク回線をLAN(Local Area Network)で構成した例を説明するが、ネットワーク回線はその回線を介して通信可能な媒体であれば、有線、無線を問わず、どのようなものでもよい。また、本実施形態では、説明の便宜上、監視カメラ100、画像記録装置200、画像解析装置300、管理装置400をそれぞれ異なる装置で構成した例を説明するが、これらの装置の全部又は一部を一つの装置により実現してもよい。   The image recording device 200, the image analysis device 300, and the management device 400 are each realized by a general-purpose information processing device such as a PC (personal computer) or a tablet terminal, but may be configured as a dedicated device such as an embedded device. In the present embodiment, an example will be described in which a network line serving as a communication path between apparatuses is configured by a LAN (Local Area Network). However, if the network line is a medium that can communicate via the line, wired or wireless is used. Anything is acceptable. In the present embodiment, for convenience of explanation, an example in which the monitoring camera 100, the image recording device 200, the image analysis device 300, and the management device 400 are configured by different devices will be described. You may implement | achieve with one apparatus.

●監視カメラ
図2は本実施形態に係る監視カメラシステムの構成図である。監視カメラ100は画像取得部101でCMOSなどの撮像素子から得られたデジタル電気信号に対して、所定の画素補間や色変換処理を行ない、RGBやYUVなどの画像空間により示されるデジタル画像を現像・生成する。また、現像を施した後のデジタル画像に対してホワイトバランス、シャープネス、コントラスト、色変換などの画像補正処理を行なう。画像取得部101で取得された画像データは、符号化部102において、ネットワークを介して画像を配信するためJPEGやMotion JPEG、H.264といった圧縮フォーマットでのデータ符号化が施される。そして符号化されたデータは、通信部(撮像装置通信部)103を通じてLAN500へ送出され、画像記録装置200、画像解析装置300、および管理装置400へ受け渡される。本実施形態では、単位時間あたりのフレーム数が一定数以上の動画像データ(映像)を撮影する例を説明するが、静止画像を撮影してもよい。
Monitoring Camera FIG. 2 is a configuration diagram of the monitoring camera system according to the present embodiment. The surveillance camera 100 performs predetermined pixel interpolation and color conversion processing on the digital electrical signal obtained from the image sensor such as CMOS in the image acquisition unit 101, and develops a digital image indicated by an image space such as RGB or YUV.・ Generate. Further, image correction processing such as white balance, sharpness, contrast, and color conversion is performed on the developed digital image. The image data acquired by the image acquisition unit 101 is sent from the encoding unit 102 to JPEG, Motion JPEG, H.P. Data encoding in a compression format such as H.264 is performed. The encoded data is sent to the LAN 500 through the communication unit (imaging device communication unit) 103 and transferred to the image recording device 200, the image analysis device 300, and the management device 400. In the present embodiment, an example is described in which moving image data (video) having a certain number of frames per unit time is captured, but still images may be captured.

●画像記録装置
画像記録装置200はLAN500から通信部(画像記録装置通信部)201を介して配信画像の記録設定、および配信画像を受け取る。画像の記録設定を受信した場合、設定部(画像記録設定部)202で画像記録の設定を行う。画像を受信した場合、設定部202で行われた設定に基づき、画像記録部203で画像の記録を行う。
Image Recording Device The image recording device 200 receives distribution image recording settings and distribution images from the LAN 500 via the communication unit (image recording device communication unit) 201. When the image recording setting is received, the setting unit (image recording setting unit) 202 performs image recording setting. When the image is received, the image recording unit 203 records the image based on the setting performed by the setting unit 202.

●画像解析装置
画像解析装置300はLAN500から通信部(画像解析装置通信部)301を介して画像解析設定、および画像解析を行う対象の画像データを受け取る。画像解析設定を受信した場合、設定部(画像解析設定部)302で画像解析の設定を行う。解析対象画像は監視カメラ100、および画像記録装置200から読み込み、設定部302で行われた設定に基づき、解析部(画像解析部)303で画像の解析を行う。
Image Analysis Device The image analysis device 300 receives image analysis settings and image data to be subjected to image analysis via the communication unit (image analysis device communication unit) 301 from the LAN 500. When the image analysis setting is received, the setting unit (image analysis setting unit) 302 sets the image analysis. The analysis target image is read from the monitoring camera 100 and the image recording device 200, and the analysis unit (image analysis unit) 303 analyzes the image based on the setting performed by the setting unit 302.

●管理装置
管理装置400は、通信部(管理装置通信部)401、表示部410、設定記録部(システム設定記録部)420、及び、収集部(システム状況収集部)430を備える。通信部401は、LAN500を介して、監視カメラ100、画像記録装置200、及び、画像解析装置300と通信する機能要素である。表示部410は、画像の表示、画像解析結果の表示、利用者操作画面を表示する。利用者は、表示部410を介して画像記録や画像解析に関する設定を入力する。
Management Device The management device 400 includes a communication unit (management device communication unit) 401, a display unit 410, a setting recording unit (system setting recording unit) 420, and a collection unit (system status collection unit) 430. The communication unit 401 is a functional element that communicates with the monitoring camera 100, the image recording device 200, and the image analysis device 300 via the LAN 500. The display unit 410 displays an image, an image analysis result, and a user operation screen. The user inputs settings related to image recording and image analysis via the display unit 410.

画像記録設定および画像解析設定は、表示部410を介した利用者指示の読み込みに応じて、通信部401から画像記録装置200、および画像解析装置300へ送られる。また、設定記録部420は、同内容を保持する。設定記録部420は、画像記録設定および画像解析設定の他にも監視カメラの設置位置や画像記録装置のディスク状況、ネットワーク帯域の混雑状況など監視カメラシステム全体の管理に必要な情報を保持する。   The image recording setting and the image analysis setting are sent from the communication unit 401 to the image recording device 200 and the image analysis device 300 in response to reading of a user instruction via the display unit 410. The setting recording unit 420 holds the same contents. In addition to image recording settings and image analysis settings, the setting recording unit 420 holds information necessary for managing the entire monitoring camera system, such as the installation position of the monitoring camera, the disk status of the image recording apparatus, and the network bandwidth congestion status.

収集部430は、監視カメラシステムの稼働状況を収集する。収集部430は、設定確認部(画像解析設定確認部)431、位置確認部(撮像装置設置位置確認部)432、状態確認部(記録動作状態確認部)433、帯域確認部(ネットワーク帯域確認部)434を備える。設定確認部431は、画像解析装置300の設定部302に設定されている画像解析設定を確認する機能要素である。位置確認部432は、撮像装置である監視カメラ100の設置位置を確認する機能要素である。状態確認部433は、画像記録装置200の画像記録部203における記録動作状態を確認する機能要素である。帯域確認部434は、ネットワークであるLAN500における通信の通信帯域を確認する機能要素である。後述するように、管理装置400は、複数の監視カメラ100の複数の画像データの各々について、当該画像データに対して行われる画像解析装置300による解析の内容に応じて、当該画像データの画像記録装置200におけるフォーマットを決定する。このため、ユーザが画像ごとに記録設定を手動で入力することなく、各画像に対して、解析の内容に応じた記録設定を設定することが可能である。本実施形態では、画像のフォーマットの例として、記録時間に応じた画像の解像度(画像サイズ)やフレームレートを設定する例を説明するが、これに限られず、例えば、画像の符号化方式やビットレート、Iフレームの割合等を設定してもよい。   The collection unit 430 collects the operating status of the monitoring camera system. The collection unit 430 includes a setting confirmation unit (image analysis setting confirmation unit) 431, a position confirmation unit (imaging device installation position confirmation unit) 432, a state confirmation unit (recording operation state confirmation unit) 433, a band confirmation unit (network band confirmation unit). 434. The setting confirmation unit 431 is a functional element that confirms the image analysis setting set in the setting unit 302 of the image analysis apparatus 300. The position confirmation unit 432 is a functional element that confirms the installation position of the monitoring camera 100 that is an imaging apparatus. The state confirmation unit 433 is a functional element that confirms the recording operation state in the image recording unit 203 of the image recording apparatus 200. The bandwidth confirmation unit 434 is a functional element that confirms the communication bandwidth of communication in the LAN 500 that is a network. As will be described later, the management apparatus 400 records the image data of each of the plurality of image data of the plurality of monitoring cameras 100 according to the content of the analysis performed by the image analysis apparatus 300 on the image data. The format in device 200 is determined. For this reason, it is possible to set the recording setting corresponding to the content of the analysis for each image without manually inputting the recording setting for each image. In the present embodiment, an example of setting an image resolution (image size) and a frame rate in accordance with a recording time will be described as an example of an image format. However, the present invention is not limited to this. A rate, a ratio of I frames, and the like may be set.

本実施形態では、上記各機能要素は、PC等の汎用の情報処理装置において、コンピュータプログラムに基づきソフトウェアにより実現されるが、機能要素の全部または一部を専用のハードウェアにより構成してもよい。   In the present embodiment, each functional element is realized by software based on a computer program in a general-purpose information processing apparatus such as a PC. However, all or part of the functional element may be configured by dedicated hardware. .

図3は、管理装置400のハードウェア構成例を示すブロック図である。画像記録装置200、及び、画像解析装置300のハードウェア構成も同様であるため、ここでは管理装置400について説明を行う。   FIG. 3 is a block diagram illustrating a hardware configuration example of the management apparatus 400. Since the hardware configurations of the image recording apparatus 200 and the image analysis apparatus 300 are the same, the management apparatus 400 will be described here.

図3において、CPU990は中央演算処理装置であり、コンピュータプログラムに基づいて他の構成要素と協働し、管理装置400全体の動作を制御する。ROM991は読出し専用メモリであり、基本プログラムや基本処理に使用するデータ等を記憶する。RAM992は書込み可能メモリであり、CPU990のワークエリア等として機能する。収集部430は、CPU990がコンピュータプログラムに基づき、他の構成要素を制御することで実現することができる。   In FIG. 3, a CPU 990 is a central processing unit, and controls the operation of the entire management apparatus 400 in cooperation with other components based on a computer program. The ROM 991 is a read-only memory and stores basic programs, data used for basic processing, and the like. A RAM 992 is a writable memory and functions as a work area for the CPU 990. The collection unit 430 can be realized by the CPU 990 controlling other components based on the computer program.

外部記憶ドライブ993は記録媒体へのアクセスを実現し、USBメモリ等のメディア(記録媒体)994に記憶されたコンピュータプログラムやデータを本システムにロードすることができる。ストレージ995はSSD(ソリッドステートドライブ)等の大容量メモリとして機能する装置である。ストレージ995には、各種コンピュータプログラムや、画像記録設定、画像解析設定等のデータが格納される。   The external storage drive 993 can access a recording medium, and can load a computer program and data stored in a medium (recording medium) 994 such as a USB memory into this system. The storage 995 is a device that functions as a large-capacity memory such as an SSD (solid state drive). The storage 995 stores various computer programs, data such as image recording settings and image analysis settings.

操作部996はユーザからの指示やコマンドの入力を受け付ける装置であり、キーボードやポインティングデバイス、タッチパネル等がこれに相当する。ディスプレイ997は、操作部996から入力されたコマンドや、それに対する管理装置400の応答出力等を表示する表示装置である。表示部410は、操作部996及びディスプレイ997により実現される。インターフェイス(I/F)998は外部装置とのデータのやり取りを中継する装置である。通信部401は、インターフェイス998により実現される。システムバス999は、管理装置400内のデータの流れを司るデータバスである。   The operation unit 996 is a device that receives an instruction and a command input from a user, and corresponds to a keyboard, a pointing device, a touch panel, and the like. The display 997 is a display device that displays a command input from the operation unit 996 and a response output of the management device 400 for the command. The display unit 410 is realized by the operation unit 996 and the display 997. An interface (I / F) 998 is a device that relays data exchange with an external device. The communication unit 401 is realized by the interface 998. A system bus 999 is a data bus that manages the flow of data in the management apparatus 400.

(処理手順)
上記の構成で、本実施形態に係る監視カメラシステム(監視装置)の詳細を説明する。図4は、以降の説明で使用する監視カメラ配置例を示す図である。屋内にカメラ1〜カメラ6の6台のカメラが設置されており、部屋と通路を監視している。カメラ1〜5は同じ室内を撮影し、カメラ6だけが通路を撮影している状況である。
(Processing procedure)
The details of the monitoring camera system (monitoring device) according to the present embodiment having the above-described configuration will be described. FIG. 4 is a diagram illustrating a monitoring camera arrangement example used in the following description. Six cameras, camera 1 to camera 6, are installed indoors and monitor the room and passage. Cameras 1 to 5 photograph the same room, and only camera 6 is photographing the passage.

長期画像記録設定を行うまでの利用者が操作する流れを図5に示す。図5は、本実施形態に係る撮影システムの動作による処理手順を示すフローチャートである。図5の各ステップは、管理装置400のCPU990の制御に基づき実行される。なお、システム側の規定値として、モニタでのリアルタイム監視の要求が画像解像度960×540画素、最低フレームレートが5fpsである場合を説明する。また、長期記録は1か月を最低限度とし、保存画像解像度の最小が480×270、最低フレームレートが1fpsであるとする。   FIG. 5 shows a flow of operations performed by the user until the long-term image recording setting is performed. FIG. 5 is a flowchart showing a processing procedure according to the operation of the photographing system according to the present embodiment. Each step in FIG. 5 is executed based on the control of the CPU 990 of the management apparatus 400. Note that a case where the real-time monitoring request on the monitor is an image resolution of 960 × 540 pixels and the minimum frame rate is 5 fps will be described as the system-side specified values. In the long-term recording, it is assumed that one month is the minimum, the minimum stored image resolution is 480 × 270, and the minimum frame rate is 1 fps.

まず、S110では、管理装置400に備えられた表示部410に画像解析設定画面を表示し、利用者に解析設定を入力させる。図6は、利用者が設定することができる画像解析の例を示す図である。   First, in S110, an image analysis setting screen is displayed on the display unit 410 provided in the management apparatus 400, and the user is made to input analysis settings. FIG. 6 is a diagram illustrating an example of image analysis that can be set by the user.

各画像解析には、その種類に応じて、画像解像度602、フレームレート603、カメラ台数604などの動作に必要な前提条件が設定されている。601は画像解析の種別を示す画像解析種別である。画像解析種別601として、図6には、年齢推定、性別推定、通過人数カウント、人物位置推定が示されている。年齢推定は、撮影画像に写り込んでいる被写体の顔画像から、その被写体の年齢を推定する画像解析である。性別推定は、被写体の顔画像から性別を推定する画像解析である。通過人数カウントは、画像フレーム間で人物を同定し、その人物が一定の撮影期間中に仮想の通過線を越えた回数を計数する画像解析である。人物位置推定は、あらかじめキャリブレーションされた3台以上のカメラを用いて、被写体の3次元位置を3角測量の原理で推定する画像解析である。   In each image analysis, preconditions necessary for operations such as an image resolution 602, a frame rate 603, and the number of cameras 604 are set according to the type of image analysis. Reference numeral 601 denotes an image analysis type indicating the type of image analysis. As the image analysis type 601, FIG. 6 shows age estimation, gender estimation, passing person count, and person position estimation. Age estimation is image analysis in which the age of a subject is estimated from the face image of the subject reflected in the captured image. Gender estimation is image analysis for estimating gender from a face image of a subject. Passing person count is an image analysis in which a person is identified between image frames and the number of times that the person has crossed a virtual passing line during a certain shooting period is counted. The person position estimation is an image analysis in which a three-dimensional position of a subject is estimated based on the principle of triangulation using three or more cameras calibrated in advance.

他にも画像解析の精度に影響を与えるパラメータとしては画質設定がある。監視カメラや録画ソフトウェアにより仕様は異なるが、5段階で低画質(データサイズ小)から高画質(データサイズ大)が選べるものが一般的である。ここでは簡単化のため画質設定は一律に3と設定された例を説明するが、画像解像度やフレームレートと同様に画像解析設定の前提条件として扱うこともできる。   Another parameter that affects the accuracy of image analysis is image quality setting. Although the specifications differ depending on the surveillance camera and the recording software, it is common to select a low image quality (small data size) to a high image quality (large data size) in five stages. Here, an example in which the image quality setting is uniformly set to 3 will be described for the sake of simplification, but it can also be handled as a precondition for image analysis setting as with the image resolution and frame rate.

図7は、操作者により実際に設定された画像解析の例を示す図である。画像解析の通し番号としての設定701、画像解析の種別702と、処理対象カメラ703、および画像解析が実施されるタイミング(動作タイミング704)が関連付けられて記録される。動作タイミングとしては常時、所定の時間内、所定の日時に開始といった種類がある。例えば、設定1は、毎日10:00〜21:00の時刻に、カメラ1〜4の撮影画像に基づいて、人物位置推定の画像解析を行うことを示している。本実施形態では、人物位置推定は、画像解像度:1920×1080、フレームレート:10fpsで行うため(図6参照)、カメラ1〜4は、それぞれこのような解析をすることが可能な撮影条件で画像を撮影する。このようにして設定した画像解析設定は、設定記録部420へ記録される。   FIG. 7 is a diagram illustrating an example of image analysis actually set by the operator. A setting 701 as an image analysis serial number, an image analysis type 702, a processing target camera 703, and a timing (operation timing 704) at which image analysis is performed are recorded in association with each other. As the operation timing, there is always a type of starting at a predetermined date and time within a predetermined time. For example, setting 1 indicates that image analysis of person position estimation is performed based on the captured images of the cameras 1 to 4 at the time of 10:00 to 21:00 every day. In the present embodiment, the person position estimation is performed at an image resolution of 1920 × 1080 and a frame rate of 10 fps (see FIG. 6), so that the cameras 1 to 4 have shooting conditions that allow such analysis, respectively. Take a picture. The image analysis setting thus set is recorded in the setting recording unit 420.

次に、S120では、収集部430がシステム状況を収集する。システム状況の収集は内部で2つの処理に分かれている。まずS121では、設定確認部431が、利用者が指定した画像解析設定を確認する。具体的には、例えば、図7に示したような内容を画像解析設定として取得する。次にS122では、位置確認部432が、各カメラがどの領域に設置されたかを取得する。これは設定記録部420から取得する。図4の設置状況ではカメラ1〜5が同一領域を撮影しているという情報が得られる。なお、本実施形態では、図5のS123、S124の処理は行わない。これらの処理を行う構成については実施形態2で説明する。   Next, in S120, the collection unit 430 collects the system status. The collection of system status is divided into two processes internally. First, in S121, the setting confirmation unit 431 confirms the image analysis setting designated by the user. Specifically, for example, the content as shown in FIG. 7 is acquired as the image analysis setting. Next, in S122, the position confirmation unit 432 acquires in which area each camera is installed. This is acquired from the setting recording unit 420. In the installation state of FIG. 4, information that the cameras 1 to 5 are shooting the same area is obtained. In the present embodiment, the processes of S123 and S124 in FIG. 5 are not performed. A configuration for performing these processes will be described in a second embodiment.

S130では、設定記録部420は、長期記録設定時の下限を計算する。ここでは、リアルタイム監視、直近1日の記録、直近1週間の記録、直近1か月の記録でデータの低減タイミングを設定する。ここでは、一例として、システムの規定値は、
・リアルタイム監視:画像解像度が960×540画素、フレームレートが5fps、
・保存される画像:画像解像度が480×270画素、フレームレートが1fps
とする。図6の画像解析前提条件、及び、図7で設定された画像解析の動作タイミングの情報を組み合わせると、図8(c)に示す長期記録設定時の下限が得られる。
In S130, the setting recording unit 420 calculates the lower limit when setting long-term recording. Here, the data reduction timing is set by real-time monitoring, recording for the most recent day, recording for the most recent one week, and recording for the most recent one month. Here, as an example, the system default value is
Real-time monitoring: Image resolution is 960 x 540 pixels, frame rate is 5 fps,
Saved image: Image resolution is 480 x 270 pixels, frame rate is 1 fps
And Combining the image analysis preconditions of FIG. 6 and the information of the image analysis operation timing set in FIG. 7, the lower limit at the time of long-term recording setting shown in FIG. 8C is obtained.

これは次の手順により求めることが可能である。まず、空の表の各欄に上記のシステムの規定値を設定する。上記の例では、「リアルタイム監視」の列に960×540画素、5fpsを設定し、「直近1日」、「直近1週間」、「直近1か月」の各列に480×270画素、1fpsを設定する。図8(a)は、システムの規定値を設定した表の例を示している。   This can be determined by the following procedure. First, the specified values for the above system are set in each column of the empty table. In the above example, 960 × 540 pixels and 5 fps are set in the “Real-time monitoring” column, and 480 × 270 pixels and 1 fps are set in the “Last 1 day”, “Last week”, and “Last month” columns. Set. FIG. 8A shows an example of a table in which the system default values are set.

次に、図7の704に示される画像解析が動作するタイミングに合わせて、関連付けられたカメラの欄に図6の画像解析前提条件を設定する。対応する画像解析前提条件が複数存在する場合は、より大きな画像解像度ないしフレームレートの値を設定する。図7の例では、設定1の「人物位置推定」及び設定2の「通過人数カウント」がリアルタイムに行われる。そこで、図7の設定1が適用されるカメラ1〜4、及び、設定2が適用されるカメラ2の「リアルタイム監視」欄に、図6により示される画像解像度及びフレームレートが設定される。カメラ2の撮影画像については、「人物位置推定」と「通過人数カウント」の両方が行われるが、より高解像の画像が要求される「人物位置推定」についての画像解像度の下限(1920×1080画素)が設定される。同様に、図7の例では設定3〜5の画像解析が毎日行われるため、設定3〜5が適用される各カメラの「直近1日」の値が、画像解析の種別の種別に応じて図6により示される値に設定される。設定6の画像解析(通過人数カウント)は毎週行われるため、設定6が適用されるカメラ(カメラ1)の「直近1週間」の値が、図6により示される「通過人数カウント」の値に設定される。設定7の画像解析(年齢推定)は毎月行われるため、設定7が適用されるカメラ(カメラ6)の「直近1か月」の値が、図6により示される「年齢推定」の値に設定される。図8(b)は、このような画像解析の動作タイミングに応じて画像解析前提条件が設定された表の例を示している。図8(b)において、網掛け部分は、図8(a)の表から修正された値を含むセルを示している。   Next, the image analysis preconditions of FIG. 6 are set in the associated camera column in accordance with the timing at which the image analysis indicated by 704 in FIG. 7 operates. If there are a plurality of corresponding image analysis preconditions, a larger image resolution or frame rate value is set. In the example of FIG. 7, “person position estimation” of setting 1 and “passing person count” of setting 2 are performed in real time. Therefore, the image resolution and frame rate shown in FIG. 6 are set in the “real-time monitoring” column of the cameras 1 to 4 to which the setting 1 of FIG. 7 is applied and the camera 2 to which the setting 2 is applied. For the captured image of the camera 2, both “person position estimation” and “passing person count” are performed, but the lower limit of image resolution (1920 ×) for “person position estimation” for which a higher resolution image is required. 1080 pixels) is set. Similarly, in the example of FIG. 7, since the image analysis of the settings 3 to 5 is performed every day, the value of “Last 1 day” of each camera to which the settings 3 to 5 are applied depends on the type of the image analysis type. It is set to the value shown by FIG. Since the image analysis (passage count) of setting 6 is performed every week, the value of “last week” of the camera (camera 1) to which setting 6 is applied becomes the value of “passing count” shown in FIG. Is set. Since the image analysis (age estimation) of setting 7 is performed monthly, the value of “last month” of the camera (camera 6) to which setting 7 is applied is set to the value of “age estimation” shown in FIG. Is done. FIG. 8B shows an example of a table in which image analysis preconditions are set according to the operation timing of such image analysis. In FIG. 8B, the shaded portion indicates a cell including a value corrected from the table of FIG.

最後に各欄の左側の数値が右側の数値よりも小さければ右側の値で左側の値を上書きする。これによりシステムが最低限満たさなければならない長期保存設定の下限値が得られる。以上のような演算の結果、図8(c)のような下限値が得られる。図8(c)において、網掛け部分は、図8(b)の表から修正された値を含むセルを示している。このようにして、管理装置400は、複数の画像データの各々について、当該画像データに対して行われる解析に必要な情報量を有するフォーマットを決定するため、所望の解析を行うことが可能である。   Finally, if the value on the left side of each column is smaller than the value on the right side, the value on the left side is overwritten with the value on the right side. This provides a lower limit for long-term storage settings that the system must meet at a minimum. As a result of the above calculation, a lower limit value as shown in FIG. 8C is obtained. In FIG. 8C, the shaded portion indicates a cell including a value corrected from the table of FIG. In this way, the management apparatus 400 can perform a desired analysis for each of a plurality of image data in order to determine a format having an amount of information necessary for the analysis performed on the image data. .

撮像装置設置位置の活用例として、同じ領域を撮影しているカメラでは録画される画像解像度及びフレームレートの最低値を揃えることが考えられる。画像処理によっては複数カメラからの同一時刻の画像入力を前提としているものがあり、人物位置推定もこれにあたる。このような画像解析を実行する場合、同一領域を撮影する複数のカメラでは間引き後に残す画像のフレーム時刻を揃える必要がある。   As an application example of the imaging device installation position, it is conceivable to align the minimum values of the image resolution and frame rate to be recorded in cameras that capture the same area. Some image processing presupposes image input from a plurality of cameras at the same time, and person position estimation also corresponds to this. When performing such image analysis, it is necessary to align the frame times of images to be left after thinning out in a plurality of cameras that capture the same region.

図9は同一領域を撮影するカメラの録画条件を揃えた例を示す。図4を参照して前述したように、カメラ1〜5は、同一領域である同一室内を撮影している。また、図8のように、カメラ1の画像解像度及びフレームレートの下限は、リアルタイム監視及び各記録条件について、カメラ2〜5の画像解析前提条件よりも大きい。そこで、図9では網掛け部分で示すように、カメラ2〜5の画像解像度及びフレームレートの値が、カメラ1の画像解像度及びフレームレートの値に揃えられている。このように、複数の画像データの各々について、当該画像データを撮影した撮像装置の撮像範囲に応じてフォーマットを決定することで、同一の撮像範囲を対象とする撮像画像を総合して有意な解析を行うことが容易となる。   FIG. 9 shows an example in which the recording conditions of cameras that photograph the same area are aligned. As described above with reference to FIG. 4, the cameras 1 to 5 photograph the same room that is the same area. Further, as shown in FIG. 8, the lower limit of the image resolution and frame rate of the camera 1 is larger than the image analysis preconditions of the cameras 2 to 5 for the real-time monitoring and each recording condition. 9, the image resolution and frame rate values of the cameras 2 to 5 are aligned with the image resolution and frame rate values of the camera 1. In this way, for each of a plurality of image data, by determining the format according to the imaging range of the imaging device that captured the image data, a comprehensive analysis of the captured images targeting the same imaging range is performed. It becomes easy to perform.

図10は、画像を間引き後のフレーム時刻がずれている例と揃っている例を示す。異なるカメラからの画像がそれぞれ8枚あり、4枚に1枚を間引き後に残すようにする。灰色の矩形が間引き後に残る画像、点線が間引き対象の画像を示す。図10(a)のフレームを間引くタイミングがずれている例では、上下で異なる画像が残されていることがわかる。同一領域を撮影する監視カメラでは図10(b)のように残す画像の撮影時刻ができる限り揃っている必要がある。このように、同一の撮影範囲を撮影する撮像装置により取得された画像データの、フレームのタイミング等のフォーマットを、同一のフォーマットに決定することで、一定の撮像範囲の撮像画像を統合した解析が容易となる。   FIG. 10 shows an example in which images are aligned with an example in which the frame time after thinning is shifted. There are 8 images from different cameras, and 1 out of 4 images is left after thinning. A gray rectangle indicates an image remaining after thinning, and a dotted line indicates an image to be thinned. In the example in FIG. 10A in which the timing of thinning out the frames is shifted, it can be seen that different images are left and right. In a surveillance camera that captures the same area, it is necessary that the image capturing times of the images to remain as shown in FIG. In this way, by analyzing the image data acquired by the imaging device that captures the same imaging range, such as the frame timing, the format is determined to be the same format, so that the analysis that integrates the captured images in a certain imaging range is performed. It becomes easy.

S140で、設定記録部420は、長期記録設定の下限を上回る長期記録設定を提示する。できるだけ長時間録画するのであれば下限そのものを提示すればよい。画質を優先するのであればディスク容量を超えない範囲で大きい値を提示する。これはバランスの問題のため、システム設定や利用者設定に基づき、望ましいものを提示する。   In S140, setting recording unit 420 presents a long-term recording setting that exceeds the lower limit of the long-term recording setting. If you want to record for as long as possible, the lower limit itself should be presented. If priority is given to image quality, a large value is presented within a range not exceeding the disk capacity. This is a problem of balance, and it is desirable based on system settings and user settings.

最後に利用者は表示部410で提示された推奨値を確認し、問題がなければS150において、設定記録部420は、設定を反映させる。ここで指示された設定は設定記録部420に記録され、また通信部401を介して画像記録装置200に送られる。送られた設定は設定部202で実際の録画設定として反映される。設定上の矛盾がない場合は設定内容の確認をスキップし、長期記録設定を自動的に行ってもよい。   Finally, the user confirms the recommended value presented on the display unit 410. If there is no problem, the setting recording unit 420 reflects the setting in S150. The setting instructed here is recorded in the setting recording unit 420 and sent to the image recording apparatus 200 via the communication unit 401. The sent setting is reflected in the setting unit 202 as an actual recording setting. If there is no contradiction in setting, confirmation of setting contents may be skipped and long-term recording setting may be automatically performed.

図5では長期記録設定を利用者が初めて行う例を示したが、長期記録設定の提示は任意のタイミングで行ってもよい。例えば利用者が接続カメラ台数を変更した時や、画像解析設定を追加したタイミングで上記の設定を行うと常時矛盾のない長期記録設定を利用者に促すことができる。2回目以降の場合は、長期記録設定がすでにされていることになるが、前述のS140で現在の設定と矛盾があればUI上にその旨を表示することができる。   Although FIG. 5 shows an example in which the user performs the long-term recording setting for the first time, the long-term recording setting may be presented at an arbitrary timing. For example, if the above setting is performed when the user changes the number of connected cameras or when the image analysis setting is added, the user can be urged to make a long-term recording setting without any contradiction. In the second and subsequent times, the long-term recording setting has already been made, but if there is a contradiction with the current setting in S140 described above, that fact can be displayed on the UI.

以上のように、本実施形態の管理装置400は、複数の監視カメラ100によって撮像された複数の画像データを取得し、取得された複数の画像データを、画像解析装置300による解析対象として画像記録装置200に記憶させる記憶制御を行う。ここで、管理装置400は、各画像データについて、その画像データに対して行われる解析の内容に応じて、画像データの画像記録装置200におけるフォーマットを決定し、その決定されたフォーマットで複数の画像データを画像記録装置200に記憶させる。このため、ユーザが手作業で設定しなくても、各画像データについてその解析の内容に応じた適切な記録設定を容易に設定することが可能である。また、画像データの撮影からの経過時間に応じて、当該画像データのフォーマットを決定することで、画像解析設定と長期記録設定を矛盾なく簡単に設定することが可能である。   As described above, the management apparatus 400 according to the present embodiment acquires a plurality of image data captured by the plurality of monitoring cameras 100, and records the acquired plurality of image data as analysis targets by the image analysis apparatus 300. Storage control to be stored in the apparatus 200 is performed. Here, the management apparatus 400 determines the format of the image data in the image recording apparatus 200 for each image data in accordance with the content of the analysis performed on the image data, and a plurality of images in the determined format. Data is stored in the image recording apparatus 200. For this reason, even if the user does not manually set, it is possible to easily set an appropriate recording setting corresponding to the content of the analysis for each image data. In addition, by determining the format of the image data according to the elapsed time since the image data was captured, it is possible to easily set the image analysis setting and the long-term recording setting without contradiction.

<実施形態2>
本発明の第二の実施形態(実施形態2)では画像解析設定、カメラ設置位置だけでなく、ディスク状況やネットワークの混雑状況も使用する。
<Embodiment 2>
In the second embodiment (Embodiment 2) of the present invention, not only image analysis settings and camera installation positions but also disk status and network congestion status are used.

具体的には、図5のS120でシステム状況を収集する際に、S123で、状態確認部433がディスク状況を取得する。図11にディスク状況の例を示す。この例では画像記録装置200に性能の異なるディスクが3つ接続されている。ディスク3は高速に読み書きができるが低容量、ディスク2は記録容量が大きく、RAIDにより故障耐性が保障されているが読み書き速度が最も遅い。ディスク1は速度とサイズのバランスが取れたディスクとなっている。   Specifically, when collecting the system status in S120 of FIG. 5, the status confirmation unit 433 acquires the disk status in S123. FIG. 11 shows an example of the disk status. In this example, three disks having different performances are connected to the image recording apparatus 200. The disk 3 can read and write at high speed, but has a low capacity. The disk 2 has a large recording capacity, and its fault tolerance is guaranteed by RAID, but the reading and writing speed is the slowest. The disk 1 is a disk with a balance between speed and size.

この環境下で、画像解析により大量の読み書きデータ量が発生するカメラの画像をディスク2へ、画像解析を行う予定のない長期記録用の画像をディスク3へ、それ以外のデータはディスク1へ保存する。具体的には、「人物位置推定」、「通過人数カウント」を行う画像はディスク3へ、「年齢推定」、「性別推定」を行う画像はディスク1へ、画像解析を行わない画像はディスク2へ記録する。この場合、長期記録データの記録先は図12のようになる。   Under this environment, the image of the camera that generates a large amount of read / write data by image analysis is stored on the disk 2, the image for long-term recording that is not scheduled to be analyzed is stored on the disk 3, and the other data is stored on the disk 1. To do. Specifically, an image for performing “person position estimation” and “passing person count” is to disk 3, an image for “age estimation” and “gender estimation” is to disk 1, and an image for which image analysis is not performed is to disk 2. To record. In this case, the recording destination of the long-term recording data is as shown in FIG.

実際には書き込み可能なディスクI/O速度を超えたり、記録容量を超えたりことが起こりうる。そこで、データの保存の後にディスクごとに問題がないかを確認する必要がある。   Actually, the writable disc I / O speed may be exceeded or the recording capacity may be exceeded. Therefore, it is necessary to check whether there is a problem for each disk after data storage.

図13に記録容量の観点からディスク別に記録容量をまとめた図を示す。今回は記録設定の下限を基に算出したためI/O速度、ディスク容量を超えることはないが、カメラ台数が増えたり、画像解像度・フレームレートを高く設定したりした場合はディスク容量を上回ることもある。この時は一部のカメラの画像記録をより高性能の別ディスクに変更する。現在のディスク容量では算出した長期記録設定が不可能な場合は警告を促す。なお、図13では、画像の1フレームあたりのデータサイズは以下のとおりである。
・1920×1080画素:10KB。
・960×540画素:40KB。
・480×270画素:10KB。
FIG. 13 shows a summary of recording capacities for each disc from the viewpoint of recording capacities. This time, it was calculated based on the lower limit of the recording setting, so it does not exceed the I / O speed and disk capacity, but it may exceed the disk capacity when the number of cameras increases or the image resolution and frame rate are set high. is there. At this time, the image recording of some cameras is changed to another disk with higher performance. If the long-term recording setting calculated with the current disk capacity is not possible, a warning is prompted. In FIG. 13, the data size per frame of the image is as follows.
-1920 × 1080 pixels: 10 KB.
960 × 540 pixels: 40 KB.
480 × 270 pixels: 10 KB.

以上のように、本実施形態では、画像記録装置200の状況に応じて、画像データのフォーマットを決定する。具体的には、例えば、各画像データを、複数のディスクのうちの、当該画像データに対して行われる解析の内容と、ディスクの状況との少なくともいずれかに応じて決定されるディスクに記憶させる。ここで、ディスクの状況には、空き容量と読み書き速度との少なくともいずれかが含まれる。このため、煩雑な手作業を要することなく、ディスクの状況に応じてより適切な記憶媒体に撮像画像を記録させることが可能となる。   As described above, in the present embodiment, the format of image data is determined according to the status of the image recording apparatus 200. Specifically, for example, each image data is stored in a disk that is determined in accordance with at least one of the contents of analysis performed on the image data and the state of the disk among a plurality of disks. . Here, the status of the disk includes at least one of free space and read / write speed. For this reason, it is possible to record the captured image in a more appropriate storage medium according to the state of the disc without requiring complicated manual work.

同様のチェックはディスクだけでなくネットワーク帯域についても行う。すなわち、S124で、帯域確認部434がネットワーク帯域の使用状況を取得し、その帯域ではデータ転送が困難ないし不可能となる一定条件を満たすときは、別のネットワークにつながれたディスクを選択したり、警告を促したりする。例えば、ネットワークの輻輳が発生している場合(ネットワークを流れるデータサイズが閾値以上、廃棄パケットの割合が閾値以上など)や、記録データサイズの書き込み速度が超えていた場合は、このような条件に該当する。   The same check is performed not only for the disk but also for the network bandwidth. That is, in S124, the bandwidth confirmation unit 434 acquires the usage status of the network bandwidth, and when a certain condition that makes it difficult or impossible to transfer data in that bandwidth is satisfied, a disk connected to another network is selected, Or prompt a warning. For example, if the network is congested (the size of data flowing through the network is greater than or equal to the threshold, the percentage of discarded packets is greater than or equal to the threshold, etc.), or the write speed of the recorded data size is exceeded, this condition is used. Applicable.

このように、各画像データを、複数のディスクのうちの、複数の撮像装置とディスクとの間の通信速度に応じて決定されるディスクに記憶させることで、画像の欠損や解析の不良を回避することが可能となる。   In this way, each image data is stored in a disk determined according to the communication speed between a plurality of imaging devices and the disk among a plurality of disks, thereby avoiding image loss and analysis failure. It becomes possible to do.

以上のように本発明の各実施形態では、監視カメラシステムにおいて、
・同一領域を撮影しているかが判断可能な撮像装置設置位置。
・解析実行タイミングや対象カメラを含む画像解析設定。
・空き容量・読み書き速度を含む記録部の動作状態。
・カメラと記録部をつなぐネットワーク帯域の使用状況。
等に応じて、画像データの長期記録設定を行う。このため、監視カメラが複数接続された大規模なシステムにおいても、映像解析設定と矛盾のない、画像の長期記録を簡単に設定することができる。
As described above, in each embodiment of the present invention, in the surveillance camera system,
An imaging device installation position from which it can be determined whether the same area is captured.
-Image analysis settings including analysis execution timing and target camera.
・ Operation status of the recording unit including free space and read / write speed.
-Network bandwidth usage between the camera and recording unit.
In accordance with the above, long-term recording setting of image data is performed. For this reason, even in a large-scale system in which a plurality of surveillance cameras are connected, it is possible to easily set long-term image recording that is consistent with video analysis settings.

<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100:監視カメラ、200:画像記録装置、300:画像解析装置、400:管理装置、401:通信部、410:表示部、420:設定記録部、430:収集部、431:設定確認部、432:位置確認部、433:状態確認部、434:帯域確認部、500:LAN 100: monitoring camera, 200: image recording device, 300: image analysis device, 400: management device, 401: communication unit, 410: display unit, 420: setting recording unit, 430: collection unit, 431: setting confirmation unit, 432 : Position confirmation unit, 433: state confirmation unit, 434: band confirmation unit, 500: LAN

Claims (13)

複数の撮像装置と、
前記複数の撮像装置により撮像された複数の画像データを記憶する記憶装置と、
前記記憶装置に記憶された画像データを解析する解析装置と、
前記複数の撮像装置と、前記記憶装置と、前記解析装置とを管理する管理装置と、
を備える撮影システムであって、
前記管理装置は、
前記複数の撮像装置によって撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された前記複数の画像データを、前記解析装置による解析対象として前記記憶装置に記憶させる記憶制御手段と、
前記複数の画像データの各々について、当該画像データに対して行われる前記解析装置による解析の内容に応じて、当該画像データの前記記憶装置におけるフォーマットを決定する決定手段と
を備え、
前記記憶制御手段は、前記決定手段により決定されたフォーマットで前記複数の画像データを記憶手段に記憶させる
ことを特徴とする撮影システム。
A plurality of imaging devices;
A storage device for storing a plurality of image data captured by the plurality of imaging devices;
An analysis device for analyzing the image data stored in the storage device;
A management device that manages the plurality of imaging devices, the storage device, and the analysis device;
A photographing system comprising:
The management device
Obtaining means for obtaining a plurality of image data imaged by the plurality of imaging devices;
Storage control means for storing the plurality of image data acquired by the acquisition means in the storage device as an analysis target by the analysis device;
Determining means for determining the format of the image data in the storage device according to the content of the analysis performed on the image data by the analysis device for each of the plurality of image data;
The storage control unit causes the storage unit to store the plurality of image data in a format determined by the determination unit.
複数の撮像装置によって撮像された複数の画像データを取得する取得手段と、
前記取得手段により取得された前記複数の画像データを、解析手段による解析対象として記憶手段に記憶させる記憶制御手段と、
前記複数の画像データの各々について、画像データに対して行われる前記解析手段による解析の内容に応じて、当該画像データの前記記憶手段におけるフォーマットを決定する決定手段と
を備え、
前記記憶制御手段は、前記決定手段により決定されたフォーマットで前記複数の画像データを前記記憶手段に記憶させる
ことを特徴とする情報処理装置。
Acquisition means for acquiring a plurality of image data captured by a plurality of imaging devices;
Storage control means for storing the plurality of image data acquired by the acquisition means in a storage means as an analysis object by the analysis means;
Determining means for determining the format of the image data in the storage means according to the content of the analysis by the analyzing means performed on the image data for each of the plurality of image data;
The information processing apparatus, wherein the storage control unit stores the plurality of image data in the storage unit in a format determined by the determination unit.
前記画像データは動画像データであり、
前記画像データのフォーマットには、画像サイズ及びフレームレートの少なくともいずれかが含まれ、
前記決定手段は、前記複数の画像データの各々について、当該画像データに対して行われる解析に必要な情報量を有するフォーマットを決定する
ことを特徴とする請求項2に記載の情報処理装置。
The image data is moving image data,
The format of the image data includes at least one of an image size and a frame rate,
The information processing apparatus according to claim 2, wherein the determining unit determines a format having an amount of information necessary for analysis performed on the image data for each of the plurality of image data.
前記決定手段は、前記複数の画像データの各々について、当該画像データを撮影した撮像装置の撮像範囲に応じて前記フォーマットを決定することを特徴とする請求項3に記載の情報処理装置。   The information processing apparatus according to claim 3, wherein the determination unit determines the format of each of the plurality of image data according to an imaging range of an imaging apparatus that has captured the image data. 前記決定手段は、同一の撮影範囲を撮影する撮像装置により取得された画像データのフォーマットを同一のフォーマットに決定することを特徴とする請求項4に記載の情報処理装置。   The information processing apparatus according to claim 4, wherein the determination unit determines the format of the image data acquired by the imaging apparatus that captures the same imaging range to be the same format. 前記画像データのフォーマットには、画像データのフレームのタイミングが含まれ、
前記決定手段は、同一の撮影範囲を撮影する撮像装置により取得された画像データのフレームのタイミングを同一のタイミングに決定することを特徴とする請求項4又は5に記載の情報処理装置。
The format of the image data includes the frame timing of the image data,
6. The information processing apparatus according to claim 4, wherein the determination unit determines the timing of frames of image data acquired by an imaging device that captures the same imaging range as the same timing.
前記決定手段は、前記記憶手段の状況に応じて、前記フォーマットを決定することを特徴とする請求項2から6のいずれか1項に記載の情報処理装置。   The information processing apparatus according to claim 2, wherein the determination unit determines the format according to a status of the storage unit. 前記記憶制御手段は、前記複数の画像データの各々を、複数の記憶手段のうちの、当該画像データに対して行われる解析の内容と、記憶手段の状況との少なくともいずれかに応じて決定される記憶手段に記憶させることを特徴とする請求項2から6のいずれか1項に記載の情報処理装置。   The storage control means determines each of the plurality of image data according to at least one of the contents of analysis performed on the image data of the plurality of storage means and the status of the storage means. The information processing apparatus according to claim 2, wherein the information processing apparatus stores the information in a storage unit. 前記記憶手段の状況には、空き容量と読み書き速度との少なくともいずれかが含まれることを特徴とする請求項7又は8に記載の情報処理装置。   The information processing apparatus according to claim 7 or 8, wherein the status of the storage unit includes at least one of a free capacity and a read / write speed. 前記記憶制御手段は、前記複数の画像データの各々を、複数の記憶手段のうちの、前記複数の撮像装置と記憶手段との間の通信速度に応じて決定される記憶手段に記憶させることを特徴とする請求項2から9のいずれか1項に記載の情報処理装置。   The storage control unit stores each of the plurality of image data in a storage unit that is determined according to a communication speed between the plurality of imaging devices and the storage unit among the plurality of storage units. The information processing apparatus according to any one of claims 2 to 9, wherein the information processing apparatus is characterized in that: 前記決定手段は、画像データの撮影からの経過時間に応じて、当該画像データの前記フォーマットを決定することを特徴とする請求項2から10のいずれか1項に記載の情報処理装置。   The information processing apparatus according to any one of claims 2 to 10, wherein the determination unit determines the format of the image data according to an elapsed time since the image data was captured. 取得手段が、複数の撮像装置によって撮像された複数の画像データを取得する取得工程と、
決定手段が、前記複数の画像データの各々について、画像データに対して行われる解析手段による解析の内容に応じて、当該画像データのフォーマットを決定する決定工程と
記憶制御手段が、前記取得工程により取得された前記複数の画像データを、前記解析手段による解析対象として記憶手段に記憶させる記憶制御工程と、
を備え、
前記記憶制御工程においては、前記決定工程により決定されたフォーマットで前記複数の画像データを前記記憶手段に記憶させる
ことを特徴とする情報処理装置の制御方法。
An acquisition step in which the acquisition means acquires a plurality of image data captured by the plurality of imaging devices;
The determining means determines the format of the image data for each of the plurality of image data according to the content of the analysis by the analyzing means performed on the image data, and the storage control means is determined by the acquiring process. A storage control step of storing the acquired plurality of image data in a storage unit as an analysis target by the analysis unit;
With
In the storage control step, the storage device stores the plurality of image data in the format determined by the determination step.
コンピュータを請求項2から11のいずれか1項に記載の情報処理装置が備える各手段として機能させるためのコンピュータプログラム。   The computer program for functioning a computer as each means with which the information processing apparatus of any one of Claim 2 to 11 is provided.
JP2016009138A 2016-01-20 2016-01-20 Information processing apparatus, information processing method, and program Active JP6663229B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016009138A JP6663229B2 (en) 2016-01-20 2016-01-20 Information processing apparatus, information processing method, and program
US15/409,968 US20170208242A1 (en) 2016-01-20 2017-01-19 Information processing apparatus, information processing method, and computer-readable non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016009138A JP6663229B2 (en) 2016-01-20 2016-01-20 Information processing apparatus, information processing method, and program

Publications (3)

Publication Number Publication Date
JP2017130798A true JP2017130798A (en) 2017-07-27
JP2017130798A5 JP2017130798A5 (en) 2019-02-07
JP6663229B2 JP6663229B2 (en) 2020-03-11

Family

ID=59314055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016009138A Active JP6663229B2 (en) 2016-01-20 2016-01-20 Information processing apparatus, information processing method, and program

Country Status (2)

Country Link
US (1) US20170208242A1 (en)
JP (1) JP6663229B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107734279A (en) * 2017-10-11 2018-02-23 惠州Tcl移动通信有限公司 Mobile terminal and video recording automatically configure processing method and storage medium when recording
US10917563B2 (en) * 2018-12-07 2021-02-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP7314528B2 (en) * 2019-02-26 2023-07-26 富士フイルムビジネスイノベーション株式会社 Information processing device and program
JP7259732B2 (en) 2019-12-23 2023-04-18 横河電機株式会社 Distribution server, method and program
JP7205457B2 (en) * 2019-12-23 2023-01-17 横河電機株式会社 Apparatus, system, method and program

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153177A (en) * 2001-11-08 2003-05-23 Mega Chips Corp Device and method for image video recording
JP2006270175A (en) * 2005-03-22 2006-10-05 Megachips System Solutions Inc System for recording vehicle mounted image
JP2007104091A (en) * 2005-09-30 2007-04-19 Fujifilm Corp Image selection apparatus, program, and method
JP2008141354A (en) * 2006-11-30 2008-06-19 Sanyo Electric Co Ltd Image coding apparatus and imaging apparatus
JP2009077092A (en) * 2007-09-20 2009-04-09 Hitachi Ltd Multi-camera system
US20090141939A1 (en) * 2007-11-29 2009-06-04 Chambers Craig A Systems and Methods for Analysis of Video Content, Event Notification, and Video Content Provision
JP2011114784A (en) * 2009-11-30 2011-06-09 Mega Chips Corp Monitoring system
WO2013150838A1 (en) * 2012-04-05 2013-10-10 ソニー株式会社 Image processing device and image processing method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
JP2002044609A (en) * 2000-07-31 2002-02-08 Matsushita Electric Ind Co Ltd Picture recorder and monitoring device
EP1867161A4 (en) * 2005-03-17 2011-08-24 Videocells Ltd A method for a clustered centralized streaming system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153177A (en) * 2001-11-08 2003-05-23 Mega Chips Corp Device and method for image video recording
JP2006270175A (en) * 2005-03-22 2006-10-05 Megachips System Solutions Inc System for recording vehicle mounted image
JP2007104091A (en) * 2005-09-30 2007-04-19 Fujifilm Corp Image selection apparatus, program, and method
JP2008141354A (en) * 2006-11-30 2008-06-19 Sanyo Electric Co Ltd Image coding apparatus and imaging apparatus
JP2009077092A (en) * 2007-09-20 2009-04-09 Hitachi Ltd Multi-camera system
US20090141939A1 (en) * 2007-11-29 2009-06-04 Chambers Craig A Systems and Methods for Analysis of Video Content, Event Notification, and Video Content Provision
JP2011114784A (en) * 2009-11-30 2011-06-09 Mega Chips Corp Monitoring system
WO2013150838A1 (en) * 2012-04-05 2013-10-10 ソニー株式会社 Image processing device and image processing method

Also Published As

Publication number Publication date
JP6663229B2 (en) 2020-03-11
US20170208242A1 (en) 2017-07-20

Similar Documents

Publication Publication Date Title
JP6663229B2 (en) Information processing apparatus, information processing method, and program
KR101753056B1 (en) Display controlling apparatus and displaying method
JP6914007B2 (en) Information processing device and information processing method
US20160373660A1 (en) Display control apparatus, display controlling method, and program
US20100194920A1 (en) Behaviorally-based software acceleration for digital camera operations
JP6808358B2 (en) Image processing equipment, image processing methods and programs
CN103516978B (en) Photography control device and capture control method
JP2018191051A (en) Controller, control method and program
JP2004357126A (en) Imaging apparatus, system, and method
US9462182B2 (en) Imaging apparatus and control method thereof
US8711240B2 (en) Data recording apparatus with recording control based on defect block and control method thereof
WO2017219442A1 (en) Image preview method and apparatus
US9307152B2 (en) Display control apparatus and camera system where dialogue box is displayed based on display mode
US8780212B2 (en) Captured image display apparatus and method thereof
CN115134633B (en) Remote video method and related device
CN116830568A (en) View-independent multiple camera volume capture system
JP2022169241A (en) Imaging device
US20130135485A1 (en) Electronic apparatus
CN108174102A (en) A kind of method and system of the image for obtaining dynamic object
US20220368827A1 (en) Image capturing apparatus and method of controlling the same, and storage medium
TWI653886B (en) Picture transmision method and photographic device
JP2015185919A (en) Display control unit, information processing method, and program
JP2018098627A (en) Information processing device, information processing method, and program
JP2009303114A (en) Electronic imaging apparatus
CN117724653A (en) Storage management method, storage management device, electronic equipment and storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200214

R151 Written notification of patent or utility model registration

Ref document number: 6663229

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151