JP2016039409A - Image processing device, its control method, program, and storage medium - Google Patents
Image processing device, its control method, program, and storage medium Download PDFInfo
- Publication number
- JP2016039409A JP2016039409A JP2014159759A JP2014159759A JP2016039409A JP 2016039409 A JP2016039409 A JP 2016039409A JP 2014159759 A JP2014159759 A JP 2014159759A JP 2014159759 A JP2014159759 A JP 2014159759A JP 2016039409 A JP2016039409 A JP 2016039409A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- information
- area
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 116
- 230000008859 change Effects 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 28
- 230000015654 memory Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000011161 development Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 230000006837 decompression Effects 0.000 description 5
- 230000002950 deficient Effects 0.000 description 4
- 230000004075 alteration Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体の暗部領域を再現するための画像処理技術に関する。 The present invention relates to an image processing technique for reproducing a dark area of a subject.
暗いシーンで被写体にストロボを発光せずに撮影を行うと、被写体の凹凸などにより、被写体の一部が影となり、薄暗くなった画像や、黒く潰れた画像になってしまうことがある。また、暗いシーンでストロボを発光して撮影を行うと、暗いシーンで灯りの雰囲気を残すことができないため、撮影画像に色補正などを行い画像を加工する必要がある。 When shooting in a dark scene without flashing the subject, a part of the subject may become a shadow due to the unevenness of the subject, resulting in a darkened image or a blackish image. In addition, when shooting with a flash in a dark scene, it is not possible to leave a light atmosphere in the dark scene, so it is necessary to perform color correction on the captured image to process the image.
一方、暗いシーンの動画撮影において被写体周辺の光量と被写体の動きによって、被写体の一部が光の当たらない暗部領域となってしまうことがある。この暗部領域は、輝度情報と共に色情報も失われてしまうため、フレームによって被写体と背景の境界が不明確になる場合がある。 On the other hand, in moving image shooting of a dark scene, a part of the subject may become a dark area where no light is irradiated due to the amount of light around the subject and the movement of the subject. In this dark area, the luminance information and the color information are lost, so the boundary between the subject and the background may be unclear depending on the frame.
このような画像の色補正や暗部領域の失われた画素情報に関して、特許文献1には、可視光画像から得た色情報と、可視光以外の波長の画像、例えば赤外光画像から得た輝度情報とを合成し、暗部の色情報を補正する技術が記載されている。 Regarding such color correction of the image and pixel information lost in the dark area, Patent Document 1 discloses color information obtained from a visible light image and an image having a wavelength other than visible light, for example, an infrared light image. A technique is described in which luminance information is combined with color information in a dark part.
しかしながら、上記特許文献1には、被写体の一部が暗部領域となってしまったときの色情報の補正方法や、暗部領域における失われた色情報の補正方法について何ら記述されていない。 However, Patent Document 1 does not describe any correction method for color information when a part of a subject becomes a dark area, or a correction method for lost color information in a dark area.
本発明は、上記課題に鑑みてなされ、その目的は、被写体の暗部領域を再現することができる画像処理技術を実現することである。 The present invention has been made in view of the above problems, and an object thereof is to realize an image processing technique capable of reproducing a dark area of a subject.
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、第1の波長の光から生成された第1の画像を取得する第1の画像取得手段と、第2の波長の光から生成された第2の画像を取得する第2の画像取得手段と、前記第1の画像における被写体領域に含まれる所定の第1の領域の第1の情報と、前記第1の領域に対応する前記第2の画像の第2の領域の第1の情報とを比較することにより、前記第1の画像の第1の領域の第2の情報を、当該第1の領域とは異なる領域の第2の情報を用いて補正する補正手段と、を有する。 In order to solve the above-described problems and achieve the object, an image processing apparatus of the present invention includes a first image acquisition unit that acquires a first image generated from light having a first wavelength, and a second wavelength. Second image acquisition means for acquiring a second image generated from the light of the first, first information of a predetermined first area included in a subject area in the first image, and the first area The second information of the first region of the first image is different from the first region by comparing the first information of the second region of the second image corresponding to And correction means for correcting using the second information of the area.
本発明によれば、被写体の暗部領域を再現することができる。 According to the present invention, the dark area of the subject can be reproduced.
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。 Hereinafter, embodiments for carrying out the present invention will be described in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment. Moreover, you may comprise combining suitably one part of each embodiment mentioned later.
以下、本発明の画像処理装置を、動画や静止画を撮影するデジタルカメラなどの撮像装置により実現した例について説明するが、本発明は撮像装置を内蔵または追加可能な携帯電話やスマートフォン、タブレット、パーソナルコンピュータ、ゲーム機などの電子機器にも適用可能である。 Hereinafter, an example in which the image processing apparatus of the present invention is realized by an imaging apparatus such as a digital camera that shoots a moving image or a still image will be described, but the present invention can be applied to a mobile phone, a smartphone, a tablet, The present invention can also be applied to electronic devices such as personal computers and game machines.
<装置構成>図1を参照して、本実施形態の撮像装置(以下、カメラ)の構成および機能について説明する。 <Apparatus Configuration> With reference to FIG. 1, the configuration and functions of an image pickup apparatus (hereinafter referred to as a camera) of this embodiment will be described.
図1において、光学系100は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含み、被写体から反射した可視光および赤外光を透過し撮像素子に結像する。 In FIG. 1, an optical system 100 includes a lens group including a zoom lens and a focus lens, and a shutter having a diaphragm function, and transmits visible light and infrared light reflected from a subject to form an image on an image sensor.
第1および第2の撮像部101、108はそれぞれ、被写体像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子を含む。第1および第2のA/D変換器102、109はそれぞれ、撮像素子から出力されるアナログ信号をデジタル信号に変換する。 Each of the first and second imaging units 101 and 108 includes an imaging element constituted by a CCD, a CMOS element, or the like that converts a subject image into an electrical signal. Each of the first and second A / D converters 102 and 109 converts an analog signal output from the image sensor into a digital signal.
第1および第2のタイミングジェネレータ(TG)106、111は、第1および第2の撮像部101、108の各撮像素子を駆動する駆動パルス(タイミング信号)を生成する。 The first and second timing generators (TG) 106 and 111 generate drive pulses (timing signals) for driving the image sensors of the first and second imaging units 101 and 108.
第1および第2の撮像素子駆動部105、110はそれぞれ、第1および第2のTG106、111の駆動パルスに従って、第1および第2の撮像部101、108の各撮像素子の撮像動作を制御する。各撮像素子で生成されたアナログ信号は、CPU107の指令に従って各TG106、111から与えられる駆動パルスに基づいて順次読み出され、各A/D変換部102、109によりデジタル信号に変換されて信号処理部104に送出される。 The first and second imaging element driving units 105 and 110 control the imaging operation of each imaging element of the first and second imaging units 101 and 108 according to the driving pulses of the first and second TGs 106 and 111, respectively. To do. The analog signal generated by each image sensor is sequentially read based on the drive pulse given from each TG 106, 111 in accordance with a command from the CPU 107, converted into a digital signal by each A / D converter 102, 109, and signal processing Sent to the unit 104.
CPU107は、カメラ本体の種々の制御を司るために、演算部、ROM、RAM、通信I/F(インターフェース)などを有する。CPU107は、ROMに記憶された所定のプログラムに基づいて、カメラの各部を駆動し、AF、撮影、画像処理と記録などの一連の動作を実行する。 The CPU 107 includes a calculation unit, a ROM, a RAM, a communication I / F (interface), and the like in order to control various controls of the camera body. The CPU 107 drives each part of the camera based on a predetermined program stored in the ROM, and executes a series of operations such as AF, shooting, image processing, and recording.
操作部103は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネルなどの操作部材からなり、例えば、電源スイッチ、シャッタースイッチ、録画スイッチ、モード切替スイッチなどを含む。モード切替スイッチは、CPU107の動作モードを静止画撮影モード、動画記録モード、再生モードなどに切り替える。 The operation unit 103 includes operation members such as various switches that accept various operations from the user, buttons, and a touch panel, and includes, for example, a power switch, a shutter switch, a recording switch, and a mode switch. The mode switch switches the operation mode of the CPU 107 to a still image shooting mode, a moving image recording mode, a playback mode, or the like.
信号処理部104は、各撮像部101、108で撮像され、各A/D変換部102、109から出力される静止画や動画などの画像データに対して、所定の画素補間、リサイズ、後述する色補正やガンマ処理といった各種信号処理を行う。 The signal processing unit 104 captures images by the image capturing units 101 and 108 and outputs image data such as still images and moving images output from the A / D conversion units 102 and 109 with predetermined pixel interpolation, resizing, which will be described later. Various signal processing such as color correction and gamma processing is performed.
データバス112は、各種データや制御情報などをカメラの各ブロックに送出するための伝送路として機能する。 The data bus 112 functions as a transmission path for sending various data and control information to each block of the camera.
信号処理部104により各種信号処理が施された画像データは、データバス112を介してメモリ制御部113、表示制御部115、記録制御部118、圧縮/伸長部117に送出される。 The image data that has been subjected to various signal processing by the signal processing unit 104 is sent to the memory control unit 113, the display control unit 115, the recording control unit 118, and the compression / decompression unit 117 via the data bus 112.
メモリ制御部113は、画像データのメモリ114への書き込みや読み出しを制御する。メモリ114は例えばDRAMであり、信号処理部104から出力される画像データや、表示部116に表示するための画像データを格納する。また、メモリ114は、画像データの圧縮/伸張処理における作業用メモリとしても使用される。メモリ114は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。 The memory control unit 113 controls writing and reading of image data to and from the memory 114. The memory 114 is, for example, a DRAM, and stores image data output from the signal processing unit 104 and image data to be displayed on the display unit 116. The memory 114 is also used as a working memory in image data compression / decompression processing. The memory 114 has a storage capacity sufficient to store a predetermined number of still images and a predetermined time of moving images and audio.
表示制御部115は、信号処理部104から出力されメモリ114に格納された画像データや記録媒体119から読み出されメモリ114に格納された画像データを表示用のアナログ信号に変換して表示部116に表示する。表示部116は、LCDなどの表示器にアナログ信号に応じた表示を行う。また、表示制御部115は、信号処理部104から出力されメモリ114に格納された画像データを表示用のアナログ信号に変換して表示部116に逐次転送して表示することで、電子ビューファインダとして機能し、ライブビュー画像表示を行える。なお、表示部116には、表示部116に対する接触を検知可能なタッチパネルを一体的に構成することができる。この場合、後述する追尾処理において追尾する被写体をユーザが指定するための手段として、タッチパネルが用いられる。 The display control unit 115 converts the image data output from the signal processing unit 104 and stored in the memory 114 or the image data read from the recording medium 119 and stored in the memory 114 into an analog signal for display, and then the display unit 116. To display. The display unit 116 performs display corresponding to an analog signal on a display device such as an LCD. In addition, the display control unit 115 converts the image data output from the signal processing unit 104 and stored in the memory 114 into an analog signal for display, and sequentially transfers and displays the image data on the display unit 116, thereby providing an electronic viewfinder. Functions and can display live view images. Note that a touch panel capable of detecting contact with the display unit 116 can be integrally formed with the display unit 116. In this case, a touch panel is used as means for the user to specify a subject to be tracked in a tracking process to be described later.
記録制御部118は、画像データの記録媒体119への書き込みや読み出しを制御する。記録媒体119は、メモリカードやハードディスクなどであり、半導体メモリや磁気ディスクなどを含む。 The recording control unit 118 controls writing and reading of image data to and from the recording medium 119. The recording medium 119 is a memory card or a hard disk, and includes a semiconductor memory or a magnetic disk.
圧縮/伸張部117は、信号処理部104から出力されメモリ114に格納されている画像データを、静止画ならばJPEG、動画ならばH.264などの所定のフォーマットまたはビットレートで圧縮符号化して静止画や動画のファイルを生成する。また、圧縮/伸張部117は、記録媒体119に記録されている静止画ファイルや動画ファイルを所定のビットレートおよびフォーマットで復号し、メモリ制御部113を介してメモリ114に格納する。 The compression / decompression unit 117 outputs the image data output from the signal processing unit 104 and stored in the memory 114 as JPEG for a still image and H.264 for a moving image. A still image or moving image file is generated by compression encoding at a predetermined format such as H.264 or at a bit rate. In addition, the compression / decompression unit 117 decodes the still image file and the moving image file recorded on the recording medium 119 with a predetermined bit rate and format, and stores them in the memory 114 via the memory control unit 113.
圧縮/伸張部117で復号されてメモリ114に格納される画像データは表示制御部115に送出されて表示部116に表示される。 The image data decoded by the compression / decompression unit 117 and stored in the memory 114 is sent to the display control unit 115 and displayed on the display unit 116.
上記構成において、光学系100を透過した光は、例えばハーフミラーやプリズムにより、第1および第2の撮像部101、108に同時に送出される。 In the above configuration, the light transmitted through the optical system 100 is simultaneously transmitted to the first and second imaging units 101 and 108 by, for example, a half mirror or a prism.
第1および第2の撮像部101、108の各撮像素子には、例えば、入射光の波長帯域を制限するための光学フィルタが内蔵されている。これにより、第1の撮像部101は可視光の波長帯域(第1の波長)の光のみを受光し、第2の撮像部108は赤外光の波長帯域(第2の波長)のみ受光するように構成されている。 For example, an optical filter for limiting the wavelength band of incident light is incorporated in each of the imaging elements of the first and second imaging units 101 and 108. Accordingly, the first imaging unit 101 receives only light in the visible light wavelength band (first wavelength), and the second imaging unit 108 receives only the infrared light wavelength band (second wavelength). It is configured as follows.
可視光の被写体像は第1の撮像部101で光電変換されて、アナログ信号として第1のA/D変換部102に送出され、第1のA/D変換部102でデジタル信号に変換されて信号処理部104に送出される。同様に、赤外光の被写体像は第2の撮像部108で光電変換されて、アナログ信号として第2のA/D変換部109に送出され、第2のA/D変換部109でデジタル信号に変換されて信号処理部104に送出される。 The subject image of visible light is photoelectrically converted by the first imaging unit 101, sent as an analog signal to the first A / D converter 102, and converted into a digital signal by the first A / D converter 102. It is sent to the signal processing unit 104. Similarly, the infrared light subject image is photoelectrically converted by the second imaging unit 108 and sent to the second A / D conversion unit 109 as an analog signal, and the second A / D conversion unit 109 outputs a digital signal. And is sent to the signal processing unit 104.
第1の撮像素子駆動部105は、第1のTG106からの駆動パルスに基づき、撮像素子の各画素信号を読み出すための制御を行い、可視光の被写体像の露光時間を制御しながら第1の撮像部101から可視光画像を取得する。同様に、第2の撮像素子駆動部110は、第2のTG111からの駆動パルスに基づき、撮像素子の各画素信号を読み出すための制御を行い、赤外光の被写体像の露光時間を制御しながら第2の撮像部108から赤外光画像を取得する。 The first image sensor driving unit 105 performs control for reading out each pixel signal of the image sensor based on the drive pulse from the first TG 106, and controls the exposure time of the subject image of visible light while controlling the first exposure time. A visible light image is acquired from the imaging unit 101. Similarly, the second image sensor driving unit 110 performs control for reading out each pixel signal of the image sensor based on the drive pulse from the second TG 111, and controls the exposure time of the infrared light subject image. An infrared light image is acquired from the second imaging unit 108.
CPU107は、信号処理部104のパラメータやTG106、111の駆動パルスなどを切り替える。 The CPU 107 switches parameters of the signal processing unit 104, driving pulses of the TGs 106 and 111, and the like.
<信号処理部の構成>次に、図2を参照して、信号処理部104の構成および機能について説明する。 <Configuration of Signal Processing Unit> Next, the configuration and function of the signal processing unit 104 will be described with reference to FIG.
図2において、第1のA/D変換部102から出力される可視光の画像信号は、第1のセンサ補正部200によって、光学系100で生じる色収差や撮像素子のゲインばらつき、欠陥画素判定、欠陥画素補正などの画素補間処理が施される。第1のセンサ補正部200から出力されるデジタル信号は、第1の現像処理部201により現像処理が施され画像データが生成される。ここで現像処理とは、例えばベイヤー画像を同時化処理、ガンマ補正処理などを行いRGB(ベイヤー画像)からYCrCb変換後の可視光画像データを生成することである。 In FIG. 2, the visible light image signal output from the first A / D conversion unit 102 is converted by the first sensor correction unit 200 into chromatic aberration, gain variation of the image sensor, defective pixel determination, Pixel interpolation processing such as defective pixel correction is performed. The digital signal output from the first sensor correction unit 200 is subjected to development processing by the first development processing unit 201 to generate image data. Here, the development processing is to generate visible light image data after YCrCb conversion from RGB (Bayer image) by performing, for example, synchronization processing of a Bayer image, gamma correction processing, and the like.
同様に、第2のA/D変換部109から出力される赤外光の画像信号は、第2のセンサ補正部202によって、光学系100で生じる色収差や撮像素子のゲインばらつき、欠陥画素判定、欠陥画素補正などの画素補間処理が施される。第2のセンサ補正部202から出力されるデジタル信号は、第2の現像処理部203により現像処理が施され画像データが生成される。第2の現像処理部203では、例えば、格子配列状の赤外光の画像信号を輝度情報として、フィルタ処理、ガンマ補正処理などを行い、赤外光画像データを生成する。 Similarly, the infrared light image signal output from the second A / D conversion unit 109 is subjected to chromatic aberration caused by the optical system 100, gain variation of the image sensor, defective pixel determination, and the like by the second sensor correction unit 202. Pixel interpolation processing such as defective pixel correction is performed. The digital signal output from the second sensor correction unit 202 is subjected to development processing by the second development processing unit 203 to generate image data. The second development processing unit 203 performs, for example, filter processing, gamma correction processing, and the like using a grid-arranged infrared light image signal as luminance information to generate infrared light image data.
第1および第2の各現像処理部201、203からの出力データは、補正処理部204に送出されると共に、データバス112を介してメモリ114に記録される。 Output data from the first and second development processing units 201 and 203 are sent to the correction processing unit 204 and recorded in the memory 114 via the data bus 112.
(概要説明1)
以下に説明する実施形態1〜3は、赤外光画像から被写体の形状や陰影(輝度分布)を求め、可視光画像の被写体領域における高輝度領域の色情報(明度、彩度、色相)を用いて、暗部領域の色情報の補正を行う画像処理方法に関する。
(Overview 1)
In the first to third embodiments described below, the shape and shadow (brightness distribution) of the subject are obtained from the infrared light image, and the color information (brightness, saturation, hue) of the high luminance region in the subject region of the visible light image is obtained. The present invention relates to an image processing method for correcting color information in a dark area.
[実施形態1]以下、実施形態1の可視光画像の色補正処理について説明する。 [Embodiment 1] The color correction processing of a visible light image according to Embodiment 1 will be described below.
図3は、本実施形態の色補正処理を実現するための図2の補正処理部204の機能ブロックを示している。 FIG. 3 shows functional blocks of the correction processing unit 204 of FIG. 2 for realizing the color correction processing of this embodiment.
図3において、可視光画像取得部301は、例えば、図1および図2に示す第1の撮像部101、第2のA/D変換部102、第1のセンサ補正部200、第1の現像処理部201に対応する。また、赤外光画像取得部302は、例えば、図1および図2に示す第2の撮像部108、第2のA/D変換部109、第2のセンサ補正部202、第2の現像処理部203に対応する。 In FIG. 3, the visible light image acquisition unit 301 includes, for example, the first imaging unit 101, the second A / D conversion unit 102, the first sensor correction unit 200, and the first development illustrated in FIGS. 1 and 2. This corresponds to the processing unit 201. In addition, the infrared light image acquisition unit 302 includes, for example, the second imaging unit 108, the second A / D conversion unit 109, the second sensor correction unit 202, and the second development processing illustrated in FIGS. This corresponds to the unit 203.
輝度情報比較部303は、可視光画像データの輝度分布情報と赤外光画像データの輝度分布情報とを比較する。 The luminance information comparison unit 303 compares the luminance distribution information of the visible light image data with the luminance distribution information of the infrared light image data.
色補正部304は、輝度情報比較部303による比較結果を用いて、可視光画像の被写体領域における暗部領域の色情報を補正する。 The color correction unit 304 corrects the color information of the dark region in the subject region of the visible light image using the comparison result by the luminance information comparison unit 303.
<色補正処理>次に、図4ないし図7を参照して、図2の補正処理部204による可視光画像の被写体領域における暗部領域の色補正処理について説明する。 <Color Correction Processing> Next, with reference to FIGS. 4 to 7, the color correction processing of the dark area in the subject area of the visible light image by the correction processing section 204 of FIG. 2 will be described.
図4は、図2の補正処理部204による可視光画像データの被写体領域における暗部領域の色補正処理を示すフローチャートである。 FIG. 4 is a flowchart showing the color correction processing of the dark area in the subject area of the visible light image data by the correction processing section 204 of FIG.
なお、図4に示す処理は、CPU107がROMに格納されたプログラムをRAMに展開して実行することにより実現される。 Note that the processing shown in FIG. 4 is realized by the CPU 107 developing and executing a program stored in the ROM on the RAM.
図4において、S401では、信号処理部104は、可視光画像取得部301および赤外光画像取得部302により赤外光画像データ(図5(a))と可視光画像データ(図5(b))を取得する。 4, in S401, the signal processing unit 104 causes the visible light image acquisition unit 301 and the infrared light image acquisition unit 302 to perform infrared light image data (FIG. 5A) and visible light image data (FIG. 5B). )) To get.
図6(a)と図6(b)はそれぞれ、赤外光画像の被写体領域の一部の輝度分布情報と可視光画像の被写体領域の一部の輝度分布情報を例示しており、各画像内の輝度分布情報が最大値10、最小値0として正規化されている。図6(a)に示す赤外光画像の輝度分布の中で、画素601、604を着目領域とすると、輝度情報比較部303は、図6(b)に示す可視光画像の輝度分布のうち、着目領域601に対応する領域602と着目領域601との間の正規化された輝度値の差分、ならびに着目領域604に対応する領域605と着目領域604との間の正規化された輝度情報の差分を算出する(S402)。 FIG. 6A and FIG. 6B illustrate the luminance distribution information of a part of the subject area of the infrared light image and the luminance distribution information of the part of the subject area of the visible light image, respectively. The luminance distribution information is normalized as a maximum value 10 and a minimum value 0. In the luminance distribution of the infrared light image shown in FIG. 6A, assuming that the pixels 601 and 604 are the region of interest, the luminance information comparing unit 303 includes the luminance distribution of the visible light image shown in FIG. , The normalized luminance value difference between the region 602 corresponding to the region of interest 601 and the region of interest 601, and the normalized luminance information between the region 605 corresponding to the region of interest 604 and the region of interest 604. The difference is calculated (S402).
S403では、色補正部304は、S402で算出した差分値を取得し、取得した差分値が小さくなる輝度情報を持つ領域を、可視光画像における着目領域に対応する領域の近傍から探索する。図6の例では、赤外光画像の領域601の輝度値は3、領域601に対応する可視光画像の領域602の輝度値は1であり、差分値は2となる。同様に、領域604と領域605の輝度情報の差分値は1である。領域602の近傍領域603の輝度値3、領域605の近傍領域606の輝度値7であり、もともとの可視光画像の領域602、605と比べて差分値が小さくなることがわかる。 In S403, the color correction unit 304 acquires the difference value calculated in S402, and searches for a region having luminance information in which the acquired difference value is small from the vicinity of the region corresponding to the region of interest in the visible light image. In the example of FIG. 6, the luminance value of the region 601 of the infrared light image is 3, the luminance value of the region 602 of the visible light image corresponding to the region 601 is 1, and the difference value is 2. Similarly, the difference value of the luminance information between the area 604 and the area 605 is 1. The luminance value is 3 in the vicinity region 603 of the region 602 and the luminance value 7 in the vicinity region 606 of the region 605, and it can be seen that the difference value is smaller than the regions 602 and 605 of the original visible light image.
そこで、S403では、色補正部304は、可視光画像の領域603の色情報を取得し、同様に、領域606の色情報を取得する。 Therefore, in S403, the color correction unit 304 acquires the color information of the region 603 of the visible light image, and similarly acquires the color information of the region 606.
S404では、色補正部304は、取得した領域603の色情報を用いて領域602の色情報を補正し、領域606の色情報を用いて領域605の色情報を補正する。 In step S <b> 404, the color correction unit 304 corrects the color information of the area 602 using the acquired color information of the area 603, and corrects the color information of the area 605 using the color information of the area 606.
上述した色補正処理によれば、可視光画像の被写体の暗部領域について色補正がなされた、図7に示すような画像が出力される。 According to the color correction process described above, an image as shown in FIG. 7 is output in which color correction has been performed on the dark area of the subject in the visible light image.
本実施形態のように可視光画像と赤外光画像との間に差分が生じる原因の1つに散乱量の違いがある。赤外光は可視光に比べて散乱量が小さく、赤外光の方がより遠くに光が届きやすい。そのため、被写体からの反射光量が少なく、暗くなっている(可視光が届いていない)状態でも、赤外光では感知することが可能となる。後述する実施形態2および3についても同様のことが言える。 One of the causes of the difference between the visible light image and the infrared light image as in this embodiment is a difference in the amount of scattering. Infrared light has a smaller amount of scattering than visible light, and infrared light tends to reach farther. Therefore, even when the amount of light reflected from the subject is small and it is dark (no visible light reaches), it can be detected with infrared light. The same applies to Embodiments 2 and 3 described later.
また、本実施形態では1つの画素領域の色情報を用いて暗部領域の色情報を補正していたが、複数の画素領域の色情報を用いて補正を行っても良い。 In the present embodiment, the color information of the dark area is corrected using the color information of one pixel area. However, the correction may be performed using the color information of a plurality of pixel areas.
また、本実施形態の赤外光画像の着目領域や可視光画像の画素領域は画素単位であっても、複数画素から構成される画素群であっても良い。 Further, the region of interest of the infrared light image and the pixel region of the visible light image of the present embodiment may be a pixel unit or a pixel group composed of a plurality of pixels.
また、本実施形態の赤外光画像の着目領域の決定方法は、ユーザが画像に応じて任意に決定できる構成であっても、予め設定された条件に基づき決定される構成であっても良い。 In addition, the method of determining the region of interest of the infrared light image according to the present embodiment may be configured such that the user can arbitrarily determine the region of interest according to the image, or may be determined based on preset conditions. .
[実施形態2]次に、図8を参照して、実施形態2の可視光画像の色補正処理について説明する。 [Embodiment 2] Next, the color correction processing of a visible light image according to Embodiment 2 will be described with reference to FIG.
本実施形態は、赤外光画像の着目領域の輝度情報と、着目領域に対応する可視光画像の輝度情報との間の差分の大きさに応じて、可視光画像の被写体領域における暗部領域の色補正処理を実施するか否かを判定する。 In the present embodiment, the dark area in the subject area of the visible light image is determined according to the difference between the luminance information of the focused area of the infrared light image and the luminance information of the visible light image corresponding to the focused area. It is determined whether or not to perform color correction processing.
なお、本実施形態の装置構成は実施形態と同様である。 The apparatus configuration of this embodiment is the same as that of the embodiment.
図8は、本実施形態の色補正処理を示すフローチャートである。 FIG. 8 is a flowchart showing the color correction processing of this embodiment.
図8において、S801、S802、S804は、図4のS401、S402、S403と同様である。 In FIG. 8, S801, S802 and S804 are the same as S401, S402 and S403 in FIG.
S803では、色補正部304は、S802算出された差分値を取得し、取得した差分値と予め設定された閾値とを比較する。比較の結果、差分値が閾値以下の場合は、色補正処理は実施せずに処理を終了する。一方、差分値が閾値より大きい場合は、色補正部304は、着目領域に対応する可視光画像の暗部領域の色情報を補正する(S805)。ここで、閾値が1に設定されていた場合、図6の例では領域601と602の輝度情報の差分値は2であるため、S803の条件を満たす領域601に対してS404と同様に色補正処理を実施する。これに対して、領域604と605の輝度情報の差分値は1であるため、S803の条件を満たさない領域604に対する色補正処理は実施しない。すなわち、輝度情報の差分が閾値以下の可視光画像の領域に対する色補正処理は実施しない。 In step S803, the color correction unit 304 acquires the difference value calculated in step S802, and compares the acquired difference value with a preset threshold value. If the difference value is equal to or smaller than the threshold value as a result of the comparison, the color correction process is not performed and the process ends. On the other hand, when the difference value is larger than the threshold value, the color correction unit 304 corrects the color information of the dark part region of the visible light image corresponding to the region of interest (S805). Here, when the threshold is set to 1, in the example of FIG. 6, the difference value of the luminance information between the areas 601 and 602 is 2, so that the color correction is performed on the area 601 that satisfies the conditions of S803 in the same manner as in S404. Perform the process. On the other hand, since the difference value of the luminance information between the areas 604 and 605 is 1, the color correction process is not performed on the area 604 that does not satisfy the condition of S803. That is, color correction processing is not performed on a visible light image area in which the difference in luminance information is equal to or less than a threshold value.
本実施形態によれば、可視光画像の被写体の暗部領域について色補正がなされた、図7に示すような画像が出力される。 According to the present embodiment, an image as shown in FIG. 7 in which color correction is performed on the dark region of the subject in the visible light image is output.
本実施形態においても実施形態1と同様に、1つの領域の色情報を用いて別の領域の色情報を補正していたが、複数の領域の色情報を用いて補正を行っても良い。 Also in the present embodiment, as in the first embodiment, the color information of another region is corrected using the color information of one region, but the correction may be performed using the color information of a plurality of regions.
また、本実施形態の赤外光画像の着目領域の決定方法は、ユーザが画像に応じて任意に決定できる構成であっても、予め設定された条件に基づき決定される構成であっても良い。 In addition, the method of determining the region of interest of the infrared light image according to the present embodiment may be configured such that the user can arbitrarily determine the region of interest according to the image, or may be determined based on preset conditions. .
また、閾値と輝度情報の差分値との関係は、本実施形態の限りではない。 Further, the relationship between the threshold value and the difference value of the luminance information is not limited to this embodiment.
また、本実施形態では、可視光画像の輝度情報と赤外光画像の輝度情報の差分値を用いて色補正処理を実施するか否かを判定しているが、可視光画像および/または赤外光画像の輝度の信号レベルの大きさによって重みづけを行った上で、補正処理を実施するか判定する構成としても良い。この場合、例えば着目領域に対応する可視光画像の領域の輝度の信号レベルが小さいほど、色補正が実施されやすくなるような重みづけを行うことにより、輝度情報の差分値が1の領域であっても、可視光画像と赤外光画像の輝度の信号レベルが例えば9:10ならば補正処理を実施せず、0:1の場合は実施するというような構成となる。 Further, in the present embodiment, it is determined whether or not the color correction processing is performed using the difference value between the luminance information of the visible light image and the luminance information of the infrared light image, but the visible light image and / or red A configuration may be adopted in which weighting is performed according to the level of the luminance signal level of the external light image, and whether correction processing is to be performed is determined. In this case, for example, by performing weighting so that the color correction is more easily performed as the luminance signal level of the visible light image region corresponding to the region of interest is smaller, the difference value of the luminance information is one. However, if the luminance signal level of the visible light image and the infrared light image is, for example, 9:10, the correction process is not performed, and if it is 0: 1, the correction process is performed.
[実施形態3]次に、図9ないし図11を参照して、実施形態3の可視光画像の色補正処理について説明する。 [Embodiment 3] Next, a color correction process for a visible light image according to Embodiment 3 will be described with reference to FIGS.
本実施形態は、赤外光画像と可視光画像の各輝度情報の差分値を比較する代わりに、赤外光画像から抽出した被写体領域に対応する可視光画像の領域のうち、高輝度領域の色情報を用いて暗部領域の色補正処理を実施する。 In the present embodiment, instead of comparing the difference values between the luminance information of the infrared light image and the visible light image, the high luminance region of the visible light image region corresponding to the subject region extracted from the infrared light image is used. A color correction process is performed on the dark area using the color information.
図9は、本実施形態の色補正処理を実現するための図2の補正処理部204の機能ブロックを示している。 FIG. 9 shows functional blocks of the correction processing unit 204 of FIG. 2 for realizing the color correction processing of the present embodiment.
図9において、可視光画像取得部901は、例えば、図1および図2に示す第1の撮像部101、第2のA/D変換部102、第1のセンサ補正部200、第1の現像処理部201に対応する。また、赤外光画像取得部902は、例えば、図1および図2に示す第2の撮像部108、第2のA/D変換部109、第2のセンサ補正部202、第2の現像処理部203に対応する。 In FIG. 9, the visible light image acquisition unit 901 includes, for example, the first imaging unit 101, the second A / D conversion unit 102, the first sensor correction unit 200, and the first development illustrated in FIGS. This corresponds to the processing unit 201. Further, the infrared light image acquisition unit 902 includes, for example, the second imaging unit 108, the second A / D conversion unit 109, the second sensor correction unit 202, and the second development processing illustrated in FIGS. This corresponds to the unit 203.
被写体領域抽出部903は、赤外光画像データから被写体領域を抽出する。色補正部904は、被写体領域抽出部903により抽出された被写体領域に対応する可視光画像の領域のうち、彩度情報または輝度情報が高い領域から色情報を取得し、この色情報を用いて可視光画像データの暗部領域の色情報を補正する。 The subject area extraction unit 903 extracts a subject area from the infrared light image data. The color correction unit 904 acquires color information from a region having high saturation information or luminance information among regions of the visible light image corresponding to the subject region extracted by the subject region extraction unit 903, and uses this color information. The color information in the dark area of the visible light image data is corrected.
図10は、本実施形態の色補正処理を示すフローチャートである。 FIG. 10 is a flowchart showing the color correction processing of this embodiment.
図10において、S1001、S1005は、図4のS401、S404と同様である。 10, S1001 and S1005 are the same as S401 and S404 in FIG.
S1002では、被写体領域抽出部903は、赤外光画像から被写体領域として、例えば人物の顔領域を抽出する。図11(a)では、赤外光画像から抽出された被写体領域1101が斜線で示されている。 In step S1002, the subject region extraction unit 903 extracts, for example, a human face region as a subject region from the infrared light image. In FIG. 11A, the subject region 1101 extracted from the infrared light image is indicated by oblique lines.
S1003では、色補正部904は、赤外光画像から抽出された被写体領域に対応する可視光画像の領域を抽出する。図11(b)では、可視光画像から抽出された領域1102が点斜線で示されている。また、色補正部904は、可視光画像から抽出された領域1102の彩度情報または輝度情報を取得する。 In step S1003, the color correction unit 904 extracts a visible light image region corresponding to the subject region extracted from the infrared light image. In FIG. 11B, the area 1102 extracted from the visible light image is indicated by dotted diagonal lines. In addition, the color correction unit 904 acquires the saturation information or luminance information of the area 1102 extracted from the visible light image.
S1004では、色補正部904は、可視光画像の領域1102から暗部領域を抽出し、領域1102のうち、暗部領域よりも彩度情報または輝度情報が高い値を持つ領域を探索し、該当する領域の色情報を取得する。 In step S1004, the color correction unit 904 extracts a dark area from the visible light image area 1102, searches the area 1102 for an area having higher saturation information or luminance information than the dark area, and applies the corresponding area. Get color information of.
S1005では、色補正部904は、暗部領域よりも彩度情報または輝度情報が高い値を持つ領域から取得した色情報を用いて暗部領域の色情報を補正する。 In step S <b> 1005, the color correction unit 904 corrects the color information of the dark area using the color information acquired from the area having higher saturation information or luminance information than the dark area.
本実施形態によれば、可視光画像の被写体領域における暗部領域について色補正がなされた、図7に示すような画像が出力される。 According to the present embodiment, an image as shown in FIG. 7 in which color correction is performed on the dark area in the subject area of the visible light image is output.
本実施形態では、暗部領域に対する色補正処理を実施するか否かの判定については言及していないが、暗部領域の彩度情報や輝度情報と予め設定された閾値との比較により、色補正を実施するか否かを判定する構成としても良い。 In this embodiment, the determination as to whether or not to perform color correction processing on the dark area is not mentioned, but color correction is performed by comparing the saturation information and luminance information of the dark area with a preset threshold value. It is good also as a structure which determines whether it implements.
また、本実施形態では、可視光画像の被写体領域のうち、暗部領域よりも彩度情報または輝度情報が高い領域から色情報を取得しているが、被写体の種別や被写体の向きや形状を判別し、判別した結果に応じて色情報を取得する領域を決定しても良い。 In this embodiment, the color information is acquired from the subject area of the visible light image that has higher saturation information or luminance information than the dark area, but the type of the subject, the orientation and shape of the subject are determined. Then, an area for obtaining color information may be determined according to the determined result.
(概要説明2)
以下に説明する実施形態4は、動画撮影において、赤外光画像により被写体を追尾しつつ、赤外光画像の被写体領域についてフレーム間の形状変化を求め、赤外光画像の被写体領域に対応する可視光画像の画素移動位置を求め、可視光画像における移動前と移動後の画素の色情報(明度、彩度、色相)の変化を求めて、フレーム間の画素の色情報を補正していく。
(Overview 2)
In the fourth embodiment described below, in moving image shooting, the subject is tracked with an infrared light image, the shape change between frames is obtained for the subject region of the infrared light image, and the subject region of the infrared light image is handled. The pixel movement position of the visible light image is obtained, and the color information (lightness, saturation, hue) of the pixel before and after the movement in the visible light image is obtained, and the color information of the pixel between frames is corrected. .
このようにして、動画撮影される可視光画像の暗部領域の色情報を補正することができる。 In this way, it is possible to correct the color information of the dark area of the visible light image to be captured.
図14は、上述した可視光画像の暗部領域の色情報を補正する手順を模式的に示している。 FIG. 14 schematically shows a procedure for correcting the color information of the dark area of the visible light image described above.
図14(a)は、可視光画像における3フレーム分の画像データを示し、斜線1402は光が乏しく影となる領域に対応し、交差線1401は被写体領域に対応する。 FIG. 14A shows image data for three frames in a visible light image. A hatched line 1402 corresponds to a shadow area where light is scarce, and a cross line 1401 corresponds to a subject area.
図14(b)は、赤外光画像における3フレーム分の画像データを示している。赤外光画像は赤外光の波長帯域が可視光に比べて長いことから、例えば赤外光を被写体に照射して、被写体の形状(領域)を可視光よりも正確に求めることができる。また、赤外光を被写体に照射しても、可視光画像を撮像する撮像素子とは受光する光の波長帯域が異なるため可視光画像には影響しないという利点もある。 FIG. 14B shows image data for three frames in the infrared light image. Since an infrared light image has a longer wavelength band of infrared light than visible light, for example, the subject can be irradiated with infrared light to determine the shape (region) of the subject more accurately than visible light. In addition, there is an advantage that even if the subject is irradiated with infrared light, the visible light image is not affected because the wavelength band of the received light is different from the imaging element that captures the visible light image.
図14(c)は、可視光画像の各フレームの被写体領域1401における暗部領域(領域1402と重なる領域)の色情報が赤外光画像から求めた当該領域の形状と輝度分布とに基づいて補正された3フレーム分の画像データを示している。 In FIG. 14C, the color information of the dark region (region overlapping the region 1402) in the subject region 1401 of each frame of the visible light image is corrected based on the shape and luminance distribution of the region obtained from the infrared light image. 3 shows the image data for three frames.
このように、赤外光画像から被写体領域の形状(領域)と陰影(輝度分布)を求め、可視光画像から被写体領域の陰影(輝度分布)を求め、可視光画像の被写体領域における暗部領域の色情報が、可視光画像の被写体領域から算出される特徴色情報で補間される。 In this way, the shape (region) and shadow (luminance distribution) of the subject region are obtained from the infrared light image, the shadow (luminance distribution) of the subject region is obtained from the visible light image, and the dark region in the subject region of the visible light image is obtained. Color information is interpolated with characteristic color information calculated from the subject region of the visible light image.
[実施形態4]まず、実施形態4の可視光画像の色補正処理について説明する。 [Embodiment 4] First, the color correction processing of a visible light image according to Embodiment 4 will be described.
本実施形態では、図1で説明したように、可視光を受光する第1の撮像部101と赤外光を受光する第2の撮像部108の駆動を個別に制御できるように2つの駆動部105、110を設けている。その理由は、例えば、可視光画像とは異なるタイミングで、赤外光画像を高いフレームレートで取得することで後述する追尾処理精度を向上させるためである。 In the present embodiment, as described with reference to FIG. 1, the two driving units are configured so that the driving of the first imaging unit 101 that receives visible light and the second imaging unit 108 that receives infrared light can be individually controlled. 105 and 110 are provided. The reason is, for example, to improve tracking processing accuracy described later by acquiring an infrared light image at a high frame rate at a timing different from that of the visible light image.
図12は、本実施形態の色補正処理を実現するための図2の補正処理部204の機能ブロックを示している。 FIG. 12 shows functional blocks of the correction processing unit 204 of FIG. 2 for realizing the color correction processing of the present embodiment.
図12において、補正処理部204に入力される第1の可視光画像データ1200、第2の可視光画像データ1201は、所定のフレームレートに応じた時間間隔で撮影された可視光画像の各フレーム画像に対応するデータである。第1および第2の可視光画像データ1200、1201は、例えば、第1の現像処理部201から出力される画像データやメモリ114から読み出された画像データとなる。 In FIG. 12, the first visible light image data 1200 and the second visible light image data 1201 input to the correction processing unit 204 are frames of a visible light image taken at time intervals according to a predetermined frame rate. Data corresponding to an image. The first and second visible light image data 1200 and 1201 are, for example, image data output from the first development processing unit 201 or image data read from the memory 114.
同様に、補正処理部204に入力される第3の赤外光画像データ1202、第4の赤外光画像データ1203は、所定のフレームレートに応じた時間間隔で撮影された赤外光画像の各フレーム画像に対応するデータである。第3および第4の赤外光画像データ1202、1203は、例えば、第2の現像処理部203から出力される画像データやメモリ114から読み出された画像データとなる。 Similarly, the third infrared light image data 1202 and the fourth infrared light image data 1203 input to the correction processing unit 204 are infrared light images captured at time intervals corresponding to a predetermined frame rate. Data corresponding to each frame image. The third and fourth infrared image data 1202 and 1203 are, for example, image data output from the second development processing unit 203 or image data read from the memory 114.
ここで、第1の可視光画像データ1200と第3の赤外光画像データ1202は同じ時間に撮影された画像データであり、第2の可視光画像データ1201と第4の赤外光画像データ1203は同じ時間に撮影された画像データとする。 Here, the first visible light image data 1200 and the third infrared light image data 1202 are image data photographed at the same time, and the second visible light image data 1201 and the fourth infrared light image data. Reference numeral 1203 denotes image data taken at the same time.
第1の被写体追尾部1204は、第1の可視光画像データ1200を用いて被写体追尾処理を行う。例えば、第1の被写体領域抽出部1206は、第1の可視光画像データ1200から、ユーザが予め指定した追尾する被写体について、例えば色差信号や輝度信号によるパターンマッチングを用いて被写体領域情報を抽出する。同様に、第2の被写体領域抽出部1207は、第2の可視光画像データ1201から被写体領域情報を抽出する。 The first subject tracking unit 1204 performs subject tracking processing using the first visible light image data 1200. For example, the first subject region extraction unit 1206 extracts subject region information from the first visible light image data 1200 by using, for example, pattern matching based on a color difference signal or a luminance signal for a subject to be tracked that is designated in advance by the user. . Similarly, the second subject area extraction unit 1207 extracts subject area information from the second visible light image data 1201.
第1および第2の被写体領域抽出部1206、1207により抽出された第1および第2の可視光画像データ1200、1201の被写体領域情報は、特徴色抽出部1215および領域比較部1214に送出される。 The subject area information of the first and second visible light image data 1200 and 1201 extracted by the first and second subject area extraction units 1206 and 1207 is sent to the feature color extraction unit 1215 and the region comparison unit 1214. .
第1の被写体追尾部1204ではさらに、第1の移動量検出部1208が、第1および第2の可視光画像データ1200、1201における特徴点の移動量を算出し、ベクトル情報として色補正部1216に送出する。この特徴点は、例えば、第1の被写体領域抽出部1206や第2の被写体領域抽出部1207によって抽出された被写体領域の外形形状から求めても良い。 In the first subject tracking unit 1204, the first movement amount detection unit 1208 further calculates the movement amount of the feature point in the first and second visible light image data 1200 and 1201, and uses the color correction unit 1216 as vector information. To send. This feature point may be obtained from the outer shape of the subject area extracted by the first subject area extraction unit 1206 or the second subject area extraction unit 1207, for example.
同様に、第2の被写体追尾部1205は、第3の赤外光画像データ1202を用いて被写体追尾処理を行う。例えば、第3の被写体領域抽出部1209は、第3の赤外光画像データ1202から、ユーザが予め指定した追尾する被写体について、例えば赤外光の輝度信号によるパターンマッチングを用いて被写体の領域情報を抽出する。同様に、第4の被写体領域抽出部1210は、第4の赤外光画像データ1203から被写体の領域情報を抽出する。 Similarly, the second subject tracking unit 1205 performs subject tracking processing using the third infrared light image data 1202. For example, the third subject region extraction unit 1209 uses the pattern matching based on the luminance signal of the infrared light, for example, for the subject to be tracked previously designated by the user from the third infrared light image data 1202. To extract. Similarly, the fourth subject region extraction unit 1210 extracts subject region information from the fourth infrared light image data 1203.
第3および第4の被写体領域抽出部1209、1210により抽出された第3および第4の赤外光画像データ1202、1203の被写体領域情報は、特徴色抽出部1215、領域比較部1214、および形状変化取得部1212に送出される。 The subject area information of the third and fourth infrared light image data 1202 and 1203 extracted by the third and fourth subject area extraction units 1209 and 1210 includes a feature color extraction unit 1215, a region comparison unit 1214, and a shape. It is sent to the change acquisition unit 1212.
第2の被写体追尾部1205ではさらに、第2の移動量検出部1211が、第3および第4の赤外光画像データ1202、1203における特徴点の移動量を算出し、ベクトル情報として形状変化取得部1212および色補正部1216に送出する。 Further, in the second subject tracking unit 1205, the second movement amount detection unit 1211 calculates the movement amount of the feature point in the third and fourth infrared light image data 1202 and 1203, and obtains the shape change as vector information. Sent to the unit 1212 and the color correction unit 1216.
また、形状変化取得部1212は、第3および第4の被写体領域抽出部1209、1210によって抽出された被写体領域情報と、第2の移動量検出部1211によって抽出された第3および第4の赤外光画像データ1202、1203における特徴点のベクトル情報とに基づいてフレーム間の被写体領域の形状変化量を求め、画素移動位置推定部1213に送出する。 In addition, the shape change acquisition unit 1212 includes the subject region information extracted by the third and fourth subject region extraction units 1209 and 1210 and the third and fourth red extracted by the second movement amount detection unit 1211. Based on the vector information of the feature points in the external light image data 1202 and 1203, the amount of change in the shape of the subject area between frames is obtained and sent to the pixel movement position estimation unit 1213.
画素移動位置推定部1213は、形状変化量と領域比較部1214による比較結果とに基づいて被写体領域内の画素移動位置をベクトル演算によって求める。 The pixel movement position estimation unit 1213 obtains the pixel movement position in the subject area by vector calculation based on the shape change amount and the comparison result by the area comparison unit 1214.
図16は、図14(b)に示す3フレーム分の赤外光画像からフレームごとの被写体領域を抽出したものである。また、図17は、例えば図16(a)、(b)についてそれらの特徴点から形状変化量を求めた結果を示している。 FIG. 16 shows a subject area for each frame extracted from the infrared light image for three frames shown in FIG. FIG. 17 shows the result of obtaining the amount of change in shape from the feature points of FIGS. 16 (a) and 16 (b), for example.
形状変化取得部1212は、図17に示すような3フレーム分の赤外光画像から抽出した被写体領域に関する特徴点の移動量をベクトル情報として取得する。 The shape change acquisition unit 1212 acquires, as vector information, the movement amount of the feature point related to the subject region extracted from the infrared light image for three frames as shown in FIG.
次に、画素移動位置推定部1213は、例えば、被写体領域が図16(a)から(b)に時間的に変化することで、図17におけるx点がどこに移動するかを推定する。 Next, the pixel movement position estimation unit 1213 estimates, for example, where the x point in FIG. 17 moves due to the temporal change of the subject region from FIG. 16 (a) to FIG. 16 (b).
上述のように形状変化を求めて画素移動位置を推定する方法はいくつかあるが、本実施形態では、例えば図18に示すようなx点の近傍にある特徴点の変化量ベクトルYおよびZを用いて、x点の位置座標からベクトル計算によって推定移動量ベクトルXを求める。 As described above, there are several methods for estimating the pixel movement position by obtaining the shape change. In the present embodiment, for example, the change vectors Y and Z of the feature points in the vicinity of the point x as shown in FIG. The estimated movement amount vector X is obtained by vector calculation from the position coordinates of the x point.
このようにして、図17に示すx点の移動位置はx’点となり、同様な計算方法で、赤外光画像である図14(b)に示すd’点に対応した参照画素として前フレームのd点が求められる。そして、この参照画素の位置情報を可視光画像の位置座標に置き換えることで、可視光画像である図14(a)に示すb’点に対応した参照画素としてb点の色情報を取得する。 In this way, the moving position of the point x shown in FIG. 17 becomes the point x ′, and the previous frame is used as a reference pixel corresponding to the point d ′ shown in FIG. D points are obtained. Then, by replacing the position information of the reference pixel with the position coordinates of the visible light image, the color information of the point b is acquired as a reference pixel corresponding to the point b ′ illustrated in FIG.
次に、領域比較部1214は、第1ないし第4の被写体領域抽出部1206、1207、1209、1210により得られる被写体領域のフレーム間の差分領域情報として、例えば、可視光画像の被写体領域のフレーム間の差分領域情報や、赤外光画像の被写体領域のフレーム間の差分領域情報を取得する。さらに、時間的に同じフレーム間の可視光画像と赤外光画像の被写体領域の差分領域情報を取得する。 Next, the area comparison unit 1214 uses, for example, the frame of the subject area of the visible light image as the difference area information between the frames of the subject area obtained by the first to fourth subject area extraction units 1206, 1207, 1209, and 1210. Difference area information and difference area information between frames of the subject area of the infrared light image are acquired. Furthermore, the difference area information of the subject area of the visible light image and the infrared light image between the same frames in time is acquired.
図15は、領域比較部1214により得られたフレーム間の被写体領域情報を示し、図14(a)に示す3フレーム分の可視光画像と、図14(b)に示す3フレーム分の赤外光画像から求められる共通領域(a)と差分領域(b)をそれぞれ示している。 FIG. 15 shows the subject area information between frames obtained by the area comparison unit 1214. The visible light image for three frames shown in FIG. 14 (a) and the infrared light for three frames shown in FIG. 14 (b). A common area (a) and a difference area (b) obtained from the optical image are shown.
領域比較部1214により得られた差分領域情報は、画素移動位置推定部1213が赤外光画像における被写体領域の参照画素のフレーム間の移動位置を求める際にパラメータとして使用される。 The difference area information obtained by the area comparison unit 1214 is used as a parameter when the pixel movement position estimation unit 1213 obtains the movement position between the reference pixels of the subject area in the infrared light image.
次に、形状変化取得部1212により求められ被写体領域の形状変化量から、画素移動位置推定部1213が補正対象となる参照画素の位置情報を求め、色補正部1216へ送出される。 Next, the pixel movement position estimation unit 1213 obtains position information of the reference pixel to be corrected from the shape change amount of the subject area obtained by the shape change acquisition unit 1212 and sends it to the color correction unit 1216.
特徴色抽出部1215では、可視光画像1200、1201および赤外光画像1202、1203の各フレームの被写体領域情報から各被写体領域内の特徴色が算出される。この特徴色は、例えば、被写体領域を複数のブロックに分割し、各ブロック内の画素情報を積分して得られるブロック単位の色情報で表される。 The feature color extraction unit 1215 calculates the feature color in each subject area from the subject area information of each frame of the visible light images 1200 and 1201 and the infrared light images 1202 and 1203. For example, the characteristic color is represented by block-unit color information obtained by dividing the subject region into a plurality of blocks and integrating pixel information in each block.
図19は、図14(a)に示すa点、b点を含むフレームについて水平32ブロック、垂直24ブロックに分割し、各ブロック内の画素情報を積分して得られた色情報を示している。また、図20は、図19に示すブロック単位の色情報について、赤外光画像から得られた被写体領域を破線で示し、この被写体領域内のブロック単位の積分情報を斜線で示している。このように、被写体が単一色を持つ物体であったとすると、図20の斜線で示すブロックが持つ画素情報の平均値が特徴色となる。 FIG. 19 shows color information obtained by dividing the frame including the points a and b shown in FIG. 14A into horizontal 32 blocks and vertical 24 blocks and integrating the pixel information in each block. . Further, in FIG. 20, the subject area obtained from the infrared light image is indicated by a broken line, and the integral information of the block unit in the subject area is indicated by a diagonal line in the block unit color information shown in FIG. As described above, if the subject is an object having a single color, the average value of the pixel information of the block indicated by the diagonal lines in FIG. 20 is the characteristic color.
色補正部1216は、上記被写体領域の差分領域情報と特徴色情報と特徴点の位置情報とを用いて可視光画像の暗部領域の色情報を補正する。 The color correction unit 1216 corrects the color information of the dark area of the visible light image using the difference area information of the subject area, the feature color information, and the position information of the feature point.
<色補正処理>ここで、図13を参照して、図2の補正処理部204による可視光画像データの暗部領域の色補正処理について説明する。 <Color Correction Processing> Here, with reference to FIG. 13, the color correction processing of the dark area of the visible light image data by the correction processing unit 204 of FIG. 2 will be described.
なお、以下の説明では、ユーザが追尾する被写体を指定し、動画撮影が開始された状態であるとする。 In the following description, it is assumed that the user specifies a subject to be tracked and video shooting is started.
S1301では、第1の被写体追尾部1204が、可視光画像の時間的に異なる2つのフレームにより被写体の追尾処理を行う。 In step S1301, the first subject tracking unit 1204 performs subject tracking processing using two temporally different frames of the visible light image.
S1302では、第1の移動量検出部1208が、第1および第2の可視光画像データ1200、1201における特徴点の移動量を算出し、第1および第2の被写体領域抽出部1206、1207が各フレームの被写体領域情報を取得する。 In step S1302, the first movement amount detection unit 1208 calculates the movement amount of the feature point in the first and second visible light image data 1200 and 1201, and the first and second subject region extraction units 1206 and 1207 perform the calculation. Get subject area information for each frame.
S1303では、第2の被写体追尾部1205が、赤外光画像の時間的に異なる2つのフレームにより被写体の追尾処理を行う。 In step S1303, the second subject tracking unit 1205 performs subject tracking processing using two temporally different frames of the infrared light image.
S1304では、第2の移動量検出部1211が、第3および第4の赤外光画像データ1202、1203における特徴点の移動量を算出し、第3および第4の被写体領域抽出部1209、1210が各フレームの被写体領域情報を取得する。 In S1304, the second movement amount detection unit 1211 calculates the movement amount of the feature point in the third and fourth infrared light image data 1202 and 1203, and the third and fourth subject region extraction units 1209 and 1210. Acquires subject area information of each frame.
S1305では、特徴色抽出部1215が、第1および第2の可視光画像のフレームと、S1302及びS1304で取得した被写体領域情報から被写体領域内の特徴色情報を算出する。 In step S1305, the feature color extraction unit 1215 calculates feature color information in the subject area from the first and second visible light image frames and the subject area information acquired in steps S1302 and S1304.
S1306では、領域比較部1214が、S1302で取得した可視光画像の2つのフレーム間の被写体領域情報を比較して差分値Mを求めると共に、S1304で取得した赤外光画像の2つのフレーム間の被写体領域の差分値Nを求める。ここで、本実施形態では、時間的に後のフレームの被写体領域から前のフレームの被写体領域を減算した値を差分値MおよびNとする。例えば、図14(a)に示す可視光画像では影(暗部)1402の影響により被写体領域1401は、時間が経過するにつれて図15(a)に示すように抽出できる被写体領域が小さくなるため、フレーム間の差分値Mは大きくなる。これに対して、図14(b)に示す赤外光画像では被写体の形状は変化するものの、影の影響を受けないのでフレーム間の差分値Nに大きな変化は生じない。 In S1306, the area comparison unit 1214 obtains a difference value M by comparing the subject area information between the two frames of the visible light image acquired in S1302, and between the two frames of the infrared light image acquired in S1304. A difference value N of the subject area is obtained. In this embodiment, the difference values M and N are values obtained by subtracting the subject area of the previous frame from the subject area of the later frame. For example, in the visible light image shown in FIG. 14A, the subject region 1401 is extracted as the subject region 1401 becomes smaller as time elapses due to the influence of the shadow (dark portion) 1402, so that the subject region 1401 The difference value M between them increases. On the other hand, in the infrared light image shown in FIG. 14B, although the shape of the subject changes, the difference value N between frames does not change greatly because it is not affected by the shadow.
また、S1306では、差分値MとNを比較し、差分値MとNの差が予め設定された閾値Xよりも大きいか判定する。
ここで、閾値Xは、上述したように、時間の経過に応じて、赤外光画像の被写体領域の差分値Nに変化はないが、可視光画像の被写体領域の差分値Mには変化がある場合の各画像の被写体領域の差分値の変化の大きさを判定するために用いられる。例えば、閾値Xは赤外光画像から求めた被写体領域を1とし、L(整数)で分周した値を用い、Lを10とすると、閾値Xは1/10となる。
そして、差分値Mが差分値Nに対して閾値より大きい場合は、被写体領域に対する暗部の影響が大きいと判定できるので、暗部領域の色補正を行う一方、閾値以下の場合は被写体領域に対する暗部の影響が小さいと判定できるので、暗部領域の色補正は行わない。なお、S1306で赤外光画像の被写体領域についても差分値Nを求めたのは、被写体自身の動きにより変化する被写体領域を色補正を行うか否かの判定に加味するためである。
In step S1306, the difference values M and N are compared to determine whether the difference between the difference values M and N is greater than a preset threshold value X.
Here, as described above, the threshold value X does not change in the difference value N of the subject area of the infrared light image as time passes, but changes in the difference value M of the subject area of the visible light image. This is used to determine the magnitude of the change in the difference value of the subject area of each image in a certain case. For example, the threshold value X is 1 when the subject area obtained from the infrared light image is 1, a value divided by L (integer) is used, and when L is 10, the threshold value X is 1/10.
When the difference value M is larger than the threshold value with respect to the difference value N, it can be determined that the influence of the dark portion on the subject region is large. Therefore, the color correction of the dark portion region is performed. Since it can be determined that the influence is small, color correction in the dark area is not performed. The reason why the difference value N is also obtained for the subject area of the infrared light image in S1306 is to take into account whether or not to perform color correction on the subject area that changes due to the movement of the subject itself.
S1307では、領域比較部1214は、可視光画像の被写体領域について、時間的に前のフレームと後のフレームのどちらの被写体領域が大きいか、つまり、どちらのフレームの画像の方が暗部領域が小さいかを判定する。判定の結果、前のフレームの被写体領域の方が大きい場合はS1308に進み、後のフレームの被写体領域の方が大きい場合はS1309に進む。 In step S1307, the region comparison unit 1214 determines which of the subject regions of the visible light image is larger in the temporally previous frame and the subsequent frame, that is, in which frame image the dark part region is smaller. Determine whether. As a result of the determination, if the subject area of the previous frame is larger, the process proceeds to S1308, and if the subject area of the subsequent frame is larger, the process proceeds to S1309.
S1308では、領域比較部1214は、後のフレームの可視光画像と赤外光画像の間の被写体領域の差分を求める。例えば、図14(a)の例では、後のフレームの可視光画像の被写体領域の方が小さい、つまり、暗部領域が大きいので、後のフレームについて、図15(b)に示すような可視光画像と赤外光画像の間の被写体領域の差分を求める。 In step S <b> 1308, the region comparison unit 1214 obtains a subject region difference between the visible light image and the infrared light image of the subsequent frame. For example, in the example of FIG. 14A, the subject area of the visible light image in the subsequent frame is smaller, that is, the dark area is larger, so the visible light as shown in FIG. The difference of the subject area between the image and the infrared light image is obtained.
S1309では、領域比較部1214は、同様に、前のフレームの可視光画像と赤外光画像の間の被写体領域の差分を求める。 In step S1309, the area comparison unit 1214 similarly obtains the difference of the subject area between the visible light image and the infrared light image of the previous frame.
S1310では、形状変化取得部1212が、赤外光画像のフレーム間の被写体領域情報と、被写体領域における特徴点のベクトル情報とから、被写体領域の形状変化量を求める。また、画素移動位置推定部1213が、上記形状変化量とS1308、S1309で求められた差分領域内の特徴点の移動位置情報を赤外光画像から求める。ここでは、例えば、図14(b)の赤外光画像のフレームにおいて、図15(b)の差分領域に含まれるd’点から前のフレームのd点を求める。 In step S1310, the shape change acquisition unit 1212 obtains the shape change amount of the subject region from the subject region information between frames of the infrared light image and the vector information of the feature points in the subject region. Further, the pixel movement position estimation unit 1213 obtains the shape change amount and the movement position information of the feature point in the difference area obtained in S1308 and S1309 from the infrared light image. Here, for example, in the frame of the infrared light image in FIG. 14B, the point d of the previous frame is obtained from the point d ′ included in the difference region in FIG.
S1311では、色補正部1216が、S1310で求めた特徴点の移動位置情報から、可視光画像における赤外光画像の特徴点と同じ位置の色情報を抽出する。ここでは、例えば、図14(b)の赤外光画像のフレームから求めたd点について、同一時間に取得された可視光画像のフレームである図14(a)のb点から色情報を抽出する。 In step S1311, the color correction unit 1216 extracts color information at the same position as the feature point of the infrared light image in the visible light image from the movement position information of the feature point obtained in step S1310. Here, for example, color information is extracted from point b in FIG. 14A, which is the frame of the visible light image acquired at the same time, for point d obtained from the frame of the infrared light image in FIG. 14B. To do.
S1312では、色補正部1216が、S1305で算出された特徴色情報について可視光画像のフレーム間で比較する。例えば可視光画像の被写体領域から特徴色情報を算出した場合、図15(a)の可視光画像のフレーム間で共通の被写体領域内の色情報が特徴色情報として算出され、これらの特徴色情報のフレーム間の変化量が求められる。 In S1312, the color correction unit 1216 compares the feature color information calculated in S1305 between frames of the visible light image. For example, when the feature color information is calculated from the subject region of the visible light image, the color information in the subject region common to the frames of the visible light image in FIG. 15A is calculated as the feature color information. The amount of change between frames is determined.
S1313では、色補正部1216は、S1312で求められた特徴色情報の変化量を重みづけ係数として、S1311で得られた特徴点の色情報を用いて、差分領域における色情報を補正する。 In step S1313, the color correction unit 1216 corrects the color information in the difference area using the feature point color information obtained in step S1311 using the change amount of the feature color information obtained in step S1312 as a weighting coefficient.
ここで、図14(a)のb’点における色補正処理について説明する。 Here, the color correction process at the point b ′ in FIG.
前のフレームにおける被写体領域は網線で示した部分である。この被写体領域は単一色を持つ物体であるとする。また、図15(a)のような可視光画像の被写体領域に対して、被写体領域内の色情報をブロックごとに積分して求められた特徴色情報を(R1,G1,B1)とする。次に、b’点を含むフレームにおいて同様に求められた特徴色情報を(R2,G2,B2)とする。これにより、例えばS=R2/R1、T=G2/G1、U=B2/B1のように各色の特徴色情報の比率を重みづけ係数とする。 The subject area in the previous frame is a portion indicated by a mesh line. This subject area is assumed to be an object having a single color. Further, feature color information obtained by integrating the color information in the subject area for each block with respect to the subject area of the visible light image as shown in FIG. 15A is (R1, G1, B1). Next, the characteristic color information obtained in the same manner in the frame including the b 'point is set to (R2, G2, B2). Thus, for example, the ratio of the feature color information of each color is set as a weighting coefficient such as S = R2 / R1, T = G2 / G1, U = B2 / B1.
そして、b点の色情報が(Rb,Gb,Bb)であるとすると、b’点において補正される色情報は、b点の色情報(Rb,Gb,Bb)に重みづけ係数(S,T,U)を乗算して得られる色情報(S*Rb、T*Gb、U*Bb)となる。 If the color information at the point b is (Rb, Gb, Bb), the color information corrected at the point b ′ is the weighting coefficient (S, Color information (S * Rb, T * Gb, U * Bb) obtained by multiplying (T, U).
なお、本実施形態では、被写体が単一色を持つ場合を例示したが、複数の色情報を持つ場合は、特徴色を抽出する際に被写体領域内を任意の領域に分割しブロックごとに積分した結果を用いれば良い。この場合、次のフレームから得られる特徴色情報も複数になるので、特徴色同士の色変化係数は、図15(a)に示す共通領域における特徴色情報から求めて、それぞれの平均値を重みづけ係数としても良い。 In this embodiment, the case where the subject has a single color is exemplified. However, when the subject has a plurality of pieces of color information, the subject region is divided into arbitrary regions and integrated for each block when the characteristic color is extracted. Use the result. In this case, since there are a plurality of pieces of feature color information obtained from the next frame, the color change coefficient between the feature colors is obtained from the feature color information in the common region shown in FIG. It is good also as a attaching coefficient.
また、本実施形態では、特徴点の色情報から補正する画素位置の色情報を求めたが、もともと補正する画素位置にある色情報も用いて補正処理を行っても良い。 In the present embodiment, the color information of the pixel position to be corrected is obtained from the color information of the feature point. However, the correction process may be performed using the color information at the pixel position to be corrected originally.
また、例えばフレームごとに画像全体を領域分割し、画像全体の特徴色情報を用いてフレームごとに求めた重みづけ係数を補間しても良い。これにより、例えば、次フレームで可視光画像の被写体領域がすべて暗部になった場合であっても、それより前のフレーム間の重みづけ係数の変化とそのフレームにおける画像全体の特徴色情報から重みづけ係数を求めることができる。よって、色補正によって生じるフレーム間の違和感を軽減することが可能となる。 Further, for example, the entire image may be divided into regions for each frame, and the weighting coefficient obtained for each frame may be interpolated using the characteristic color information of the entire image. As a result, for example, even when the subject area of the visible light image is all dark in the next frame, the weight is determined from the change in the weighting coefficient between the previous frames and the feature color information of the entire image in that frame. The attachment coefficient can be obtained. Therefore, it is possible to reduce the uncomfortable feeling between frames caused by color correction.
なお、フレーム間の特徴色情報の変化量を重みづけ係数とした理由は、可視光画像の暗部領域以外の領域についてフレーム間の輝度信号や色差信号と同じような変化量で補正データを生成することで、フレーム間の色変化に違和感が発生しないようにするためである。 The reason why the change amount of the characteristic color information between frames is used as a weighting coefficient is that correction data is generated with a change amount similar to the luminance signal or color difference signal between frames for regions other than the dark region of the visible light image. This is to prevent an uncomfortable feeling in the color change between frames.
また、色補正処理にRGBデータを用いたがYUVデータとして演算しても良い。この場合、輝度信号と色差信号で異なる重みづけ係数によって補正データを生成することも考えられる。 Further, although RGB data is used for the color correction processing, it may be calculated as YUV data. In this case, it is also conceivable to generate correction data using different weighting coefficients for the luminance signal and the color difference signal.
上述したように、本実施形態による可視光画像の暗部領域の色補正処理が実行される。 As described above, the color correction process for the dark area of the visible light image according to the present embodiment is executed.
ここで、第1および第2の可視光画像1200、1201は、第1の現像処理部201の出力をそのまま使用する場合やメモリ114から読み出す場合が考えられる。更に、メモリ114から読み出す場合には、既に前のフレームの暗部領域の色補正処理が実行された可視光画像データをメモリ114から読み出して、次のフレームの暗部領域の色補正に用いることも可能である。この場合、図14(c)に示す既に補正済みのB点からB’点の色情報が補正され、同様にB’点からB’’点の色情報が補正されるため、通常の可視光画像の撮影では失われてしまう暗部領域の色情報が補正されながらフレーム間で受け継がれていくため、暗部領域の色情報を再現するための有効な手段となり得る。 Here, the first and second visible light images 1200 and 1201 may be used when the output of the first development processing unit 201 is used as it is or when read from the memory 114. Further, in the case of reading from the memory 114, visible light image data that has already been subjected to the color correction processing of the dark area of the previous frame can be read from the memory 114 and used for color correction of the dark area of the next frame. It is. In this case, the color information of the point B ′ is corrected from the already corrected point B shown in FIG. 14C, and the color information of the point B ″ is corrected similarly from the point B ′. Since the color information of the dark area that is lost when the image is taken is inherited between frames while being corrected, it can be an effective means for reproducing the color information of the dark area.
以上のように、本実施形態によれば、暗いシーンの動画撮影において被写体周辺の光量と被写体の動きによって、被写体領域の一部に暗部領域が発生しても、暗部領域の色情報を補正しながら動画を記録することが可能となる。 As described above, according to the present embodiment, even when a dark area is generated in a part of the subject area due to the amount of light around the subject and the movement of the subject in moving image shooting of a dark scene, the color information of the dark area is corrected. However, it is possible to record a moving image.
なお、本実施形態では、可視光と赤外光で光学系を共通とし、光学フィルタで光の波長帯域を分離する構成としたが、例えば可視光と赤外光で異なる光学系を持つような構成にしても良い。 In the present embodiment, the visible light and the infrared light have a common optical system, and the optical filter separates the wavelength band of the light. However, for example, the visible light and the infrared light have different optical systems. It may be configured.
また、本実施形態では、時間的に前後するフレーム間での処理を説明したが、数フレーム分の画像データをメモリ114に蓄積し、数フレーム間にわたって色補正処理を行っても良い。例えば、図21に示すように被写体2101が暗い領域2102から明るい領域2103へ移動する場合を考える。この場合、図21(b)の赤外光画像の前フレームのc点から次フレームのc’点が予測できているにもかかわらず、図21(a)の可視光画像におけるa点は、次フレームのa’点からは十分な色情報を取得することができない。このような場合は、赤外光画像の前フレームのc点から次フレームのc’点を予測した後、c点とc’点が図22(a)に示す共通領域に含まれない場合は、a点を含む可視光画像のフレームと、c点を含む赤外光画像のフレームをメモリ114に保持しておく。この場合、図22(b)に示す可視光画像と赤外光画像の差分領域を用いてフレームを保持するか否かを判定しても良い。 Further, in the present embodiment, the processing between frames that move back and forth in time has been described, but several frames of image data may be stored in the memory 114, and color correction processing may be performed over several frames. For example, consider a case where the subject 2101 moves from a dark area 2102 to a bright area 2103 as shown in FIG. In this case, although the point c ′ of the next frame can be predicted from the point c of the previous frame of the infrared light image of FIG. 21B, the point a in the visible light image of FIG. Sufficient color information cannot be acquired from the point a ′ of the next frame. In such a case, after predicting the c ′ point of the next frame from the c point of the previous frame of the infrared light image, the c point and the c ′ point are not included in the common area shown in FIG. , A visible light image frame including the point a and an infrared light image frame including the point c are stored in the memory 114. In this case, it may be determined whether or not to hold the frame using the difference area between the visible light image and the infrared light image shown in FIG.
その後、赤外光画像のc’点を含むフレームと次フレームについても同様の判定処理を行い、例えば図21(b)のc’’点が、図22(a)の共通領域に含まれる場合、a’’点から色情報を抽出してa’点の色情報を補正する。a’点の色情報が補正された場合は、その後にa点の色情報を補正する。 Thereafter, the same determination process is performed for the frame including the c ′ point of the infrared light image and the next frame. For example, the c ″ point in FIG. 21B is included in the common region in FIG. , A ″ color information is extracted from the point a ″ to correct the color information at the point a ′. When the color information at point a 'is corrected, the color information at point a is corrected thereafter.
このように、複数フレームにわたる画素移動位置情報と、可視光画像と赤外光画像の共通領域情報または差分領域情報とを用いることで、図21に示すように被写体が暗い領域から明るい領域へ移動するシーンであっても暗部領域の色補正を行うことができる。 Thus, by using pixel movement position information over a plurality of frames and common area information or difference area information of a visible light image and an infrared light image, the subject moves from a dark area to a bright area as shown in FIG. Even in a scene to be performed, color correction in the dark area can be performed.
[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 [Other Embodiments] The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program code. It is processing to do. In this case, the program and the storage medium storing the program constitute the present invention.
101…第1の撮像部、104…信号処理部、107…CPU、108…第2の撮像部、204…補正処理部、301…可視光画像取得部、302…赤外光画像取得部、304、1216…色補正部、1212…形状変化取得部、1213…画素移動位置推定部 DESCRIPTION OF SYMBOLS 101 ... 1st imaging part, 104 ... Signal processing part, 107 ... CPU, 108 ... 2nd imaging part, 204 ... Correction processing part, 301 ... Visible light image acquisition part, 302 ... Infrared light image acquisition part, 304 , 1216 ... color correction unit, 1212 ... shape change acquisition unit, 1213 ... pixel movement position estimation unit
Claims (18)
第2の波長の光から生成された第2の画像を取得する第2の画像取得手段と、
前記第1の画像における被写体領域に含まれる所定の第1の領域の第1の情報と、前記第1の領域に対応する前記第2の画像の第2の領域の第1の情報とを比較することにより、前記第1の画像の第1の領域の第2の情報を、当該第1の領域とは異なる領域の第2の情報を用いて補正する補正手段と、を有することを特徴とする画像処理装置。 First image acquisition means for acquiring a first image generated from light of a first wavelength;
Second image acquisition means for acquiring a second image generated from light of the second wavelength;
The first information of the predetermined first area included in the subject area in the first image is compared with the first information of the second area of the second image corresponding to the first area. And correcting means for correcting the second information of the first area of the first image using the second information of the area different from the first area. An image processing apparatus.
前記補正手段は、前記第1の領域とは異なる領域として、前記第1の情報の差分が小さくなる領域の第2の情報を用いて、前記第1の画像の第1の領域の第2の情報を補正することを特徴とする請求項1に記載の画像処理装置。 A comparison means for obtaining a difference between the first information of the first region of the first image and the first information of the second region of the second image;
The correction means uses the second information of the region where the difference of the first information is small as the region different from the first region, and uses the second information of the first region of the first image. The image processing apparatus according to claim 1, wherein the information is corrected.
前記補正手段は、前記第1の領域とは異なる領域として、前記第1の画像の第1の領域から取得した第1の情報よりも大きい値を持つ領域の第2の情報を用いて、前記第1の画像の第1の領域の第2の情報を補正することを特徴とする請求項1に記載の画像処理装置。 A detecting unit for detecting a subject area from the second image;
The correction means uses the second information of a region having a value larger than the first information acquired from the first region of the first image as a region different from the first region, The image processing apparatus according to claim 1, wherein the second information of the first area of the first image is corrected.
第2の波長の光から生成された第2の画像を所定のフレームレートで取得する第2の画像取得手段と
前記第2の画像から検出された被写体領域についてフレーム間の形状変化を求める形状変化取得手段と、
前記第2の画像の被写体領域の形状変化量に基づいて、前記第1の画像における前記被写体領域に対応する第1の領域の移動位置を推定する推定手段と、
前記第1の画像における第1の領域の移動前の色情報と、移動後の色情報の変化に応じて、前記第1の画像のフレーム間における第1の領域の色情報を補正する補正手段と、を有することを特徴とする画像処理装置。 First image acquisition means for acquiring a first image generated from light of a first wavelength at a predetermined frame rate;
A second image acquisition means for acquiring a second image generated from light of the second wavelength at a predetermined frame rate; and a shape change for determining a shape change between frames for a subject region detected from the second image. Acquisition means;
Estimating means for estimating a moving position of the first region corresponding to the subject region in the first image based on a shape change amount of the subject region of the second image;
Correction means for correcting color information of the first area between frames of the first image according to changes in color information before the movement of the first area in the first image and color information after the movement. And an image processing apparatus.
前記補正手段は、前記特徴色情報のフレーム間における変化量を重みづけ係数として、補正される色情報を補間することを特徴とする請求項6ないし8のいずれか1項に記載の画像処理装置。 A feature color extracting means for obtaining feature color information of each of the first region in the first image and the subject region in the second image for each frame;
The image processing apparatus according to claim 6, wherein the correction unit interpolates color information to be corrected using a change amount between frames of the characteristic color information as a weighting coefficient. .
前記領域比較手段は、前記被写体領域の大きさが小さくなるフレームの前記第1の画像における被写体領域と前記第2の画像における被写体領域との差分を求め、
前記補正手段は、前記被写体領域の大きさが大きくなるフレームの前記第1の画像における移動後の第1の領域の色情報を用いて、前記被写体領域が小さくなるフレームの前記第1の画像における被写体領域の色情報を補正することを特徴とする請求項6ないし10のいずれか1項に記載の画像処理装置。 Further comprising region comparison means for comparing the size of the subject region between frames of the first image;
The region comparing means obtains a difference between the subject region in the first image and the subject region in the second image of a frame in which the size of the subject region is small;
The correction means uses the color information of the first area after the movement in the first image of the frame in which the size of the subject area is increased, in the first image of the frame in which the subject area is reduced. The image processing apparatus according to claim 6, wherein the color information of the subject area is corrected.
前記補正手段は、前記第2の画像のフレームと同じ時間の前記第1の画像のフレームにおける前記第2の画像から推定された位置と同じ位置の色情報を抽出することを特徴とする請求項11に記載の画像処理装置。 The estimating means estimates a shape change amount of a subject area in the second image and a position after movement of a predetermined position in the area obtained as the difference;
The correction means extracts color information at the same position as the position estimated from the second image in the frame of the first image at the same time as the frame of the second image. The image processing apparatus according to 11.
前記第2の画像から被写体領域を抽出する第2の被写体領域抽出手段と、
前記第1の画像のフレームを比較することで前記第1の被写体領域抽出手段により抽出された被写体の動きを検出する第1の移動量検出手段と、
前記第2の画像のフレームを比較することで前記第2の被写体領域抽出手段により抽出された被写体の動きを検出する第2の移動量検出手段と、をさらに有することを特徴とする請求項6ないし12のいずれか1項に記載の画像処理装置。 First subject region extraction means for extracting a subject region from the first image;
Second subject region extraction means for extracting a subject region from the second image;
First movement amount detection means for detecting the movement of the subject extracted by the first subject area extraction means by comparing the frames of the first image;
7. The apparatus according to claim 6, further comprising second movement amount detection means for detecting the movement of the subject extracted by the second subject area extraction means by comparing the frames of the second image. 13. The image processing device according to any one of items 12 to 12.
第2の画像取得手段が、第2の波長の光から生成された第2の画像を取得するステップと、
補正手段が、前記第1の画像における被写体領域に含まれる所定の第1の領域の第1の情報と、前記第1の領域に対応する前記第2の画像の第2の領域の第1の情報とを比較することにより、前記第1の画像の第1の領域の第2の情報を、当該第1の領域とは異なる領域の第2の情報を用いて補正するステップと、を有することを特徴とする画像処理方法。 A first image obtaining means obtaining a first image generated from light of a first wavelength;
A second image acquisition means for acquiring a second image generated from light of the second wavelength;
The correcting means includes first information of a predetermined first area included in a subject area in the first image, and a first of a second area of the second image corresponding to the first area. Correcting the second information of the first area of the first image by using the second information of the area different from the first area by comparing with the information. An image processing method characterized by the above.
第2の画像取得手段が、第2の波長の光から生成された第2の画像を所定のフレームレートで取得するステップと、
形状変化取得手段が、前記第2の画像から検出された被写体領域についてフレーム間の形状変化を求めるステップと、
推定手段が、前記第2の画像の被写体領域の形状変化量に基づいて、前記第1の画像における前記被写体領域に対応する第1の領域の移動位置を推定するステップと、
補正手段が、前記第1の画像における第1の領域の移動前の色情報と、移動後の色情報の変化に応じて、前記第1の画像のフレーム間における第1の領域の色情報を補正するステップと、を有することを特徴とする画像処理方法。 A first image obtaining unit obtaining a first image generated from light of a first wavelength at a predetermined frame rate;
A second image acquisition means for acquiring a second image generated from light of the second wavelength at a predetermined frame rate;
A step of obtaining a shape change between frames for a subject area detected from the second image;
Estimating means for estimating a movement position of the first region corresponding to the subject region in the first image based on a shape change amount of the subject region of the second image;
The correcting means obtains the color information of the first area between the frames of the first image according to the color information before the movement of the first area in the first image and the change of the color information after the movement. And a step of correcting the image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014159759A JP6450107B2 (en) | 2014-08-05 | 2014-08-05 | Image processing apparatus, image processing method, program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014159759A JP6450107B2 (en) | 2014-08-05 | 2014-08-05 | Image processing apparatus, image processing method, program, and storage medium |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018136075A Division JP6574878B2 (en) | 2018-07-19 | 2018-07-19 | Image processing apparatus, image processing method, imaging apparatus, program, and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016039409A true JP2016039409A (en) | 2016-03-22 |
JP6450107B2 JP6450107B2 (en) | 2019-01-09 |
Family
ID=55530191
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014159759A Expired - Fee Related JP6450107B2 (en) | 2014-08-05 | 2014-08-05 | Image processing apparatus, image processing method, program, and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6450107B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699395B2 (en) | 2016-10-14 | 2020-06-30 | Mitsubishi Electric Corporation | Image processing device, image processing method, and image capturing device |
CN112203572A (en) * | 2018-06-05 | 2021-01-08 | 奥林巴斯株式会社 | Endoscope system |
CN114143420A (en) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | Double-sensor camera system and privacy protection camera method thereof |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252404A (en) * | 2007-03-29 | 2008-10-16 | Fujifilm Corp | Imaging apparatus, method, and program |
JP2009071789A (en) * | 2007-09-18 | 2009-04-02 | Denso Corp | Vehicle periphery monitoring system |
WO2010109919A1 (en) * | 2009-03-27 | 2010-09-30 | パナソニック株式会社 | Imaging device |
JP2011182026A (en) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | Image processing apparatus, image display system, and image extracting device |
JP2014103644A (en) * | 2012-11-22 | 2014-06-05 | Canon Inc | Imaging apparatus, image processing apparatus and color correcting method |
JP2014130404A (en) * | 2012-12-28 | 2014-07-10 | Aero Asahi Corp | Road surface image generation system, shadow removing apparatus, method and program |
-
2014
- 2014-08-05 JP JP2014159759A patent/JP6450107B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008252404A (en) * | 2007-03-29 | 2008-10-16 | Fujifilm Corp | Imaging apparatus, method, and program |
JP2009071789A (en) * | 2007-09-18 | 2009-04-02 | Denso Corp | Vehicle periphery monitoring system |
WO2010109919A1 (en) * | 2009-03-27 | 2010-09-30 | パナソニック株式会社 | Imaging device |
JP2011182026A (en) * | 2010-02-26 | 2011-09-15 | Seiko Epson Corp | Image processing apparatus, image display system, and image extracting device |
JP2014103644A (en) * | 2012-11-22 | 2014-06-05 | Canon Inc | Imaging apparatus, image processing apparatus and color correcting method |
JP2014130404A (en) * | 2012-12-28 | 2014-07-10 | Aero Asahi Corp | Road surface image generation system, shadow removing apparatus, method and program |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699395B2 (en) | 2016-10-14 | 2020-06-30 | Mitsubishi Electric Corporation | Image processing device, image processing method, and image capturing device |
CN112203572A (en) * | 2018-06-05 | 2021-01-08 | 奥林巴斯株式会社 | Endoscope system |
CN112203572B (en) * | 2018-06-05 | 2024-04-05 | 奥林巴斯株式会社 | Endoscope system |
CN114143420A (en) * | 2020-09-04 | 2022-03-04 | 聚晶半导体股份有限公司 | Double-sensor camera system and privacy protection camera method thereof |
CN114143420B (en) * | 2020-09-04 | 2024-05-03 | 聚晶半导体股份有限公司 | Dual-sensor camera system and privacy protection camera method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP6450107B2 (en) | 2019-01-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6574878B2 (en) | Image processing apparatus, image processing method, imaging apparatus, program, and storage medium | |
CN106576143B (en) | Image capturing apparatus and image capturing method | |
KR101913837B1 (en) | Method for providing Panoramic image and imaging device thereof | |
JP5845464B2 (en) | Image processing apparatus, image processing method, and digital camera | |
JP5784587B2 (en) | Method and device for image selection and combination | |
JP6317577B2 (en) | Video signal processing apparatus and control method thereof | |
JP6420540B2 (en) | Image processing apparatus, control method therefor, program, and storage medium | |
US9092659B2 (en) | Subject determination apparatus that determines whether or not subject is specific subject | |
JP7285791B2 (en) | Image processing device, output information control method, and program | |
JP6720881B2 (en) | Image processing apparatus and image processing method | |
US9684988B2 (en) | Imaging device, image processing method, and recording medium | |
US8860840B2 (en) | Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus | |
JP6223059B2 (en) | Imaging apparatus, control method thereof, and program | |
KR101889932B1 (en) | Apparatus and Method for photographing image | |
US11089211B2 (en) | Image processing apparatus, image processing method, and program for switching between two types of composite images | |
WO2016008359A1 (en) | Object movement track image synthesizing method, device and computer storage medium | |
US8681235B2 (en) | Apparatus for processing digital image signal that obtains still image at desired point in time and method of controlling the apparatus | |
JP2017224939A (en) | Imaging apparatus | |
JP6450107B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
JP2015211233A (en) | Image processing apparatus and control method for image processing apparatus | |
US10762600B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable recording medium | |
JP6516830B2 (en) | Image processing apparatus, image processing method and program | |
JP2008172395A (en) | Imaging apparatus and image processing apparatus, method, and program | |
JP2014007528A (en) | Image processing apparatus and control method thereof | |
JP2023165555A (en) | Image processing apparatus, imaging apparatus, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181207 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6450107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |