JP2010021791A - Image capturing apparatus, and image processing method therefor, and program - Google Patents

Image capturing apparatus, and image processing method therefor, and program Download PDF

Info

Publication number
JP2010021791A
JP2010021791A JP2008180314A JP2008180314A JP2010021791A JP 2010021791 A JP2010021791 A JP 2010021791A JP 2008180314 A JP2008180314 A JP 2008180314A JP 2008180314 A JP2008180314 A JP 2008180314A JP 2010021791 A JP2010021791 A JP 2010021791A
Authority
JP
Japan
Prior art keywords
color filter
filter
pixel data
rgb
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008180314A
Other languages
Japanese (ja)
Inventor
Kunihiro Shirai
邦宏 白井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008180314A priority Critical patent/JP2010021791A/en
Publication of JP2010021791A publication Critical patent/JP2010021791A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Optical Filters (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To improve a speed of processing an operation of image processing, and to reduce capacity of size of a picked-up image, even when an image capturing apparatus includes a color filter having spectral sensitivity with respect to a predetermined emission line. <P>SOLUTION: The image capturing apparatus includes an RGB filter, and the color filter having the spectral sensitivity with respect to the predetermined emission line, and includes a reading means capable of separately reading data on pixels of the RGB filter and data on pixels on the color filter. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置、その画像処理方法及びプログラムに関するものである。   The present invention relates to an imaging device including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, an image processing method thereof, and a program.

近年、透過率波長域が異なる複数のカラーフィルタを用いて被写体を撮影することにより、被写体のスペクトル画像を取得することができるマルチバンド画像撮像装置(例えば、マルチバンドカメラ等)が実用化されている。マルチバンドカメラ等は、RGBの3色のフィルタ(以下、RGBフィルタという)のみでは再現することができない色を再現することができる。   In recent years, a multiband image pickup device (for example, a multiband camera) that can acquire a spectral image of a subject by photographing the subject using a plurality of color filters having different transmittance wavelength ranges has been put into practical use. Yes. A multi-band camera or the like can reproduce colors that cannot be reproduced only with RGB three-color filters (hereinafter referred to as RGB filters).

また、カラーフィルタ自体の配色方法にも様々な工夫がされている。例えば、特許文献1に開示されたマルチバンドカメラは、5色以上のカラーフィルタを備えていて、RGBフィルタのうちG系色のカラーフィルタを他色のカラーフィルタよりも多く配列することにより解像度の低下を抑えている。なお、カラーフィルタの色の種類を増加させると、輝度解像度が低下してしまうが、近年のカメラは画素数が多く、このような弊害は目立たなくなっている。   Various ideas have also been made for the color arrangement method of the color filter itself. For example, the multiband camera disclosed in Patent Document 1 includes five or more color filters, and the resolution of the color filter is increased by arranging more G-color color filters than RGB color filters among RGB filters. The decline is suppressed. Increasing the type of color of the color filter decreases the luminance resolution, but recent cameras have a large number of pixels, and such a problem is not noticeable.

特開2005−286649号公報JP 2005-286649 A

しかしながら、通常写真を撮影する場合、必ずしも全てのシーンにおいてマルチバンド画像が必要であるとは考えにくい。例えば、6色のカラーフィルタを具備するマルチバンドカメラにおいて画像処理する場合を想定する。この場合、出力をRGB出力するときであっても、通常のRGBフィルタに比べ入力色数が倍になるため、それぞれの色に対して色補間処理やホワイトバランス(WB)処理を行わなければならず、演算に時間がかかってしまう。さらに、画像を記録する場合においても、マルチバンドの情報が必要でない被写体の場合は、不要にメモリを消費してしまうという問題が発生する。   However, when a normal photograph is taken, it is not necessarily considered that a multiband image is necessary in all scenes. For example, a case is assumed where image processing is performed in a multiband camera having six color filters. In this case, even when the output is RGB output, the number of input colors is doubled compared to a normal RGB filter, so color interpolation processing and white balance (WB) processing must be performed for each color. Therefore, the computation takes time. Further, even when an image is recorded, there is a problem that the memory is unnecessarily consumed if the subject does not require multiband information.

本発明は上述したような問題点に鑑みてなされたものであり、所定の輝線に対して分光感度を有するカラーフィルタを具備する場合であっても、画像処理の演算の処理速度を向上させると共に、撮像した画像容量を減少させることを目的とする。   The present invention has been made in view of the above-described problems, and improves the processing speed of image processing operations even when a color filter having spectral sensitivity with respect to a predetermined bright line is provided. An object is to reduce the capacity of the captured image.

本発明は、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置であって、前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出手段を有することを特徴とする。
本発明の画像処理方法は、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置の画像処理方法であって、前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップを有することを特徴とする。
本発明のプログラムは、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置を制御させるためのプログラムであって、前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップをコンピュータに実行させるためのプログラムである。
The present invention is an imaging apparatus including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, and separately reads out pixel data of the RGB filter and pixel data of the color filter. It has the reading means which can do.
An image processing method of the present invention is an image processing method of an imaging apparatus comprising an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, wherein the RGB filter pixel data and the color filter It has a reading step capable of reading pixel data separately.
A program of the present invention is a program for controlling an image pickup apparatus including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, the pixel data of the RGB filter and the color filter This is a program for causing a computer to execute a reading step capable of separately reading pixel data.

本発明によれば、所定の輝線に対して分光感度を有するカラーフィルタを具備する場合であっても、画像処理の演算の処理速度を向上させると共に、撮像した画像容量を減少させることができる。   According to the present invention, even when a color filter having spectral sensitivity with respect to a predetermined bright line is provided, the processing speed of the image processing calculation can be improved and the captured image capacity can be reduced.

以下、図面を参照して本発明に係る実施形態について説明する。
(第1の実施形態)
本実施形態では、輝線を有する人工照明である水銀灯やナトリウム灯等に対応したカラーフィルタを具備し、これらの光源下でも適切な画像を出力することができる撮像装置(以下、マルチバンドカメラという)について説明する。
Embodiments according to the present invention will be described below with reference to the drawings.
(First embodiment)
In the present embodiment, an imaging device (hereinafter referred to as a multiband camera) that includes a color filter corresponding to mercury lamps, sodium lamps, and the like, which are artificial lights having bright lines, and can output appropriate images even under these light sources. Will be described.

図1は、本実施形態に係るマルチバンドカメラのブロック図である。
マルチバンドカメラ100は、撮像部1と、画像処理部5と、制御部9と、記憶部10と、通信部11とを含んで構成されている。
撮像部1は、例えば撮影光学系2と、ローパスフィルタ3と、撮像素子4とを含んで構成されている。画像処理部5は、撮像部1によって撮影された撮影画像に対して画像処理を行う。画像処理部5は、例えばデジタル信号処理部6と、補正処理部7と、メモリ8とを含んで構成されている。記憶部10は、マルチバンドカメラ100に対して取り外しできるように構成されている。この記憶部10には、画像処理部5によって処理された撮影画像が保存される。制御部9は、上述したマルチバンドカメラ100の構成要素の駆動及び制御のための命令を出力する。通信部11は、マルチバンドカメラ100に接続された外部装置との間で通信可能に構成されている。通信部11では、メモリ8又は記憶部10に記憶されたデータ等を外部装置との間で送受信する。
FIG. 1 is a block diagram of a multiband camera according to the present embodiment.
The multiband camera 100 includes an imaging unit 1, an image processing unit 5, a control unit 9, a storage unit 10, and a communication unit 11.
The imaging unit 1 includes, for example, a photographing optical system 2, a low-pass filter 3, and an imaging element 4. The image processing unit 5 performs image processing on the captured image captured by the imaging unit 1. The image processing unit 5 includes, for example, a digital signal processing unit 6, a correction processing unit 7, and a memory 8. The storage unit 10 is configured to be removable from the multiband camera 100. The storage unit 10 stores a captured image processed by the image processing unit 5. The control unit 9 outputs commands for driving and controlling the components of the multiband camera 100 described above. The communication unit 11 is configured to be able to communicate with an external device connected to the multiband camera 100. The communication unit 11 transmits / receives data stored in the memory 8 or the storage unit 10 to / from an external device.

次に、図2を参照して本実施形態に係るマルチバンドカメラの撮像素子の一例の構成について説明する。図2は、ハニカム構造の撮像素子の一部の構成を示す図である。
撮像素子には、通常の3バンドカメラが有しているR画素、G画素及びB画素に対応する画素201〜203を有している。画素201〜203にはそれぞれ、通常の3バンドカメラに設けられたカラーフィルタと同様の分光透過率を有するカラーフィルタ(RGBフィルタ)が設けられている。また、撮像素子には、画素201〜203に隣接して、複数の画素204〜207を有している。画素204〜207にはそれぞれ、人工照明がもつ輝線に分光感度を有するカラーフィルタが設けられている。ここで、本実施形態に係るマルチバンドカメラでは、画素201〜203のデータと画素204〜207のデータとを別々で読み出せるように構成されている。
Next, the configuration of an example of the image sensor of the multiband camera according to the present embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating a partial configuration of an image pickup device having a honeycomb structure.
The image sensor includes pixels 201 to 203 corresponding to R pixels, G pixels, and B pixels that a normal three-band camera has. Each of the pixels 201 to 203 is provided with a color filter (RGB filter) having the same spectral transmittance as that of a color filter provided in a normal three-band camera. In addition, the imaging element has a plurality of pixels 204 to 207 adjacent to the pixels 201 to 203. Each of the pixels 204 to 207 is provided with a color filter having spectral sensitivity in the bright line of the artificial illumination. Here, the multiband camera according to the present embodiment is configured so that the data of the pixels 201 to 203 and the data of the pixels 204 to 207 can be read separately.

なお、撮像素子は、CCD(電荷結合素子)又はCMOS(相補性金属酸化膜半導体)の何れであってもよい。また、図2では、ハニカム構造の撮像素子の構成を示したが、この場合に限られない。例えば、解像度を保つことができるように多くの画素が有する撮像素子の場合は、図3に示すように、通常のベイヤ配列のG画素302中に等間隔で、人工照明がもつ輝線に分光感度を有するカラーフィルタが設けられた画素304〜307を配列してもよい。   The imaging device may be either a CCD (charge coupled device) or a CMOS (complementary metal oxide semiconductor). Further, FIG. 2 shows the configuration of the imaging element having a honeycomb structure, but the present invention is not limited to this case. For example, in the case of an image sensor having a large number of pixels so that the resolution can be maintained, as shown in FIG. 3, the spectral sensitivity is applied to the bright lines of the artificial illumination at regular intervals in the G pixels 302 of a normal Bayer array. Pixels 304 to 307 provided with color filters having the above may be arranged.

ここで、水銀灯やナトリウム灯等のような人工照明が有する輝線スペクトルについて簡単に説明する。
まず、水銀灯は、ガラス管内中の水銀蒸気中のアーク放電により発生する光放射を利用した光源である。具体的に、水銀灯の光源は、404.7、435.8、546.1、577.0、579.1nmの輝線スペクトルからなる緑がかった青白色(5700K)の光源であって、253.7、365nmの紫外放射を伴う。なお、蛍光灯も水銀灯の一種であり、共通の波長にスペクトルをもつことが多い。
Here, the emission line spectrum of an artificial illumination such as a mercury lamp or a sodium lamp will be briefly described.
First, a mercury lamp is a light source that utilizes light radiation generated by arc discharge in mercury vapor inside a glass tube. Specifically, the light source of the mercury lamp is a greenish bluish white (5700K) light source having an emission line spectrum of 404.7, 435.8, 546.1, 577.0, 579.1 nm. With ultraviolet radiation at 365 nm. A fluorescent lamp is also a kind of mercury lamp, and often has a spectrum at a common wavelength.

次に、ナトリウム灯は、ナトリウム蒸気中のアーク放電による発光を利用したランプであり、例えば低圧ナトリウム灯、高圧ナトリウム灯等がある。特に、低圧ナトリウム灯は、ナトリウムがアーク放電中に放つD線(589nmと589.6nm)の放射を利用したものである。また、高圧ナトリウム灯は、ナトリウムの蒸気圧を低圧ナトリウム灯よりも高くすることにより発光スペクトルを広げ演色性を良くしたものである。   Next, the sodium lamp is a lamp that uses light emission by arc discharge in sodium vapor, such as a low-pressure sodium lamp or a high-pressure sodium lamp. In particular, low pressure sodium lamps utilize the radiation of D-rays (589 nm and 589.6 nm) emitted by sodium during arc discharge. In addition, the high pressure sodium lamp has a higher vapor rendering property by broadening the emission spectrum by making the vapor pressure of sodium higher than that of the low pressure sodium lamp.

次に、図4を参照して、マルチバンドカメラに設けられるカラーフィルタの分光感度分布について説明する。
特性線401〜403は、通常のカメラのRGBフィルタの分光分布を示している。特性線401は、B画素203が有するBフィルタの分光感度分布である。特性線402は、G画素202が有するGフィルタの分光感度分布である。特性線403は、R画素201が有するRフィルタの分光感度分布である。
特性線404〜407はそれぞれ、所定の輝線に対応した分光感度を有するカラーフィルタの分光分布を示している。ここでは、上述した一般的な輝線を有する人工光源である水銀灯、蛍光灯、ナトリウム灯に対応させるために、4種類の人工光源に対応したカラーフィルタが設けられている。これらのカラーフィルタは、波長帯域が狭小な輝線波長領域に高い透過率をもつカラーフィルタである。
Next, the spectral sensitivity distribution of the color filter provided in the multiband camera will be described with reference to FIG.
Characteristic lines 401 to 403 indicate the spectral distribution of the RGB filter of a normal camera. A characteristic line 401 is a spectral sensitivity distribution of the B filter included in the B pixel 203. A characteristic line 402 is a spectral sensitivity distribution of the G filter included in the G pixel 202. A characteristic line 403 is a spectral sensitivity distribution of the R filter included in the R pixel 201.
Characteristic lines 404 to 407 indicate spectral distributions of color filters having spectral sensitivity corresponding to predetermined bright lines. Here, color filters corresponding to four types of artificial light sources are provided in order to correspond to the mercury lamp, the fluorescent lamp, and the sodium lamp, which are the artificial light sources having the general bright lines described above. These color filters are color filters having high transmittance in the emission line wavelength region where the wavelength band is narrow.

本実施形態では、特性線404及び特性線405の分光感度分布を有するカラーフィルタは、水銀灯の輝線に対応し、それぞれ430nm、540nmの波長を有する輝線に対して高い透過率を有する。また、特性線406の分光感度分布を有するカラーフィルタは、水銀灯とナトリウム灯との輝線に対応させており、580nmの波長を有する輝線に対して高い透過率を有する。また、特性線407の分光感度分布を有するカラーフィルタは、蛍光灯の3波長管が持つことが多い輝線に対応させており、610nm付近の波長を有する輝線に対して高い透過率を有する。   In the present embodiment, the color filter having the spectral sensitivity distribution of the characteristic line 404 and the characteristic line 405 corresponds to the emission line of the mercury lamp and has a high transmittance with respect to the emission lines having wavelengths of 430 nm and 540 nm, respectively. The color filter having the spectral sensitivity distribution of the characteristic line 406 corresponds to the emission lines of the mercury lamp and the sodium lamp, and has a high transmittance with respect to the emission line having a wavelength of 580 nm. Further, the color filter having the spectral sensitivity distribution of the characteristic line 407 corresponds to the bright line often possessed by the three-wavelength tube of the fluorescent lamp, and has a high transmittance with respect to the bright line having a wavelength near 610 nm.

上述したカラーフィルタはそれぞれ430nm、540nm、580nm、610nmの波長を有する輝線に対応した分光透過率特性にした場合について説明したが、この場合に限られない。例えば400nm付近の水銀スペクトルに対応させたカラーフィルタを用いてもよい。また、上述したカラーフィルタは4種類の場合について説明したが、この場合に限られず、例えば1種類以上であればよい。例えば、カラーフィルタを3種類にした場合にあっては、図2における画素204と画素207とに同じ分光感度のカラーフィルタを配置すればよい。この場合、3種類の中でG画素が有するカラーフィルタに近い分光感度のものを画素204と画素207に配置すれば解像度の低減を最小限にすることができる。   Although the case where the above-described color filter has spectral transmittance characteristics corresponding to emission lines having wavelengths of 430 nm, 540 nm, 580 nm, and 610 nm has been described, the present invention is not limited to this case. For example, a color filter corresponding to a mercury spectrum near 400 nm may be used. Moreover, although the case where the color filter mentioned above was four types was demonstrated, it is not restricted to this case, For example, what is necessary is just one or more types. For example, when three types of color filters are used, color filters having the same spectral sensitivity may be arranged for the pixels 204 and 207 in FIG. In this case, if the spectral sensitivity close to the color filter of the G pixel among the three types is arranged in the pixel 204 and the pixel 207, resolution reduction can be minimized.

次に、図5に示すフローチャートを参照して、マルチバンドカメラの動作処理について説明する。ここでは、ユーザがマルチバンドカメラに対して各モードを設定する場合について説明する。
本実施形態のマルチバンドカメラは、3つの撮影モードを有している。第一のモード(モード1)は、被写体が水銀灯や蛍光灯のような輝線がある人工照明の光源下でない場合であり、通常のRGBフィルタを有する画素201〜203のみで撮影するモードである。第二のモード(モード2)は、被写体が上述した輝線のある人工照明の光源下にある場合であり、所定の輝度に分光感度を有するカラーフィルタの画素(以下、輝度用の画素という)204〜207の信号を読み出し各光源に応じた最適な処理を行うモードである。第三のモード(モード3)は、画素201〜207の全ての信号を読み出して、処理速度や画像容量より画質を優先するモードである。
Next, the operation processing of the multiband camera will be described with reference to the flowchart shown in FIG. Here, a case where the user sets each mode for the multiband camera will be described.
The multiband camera of the present embodiment has three shooting modes. The first mode (mode 1) is a mode in which the subject is not under an artificial illumination light source having a bright line such as a mercury lamp or a fluorescent lamp, and is a mode in which only the pixels 201 to 203 having normal RGB filters are photographed. The second mode (mode 2) is a case where the subject is under the light source of the artificial illumination having the bright line described above, and a color filter pixel (hereinafter referred to as a luminance pixel) 204 having spectral sensitivity at a predetermined luminance. In this mode, signals ˜207 are read out and optimum processing is performed according to each light source. The third mode (mode 3) is a mode in which all signals of the pixels 201 to 207 are read out, and image quality is prioritized over processing speed and image capacity.

まず、ステップS501において、ユーザは上述した撮影モードのうち何れか1つを選択して設定する。マルチバンドカメラ100の制御部9は、選択された撮影モードを検出する。上述した処理は、モード検出手段の一例に対応する。
次に、ステップS502において、ユーザの撮影指示に応じて制御部9は、撮像部1を介して実際に被写体を撮影する。このとき、制御部9は、設定された撮影モードに基づいて、必要な画素のデータのみを読み出してもよく、全画素を読み出してメモリ8又は記憶部10に一度記録して、メモリ8又は記憶部10から必要な画素のデータのみを読み出して信号処理してもよい。
First, in step S501, the user selects and sets one of the above-described shooting modes. The control unit 9 of the multiband camera 100 detects the selected shooting mode. The processing described above corresponds to an example of mode detection means.
Next, in step S <b> 502, the control unit 9 actually shoots the subject via the imaging unit 1 in accordance with a user's shooting instruction. At this time, the control unit 9 may read out only necessary pixel data based on the set photographing mode, reads out all the pixels, records them once in the memory 8 or the storage unit 10, and stores them in the memory 8 or the storage unit. Only necessary pixel data may be read out from the unit 10 and processed.

ステップS504において、制御部9は設定された撮影モードを判定する。この処理は、判定手段の一例に対応する。制御部9は、設定された撮影モードがモード1であると判定した場合、ステップS505に処理を進める。
ステップS505において、制御部9は、通常のRGBフィルタを有する画素201〜203のみのデータを読み出す。この処理は読出手段の一例に対応する。制御部9は、通常のベイヤ配列のRawデータをメモリ8又は記憶部10に記録する。次に、ステップS506において、制御部9は、画像処理部5を介してホワイトバランス処理を行う。次に、ステップS507において、制御部9は、画像処理部5を介して色補間を行う。次に、ステップS508において、制御部9は、画像処理部5を介して色輝度調整を行う。最後に、ステップS519において、制御部9は、画像処理を行ったRGB画像データを記憶部10に記録する。上述した処理は、従来のRGBフィルタのみを有するカメラと同様である。
In step S504, the control unit 9 determines the set shooting mode. This process corresponds to an example of a determination unit. If the control unit 9 determines that the set shooting mode is mode 1, the control unit 9 advances the process to step S505.
In step S505, the control unit 9 reads only data of the pixels 201 to 203 having a normal RGB filter. This process corresponds to an example of a reading unit. The control unit 9 records the normal Bayer array Raw data in the memory 8 or the storage unit 10. Next, in step S <b> 506, the control unit 9 performs white balance processing via the image processing unit 5. Next, in step S507, the control unit 9 performs color interpolation via the image processing unit 5. Next, in step S <b> 508, the control unit 9 performs color luminance adjustment via the image processing unit 5. Finally, in step S519, the control unit 9 records the RGB image data subjected to the image processing in the storage unit 10. The processing described above is the same as that of a camera having only a conventional RGB filter.

ステップS504において、制御部9は、設定された撮影モードがモード2であると判定した場合、ステップS509に処理を進める。被写体が水銀灯や蛍光灯等の輝線のある光源下では、通常のRGBフィルタを有する画素201〜203のみを使用した場合、輝線光源に対して色分解能が十分でないために、撮影された画像は混色の可能性がある。モード2では、所定の輝度用に分光感度を有する画素204〜207(輝度用の画素)のみを使用し、十分に色再現が可能である。したがって、記録される画像データの容量が増加することがない。   In step S504, when the control unit 9 determines that the set shooting mode is mode 2, the process proceeds to step S509. If the subject is a light source with bright lines such as a mercury lamp or a fluorescent lamp, and only the pixels 201 to 203 having normal RGB filters are used, the color resolution is not sufficient with respect to the bright line light source. There is a possibility. In mode 2, only the pixels 204 to 207 (pixels for luminance) having spectral sensitivity for a predetermined luminance are used, and sufficient color reproduction is possible. Therefore, the capacity of image data to be recorded does not increase.

ステップS509において、制御部9は、輝線用の画素204〜207のデータのみを読み出す。この処理は読出手段の一例に対応する。制御部9は、輝線用の画素204〜207のみのRawデータをメモリ8又は記憶部10に記録する。次に、ステップS510において、制御部9は、画像処理部5を介してホワイトバランス処理を行う。このとき、分光透過率特性がG画素に近く、輝度情報に最も影響を与える580nm付近に感度を有する特性線406のカラーフィルタを有する画素の画素値を中心にWBゲインをかけるとよい。   In step S509, the control unit 9 reads only the data of the bright line pixels 204 to 207. This process corresponds to an example of a reading unit. The control unit 9 records the raw data of only the bright line pixels 204 to 207 in the memory 8 or the storage unit 10. Next, in step S <b> 510, the control unit 9 performs white balance processing via the image processing unit 5. At this time, it is preferable to apply the WB gain around the pixel value of the pixel having the color filter of the characteristic line 406 having a spectral transmittance characteristic close to that of the G pixel and having the sensitivity in the vicinity of 580 nm that most affects luminance information.

ステップS511において、制御部9は、画像処理部5を介して色補間を行う。また、ステップS512において、制御部9は、画像処理部5を介して色輝度調整を行う。ここでの色輝度調整は、モード1の場合とは異なり、輝線用の画素204〜207の4色からRGB3色に変換するマトリックス演算が必要である。このマトリックス係数は設定したモードにより最適化したものを予め準備しておく。最後に、ステップS519において、制御部9は、画像処理を行ったRGB画像データを記憶部10に記録する。   In step S <b> 511, the control unit 9 performs color interpolation via the image processing unit 5. In step S <b> 512, the control unit 9 performs color luminance adjustment via the image processing unit 5. The color luminance adjustment here requires a matrix operation for converting the four colors of the bright line pixels 204 to 207 into three RGB colors, unlike the case of mode 1. This matrix coefficient is prepared in advance in accordance with the set mode. Finally, in step S519, the control unit 9 records the RGB image data subjected to the image processing in the storage unit 10.

ステップS504において、制御部9は、設定された撮影モードがモード3であると判定した場合、ステップS513に処理を進める。モード3は色再現を重視したモードである。
ステップS513において、制御部9は全ての画素201〜207のデータを読み出す。この処理は読出手段の一例に対応する。制御部9は、画素201〜207のRawデータをメモリ8又は記憶部10に記録する。次に、ステップS514において、制御部9は、全7バンドから分光推定を行う。なお、制御部9は、分光推定する手法としてWiener推定等を用いる。ステップS515において、制御部9は、分光推定した分光画像をメモリ8又は記憶部10に記録する。次に、ステップS516において、制御部9は、画像処理部5を介してホワイトバランス処理を行う。次に、ステップS517において、制御部9は、画像処理部5を介して色補間を行う。また、ステップS518において、制御部9は、画像処理部5を介して色輝度調整を行う。最後に、ステップS519において、制御部9は、分光画像データからRGB画像データを作成し、作成したRGB画像データを記憶部10に記録する。
In step S504, when the control unit 9 determines that the set shooting mode is mode 3, the control unit 9 advances the process to step S513. Mode 3 is a mode that emphasizes color reproduction.
In step S513, the control unit 9 reads data of all the pixels 201 to 207. This process corresponds to an example of a reading unit. The control unit 9 records the raw data of the pixels 201 to 207 in the memory 8 or the storage unit 10. Next, in step S514, the control unit 9 performs spectral estimation from all seven bands. The control unit 9 uses Wiener estimation or the like as a spectral estimation method. In step S515, the control unit 9 records the spectral image that has been spectrally estimated in the memory 8 or the storage unit 10. Next, in step S <b> 516, the control unit 9 performs white balance processing via the image processing unit 5. Next, in step S517, the control unit 9 performs color interpolation via the image processing unit 5. In step S <b> 518, the control unit 9 performs color luminance adjustment via the image processing unit 5. Finally, in step S519, the control unit 9 creates RGB image data from the spectral image data, and records the created RGB image data in the storage unit 10.

なお、上述した動作処理では、ユーザが撮影モードを選択して、設定する場合についてのみ説明したが、この場合に限られず、マルチバンドカメラ100が自動で、所定の輝線を有する光源下であるか否かを判定してもよい。所定の輝線を有する光源下であるか否かを判定する処理は、輝度判定手段の一例に対応する。
次に、図6のフローチャートを参照して、所定の輝線を有する光源下であるか否かを判定する処理について説明する。
ステップS601において、ユーザの撮影指示に応じて制御部9は、撮像部1を介して被写体を撮影する。次に、制御部9は、撮影した画像をメモリ8、具体的にはRAMに記憶する。
In the above-described operation processing, only the case where the user selects and sets the shooting mode has been described. However, the present invention is not limited to this, and is the multiband camera 100 automatically under a light source having a predetermined bright line? It may be determined whether or not. The process of determining whether or not the light source has a predetermined bright line corresponds to an example of a luminance determination unit.
Next, processing for determining whether or not the light source has a predetermined bright line will be described with reference to the flowchart of FIG.
In step S <b> 601, the control unit 9 shoots a subject via the imaging unit 1 in accordance with a user's shooting instruction. Next, the control unit 9 stores the captured image in the memory 8, specifically, the RAM.

次に、ステップS603において、制御部9はRAMに記憶された画像から光源判別に使用する輝度用の画素の画素値(G輝線)の積分値とそれに対応するRGBフィルタを有する画素の画素値(G)の積分値との差分を演算する。具体的には、制御部9は輝度用の画素(特性線405のカラーフィルタを有する画素)の画素値の積分値と、R画素(特性線402のRフィルタを有する画素)の画素値の積分値との差分を演算する。ここで、演算する積分の範囲は、画像の中心部のみであってもよいが、中心部と周辺部の両方であることが好ましい。なお、画像中に無彩色(グレー)の領域がある場合はその領域を抽出して、その領域の積分値で比較すれば判定精度は向上する。制御部9は、演算して取得したG輝線の積分値とGの積分値との差分と、予め設定した閾値Vthとを比較して判定する。G輝線の積分値とGの積分値との差分が閾値Vthより大きい場合、制御部9は撮影画像が輝線を有する光源下であると判定して、ステップS605に処理を進める。一方、G輝線の積分値とGの積分値との差分が閾値Vthより大きくない場合、制御部9はステップS604に処理を進める。   Next, in step S603, the control unit 9 determines from the image stored in the RAM the integrated value of the pixel value (G bright line) of the pixel for luminance used for light source determination and the pixel value of the pixel having the corresponding RGB filter (G bright line). The difference from the integrated value of G) is calculated. Specifically, the control unit 9 integrates the integration value of the pixel value of the pixel for luminance (the pixel having the color filter of the characteristic line 405) and the pixel value of the R pixel (the pixel having the R filter of the characteristic line 402). Calculate the difference from the value. Here, the range of integration to be calculated may be only the central portion of the image, but it is preferable to be both the central portion and the peripheral portion. Note that if there is an achromatic (gray) region in the image, that region is extracted and compared with the integrated value of that region, the determination accuracy is improved. The control unit 9 compares and determines the difference between the integrated value of the G bright line and the integrated value of G obtained by calculation and a preset threshold value Vth. If the difference between the integral value of the G bright line and the integral value of G is greater than the threshold value Vth, the control unit 9 determines that the captured image is under a light source having a bright line, and proceeds to step S605. On the other hand, when the difference between the integral value of the G bright line and the integral value of G is not larger than the threshold value Vth, the control unit 9 advances the process to step S604.

ステップS605において、制御部9は撮影画像が輝線を有する光源下であると判定して、上述した撮影モードをモード2に自動的に設定する。また、ステップS604において、制御部9は通常光源下であると判定して撮影モードを通常の撮影モードであるモード1に自動的に設定する。   In step S605, the control unit 9 determines that the captured image is under a light source having a bright line, and automatically sets the above-described imaging mode to mode 2. In step S604, the control unit 9 determines that it is under a normal light source, and automatically sets the shooting mode to mode 1, which is a normal shooting mode.

なお、自動露出装置を有するマルチバンドカメラの場合、測光したときに上述した撮影モードを判定してもよい。制御部9は、測光した結果に応じて撮影モードを設定するので、一度撮影する必要がないため、画素のデータの読み出しを省略することができる。したがって、特に高画素のカメラにおいては、高速の読み出しが可能になり、例えば連射枚数を増やすことができる等のメリットがある。   In the case of a multi-band camera having an automatic exposure device, the above-described shooting mode may be determined when metering is performed. Since the control unit 9 sets the shooting mode according to the photometric result, it is not necessary to take a picture once, so reading of pixel data can be omitted. Therefore, particularly in a high-pixel camera, high-speed reading is possible, and there is an advantage that, for example, the number of continuous shots can be increased.

また、デジタルカメラの多くが、電子ビューファインダ(EVF)機能を備えている。
ここで、電子ビューファインダ機能とは、カメラ背面等に設けられた液晶等の背面モニタに、撮影しようとしている被写体の様子をリアルタイムに表示する機能のことである。なお、電子ビューファインダ機能のことを、ライブビューモードという。
Many digital cameras have an electronic viewfinder (EVF) function.
Here, the electronic viewfinder function is a function for displaying the state of the subject to be photographed in real time on a rear monitor such as a liquid crystal provided on the rear surface of the camera. The electronic viewfinder function is called a live view mode.

ライブビューモードを実現するために、制御部9は撮像部1を介して一定の時間間隔で、画素のデータを読み出した上、デジタル信号処理部6及び補正処理部7を経由し、背面モニタに被写体を表示する。このとき、撮像部1からの読み出し時間やデジタル信号処理部6の処理時間に長時間、要するとフレームレートに影響を与えてしまう。しかし、背面モニタは、ユーザが撮影する被写体の構図を確認することに重点がおかれるため、モニタサイズはそれ程大きくなく、色再現性の性能もPCモニタより劣っていることが多い。したがって、マルチバンドカメラにおいてライブビューモードにする場合、輝線用の画素204〜207のデータは読み出さないようにして、通常のRGBフィルタの画素201〜203のデータのみを読み出し信号処理を行い背面モニタに表示する。したがって、ライブビューモードによって被写体を表示する場合であっても、フレームレートの圧迫を防止することができる。   In order to realize the live view mode, the control unit 9 reads out pixel data via the imaging unit 1 at regular time intervals, and then passes through the digital signal processing unit 6 and the correction processing unit 7 to the rear monitor. Display the subject. At this time, if the reading time from the imaging unit 1 and the processing time of the digital signal processing unit 6 are long, the frame rate is affected. However, since the back monitor is focused on confirming the composition of the subject to be photographed by the user, the monitor size is not so large, and the performance of color reproducibility is often inferior to that of the PC monitor. Therefore, when the live view mode is set in the multiband camera, the data of the pixels 204 to 207 for the bright lines are not read, and only the data of the pixels 201 to 203 of the normal RGB filter are read and signal processing is performed on the rear monitor. indicate. Therefore, even when the subject is displayed in the live view mode, it is possible to prevent the frame rate from being compressed.

このように本実施形態によれば、通常のRGBフィルタのみを有するカメラでは色の再現が困難な輝線を有する人工照明の光源下でも色再現性のよい画像を撮影でき、画像処理の演算の処理速度を低下したり画像容量を増加したりすることがない。   As described above, according to this embodiment, it is possible to capture an image with good color reproducibility even under a light source of artificial illumination having a bright line, which is difficult to reproduce with a camera having only a normal RGB filter, and processing of image processing There is no reduction in speed or increase in image capacity.

(第2の実施形態)
本実施形態では、天体画像撮影用の輝線に分光感度を有するカラーフィルタを備えたマルチバンドカメラについて説明する。なお、本実施形態に係るマルチバンドカメラのブロック図は、第1の実施形態と同様であり、その説明は省略する。
(Second Embodiment)
In the present embodiment, a multiband camera provided with a color filter having spectral sensitivity in the bright line for astronomical image capturing will be described. Note that the block diagram of the multiband camera according to the present embodiment is the same as that of the first embodiment, and a description thereof will be omitted.

ここで、自然光源として天体画像で重要な波長成分であるHα線について説明する。Hα線とは、水素原子の線スペクトルうち可視光から近紫外の領域である線スペクトルであるパルマ―系列の中の最も長波長側のもので、656.28nmの波長を有する。この波長は可視光のなかでも高波長寄りで肉眼ではほとんど確認することができない。しかし、散光星雲の中にはこの光のみを発するものがある。カラーフィルムや特殊な白黒フィルムで撮影することにより、目には見えない光を確認することができる。さらに、太陽光のHαを観測することにより、通常の撮影ではみることができない太陽の彩層面の現象(フレア、プロミネンス、フィラメント、スピキュール等)を観測することもできる。このようにHα線は天体写真をとる上で重要な要素の一つとなっている。   Here, the Hα ray, which is an important wavelength component in the celestial image as a natural light source, will be described. The Hα ray is the longest wavelength side of the Palmer series that is a line spectrum in the visible to near-ultraviolet region of the line spectrum of hydrogen atoms, and has a wavelength of 656.28 nm. This wavelength is close to a high wavelength among visible light, and can hardly be confirmed with the naked eye. However, some diffuse nebulae emit only this light. By shooting with a color film or special black and white film, invisible light can be confirmed. Furthermore, by observing Hα of sunlight, it is possible to observe phenomena on the chromosphere surface of the sun (flares, prominences, filaments, spicules, etc.) that cannot be seen in normal photography. In this way, the Hα ray is one of the important elements in taking astronomical photographs.

しかし、通常のカメラにおいて、Hα線の波長に分光感度を有していると、袴のような赤から近赤外付近にかけて分光反射率を持つ被写体を撮影すると赤被りを起こしてしまうため、多くのカメラはこの波長域に対する分光感度を有していない。したがって、上述した天文画像を撮影したい場合、赤外カットフィルタを外したり、専用のカメラにより撮影したりする必要があり、その撮影は困難であった。   However, if a normal camera has spectral sensitivity at the wavelength of the Hα ray, shooting a subject having a spectral reflectance from red to near-infrared, such as moths, will cause red covering. Cameras do not have spectral sensitivity for this wavelength range. Therefore, when it is desired to shoot the above-described astronomical image, it is necessary to remove the infrared cut filter or shoot with a dedicated camera, which is difficult to shoot.

次に、図7を参照して本実施形態に係るマルチバンドカメラの撮像素子の一例の構成について説明する。図7は、ハニカム構造の撮像素子の一部の構成を示す図である。
撮像素子には、通常の3バンドカメラが有しているR画素、G画素及びB画素に対応する画素701〜703を有している。画素701〜703にはそれぞれ、通常の3バンドカメラに設けられたカラーフィルタと同様の分光透過率を有するカラーフィルタ(RGBフィルタ)が設けられている。また、撮像素子には、画素704を有している。画素704は、Hα線に分光感度を有するカラーフィルタを有している。
Next, the configuration of an example of the image sensor of the multiband camera according to the present embodiment will be described with reference to FIG. FIG. 7 is a diagram illustrating a partial configuration of an image pickup element having a honeycomb structure.
The image sensor has pixels 701 to 703 corresponding to R pixels, G pixels, and B pixels that a normal three-band camera has. Each of the pixels 701 to 703 is provided with a color filter (RGB filter) having the same spectral transmittance as that of a color filter provided in an ordinary three-band camera. In addition, the imaging element has a pixel 704. The pixel 704 has a color filter having spectral sensitivity to Hα rays.

次に、図8を参照して、マルチバンドカメラに設けられるカラーフィルタの分光感度分布について説明する。
特性線801〜803は、通常のカメラのRGBフィルタの分光分布を示している。特性線801は、B画素703が有するBフィルタの分光感度分布である。特性線802は、G画素702が有するGフィルタの分光感度分布である。特性線803は、R画素701が有するRフィルタの分光感度分布である。
特性線804は、画素704(Hα線画素)のHα線に分光感度を有するカラーフィルタの分光感度分布である。
Next, the spectral sensitivity distribution of the color filter provided in the multiband camera will be described with reference to FIG.
Characteristic lines 801 to 803 indicate the spectral distribution of the RGB filter of a normal camera. A characteristic line 801 is a spectral sensitivity distribution of the B filter included in the B pixel 703. A characteristic line 802 is a spectral sensitivity distribution of the G filter included in the G pixel 702. A characteristic line 803 is a spectral sensitivity distribution of the R filter included in the R pixel 701.
A characteristic line 804 is a spectral sensitivity distribution of a color filter having spectral sensitivity to the Hα line of the pixel 704 (Hα line pixel).

次に、図9に示すフローチャートを参照して、マルチバンドカメラの動作処理について説明する。本実施形態では、自動的に撮影モードを判定することは困難であり、ユーザがマルチバンドカメラに対して各モードを設定する。
本実施形態のマルチバンドカメラは、3つの撮影モードを有している。第一のモード(モード1)は、輝線に対応する画素のデータを読み出さない通常撮影モードであり、第1の実施形態と同様である。また、通常撮影モードを設定できるように構成されていることで、天体撮影に限定されず、通常撮影も行うことができるカメラとすることができる。
Next, the operation processing of the multiband camera will be described with reference to the flowchart shown in FIG. In this embodiment, it is difficult to automatically determine the shooting mode, and the user sets each mode for the multiband camera.
The multiband camera of the present embodiment has three shooting modes. The first mode (mode 1) is a normal photographing mode in which pixel data corresponding to the bright line is not read out, and is the same as in the first embodiment. In addition, since the normal shooting mode can be set, the camera is not limited to astronomical shooting but can also perform normal shooting.

第二のモード(モード2)は、散光星雲(代表的なものはオリオン座のM42や一角獣座のバラ星雲などが挙げられる)のようにHα線を発する星を赤色で撮影するモードである。第三のモード(モード3)は、上述した太陽の彩層面の現象の撮影のようにHα情報のみを取得したい場合に設定するモードである。   The second mode (mode 2) is a mode in which a star emitting Hα rays is photographed in red, such as a diffuse nebula (typical examples include the M42 of Orion and the rose nebula of the unicorn constellation). The third mode (mode 3) is a mode that is set when it is desired to acquire only the Hα information as in the case of photographing the phenomenon of the solar chromosphere described above.

まず、ステップS901は、ユーザは上述した撮影モードのうち何れか1つを選択して設定する。マルチバンドカメラの制御部9は、選択された撮影モードを検出する。
次に、ステップS902において、ユーザの撮影指示に応じて制御部9は、撮像部1を介して実際に被写体を撮影する。このとき、制御部9は、設定された撮影モードに基づいて、必要な画素のデータのみを読み出してもよく、全画素を読み出してメモリ8又は記憶部10に一度記録して、メモリ8又は記憶部10から必要な画素のデータのみを読み出して信号処理してもよい。
First, in step S901, the user selects and sets any one of the above-described shooting modes. The control unit 9 of the multiband camera detects the selected shooting mode.
Next, in step S <b> 902, the control unit 9 actually shoots the subject via the imaging unit 1 in accordance with a user's shooting instruction. At this time, the control unit 9 may read out only necessary pixel data based on the set photographing mode, reads out all the pixels, records them once in the memory 8 or the storage unit 10, and stores them in the memory 8 or the storage unit. Only necessary pixel data may be read out from the unit 10 and processed.

ステップS904において、制御部9は設定された撮影モードを判定する。制御部9は、設定された撮影モードがモード1であると判定した場合、ステップS905に処理を進める。なお、モード1は、上述した第1の実施形態と同様であり、図9に示すフローチャートのステップS905〜S908の説明は省略する。
ステップS904において、制御部9は、設定された撮影モードがモード2であると判定した場合、ステップS909に処理を進める。ステップS909において、制御部9は画素701〜704の全てのRawデータをメモリ8又は記憶部10に記録する。ステップS910において、制御部9は、画像処理部5を介してG画素702に対するWBゲインを決定しホワイトバランス処理を行う。ステップS911において、制御部9は画像処理部5を介して色補間処理を行う。ステップS912において、制御部9は画像処理部5を介してHα線画素の画素値が適切な赤色に反映されるように予め準備したマトリックス係数をかけて、色調整を行う。最後に、ステップS916において、制御部9は、画像処理を行ったRGB画像データを記憶部10に記録する。
In step S904, the control unit 9 determines the set shooting mode. If the control unit 9 determines that the set shooting mode is mode 1, the control unit 9 advances the process to step S905. Note that mode 1 is the same as in the first embodiment described above, and a description of steps S905 to S908 in the flowchart shown in FIG. 9 is omitted.
In step S904, when the control unit 9 determines that the set shooting mode is mode 2, the process proceeds to step S909. In step S909, the control unit 9 records all the raw data of the pixels 701 to 704 in the memory 8 or the storage unit 10. In step S910, the control unit 9 determines a WB gain for the G pixel 702 via the image processing unit 5 and performs white balance processing. In step S <b> 911, the control unit 9 performs color interpolation processing via the image processing unit 5. In step S912, the control unit 9 performs color adjustment by applying a matrix coefficient prepared in advance so that the pixel value of the Hα line pixel is reflected in an appropriate red color via the image processing unit 5. Finally, in step S916, the control unit 9 records the RGB image data subjected to image processing in the storage unit 10.

ステップS904において、制御部9は、設定された撮影モードがモード3であると判定した場合、ステップS913に処理を進める。
ステップS913において、制御部9はHα線の画素704のデータのみを読み出し、Rawデータをメモリ8又は記憶部10に記憶する。モード3では色再現は不要であるため、ステップS915において、制御部9は、画像処理部5を介して輝度調整のみを行い、記憶部10に記録する。
In step S904, when the control unit 9 determines that the set shooting mode is mode 3, the process proceeds to step S913.
In step S <b> 913, the control unit 9 reads only the data of the pixel 704 of the Hα line and stores the Raw data in the memory 8 or the storage unit 10. Since color reproduction is unnecessary in mode 3, the control unit 9 performs only brightness adjustment via the image processing unit 5 and records it in the storage unit 10 in step S915.

このように本実施形態によれば、通常のRGBフィルタと所定の輝度に対して分光感度を有するフィルタとを使い分けることにより、通常のカメラとして使用することができると共に、例えば天体画像撮影用のカメラとしても使用することができる。   As described above, according to the present embodiment, by using a normal RGB filter and a filter having spectral sensitivity with respect to a predetermined luminance, it can be used as a normal camera and, for example, a camera for photographing astronomical images. Can also be used.

上述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像装置の画像処理方法の各ステップは、コンピュータのRAMやROM等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。   Each means constituting the imaging apparatus and each step of the image processing method of the imaging apparatus in the embodiment of the present invention described above can be realized by operating a program stored in a RAM, a ROM, or the like of the computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。   Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus composed of a single device.

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。   The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。   Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。   Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。   As another method, a program read from a recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

本実施形態に係るマルチバンドカメラのブロック図である。It is a block diagram of the multiband camera which concerns on this embodiment. 第1の実施形態に係る撮像素子の配列を示す図である。It is a figure which shows the arrangement | sequence of the image pick-up element which concerns on 1st Embodiment. 第1の実施形態に係る撮像素子の他の配列を示す図である。It is a figure which shows the other arrangement | sequence of the image pick-up element which concerns on 1st Embodiment. 第1の実施形態に係るカラーフィルタの分光分布を示す図である。It is a figure which shows the spectral distribution of the color filter which concerns on 1st Embodiment. 第1の実施形態に係るマルチバンドカメラの処理を示すフローチャートである。It is a flowchart which shows the process of the multiband camera which concerns on 1st Embodiment. 第1の実施形態に係るモードの自動判定の処理を示すフローチャートである。It is a flowchart which shows the process of the automatic determination of the mode which concerns on 1st Embodiment. 第2の実施形態に係る撮像素子の配列を示す図である。It is a figure which shows the arrangement | sequence of the image pick-up element which concerns on 2nd Embodiment. 第2の実施形態に係るカラーフィルタの分光分布を示す図である。It is a figure which shows the spectral distribution of the color filter which concerns on 2nd Embodiment. 第2の実施形態に係るマルチバンドカメラの処理を示すフローチャートである。It is a flowchart which shows the process of the multiband camera which concerns on 2nd Embodiment.

符号の説明Explanation of symbols

1 撮像部
2 光学系
3 フィルタ
4 撮像素子
5 画像処理部
6 デジタル信号処理部
7 補正処理部
8 メモリ
9 制御部
10 記録部
11 通信部
100 マルチバンドカメラ
DESCRIPTION OF SYMBOLS 1 Imaging part 2 Optical system 3 Filter 4 Imaging element 5 Image processing part 6 Digital signal processing part 7 Correction processing part 8 Memory 9 Control part 10 Recording part 11 Communication part 100 Multiband camera

Claims (11)

RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置であって、
前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出手段を有することを特徴とする撮像装置。
An imaging apparatus comprising an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line,
An image pickup apparatus comprising reading means capable of separately reading pixel data of the RGB filter and pixel data of the color filter.
前記読出手段が、前記RGBフィルタの画素のデータを読み出すか、前記カラーフィルタの画素のデータを読み出すかを判定する判定手段を更に有することを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising a determination unit configured to determine whether the reading unit reads pixel data of the RGB filter or pixel data of the color filter. 前記判定手段は、前記RGBフィルタの画素のデータ及び前記カラーフィルタの画素のデータの両方を読み出すかを更に判定することを特徴とする請求項2に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the determination unit further determines whether to read out both pixel data of the RGB filter and pixel data of the color filter. 選択されたモードを検出するモード検出手段を更に有し、
前記判定手段は、前記モード検出手段により検出されたモードに基づいて、判定することを特徴とする請求項2又は3に記載の撮像装置。
Further comprising mode detection means for detecting the selected mode;
The imaging apparatus according to claim 2, wherein the determination unit determines based on a mode detected by the mode detection unit.
前記所定の輝線を有する光源下であるか否かを判定する輝度判定手段を更に有し、
前記判定手段は、前記輝度判定手段により前記所定の輝度を有する光源下であると判定された場合、前記カラーフィルタの画素のデータを読み出すように判定することを特徴とする請求項1乃至4の何れか1項に記載の撮像装置。
A luminance determination means for determining whether the light source has a predetermined bright line;
5. The determination unit according to claim 1, wherein the determination unit determines to read out pixel data of the color filter when the luminance determination unit determines that the light source has the predetermined luminance. The imaging device according to any one of the above.
自動露出手段を更に有し、
前記判定手段は、前記自動露出手段において測光した結果に応じて、判定することを特徴とする請求項2乃至5の何れか1項に記載の撮像装置。
Further comprising automatic exposure means;
The imaging apparatus according to claim 2, wherein the determination unit determines in accordance with a result of photometry performed by the automatic exposure unit.
電子ビューファインダ機能を更に有し、
前記電子ビューファインダ機能は、前記読出手段により前記RGBフィルタの画素のデータのみを読み出して、表示装置に表示することを特徴とする請求項1乃至6の何れか1項に記載の撮像装置。
It further has an electronic viewfinder function,
The imaging apparatus according to claim 1, wherein the electronic viewfinder function reads out only data of the pixels of the RGB filter by the reading unit and displays the data on a display device.
前記カラーフィルタは、水銀灯及びナトリウム灯の少なくとも何れか1つの人工光源の輝度に対して分光感度を有することを特徴とする請求項1乃至7の何れか1項に記載の撮像装置。   The imaging device according to claim 1, wherein the color filter has spectral sensitivity with respect to the luminance of at least one artificial light source of a mercury lamp and a sodium lamp. 前記カラーフィルタは、Hα線の自然光源の輝度に対して分光感度を有することを特徴とする請求項1乃至7の何れか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the color filter has spectral sensitivity with respect to luminance of a natural light source of Hα rays. RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置の画像処理方法であって、
前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップを有することを特徴とする画像処理方法。
An image processing method of an imaging apparatus comprising an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line,
An image processing method comprising: a reading step capable of separately reading pixel data of the RGB filter and pixel data of the color filter.
RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置を制御させるためのプログラムであって、
前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップをコンピュータに実行させるためのプログラム。
A program for controlling an imaging apparatus including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line,
A program for causing a computer to execute a reading step capable of separately reading pixel data of the RGB filter and pixel data of the color filter.
JP2008180314A 2008-07-10 2008-07-10 Image capturing apparatus, and image processing method therefor, and program Pending JP2010021791A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008180314A JP2010021791A (en) 2008-07-10 2008-07-10 Image capturing apparatus, and image processing method therefor, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008180314A JP2010021791A (en) 2008-07-10 2008-07-10 Image capturing apparatus, and image processing method therefor, and program

Publications (1)

Publication Number Publication Date
JP2010021791A true JP2010021791A (en) 2010-01-28

Family

ID=41706257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008180314A Pending JP2010021791A (en) 2008-07-10 2008-07-10 Image capturing apparatus, and image processing method therefor, and program

Country Status (1)

Country Link
JP (1) JP2010021791A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092885A (en) * 2011-10-25 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> Image processing device, method and program
JP2013108788A (en) * 2011-11-18 2013-06-06 Tokyo Institute Of Technology Multispectral image information acquisition device and multispectral image information acquisition method
WO2013111824A1 (en) * 2012-01-27 2013-08-01 オリンパス株式会社 Image processing device, image pickup device and image processing method
JP2014068186A (en) * 2012-09-26 2014-04-17 Jvc Kenwood Corp Imaging apparatus and imaging method
WO2015182306A1 (en) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 Imaging device and synthesized-image display device
WO2023286613A1 (en) * 2021-07-12 2023-01-19 パナソニックIpマネジメント株式会社 Filter array, light detection device, and light detection system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013092885A (en) * 2011-10-25 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> Image processing device, method and program
JP2013108788A (en) * 2011-11-18 2013-06-06 Tokyo Institute Of Technology Multispectral image information acquisition device and multispectral image information acquisition method
WO2013111824A1 (en) * 2012-01-27 2013-08-01 オリンパス株式会社 Image processing device, image pickup device and image processing method
JP2014068186A (en) * 2012-09-26 2014-04-17 Jvc Kenwood Corp Imaging apparatus and imaging method
WO2015182306A1 (en) * 2014-05-28 2015-12-03 コニカミノルタ株式会社 Imaging device and synthesized-image display device
WO2023286613A1 (en) * 2021-07-12 2023-01-19 パナソニックIpマネジメント株式会社 Filter array, light detection device, and light detection system

Similar Documents

Publication Publication Date Title
US8842194B2 (en) Imaging element and imaging apparatus
US10339638B2 (en) Image processing device, imaging device, image processing method, and image processing program
US8803994B2 (en) Adaptive spatial sampling using an imaging assembly having a tunable spectral response
JP4004943B2 (en) Image composition method and imaging apparatus
US8629919B2 (en) Image capture with identification of illuminant
US20100103268A1 (en) Digital camera
CN110033418A (en) Image processing method, device, storage medium and electronic equipment
JP5253000B2 (en) Imaging device
JP2009105576A (en) Image processing apparatus and method, and image sensing apparatus
US11601600B2 (en) Control method and electronic device
JP5804857B2 (en) Image processing apparatus, image processing method, and program
JP2010021791A (en) Image capturing apparatus, and image processing method therefor, and program
CN108833802A (en) Exposal control method, device and electronic equipment
CN108900785A (en) Exposal control method, device and electronic equipment
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
JP2007202128A (en) Imaging apparatus and image data correcting method
JP2019004230A (en) Image processing device and method, and imaging apparatus
JP2010091596A (en) Display device, image capturing apparatus and projector
JP2005027033A (en) Color imaging apparatus
Brown Color processing for digital cameras
JP5247900B2 (en) Image sensor compensation
JP4622510B2 (en) Imaging apparatus, image processing method, and program
JP6492452B2 (en) Control system, imaging apparatus, control method, and program
JP2010028366A (en) Electronic camera, camera system and light flashing unit
JP4307862B2 (en) Signal processing method, signal processing circuit, and imaging apparatus