JP2010021791A - Image capturing apparatus, and image processing method therefor, and program - Google Patents
Image capturing apparatus, and image processing method therefor, and program Download PDFInfo
- Publication number
- JP2010021791A JP2010021791A JP2008180314A JP2008180314A JP2010021791A JP 2010021791 A JP2010021791 A JP 2010021791A JP 2008180314 A JP2008180314 A JP 2008180314A JP 2008180314 A JP2008180314 A JP 2008180314A JP 2010021791 A JP2010021791 A JP 2010021791A
- Authority
- JP
- Japan
- Prior art keywords
- color filter
- filter
- pixel data
- rgb
- imaging apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 7
- 230000003595 spectral effect Effects 0.000 claims abstract description 53
- 230000035945 sensitivity Effects 0.000 claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims description 33
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 claims description 14
- 229910052708 sodium Inorganic materials 0.000 claims description 14
- 239000011734 sodium Substances 0.000 claims description 14
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 claims description 13
- 229910052753 mercury Inorganic materials 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 3
- 238000005375 photometry Methods 0.000 claims 1
- 238000000034 method Methods 0.000 description 19
- 238000009826 distribution Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 238000002834 transmittance Methods 0.000 description 9
- 238000005286 illumination Methods 0.000 description 6
- 238000001228 spectrum Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010891 electric arc Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 241000475481 Nebula Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000220317 Rosa Species 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Optical Filters (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置、その画像処理方法及びプログラムに関するものである。 The present invention relates to an imaging device including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, an image processing method thereof, and a program.
近年、透過率波長域が異なる複数のカラーフィルタを用いて被写体を撮影することにより、被写体のスペクトル画像を取得することができるマルチバンド画像撮像装置(例えば、マルチバンドカメラ等)が実用化されている。マルチバンドカメラ等は、RGBの3色のフィルタ(以下、RGBフィルタという)のみでは再現することができない色を再現することができる。 In recent years, a multiband image pickup device (for example, a multiband camera) that can acquire a spectral image of a subject by photographing the subject using a plurality of color filters having different transmittance wavelength ranges has been put into practical use. Yes. A multi-band camera or the like can reproduce colors that cannot be reproduced only with RGB three-color filters (hereinafter referred to as RGB filters).
また、カラーフィルタ自体の配色方法にも様々な工夫がされている。例えば、特許文献1に開示されたマルチバンドカメラは、5色以上のカラーフィルタを備えていて、RGBフィルタのうちG系色のカラーフィルタを他色のカラーフィルタよりも多く配列することにより解像度の低下を抑えている。なお、カラーフィルタの色の種類を増加させると、輝度解像度が低下してしまうが、近年のカメラは画素数が多く、このような弊害は目立たなくなっている。
Various ideas have also been made for the color arrangement method of the color filter itself. For example, the multiband camera disclosed in
しかしながら、通常写真を撮影する場合、必ずしも全てのシーンにおいてマルチバンド画像が必要であるとは考えにくい。例えば、6色のカラーフィルタを具備するマルチバンドカメラにおいて画像処理する場合を想定する。この場合、出力をRGB出力するときであっても、通常のRGBフィルタに比べ入力色数が倍になるため、それぞれの色に対して色補間処理やホワイトバランス(WB)処理を行わなければならず、演算に時間がかかってしまう。さらに、画像を記録する場合においても、マルチバンドの情報が必要でない被写体の場合は、不要にメモリを消費してしまうという問題が発生する。 However, when a normal photograph is taken, it is not necessarily considered that a multiband image is necessary in all scenes. For example, a case is assumed where image processing is performed in a multiband camera having six color filters. In this case, even when the output is RGB output, the number of input colors is doubled compared to a normal RGB filter, so color interpolation processing and white balance (WB) processing must be performed for each color. Therefore, the computation takes time. Further, even when an image is recorded, there is a problem that the memory is unnecessarily consumed if the subject does not require multiband information.
本発明は上述したような問題点に鑑みてなされたものであり、所定の輝線に対して分光感度を有するカラーフィルタを具備する場合であっても、画像処理の演算の処理速度を向上させると共に、撮像した画像容量を減少させることを目的とする。 The present invention has been made in view of the above-described problems, and improves the processing speed of image processing operations even when a color filter having spectral sensitivity with respect to a predetermined bright line is provided. An object is to reduce the capacity of the captured image.
本発明は、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置であって、前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出手段を有することを特徴とする。
本発明の画像処理方法は、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置の画像処理方法であって、前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップを有することを特徴とする。
本発明のプログラムは、RGBフィルタと、所定の輝線に対して分光感度を有するカラーフィルタとを具備する撮像装置を制御させるためのプログラムであって、前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップをコンピュータに実行させるためのプログラムである。
The present invention is an imaging apparatus including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, and separately reads out pixel data of the RGB filter and pixel data of the color filter. It has the reading means which can do.
An image processing method of the present invention is an image processing method of an imaging apparatus comprising an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, wherein the RGB filter pixel data and the color filter It has a reading step capable of reading pixel data separately.
A program of the present invention is a program for controlling an image pickup apparatus including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line, the pixel data of the RGB filter and the color filter This is a program for causing a computer to execute a reading step capable of separately reading pixel data.
本発明によれば、所定の輝線に対して分光感度を有するカラーフィルタを具備する場合であっても、画像処理の演算の処理速度を向上させると共に、撮像した画像容量を減少させることができる。 According to the present invention, even when a color filter having spectral sensitivity with respect to a predetermined bright line is provided, the processing speed of the image processing calculation can be improved and the captured image capacity can be reduced.
以下、図面を参照して本発明に係る実施形態について説明する。
(第1の実施形態)
本実施形態では、輝線を有する人工照明である水銀灯やナトリウム灯等に対応したカラーフィルタを具備し、これらの光源下でも適切な画像を出力することができる撮像装置(以下、マルチバンドカメラという)について説明する。
Embodiments according to the present invention will be described below with reference to the drawings.
(First embodiment)
In the present embodiment, an imaging device (hereinafter referred to as a multiband camera) that includes a color filter corresponding to mercury lamps, sodium lamps, and the like, which are artificial lights having bright lines, and can output appropriate images even under these light sources. Will be described.
図1は、本実施形態に係るマルチバンドカメラのブロック図である。
マルチバンドカメラ100は、撮像部1と、画像処理部5と、制御部9と、記憶部10と、通信部11とを含んで構成されている。
撮像部1は、例えば撮影光学系2と、ローパスフィルタ3と、撮像素子4とを含んで構成されている。画像処理部5は、撮像部1によって撮影された撮影画像に対して画像処理を行う。画像処理部5は、例えばデジタル信号処理部6と、補正処理部7と、メモリ8とを含んで構成されている。記憶部10は、マルチバンドカメラ100に対して取り外しできるように構成されている。この記憶部10には、画像処理部5によって処理された撮影画像が保存される。制御部9は、上述したマルチバンドカメラ100の構成要素の駆動及び制御のための命令を出力する。通信部11は、マルチバンドカメラ100に接続された外部装置との間で通信可能に構成されている。通信部11では、メモリ8又は記憶部10に記憶されたデータ等を外部装置との間で送受信する。
FIG. 1 is a block diagram of a multiband camera according to the present embodiment.
The
The
次に、図2を参照して本実施形態に係るマルチバンドカメラの撮像素子の一例の構成について説明する。図2は、ハニカム構造の撮像素子の一部の構成を示す図である。
撮像素子には、通常の3バンドカメラが有しているR画素、G画素及びB画素に対応する画素201〜203を有している。画素201〜203にはそれぞれ、通常の3バンドカメラに設けられたカラーフィルタと同様の分光透過率を有するカラーフィルタ(RGBフィルタ)が設けられている。また、撮像素子には、画素201〜203に隣接して、複数の画素204〜207を有している。画素204〜207にはそれぞれ、人工照明がもつ輝線に分光感度を有するカラーフィルタが設けられている。ここで、本実施形態に係るマルチバンドカメラでは、画素201〜203のデータと画素204〜207のデータとを別々で読み出せるように構成されている。
Next, the configuration of an example of the image sensor of the multiband camera according to the present embodiment will be described with reference to FIG. FIG. 2 is a diagram illustrating a partial configuration of an image pickup device having a honeycomb structure.
The image sensor includes
なお、撮像素子は、CCD(電荷結合素子)又はCMOS(相補性金属酸化膜半導体)の何れであってもよい。また、図2では、ハニカム構造の撮像素子の構成を示したが、この場合に限られない。例えば、解像度を保つことができるように多くの画素が有する撮像素子の場合は、図3に示すように、通常のベイヤ配列のG画素302中に等間隔で、人工照明がもつ輝線に分光感度を有するカラーフィルタが設けられた画素304〜307を配列してもよい。
The imaging device may be either a CCD (charge coupled device) or a CMOS (complementary metal oxide semiconductor). Further, FIG. 2 shows the configuration of the imaging element having a honeycomb structure, but the present invention is not limited to this case. For example, in the case of an image sensor having a large number of pixels so that the resolution can be maintained, as shown in FIG. 3, the spectral sensitivity is applied to the bright lines of the artificial illumination at regular intervals in the
ここで、水銀灯やナトリウム灯等のような人工照明が有する輝線スペクトルについて簡単に説明する。
まず、水銀灯は、ガラス管内中の水銀蒸気中のアーク放電により発生する光放射を利用した光源である。具体的に、水銀灯の光源は、404.7、435.8、546.1、577.0、579.1nmの輝線スペクトルからなる緑がかった青白色(5700K)の光源であって、253.7、365nmの紫外放射を伴う。なお、蛍光灯も水銀灯の一種であり、共通の波長にスペクトルをもつことが多い。
Here, the emission line spectrum of an artificial illumination such as a mercury lamp or a sodium lamp will be briefly described.
First, a mercury lamp is a light source that utilizes light radiation generated by arc discharge in mercury vapor inside a glass tube. Specifically, the light source of the mercury lamp is a greenish bluish white (5700K) light source having an emission line spectrum of 404.7, 435.8, 546.1, 577.0, 579.1 nm. With ultraviolet radiation at 365 nm. A fluorescent lamp is also a kind of mercury lamp, and often has a spectrum at a common wavelength.
次に、ナトリウム灯は、ナトリウム蒸気中のアーク放電による発光を利用したランプであり、例えば低圧ナトリウム灯、高圧ナトリウム灯等がある。特に、低圧ナトリウム灯は、ナトリウムがアーク放電中に放つD線(589nmと589.6nm)の放射を利用したものである。また、高圧ナトリウム灯は、ナトリウムの蒸気圧を低圧ナトリウム灯よりも高くすることにより発光スペクトルを広げ演色性を良くしたものである。 Next, the sodium lamp is a lamp that uses light emission by arc discharge in sodium vapor, such as a low-pressure sodium lamp or a high-pressure sodium lamp. In particular, low pressure sodium lamps utilize the radiation of D-rays (589 nm and 589.6 nm) emitted by sodium during arc discharge. In addition, the high pressure sodium lamp has a higher vapor rendering property by broadening the emission spectrum by making the vapor pressure of sodium higher than that of the low pressure sodium lamp.
次に、図4を参照して、マルチバンドカメラに設けられるカラーフィルタの分光感度分布について説明する。
特性線401〜403は、通常のカメラのRGBフィルタの分光分布を示している。特性線401は、B画素203が有するBフィルタの分光感度分布である。特性線402は、G画素202が有するGフィルタの分光感度分布である。特性線403は、R画素201が有するRフィルタの分光感度分布である。
特性線404〜407はそれぞれ、所定の輝線に対応した分光感度を有するカラーフィルタの分光分布を示している。ここでは、上述した一般的な輝線を有する人工光源である水銀灯、蛍光灯、ナトリウム灯に対応させるために、4種類の人工光源に対応したカラーフィルタが設けられている。これらのカラーフィルタは、波長帯域が狭小な輝線波長領域に高い透過率をもつカラーフィルタである。
Next, the spectral sensitivity distribution of the color filter provided in the multiband camera will be described with reference to FIG.
本実施形態では、特性線404及び特性線405の分光感度分布を有するカラーフィルタは、水銀灯の輝線に対応し、それぞれ430nm、540nmの波長を有する輝線に対して高い透過率を有する。また、特性線406の分光感度分布を有するカラーフィルタは、水銀灯とナトリウム灯との輝線に対応させており、580nmの波長を有する輝線に対して高い透過率を有する。また、特性線407の分光感度分布を有するカラーフィルタは、蛍光灯の3波長管が持つことが多い輝線に対応させており、610nm付近の波長を有する輝線に対して高い透過率を有する。
In the present embodiment, the color filter having the spectral sensitivity distribution of the
上述したカラーフィルタはそれぞれ430nm、540nm、580nm、610nmの波長を有する輝線に対応した分光透過率特性にした場合について説明したが、この場合に限られない。例えば400nm付近の水銀スペクトルに対応させたカラーフィルタを用いてもよい。また、上述したカラーフィルタは4種類の場合について説明したが、この場合に限られず、例えば1種類以上であればよい。例えば、カラーフィルタを3種類にした場合にあっては、図2における画素204と画素207とに同じ分光感度のカラーフィルタを配置すればよい。この場合、3種類の中でG画素が有するカラーフィルタに近い分光感度のものを画素204と画素207に配置すれば解像度の低減を最小限にすることができる。
Although the case where the above-described color filter has spectral transmittance characteristics corresponding to emission lines having wavelengths of 430 nm, 540 nm, 580 nm, and 610 nm has been described, the present invention is not limited to this case. For example, a color filter corresponding to a mercury spectrum near 400 nm may be used. Moreover, although the case where the color filter mentioned above was four types was demonstrated, it is not restricted to this case, For example, what is necessary is just one or more types. For example, when three types of color filters are used, color filters having the same spectral sensitivity may be arranged for the
次に、図5に示すフローチャートを参照して、マルチバンドカメラの動作処理について説明する。ここでは、ユーザがマルチバンドカメラに対して各モードを設定する場合について説明する。
本実施形態のマルチバンドカメラは、3つの撮影モードを有している。第一のモード(モード1)は、被写体が水銀灯や蛍光灯のような輝線がある人工照明の光源下でない場合であり、通常のRGBフィルタを有する画素201〜203のみで撮影するモードである。第二のモード(モード2)は、被写体が上述した輝線のある人工照明の光源下にある場合であり、所定の輝度に分光感度を有するカラーフィルタの画素(以下、輝度用の画素という)204〜207の信号を読み出し各光源に応じた最適な処理を行うモードである。第三のモード(モード3)は、画素201〜207の全ての信号を読み出して、処理速度や画像容量より画質を優先するモードである。
Next, the operation processing of the multiband camera will be described with reference to the flowchart shown in FIG. Here, a case where the user sets each mode for the multiband camera will be described.
The multiband camera of the present embodiment has three shooting modes. The first mode (mode 1) is a mode in which the subject is not under an artificial illumination light source having a bright line such as a mercury lamp or a fluorescent lamp, and is a mode in which only the
まず、ステップS501において、ユーザは上述した撮影モードのうち何れか1つを選択して設定する。マルチバンドカメラ100の制御部9は、選択された撮影モードを検出する。上述した処理は、モード検出手段の一例に対応する。
次に、ステップS502において、ユーザの撮影指示に応じて制御部9は、撮像部1を介して実際に被写体を撮影する。このとき、制御部9は、設定された撮影モードに基づいて、必要な画素のデータのみを読み出してもよく、全画素を読み出してメモリ8又は記憶部10に一度記録して、メモリ8又は記憶部10から必要な画素のデータのみを読み出して信号処理してもよい。
First, in step S501, the user selects and sets one of the above-described shooting modes. The control unit 9 of the
Next, in step S <b> 502, the control unit 9 actually shoots the subject via the
ステップS504において、制御部9は設定された撮影モードを判定する。この処理は、判定手段の一例に対応する。制御部9は、設定された撮影モードがモード1であると判定した場合、ステップS505に処理を進める。
ステップS505において、制御部9は、通常のRGBフィルタを有する画素201〜203のみのデータを読み出す。この処理は読出手段の一例に対応する。制御部9は、通常のベイヤ配列のRawデータをメモリ8又は記憶部10に記録する。次に、ステップS506において、制御部9は、画像処理部5を介してホワイトバランス処理を行う。次に、ステップS507において、制御部9は、画像処理部5を介して色補間を行う。次に、ステップS508において、制御部9は、画像処理部5を介して色輝度調整を行う。最後に、ステップS519において、制御部9は、画像処理を行ったRGB画像データを記憶部10に記録する。上述した処理は、従来のRGBフィルタのみを有するカメラと同様である。
In step S504, the control unit 9 determines the set shooting mode. This process corresponds to an example of a determination unit. If the control unit 9 determines that the set shooting mode is
In step S505, the control unit 9 reads only data of the
ステップS504において、制御部9は、設定された撮影モードがモード2であると判定した場合、ステップS509に処理を進める。被写体が水銀灯や蛍光灯等の輝線のある光源下では、通常のRGBフィルタを有する画素201〜203のみを使用した場合、輝線光源に対して色分解能が十分でないために、撮影された画像は混色の可能性がある。モード2では、所定の輝度用に分光感度を有する画素204〜207(輝度用の画素)のみを使用し、十分に色再現が可能である。したがって、記録される画像データの容量が増加することがない。
In step S504, when the control unit 9 determines that the set shooting mode is mode 2, the process proceeds to step S509. If the subject is a light source with bright lines such as a mercury lamp or a fluorescent lamp, and only the
ステップS509において、制御部9は、輝線用の画素204〜207のデータのみを読み出す。この処理は読出手段の一例に対応する。制御部9は、輝線用の画素204〜207のみのRawデータをメモリ8又は記憶部10に記録する。次に、ステップS510において、制御部9は、画像処理部5を介してホワイトバランス処理を行う。このとき、分光透過率特性がG画素に近く、輝度情報に最も影響を与える580nm付近に感度を有する特性線406のカラーフィルタを有する画素の画素値を中心にWBゲインをかけるとよい。
In step S509, the control unit 9 reads only the data of the
ステップS511において、制御部9は、画像処理部5を介して色補間を行う。また、ステップS512において、制御部9は、画像処理部5を介して色輝度調整を行う。ここでの色輝度調整は、モード1の場合とは異なり、輝線用の画素204〜207の4色からRGB3色に変換するマトリックス演算が必要である。このマトリックス係数は設定したモードにより最適化したものを予め準備しておく。最後に、ステップS519において、制御部9は、画像処理を行ったRGB画像データを記憶部10に記録する。
In step S <b> 511, the control unit 9 performs color interpolation via the
ステップS504において、制御部9は、設定された撮影モードがモード3であると判定した場合、ステップS513に処理を進める。モード3は色再現を重視したモードである。
ステップS513において、制御部9は全ての画素201〜207のデータを読み出す。この処理は読出手段の一例に対応する。制御部9は、画素201〜207のRawデータをメモリ8又は記憶部10に記録する。次に、ステップS514において、制御部9は、全7バンドから分光推定を行う。なお、制御部9は、分光推定する手法としてWiener推定等を用いる。ステップS515において、制御部9は、分光推定した分光画像をメモリ8又は記憶部10に記録する。次に、ステップS516において、制御部9は、画像処理部5を介してホワイトバランス処理を行う。次に、ステップS517において、制御部9は、画像処理部5を介して色補間を行う。また、ステップS518において、制御部9は、画像処理部5を介して色輝度調整を行う。最後に、ステップS519において、制御部9は、分光画像データからRGB画像データを作成し、作成したRGB画像データを記憶部10に記録する。
In step S504, when the control unit 9 determines that the set shooting mode is
In step S513, the control unit 9 reads data of all the
なお、上述した動作処理では、ユーザが撮影モードを選択して、設定する場合についてのみ説明したが、この場合に限られず、マルチバンドカメラ100が自動で、所定の輝線を有する光源下であるか否かを判定してもよい。所定の輝線を有する光源下であるか否かを判定する処理は、輝度判定手段の一例に対応する。
次に、図6のフローチャートを参照して、所定の輝線を有する光源下であるか否かを判定する処理について説明する。
ステップS601において、ユーザの撮影指示に応じて制御部9は、撮像部1を介して被写体を撮影する。次に、制御部9は、撮影した画像をメモリ8、具体的にはRAMに記憶する。
In the above-described operation processing, only the case where the user selects and sets the shooting mode has been described. However, the present invention is not limited to this, and is the
Next, processing for determining whether or not the light source has a predetermined bright line will be described with reference to the flowchart of FIG.
In step S <b> 601, the control unit 9 shoots a subject via the
次に、ステップS603において、制御部9はRAMに記憶された画像から光源判別に使用する輝度用の画素の画素値(G輝線)の積分値とそれに対応するRGBフィルタを有する画素の画素値(G)の積分値との差分を演算する。具体的には、制御部9は輝度用の画素(特性線405のカラーフィルタを有する画素)の画素値の積分値と、R画素(特性線402のRフィルタを有する画素)の画素値の積分値との差分を演算する。ここで、演算する積分の範囲は、画像の中心部のみであってもよいが、中心部と周辺部の両方であることが好ましい。なお、画像中に無彩色(グレー)の領域がある場合はその領域を抽出して、その領域の積分値で比較すれば判定精度は向上する。制御部9は、演算して取得したG輝線の積分値とGの積分値との差分と、予め設定した閾値Vthとを比較して判定する。G輝線の積分値とGの積分値との差分が閾値Vthより大きい場合、制御部9は撮影画像が輝線を有する光源下であると判定して、ステップS605に処理を進める。一方、G輝線の積分値とGの積分値との差分が閾値Vthより大きくない場合、制御部9はステップS604に処理を進める。 Next, in step S603, the control unit 9 determines from the image stored in the RAM the integrated value of the pixel value (G bright line) of the pixel for luminance used for light source determination and the pixel value of the pixel having the corresponding RGB filter (G bright line). The difference from the integrated value of G) is calculated. Specifically, the control unit 9 integrates the integration value of the pixel value of the pixel for luminance (the pixel having the color filter of the characteristic line 405) and the pixel value of the R pixel (the pixel having the R filter of the characteristic line 402). Calculate the difference from the value. Here, the range of integration to be calculated may be only the central portion of the image, but it is preferable to be both the central portion and the peripheral portion. Note that if there is an achromatic (gray) region in the image, that region is extracted and compared with the integrated value of that region, the determination accuracy is improved. The control unit 9 compares and determines the difference between the integrated value of the G bright line and the integrated value of G obtained by calculation and a preset threshold value Vth. If the difference between the integral value of the G bright line and the integral value of G is greater than the threshold value Vth, the control unit 9 determines that the captured image is under a light source having a bright line, and proceeds to step S605. On the other hand, when the difference between the integral value of the G bright line and the integral value of G is not larger than the threshold value Vth, the control unit 9 advances the process to step S604.
ステップS605において、制御部9は撮影画像が輝線を有する光源下であると判定して、上述した撮影モードをモード2に自動的に設定する。また、ステップS604において、制御部9は通常光源下であると判定して撮影モードを通常の撮影モードであるモード1に自動的に設定する。
In step S605, the control unit 9 determines that the captured image is under a light source having a bright line, and automatically sets the above-described imaging mode to mode 2. In step S604, the control unit 9 determines that it is under a normal light source, and automatically sets the shooting mode to
なお、自動露出装置を有するマルチバンドカメラの場合、測光したときに上述した撮影モードを判定してもよい。制御部9は、測光した結果に応じて撮影モードを設定するので、一度撮影する必要がないため、画素のデータの読み出しを省略することができる。したがって、特に高画素のカメラにおいては、高速の読み出しが可能になり、例えば連射枚数を増やすことができる等のメリットがある。 In the case of a multi-band camera having an automatic exposure device, the above-described shooting mode may be determined when metering is performed. Since the control unit 9 sets the shooting mode according to the photometric result, it is not necessary to take a picture once, so reading of pixel data can be omitted. Therefore, particularly in a high-pixel camera, high-speed reading is possible, and there is an advantage that, for example, the number of continuous shots can be increased.
また、デジタルカメラの多くが、電子ビューファインダ(EVF)機能を備えている。
ここで、電子ビューファインダ機能とは、カメラ背面等に設けられた液晶等の背面モニタに、撮影しようとしている被写体の様子をリアルタイムに表示する機能のことである。なお、電子ビューファインダ機能のことを、ライブビューモードという。
Many digital cameras have an electronic viewfinder (EVF) function.
Here, the electronic viewfinder function is a function for displaying the state of the subject to be photographed in real time on a rear monitor such as a liquid crystal provided on the rear surface of the camera. The electronic viewfinder function is called a live view mode.
ライブビューモードを実現するために、制御部9は撮像部1を介して一定の時間間隔で、画素のデータを読み出した上、デジタル信号処理部6及び補正処理部7を経由し、背面モニタに被写体を表示する。このとき、撮像部1からの読み出し時間やデジタル信号処理部6の処理時間に長時間、要するとフレームレートに影響を与えてしまう。しかし、背面モニタは、ユーザが撮影する被写体の構図を確認することに重点がおかれるため、モニタサイズはそれ程大きくなく、色再現性の性能もPCモニタより劣っていることが多い。したがって、マルチバンドカメラにおいてライブビューモードにする場合、輝線用の画素204〜207のデータは読み出さないようにして、通常のRGBフィルタの画素201〜203のデータのみを読み出し信号処理を行い背面モニタに表示する。したがって、ライブビューモードによって被写体を表示する場合であっても、フレームレートの圧迫を防止することができる。
In order to realize the live view mode, the control unit 9 reads out pixel data via the
このように本実施形態によれば、通常のRGBフィルタのみを有するカメラでは色の再現が困難な輝線を有する人工照明の光源下でも色再現性のよい画像を撮影でき、画像処理の演算の処理速度を低下したり画像容量を増加したりすることがない。 As described above, according to this embodiment, it is possible to capture an image with good color reproducibility even under a light source of artificial illumination having a bright line, which is difficult to reproduce with a camera having only a normal RGB filter, and processing of image processing There is no reduction in speed or increase in image capacity.
(第2の実施形態)
本実施形態では、天体画像撮影用の輝線に分光感度を有するカラーフィルタを備えたマルチバンドカメラについて説明する。なお、本実施形態に係るマルチバンドカメラのブロック図は、第1の実施形態と同様であり、その説明は省略する。
(Second Embodiment)
In the present embodiment, a multiband camera provided with a color filter having spectral sensitivity in the bright line for astronomical image capturing will be described. Note that the block diagram of the multiband camera according to the present embodiment is the same as that of the first embodiment, and a description thereof will be omitted.
ここで、自然光源として天体画像で重要な波長成分であるHα線について説明する。Hα線とは、水素原子の線スペクトルうち可視光から近紫外の領域である線スペクトルであるパルマ―系列の中の最も長波長側のもので、656.28nmの波長を有する。この波長は可視光のなかでも高波長寄りで肉眼ではほとんど確認することができない。しかし、散光星雲の中にはこの光のみを発するものがある。カラーフィルムや特殊な白黒フィルムで撮影することにより、目には見えない光を確認することができる。さらに、太陽光のHαを観測することにより、通常の撮影ではみることができない太陽の彩層面の現象(フレア、プロミネンス、フィラメント、スピキュール等)を観測することもできる。このようにHα線は天体写真をとる上で重要な要素の一つとなっている。 Here, the Hα ray, which is an important wavelength component in the celestial image as a natural light source, will be described. The Hα ray is the longest wavelength side of the Palmer series that is a line spectrum in the visible to near-ultraviolet region of the line spectrum of hydrogen atoms, and has a wavelength of 656.28 nm. This wavelength is close to a high wavelength among visible light, and can hardly be confirmed with the naked eye. However, some diffuse nebulae emit only this light. By shooting with a color film or special black and white film, invisible light can be confirmed. Furthermore, by observing Hα of sunlight, it is possible to observe phenomena on the chromosphere surface of the sun (flares, prominences, filaments, spicules, etc.) that cannot be seen in normal photography. In this way, the Hα ray is one of the important elements in taking astronomical photographs.
しかし、通常のカメラにおいて、Hα線の波長に分光感度を有していると、袴のような赤から近赤外付近にかけて分光反射率を持つ被写体を撮影すると赤被りを起こしてしまうため、多くのカメラはこの波長域に対する分光感度を有していない。したがって、上述した天文画像を撮影したい場合、赤外カットフィルタを外したり、専用のカメラにより撮影したりする必要があり、その撮影は困難であった。 However, if a normal camera has spectral sensitivity at the wavelength of the Hα ray, shooting a subject having a spectral reflectance from red to near-infrared, such as moths, will cause red covering. Cameras do not have spectral sensitivity for this wavelength range. Therefore, when it is desired to shoot the above-described astronomical image, it is necessary to remove the infrared cut filter or shoot with a dedicated camera, which is difficult to shoot.
次に、図7を参照して本実施形態に係るマルチバンドカメラの撮像素子の一例の構成について説明する。図7は、ハニカム構造の撮像素子の一部の構成を示す図である。
撮像素子には、通常の3バンドカメラが有しているR画素、G画素及びB画素に対応する画素701〜703を有している。画素701〜703にはそれぞれ、通常の3バンドカメラに設けられたカラーフィルタと同様の分光透過率を有するカラーフィルタ(RGBフィルタ)が設けられている。また、撮像素子には、画素704を有している。画素704は、Hα線に分光感度を有するカラーフィルタを有している。
Next, the configuration of an example of the image sensor of the multiband camera according to the present embodiment will be described with reference to FIG. FIG. 7 is a diagram illustrating a partial configuration of an image pickup element having a honeycomb structure.
The image sensor has
次に、図8を参照して、マルチバンドカメラに設けられるカラーフィルタの分光感度分布について説明する。
特性線801〜803は、通常のカメラのRGBフィルタの分光分布を示している。特性線801は、B画素703が有するBフィルタの分光感度分布である。特性線802は、G画素702が有するGフィルタの分光感度分布である。特性線803は、R画素701が有するRフィルタの分光感度分布である。
特性線804は、画素704(Hα線画素)のHα線に分光感度を有するカラーフィルタの分光感度分布である。
Next, the spectral sensitivity distribution of the color filter provided in the multiband camera will be described with reference to FIG.
A
次に、図9に示すフローチャートを参照して、マルチバンドカメラの動作処理について説明する。本実施形態では、自動的に撮影モードを判定することは困難であり、ユーザがマルチバンドカメラに対して各モードを設定する。
本実施形態のマルチバンドカメラは、3つの撮影モードを有している。第一のモード(モード1)は、輝線に対応する画素のデータを読み出さない通常撮影モードであり、第1の実施形態と同様である。また、通常撮影モードを設定できるように構成されていることで、天体撮影に限定されず、通常撮影も行うことができるカメラとすることができる。
Next, the operation processing of the multiband camera will be described with reference to the flowchart shown in FIG. In this embodiment, it is difficult to automatically determine the shooting mode, and the user sets each mode for the multiband camera.
The multiband camera of the present embodiment has three shooting modes. The first mode (mode 1) is a normal photographing mode in which pixel data corresponding to the bright line is not read out, and is the same as in the first embodiment. In addition, since the normal shooting mode can be set, the camera is not limited to astronomical shooting but can also perform normal shooting.
第二のモード(モード2)は、散光星雲(代表的なものはオリオン座のM42や一角獣座のバラ星雲などが挙げられる)のようにHα線を発する星を赤色で撮影するモードである。第三のモード(モード3)は、上述した太陽の彩層面の現象の撮影のようにHα情報のみを取得したい場合に設定するモードである。 The second mode (mode 2) is a mode in which a star emitting Hα rays is photographed in red, such as a diffuse nebula (typical examples include the M42 of Orion and the rose nebula of the unicorn constellation). The third mode (mode 3) is a mode that is set when it is desired to acquire only the Hα information as in the case of photographing the phenomenon of the solar chromosphere described above.
まず、ステップS901は、ユーザは上述した撮影モードのうち何れか1つを選択して設定する。マルチバンドカメラの制御部9は、選択された撮影モードを検出する。
次に、ステップS902において、ユーザの撮影指示に応じて制御部9は、撮像部1を介して実際に被写体を撮影する。このとき、制御部9は、設定された撮影モードに基づいて、必要な画素のデータのみを読み出してもよく、全画素を読み出してメモリ8又は記憶部10に一度記録して、メモリ8又は記憶部10から必要な画素のデータのみを読み出して信号処理してもよい。
First, in step S901, the user selects and sets any one of the above-described shooting modes. The control unit 9 of the multiband camera detects the selected shooting mode.
Next, in step S <b> 902, the control unit 9 actually shoots the subject via the
ステップS904において、制御部9は設定された撮影モードを判定する。制御部9は、設定された撮影モードがモード1であると判定した場合、ステップS905に処理を進める。なお、モード1は、上述した第1の実施形態と同様であり、図9に示すフローチャートのステップS905〜S908の説明は省略する。
ステップS904において、制御部9は、設定された撮影モードがモード2であると判定した場合、ステップS909に処理を進める。ステップS909において、制御部9は画素701〜704の全てのRawデータをメモリ8又は記憶部10に記録する。ステップS910において、制御部9は、画像処理部5を介してG画素702に対するWBゲインを決定しホワイトバランス処理を行う。ステップS911において、制御部9は画像処理部5を介して色補間処理を行う。ステップS912において、制御部9は画像処理部5を介してHα線画素の画素値が適切な赤色に反映されるように予め準備したマトリックス係数をかけて、色調整を行う。最後に、ステップS916において、制御部9は、画像処理を行ったRGB画像データを記憶部10に記録する。
In step S904, the control unit 9 determines the set shooting mode. If the control unit 9 determines that the set shooting mode is
In step S904, when the control unit 9 determines that the set shooting mode is mode 2, the process proceeds to step S909. In step S909, the control unit 9 records all the raw data of the
ステップS904において、制御部9は、設定された撮影モードがモード3であると判定した場合、ステップS913に処理を進める。
ステップS913において、制御部9はHα線の画素704のデータのみを読み出し、Rawデータをメモリ8又は記憶部10に記憶する。モード3では色再現は不要であるため、ステップS915において、制御部9は、画像処理部5を介して輝度調整のみを行い、記憶部10に記録する。
In step S904, when the control unit 9 determines that the set shooting mode is
In step S <b> 913, the control unit 9 reads only the data of the
このように本実施形態によれば、通常のRGBフィルタと所定の輝度に対して分光感度を有するフィルタとを使い分けることにより、通常のカメラとして使用することができると共に、例えば天体画像撮影用のカメラとしても使用することができる。 As described above, according to the present embodiment, by using a normal RGB filter and a filter having spectral sensitivity with respect to a predetermined luminance, it can be used as a normal camera and, for example, a camera for photographing astronomical images. Can also be used.
上述した本発明の実施形態における撮像装置を構成する各手段、並びに撮像装置の画像処理方法の各ステップは、コンピュータのRAMやROM等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 Each means constituting the imaging apparatus and each step of the image processing method of the imaging apparatus in the embodiment of the present invention described above can be realized by operating a program stored in a RAM, a ROM, or the like of the computer. This program and a computer-readable recording medium recording the program are included in the present invention.
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。 Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus composed of a single device.
なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.
従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であってもよい。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.
更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, a program read from a recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.
1 撮像部
2 光学系
3 フィルタ
4 撮像素子
5 画像処理部
6 デジタル信号処理部
7 補正処理部
8 メモリ
9 制御部
10 記録部
11 通信部
100 マルチバンドカメラ
DESCRIPTION OF
Claims (11)
前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出手段を有することを特徴とする撮像装置。 An imaging apparatus comprising an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line,
An image pickup apparatus comprising reading means capable of separately reading pixel data of the RGB filter and pixel data of the color filter.
前記判定手段は、前記モード検出手段により検出されたモードに基づいて、判定することを特徴とする請求項2又は3に記載の撮像装置。 Further comprising mode detection means for detecting the selected mode;
The imaging apparatus according to claim 2, wherein the determination unit determines based on a mode detected by the mode detection unit.
前記判定手段は、前記輝度判定手段により前記所定の輝度を有する光源下であると判定された場合、前記カラーフィルタの画素のデータを読み出すように判定することを特徴とする請求項1乃至4の何れか1項に記載の撮像装置。 A luminance determination means for determining whether the light source has a predetermined bright line;
5. The determination unit according to claim 1, wherein the determination unit determines to read out pixel data of the color filter when the luminance determination unit determines that the light source has the predetermined luminance. The imaging device according to any one of the above.
前記判定手段は、前記自動露出手段において測光した結果に応じて、判定することを特徴とする請求項2乃至5の何れか1項に記載の撮像装置。 Further comprising automatic exposure means;
The imaging apparatus according to claim 2, wherein the determination unit determines in accordance with a result of photometry performed by the automatic exposure unit.
前記電子ビューファインダ機能は、前記読出手段により前記RGBフィルタの画素のデータのみを読み出して、表示装置に表示することを特徴とする請求項1乃至6の何れか1項に記載の撮像装置。 It further has an electronic viewfinder function,
The imaging apparatus according to claim 1, wherein the electronic viewfinder function reads out only data of the pixels of the RGB filter by the reading unit and displays the data on a display device.
前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップを有することを特徴とする画像処理方法。 An image processing method of an imaging apparatus comprising an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line,
An image processing method comprising: a reading step capable of separately reading pixel data of the RGB filter and pixel data of the color filter.
前記RGBフィルタの画素のデータと前記カラーフィルタの画素のデータとを別々に読み出すことができる読出ステップをコンピュータに実行させるためのプログラム。 A program for controlling an imaging apparatus including an RGB filter and a color filter having spectral sensitivity with respect to a predetermined bright line,
A program for causing a computer to execute a reading step capable of separately reading pixel data of the RGB filter and pixel data of the color filter.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008180314A JP2010021791A (en) | 2008-07-10 | 2008-07-10 | Image capturing apparatus, and image processing method therefor, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008180314A JP2010021791A (en) | 2008-07-10 | 2008-07-10 | Image capturing apparatus, and image processing method therefor, and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010021791A true JP2010021791A (en) | 2010-01-28 |
Family
ID=41706257
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008180314A Pending JP2010021791A (en) | 2008-07-10 | 2008-07-10 | Image capturing apparatus, and image processing method therefor, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010021791A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092885A (en) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | Image processing device, method and program |
JP2013108788A (en) * | 2011-11-18 | 2013-06-06 | Tokyo Institute Of Technology | Multispectral image information acquisition device and multispectral image information acquisition method |
WO2013111824A1 (en) * | 2012-01-27 | 2013-08-01 | オリンパス株式会社 | Image processing device, image pickup device and image processing method |
JP2014068186A (en) * | 2012-09-26 | 2014-04-17 | Jvc Kenwood Corp | Imaging apparatus and imaging method |
WO2015182306A1 (en) * | 2014-05-28 | 2015-12-03 | コニカミノルタ株式会社 | Imaging device and synthesized-image display device |
WO2023286613A1 (en) * | 2021-07-12 | 2023-01-19 | パナソニックIpマネジメント株式会社 | Filter array, light detection device, and light detection system |
-
2008
- 2008-07-10 JP JP2008180314A patent/JP2010021791A/en active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013092885A (en) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | Image processing device, method and program |
JP2013108788A (en) * | 2011-11-18 | 2013-06-06 | Tokyo Institute Of Technology | Multispectral image information acquisition device and multispectral image information acquisition method |
WO2013111824A1 (en) * | 2012-01-27 | 2013-08-01 | オリンパス株式会社 | Image processing device, image pickup device and image processing method |
JP2014068186A (en) * | 2012-09-26 | 2014-04-17 | Jvc Kenwood Corp | Imaging apparatus and imaging method |
WO2015182306A1 (en) * | 2014-05-28 | 2015-12-03 | コニカミノルタ株式会社 | Imaging device and synthesized-image display device |
WO2023286613A1 (en) * | 2021-07-12 | 2023-01-19 | パナソニックIpマネジメント株式会社 | Filter array, light detection device, and light detection system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8842194B2 (en) | Imaging element and imaging apparatus | |
US10339638B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
US8803994B2 (en) | Adaptive spatial sampling using an imaging assembly having a tunable spectral response | |
JP4004943B2 (en) | Image composition method and imaging apparatus | |
US8629919B2 (en) | Image capture with identification of illuminant | |
US20100103268A1 (en) | Digital camera | |
CN110033418A (en) | Image processing method, device, storage medium and electronic equipment | |
JP5253000B2 (en) | Imaging device | |
JP2009105576A (en) | Image processing apparatus and method, and image sensing apparatus | |
US11601600B2 (en) | Control method and electronic device | |
JP5804857B2 (en) | Image processing apparatus, image processing method, and program | |
JP2010021791A (en) | Image capturing apparatus, and image processing method therefor, and program | |
CN108833802A (en) | Exposal control method, device and electronic equipment | |
CN108900785A (en) | Exposal control method, device and electronic equipment | |
US10395347B2 (en) | Image processing device, imaging device, image processing method, and image processing program | |
JP2007202128A (en) | Imaging apparatus and image data correcting method | |
JP2019004230A (en) | Image processing device and method, and imaging apparatus | |
JP2010091596A (en) | Display device, image capturing apparatus and projector | |
JP2005027033A (en) | Color imaging apparatus | |
Brown | Color processing for digital cameras | |
JP5247900B2 (en) | Image sensor compensation | |
JP4622510B2 (en) | Imaging apparatus, image processing method, and program | |
JP6492452B2 (en) | Control system, imaging apparatus, control method, and program | |
JP2010028366A (en) | Electronic camera, camera system and light flashing unit | |
JP4307862B2 (en) | Signal processing method, signal processing circuit, and imaging apparatus |