JP2010147817A - Imaging apparatus, method and program for controlling same - Google Patents
Imaging apparatus, method and program for controlling same Download PDFInfo
- Publication number
- JP2010147817A JP2010147817A JP2008322958A JP2008322958A JP2010147817A JP 2010147817 A JP2010147817 A JP 2010147817A JP 2008322958 A JP2008322958 A JP 2008322958A JP 2008322958 A JP2008322958 A JP 2008322958A JP 2010147817 A JP2010147817 A JP 2010147817A
- Authority
- JP
- Japan
- Prior art keywords
- face
- photometric value
- image
- exposure control
- photometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims description 28
- 238000012937 correction Methods 0.000 claims abstract description 49
- 238000001514 detection method Methods 0.000 claims description 44
- 230000008859 change Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000004043 responsiveness Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 19
- 238000004590 computer program Methods 0.000 description 9
- 238000005375 photometry Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、その制御方法及びプログラムに関する。 The present invention relates to an imaging apparatus, a control method thereof, and a program.
従来、デジタルスチルカメラ、デジタルカムコーダなどの撮像装置においては、撮像された画像に基づいて測光を行い、得られた測光値に基づいて自動的に露出を決定する自動露出制御(AE)機能を具備するものがある。このAE機能を有する撮像装置では、人物の顔が適正に露出されるように、撮像された画像において顔検出により検出された顔領域で測光を行い、得られた測光値を考慮した露出制御を行うものがある(特許文献1)。 2. Description of the Related Art Conventionally, an imaging apparatus such as a digital still camera or a digital camcorder has an automatic exposure control (AE) function that performs photometry based on a captured image and automatically determines the exposure based on the obtained photometric value. There is something to do. In this imaging device having the AE function, photometry is performed on a face area detected by face detection in a captured image so that a human face is properly exposed, and exposure control is performed in consideration of the obtained photometric value. There is something to do (Patent Document 1).
また、人物の顔を適正に露出する露出制御方法として、図4に示すように、画面全体の測光値を取得する範囲(測光枠)と、それとは別に人物の顔の測光値のみを取得する顔専用の測光枠とを設定、使用する方法がある。なお、図4に示すように、顔専用の測光枠は画面内で人物の顔が検出された位置、顔の大きさにより設定される。特許文献2では、顔の測光枠から取得される顔の測光値と、画面全体の測光値とを比較し、大きい方の測光値を用いて露出制御を行うことで、露出を適正に制御する方法が提案されている。これにより、画面全体に比べて顔の測光値が明るい場合には、顔の測光値を元にした露出制御が行われるため、顔の白とびを抑えることが可能である。
Further, as an exposure control method for properly exposing a person's face, as shown in FIG. 4, only a photometric value of a person's face is acquired separately from a range (photometric frame) for acquiring a photometric value of the entire screen. There is a method of setting and using a face-only metering frame. As shown in FIG. 4, the face-specific photometry frame is set according to the position and face size of a person's face detected on the screen. In
また、画面全体の測光値と、顔の測光値とを使用する露出制御方法として、顔の測光値から顔の露出を適正に収束させるために必要な補正量(顔補正値)を算出し、その顔補正値を画面全体の測光値に考慮する露出制御方法がある。しかし、顔補正値を画面全体の測光値に考慮する露出制御方法では、図5に示すように、顔位置から測光値を取得する際に、その測光値が不安定になる場合がある。例えば、人物が常に正面を向いていないため髪の毛など、本来測光したい人肌部分以外を測光したり、また、日陰や日向などの光源状態が変化することで、顔位置に設定した測光枠から取得される測光値が安定しない場合が考えられる。 In addition, as an exposure control method that uses the photometric value of the entire screen and the photometric value of the face, a correction amount (face correction value) necessary for properly converging the face exposure from the face photometric value is calculated. There is an exposure control method in which the face correction value is taken into consideration for the photometric value of the entire screen. However, in the exposure control method in which the face correction value is taken into consideration for the photometric value of the entire screen, as shown in FIG. 5, when the photometric value is acquired from the face position, the photometric value may become unstable. For example, because a person is not always facing the front, it is obtained from the photometry frame set for the face position by measuring light other than the part of the human skin that you want to measure, such as hair, or by changing the light source condition such as shade or sun. It is conceivable that the measured photometric value is not stable.
このような不安定な顔の測光値で算出された顔補正値を画面全体の測光値に考慮する露出制御を行うと、画面全体の測光値が安定せず、収束しないため、画面全体の明るさがちらつくことがある。そこで、顔の測光値の不安定さによる画面全体の明るさの変化を防ぐため、顔補正値を画面全体の測光値に考慮する露出制御を行う際に、露出制御の時定数を顔が検出されていない時よりも大きくすることで、応答性を遅くしている。これにより、顔の測光値の不安定な変化を吸収して、画面全体の明るさの変化によるちらつきを防ぐことが可能である。
しかしながら、上記従来技術では、顔が検出された際に露出制御の時定数をより大きな値へ変更するため、シーンの切り替わりなどによる画面全体の急激な輝度変化に対応するができなかった。例えば、画面全体において大きな輝度変化が急激に発生した場合、時定数の大きさによる露出制御の遅さから、画面全体の露出制御がその輝度変化に追従できない現象が発生する。これにより、画面全体の露出が適正に収束するまで時間がかかってしまうため、長い間、適正露出ではない画像が表示されてしまう。 However, in the above prior art, when the face is detected, the time constant of exposure control is changed to a larger value, so that it has not been possible to cope with a sudden change in luminance of the entire screen due to a scene change or the like. For example, when a large luminance change suddenly occurs on the entire screen, a phenomenon occurs in which the exposure control of the entire screen cannot follow the luminance change because of the slow exposure control due to the time constant. As a result, it takes time until the exposure of the entire screen converges properly, and thus an image that is not properly exposed is displayed for a long time.
本発明は、このような従来技術の課題を解決することを目的としてなされたものである。本発明の目的は、被写体の顔を考慮した露出制御を行う場合に、検出された顔の測光値の不安定さによるちらつきを防止し、且つ画像の輝度変化が急激に生じても適切な露出制御を可能とする撮像装置、その制御方法及びプログラムを提供することである。 The present invention has been made for the purpose of solving such problems of the prior art. An object of the present invention is to prevent flickering due to instability of a photometric value of a detected face when performing exposure control in consideration of the face of a subject, and to perform appropriate exposure even if an image brightness change suddenly occurs. An imaging apparatus that enables control, a control method thereof, and a program are provided.
上記目的を達成するために、本発明の撮像装置は、撮像手段と、前記撮像手段により撮像された画像から人物の顔領域を検出する顔検出手段と、前記画像の全領域と、前記顔検出手段により検出された顔領域とから測光値を取得する測光手段と、前記画像の全領域から取得された測光値に対する補正量を、前記顔領域から取得した測光値に応じて算出する算出手段と、前記画像の全領域から取得された測光値を前記補正量で補正した測光値に基づいて露出制御を行う露出制御手段と、を備え、前記顔領域の測光値の変化に対する前記補正量の応答性を示す第1の時定数を、前記画像の全領域の測光値の変化に対する前記露出制御結果の応答性を示す第2の時定数よりも大きくすることを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes an imaging unit, a face detection unit that detects a human face region from an image captured by the imaging unit, the entire region of the image, and the face detection. Metering means for acquiring a photometric value from the face area detected by the means, and calculating means for calculating a correction amount for the photometric value acquired from the entire area of the image according to the photometric value acquired from the face area; Exposure control means for performing exposure control based on a photometric value obtained by correcting the photometric value acquired from the entire area of the image with the correction amount, and a response of the correction amount to a change in the photometric value of the face region The first time constant indicating the responsiveness is set to be larger than the second time constant indicating the responsiveness of the exposure control result to the change in the photometric value of the entire area of the image.
本発明によれば、被写体の顔を考慮した露出制御を行う場合に、検出された顔の測光値の不安定さによるちらつきを防止し、且つ画像の輝度変化が急激に生じても適切な露出制御を行うことができる。 According to the present invention, when exposure control is performed in consideration of the face of the subject, flicker due to instability of the photometric value of the detected face is prevented, and appropriate exposure can be achieved even if the brightness of the image suddenly changes. Control can be performed.
以下、この発明の実施の形態について図を参照して説明するが、この発明は以下の実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の範囲を限定するものではない。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the present invention is not limited to the following embodiments. Further, the embodiment of the present invention shows the most preferable mode of the invention, and does not limit the scope of the invention.
図1は、本発明の実施形態に係る撮像装置100の概略構成の一例を示すブロック図である。図1に示すように、撮像装置100は、いわゆるデジタルスチルカメラやデジタルカムコーダなどであり、被写体像を撮像するための撮像素子8を有する構成である。
FIG. 1 is a block diagram illustrating an example of a schematic configuration of an
レンズ1は、撮像装置100の外部から入射した光を撮像装置100の内部に導く。なお、図1では簡略化して1枚のレンズを図示しているが、通常、レンズ1は、複数枚のレンズから構成される。
The lens 1 guides light incident from the outside of the
絞り2は、入射する光量を調整する絞り羽根などである。絞り駆動モータ3は、絞り機構駆動部13より供給される駆動電力に応じて絞り2を駆動させる。絞り状態検出回路4は、絞り2の駆動状態を検出し、その検出結果をマイクロコンピュータ12に出力する。なお、本実施形態では絞り駆動モータ3により絞り2が駆動される撮像装置を例示するが、絞りが固定された撮像装置や絞りがない撮像装置であってもよい。このような撮像装置は絞り駆動モータ3や絞り状態検出回路4を設けなくてよい。
The
NDフィルタ5(ND:Neutral Density)はレンズ1から入射する光を減衰させる。NDフィルタ駆動モータ6は、NDフィルタ駆動部15により供給される駆動電力に応じてNDフィルタ5を駆動させる。NDフィルタ駆動検出回路7は、NDフィルタ5の駆動状態を検出し、その検出結果をマイクロコンピュータ12に出力する。なお、本実施形態ではNDフィルタ駆動モータ6によりNDフィルタ5が駆動される撮像装置を例示するが、NDフィルタ5が固定された撮像装置やNDフィルタ5がない撮像装置であってもよい。このような撮像装置はNDフィルタ駆動モータ6やNDフィルタ駆動検出回路7を設けなくてよい。
An ND filter 5 (ND: Neutral Density) attenuates light incident from the lens 1. The ND filter drive motor 6 drives the
撮像素子8は、光電変換による被写体の撮像を行う。本実施形態に用いる撮像素子8は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどであってよい。
The
CDS/AGC回路9は、撮像素子8の各画素に蓄えられた電荷(画像信号)に基づく画像情報をサンプリング及び増幅する。なお、サンプリングでは相関二重サンプリング(CDS:Correlated Double Sampling)が、増幅では自動利得調整(AGC:Auto Gain Control)が行われる。
The CDS /
A/D変換器10は、CDS/AGC回路9から出力された画像情報(アナログ信号)をデジタル信号に変換する。デジタル信号処理回路11は、A/D変換器10から出力された画像情報(デジタル信号)に対して種々の信号処理を行う。
The A /
マイクロコンピュータ12は、マイクロコントローラや単にコントローラと称される回路であり、撮像装置100の動作を統括的に制御する。例えば、マイクロコンピュータ12は、デジタル信号処理回路11からの輝度・色等の情報を受けて、各種の演算処理を行う。なお、マイクロコンピュータ12が行う制御の詳細については後述する。
The
絞り機構駆動部13は、マイクロコンピュータ12による制御に基づき、絞り駆動モータ3へ駆動電力を供給する。例えば、絞り機構駆動部13は、撮像素子8により撮像された画像の測光値(輝度値)に応じたマイクロコンピュータ12の制御により、絞り2を絞る又は開放するための駆動電力を供給する。これにより、撮像装置では、撮像素子8に適正な光量が入射するように絞り調整を行うことが可能となる。
The aperture mechanism drive
撮像素子駆動部14は、マイクロコンピュータ12による制御に基づき、撮像素子8を駆動するための駆動パルス等を撮像素子8へ供給し、撮像素子8で撮像した画像の読み出しや露出時間の調整を行う。例えば、撮像素子駆動部14は、撮像素子8により撮像された画像の測光値に応じたマイクロコンピュータ12の制御により、所定の露出時間で撮像素子8の露出を行うための駆動パルスを供給する。これにより、撮像装置では、撮像された画像の測光値に応じて撮像素子8の露出時間を調整し、その画像を読み出すことが可能となる。
Based on the control by the
NDフィルタ駆動部15は、マイクロコンピュータ12による制御に基づき、NDフィルタ駆動モータ6へ駆動電力を供給する。例えば、NDフィルタ駆動部15は、撮像素子8により撮像された画像の測光値に応じたマイクロコンピュータ12の制御により、NDフィルタ5において入射する光の減衰量を増加又は減少するための駆動電力を供給する。これにより、撮像装置では、撮像された画像の測光値に応じて撮像素子8に入射する光の減衰量を調整することが可能となる。
The ND
なお、絞りが固定された撮像装置や絞りがない撮像装置の場合、絞り機構駆動部13は設けなくてもよい。同様に、NDフィルタ5が固定された撮像装置やNDフィルタ5がない撮像装置の場合、NDフィルタ駆動部15は設けなくてもよい。
In the case of an imaging device with a fixed aperture or an imaging device without an aperture, the aperture
顔検出回路16は、画像全体の情報から画像内における人物の顔検出(顔の位置や大きさ)を行う。具体的には、撮像素子8で逐次撮像されてデジタル信号処理回路11で処理された後の画像がマイクロコンピュータ12から逐次入力された場合に、画像の全領域において人物の顔がどの位置にあるか、その大きさはどれ程かなどの顔領域の検出を行う。この顔領域の検出の結果はマイクロコンピュータ12に出力される。
The
顔検出回路16における人物の顔検出方法は、公知の技術を適用可能であり、本発明とは直接関係しないため、詳細な説明は省略する。なお、公知の顔検出技術としては、ニューラルネットワークなどを利用した学習に基づく手法、テンプレートマッチングを用いて目、鼻、口等の形状に特徴のある部位を画像から探し出し、類似度が高ければ顔とみなす手法などがある。また、他にも、肌の色や目の形といった画像特徴量を検出し、統計的解析を用いた手法等、多数提案されている。一般的には、これらの手法を複数組み合わせ、顔検出の精度を向上させている。具体的な例としては、特開2002−251380号公報に記載されるようなウエーブレット変換と画像特徴量を利用して顔検出する方法などが挙げられる。
A known technique can be applied to the human face detection method in the
輝度情報検出回路17は、マイクロコンピュータ12から出力されたデジタルの画像データに基づいて測光値を検出する。輝度情報演算回路18は、輝度情報検出回路17で検出した測光値を演算処理して正規化し、マイクロコンピュータ12で演算し易い測光値に変換する。
The luminance
記憶部19は、RAM(Random Access Memory)などであり、一時的にデータを保存する。例えば、記憶部19は、撮像素子8で撮像されてデジタル信号処理回路11で処理された後の画像データなどを一時的に保存する。記録媒体20は、半導体メモリや光ディスクなどであり、撮像素子8で撮像されてデジタル信号処理回路11で処理された後の画像データなどを記録する。なお、記録媒体20へのデータの記録又は記録媒体20に記録されたデータの読み出しは、マイクロコンピュータ12の制御の下で駆動する光学ドライブや接続インタフェースなど(いずれも図示しない)を介して行われる。
The
<従来方法での動作>
撮像装置100の従来方法での動作では、撮像素子8で逐次撮像された画像において顔の測光値を適正に補正する露出制御をマイクロコンピュータ12の制御の下で行う際に、先ず、撮像する被写体を撮像素子8が感知する。そして、撮像素子駆動部14の駆動パルスに応じて撮像素子8の各画素に蓄えられた電荷が画像信号として出力される。撮像素子8から出力された画像信号はCDS/AGC回路9でサンプリング及び増幅される。サンプリング及び増幅後にCDS/AGC回路9から出力された画像信号はA/D変換器10でデジタル信号に変換されてデジタル信号処理回路11へ送られる。
<Operation by conventional method>
In the operation of the
デジタル信号処理回路11では、A/D変換器10から出力されたデジタルの画像信号に対して種々の信号処理を行う。デジタル信号処理回路11の処理結果(画像信号)は、マイクロコンピュータ12が顔検出回路16に送る。顔検出回路16は、マイクロコンピュータ12から出力された画像信号に基づいた画像内における人物の顔位置、顔の大きさを検出し、検出結果をマイクロコンピュータ12に出力する。
The digital
その後、顔検出回路16により人物の顔位置、顔の大きさが検出された場合、マイクロコンピュータ12は、画像内の顔位置の測光値を取得するため、輝度情報検出回路17によりその顔位置における測光値を取得する。次いで、マイクロコンピュータ12は、輝度情報検出回路17により測光した顔の測光値を輝度情報演算回路18へ出力し、輝度情報演算回路18により演算、正規化された顔の測光値を取得する。この時同時に、マイクロコンピュータ12は、画像の全領域の測光値も輝度情報検出回路17より取得し、輝度情報演算回路18により演算、正規化された画像の全領域の測光値を取得する。
After that, when the
次いで、マイクロコンピュータ12は、顔の測光値が適正に収束するように予め設定された顔目標値との差分値を算出する。その後、マイクロコンピュータ12は、算出した差分値から顔補正値を算出し、その顔補正値を画像全体の測光値に加算する。マイクロコンピュータ12による露出制御では、この顔補正値を含む画像全体の測光値を、予め設定された画像全体の目標値に収束させることで、顔の露出が適正となるようにする。具体的には、マイクロコンピュータ12は、露出制御において、検出された測光値が予め設定された目標値となるように、撮像素子駆動部14による撮像素子8の露出時間や絞り機構駆動部13による絞り2の開口具合を制御する。
Next, the
このとき、マイクロコンピュータ12は、画像全体の露出制御の時定数を、顔検出回路16により人物の顔が検出されていない場合に比べ、大きな値に設定することで、露出制御による露出量の変化量を小さくする。なお、露出制御における時定数は、目標となる測光値と現在の測光値との差分に対して被制御変数である露出量が単位時間あたりで変わる早さを示す値、すなわち、露出制御の応答性を示す値である。
At this time, the
この時定数を大きな値とする場合は、目標となる測光値と現在の測光値との差分に対する露出量の変化が遅く、応答性が低くなる。また、この時定数を小さな値とする場合は、目標となる測光値と現在の測光値との差分に対する露出量の変化が早く、応答性が高くなる。 When this time constant is set to a large value, the change in the exposure amount with respect to the difference between the target photometric value and the current photometric value is slow, and the response is low. When this time constant is set to a small value, the exposure amount changes quickly with respect to the difference between the target photometric value and the current photometric value, and the responsiveness increases.
例えば、露出制御では、現在の測光値と目標値との差分に応じて、目標値に収束させるために露出量を変化させることとなるが、時定数が大きい場合は露出量の変化が遅くなるため収束に時間がかかることとなる。逆に、時定数が小さい場合は露出量の変化が速くなるためすぐに収束する。したがって、露出制御の時定数を大きな値に設定することで、人物の顔に急激な輝度変化が生じる場合であっても、露出制御が不安定となることがないが、画像の輝度変化が急激に生じる場合に適切な露出制御ができない。 For example, in the exposure control, the exposure amount is changed to converge to the target value according to the difference between the current photometric value and the target value. However, when the time constant is large, the change in the exposure amount is delayed. Therefore, it takes time to converge. On the other hand, when the time constant is small, the change in the exposure amount becomes faster, so that it converges immediately. Therefore, by setting the exposure control time constant to a large value, the exposure control does not become unstable even when a sudden brightness change occurs in the face of a person, but the brightness change of the image is abrupt. Appropriate exposure control is not possible when
<本実施形態での動作>
撮像装置100の本実施形態での動作では、撮像素子8で逐次撮像された画像において顔の測光値を適正に補正する露出制御をマイクロコンピュータ12の制御の下で行う際に、先ず、撮像する被写体を撮像素子8が感知する。そして、撮像素子駆動部14の駆動パルスに応じて撮像素子8の各画素に蓄えられた電荷が画像信号として出力される。撮像素子8から出力された画像信号はCDS/AGC回路9でサンプリング及び増幅される。サンプリング及び増幅後にCDS/AGC回路9から出力された画像信号はA/D変換器10でデジタル信号に変換されてデジタル信号処理回路11へ送られる。
<Operation in this embodiment>
In the operation of the
デジタル信号処理回路11では、A/D変換器10から出力されたデジタルの画像信号に対して種々の信号処理を行う。デジタル信号処理回路11の処理結果(画像信号)は、マイクロコンピュータ12が顔検出回路16に送る。顔検出回路16は、マイクロコンピュータ12から出力された画像信号に基づいた画像内(画像の全領域)における人物の顔位置、顔の大きさ(顔領域)を検出し、検出結果をマイクロコンピュータ12に出力する。
The digital
その後、顔検出回路16により人物の顔位置、顔の大きさが検出された場合、マイクロコンピュータ12は、画像内の顔位置の測光値を取得するため、輝度情報検出回路17によりその顔位置における測光値を取得する。次いで、マイクロコンピュータ12は、輝度情報検出回路17により測光した顔の測光値を輝度情報演算回路18へ出力し、輝度情報演算回路18により演算、正規化された顔の測光値を取得する。この時同時に、マイクロコンピュータ12は、画像全体の測光値も輝度情報検出回路17より取得し、輝度情報演算回路18により演算、正規化された画像全体の測光値を取得する。
After that, when the
次いで、マイクロコンピュータ12は、顔の測光値が適正に収束するように予め設定された顔目標値(顔領域の目標測光値)との差分値を算出する。その後、マイクロコンピュータ12は、算出した差分値を元に、露出制御の時定数よりも大きな値の時定数で顔補正値(補正量)を算出し、その顔補正値を画像全体の測光値に加算する。マイクロコンピュータ12による露出制御では、この顔補正値を含む画像全体の測光値を、予め設定された画像全体の目標値に収束させることで、顔の露出が適正となるようにする。
Next, the
このとき、画像全体の露出制御は、顔補正値の算出に用いられた時定数(第1の時定数)とは別の時定数であり、その時定数より小さな値の時定数(第2の時定数)が用いられる。逆に言えば、顔領域の測光値の変化に対する顔補正値の応答性を示す時定数を、画像の全領域の測光値の変化に対する露出制御結果の応答性を示す時定数よりも大きくしている。 At this time, the exposure control of the entire image is a time constant different from the time constant used for calculating the face correction value (first time constant), and a time constant smaller than that time constant (second time constant). Constant) is used. In other words, the time constant indicating the responsiveness of the face correction value to the change in the photometric value of the face area is set larger than the time constant indicating the responsiveness of the exposure control result to the change of the photometric value of the entire area of the image. Yes.
例えば、画像全体の露出制御では、人物の顔の検出の有無に影響されることなく通常時の時定数が用いられる。そして、画像全体の露出制御における顔補正値の算出に大きな時定数を用いることで、顔検出回路16により検出された顔位置で急激に測光値が変化した場合であっても顔補正値の変化量は少なくなる。したがって、顔の輝度変化に対してちらつきを抑えた安定した露出制御を行うことができる。また、顔検出回路16により人物の顔が検出された場合であっても、画像全体の露出制御には、顔補正値の時定数よりも小さな値の時定数(例えば通常時と変わらない時定数)が用いられるため、画像全体の輝度変化に対しては敏感に対応することができる。
For example, in the exposure control of the entire image, a normal time constant is used without being affected by the presence or absence of detection of a human face. Then, by using a large time constant for calculating the face correction value in the exposure control of the entire image, even if the photometric value suddenly changes at the face position detected by the
本実施形態では、図1に示すように、全て独立した回路部の構成を示している。しかしながら、全ての構成又はその一部はマイクロコンピュータ12内に構成するようにする形態であってもよい。
In the present embodiment, as shown in FIG. 1, the configuration of all independent circuit units is shown. However, all or a part of the configuration may be configured in the
次に、本実施形態の撮像装置100においてマイクロコンピュータ12が行う制御方法について図2、図3を参照して説明する。図2は、本発明の実施形態に係る撮像装置100の制御方法を示すフローチャートである。具体的には、図2には、撮像装置100における露出制御について示されている。図3(a)〜図3(d)は、本実施形態での実際の動作を表した図である。具体的には、図3(a)は顔測光値と顔目標値との差分の算出を表す図である。図3(b)は顔補正値の算出を表す図である。図3(c)は画面全体の測光値への顔補正値の加算を表す図である。図3(d)は露出制御を表す図である。
Next, a control method performed by the
図2に示すように、処理が開始されるとマイクロコンピュータ12は、S101において、撮像素子8で撮像された画面全体の測光値を取得する。次いで、マイクロコンピュータ12は、S102において、取得した測光値から露出制御のための評価値(目標値)を算出する。
As shown in FIG. 2, when the process is started, the
次いで、マイクロコンピュータ12は、S103において、顔検出回路16により撮像した画像内に人物の顔が存在しているか否かを判定する。S103の判定の結果、撮像した画像内に人物の顔が存在していない場合、マイクロコンピュータ12は、後述する顔補正値に関する処理を行うことなく、S108において通常の画面全体の露出制御を行い、処理を終了する。
Next, in S <b> 103, the
一方、S103の判定の結果、撮像した画像内に人物の顔が存在する場合、マイクロコンピュータ12は、処理をS104へ進める。次いで、マイクロコンピュータ12は、S104において、S103で検出した顔位置に顔測光枠を設定し、設定した顔測光枠における測光値を輝度情報検出回路17から取得する。すなわち、S104では、撮像した画像内における人物の顔の測光値を取得する。なお、S103で検出した顔が複数ある場合は、複数の顔の測光値を取得してもよい。
On the other hand, if the result of the determination in S103 is that a human face is present in the captured image, the
次いで、マイクロコンピュータ12は、取得した測光値を輝度情報演算回路18により演算、正規化し、S105において、顔の評価値(顔目標値)を算出する。次いで、マイクロコンピュータ12は、S106において、顔用の大きな値の時定数を用いた顔補正値の算出を行う。
Next, the
具体的には、S106において、図3(a)に示すように、顔の測光値が適正に収束するように設定された顔目標値と、顔の測光値との差分を算出する。その後、図3(b)に示すように、顔用の大きな値の時定数を用いた顔補正値を算出する。すなわち、顔目標値との差分値を顔補正値としてそのまま画面全体の測光値に加算させるのではなく、時間に対して変化量を小さくした顔補正値を画面全体の測光値に加算させるようにする。これにより、顔の急激な輝度変化により画面全体の露出制御が不安定になることを防ぐことが可能である。 Specifically, in S106, as shown in FIG. 3A, the difference between the face target value set so that the face photometric value converges properly and the face photometric value is calculated. Thereafter, as shown in FIG. 3B, a face correction value using a large time constant for the face is calculated. That is, instead of adding the difference value with the face target value as the face correction value to the photometric value of the entire screen as it is, the face correction value with a small change amount with respect to time is added to the photometric value of the entire screen. To do. Thereby, it is possible to prevent the exposure control of the entire screen from becoming unstable due to a rapid change in luminance of the face.
次いで、マイクロコンピュータ12は、S107において、図3(c)に示すように、画面全体の測光値にS106で算出した顔補正値を加算する(顔の測光値が顔目標値よりもマイナス方向にあるので負の顔補正値を加算する)。次いで、マイクロコンピュータ12は、S108において、顔補正値を含む画面全体の測光値が画面全体の目標値(評価値)に収束するように露出制御を行うことで、顔の露出が適正となるようにする。
Next, in S107, the
従来の顔検出時の露出制御では、画面全体の露出制御の時定数を大きくし露光量の変化量を小さくしていたため、輝度値の差が大きい画面全体のシーンの切り替わりなどで適正露出に収束するまで時間を要していた。これに対し、S108における画面全体の露出制御では、顔検出の有無に関わらず、露出制御の時定数が変更されることがない。 In conventional exposure control during face detection, the time constant of exposure control for the entire screen is increased and the amount of change in exposure is reduced, so that it converges to the appropriate exposure by switching scenes on the entire screen where the difference in brightness is large. It took time to do. On the other hand, in the exposure control of the entire screen in S108, the time constant of the exposure control is not changed regardless of the presence or absence of face detection.
したがって、顔が検出された場合であっても、露出制御の時定数が大きな値に変更されることがなく、シーンが切り替わる時のように急激に測光値が変化した際に露出を素早く適正に収束されることができる。また、顔補正値用の時定数と画面全体の露出制御用の時定数を個別に設定し、顔補正値用の時定数を露出制御用の時定数より大きな値にすることで、顔の測光値が不安定であってもちらつきを抑えた露出制御を行うことができる。 Therefore, even when a face is detected, the exposure control time constant is not changed to a large value, and the exposure is quickly and appropriately adjusted when the photometric value changes suddenly, such as when the scene changes. Can be converged. In addition, by setting the time constant for the face correction value and the time constant for exposure control of the entire screen individually, and making the time constant for the face correction value larger than the time constant for exposure control, face photometry Even if the value is unstable, exposure control with reduced flickering can be performed.
上述した、S101〜S108の一連の処理により、撮像装置100では、人物の顔が検出された際に、顔補正値を用いた画面全体の露出制御が実行されることとなる。
Through the above-described series of processing of S101 to S108, the
以上のように、撮像装置100では、人物の顔を適正露出とするため、その顔の測光値により顔補正値を算出する際の時定数と、画面全体の露出制御の時定数とを別にし、顔補正値用の時定数を画面全体の露出制御の時定数より大きな値としている。これにより、顔の測光値の不安定によるちらつきを抑えた露出制御を行うことができ、また、シーン切り替わりのように画面全体の測光値が急激に変化する場合においても、露出を素早く適正に収束させるような露出制御を行うことができる。したがって、本実施形態では、従来の方法に比べ、顔の輝度変化に対してちらつきを抑えた安定した露出制御を行うことができ、且つ画面全体の露出を素早く適正にする露出制御を行うことが可能である。
As described above, in the
なお、上述した実施の形態における記述は、一例を示すものであり、これに限定するものではない。上述した実施の形態における構成及び動作に関しては、適宜変更が可能である。 Note that the description in the above-described embodiment shows an example, and the present invention is not limited to this. The configuration and operation in the embodiment described above can be changed as appropriate.
(他の実施形態)
上述の実施形態は、システム或は装置のコンピュータ(或いはCPU、MPU等)によりソフトウェア的に実現することも可能である。従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
(Other embodiments)
The above-described embodiment can also be realized in software by a computer of a system or apparatus (or CPU, MPU, etc.). Therefore, the computer program itself supplied to the computer in order to implement the above-described embodiment by the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線/無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、MO、CD、DVD等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。 The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto. A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.
有線/無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムファイル)をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。 As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code. The program file is supplied by downloading to a client computer that has accessed the server. In this case, the program file can be divided into a plurality of segment files, and the segment files can be distributed and arranged on different servers. That is, a server apparatus that provides a client computer with a program file for realizing the above-described embodiment is also one aspect of the present invention.
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するOSの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるCPUで実行するようにしてもよい。 In addition, a storage medium in which the computer program for realizing the above-described embodiment is encrypted and distributed is distributed, and key information for decrypting is supplied to a user who satisfies a predetermined condition, and the user's computer Installation may be allowed. The key information can be supplied by being downloaded from a homepage via the Internet, for example. Further, the computer program for realizing the above-described embodiment may use an OS function already running on the computer. Further, a part of the computer program for realizing the above-described embodiment may be configured by firmware such as an expansion board attached to the computer, or may be executed by a CPU provided in the expansion board. Good.
100 撮像装置
1 レンズ
2 絞り
3 絞り駆動モータ
4 絞り状態検出回路
5 NDフィルタ
6 NDフィルタ駆動モータ
7 NDフィルタ駆動検出回路
8 撮像素子
9 CDS/AGC回路
10 A/D変換器
11 デジタル信号処理回路
12 マイクロコンピュータ
13 絞り機構駆動部
14 撮像素子駆動部
15 NDフィルタ駆動部
16 顔検出回路
17 輝度情報検出回路
18 輝度情報演算回路
19 記憶部
20 記録媒体
DESCRIPTION OF
Claims (5)
前記撮像手段により撮像された画像から人物の顔領域を検出する顔検出手段と、
前記画像の全領域と、前記顔検出手段により検出された顔領域とから測光値を取得する測光手段と、
前記画像の全領域から取得された測光値に対する補正量を、前記顔領域から取得した測光値に応じて算出する算出手段と、
前記画像の全領域から取得された測光値を前記補正量で補正した測光値に基づいて露出制御を行う露出制御手段と、
を備え、
前記顔領域の測光値の変化に対する前記補正量の応答性を示す第1の時定数を、前記画像の全領域の測光値の変化に対する前記露出制御結果の応答性を示す第2の時定数よりも大きくすることを特徴とする撮像装置。 Imaging means;
Face detection means for detecting a face area of a person from an image captured by the imaging means;
A photometric means for obtaining a photometric value from the entire area of the image and the face area detected by the face detecting means;
Calculation means for calculating a correction amount for the photometric value acquired from the entire area of the image according to the photometric value acquired from the face area;
Exposure control means for performing exposure control based on a photometric value obtained by correcting the photometric value acquired from the entire area of the image with the correction amount;
With
From the second time constant indicating the responsiveness of the exposure control result to the change of the photometric value of the entire area of the image, the first time constant indicating the responsiveness of the correction amount to the change of the photometric value of the face area. An imaging device characterized by increasing the size of the image pickup apparatus.
前記第1の時定数が、前記差分値の変化に対する前記補正量の応答性を示すことを特徴とする請求項1に記載の撮像装置。 The calculating means calculates the correction amount from a difference value between a target photometric value of the face area and a photometric value acquired from the face area;
The imaging apparatus according to claim 1, wherein the first time constant indicates responsiveness of the correction amount with respect to a change in the difference value.
前記撮像手段により撮像された画像から人物の顔領域を検出する顔検出工程と、
前記画像の全領域と、前記顔検出工程で検出された顔領域とから測光値を取得する測光工程と、
前記画像の全領域から取得された測光値に対する補正量を、前記顔領域から取得した測光値に応じて算出する算出工程と、
前記画像の全領域から取得された測光値を前記補正量で補正した測光値に基づいて露出制御を行う露出制御工程と、
を含み、
前記顔領域の測光値の変化に対する前記補正量の応答性を示す第1の時定数を、前記画像の全領域の測光値の変化に対する前記露出制御結果の応答性を示す第2の時定数よりも大きくすることを特徴とする撮像装置の制御方法。 A method for controlling an imaging apparatus having imaging means,
A face detection step of detecting a human face area from the image captured by the imaging means;
A photometric step of obtaining a photometric value from the entire region of the image and the face region detected in the face detection step;
A calculation step of calculating a correction amount for the photometric value acquired from the entire area of the image according to the photometric value acquired from the face area;
An exposure control step for performing exposure control based on a photometric value obtained by correcting the photometric value acquired from the entire area of the image with the correction amount;
Including
From the second time constant indicating the responsiveness of the exposure control result to the change of the photometric value of the entire area of the image, the first time constant indicating the responsiveness of the correction amount to the change of the photometric value of the face area. A method for controlling the imaging apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008322958A JP2010147817A (en) | 2008-12-18 | 2008-12-18 | Imaging apparatus, method and program for controlling same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008322958A JP2010147817A (en) | 2008-12-18 | 2008-12-18 | Imaging apparatus, method and program for controlling same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010147817A true JP2010147817A (en) | 2010-07-01 |
JP2010147817A5 JP2010147817A5 (en) | 2012-02-02 |
Family
ID=42567774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008322958A Pending JP2010147817A (en) | 2008-12-18 | 2008-12-18 | Imaging apparatus, method and program for controlling same |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010147817A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014207618A (en) * | 2013-04-15 | 2014-10-30 | リコーイメージング株式会社 | Imaging apparatus, imaging method, and recording medium |
CN113784056A (en) * | 2020-06-10 | 2021-12-10 | 杭州海康威视数字技术股份有限公司 | Exposure control method and exposure control device |
US20220172509A1 (en) * | 2012-10-19 | 2022-06-02 | Google Llc | Image Optimization During Facial Recognition |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01221986A (en) * | 1988-03-01 | 1989-09-05 | Canon Inc | Exposure controller |
JP2008228090A (en) * | 2007-03-14 | 2008-09-25 | Ricoh Co Ltd | Imaging apparatus and automatic exposure control method |
-
2008
- 2008-12-18 JP JP2008322958A patent/JP2010147817A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01221986A (en) * | 1988-03-01 | 1989-09-05 | Canon Inc | Exposure controller |
JP2008228090A (en) * | 2007-03-14 | 2008-09-25 | Ricoh Co Ltd | Imaging apparatus and automatic exposure control method |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220172509A1 (en) * | 2012-10-19 | 2022-06-02 | Google Llc | Image Optimization During Facial Recognition |
US11741749B2 (en) * | 2012-10-19 | 2023-08-29 | Google Llc | Image optimization during facial recognition |
JP2014207618A (en) * | 2013-04-15 | 2014-10-30 | リコーイメージング株式会社 | Imaging apparatus, imaging method, and recording medium |
CN113784056A (en) * | 2020-06-10 | 2021-12-10 | 杭州海康威视数字技术股份有限公司 | Exposure control method and exposure control device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7565068B2 (en) | Image-taking apparatus | |
JP5141733B2 (en) | Imaging apparatus, imaging method, and program | |
JP4222213B2 (en) | Camera device, photographing sensitivity setting program, and photographing sensitivity setting method | |
JP2010147816A5 (en) | ||
JP2010157925A (en) | Imaging apparatus, control method thereof and program | |
US9338358B2 (en) | Image capture apparatus and control method for reflecting exposure compensation | |
JP5371719B2 (en) | Imaging apparatus and control method thereof | |
JP2019029833A (en) | Imaging apparatus | |
JP4300936B2 (en) | Imaging device | |
JP2010147817A (en) | Imaging apparatus, method and program for controlling same | |
JP5693270B2 (en) | Image pickup apparatus, interchangeable lens, and image pickup apparatus control method | |
JP6003133B2 (en) | Imaging apparatus, imaging control method, and program | |
JP2009182880A (en) | Imaging apparatus and its program | |
US11727716B2 (en) | Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection | |
JP5473582B2 (en) | Image processing apparatus, method, and program | |
US20100118155A1 (en) | Digital image processing apparatus | |
JP5587045B2 (en) | Imaging apparatus and control method thereof | |
JP5199908B2 (en) | Imaging apparatus and control method thereof | |
JP2002330335A (en) | Still picture image pickup device | |
JP5972055B2 (en) | Imaging device | |
JP4789776B2 (en) | Imaging apparatus and imaging method | |
JP6272006B2 (en) | Imaging apparatus, image processing method, and program | |
JP2011049737A (en) | Imaging apparatus and exposure control method thereof | |
JP4679175B2 (en) | Imaging system and control device | |
JP2020123863A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121211 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130517 |