JP2010130314A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2010130314A
JP2010130314A JP2008302509A JP2008302509A JP2010130314A JP 2010130314 A JP2010130314 A JP 2010130314A JP 2008302509 A JP2008302509 A JP 2008302509A JP 2008302509 A JP2008302509 A JP 2008302509A JP 2010130314 A JP2010130314 A JP 2010130314A
Authority
JP
Japan
Prior art keywords
accumulation time
distance
image
imaging
distance information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008302509A
Other languages
Japanese (ja)
Other versions
JP5183441B2 (en
Inventor
志幾 ▲高▼林
Shiki Takabayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008302509A priority Critical patent/JP5183441B2/en
Publication of JP2010130314A publication Critical patent/JP2010130314A/en
Application granted granted Critical
Publication of JP5183441B2 publication Critical patent/JP5183441B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of preventing, for example, dark area-gradation deterioration resulting in turning the area black of subjects or halation of backgrounds by backlight or the like. <P>SOLUTION: The imaging apparatus includes: an imaging element for imaging an object to be photographed; a means for acquiring distance information to the object to be photographed from each pixel in the imaging element: and a distance information acquisition section for acquiring the distance information before the imaging. The imaging element has a light reception surface for receiving ambient light for photoelectric conversion, can control storage time of charge by the photoelectric conversion in pixel units, and further has a storage time control section for controlling the storage time of charge of the imaging element in pixel units based on the distance information. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は撮影対象の撮像及び各画素の撮影対象までの距離情報の取得ができる撮像装置であって、例えば、逆光等により被写体が黒飛び、または背景が白飛びする可能性がある場合における、画像の露出補正を行う撮像装置に関するものである。   The present invention is an imaging device capable of capturing an image of an object to be photographed and acquiring distance information to the object to be photographed of each pixel. The present invention relates to an image pickup apparatus that performs image exposure correction.

デジタルカメラにおいて、逆光時の撮影の場合、一般的な露出制御を行うと、被写体が黒くつぶれる(黒飛び)現象が多々ある。そのため、露出時間を長くする逆光補正処理を行い、被写体に対して黒くつぶれない補正を行ってきた。しかし、この場合、逆光補正前に最適な露出であった景色が白く飛んでしまう(白飛び)現象が起こる。そのため、従来の撮影では被写体、景色が共につぶれないような露出の妥協点を見つけるか、被写体にストロボ光を当てるなどして撮影を行ってきた。   In a digital camera, in the case of shooting in backlit conditions, there are many phenomena in which the subject is blackened (black skipping) when general exposure control is performed. Therefore, a backlight correction process that extends the exposure time is performed to correct the subject so that it is not blackened. However, in this case, a phenomenon occurs in which the scenery that has been optimally exposed before the backlight compensation is whitened (whiteout). For this reason, in conventional shooting, shooting has been carried out by finding a compromise between the subject and the scenery so that the subject and the scenery are not crushed, or by applying a strobe light to the subject.

上記の課題に対して、幾つかの解決方法が提案されてきた中、画素毎の電荷量を蓄積する時間を変更できる撮像素子を用いる撮像装置が示されている。   While several solutions have been proposed for the above problem, an imaging apparatus using an imaging element that can change the time for accumulating the charge amount for each pixel is shown.

例えば特許文献1では被写体の露出量やブレを測定する評価部を有し、評価結果にしたがい画素毎に電荷の蓄積時間を変更する方法を採用している。
特開2001−358989号公報
For example, Patent Document 1 has an evaluation unit that measures the exposure amount and blur of a subject, and adopts a method of changing the charge accumulation time for each pixel according to the evaluation result.
JP 2001-35889 A

しかし、被写体の露出量やブレの評価、その他、被写体抽出などの計算は非常に膨大でリアルタイム性に劣る。そのため上記の方法では、実際には被写体がしばらく静止することが要求されるか、PC等別の計算機器による高速計算処理が必要であった。そのため、従来のデジタルカメラのような簡易な撮影の際に用いることは困難である。   However, the subject exposure amount and blur evaluation, and other calculations such as subject extraction are very large and inferior in real time. Therefore, in the above method, the subject is actually required to be stationary for a while, or high-speed calculation processing by another calculation device such as a PC is necessary. For this reason, it is difficult to use for simple photographing such as a conventional digital camera.

本発明は、そのような問題点を鑑みてなされたものであり、簡易に、逆光等により被写体が黒飛び、または背景が白飛びすることを防止することができる撮像装置を提供することを目的とする。   The present invention has been made in view of such problems, and an object of the present invention is to provide an imaging apparatus that can easily prevent a subject from being blacked out or a background from being whitened out due to backlight or the like. And

本発明による撮像装置は、撮影対象を撮像する撮像素子、前記撮像素子の各画素の撮影対象までの距離情報を取得する手段と、前記撮影の前に距離情報を取得する距離情報取得部と、を備え、前記撮像素子は、外光を受光して光電変換する受光面を有し、その光電変換による電荷の蓄積時間を画素単位で制御をすることが可能であり、前記距離情報に基づき前記撮像素子の電荷の蓄積時間を画素単位で制御をする蓄積時間制御部を更に有することを特徴とする。   An image pickup apparatus according to the present invention includes an image pickup device that picks up an image pickup target, means for acquiring distance information to the image pickup target of each pixel of the image pickup device, a distance information acquisition unit that acquires distance information before the image pickup, The image sensor has a light receiving surface that receives external light and performs photoelectric conversion, and can control a charge accumulation time by the photoelectric conversion in units of pixels, and based on the distance information, It further has an accumulation time control section for controlling the charge accumulation time of the image sensor in units of pixels.

また、本発明による撮像装置は、蓄積時間制御部は、ユーザーが設定した境界距離又は所定の境界距離までの領域を近景領域とし、前記境界距離よりも遠い領域の少なくとも一部を遠景領域として、画素単位での電荷の蓄積時間の制御をすることを特徴とする。   Further, in the imaging apparatus according to the present invention, the accumulation time control unit sets a boundary distance set by the user or a region up to a predetermined boundary distance as a foreground region, and at least a part of a region farther than the boundary distance as a far view region, The charge accumulation time is controlled in units of pixels.

更に、本発明は、前記撮像素子が得た画像内に人物が存在するか否かを認識する人物認識部を更に有し、人物が存在した場合、人物までの距離を前記境界距離とすることを特徴とする。   Furthermore, the present invention further includes a person recognition unit for recognizing whether or not a person exists in the image obtained by the imaging device, and when a person exists, the distance to the person is set as the boundary distance. It is characterized by.

更に、本発明は、蓄積時間制御部は、近景領域の電荷蓄積時間を遠景領域の電荷蓄積時間よりも長くすることを特徴とする。   Furthermore, the present invention is characterized in that the accumulation time control unit makes the charge accumulation time in the foreground region longer than the charge accumulation time in the far view region.

更に、本発明は、蓄積時間制御部は、遠景領域の電荷蓄積時間を近景領域の電荷蓄積時間よりも長くすることを特徴とする。   Furthermore, the present invention is characterized in that the accumulation time control unit makes the charge accumulation time in the far view area longer than the charge accumulation time in the near view area.

本発明によれば、逆光等により被写体が黒飛び、または背景が白飛びすることを防止することができる。また、フラッシュが照射される人物とフラッシュが照射されない夜景を含む画像において、夜景を明るく撮影することができる。   According to the present invention, it is possible to prevent the subject from being blown out by the backlight or the background from being blown out. In addition, in an image including a person who is irradiated with a flash and a night scene where the flash is not irradiated, a night scene can be captured brightly.

以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
(第1の実施形態)
図1は、本発明の実施形態である撮像装置の内部構成図である。
The best mode for carrying out the present invention will be described below in detail with reference to the drawings.
(First embodiment)
FIG. 1 is an internal configuration diagram of an imaging apparatus according to an embodiment of the present invention.

撮像光学系100は、光学レンズ、絞り機構などで構成される。被写体や景色などの撮影対象は外光として撮像光学系100を通して、撮影用撮像素子101と測距用撮像部103に結像される。   The imaging optical system 100 includes an optical lens, a diaphragm mechanism, and the like. A subject such as a subject or scenery is imaged as external light through the imaging optical system 100 on the imaging element 101 for photographing and the imaging unit 103 for distance measurement.

撮影用撮像素子101は、CCDもしくはCMOSによって構成される。撮像光学系100によって受光面に結像された光像を、R(赤)、G(緑)、B(青)の色成分の画像信号に光電変換して出力するものである。通常の撮像素子は全ての画素において蓄積時間が一定であるが、撮影用撮像素子101は画素毎に蓄積時間を変えることが出来る。これは画素毎に画像信号電荷の蓄積開始/終了の時間を可変にすることによって達成している。撮影用撮像素子101の詳細は後に図3を参照して説明する。また以後の記述では画像信号電荷の蓄積開始から終了までの時間を蓄積時間と呼ぶ。   The imaging element 101 for photographing is constituted by a CCD or a CMOS. The optical image formed on the light receiving surface by the imaging optical system 100 is photoelectrically converted into image signals of R (red), G (green), and B (blue) color components and output. A normal image sensor has a constant accumulation time for all pixels, but the image sensor 101 can change the accumulation time for each pixel. This is achieved by making the image signal charge accumulation start / end time variable for each pixel. Details of the imaging element 101 for photographing will be described later with reference to FIG. In the following description, the time from the start to the end of image signal charge accumulation is called the accumulation time.

蓄積時間制御部102は、撮影用撮像素子101の蓄積時間を制御するもので、2つの制御方法を有している。1つは撮像装置に備わるISO感度設定や露出設定やシャッタースピードによる値に基づいて撮影用撮像素子101の蓄積時間を全画素共通に制御する方法である。これは従来ある撮影で行う制御である。もう1つは距離情報取得部104の距離情報に基づいて画素毎に個別の蓄積時間を設定し、撮影用撮像素子101の蓄積時間を制御する方法である。本実施形態は後者の制御方法を用いる発明である。蓄積時間制御部102の内部構成は後に図4を参照して説明する。   The accumulation time control unit 102 controls the accumulation time of the image pickup image sensor 101 and has two control methods. One is a method for controlling the accumulation time of the image sensor 101 for photographing in common to all pixels based on values based on ISO sensitivity setting, exposure setting, and shutter speed provided in the imaging apparatus. This is a control performed by conventional photographing. The other is a method of setting an individual accumulation time for each pixel based on the distance information of the distance information acquisition unit 104 and controlling the accumulation time of the imaging element 101 for photographing. This embodiment is an invention using the latter control method. The internal configuration of the accumulation time control unit 102 will be described later with reference to FIG.

測距用撮像部103は、複数のCCDもしくはCMOSの他に受光レンズやバリア等によって構成される。画素単位で測距できれば使用する方法に制限はないが、本実施形態では測距方法としてステレオ法を採用するため、撮影用撮像素子101と同等の画素数を持つ少なくとも2枚の撮像素子およびその素子に結像させる光学系が必須となる。ただし測距用の画像(以後、測距画像とする)は白黒でよいため、用いる撮像素子はR(赤)、G(緑)、B(青)のカラーフィルターを必要としない。測距用撮像部103の構成は後に図2を参照して説明する。   The distance measuring image pickup unit 103 includes a light receiving lens, a barrier, and the like in addition to a plurality of CCDs or CMOSs. There is no limitation on the method to be used as long as the distance can be measured in pixel units. However, in this embodiment, since the stereo method is adopted as the distance measuring method, at least two image sensors having the same number of pixels as the imaging image sensor 101 and their imaging devices are used. An optical system that forms an image on the element is essential. However, since an image for distance measurement (hereinafter referred to as a distance image) may be black and white, the image sensor to be used does not need R (red), G (green), and B (blue) color filters. The configuration of the ranging imaging unit 103 will be described later with reference to FIG.

距離情報取得部104は、測距用撮像部103によって撮影された2枚の輝度画像(白黒画像)からステレオ法を用いて画素単位で距離情報を取得する。同時に2枚の輝度画像(白黒画像)から測距画像を構成する。測距画像は撮影時に蓄積時間制御に用いるだけでなく、撮影後の補正にも利用できるため、後述する画像メモリ106や記録媒体111に記録される。   The distance information acquisition unit 104 acquires distance information in units of pixels from the two luminance images (monochrome images) captured by the ranging imaging unit 103 using a stereo method. At the same time, a ranging image is constructed from two luminance images (monochrome images). The distance measurement image is not only used for accumulation time control at the time of shooting, but can also be used for correction after shooting, so it is recorded in an image memory 106 and a recording medium 111 to be described later.

画像処理部105は、撮影用撮像素子101から出力される画像信号に対し、ホワイトバランス調整、γ補正、黒レベル補正等を行い、画像をデータ化するものである。ホワイトバランス調整とは、R(赤)、G(緑)、B(青)の色成分のレベル変換を行うものである。γ補正とは、画素のγ特性を補正するものである。黒レベル補正とは、黒レベルを基準の黒レベルに補正するものである。   The image processing unit 105 performs white balance adjustment, γ correction, black level correction, and the like on the image signal output from the imaging element 101 for photographing, and converts the image into data. White balance adjustment is to perform level conversion of R (red), G (green), and B (blue) color components. The γ correction is to correct the γ characteristic of a pixel. The black level correction is to correct the black level to a reference black level.

画像メモリ106は、画像処理部105から出力される画像データを一時的に記憶する。例えば撮影待機状態において、撮影用撮像素子101により1/30秒毎に撮影された画像信号は画像処理部105により画像データ化され、画像メモリ106に一時的に記憶される。そして制御部107を介して表示部108に送信されることで、ライブビュー表示が行われる。また記録媒体111に記録された画像を再生する場合も、制御部107を介して一時的に画像メモリ106に記憶された後、順番に表示部108に送信され、再生表示を行うことになる。また上記に述べたように、画像メモリ106は、測距画像を一時的に保管する。測距画像は、蓄積時間の制御にも用いられる。   The image memory 106 temporarily stores image data output from the image processing unit 105. For example, in the photographing standby state, an image signal photographed every 1/30 seconds by the photographing image sensor 101 is converted into image data by the image processing unit 105 and temporarily stored in the image memory 106. Then, the live view display is performed by being transmitted to the display unit 108 via the control unit 107. In the case of reproducing an image recorded on the recording medium 111, the image is temporarily stored in the image memory 106 via the control unit 107, and then transmitted to the display unit 108 in order to perform reproduction display. As described above, the image memory 106 temporarily stores the distance measurement image. The ranging image is also used for controlling the accumulation time.

制御部107は、主にCPUで構成され、撮像装置の心臓部にあたるものである。その役割は多岐にわたり、例えば撮影用撮像素子101および測距用撮像部103に撮影指示をしする。また、撮影用撮像素子101および測距用撮像部103から出力された画像信号を予め記憶されたプログラムに従ってデータ化する。更に、ユーザーからの指示に従い画像再生・画像補正を行ったりする。また距離情報の取得や蓄積時間の制御も制御部107を介して行われる。   The control unit 107 is mainly composed of a CPU and corresponds to the heart of the imaging apparatus. The roles are various, and, for example, a photographing instruction is given to the photographing imaging element 101 and the ranging imaging unit 103. Further, the image signals output from the imaging element 101 for photographing and the imaging unit 103 for distance measurement are converted into data according to a program stored in advance. Furthermore, image reproduction / image correction is performed in accordance with an instruction from the user. The acquisition of distance information and the control of the accumulation time are also performed via the control unit 107.

表示部108は、液晶ディスプレイや有機EL等の薄型表示装置で構成され、画像データをライブビュー表示したり、再生表示したり、またメニュー画面の表示を行ったりする。   The display unit 108 is configured by a thin display device such as a liquid crystal display or an organic EL, and performs live view display, reproduction display, and menu screen display of image data.

ISO感度設定IF(Interface)109は、ユーザーがISO感度を設定するための外部インターフェースである。ISO感度設定IF109を用いて、通常の撮影方法によるISO感度設定を行うか、距離情報を用いた露出設定を行うかを選択することができる。詳細は後に図5を参照して説明する。   An ISO sensitivity setting IF (Interface) 109 is an external interface for the user to set the ISO sensitivity. Using the ISO sensitivity setting IF 109, it is possible to select whether to perform ISO sensitivity setting by a normal photographing method or to perform exposure setting using distance information. Details will be described later with reference to FIG.

露出設定IF110は、ISO感度設定IF109で距離情報を用いた露出設定を選択した場合、より手動で詳細設定するためのインターフェースである。そのため露出設定IF110は表示部108でメニュー表示されて設定するインターフェースとなっている。詳細は後に図6を参照して説明する。   The exposure setting IF 110 is an interface for performing detailed setting more manually when the exposure setting using distance information is selected in the ISO sensitivity setting IF 109. Therefore, the exposure setting IF 110 is an interface that is displayed and set on the display unit 108 as a menu. Details will be described later with reference to FIG.

記録媒体111は、メモリーカードやハードディスクで構成されており、制御部107を介して画像データを記録する。   The recording medium 111 is configured by a memory card or a hard disk, and records image data via the control unit 107.

図2は測距用撮像部103の構成と、測距の概要および測距画像を示した図である。   FIG. 2 is a diagram showing the configuration of the distance measurement imaging unit 103, the outline of distance measurement, and the distance measurement image.

図2(a)は測距用撮像部103の構成を示している。測距用撮像部103は、バリア200、2枚の受光レンズ201、左輝度センサ202、右輝度センサ203で構成されている。撮影光学系100によって2つに分光された光像は、バリア200、受光レンズ201を通して左輝度センサ202および右輝度センサ203に結像される。バリア200は、2つの光像がセンサに結像する前に混在しないために受光レンズ201の前に設置されている。バリアの開口部の間隔は2つの受光レンズ201の性能や、左輝度センサ202と右輝度センサ203との位置関係に密接に関連し、具体的には2つの受光レンズ201の焦点距離、左輝度センサ202と右輝度センサ203の基線長等で決まる。2つの受光レンズ201と左輝度センサ202と右輝度センサ203はともに基線長Bを隔てて配置する。左輝度センサ202と右輝度センサ203のそれぞれの画素数は撮影用撮像素子101と同等のもので、R(赤)、G(緑)、B(青)のカラーフィルターは備わっていない。そのため左輝度センサ202と右輝度センサ203は輝度画像(白黒画像)を出力する。   FIG. 2A shows the configuration of the distance measurement imaging unit 103. The distance measurement imaging unit 103 includes a barrier 200, two light receiving lenses 201, a left luminance sensor 202, and a right luminance sensor 203. The light image split into two by the photographing optical system 100 is formed on the left luminance sensor 202 and the right luminance sensor 203 through the barrier 200 and the light receiving lens 201. The barrier 200 is installed in front of the light receiving lens 201 so that the two light images are not mixed before being formed on the sensor. The interval between the barrier openings is closely related to the performance of the two light receiving lenses 201 and the positional relationship between the left luminance sensor 202 and the right luminance sensor 203. Specifically, the focal length and the left luminance of the two light receiving lenses 201 are determined. It is determined by the base line length of the sensor 202 and the right luminance sensor 203. The two light receiving lenses 201, the left luminance sensor 202, and the right luminance sensor 203 are all arranged with a base line length B apart. The number of pixels of each of the left luminance sensor 202 and the right luminance sensor 203 is the same as that of the imaging element 101 for photographing, and no R (red), G (green), or B (blue) color filters are provided. Therefore, the left luminance sensor 202 and the right luminance sensor 203 output a luminance image (monochrome image).

図2(b)はステレオ法を用いての測距の概要を示している。左右画像204とは左輝度センサ202および右輝度センサ203から出力された輝度画像(白黒画像)を重ね合わせたものである。左輝度センサ202と右輝度センサ203は基線長Bを隔てて配置されているので、左右画像204には2つの光像の相対的な位置差Xが生じる。受光レンズ201から被写体までの距離をL、受光レンズ201の焦点距離をf、基線長をBとすると、三角測量の原理から、以下の式が成り立つ。   FIG. 2B shows an outline of distance measurement using the stereo method. The left and right images 204 are obtained by superimposing luminance images (monochrome images) output from the left luminance sensor 202 and the right luminance sensor 203. Since the left luminance sensor 202 and the right luminance sensor 203 are arranged with a base line length B therebetween, a relative positional difference X between the two light images is generated in the left and right images 204. Assuming that the distance from the light receiving lens 201 to the subject is L, the focal length of the light receiving lens 201 is f, and the base line length is B, the following equation holds from the principle of triangulation.

L = (B×f)/X
こうして2つの光像の相対的な位置差Xを画素毎に検出して上記の式にて測距計算を行うことで、画素単位で距離情報を取得することが出来る。
L = (B × f) / X
Thus, distance information can be acquired in pixel units by detecting the relative positional difference X between the two light images for each pixel and performing distance measurement calculation using the above formula.

本実施形態では上記の構成による測距方法を示したが、輝度センサを2枚に分けずに1枚の輝度センサにして2つの光像を結像することで、左右画像を得る測距方法でも構わない。また他のステレオ法として、2つの光学系と2枚の撮像素子による一般的な2眼カメラによる測距方法でもよい。さらに、アクティブな測距方法として、被写体に対して赤外線や超音波を照射して、その往復時間を求めることで測距するTOF(Time of Flight)方式でも構わない。   In the present embodiment, the distance measuring method having the above-described configuration is shown. However, the distance measuring method for obtaining left and right images by forming two light images by using one luminance sensor without dividing the luminance sensor into two. It doesn't matter. As another stereo method, a distance measuring method using a general twin-lens camera using two optical systems and two image sensors may be used. Furthermore, as an active distance measuring method, a TOF (Time of Flight) method may be used in which distance measurement is performed by irradiating a subject with infrared rays or ultrasonic waves and obtaining a round-trip time thereof.

図2(c)は撮影画像および測距画像を示している。左図が撮影用撮像素子101で撮影された撮影画像205、右図が測距用撮影部103で取得された測距画像206である。撮影画像205では人物207と木208が撮影されている。測距画像206では距離毎に撮影対象が色づけされており、人物207は撮像装置に近い(近景)ため濃い色、木208は撮像装置に遠い(遠景)ため薄い色になる。すなわち測距画像206は、各画素の被写体までの距離を表す。   FIG. 2C shows a captured image and a distance measurement image. The left figure is a photographed image 205 photographed by the photographing image sensor 101, and the right figure is a distance measurement image 206 obtained by the distance measurement photographing unit 103. In the photographed image 205, a person 207 and a tree 208 are photographed. In the distance measurement image 206, the subject to be photographed is colored for each distance. The person 207 is close to the imaging device (near view), so the color is dark, and the tree 208 is far from the imaging device (distant view), so the color is light. That is, the distance measurement image 206 represents the distance to the subject of each pixel.

図3は、撮影用撮像素子101の構成を示した図である。   FIG. 3 is a diagram illustrating a configuration of the imaging element 101 for photographing.

画素300は2次元マトリクス状に複数配置されている。画素300は、R(赤)、G(緑)、B(青)の色成分の画素ドット(図省略)で構成されている。垂直蓄積時間回路302は垂直方向の複数の画素300の電荷蓄積時間を画素毎に変えるための回路である。垂直走査回路301は垂直蓄積時間回路302の出力信号に基づいて、複数の画素300を各行単位で選択するための垂直走査信号を出力する。   A plurality of pixels 300 are arranged in a two-dimensional matrix. The pixel 300 is composed of pixel dots (not shown) of R (red), G (green), and B (blue) color components. The vertical accumulation time circuit 302 is a circuit for changing the charge accumulation time of the plurality of pixels 300 in the vertical direction for each pixel. The vertical scanning circuit 301 outputs a vertical scanning signal for selecting a plurality of pixels 300 in units of rows based on the output signal of the vertical accumulation time circuit 302.

次にCDS回路303は画素300から読み出された画像信号に対して所定の相関二重サンプリング処理を行って、固定パターンノイズを抑圧するものである。水平蓄積時間回路305は水平方向の複数の画素300の電荷蓄積時間を画素毎に変えるための回路である。水平走査回路304は水平蓄積時間回路305の出力信号に基づいて、複数の画素300を各列単位で選択するための水平走査信号を出力する。   Next, the CDS circuit 303 performs a predetermined correlated double sampling process on the image signal read from the pixel 300 to suppress fixed pattern noise. The horizontal accumulation time circuit 305 is a circuit for changing the charge accumulation time of the plurality of pixels 300 in the horizontal direction for each pixel. The horizontal scanning circuit 304 outputs a horizontal scanning signal for selecting a plurality of pixels 300 in units of columns based on the output signal of the horizontal accumulation time circuit 305.

ここで垂直走査回路301、CDS回路303、水平走査回路304は従来と同じ機能を有するが、新たに付加された垂直蓄積時間回路302および水平蓄積時間回路305の働きによって画素毎の蓄積時間制御を可能にしている。蓄積時間制御は具体的には、次のことで行われる。すなわち、画素毎の蓄積時間信号に基づき、垂直蓄積時間回路302および水平蓄積時間回路305は蓄積時間の短い画素に対してはリセット電圧を減少させ、蓄積時間の長い画素に対してはリセット電圧を増大させる。画素毎の蓄積時間信号は、距離情報取得部104の距離情報に基づいて設定され、例えば撮影装置に近い距離の画素では蓄積時間を短くし、遠い距離では蓄積時間を長くする。その蓄積時間の情報は蓄積時間信号として蓄積時間制御部102を介して送信されてきたものである。   Here, the vertical scanning circuit 301, the CDS circuit 303, and the horizontal scanning circuit 304 have the same functions as the conventional one, but the accumulation time control for each pixel is performed by the functions of the newly added vertical accumulation time circuit 302 and horizontal accumulation time circuit 305. It is possible. Specifically, the accumulation time control is performed as follows. That is, based on the accumulation time signal for each pixel, the vertical accumulation time circuit 302 and the horizontal accumulation time circuit 305 decrease the reset voltage for pixels with a short accumulation time and set the reset voltage for pixels with a long accumulation time. Increase. The accumulation time signal for each pixel is set based on the distance information of the distance information acquisition unit 104. For example, the accumulation time is shortened for pixels at a distance close to the photographing apparatus, and the accumulation time is lengthened for a distant distance. The storage time information is transmitted as a storage time signal via the storage time control unit 102.

図4は蓄積時間制御部102の構成を示した図である。   FIG. 4 is a diagram showing a configuration of the accumulation time control unit 102.

領域指定部400は測距画像206を近景領域、中間領域、遠景領域の3つに領域指定するものである。指定方法は自動処理と手動処理の2通りがある。自動処理では、予め領域指定部400に用意されている境界距離Aと境界距離Bが用いられる。ここで、境界距離Bは境界距離Aよりも長い。撮像装置から境界距離Aまでを近景領域、境界距離Bから無限遠を遠景領域、その中間を中間領域として、測距画像206を3つの領域に区分する。   The area designation unit 400 designates the distance measurement image 206 as three areas: a foreground area, an intermediate area, and a distant view area. There are two specification methods: automatic processing and manual processing. In the automatic processing, the boundary distance A and the boundary distance B prepared in advance in the area specifying unit 400 are used. Here, the boundary distance B is longer than the boundary distance A. The range-finding image 206 is divided into three areas, with the distance from the imaging device to the boundary distance A as a foreground area, the infinite distance from the boundary distance B as a distance area, and the middle as an intermediate area.

手動処理では、露出設定IF110を用いて、ユーザーが境界距離Aと境界距離Bを任意に設定するものである。この方法については後に図6を参照して説明する。   In the manual process, the user arbitrarily sets the boundary distance A and the boundary distance B using the exposure setting IF 110. This method will be described later with reference to FIG.

そして領域指定部400は1つ1つの画素の距離情報を元にして、全ての画素についてどの領域に属するかを設定する。このようにして測距画像206を3つの領域に区分した領域画像が生成される。   Then, the area designating unit 400 sets which area belongs to all the pixels based on the distance information of each pixel. In this way, an area image obtained by dividing the distance measurement image 206 into three areas is generated.

蓄積時間指定部401は垂直蓄積時間回路302および水平蓄積時間回路305へ画素毎の蓄積時間の指示を行うものである。指定方法は自動処理と手動処理の2通りがある。自動処理では、領域指定部400が持つ境界距離A、境界距離Bで決めた近景領域、中間領域、遠景領域に対してそれぞれ所定の蓄積時間が予め用意されているので、それらを用いる。近景領域での蓄積時間は通常撮影に比べ長めに、遠景領域での蓄積時間は通常撮影に比べ短めに、中間領域での蓄積時間は通常撮影と同じ蓄積時間としている。   The accumulation time designation unit 401 instructs the accumulation time for each pixel to the vertical accumulation time circuit 302 and the horizontal accumulation time circuit 305. There are two specification methods: automatic processing and manual processing. In the automatic processing, predetermined accumulation times are prepared in advance for the foreground area, the intermediate area, and the distant area determined by the boundary distance A and the boundary distance B of the area specifying unit 400, and these are used. The accumulation time in the foreground area is longer than that in normal shooting, the accumulation time in the far view area is shorter than in normal shooting, and the accumulation time in the intermediate area is the same as that in normal shooting.

手動処理では、露出設定IF110を用いて、ユーザーが各領域に対して蓄積時間(露出補正)を任意に設定するものである。この方法については後に図6を参照して説明する。   In the manual processing, the user arbitrarily sets an accumulation time (exposure correction) for each region using the exposure setting IF 110. This method will be described later with reference to FIG.

本実施形態では3つの領域に区分したが、近景領域と遠景領域の2つによる区分でも構わない。その場合、領域指定部400に用意されている距離は境界距離Aのみとなり、撮像装置から境界距離Aまでを近景領域、境界距離Aから無限遠を遠景領域として、領域を指定する。領域を2つのみにした方が計算量を抑えられるため、制御部107および蓄積時間制御部102の計算能力の低い撮像装置の場合に適している。   In the present embodiment, the area is divided into three areas, but it may be divided into two areas, a foreground area and a distant area. In this case, the distance prepared in the area designating unit 400 is only the boundary distance A, and the area is designated by setting the distance from the imaging device to the boundary distance A as the foreground area and the distance from the boundary distance A to the far area. Since the amount of calculation can be reduced by using only two regions, it is suitable for an imaging apparatus having a low calculation capability of the control unit 107 and the storage time control unit 102.

図5はISO感度設定IF109を示した図である。   FIG. 5 is a diagram showing the ISO sensitivity setting IF 109.

ISO感度設定IF109は通常の撮像装置に備えられているISO感度設定IFに「距離」モードを付加したものである。ユーザーが「距離」モードを選択した場合、測距画像206を用いて距離情報による蓄積時間の変更が行われる。ISO感度設定IF109を「距離」モードに選択して、それ以外の領域指定や蓄積時間指定の操作をしない場合、領域指定および蓄積時間指定は自動処理によって行われる。手動を選択する場合、次図で説明する方法で設定する。   The ISO sensitivity setting IF 109 is obtained by adding a “distance” mode to an ISO sensitivity setting IF provided in a normal imaging apparatus. When the user selects the “distance” mode, the accumulation time is changed by the distance information using the distance measurement image 206. When the ISO sensitivity setting IF 109 is selected in the “distance” mode and no other area designation or accumulation time designation operation is performed, the area designation and accumulation time designation are performed by automatic processing. When selecting manual, it is set by the method described in the next figure.

図6は露出設定IF110を示した図である。   FIG. 6 is a view showing the exposure setting IF 110.

図6(a)は表示部108に表示された最初のメニュー画面601である。ここでカーソル602をD(Depth)メニューに移動させ、選択すると、露出設定IF110に切り替わる。   FIG. 6A shows an initial menu screen 601 displayed on the display unit 108. When the cursor 602 is moved to the D (Depth) menu and selected, the exposure setting IF 110 is switched.

図6(b)に露出設定IF110を示す。露出設定IF110では距離指定および蓄積時間指定(露出指定)を行うことができる。ただし名称として、「蓄積時間指定」はユーザーにとってなじみが薄いため、露出設定IF110の表示上では「露出指定」として、露出設定後、内部処理で蓄積時間設定に変更している。本図では以後、露出指定として説明するが、蓄積時間指定と同義語である。   FIG. 6B shows the exposure setting IF 110. In the exposure setting IF 110, distance designation and accumulation time designation (exposure designation) can be performed. However, since “accumulation time designation” is not familiar to the user as a name, “exposure designation” on the display of the exposure setting IF 110 is changed to the accumulation time setting by internal processing after exposure setting. In the figure, the description will be given below as exposure designation, which is synonymous with accumulation time designation.

距離指定は露出設定IF110の上から二番目にあるアイコン、露出指定は三番目にあるアイコンを選択する。図6(b)では距離指定アイコンにカーソル602を移動させ、選択して距離指定を行う。距離指定を選択すると、表示画面に近景距離バー603と遠景距離バー604が表れる。これらのバー603、604によって近景領域、遠景領域を0mから12mの間で指定することが出来る。指定するには2つのポインター605を移動させる。本図では2mと8mにポインター605が配置されているので、近景は0mから2m、遠景は8mから無限遠、その間を中間領域と指定していることになる。   The distance designation selects the second icon from the top of the exposure setting IF 110, and the exposure designation selects the third icon. In FIG. 6B, the cursor 602 is moved to the distance designation icon and selected to designate the distance. When the distance designation is selected, a near view distance bar 603 and a distant view distance bar 604 appear on the display screen. By using these bars 603 and 604, it is possible to designate a near view area and a distant view area between 0 m and 12 m. To specify, two pointers 605 are moved. In this figure, since pointers 605 are arranged at 2 m and 8 m, the near view is designated as 0m to 2m, the far view is designated as 8m to infinity, and the intermediate region is designated between them.

図6(c)では、露出設定IF110で露出指定アイコンにカーソル602を移動させ、選択して露出指定を行う。露出指定を選択すると、表示画面に近景露出バー606と遠景露出バー607が表れる。どちらとも−2から+2まで指定する事が出来、指定するにはポインター605を移動させる。本図では近景露出バー606で+2、遠景露出バー607で−1にポインター605が配置されて露出を指定している。指定された露出に基づいて、蓄積時間制御部102は蓄積時間を変更する。   In FIG. 6C, the cursor 602 is moved to the exposure designation icon in the exposure setting IF 110 and is selected for exposure designation. When exposure designation is selected, a foreground exposure bar 606 and a distant view exposure bar 607 appear on the display screen. Both can be specified from -2 to +2, and the pointer 605 is moved to specify. In this figure, a pointer 605 is arranged at +2 in the foreground exposure bar 606 and -1 at the far view exposure bar 607 to designate exposure. Based on the designated exposure, the accumulation time control unit 102 changes the accumulation time.

図7は距離情報に基づいて蓄積時間の変更を行う制御部107のフローチャートである。   FIG. 7 is a flowchart of the control unit 107 that changes the accumulation time based on the distance information.

ステップS700で、「距離」モードがオンとなる信号をISO感度設定IF109から検出する。これはユーザーからみるとISO感度設定IF109を操作し、「距離」モードを選択する場合である。   In step S700, a signal for turning on the “distance” mode is detected from the ISO sensitivity setting IF 109. This is a case where the user operates the ISO sensitivity setting IF 109 to select the “distance” mode.

ステップS701で半押し状態であるか否かを検出し、半押しを検出した場合、ステップS702に移る。   In step S701, it is detected whether or not half-pressed, and if half-press is detected, the process proceeds to step S702.

ステップS702で測距用撮像部103に撮影命令信号を送信する。そこで測距用撮像部103の左輝度センサ202と右輝度センサ203は2枚の輝度画像(白黒画像)を撮影する。撮影後、2枚の輝度画像(白黒画像)を距離情報取得部104に送信するよう測距用撮像部103へ指示する。   In step S702, a shooting command signal is transmitted to the ranging image pickup unit 103. Therefore, the left luminance sensor 202 and the right luminance sensor 203 of the ranging image pickup unit 103 take two luminance images (monochrome images). After shooting, the distance measurement imaging unit 103 is instructed to transmit two luminance images (monochrome images) to the distance information acquisition unit 104.

ステップS703で距離情報取得部104に画素毎の距離情報を取得する命令信号を送信する。距離情報取得部104は所定のステレオ法による測距方法を用いて画素毎の距離情報を取得し、測距画像206(図2参照)を作成する。そして測距画像206は制御部107を介して画像メモリ106に一時的に保管される。この後、撮影用撮像素子101で撮影をして撮影画像205が記録媒体111に記録される場合、同時に測距画像206も記録される。半押ししたのみで、撮影用撮像素子101で撮影を行わなかった場合、画像メモリ106に一時的に保管された測距画像206は削除される。   In step S703, a command signal for acquiring distance information for each pixel is transmitted to the distance information acquisition unit 104. The distance information acquisition unit 104 acquires distance information for each pixel using a predetermined distance measurement method using a stereo method, and creates a distance measurement image 206 (see FIG. 2). The ranging image 206 is temporarily stored in the image memory 106 via the control unit 107. Thereafter, when the captured image 205 is recorded on the recording medium 111 by capturing with the image sensor 101, the ranging image 206 is also recorded at the same time. If the image pickup device 101 for shooting has not been shot only by half-pressing, the distance measurement image 206 temporarily stored in the image memory 106 is deleted.

ステップS704で距離領域指定および蓄積時間指定で手動設定がされているか否かの検出を行う。本撮影(本フロー)を行う前に予め露出設定IF110により手動設定が行われていなければ、蓄積時間制御部102の領域指定部400および蓄積時間指定部401が有する値を用いるため、制御部107からは特に指示信号を出さずステップS706に移る。   In step S704, it is detected whether or not manual setting is performed by specifying the distance area and the storage time. If manual setting has not been performed in advance by the exposure setting IF 110 before performing the main photographing (main flow), the values included in the area designation unit 400 and the accumulation time designation unit 401 of the accumulation time control unit 102 are used. Since no instruction signal is issued, the process proceeds to step S706.

本撮影(本フロー)を行う前に手動設定が既に行われていれば、ステップS705にて露出設定IF110で設定された距離指定と露出指定の値を取得し、蓄積時間制御部102に送信する。蓄積時間制御部102の領域指定部400は受信した距離指定にしたがい、近景領域、遠景領域、中間領域の距離範囲を設定する。蓄積時間指定部401は受信した露出指定に基づいて蓄積時間を求め、近景領域、遠景領域の蓄積時間を設定する。中間領域の蓄積時間は求めた近景領域、遠景領域の蓄積時間から最適な値を決めて設定する。例えば中間領域の蓄積時間は近景領域と遠景領域の蓄積時間の和の半値をとる方法などが考えられる。   If manual setting has already been performed before performing the main photographing (main flow), the distance designation and exposure designation values set in the exposure setting IF 110 are acquired in step S705 and transmitted to the accumulation time control unit 102. . The area designation unit 400 of the accumulation time control unit 102 sets the distance range of the foreground area, the far view area, and the intermediate area according to the received distance designation. The accumulation time designation unit 401 obtains the accumulation time based on the received exposure designation, and sets the accumulation time for the foreground area and the foreground area. The intermediate area accumulation time is set by determining an optimum value from the obtained accumulation time of the foreground area and the far scene area. For example, a method may be considered in which the accumulation time of the intermediate area is half the sum of the accumulation times of the foreground area and the distant area.

ステップS706で蓄積時間制御部102に領域画像を算出する命令信号を送信する。蓄積時間制御部102は画像メモリ106から測距画像206を取得し、測距画像206を近景領域、遠景領域、中間領域に区分して領域画像を作成する。   In step S706, a command signal for calculating a region image is transmitted to the accumulation time control unit 102. The accumulation time control unit 102 acquires a distance measurement image 206 from the image memory 106 and divides the distance measurement image 206 into a foreground area, a far background area, and an intermediate area to create an area image.

ステップS707で蓄積時間制御部102に領域情報および各領域の蓄積時間を撮影用撮像素子101に送信させる。撮影用撮像素子101の垂直蓄積時間回路302と水平蓄積時間回路305は蓄積時間を受信し、画素毎に蓄積時間を設定する。   In step S707, the accumulation time control unit 102 is caused to transmit the area information and the accumulation time of each area to the imaging element 101 for photographing. The vertical accumulation time circuit 302 and the horizontal accumulation time circuit 305 of the image pickup device 101 for photographing receive the accumulation time and set the accumulation time for each pixel.

ステップS708で本押し状態であるか否かを検出し、本押しを検出した場合、ステップS709に移る。   In step S708, it is detected whether or not the main push is in the state. If the main push is detected, the process proceeds to step S709.

ステップS709で撮影用撮像素子101によって画素毎に蓄積時間を変えた撮影を行う。   In step S709, shooting is performed with the storage time changed for each pixel by the imaging element 101 for shooting.

以上のステップにより、画素毎に蓄積時間を変更した撮影画像205を撮ることが可能となる。   Through the above steps, it is possible to take a captured image 205 in which the accumulation time is changed for each pixel.

本実施形態によれば、面倒な操作をしなくとも、近景の撮影対象の露出時間と遠景の撮影対象の露出時間を個別に設定することができるので、逆光等による被写体の黒飛びや背景の白飛びを防ぐことが可能となる。また被写体の抽出等計算量が多いアルゴリズムを必要としないため、リアルタイム性に優れ、半押し、本押しの通常の撮影動作のまま本実施形態の撮影を行うことができる。また、画素毎に蓄積時間を変える撮像素子や、単眼による測距方法を採用するため、撮像装置が特殊な形状にならず、通常の撮像装置(レンズ交換型デジタルカメラ、小型デジタルカメラ)に応用しやすいものである。
(第2の実施形態)
第2の実施形態は、撮像装置の内部構成に人物認識部を有する(図省略)。人物認識部は撮影画像205と測距画像206に対して人物認識を行うことができる。ただし本実施形態で利用するのは測距画像206の人物認識のみである。人物認識の方法の一例として、画像を2値化処理し(測距画像206は白黒画像のため2値化処理は省かれる)、得られた画像と予め人物認識部に用意されている顔パターンとのマッチングにより人物認識を行う方法がある。人物認識方法はその他、AdaBoost法などさまざまあり、本実施形態ではいずれの方法でも構わない。
According to the present embodiment, the exposure time of the subject in the foreground and the exposure time of the subject in the distant view can be individually set without performing a troublesome operation. It becomes possible to prevent whiteout. In addition, since an algorithm with a large amount of calculation such as subject extraction is not required, the real-time performance is excellent, and the shooting according to the present embodiment can be performed with the normal shooting operation of half-press and full-press. In addition, because it uses an image sensor that changes the accumulation time for each pixel and a distance measurement method using a single eye, the image pickup device does not have a special shape, and can be applied to ordinary image pickup devices (lens interchangeable digital cameras, small digital cameras). It is easy to do.
(Second Embodiment)
The second embodiment has a person recognition unit in the internal configuration of the imaging apparatus (not shown). The person recognition unit can perform person recognition on the captured image 205 and the distance measurement image 206. However, only the person recognition of the distance measurement image 206 is used in the present embodiment. As an example of the person recognition method, the image is binarized (the distance measurement image 206 is a black and white image, so the binarization process is omitted), and the obtained image and a face pattern prepared in advance in the person recognition unit There is a method of performing person recognition by matching with. There are various other person recognition methods such as the AdaBoost method, and any method may be used in this embodiment.

図8は人物認識を行い、距離情報に基づいて蓄積時間の変更を行う場合の制御部107のフローチャートである。実施形態1と異なる点について説明する。   FIG. 8 is a flowchart of the control unit 107 when performing person recognition and changing the accumulation time based on distance information. Differences from the first embodiment will be described.

ステップS801からステップS803までは実施形態1と同様である。   Steps S801 to S803 are the same as those in the first embodiment.

ステップS804で人物認識部に測距画像206に対し人物認識する命令信号を送信する。人物認識部は画像メモリ106から測距画像206を取得し、人物認識を行う。すなわち、測距画像内に人物が存在するか否かを判断する。   In step S804, a command signal for recognizing the person with respect to the distance measurement image 206 is transmitted to the person recognition unit. The person recognition unit acquires the distance measurement image 206 from the image memory 106 and performs person recognition. That is, it is determined whether or not a person exists in the distance measurement image.

ステップS805で人物がいるか否かの判定を行う。人物がいない場合、ステップS807で距離領域指定および蓄積時間指定において手動設定があるか否かの検出を行う。このステップは実施形態1と同様のため説明を省く。   In step S805, it is determined whether there is a person. If there is no person, it is detected in step S807 whether there is a manual setting in the distance area designation and the accumulation time designation. Since this step is the same as that of the first embodiment, a description thereof will be omitted.

人物がいる場合、ステップS806で人物認識部が測距画像206のどの画素に人物がいるかを距離情報取得部104に送信する。   If there is a person, the person recognition unit transmits to the distance information acquisition unit 104 which pixel of the distance measurement image 206 is present in step S806.

ステップS809で、距離情報取得部104はその画素における距離情報を人物までの距離として蓄積時間制御部102に送信する。蓄積時間制御部102が人物までの距離を受信した場合、撮像装置(0m)から人物までの距離を近景領域とする。遠景領域の設定は自動処理と同様とする。   In step S809, the distance information acquisition unit 104 transmits the distance information on the pixel to the accumulation time control unit 102 as the distance to the person. When the accumulation time control unit 102 receives the distance to the person, the distance from the imaging device (0 m) to the person is set as the foreground area. The setting of the distant view area is the same as the automatic processing.

以後のステップは実施形態1と同様のため説明を省く。   Subsequent steps are the same as those in the first embodiment, and thus description thereof is omitted.

本実施形態によれば、自動処理で人物までを近景領域に設定するので、実施形態1に比べより正確に被写体の黒飛びを防ぐことが可能となる。
(第3の実施形態)
夜景を背景にして人物を撮影する場合、通常、フラッシュを点灯させ、人物にフラッシュからの光が照射されるようにする。このような場合、遠景領域の電荷蓄積時間を近景領域の電荷蓄積時間よりも長くすることにより、フラッシュが照射されない背景を明るく撮影することができる。
According to the present embodiment, since up to a person is set as a foreground area by automatic processing, it becomes possible to prevent the subject from being over-exposed more accurately than in the first embodiment.
(Third embodiment)
When a person is photographed against a night scene, the flash is usually turned on so that the person is irradiated with light from the flash. In such a case, by setting the charge accumulation time in the distant view area longer than the charge accumulation time in the distant view area, it is possible to take a bright image of the background that is not irradiated with the flash.

本発明の実施形態1の内部構成図である。It is an internal block diagram of Embodiment 1 of this invention. 本発明の実施形態による測距用撮像部の構成、測距の概念および測距画像を示した図である。It is the figure which showed the structure of the imaging part for ranging by the embodiment of this invention, the concept of ranging, and a ranging image. 本発明の実施形態による撮影用撮像素子の構成を示した図である。It is the figure which showed the structure of the imaging device for imaging | photography by embodiment of this invention. 本発明の実施形態による蓄積時間制御部の構成および領域指定方法を示した図である。It is the figure which showed the structure and area | region designation | designated method of the accumulation | storage time control part by embodiment of this invention. 本発明の実施形態によるISO感度設定IFを示した図である。It is the figure which showed ISO sensitivity setting IF by the execution form of this invention. 本発明の実施形態による露出設定IFを示した図である。It is the figure which showed exposure setting IF by embodiment of this invention. 本発明の実施形態による実施形態1のフローチャートである。3 is a flowchart of Embodiment 1 according to an embodiment of the present invention. 本発明の実施形態による実施形態2のフローチャートである。6 is a flowchart of Embodiment 2 according to an embodiment of the present invention.

符号の説明Explanation of symbols

100 撮影光学系
101 撮影用撮像素子
102 蓄積時間制御部
103 測距用撮像部
104 距離情報取得部
105 画像処理部
106 画像メモリ
107 制御部
108 表示部
109 ISO感度設定IF
110 露出設定IF
111 記録媒体
DESCRIPTION OF SYMBOLS 100 Image pick-up optical system 101 Image sensor for imaging 102 Storage time control part 103 Image pick-up part for distance measurement 104 Distance information acquisition part 105 Image processing part 106 Image memory 107 Control part 108 Display part 109 ISO sensitivity setting IF
110 Exposure setting IF
111 recording media

Claims (5)

撮影対象を撮像する撮像素子、
前記撮像素子の各画素の撮影対象までの距離情報の取得する手段と、
前記撮像の前に距離情報を取得する距離情報取得部と、
を備え、
前記撮像素子は、外光を受光して光電変換する受光面を有し、その光電変換による電荷の蓄積時間を画素単位で制御をすることが可能であり、
前記距離情報に基づき前記撮像素子の電荷の蓄積時間を画素単位で制御をする蓄積時間制御部を更に有することを特徴とする撮像装置。
An image sensor for imaging a subject,
Means for acquiring distance information to the imaging target of each pixel of the image sensor;
A distance information acquisition unit that acquires distance information before the imaging;
With
The image sensor has a light receiving surface that receives external light and performs photoelectric conversion, and can control charge accumulation time by the photoelectric conversion in units of pixels.
An imaging apparatus, further comprising: an accumulation time control unit that controls a charge accumulation time of the image sensor in units of pixels based on the distance information.
前記蓄積時間制御部は、
ユーザーが設定した境界距離又は所定の境界距離までの領域を近景領域とし、前記境界距離よりも遠い領域の少なくとも一部を遠景領域として、画素単位での電荷の蓄積時間の制御をすることを特徴とする請求項1に記載の撮像装置。
The accumulation time control unit
A region set up by a user or a region up to a predetermined boundary distance is set as a foreground region, and at least a part of the region far from the boundary distance is set as a background region, and charge accumulation time is controlled in units of pixels. The imaging apparatus according to claim 1.
前記撮像素子が得た画像内に人物が存在するか否かを認識する人物認識部を更に有し、
人物が存在した場合、人物までの距離を前記境界距離とすることを特徴とする請求項2に記載の撮像装置。
A person recognition unit for recognizing whether a person is present in the image obtained by the image sensor;
The imaging apparatus according to claim 2, wherein when a person exists, a distance to the person is set as the boundary distance.
前記蓄積時間制御部は、近景領域の電荷蓄積時間を遠景領域の電荷蓄積時間よりも長くすることを特徴とする請求項2に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the accumulation time control unit makes the charge accumulation time in the foreground area longer than the charge accumulation time in the distant area. 前記蓄積時間制御部は、遠景領域の電荷蓄積時間を近景領域の電荷蓄積時間よりも長くすることを特徴とする請求項2に記載の撮像装置。   The imaging apparatus according to claim 2, wherein the accumulation time control unit makes the charge accumulation time in the distant view area longer than the charge accumulation time in the near view area.
JP2008302509A 2008-11-27 2008-11-27 Imaging device Expired - Fee Related JP5183441B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008302509A JP5183441B2 (en) 2008-11-27 2008-11-27 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008302509A JP5183441B2 (en) 2008-11-27 2008-11-27 Imaging device

Publications (2)

Publication Number Publication Date
JP2010130314A true JP2010130314A (en) 2010-06-10
JP5183441B2 JP5183441B2 (en) 2013-04-17

Family

ID=42330378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008302509A Expired - Fee Related JP5183441B2 (en) 2008-11-27 2008-11-27 Imaging device

Country Status (1)

Country Link
JP (1) JP5183441B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235194A (en) * 2011-04-28 2012-11-29 Canon Inc Imaging device, control method therefor, and program
JP2013054135A (en) * 2011-09-01 2013-03-21 Canon Inc Imaging device and control method thereof
KR20170131377A (en) * 2015-03-27 2017-11-29 인텔 코포레이션 Techniques for controlling user access to image sensors in camera devices
JPWO2017090437A1 (en) * 2015-11-24 2018-09-13 ソニーセミコンダクタソリューションズ株式会社 Camera module and electronic equipment

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008147894A (en) * 2006-12-08 2008-06-26 Fujifilm Corp Photographing device, method, and program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008147894A (en) * 2006-12-08 2008-06-26 Fujifilm Corp Photographing device, method, and program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012235194A (en) * 2011-04-28 2012-11-29 Canon Inc Imaging device, control method therefor, and program
JP2013054135A (en) * 2011-09-01 2013-03-21 Canon Inc Imaging device and control method thereof
KR20170131377A (en) * 2015-03-27 2017-11-29 인텔 코포레이션 Techniques for controlling user access to image sensors in camera devices
JP2018515945A (en) * 2015-03-27 2018-06-14 インテル・コーポレーション Technology for controlling user access to image sensors in camera devices
KR102583624B1 (en) * 2015-03-27 2023-09-26 인텔 코포레이션 Techniques for controlling user access to the image sensor of a camera device
JPWO2017090437A1 (en) * 2015-11-24 2018-09-13 ソニーセミコンダクタソリューションズ株式会社 Camera module and electronic equipment

Also Published As

Publication number Publication date
JP5183441B2 (en) 2013-04-17

Similar Documents

Publication Publication Date Title
CN107948519B (en) Image processing method, device and equipment
KR102293443B1 (en) Image processing method and mobile terminal using dual camera
US10264174B2 (en) Photographing apparatus and focus detection method using the same
US9191578B2 (en) Enhanced image processing with lens motion
KR20200031689A (en) Image processing methods, devices and devices
US20070247542A1 (en) Camera
KR20160015737A (en) Image photographig apparatus and method for photographing image
JP6518452B2 (en) Imaging apparatus and imaging method
CN108024058B (en) Image blurs processing method, device, mobile terminal and storage medium
CN107872631B (en) Image shooting method and device based on double cameras and mobile terminal
KR20170067634A (en) Image capturing apparatus and method for controlling a focus detection
JP5868061B2 (en) Imaging device
WO2013171840A1 (en) Imaging apparatus, and imaging apparatus control method
US20190243533A1 (en) Display controller, control method thereof, and non-transitory computer readable medium
JP5183441B2 (en) Imaging device
JP2010114577A (en) Imaging apparatus, image processor, control method and image processing method of imaging apparatus
JP5354879B2 (en) camera
JP4871664B2 (en) IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP2009272799A (en) Imaging device and program
JP6351255B2 (en) Imaging apparatus, imaging method, program, and storage medium
JP2002044495A (en) Electronic camera
JP2008283477A (en) Image processor, and image processing method
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
JP4143395B2 (en) Imaging apparatus, autofocus method, program, and storage medium
JP2005064749A (en) Camera

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees