JP6728010B2 - Imaging device and method for controlling imaging device - Google Patents
Imaging device and method for controlling imaging device Download PDFInfo
- Publication number
- JP6728010B2 JP6728010B2 JP2016187382A JP2016187382A JP6728010B2 JP 6728010 B2 JP6728010 B2 JP 6728010B2 JP 2016187382 A JP2016187382 A JP 2016187382A JP 2016187382 A JP2016187382 A JP 2016187382A JP 6728010 B2 JP6728010 B2 JP 6728010B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- display
- exposure time
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮像装置及び撮像装置の制御方法に関する。 The present invention relates to an imaging device and a method for controlling the imaging device.
多くのデジタルカメラ等の撮像装置では、被写体をフレーミングするための電子ビューファインダーとして、液晶表示装置等の表示デバイスに撮像素子で撮像した画像信号から生成した表示用画像を順次ライブビュー表示する。ライブビュー表示では、撮像素子で撮像した画像信号の読み出し、読み出した画像信号から表示用画像の生成等、複数の画像処理をメモリを介して行う必要があるため、リアルタイムに表示することはできず数フレーム程度遅延して表示される。そこで、撮像素子から読み出された画像信号のメモリへの書き込みに重ねて、画像の表示を行うためのメモリからの画像の読み出しを行うことで、ほぼリアルタイムにライブビュー表示できるものが知られている。これは、撮像素子と表示デバイスを非同期で動作させるのではなく、所定の位相差で同期して動作させることで実現することができる。また、撮像素子の露光時間に応じて撮像フレームレートを落とすことにより、低輝度環境においても適正な露出のライブビュー表示を可能としたデジタルカメラが存在する。 In many image pickup devices such as digital cameras, a display image generated from an image signal picked up by an image pickup element is sequentially displayed in live view on a display device such as a liquid crystal display device as an electronic viewfinder for framing an object. Live view display cannot be displayed in real time because multiple image processes such as reading the image signal captured by the image sensor and generating a display image from the read image signal must be performed through the memory. It is displayed with a delay of several frames. Therefore, it is known that live view display can be performed in almost real time by reading an image from the memory for displaying the image in addition to writing the image signal read from the image sensor to the memory. There is. This can be achieved by operating the image sensor and the display device asynchronously, rather than operating them asynchronously. Further, there is a digital camera capable of performing live view display with proper exposure even in a low-luminance environment by reducing the image capture frame rate according to the exposure time of the image sensor.
このように撮像フレームレートを可変とした場合においても、ほぼリアルタイムにライブビュー表示を可能とした撮像装置が開示されている(特許文献1参照)。特許文献1で開示されている撮像装置は、撮像フレームレートに応じて表示フレームレートを設定し、それらに応じて撮像素子と表示デバイスの動作タイミングが所定の位相差となるよう調整している。
There is disclosed an image pickup apparatus capable of performing live view display almost in real time even when the image pickup frame rate is variable (see Patent Document 1). The image pickup apparatus disclosed in
しかし、上述した撮像装置では、AF処理のように複数フレームにわたって、撮像した画像データから生成される評価値を用いた処理に関しては考慮されていない。処理に用いられる評価値が撮像した画像データから生成される場合、撮像フレームレートに応じて評価値が生成される間隔が決まるため、複数フレームにわたって評価値を用いる処理の処理時間は、撮像フレームレートの低下に伴い長くなる。つまり、低輝度環境において適正な露出のライブビュー表示するために、露光時間に合わせて撮像フレームレートを落とした場合には、撮像フレームレートの低下に伴って評価値が生成される間隔が延び、評価値を用いる処理の処理時間も長くなる。しかし、表示遅延を考慮して、撮像素子と表示デバイスの動作タイミングを所定の位相差に調整する場合、表示デバイスとの同期も考慮する必要があり、露光時間に合わせて露光時間が収まる最速の撮像フレームレートには設定できない。そのため、適正露出のライブビュー表示をするための露光時間から決まる撮像フレームレートよりフレームレートが遅くなり、複数フレームにわたって評価値を用いる処理の処理時間は、露光時間分より余計に長くなるという課題がある。 However, the above-described image pickup apparatus does not take into consideration processing such as AF processing that uses an evaluation value generated from imaged image data over a plurality of frames. When the evaluation value used for the processing is generated from the captured image data, the interval for generating the evaluation value is determined according to the imaging frame rate. Therefore, the processing time of the processing using the evaluation value over a plurality of frames is the imaging frame rate. It becomes longer with the decrease of. In other words, in order to perform live view display with proper exposure in a low-luminance environment, when the imaging frame rate is reduced in time with the exposure time, the interval at which the evaluation value is generated increases as the imaging frame rate decreases, The processing time of the processing using the evaluation value also becomes long. However, when adjusting the operation timing of the image sensor and the display device to a predetermined phase difference in consideration of the display delay, it is necessary to consider the synchronization with the display device as well, and the fastest exposure time that fits the exposure time can be set. It cannot be set to the imaging frame rate. Therefore, there is a problem that the frame rate becomes slower than the imaging frame rate determined by the exposure time for performing live view display of proper exposure, and the processing time of the process of using the evaluation value over a plurality of frames becomes longer than the exposure time. is there.
本発明の目的は、ライブビュー表示の遅延を抑えつつ、低輝度環境においても適正な露出時間のライブビュー表示を行うことができる撮像装置及び撮像装置の制御方法を提供することである。 An object of the present invention is to provide an imaging device and a method for controlling the imaging device that can perform live view display with an appropriate exposure time even in a low-luminance environment while suppressing a delay in live view display.
本発明の撮像装置は、露光時間に応じて各フレームの画像を撮像し、前記撮像された各フレームの画像を1垂直走査期間に1フレームずつ出力する撮像部と、前記撮像部により出力された画像を基に、前記撮像部の露光時間を決定する露光時間決定部と、前記露光時間決定部により決定された露光時間が1垂直走査期間の基準値より長い場合には、前記撮像部により出力された画像から所定の評価値を取得する第1の状態であれば、前記撮像部の1垂直走査期間が前記露光時間以上になるように、前記1垂直走査期間の基準値より短い期間の単位で、前記撮像部の1垂直走査期間を設定し、前記撮像部により出力された画像から所定の評価値を取得しない第2の状態であれば、前記撮像部の1垂直走査期間が前記露光時間以上になるように、前記撮像部の1垂直走査期間を前記1垂直走査期間の基準値の整数倍に設定する期間設定部とを有する。 The image pickup apparatus of the present invention picks up an image of each frame according to an exposure time, and outputs the picked-up image of each frame one frame at a time in one vertical scanning period, and the image pickup unit outputs the image. An exposure time determination unit that determines the exposure time of the imaging unit based on the image, and if the exposure time determined by the exposure time determination unit is longer than a reference value of one vertical scanning period, output by the imaging unit In the first state in which a predetermined evaluation value is acquired from the captured image, a unit of a period shorter than the reference value of the one vertical scanning period so that one vertical scanning period of the imaging unit is equal to or longer than the exposure time. In the second state in which one vertical scanning period of the image capturing unit is set and a predetermined evaluation value is not acquired from the image output by the image capturing unit, one vertical scanning period of the image capturing unit is the exposure time. As described above, the image pickup unit includes a period setting unit that sets one vertical scanning period to an integral multiple of a reference value of the one vertical scanning period.
本発明によれば、ライブビュー表示の遅延を抑えつつ、低輝度環境においても適正な露出時間のライブビュー表示を行うことができる。 According to the present invention, it is possible to perform live view display with an appropriate exposure time even in a low-luminance environment while suppressing a delay in live view display.
図1は、本発明の実施形態による撮像装置10を示す外観図である。コネクタ112は、接続ケーブルと撮像装置10とを接続する。記録媒体20は、メモリカード又はハードディスク等である。記録媒体スロット201は、記録媒体20を格納するためのスロットである。記録媒体スロット201に格納された記録媒体20は、撮像装置10との通信が可能となる。蓋203は、記録媒体スロット201の蓋である。撮像装置10には、表示部13及び操作部14が設けられる。撮像装置10は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
FIG. 1 is an external view showing an
図2は、撮像装置10の構成例を示すブロック図である。撮像装置10は、CPU(中央演算装置)11、ROM12、表示部13、操作部14、DRAM15、記録媒体インタフェース16、撮像部17、画像処理回路18、画像圧縮伸長回路19及び内部バス30を有する。
FIG. 2 is a block diagram showing a configuration example of the
CPU11は、後述する各処理部やデータフロー等を制御する。ROM12は、CPU11の処理手順に係るプログラム(ファームウェア)及び各種情報を格納する。表示部13は、カラー液晶表示器等であり、画像を表示し、グラフィックユーザインタフェースを表示する。表示部13は、テレビ等の外部表示装置に映像信号を出力する端子も備えている。操作部14は、ユーザからの指示を受け付けるレリーズボタン(SW1/SW2)及び電源ボタン等の各種ボタンや十字キー、コントロールホイール及びモードダイヤル等を有する。レリーズボタンを半押し状態にするとスイッチSW1がオンになり、レリーズボタンを全押し状態にするとスイッチSW2がオンになる。
The
DRAM15は、CPU11のワークエリアとして使用され、画像データや表示用データ、画像圧縮後のデータ等を一時記憶するバッファ機能を有する。なお、CPU11は、メモリコントローラを介して、DRAM15に対してデータの書き込みや読み出しを行う。また、撮像装置10には、各処理部とDRAM15間で、DMA(ダイレクトメモリアクセス)転送を行うためのDMAコントローラを設けてもよい。
The
記録媒体インタフェース16は、CPU11からの指示に従い、記録媒体20に対して画像データの書き込み及び読み出しを行う。記録媒体20は、メモリカード、光ディスク又はハードディスク等のランダムアクセス可能な記録媒体であり、撮像装置10に着脱自在である。CPU11、DRAM15及び記録媒体インタフェース16は、記録媒体20に撮影画像である静止画及び動画を記録する記録手段として機能する。
The
撮像部17は、レンズ、絞り、シャッタ、及びCCDセンサ又はCMOSセンサ等の撮像素子を有し、光電変換により静止画又は動画の画像データを生成する。画像処理回路18は、撮像部17により生成された画像データに対して、ホワイトバランス調整、画素補間等の処理を行い、YUVデータに変換し、任意のサイズにリサイズする。また、画像処理回路18は、表示部13に表示するための表示用画像データや画像圧縮伸長回路19で圧縮するための圧縮用画像データを生成する。また、画像処理回路18は、撮像部17により生成された画像データに基づき、AE処理のための被写体の輝度情報や、AF処理のための被写体の輝度信号の高域周波数成分に基づく評価値を生成する。AE処理は自動露出調節処理であり、AF処理は自動焦点調節処理である。
The image pickup unit 17 has a lens, a diaphragm, a shutter, and an image pickup element such as a CCD sensor or a CMOS sensor, and generates image data of a still image or a moving image by photoelectric conversion. The
画像圧縮伸長回路19は、YUVデータをJPEG又はH.264形式の画像データに圧縮し、JPEG又はH.264形式の圧縮された画像データをYUVデータに伸長する。CPU11、ROM12、表示部13、操作部14、DRAM15、記録媒体インタフェース16、撮像部17、画像処理回路18及び画像圧縮伸長回路19は、内部バス30を介して通信する。
The image compression/
本実施形態では、撮像装置10は、撮像部17による1フレーム分の画像の出力と、画像処理回路18によるYUVデータ変換及び表示用画像データ生成を並行して処理する。撮像装置10は、撮像部17が画像の出力を開始してから出力を完了する前までに、表示部13が表示用画像データの読み出しを開始することで、ライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。また、撮像装置10は、低輝度時には撮像部17の撮像フレームレートを落とし、撮像部17の露光時間を延ばすことにより、低輝度環境においても適正な露出のライブビュー表示を行うことができる。
In the present embodiment, the
図3は、本実施形態による撮像装置10の制御方法を示すフローチャートである。CPU11は、図3に示す処理を実現するように各部を制御する。操作部14の電源ボタン又はモードダイヤル等の操作により、撮像装置10の起動又は再生モード等から撮影モードへの遷移が指示されると、撮像装置10は、図3に示す処理を開始する。
FIG. 3 is a flowchart showing the control method of the
ステップS101では、CPU11は、撮像部17の駆動タイミングである撮像部17の垂直同期信号と、表示部13の駆動タイミングである表示部13の垂直同期信号とが所定の位相差になるように制御し、ライブビュー用に撮像部17の駆動を開始させる。撮像部17が1フレーム分の画像の出力を開始してから出力を完了する前までに、表示部13が表示用画像データの読み出しを開始するように、CPU11は撮像部17と表示部13の垂直同期信号を所定の位相差で同期させて撮像部17の駆動を開始する。所定の位相差は、基準位相差である。このようにすることで、撮像装置10は、撮像部17による撮像から、その画像に基づくライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。
In step S101, the
次に、ステップS102では、CPU(露光時間決定部)11は、撮像部17により出力された画像データに基づき、AE処理を行い、撮像部17の露光時間Exp_curを決定する。具体的には、CPU11は、撮像部17により撮像された画像データに基づき、画像処理回路18を用いて被写体の輝度情報を求め、被写体が適正な輝度になるように所定の演算を行い、撮像部17の露光時間Exp_curを決定する。また、ライブビューを開始した最初のフレームは、撮像部17により撮像された画像データが存在しないため、CPU11は、初期値の露光時間Exp_curを設定する。
Next, in step S<b>102, the CPU (exposure time determination unit) 11 performs AE processing based on the image data output by the imaging unit 17, and determines the exposure time Exp_cur of the imaging unit 17. Specifically, the
ステップS103では、CPU11は、操作部14のレリーズボタンの半押しにより、スイッチSW1がオンになると、それをトリガとして開始される静止画撮影準備処理としてのAF処理中(オートフォーカス処理中)か否かを判定する。AF処理では、CPU11は、撮像部17により撮像された画像データに基づき、画像処理回路18を用いて被写体の輝度信号の高域周波数成分に基づく評価値を求める。そして、CPU11は、撮像部17のフォーカスレンズを移動させながら、AF処理の範囲の全域に対して、複数フレームにわたり評価値を求め、評価値が最大となるレンズ位置を合焦位置として決定し、撮像部17のフォーカスレンズを合焦位置に移動させる。
In step S103, when the switch SW1 is turned on by half-pressing the release button of the
ステップS103では、CPU11は、AF処理中であると判定された場合には、ステップS104に処理を進める。ステップS104では、CPU11は、ステップS102で決定された露光時間Exp_curが撮像部17の1V期間(1垂直走査期間)の基準値の長さTより長いか否かを判定する。つまり、CPU11は、Exp_cur>Tであるか否かを判定する。例えば、撮像部17のフレームレートの基準値が60fps(フレーム/秒)の場合、1V期間の基準値の長さTはT=1/60秒となる。1V期間の基準値の長さTは、1フレーム時間である。
In step S103, when it is determined that the AF process is being performed, the
ステップS104では、CPU11は、露光時間Exp_curが1V期間の基準値の長さTより長いと判定された場合には、ステップS105に処理を進める。ステップS105では、CPU(第1の期間設定部)11は、ステップS102で決定された露光時間Exp_curが収まる設定可能な最短の1V期間の長さとして、撮像部17の1V期間の長さV_curを設定する。例えば、CPU11は、1V期間の基準値の長さTより短い1H期間(1水平走査期間)の長さの単位で1V期間の長さV_curの調整を行う。CPU11は、1V期間の長さV_curが露光時間以上(露光時間Exp_cur以上)であり、かつ1V期間の長さV_curが1H期間(1水平走査期間)の長さの単位で最短の長さになるように、1V期間の長さV_curを設定する。例えば、ステップS102で決定された露光時間Exp_curが1/50秒の場合、1V期間の長さV_curも約1/50秒となる。
In step S104, when the
ステップS104では、CPU11は、露光時間Exp_curが1V期間の基準値の長さT以下(基準値以下)であると判定された場合には、ステップS106に処理を進める。ステップS106では、CPU(第4の期間設定部)11は、撮像部17の1V期間の長さV_curを1V期間の基準値の長さTと同じ長さ(V_cur=T)に設定する。これにより、CPU11は、AF処理中には、撮像部17により撮像された画像データから、被写体の輝度信号の高域周波数成分に基づく評価値を、露光時間Exp_curに応じた1V期間の長さV_curの撮像フレームレートで取得することができる。そのため、低輝度被写体が適正な輝度になるように撮像部17の露光時間Exp_curを1V期間の基準値の長さTより長くした場合にも、AF処理用の評価値の取得時間が必要以上に延びることがなく、AF処理時間を短くすることができる。
When it is determined in step S104 that the exposure time Exp_cur is equal to or less than the reference value length T of the 1V period (equal to or less than the reference value), the process proceeds to step S106. In step S106, the CPU (fourth period setting unit) 11 sets the length V_cur of the 1V period of the imaging unit 17 to the same length (V_cur=T) as the length T of the reference value of the 1V period. As a result, during the AF processing, the
ステップS103では、CPU11は、AF処理中でないと判定された場合には、ステップS107に処理を進める。ステップS107では、CPU11は、撮像部17の駆動タイミングである撮像部17の垂直同期信号と表示部13の駆動タイミングである表示部13の垂直同期信号との位相差が所定量(基準位相差)か否かを判定する。具体的には、CPU11は、AF処理中に露光時間Exp_curに応じて1V期間の長さV_curの調整を行ったことにより、撮像部17と表示部13の垂直同期信号の位相差がライブビュー開始時の最適な位相差からずれているか否かを判定する。
When it is determined in step S103 that the AF process is not in progress, the
ステップS107では、CPU11は、撮像部17と表示部13の垂直同期信号の位相差が所定量であると判定された場合には、ステップS108に処理を進める。ステップS108では、CPU11は、ステップS102で決定された露光時間Exp_curが1V期間の基準値の長さTより長い(Exp_cur>T)か否かを判定する。CPU11は、露光時間Exp_curが1V期間の基準値の長さTより長いと判定された場合には、ステップS109に処理を進める。ステップS109では、CPU(第2の期間設定部)11は、1V期間の長さV_curがステップS102で決定された露光時間Exp_cur以上になるように、1V期間の長さV_curを1V期間の基準値の長さTの整数倍に設定する。具体的には、CPU11は、1V期間の長さV_curの調整を1V期間の基準値の長さT単位で行い、V_cur=T×N≧Exp_curにする。ここで、Nは2以上の整数である。例えば、撮像部17のフレームレートの基準値が60fpsであり、ステップS102で決定された露光時間Exp_curが1/50秒の場合、1V期間の長さV_curは、1/60×2=1/30秒となる。
When it is determined in step S107 that the phase difference between the vertical synchronization signals of the image pickup unit 17 and the
ステップS108では、CPU11は、露光時間Exp_curが1V期間の基準値の長さT以下であると判定された場合には、ステップS110に処理を進める。ステップS110では、CPU(第4の期間設定部)11は、1V期間の長さV_curを1V期間の基準値の長さTと同じ長さ(V_cur=T)に設定する。このようにすることで、撮像装置10は、AF処理中でないときには、撮像部17による撮像から、その画像に基づくライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。また、撮像装置10は、低輝度被写体が適正な輝度になるように撮像部17の露光時間Exp_curを1V期間の基準値の長さTより長くした場合にも、同様に、ほぼリアルタイムにライブビュー表示をすることができる。
When it is determined in step S108 that the exposure time Exp_cur is equal to or less than the length T of the reference value of the 1V period, the
ステップS107では、CPU11は、撮像部17と表示部13の垂直同期信号の位相差が所定量(基準位相差)でないと判定された場合には、ステップS111に処理を進める。ステップS111では、CPU11は、1V期間の長さV_curが露光時間Exp_cur以上であり、かつ撮像部17と表示部13の垂直同期信号の位相差がライブビュー開始時の最適な基準位相差になるように、1V期間の長さV_curを設定する。具体的には、CPU(第3の期間設定部)11は、V_cur=T×N+α≧Exp_curの設定を行い、撮像部17と表示部13の垂直同期信号の位相差がライブビュー開始時の最適な位相差となるようにαを調整して、1V期間の長さV_curを設定する。ここで、Nは1以上の整数である。撮像装置10は、AF処理中に輝度被写体が適正な輝度になるように撮像部17の露光時間Exp_curを1V期間の基準値の長さTより長くする。これにより、撮像部17と表示部13の垂直同期信号の位相差が最適でなくなっていたのを、撮像装置10は、AF処理後に最適に戻すことができる。
When it is determined in step S107 that the phase difference between the vertical synchronization signals of the image pickup unit 17 and the
次に、ステップS112では、CPU11は、ステップS102で決定された露光時間Exp_curに基づき撮像部17により撮像された画像を、1V期間の長さV_curのフレーム時間で動画フレームとして読み出す。撮像部17は、露光時間Exp_curに応じて各フレームの画像を撮像し、その撮像された各フレームの画像を1V期間の長さV_curに1フレームずつCPU11に出力する。
Next, in step S112, the
次に、ステップS113では、CPU11は、画像処理回路18を用いて、ステップS112で読み出された動画フレームの画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、YUVデータに変換し、DRAM15に書き込む。
Next, in step S113, the
次に、ステップS114では、CPU11は、撮像部17の駆動タイミングである撮像部17の垂直同期信号と表示部13の駆動タイミングである表示部13の垂直同期信号との位相差が所定量(基準位相差)以上か否かを判定する。ステップS114では、CPU11は、撮像部17と表示部13の垂直同期信号の位相差が所定量未満(基準位相差未満)であると判定された場合には、ステップS115に処理を進める。ステップS115では、CPU(表示用画像生成部)11は、ステップS113で生成した画像データに対して、画像処理回路18を用いてリサイズ処理等を施し、表示用画像データを生成し、表示用画像データをDRAM(メモリ)15に書き込む。表示用画像データの生成完了後に、ステップS116では、CPU11は、表示部13にステップS115で生成した表示用画像データを表示させるために、表示部13が表示用画像データを読み出すDRAM15の読み出しアドレスを更新する。表示部13は、例えば電子ビューファインダーである。
Next, in step S114, the
ステップS114では、CPU11は、撮像部17と表示部13の垂直同期信号の位相差が所定量以上(基準位相差以上)であると判定された場合には、ステップS117に処理を進める。ステップS117では、CPU11は、表示部(電子ビューファインダー)13にステップS115で生成した表示用画像データを表示させるために、表示部13が表示用画像データを読み出すDRAM15の読み出しアドレスを更新する。次に、ステップS118では、CPU(表示用画像生成部)11は、ステップS113で生成した画像データに対して、画像処理回路18を用いて、表示用サイズへのリサイズ処理等を施し、表示用画像データを生成し、表示用画像データをDRAM15に書き込む。
In step S114, when the
ここで、ステップS112の動画フレーム読み出し、ステップS113のYUVデータ変換、ステップS115又はステップS118の表示用画像データ生成は、並行して処理される。さらに、ステップS117では、CPU11は、ステップS118の表示用画像データの生成前又は生成中に、表示用画像データを表示部13に表示させるために表示用画像データのDRAM15の読み出しアドレスを更新する。このようにすることで、撮像装置10は、撮像部17が1フレーム分の画像の出力を開始してから出力を完了する前までに、表示部13が表示用画像データの読み出しを開始でき、ほぼリアルタイムにライブビュー表示をすることができる。
Here, the moving image frame reading in step S112, the YUV data conversion in step S113, and the display image data generation in step S115 or step S118 are processed in parallel. Further, in step S117, the
次に、ステップS119では、CPU11は、操作部14の電源ボタン又はモードダイヤル等の操作により、撮像装置10の終了又は再生モードへの遷移等のライブビューの停止が指示されているか否かを判定する。CPU11は、ライブビューの停止が指示されていると判定された場合には、ライブビューを停止して終了する。また、CPU11は、ライブビューの停止が指示されていないと判定された場合には、ステップS102に処理を戻し、次のフレームの処理を続ける。
Next, in step S119, the
図4は、本実施形態による撮像装置10の制御方法を示すタイミングチャートである。以下、撮像装置10のライブビュー表示について説明する。1V期間の長さ101は、各フレームの1V期間の長さV_curである。露光時間102は、各フレームの露光時間Exp_curである。位相差103は、各フレームにおける撮像部17と表示部13の垂直同期信号の位相差である。タイミング104は、各フレームにおける表示アドレス更新タイミングである。
FIG. 4 is a timing chart showing the control method of the
また、1V期間の長さV_Nは、第Nフレームでの1V期間の長さである。露光時間Exp_Nは、第Nフレームでの露光時間である。位相差t_Nは、第Nフレームでの撮像部17と表示部13の垂直同期信号の位相差である。
The 1V period length V_N is the length of the 1V period in the Nth frame. The exposure time Exp_N is the exposure time in the Nth frame. The phase difference t_N is the phase difference between the vertical synchronization signals of the imaging unit 17 and the
第1フレームでは、露光時間Exp_1は、1V期間の基準値の長さT以下(Exp_1≦T)である。第1フレームの1V期間の長さV_1は、1V期間の基準値の長さTと同じ(V_1=T)である。 In the first frame, the exposure time Exp_1 is equal to or less than the length T of the reference value in the 1V period (Exp_1≦T). The length V_1 of the 1V period of the first frame is the same as the length T of the reference value of the 1V period (V_1=T).
第2フレームでは、露光時間Exp_2は、1V期間の基準値の長さTより長い(Exp_2>T)。このとき、AF処理中ではないため、第2フレームの1V期間の長さV_2は、1V期間の基準値の長さT単位で調整され、1V期間の基準値の長さTの2倍(V_2=2T)になっている。 In the second frame, the exposure time Exp_2 is longer than the length T of the reference value in the 1V period (Exp_2>T). At this time, since the AF process is not in progress, the length V_2 of the 1V period of the second frame is adjusted in units of the length T of the reference value of the 1V period, and is twice the length T of the reference value of the 1V period (V_2 = 2T).
また、第1フレーム及び第2フレームにおける撮像部17と表示部13の垂直同期信号の位相差t_1及びt_2は、ライブビュー開始時の所定の位相差tと同じである(t_1=t、t_2=t)。そのため、第1フレーム及び第2フレームでは、表示アドレス更新は、表示用画像データ生成前のタイミング104で行われる。これにより、ライブビューが表示されるまでの遅延が短く、ほぼリアルタイムでライブビュー表示が行われる。
Further, the phase differences t_1 and t_2 between the vertical synchronization signals of the image pickup unit 17 and the
第3フレームでは、第2フレームと同様に、露光時間Exp_3は、1V期間の基準値の長さTより長い(Exp_3>T)。第3フレームでは、AF処理中であるため、第3フレームの1V期間の長さV_3は、1V期間の基準値の長さTより短い単位で調整され、露光時間Exp_3以上になるように設定される(V_3≧Exp_3)。 In the third frame, as in the second frame, the exposure time Exp_3 is longer than the length T of the reference value in the 1V period (Exp_3>T). In the third frame, since the AF process is being performed, the length V_3 of the 1V period of the third frame is adjusted by a unit shorter than the length T of the reference value of the 1V period, and is set to be the exposure time Exp_3 or more. (V_3≧Exp_3).
第4フレームから第7フレームも同様である。また、第3フレームから第7フレームにおける撮像部17と表示部13の垂直同期信号の位相差は、t_3からt_7で表される。第4及び第5フレームでは、撮像部17と表示部13の垂直同期信号の位相差t_4及びt_5は、ライブビュー開始時の所定の位相差t以上である(t_4≧t、t_5≧t)ので、表示アドレス更新は、表示用画像データ生成前のタイミング104で行われる。
The same applies to the fourth frame to the seventh frame. Further, the phase difference between the vertical synchronization signals of the image pickup unit 17 and the
第3、第6及び第7フレームでは、位相差t_3、t_6及びt_7は、ライブビュー開始時の所定の位相差t未満である(t_3<t、t_6<t、t_7<t)ので、表示アドレス更新は、表示用画像データの生成完了後のタイミング104で行われる。そのため、AF処理中に露光時間Exp_Nに応じて、1V期間の長さV_Nを調整したことにより、撮像部17と表示部13の垂直同期信号の位相差t_Nが所定の位相差tでなくなっている場合にも、適切なライブビューが表示される。
In the third, sixth, and seventh frames, the phase differences t_3, t_6, and t_7 are less than the predetermined phase difference t at the start of live view (t_3<t, t_6<t, t_7<t), so the display address is The update is performed at the
第8フレームは、AF処理完了後の最初のフレームであり、撮像部17と表示部13の垂直同期信号の位相差t_8がライブビュー開始時の所定の位相差tと同じ(t_8=t)になるように、1V期間の長さV_8=T+αに調整される。
The eighth frame is the first frame after the AF process is completed, and the phase difference t_8 between the vertical synchronization signals of the image pickup unit 17 and the
以上のように、AF処理中では、低輝度被写体が適正な輝度になるように撮像部17の露光時間を1V期間の基準値の長さTより長くした場合にも、AF処理用の評価値の取得時間が必要以上に延びることがなく、AF処理時間を短くすることができる。また、AF処理中以外では、撮像部17による撮像から、その画像に基づくライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。 As described above, during the AF process, even when the exposure time of the image pickup unit 17 is set longer than the length T of the reference value of the 1V period so that the low-luminance subject has an appropriate brightness, the evaluation value for the AF process is obtained. Therefore, the AF processing time can be shortened without unnecessarily increasing the acquisition time of. Further, when the AF process is not being performed, the delay from the image pickup by the image pickup unit 17 to the display of the live view based on the image can be shortened, and the live view display can be performed almost in real time.
本実施形態によれば、AF処理のように撮像した画像データから生成される評価値に基づく処理にかかる時間とライブビュー表示の遅延を抑えつつ、低輝度環境においても適正な露出のライブビューを表示することができる。 According to the present embodiment, while suppressing the time required for the processing based on the evaluation value generated from the captured image data such as the AF processing and the delay of the live view display, the live view with the proper exposure can be performed even in the low brightness environment. Can be displayed.
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that each of the above-described embodiments is merely an example of an embodiment for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
10:撮像装置、11:CPU(中央演算装置)、12:ROM、13:表示部、14:操作部、15:DRAM、16:記録媒体I/F、17:撮像部、18:画像処理回路、19:画像圧縮伸張回路、20:記録媒体、30:内部バス 10: image pickup device, 11: CPU (central processing unit), 12: ROM, 13: display unit, 14: operation unit, 15: DRAM, 16: recording medium I/F, 17: image pickup unit, 18: image processing circuit , 19: image compression/expansion circuit, 20: recording medium, 30: internal bus
Claims (7)
前記撮像部により出力された画像を基に、前記撮像部の露光時間を決定する露光時間決定部と、
前記露光時間決定部により決定された露光時間が1垂直走査期間の基準値より長い場合には、前記撮像部により出力された画像から所定の評価値を取得する第1の状態であれば、前記撮像部の1垂直走査期間が前記露光時間以上になるように、前記1垂直走査期間の基準値より短い期間の単位で、前記撮像部の1垂直走査期間を設定し、前記撮像部により出力された画像から所定の評価値を取得しない第2の状態であれば、前記撮像部の1垂直走査期間が前記露光時間以上になるように、前記撮像部の1垂直走査期間を前記1垂直走査期間の基準値の整数倍に設定する期間設定部と
を有することを特徴とする撮像装置。 An image pickup unit for picking up an image of each frame according to the exposure time and outputting the picked-up image of each frame one frame at a time in one vertical scanning period;
An exposure time determining unit that determines an exposure time of the image capturing unit based on the image output by the image capturing unit;
If the exposure time determined by the exposure time determination unit is longer than the reference value for one vertical scanning period, and if the first state in which a predetermined evaluation value is acquired from the image output by the imaging unit, One vertical scanning period of the image capturing unit is set in units of a period shorter than the reference value of the one vertical scanning period so that the one vertical scanning period of the image capturing unit is equal to or longer than the exposure time, and is output by the image capturing unit. In the second state in which the predetermined evaluation value is not acquired from the image, the one vertical scanning period of the imaging unit is set to the one vertical scanning period so that the one vertical scanning period of the imaging unit is equal to or longer than the exposure time. And a period setting unit that sets an integer multiple of the reference value of 1.
前記表示用画像生成部は、前記撮像部の垂直同期信号と前記表示部の垂直同期信号との位相差が基準位相差以上である場合には、前記撮像部により出力された画像を基に表示用画像を生成し、前記表示用画像をメモリに書き込み、前記表示用画像の生成前又は生成中に、前記表示用画像を表示部に表示させるために前記表示用画像の前記メモリの読み出しアドレスを更新することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 Furthermore, when the phase difference between the vertical synchronization signal of the image pickup unit and the vertical synchronization signal of the display unit is less than a reference phase difference, a display image is generated based on the image output by the image pickup unit, A display image generation unit that updates the read address of the display image in the memory in order to display the display image on the display unit after writing the display image in the memory and generating the display image. Then
When the phase difference between the vertical synchronization signal of the image pickup unit and the vertical synchronization signal of the display unit is equal to or larger than a reference phase difference, the display image generation unit displays based on the image output by the image pickup unit. Generating a display image, writing the display image in a memory, and before or during the generation of the display image, a read address of the display image in the memory for displaying the display image on a display unit. The imaging apparatus according to claim 1, wherein the imaging apparatus is updated.
露光時間決定部により、前記撮像部により出力された画像を基に、前記撮像部の露光時間を決定する露光時間決定ステップと、
期間設定部により、前記露光時間決定ステップで決定された露光時間が1垂直走査期間の基準値より長い場合には、前記撮像部により出力された画像から所定の評価値を取得する第1の状態であれば、前記撮像部の1垂直走査期間が前記露光時間以上になるように、前記1垂直走査期間の基準値より短い期間の単位で、前記撮像部の1垂直走査期間を設定し、前記撮像部により出力された画像から所定の評価値を取得しない第2の状態であれば、前記撮像部の1垂直走査期間が前記露光時間以上になるように、前記撮像部の1垂直走査期間を前記1垂直走査期間の基準値の整数倍に設定する期間設定ステップと
を有することを特徴とする撮像装置の制御方法。 A control method for an image pickup apparatus having an image pickup section for picking up an image of each frame according to an exposure time and outputting the picked-up image of each frame one frame at a time in a vertical scanning period,
An exposure time determining step of determining an exposure time of the image capturing section by the exposure time determining section based on the image output by the image capturing section;
When the exposure time determined by the period setting unit in the exposure time determining step is longer than a reference value for one vertical scanning period, a first state in which a predetermined evaluation value is acquired from the image output by the imaging unit If so, one vertical scanning period of the image pickup unit is set in units of a period shorter than a reference value of the one vertical scanning period so that one vertical scan period of the image pickup unit is equal to or longer than the exposure time. In the second state in which the predetermined evaluation value is not acquired from the image output by the image pickup unit, one vertical scan period of the image pickup unit is set so that one vertical scan period of the image pickup unit is equal to or longer than the exposure time. And a period setting step of setting an integral multiple of a reference value of the one vertical scanning period.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187382A JP6728010B2 (en) | 2016-09-26 | 2016-09-26 | Imaging device and method for controlling imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187382A JP6728010B2 (en) | 2016-09-26 | 2016-09-26 | Imaging device and method for controlling imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018056652A JP2018056652A (en) | 2018-04-05 |
JP6728010B2 true JP6728010B2 (en) | 2020-07-22 |
Family
ID=61837114
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016187382A Active JP6728010B2 (en) | 2016-09-26 | 2016-09-26 | Imaging device and method for controlling imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6728010B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113824902B (en) * | 2021-09-30 | 2024-06-18 | 杭州海康汽车软件有限公司 | Method, device, system, equipment and medium for determining time delay of infrared camera system |
CN113973179A (en) * | 2021-10-26 | 2022-01-25 | 成都微光集电科技有限公司 | Method, device, equipment and medium for controlling image output time sequence |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2589477B2 (en) * | 1986-10-17 | 1997-03-12 | 株式会社日立製作所 | Video camera |
JP4727457B2 (en) * | 2006-03-08 | 2011-07-20 | 富士フイルム株式会社 | Imaging device |
JP2009159067A (en) * | 2007-12-25 | 2009-07-16 | Olympus Imaging Corp | Imaging display method and imaging display device |
US8149323B2 (en) * | 2008-12-18 | 2012-04-03 | Qualcomm Incorporated | System and method to autofocus assisted by autoexposure control |
-
2016
- 2016-09-26 JP JP2016187382A patent/JP6728010B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018056652A (en) | 2018-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5439197B2 (en) | Imaging apparatus, imaging method, and imaging program | |
US7852401B2 (en) | Photographing apparatus and photographing method for exposure control during continuous photographing mode | |
JP5950678B2 (en) | Imaging apparatus, control method, and program | |
KR101329942B1 (en) | Image capturing apparatus and method for controlling the same | |
JP6116299B2 (en) | Imaging apparatus and control method thereof | |
JP2010062802A (en) | Imaging apparatus, imaging method, and computer readable recording medium storing program for executing the method | |
JP2009284136A (en) | Electronic camera | |
JP6728010B2 (en) | Imaging device and method for controlling imaging device | |
JP6118118B2 (en) | Imaging apparatus and control method thereof | |
JP2007189295A (en) | Imaging apparatus and program thereof | |
JP5780885B2 (en) | Imaging device, control method thereof, and control program | |
US8610792B2 (en) | Imaging apparatus and imaging method | |
JP6278729B2 (en) | Imaging apparatus, control method thereof, and program | |
JP2018006828A (en) | Imaging apparatus, control method therefor and program | |
US11356603B2 (en) | Image capturing apparatus and control method therefor | |
US11356611B2 (en) | Image capture apparatus and control method thereof | |
JP7319873B2 (en) | Imaging device and its control method | |
JP7523914B2 (en) | Image capture device and control method thereof | |
JP6486132B2 (en) | Imaging apparatus, control method therefor, and program | |
JP6800693B2 (en) | Imaging device and driving method of imaging device | |
JP6470594B2 (en) | Imaging device, control method thereof, and program | |
JP6012333B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
JP2009188644A (en) | Imaging device | |
JP2015230448A (en) | Imaging device, control method therefor, and control program | |
JP2010256444A (en) | Focus adjusting device, focus adjusting method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190920 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6728010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |