JP4311473B2

JP4311473B2 - Imaging device

Info

Publication number: JP4311473B2
Application number: JP2007122245A
Authority: JP
Inventors: 正則山口
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-05-07
Filing date: 2007-05-07
Publication date: 2009-08-12
Anticipated expiration: 2016-03-11
Also published as: JP2007202215A

Description

この発明は、例えばディジタル記録の電子スチルカメラに使用して好適な撮像装置に関する。 This invention relates to a suitable imaging device using an electronic still camera, for example, a digital recording.

最近、ディジタル電子スチルカメラが普及しつつある。電子スチルカメラに使用して好適な固体撮像素子例えばＣＣＤ撮像素子として、正方格子、全画素読出しのものが提案されている。正方格子は、隣接する画素の縦方向の間隔と横方向の間隔とを等しくするもので、撮像信号をパソコン用モニタに合わせるために採用される。従来のビデオカメラ等に使用されるＣＣＤ撮像素子は、インターレース方式の出力信号を発生するために、図２１に示すように、１／６０秒（１フィールド）蓄積して、２画素を読出し、垂直転送用のＣＣＤにおいて読出した２画素を混合し、また、混合する画素の上下方向の位置を奇数フィールドおよび偶数フィールドでずらすことによって、インターレース走査を実現していた。 Recently, digital electronic still cameras are becoming popular. As a solid-state image sensor suitable for use in an electronic still camera, for example, a CCD image sensor, a sensor having a square lattice and all-pixel readout has been proposed. The square lattice equalizes the vertical interval and the horizontal interval between adjacent pixels, and is used to match the image pickup signal with a personal computer monitor. In order to generate an interlaced output signal, a CCD image sensor used in a conventional video camera or the like accumulates 1/60 seconds (one field) and reads out two pixels as shown in FIG. Interlaced scanning has been realized by mixing two pixels read out by a transfer CCD and shifting the positions of the pixels to be mixed in the odd and even fields.

かかるＣＣＤ撮像素子は、１／６０秒の蓄積時間のために、１／３０秒の蓄積時間のフレーム蓄積方式と比較して、動画像の撮像を良好に行うことができるが、垂直解像度が低い不利がある。従って、電子スチルカメラの撮像素子として適していない。そこで、図２２に示すように、１／３０秒間蓄積し、全画素を読出す全画素読出し方式が提案されている。この方式によれば、垂直解像度の低下を防止することができるが、撮像素子から撮像信号を出力するためには、画素数が同じ場合に、上述したビデオカメラ用の撮像素子の２倍の時間を必要とする。より具体的には、１／３０秒周期の撮像信号が発生する。 Such a CCD image sensor has a 1/60 second accumulation time, and therefore can capture a moving image better than a frame accumulation method with a 1/30 second accumulation time, but has a low vertical resolution. There are disadvantages. Therefore, it is not suitable as an image sensor for an electronic still camera. Therefore, as shown in FIG. 22, an all-pixel readout method has been proposed in which all the pixels are read out by accumulating for 1/30 second. According to this method, it is possible to prevent a decrease in vertical resolution. However, in order to output an image pickup signal from the image pickup device, when the number of pixels is the same, the time is twice as long as that of the image pickup device for a video camera described above. Need. More specifically, an imaging signal having a period of 1/30 second is generated.

ディジタル電子スチルカメラの場合、撮影時にピントを合わせたり、撮影時のカメラアングルを調整するために、撮像画像を表示するモニタ例えば液晶モニタを設けることが多い。液晶モニタは、１／６０秒のノンインターレース走査で、テレビジョン画像を表示するのが普通である。従って、図２３に示すように、１／３０秒周期の撮像信号をそのまま液晶モニタに供給すると、表示画像の歪が発生する問題がある。これを避けるためには、図２４に示すように、液晶モニタ６２に対してＶＲＡＭ（ビデオＲＡＭ）６１（あるいはフレームメモリ）によりフレームレートを変換する必要がある。ＶＲＡＭ６１に対しては、１／３０秒周期の撮像信号が供給され、その出力に１／６０秒周期のノンインターレース信号が発生する。 In the case of a digital electronic still camera, a monitor for displaying a captured image, for example, a liquid crystal monitor is often provided in order to focus at the time of shooting or to adjust the camera angle at the time of shooting. A liquid crystal monitor normally displays a television image in a 1/60 second non-interlaced scan. Therefore, as shown in FIG. 23, when an imaging signal having a 1/30 second period is supplied to a liquid crystal monitor as it is, there is a problem that distortion of a display image occurs. In order to avoid this, as shown in FIG. 24, it is necessary to convert the frame rate with respect to the liquid crystal monitor 62 by a VRAM (video RAM) 61 (or a frame memory). An imaging signal having a 1/30 second period is supplied to the VRAM 61, and a non-interlace signal having a 1/60 second period is generated at the output thereof.

このように、全画素読出しの撮像素子は、垂直解像度が高いという点で、電子スチルカメラの撮像素子として好適な反面、通常のテレビジョンモニタに撮像画像を表示するのにＶＲＡＭあるいはフレームメモリが必要となり、コストが上昇する問題があった。さらに、電子スチルカメラが自動焦点制御装置、自動アイリス制御装置、自動ホワイトバランス制御装置等の自動制御装置を備えているので、撮像素子の出力信号の周期が長いことは、これらの自動制御の応答を遅くする問題が生じた。さらに、モニタに表示される画像の動きが滑らかでない問題もあった。 As described above, the image pickup device for reading all pixels is suitable as an image pickup device for an electronic still camera because it has a high vertical resolution. On the other hand, a VRAM or a frame memory is required to display a picked-up image on a normal television monitor. As a result, there was a problem that the cost increased. Furthermore, since the electronic still camera has automatic control devices such as an automatic focus control device, an automatic iris control device, and an automatic white balance control device, the long period of the output signal of the image sensor is a response to these automatic controls. The problem of slowing down occurred. Furthermore, there has been a problem that the motion of the image displayed on the monitor is not smooth.

上述した問題の解決する一つの方法は、撮像素子の出力信号のデータレートを高くすることである。しかしながら、そのためのサンプリングレート変換器を設ける必要があり、また、クロック周波数が高くなるのに伴って、消費電力の増大、使用部品のコストの上昇、Ｓ／Ｎの劣化等の問題が生じる。従って、撮像信号のデータレートを上げる方法は、好ましくない。 One method for solving the above problem is to increase the data rate of the output signal of the image sensor. However, it is necessary to provide a sampling rate converter for this purpose, and as the clock frequency increases, problems such as an increase in power consumption, an increase in cost of components used, and a deterioration in S / N occur. Therefore, a method for increasing the data rate of the imaging signal is not preferable.

従って、この発明の目的は、垂直解像度が高いという利点を損なうことなく、高速に撮像信号を出力することができ、ＶＲＡＭを不要とした撮像装置を提供することにある。 Accordingly, an object of this invention is to provide the advantage of vertical resolution high, high speed can output an image pickup signal is to provide an imaging device that does not require a V RAM.

また、この発明の他の目的は、撮像画像を記録媒体に記録している時、あるいは記録媒体からデータを読出している時に、モニタの表示が消える期間を最小限とすることができる撮像装置を提供することにある。 Another object of this invention, when records the captured image to the recording medium, or when data is read from the recording medium, that can minimize the period during which display of the monitor to turn off IMAGING To provide an apparatus.

この発明は、第１の画素数の読み出しを行う第１の撮像モードと、第１の画素数より少ない第２の画素数の読み出しを行う第２の撮像モードとを選択可能な撮像素子を備え、被写体を撮像し画像信号として出力する撮像手段と、画像信号を表示する表示手段と、撮像手段が出力する画像信号を一時的に保存するメモリ手段と、画像信号を圧縮して記録媒体に記録する処理を行う圧縮処理手段と、撮像手段および表示手段の接続関係と、撮像手段およびメモリ手段の接続関係と、メモリ手段及び圧縮処理手段の接続関係とを制御すると共に、撮像素子の撮像モードを制御する制御手段とを備え、制御手段は、撮像手段が出力する画像信号を静止画像として記録媒体に記録する場合、撮像手段と表示手段との接続を解除すると共に撮像手段とメモリ手段とを接続することにより、第１の記録モードに移行して、撮像素子を第１の撮像モードで動作するように制御すると共に、画像信号を静止画としてメモリ手段に保存し、メモリ手段への画像信号の保存終了に応じて、撮像手段とメモリ手段との接続を解除し、撮像手段と表示手段とを接続すると共に、メモリ手段と圧縮処理手段とを接続することにより、第２の記録モードに移行し、撮像素子を第２の撮像モードで動作するように制御すると共に、メモリ手段に保存された画像信号を圧縮処理手段により圧縮して、記録媒体に記録する撮像装置である。 The present invention includes an imaging device capable of selecting a first imaging mode for reading out the first number of pixels and a second imaging mode for reading out a second number of pixels smaller than the first number of pixels. Imaging means for imaging a subject and outputting it as an image signal; display means for displaying the image signal; memory means for temporarily storing the image signal output by the imaging means; and compressing and recording the image signal on a recording medium Control the compression processing means for performing the processing, the connection relationship between the imaging means and the display means, the connection relationship between the imaging means and the memory means, and the connection relationship between the memory means and the compression processing means, and the imaging mode of the image sensor. and control means for controlling, the control means includes an imaging means with the case, to release the connection between the display means imaging means for recording an image signal by the imaging means outputs as a still image memo By connecting the unit, the process moves to the first recording mode, the image pickup element and controls to operate in the first imaging mode, and stored in the memory means the image signal as a still image, the memory means When the image signal is stored , the connection between the imaging unit and the memory unit is canceled, the imaging unit and the display unit are connected, and the memory unit and the compression processing unit are connected, so that the second recording is performed. The image pickup apparatus shifts to the mode, controls the image pickup device to operate in the second image pickup mode, compresses the image signal stored in the memory means by the compression processing means, and records it on the recording medium .

第１の画素数の読み出しを行う第１の撮像モードと、第１の画素数より少ない第２の画素数の読み出しを行う第２の撮像モードとを選択可能な撮像素子を備え、被写体を撮像し画像信号として出力する撮像手段と、画像信号を表示する表示手段と、撮像手段が出力する画像信号を一時的に保存するメモリ手段と、画像信号を圧縮して記録媒体に記録する処理を行う圧縮処理手段と、撮像手段および表示手段の接続関係と、撮像手段およびメモリ手段の接続関係と、メモリ手段及び圧縮処理手段の接続関係とを制御すると共に、撮像素子の撮像モードを制御する制御手段とを備え、制御手段は、撮像手段が出力する画像信号を静止画像として記録媒体に記録する場合、撮像手段と表示手段との接続を解除すると共に撮像手段とメモリ手段とを接続することにより、第１の記録モードに移行して、撮像素子を第１の撮像モードで動作するように制御すると共に、画像信号を静止画としてメモリ手段に保存し、メモリ手段への画像信号の保存終了に応じて、撮像手段とメモリ手段との接続を解除し、撮像手段と表示手段とを接続すると共に、メモリ手段と圧縮処理手段とを接続することにより、第２の記録モードに移行し、撮像素子を第２の撮像モードで動作するように制御すると共に、メモリ手段に保存された画像信号を圧縮処理手段により圧縮して、記録媒体に記録するようにしているため、画像信号をメモリ手段に保存する期間以外では画像信号が表示部に表示され、表示が消える期間を最小限とすることができる。 An image sensor is provided that can select a first imaging mode for reading out the first number of pixels and a second imaging mode for reading out a second number of pixels smaller than the first number of pixels. An image pickup means for outputting the image signal, a display means for displaying the image signal, a memory means for temporarily storing the image signal output by the image pickup means, and a process for compressing the image signal and recording it on the recording medium Control means for controlling the compression processing means, the connection relation between the imaging means and the display means, the connection relation between the imaging means and the memory means, and the connection relation between the memory means and the compression processing means, and controlling the imaging mode of the image sensor. with the door, control means, against the image pickup means and the memory means together with the case, to release the connection between the display means imaging means for recording an image signal by the imaging means outputs as a still image By, the process moves to the first recording mode, and controls to operate the imaging device in the first imaging mode, and stored in the memory means the image signal as a still image, an image signal to the memory means When the storage is completed, the connection between the imaging unit and the memory unit is released, the imaging unit and the display unit are connected, and the memory unit and the compression processing unit are connected to shift to the second recording mode. The image sensor is controlled to operate in the second imaging mode, and the image signal stored in the memory means is compressed by the compression processing means and recorded on the recording medium. The period during which the image signal is displayed on the display unit and the display disappears can be minimized during periods other than the period for storing in the means.

この発明は、上述したように、被写体を撮像し画像信号として出力する撮像手段と、画像信号を表示する表示部と、撮像手段が出力する画像信号を一時的に保存するメモリ手段と、画像信号を圧縮して記録媒体に記録する処理を行う圧縮処理手段と、撮像手段と、表示部と、メモリ手段と、圧縮処理手段との接続関係を制御する制御部とを備え、制御部は、撮像手段が出力する画像信号を静止画像として記録媒体に記録する場合、第１の記録モードに移行して、撮像手段と表示手段との接続を解除すると共に撮像手段とメモリ手段とを接続して、画像信号を静止画としてメモリ手段に保存し、メモリ手段への画像信号の保存終了に応じて第２の記録モードに移行し、撮像手段とメモリ手段との接続を解除し、撮像手段と表示部とを接続すると共に、メモリ手段と圧縮処理手段とを接続するようにしているため、画像信号をメモリ手段に保存する期間以外では画像信号が表示部に表示され、表示が消える期間を最小限とすることができる効果がある。 As described above, the present invention includes an imaging unit that captures an image of a subject and outputs the image signal, a display unit that displays the image signal, a memory unit that temporarily stores the image signal output from the imaging unit, and an image signal. A compression processing means for performing processing for compressing and recording the image on a recording medium, an imaging means, a display section, a memory means, and a control section for controlling a connection relationship with the compression processing means. When the image signal output by the means is recorded on a recording medium as a still image, the first recording mode is entered, the connection between the imaging means and the display means is released, and the imaging means and the memory means are connected, The image signal is stored in the memory unit as a still image, and the second recording mode is entered in response to the end of the storage of the image signal in the memory unit, the connection between the imaging unit and the memory unit is released, and the imaging unit and the display unit And connect , Because you have to connect the memory means and the compression processing means, other than a period for storing the image signal in the memory means is displayed on the image signal display unit, it is possible to minimize the period during which the display disappears effective.

以下、この発明の一実施例について図面を参照して説明する。図１は、この発明の一実施例の全体的構成を示す。１０１は、固体撮像素子例えばＣＣＤ撮像素子である。ＣＣＤ撮像素子１０１は、三原色フィルタ、補色フィルタ等を有する単板式のイメージャである。ＣＣＤ撮像素子１０１は、後で詳細に説明するように、全画素を読出すフルフレーム読出しの動作モード（第１の撮像モード）と、ライン数を減少させた信号を出力するライン間引きの動作モード（第２の撮像モード）とが切替え可能とされている。撮像素子１０１には、レンズ系１００を介して被写体光が入射される。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of an embodiment of the present invention. Reference numeral 101 denotes a solid-state image sensor, for example, a CCD image sensor. The CCD image sensor 101 is a single-plate imager having three primary color filters, a complementary color filter, and the like. As will be described in detail later, the CCD image pickup device 101 has a full frame read operation mode (first image pickup mode) for reading all pixels and a line thinning operation mode for outputting a signal with a reduced number of lines. (Second imaging mode) can be switched. Subject light is incident on the image sensor 101 via the lens system 100.

撮像素子１０１の出力信号がサンプルホールド，ＡＧＣ回路１０２に供給される。フルフレーム読出しモードでは、１枚の画像読出しの時間が１／３０秒であり、ライン間引きモードでは、これが１／６０秒である。サンプルホールドは、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠陥画素の補償がなされる。ＡＧＣは、被写体の明るさに応じてゲインを制御するもので、また、自動絞り調整のためにもゲインが制御される。サンプルホールド，ＡＧＣ回路１０２の出力信号がＡ／Ｄ変換器１０３に供給される。Ａ／Ｄ変換器１０３からは、１サンプルが１０ビットのディジタル撮像信号が発生する。 An output signal of the image sensor 101 is supplied to the sample hold / AGC circuit 102. In the full frame reading mode, the time for reading one image is 1/30 seconds, and in the line thinning mode, this is 1/60 seconds. The sample-and-hold is configured as a correlated double sampling circuit, and noise removal, waveform shaping, and defective pixel compensation are performed. The AGC controls the gain according to the brightness of the subject, and the gain is also controlled for automatic aperture adjustment. The output signal of the sample hold / AGC circuit 102 is supplied to the A / D converter 103. The A / D converter 103 generates a digital imaging signal in which one sample is 10 bits.

ディジタル化された撮像信号がＩＣ回路の構成のカメラ信号処理回路１０４に供給される。この信号処理回路１０４は、ディジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路、コンポーネント信号（Ｙ：輝度信号、Ｃｒ、Ｃｂ：色差信号が４：１：１の比のサンプリング周波数でサンプリングされたディジタルビデオ信号）のマルチプレクサ、同期信号発生回路、タイミング生成器、マイクロコンピュータとのインターフェース等が含まれる。信号処理回路１０４のより具体的な構成については後述する。マルチプレクサによって、コンポーネント信号が多重化データへ変換される。 The digitized imaging signal is supplied to the camera signal processing circuit 104 having an IC circuit configuration. The signal processing circuit 104 includes a digital clamp circuit, a luminance signal processing circuit, a color signal processing circuit, a contour correction circuit, a defect compensation circuit, an automatic iris control circuit, an automatic focus control circuit, an automatic white balance correction circuit, and a component signal (Y: A luminance signal, Cr, Cb: a digital video signal in which color difference signals are sampled at a sampling frequency of a ratio of 4: 1: 1), a synchronization signal generation circuit, a timing generator, an interface with a microcomputer, and the like. A more specific configuration of the signal processing circuit 104 will be described later. The component signal is converted into multiplexed data by the multiplexer.

１０５は、信号処理を制御するマイクロコンピュータであって、マイクロコンピュータ１０５からのコントロール信号がレンズ系１００、電子ボリューム１０６、カメラ信号処理回路１０４、タイミングコントローラ１０７に供給される。タイミングコントローラ１０７は、タイミング生成器１０８およびＣＣＤ駆動回路１０９から構成される。電子ボリューム１０６は、サンプルホールド，ＡＧＣ回路１０２のゲインコントロール信号を発生する。 A microcomputer 105 controls signal processing. A control signal from the microcomputer 105 is supplied to the lens system 100, the electronic volume 106, the camera signal processing circuit 104, and the timing controller 107. The timing controller 107 includes a timing generator 108 and a CCD driving circuit 109. The electronic volume 106 generates a gain control signal for the sample hold and AGC circuit 102.

カメラ信号処理回路１０４、タイミングコントローラ１０７に対しては、クロックＭＣＫの３倍の周波数のクロック３ＭＣＫが供給される。一例として、撮像素子１０１の水平画素数が７８０とされ、ＭＣＫ＝７８０ｆh （ｆh:撮像素子１０１の水平走査周波数）＝１２．３ＭHzとされている。また、カメラ信号処理回路１０４において発生した水平同期信号Ｈおよび垂直同期信号Ｖがタイミングコントローラ１０７に供給される。タイミングコントローラ１０７のＣＣＤ駆動回路１０９で発生した駆動パルスが撮像素子１０１に供給される。駆動パルスは、垂直駆動パルス、水平駆動パルス、読出しパルス等を含む。 The camera signal processing circuit 104 and the timing controller 107 are supplied with a clock 3MCK having a frequency three times that of the clock MCK. As an example, the number of horizontal pixels of the image sensor 101 is 780, and MCK = 780 fh (fh: horizontal scanning frequency of the image sensor 101) = 12.3 MHz. Further, the horizontal synchronization signal H and the vertical synchronization signal V generated in the camera signal processing circuit 104 are supplied to the timing controller 107. A drive pulse generated by the CCD drive circuit 109 of the timing controller 107 is supplied to the image sensor 101. The drive pulse includes a vertical drive pulse, a horizontal drive pulse, a read pulse, and the like.

図２は、カメラ信号処理回路１０４の一例を示す。ここでは、自動絞り制御回路を含む場合の構成を示す。簡単のため、欠陥補償回路、自動焦点制御回路、自動ホワイトバランス補正回路についての図示を省略する。Ａ／Ｄ変換器１０３からの１０ビット幅のディジタル撮像信号がディジタルクランプ回路１１１を介して演算回路１１２に供給される。撮像素子が三原色フィルタを有する場合、演算回路１１２によって、三原色信号の加算または減算がなされ、輝度信号成分および色差信号成分が生成される。 FIG. 2 shows an example of the camera signal processing circuit 104. Here, a configuration in the case of including an automatic aperture control circuit is shown. For simplicity, the defect compensation circuit, automatic focus control circuit, and automatic white balance correction circuit are not shown. A 10-bit width digital imaging signal from the A / D converter 103 is supplied to the arithmetic circuit 112 via the digital clamp circuit 111. When the image sensor has a three primary color filter, the arithmetic circuit 112 adds or subtracts the three primary color signals to generate a luminance signal component and a color difference signal component.

輝度信号成分が輝度信号処理回路１１３および輪郭補正回路１１４に供給され、色差信号成分が色信号処理回路１１６に供給される。輝度信号処理回路１１３には、γ補正回路等が含まれる。輪郭補正回路１１４により生成された輪郭補正信号が輝度信号処理回路１１３の出力信号に対して加算回路１１５により加算される。加算回路１１５から輝度信号Ｙが得られる。色信号処理回路１１６には、γ補正回路、ホワイトバランス補正回路等が含まれる。色信号処理回路１１６から色差信号Ｃｒ、Ｃｂが発生する。Ｙ、Ｃｒ、Ｃｂからなるコンポーネント信号がマルチプレクサ１１７に供給される。マルチプレクサ１１７によって、後述のようにこれらの信号が合成され、その出力には、多重化コンポーネント信号が発生する。 The luminance signal component is supplied to the luminance signal processing circuit 113 and the contour correction circuit 114, and the color difference signal component is supplied to the color signal processing circuit 116. The luminance signal processing circuit 113 includes a γ correction circuit and the like. The contour correction signal generated by the contour correction circuit 114 is added to the output signal of the luminance signal processing circuit 113 by the addition circuit 115. A luminance signal Y is obtained from the adder circuit 115. The color signal processing circuit 116 includes a γ correction circuit, a white balance correction circuit, and the like. Color difference signals Cr and Cb are generated from the color signal processing circuit 116 . A component signal composed of Y, Cr, and Cb is supplied to the multiplexer 117. The multiplexer 117 combines these signals as described later, and a multiplexed component signal is generated at the output.

タイミング、同期信号発生回路１１８が設けられており、３ＭＣＫのクロックから水平同期信号Ｈ、垂直同期信号Ｖ、クロック、タイミング信号がこの回路１１８から発生する。１１９がマイクロコンピュータ１０９とカメラ信号処理回路１０４との間のインターフェースのためのシリアルＩ／Ｏであり、１２０が検出、累算回路である。演算回路１１２で形成された輝度信号成分が検出、累算回路１２０に供給される。絞り制御の場合、撮像画面が複数の領域に分割され、領域毎に撮像信号が累算される。そして、各領域の累算データが検出、累算回路１２０からシリアルＩ／Ｏ１１９に対して出力される。 A timing / synchronization signal generation circuit 118 is provided, and a horizontal synchronization signal H, a vertical synchronization signal V, a clock, and a timing signal are generated from this circuit 118 from a 3MCK clock. 119 is a serial I / O for an interface between the microcomputer 109 and the camera signal processing circuit 104, and 120 is a detection and accumulation circuit. The luminance signal component formed by the arithmetic circuit 112 is detected and supplied to the accumulation circuit 120. In the case of aperture control, the imaging screen is divided into a plurality of areas, and imaging signals are accumulated for each area. The accumulated data of each area is detected and output from the accumulation circuit 120 to the serial I / O 119.

シリアルＩ／Ｏ１１９を通じて累算データをマイクロコンピュータ１０９が受け取り、累算データに対する重み付け演算、重み付けされた各領域のデータの総和を求める演算、絞り制御信号の生成等をマイクロコンピュータ１０９が行う。生成された絞り制御信号によって、レンズ系１００の絞り制御リングの駆動モータが駆動され、タイミングコントローラ１０７および電子ボリューム１０５が制御される。タイミングコントローラ１０７によって電子シャッタ（露光時間）が制御され、電子ボリューム１０５によってゲインが制御される。また、シリアルＩ／Ｏ１１９を通じてマイクロコンピュータ１０９から検出、累算回路１２０にコントロール信号が供給され、領域の分割のパターン等が制御される。 The microcomputer 109 receives the accumulated data through the serial I / O 119, and the microcomputer 109 performs a weighting operation on the accumulated data, an operation for obtaining a sum of weighted data in each area, an aperture control signal generation, and the like. A drive motor for the aperture control ring of the lens system 100 is driven by the generated aperture control signal, and the timing controller 107 and the electronic volume 105 are controlled. An electronic shutter (exposure time) is controlled by the timing controller 107, and a gain is controlled by the electronic volume 105. In addition, a control signal is supplied from the microcomputer 109 to the detection and accumulation circuit 120 through the serial I / O 119, and the pattern of area division is controlled.

（４１１）方式のコンポーネント信号を多重化するためのマルチプレクサ１１７についてより詳細に説明する。図３に示すように、マルチプレクサ１１７は、クロックＭＣＫに同期した８ビット幅の輝度信号Ｙ、色差信号Ｃが入力され、３／２ＭＣＫ（クロックＭＣＫの３／２倍の周波数のクロック）に同期した８ビット幅の多重化コンポーネント信号を発生する。図４は、マルチプレクサ１１７の一例の構成を示す。マルチプレクサ１１７は、輝度信号Ｙおよび色信号Ｃの一方を選択する入力セレクタ１２１と、入力セレクタ１２１が直列入力として供給されるシフトレジスタ１２２と、シフトレジスタ１２２の並列出力がロードされるレジスタ１２３と、レジスタ１２３にロードされたデータを順次選択する出力セレクタ１２４と、出力セレクタ１２４に接続されたレジスタ１２５とからなる。各レジスタは、８ビット幅のものである。 The multiplexer 117 for multiplexing component signals of the (411) method will be described in more detail. As shown in FIG. 3, the multiplexer 117 receives an 8-bit width luminance signal Y and a color difference signal C synchronized with the clock MCK and is synchronized with 3 / 2MCK (a clock having a frequency 3/2 times that of the clock MCK). An 8-bit wide multiplexed component signal is generated. FIG. 4 shows an exemplary configuration of the multiplexer 117. The multiplexer 117 includes an input selector 121 that selects one of the luminance signal Y and the color signal C, a shift register 122 to which the input selector 121 is supplied as a serial input, a register 123 to which a parallel output of the shift register 122 is loaded, The output selector 124 sequentially selects data loaded in the register 123 and the register 125 connected to the output selector 124. Each register is 8 bits wide.

図５は、上述のマルチプレクサ１１７の動作を示すタイミングチャートである。３ＭＣＫは、クロックＭＣＫの周波数の３倍のクロックである。輝度データＹおよび色信号Ｃは、クロックＭＣＫと同期している。（４１１）方式のコンポーネント信号であるので、４サンプルの輝度データ（例えばＹ₀、Ｙ₁、Ｙ₂、Ｙ₃）に対して、１サンプルの赤の色差データ（例えばＣｒ₀）と１サンプルの青の色差データ（例えばＣｂ₀）とが対応している。 FIG. 5 is a timing chart showing the operation of the multiplexer 117 described above. 3MCK is a clock three times the frequency of the clock MCK. The luminance data Y and the color signal C are synchronized with the clock MCK. Since it is a component signal of (411) system, one sample of red color difference data (for example, Cr ₀ ) and one sample of luminance data (for example, Y ₀ , Y ₁ , Y ₂ , Y ₃ ) Corresponding to blue color difference data (for example, Cb ₀ ).

セレクトパルスのハイレベルで輝度データを選択し、そのローレベルで色データを選択するように、入力セレクタ１２１が制御される。シフトレジスタ１２２は、３／２ＭＣＫがクロックとして供給され、入力セレクタ１２１により選択されたデータを取り込むと共に、直列にシフトする。シフトレジスタ１２２の初段のレジスタの出力Ｑ₀は、図に示すように、Ｙ_-1、Ｙ₀、Ｃｒ₀、Ｙ₁、Ｙ₂、Ｃｂ₀、Ｙ₃、・・・と変化する。 The input selector 121 is controlled so that luminance data is selected at the high level of the select pulse and color data is selected at the low level. The shift register 122 is supplied with 3/2 M CK as a clock, takes in data selected by the input selector 121, and shifts in series. As shown in the figure, the output Q ₀ of the first-stage register of the shift register 122 changes as Y ₋₁ , Y ₀ , Cr ₀ , Y ₁ , Y ₂ , Cb ₀ , Y ₃ ,.

レジスタ１２３に対して、１／４ＭＣＫのクロックのタイミングでもって、シフトレジスタ１２２の出力が並列にロードされる。１／４ＭＣＫのクロックの周期は、３／２ＭＣＫの周期の６倍である。また、１／４ＭＣＫのクロックの位相は、互いに関連する輝度データおよび色差データの合計６サンプルがシフトレジスタ１２２からレジスタ１２３に転送されるように選定される。 The output of the shift register 122 is loaded in parallel to the register 123 with a 1/4 MCK clock timing. The quarter MCK clock period is six times the 3/2 MCK period. The phase of the 1/4 MCK clock is selected so that a total of 6 samples of luminance data and color difference data related to each other are transferred from the shift register 122 to the register 123.

出力セレクタ１２４は、クロック（３／２ＭＣＫ）と同期してレジスタ１２３の最も前のサンプルから順次選択し、選択されたサンプルをレジスタ１２５が取り込む。従って、レジスタ１２５からは、（Ｙ，Ｃｒ，Ｙ，Ｙ，Ｃｂ，Ｙ）の順序を有するように、多重化されたコンポーネント信号が発生する。 The output selector 124 sequentially selects the first sample from the register 123 in synchronization with the clock (3 / 2MCK), and the register 125 takes in the selected sample. Therefore, a component signal multiplexed so as to have an order of (Y, Cr, Y, Y, Cb, Y) is generated from the register 125.

上述したマルチプレクサ１１７は、データのサンプリングクロック周波数をＭＣＫから１．５倍の周波数の３／２ＭＣＫに変更することによって、８ビット幅の多重化コンポーネント信号へ変換する。マルチプレクサ１１７を設けない場合では、カメラ信号処理回路１０４から（８×２＝１６ビット）幅のデータ（輝度信号Ｙおよび色信号Ｃ）が出力される。その場合では、二つのデータバス間のクロストークが発生したり、基板配線面積が増加することによってクロストークが増加したり、メモリのデータの幅が増加することによってメモリのサイズが大きくなったり、メモリの消費電力が増大する等の種々の問題が生じる。上述したマルチプレクサ１１７を信号処理回路１０４の出力側に設けることによって、これらの問題の発生を防止することができる。 The multiplexer 117 described above converts the data sampling clock frequency from MCK to 3/2 MCK of 1.5 times the frequency, thereby converting the data into an 8-bit multiplexed component signal. In the case where the multiplexer 117 is not provided, the camera signal processing circuit 104 outputs (8 × 2 = 16 bits) width data (luminance signal Y and color signal C). In that case, crosstalk between two data buses occurs, crosstalk increases due to an increase in the substrate wiring area, memory size increases due to an increase in the memory data width, Various problems such as an increase in power consumption of the memory occur. By providing the multiplexer 117 described above on the output side of the signal processing circuit 104, the occurrence of these problems can be prevented.

図１に戻って、この発明の一実施例についてさらに説明する。カメラ信号処理回路１０４からの上述したように多重化されたコンポーネント信号がデータスイッチャ１３０に供給される。データスイッチャ１３０は、カメラ信号処理回路１０４の出力と接続された出力点ａと、コンポーネント信号を三原色信号へ変換する変換回路１３４と接続された入力点ｂと、記録再生データバス１４０と接続された入出力点ｃとを有する。データスイッチャ１３０の状態は、ユーザのキー操作等に基づいて発生したモード切り換え信号１３１、１３２、１３３によって制御される。図１中のマイクロコンピュータ１０５は、主としてカメラ部の制御のために設けられており、図示しないが、記録／再生動作の制御、装置全体の制御のために、それぞれマイクロコンピュータが設けられ、これらのマイクロコンピュータ間での通信がなされる。 Returning to FIG. 1, an embodiment of the present invention will be further described. The component signals multiplexed as described above from the camera signal processing circuit 104 are supplied to the data switcher 130. The data switcher 130 is connected to the output point a connected to the output of the camera signal processing circuit 104, the input point b connected to the conversion circuit 134 for converting the component signal into the three primary color signals, and the recording / reproducing data bus 140. And an input / output point c. The state of the data switcher 130 is controlled by mode switching signals 131, 132, 133 generated based on user key operations and the like. The microcomputer 105 in FIG. 1 is provided mainly for controlling the camera unit. Although not shown, the microcomputer 105 is provided for controlling the recording / reproducing operation and for controlling the entire apparatus. Communication between microcomputers is performed.

変換回路１３４により発生した三原色信号Ｒ、Ｇ、Ｂがテレビジョン表示装置例えば液晶ディスプレイ１３５に供給され、液晶ディスプレイ１３５により撮像画像が表示される。液晶ディスプレイ１３５は、１／６０秒周期のノンインターレース方式でもってカラー画像を表示する。記録再生データバス１４０に対して、ランダムアクセス可能なメモリ例えばＤＲＡＭ(dynamic random access memory)１４１およびデータ圧縮用のエンコーダ／デコーダ例えばＪＰＥＧ(Joint Photographic Experts Group)のエンコーダ／デコーダ１４２が接続される。ＪＰＥＧ以外の方式の高能率符号化を使用しても良い。エンコーダ／デコーダ１４２に対して記録媒体例えばフラシュメモリ１４３およびインターフェース１４４が接続される。ＤＲＡＭ１４１は、メモリコントローラ１４５から供給されるアドレス信号、制御信号によってその動作が制御される。 The three primary color signals R, G, and B generated by the conversion circuit 134 are supplied to a television display device such as a liquid crystal display 135, and a captured image is displayed on the liquid crystal display 135. The liquid crystal display 135 displays a color image using a non-interlace method with a 1/60 second period. A random accessible memory such as a DRAM (dynamic random access memory) 141 and a data compression encoder / decoder such as a JPEG (Joint Photographic Experts Group) encoder / decoder 142 are connected to the recording / reproducing data bus 140. High efficiency encoding other than JPEG may be used. A recording medium such as a flash memory 143 and an interface 144 are connected to the encoder / decoder 142. The operation of the DRAM 141 is controlled by an address signal and a control signal supplied from the memory controller 145.

エンコーダ／デコーダ１４２は、ＪＰＥＧ、すなわち、適応ＤＣＴ（Discrete Cosine Transform)の符号化によって約１／１０にデータ量を圧縮する。ＪＰＥＧにおけるブロック化等の処理のために、ＤＲＡＭ１４１が設けられている。フラシュメモリ１４３は、電源を切っても記憶内容が保持され、メモリ全体あるいは分割した領域毎に電気的に一括して消去、再書込みが可能な半導体メモリである。記録媒体としては、フラシュメモリ以外の半導体メモリ等の媒体を使用しても良い。さらに、圧縮されたスチル画像データを必要に応じてパ−ソナルコンピュータに供給するためにインターフェースを設けても良い。この発明の一実施例において、記録とは、撮像信号を符号化してフラシュメモリ１４３に書込むことであり、再生とは、フラシュメモリ１４３内のデータを読出し、読出しデータを復号することである。 The encoder / decoder 142 compresses the data amount to about 1/10 by encoding of JPEG, that is, adaptive DCT (Discrete Cosine Transform). A DRAM 141 is provided for processing such as blocking in JPEG. The flash memory 143 is a semiconductor memory that retains stored contents even when the power is turned off, and can be erased and rewritten electrically collectively for the entire memory or for each divided area. As the recording medium, a medium such as a semiconductor memory other than the flash memory may be used. Further, an interface may be provided to supply the compressed still image data to a personal computer as necessary. In one embodiment of the present invention, recording means encoding an imaging signal and writing it in the flash memory 143, and reproduction means reading data in the flash memory 143 and decoding read data.

上述したこの発明の一実施例について、より詳細に説明する。この一実施例では、データスイッチャ１３０の接続状態によって５種類の動作が可能とされている。これは、モニタリングモード、第１の記録モード、第２の記録モード、第１の再生モード、第２の再生モードとからなる。これらのモードは、モード切り換え信号１３１、１３２、１３３によって設定される。モード切り換え信号１３１、１３２、１３３は、図示しない記録再生系制御用のマイクロコンピュータから発生する。マイクロコンピュータ１０５によって、モード切り換え信号を発生しても良い。モニタリングモードでは、撮像画面を液晶ディスプレイ１３５に表示する。第１の記録モードでは、所望の撮像画像をＤＲＡＭ１４１に書込む。第２の記録モードでは、ＤＲＡＭ１４１に記憶された画像データを圧縮してフラッシュメモリ１４３に書込む。第１の再生モードでは、フラッシュメモリ１４３に記憶されたデータを読出し、読出しデータを復号してＤＲＡＭ１４１に書込む。第２の再生モードでは、ＤＲＡＭ１４１のデータを読出して液晶ディスプレイ１３５に表示する。 One embodiment of the present invention described above will be described in more detail. In this embodiment, five types of operations are possible depending on the connection state of the data switcher 130. This includes a monitoring mode, a first recording mode, a second recording mode, a first reproduction mode, and a second reproduction mode. These modes are set by mode switching signals 131, 132, 133. The mode switching signals 131, 132, 133 are generated from a recording / reproducing system control microcomputer (not shown). A mode switching signal may be generated by the microcomputer 105. In the monitoring mode, the imaging screen is displayed on the liquid crystal display 135. In the first recording mode, a desired captured image is written into the DRAM 141. In the second recording mode, the image data stored in the DRAM 141 is compressed and written to the flash memory 143. In the first reproduction mode, the data stored in the flash memory 143 is read, and the read data is decoded and written into the DRAM 141. In the second reproduction mode, data in the DRAM 141 is read and displayed on the liquid crystal display 135.

図６は、データスイッチャ１３０の出力点ａと入力点ｂとが接続されるモニタリングモードの接続を示す。モニタリングモードは、モード切り換え信号１３１がアクティブとなることによって設定される。モニタリングモードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をライン間引きモードで動作させる。撮像素子１０１からは、読出しがされないラインが生じ、１／６０秒周期で撮像信号が読出される。 FIG. 6 shows the connection in the monitoring mode in which the output point a and the input point b of the data switcher 130 are connected. The monitoring mode is set when the mode switching signal 131 becomes active. In the monitoring mode, the microcomputer 105 controls the CCD drive circuit 109 of the timing controller 107 to operate the image sensor 101 in the line thinning mode. A line which is not read out is generated from the image pickup element 101, and an image pickup signal is read out at a period of 1/60 second.

モニタリングモードでは、信号処理回路１０４の出力信号がデータスイッチャ１３０を介して変換回路１３４に供給され、変換回路１３４から出力される三原色信号が液晶ディスプレイ１３５に供給され、表示される。撮像素子１０１がライン間引きモードで動作するので、液晶ディスプレイ１３５が１／６０秒周期のノンインターレスの表示を行うことができる。液晶ディスプレイ１３５の表示を見て、画角の調整等を行い、記録したいスチル画像を決定することができる。ライン間引きモードのために、垂直解像度が劣化するが、撮影画像をモニタする目的にとっては問題とならない。ライン間引きモードでは、高速読出しのために動きに対する追従性が良くなる。従って、自動焦点調整、自動絞り調整等の自動制御の応答が良くなり、動画をモニタするのが容易となる。 In the monitoring mode, the output signal of the signal processing circuit 104 is supplied to the conversion circuit 134 via the data switcher 130, and the three primary color signals output from the conversion circuit 134 are supplied to the liquid crystal display 135 and displayed. Since the image sensor 101 operates in the line thinning mode, the liquid crystal display 135 can perform non-interlaced display with a 1/60 second period. By looking at the display on the liquid crystal display 135, the angle of view can be adjusted and the still image to be recorded can be determined. The vertical resolution is degraded due to the line thinning mode, but this is not a problem for the purpose of monitoring the captured image. In the line thinning mode, the followability to movement is improved for high-speed reading. Accordingly, the response of automatic control such as automatic focus adjustment and automatic aperture adjustment is improved, and it becomes easy to monitor a moving image.

なお、モニタリングモードにおいて、破線で示すデータバスに接続されるＤＲＡＭ１４１、エンコーダ／デコーダ１４２、フラッシュメモリ１４３が不動作とされる。消費電力の節約のために、これらの動作しない回路に対する電源供給がオフとされるか、あるいは動作に必要なクロックの供給を停止することが好ましい。以下に説明する他のモードにおいても、動作しない回路に対するバスが破線で示され、また、動作しない回路に対する電源供給がオフされることは、同様である。 In the monitoring mode, the DRAM 141, the encoder / decoder 142, and the flash memory 143 connected to the data bus indicated by the broken line are not operated. In order to save power consumption, it is preferable that the power supply to these non-operating circuits is turned off or the supply of clocks necessary for the operation is stopped. In other modes described below, the buses for circuits that do not operate are indicated by broken lines, and the power supply to circuits that do not operate is turned off.

図７は、スチル画像を記録する場合のモード、すなわち、データスイッチャ１３０の出力点ａと入出力点ｃとが接続される第１の記録モードの接続を示す。第１の記録モードは、モード切り換え信号１３２がアクティブとなることによって設定される。第１の記録モードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をフルフレーム読出しモードで動作させる。撮像素子１０１からは、全画素例えば３２万画素が読出され、１／３０秒周期で撮像信号が読出される。 FIG. 7 shows a mode for recording a still image, that is, a connection in the first recording mode in which the output point a and the input / output point c of the data switcher 130 are connected. The first recording mode is set when the mode switching signal 132 becomes active. In the first recording mode, the microcomputer 105 controls the CCD drive circuit 109 of the timing controller 107 to operate the image sensor 101 in the full frame readout mode. From the image sensor 101, all pixels, for example, 320,000 pixels are read out, and an image pickup signal is read out at a 1/30 second period.

撮像信号がカメラ信号処理回路１０４において処理され、データスイッチャ１３０の出力点ａおよび入出力点ｃ、並びに記録再生データバス１４０を通じてＤＲＡＭ１４１に書込まれる。メモリコントローラ１４５は、ＤＲＡＭ１４１を書込み状態にし、書込みアドレスをＤＲＡＭ１４１に対して供給する。メモリコントローラ１４５は、図示しない記録／再生系制御用のマイクロコンピュータによって制御される。１枚分のスチル画像データがＤＲＡＭ１４１に書込まれる。１／３０秒の画像データの書込みがなされる、第１の記録モードでは、液晶ディスプレイ１３５に画像を表示することができない。画像が表示されない時間を最小限とするために、書込みが終了すると、次の第２の記録モードに移行する。 The imaging signal is processed by the camera signal processing circuit 104 and written to the DRAM 141 through the output point a and the input / output point c of the data switcher 130 and the recording / reproducing data bus 140. The memory controller 145 sets the DRAM 141 to a write state and supplies a write address to the DRAM 141. The memory controller 145 is controlled by a recording / reproducing system control microcomputer (not shown). One still image data is written in the DRAM 141. In the first recording mode in which 1/30 second image data is written, an image cannot be displayed on the liquid crystal display 135. In order to minimize the time during which no image is displayed, when writing is completed, the process proceeds to the next second recording mode.

ＤＲＡＭ１４１に対する１枚分の画像データの書込みが終了すると、データスイッチャ１３０が図８に示すように、出力点ａおよび入力点ｂが接続される第２の記録モードとなる。第２の記録モードは、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、ＤＲＡＭ１４１から画像データが読出される。読出されたデータがバス１４０を介してエンコーダ／デコーダ１４２に供給される。エンコーダ／デコーダ１４２は、ＤＲＡＭ１４１から読出したデータを例えばＪＰＥＧにより圧縮する。また、圧縮されたデータがフラッシュメモリ１４３に書込まれる。このようにして、撮像画像が圧縮されて記録される。 When the writing of one image data to the DRAM 141 is completed, the data switcher 130 enters the second recording mode in which the output point a and the input point b are connected as shown in FIG. The second recording mode is set when the mode switching signal 131 becomes active. In this mode, image data is read from the DRAM 141. The read data is supplied to the encoder / decoder 142 via the bus 140. The encoder / decoder 142 compresses data read from the DRAM 141 by, for example, JPEG. In addition, the compressed data is written into the flash memory 143. In this way, the captured image is compressed and recorded.

また、第２の記録モードでは、撮像素子１０１がライン間引きモードで動作するようになされ、モニタリングモードと同様に、高速で撮像素子１０１から読出された信号がカメラ信号処理回路１０４で処理され、画像信号がデータスイッチャ１３０および変換回路１３４を介して液晶ディスプレイ１３５に供給され、画像が表示される。それによって、記録時に画像の表示が消える時間を最小限とすることができる。 In the second recording mode, the image sensor 101 is operated in the line thinning mode, and the signal read from the image sensor 101 at a high speed is processed by the camera signal processing circuit 104 in the same manner as in the monitoring mode. The signal is supplied to the liquid crystal display 135 through the data switcher 130 and the conversion circuit 134, and an image is displayed. As a result, the time during which the image display disappears during recording can be minimized.

フラッシュメモリ１４３に書込まれた画像データを再生して液晶ディスプレイ１３５により表示するのが再生モードである。図９は、データスイッチャ１３０の出力点ａおよび入力点ｂが接続され、撮像信号が液晶ディスプレイ１３５に表示される第１の再生モードの状態を示す。第１の再生モードは、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、フラッシュメモリ１４３からデータが読出され、読出しデータがエンコーダ／デコーダ１４２に供給される。 In the reproduction mode, the image data written in the flash memory 143 is reproduced and displayed on the liquid crystal display 135. FIG. 9 shows a state of the first reproduction mode in which the output point a and the input point b of the data switcher 130 are connected and the image pickup signal is displayed on the liquid crystal display 135. The first reproduction mode is set when the mode switching signal 131 becomes active. In this mode, data is read from the flash memory 143 and the read data is supplied to the encoder / decoder 142.

エンコーダ／デコーダ１４２によりデータが復号され、画像データが発生する。この画像データを書込むように、ＤＲＡＭ１４１が制御される。この場合、第１の記録モードと同一のデータ配列でもって、復号データがＤＲＡＭ１４１に書込まれるように、メモリコントローラ１４５がＤＲＡＭ１４１の書込みアドレスを制御する。読出し時のアドレス制御によって、同様のデータ配列を実現しても良い。この関係は、ＤＲＡＭ１４１から読出されたデジタル画像信号を変換回路１３４を介して液晶ディスプレイ１３５に供給し、液晶ディスプレイ１３５により表示する場合に、モニタリングモードで使用されるものと同一の構成を使用するためために必要である。第１の再生モードは、ライン間引きモードで撮像素子１０１が駆動され、撮像素子１０１の撮像画像が液晶ディスプレイ１３５に表示されている。 Data is decoded by the encoder / decoder 142 to generate image data. The DRAM 141 is controlled to write this image data. In this case, the memory controller 145 controls the write address of the DRAM 141 so that the decoded data is written to the DRAM 141 with the same data arrangement as that in the first recording mode. A similar data array may be realized by address control at the time of reading. This relationship is because when the digital image signal read from the DRAM 141 is supplied to the liquid crystal display 135 via the conversion circuit 134 and displayed on the liquid crystal display 135, the same configuration as that used in the monitoring mode is used. Is necessary for. In the first reproduction mode, the image sensor 101 is driven in the line thinning mode, and a captured image of the image sensor 101 is displayed on the liquid crystal display 135.

ＤＲＡＭ１４１に対して復号データが書込まれると、図１０に示す第２の再生モードとなる。第２の再生モードでは、データスイッチャ１３０の入出力点ｃと入力点ｂとが接続される。第２の再生モードは、モード切り換え信号１３３がアクティブとなることによって設定される。ＤＲＡＭ１４１が読出し状態とされる。そして、記録再生データバス１４０、データスイッチャ１３０、変換回路１３４を介してＤＲＡＭ１４１の読出しデータが液晶ディスプレイ１３５に供給される。従って、フラッシュメモリ１４３に記録されているデータと対応する画像を液晶ディスプレイ１３５により見ることが可能となる。この場合、フラッシュメモリ１４３に記録されているデータは、ライン間引きデータではなく、フルフレームのデータである。従って、メモリコントローラ１４５によるアドレス制御によって、撮像素子１０１がライン間引きモードで駆動される場合と同様のライン間引きを実現する。それによって、ＤＲＡＭ１４１の読出しデータを液晶ディスプレイ１３５により再生することができる。 When the decoded data is written to the DRAM 141, the second reproduction mode shown in FIG. 10 is entered. In the second playback mode, the input / output point c and the input point b of the data switcher 130 are connected. The second reproduction mode is set when the mode switching signal 133 becomes active. The DRAM 141 is set in a read state. Then, read data of the DRAM 141 is supplied to the liquid crystal display 135 via the recording / reproducing data bus 140, the data switcher 130, and the conversion circuit 134. Therefore, an image corresponding to the data recorded in the flash memory 143 can be viewed on the liquid crystal display 135. In this case, the data recorded in the flash memory 143 is not full-line data but full-frame data. Therefore, line thinning similar to the case where the image sensor 101 is driven in the line thinning mode is realized by address control by the memory controller 145. Thereby, the read data of the DRAM 141 can be reproduced by the liquid crystal display 135.

このようにしてフラッシュメモリ１４３に記憶されているスチル画像データを液晶ディスプレイ１３５により再生して見ることができる。フラッシュメモリ１４３の記憶容量、データ圧縮の方法等によって、記録できるスチル画像の枚数が決定される。フラッシュメモリ１４３は、ＩＣカードの構成とされるのが好ましい。勿論、フラッシュメモリ以外の記録媒体を使用しても良い。さらに、必要に応じて設けられたインターフェースを介して外部のパソコンに記録データを送信したり、外部記憶装置に記録データを記憶するようにしても良い。 In this way, the still image data stored in the flash memory 143 can be reproduced and viewed on the liquid crystal display 135. The number of still images that can be recorded is determined by the storage capacity of the flash memory 143, the data compression method, and the like. The flash memory 143 is preferably configured as an IC card. Of course, a recording medium other than the flash memory may be used. Furthermore, recording data may be transmitted to an external personal computer via an interface provided as necessary, or recording data may be stored in an external storage device.

上述した固体撮像素子１０１の一例について以下に説明する。図１１は、固体撮像素子例えばＣＣＤ撮像素子１の一例の概略を示す。この例では、インターライン方式を採用し、イメージエリアに２次元配列されたフォトセンサ（例えばフォトダイオード）２と、フォトセンサ２の間に設けられ、フォトセンサ２からの信号電荷を水平ＣＣＤ（水平転送部）４へ転送するための垂直ＣＣＤ（垂直転送部）３と、水平ＣＣＤ４に接続されたバッファアンプ５とを有する。フォトセンサ２には、後述するような配列の色フィルタを通った撮像光が入射する。一つのフォトセンサ２と垂直ＣＣＤ３中の１ビットとが対応するように構成され、フォトセンサ２からの信号電荷を混合することなく垂直ＣＣＤ３に読出し、全画素の信号を順次、水平ＣＣＤ４に転送することが可能とされている。そして、水平ＣＣＤ４を駆動することによって、信号をフローティングディフュージョンエリアに転送し、順次電圧に変換してバッファアンプ５を通して出力する。 An example of the solid-state image sensor 101 described above will be described below. FIG. 11 schematically shows an example of a solid-state image sensor, for example, a CCD image sensor 1. In this example, an interline method is adopted, and a signal charge from the photosensor 2 provided between the photosensors (for example, photodiodes) 2 two-dimensionally arranged in the image area and the photosensor 2 is horizontal CCD (horizontal). A vertical CCD (vertical transfer unit) 3 for transferring to a transfer unit 4, and a buffer amplifier 5 connected to the horizontal CCD 4. Imaging light that has passed through an array of color filters, which will be described later, is incident on the photosensor 2. One photo sensor 2 and one bit in the vertical CCD 3 correspond to each other, and signal charges from the photo sensor 2 are read to the vertical CCD 3 without mixing, and signals of all pixels are sequentially transferred to the horizontal CCD 4. It is possible. Then, by driving the horizontal CCD 4, the signal is transferred to the floating diffusion area, sequentially converted into a voltage, and output through the buffer amplifier 5.

撮像素子１の単位画素の平面図を図１２に示し、垂直ＣＣＤ３の構造を図１３に示す。垂直ＣＣＤ３は、例えば３層電極３相駆動の構成とされている。図１２において、６は、垂直ＣＣＤ３の転送チャンネル、７は、画素間、並びに画素および転送チャンネル間を分離するためのチャンネルストッパ、８、９および１０は、それぞれ垂直ＣＣＤ３の転送ゲートである。転送ゲート９は、読出しゲートを兼用している。なお、図１２では、遮光膜等についての図示が省略されている。転送ゲート８、９、１０は、図１３に示すように、第１、第２および第３の多結晶シリコン電極を加工して形成される。これらの転送ゲート８、９、１０に対して、垂直駆動パルスφＶ₁、φＶ₂、φＶ₃がそれぞれ印加される。 A plan view of a unit pixel of the image sensor 1 is shown in FIG. 12, and a structure of the vertical CCD 3 is shown in FIG. The vertical CCD 3 has, for example, a three-layer electrode three-phase drive configuration. In FIG. 12, 6 is a transfer channel of the vertical CCD 3, 7 is a channel stopper for separating pixels and between the pixel and the transfer channel, and 8, 9 and 10 are transfer gates of the vertical CCD 3, respectively. The transfer gate 9 also serves as a read gate. In FIG. 12, illustration of the light shielding film and the like is omitted. As shown in FIG. 13, the transfer gates 8, 9, and 10 are formed by processing the first, second, and third polycrystalline silicon electrodes. Vertical drive pulses φV ₁ , φV ₂ , and φV ₃ are applied to these transfer gates 8, 9, and 10, respectively.

フォトセンサ２から垂直ＣＣＤ３へ信号を読出す場合、フォトセンサ２に隣接した転送ゲート、すなわち、読出しゲートを兼ねる転送ゲート９に対して、垂直転送クロックφＶ₂のハイレベルより高いバイアス電圧（読出しパルスと称する）を印加する。ゲート９に読出しパルスを供給すると、１つの画素が垂直ＣＣＤ３の１ビットに対応しているので、全てのフォトセンサ２から信号電荷が垂直ＣＣＤ３に読出される。水平ＣＣＤ５は、転送クロックφＨ₁、φＨ₂によって、１ライン分のデータを出力する。なお、水平ＣＣＤ５としては、例えば複合チャンネル水平ＣＣＤ構造を採用することができる。その場合、出力部が２チャンネルの構成とされる。 When a signal is read from the photo sensor 2 to the vertical CCD 3, a bias voltage (read pulse) higher than the high level of the vertical transfer clock φV ₂ is applied to the transfer gate adjacent to the photo sensor 2, that is, the transfer gate 9 also serving as a read gate. Applied). When a read pulse is supplied to the gate 9, one pixel corresponds to one bit of the vertical CCD 3, so that signal charges are read from all the photosensors 2 to the vertical CCD 3. The horizontal CCD 5 outputs data for one line by the transfer clocks φH ₁ and φH ₂ . As the horizontal CCD 5, for example, a composite channel horizontal CCD structure can be adopted. In that case, the output unit has a two-channel configuration.

上述したＣＣＤ撮像素子は、全画素の信号を順次出力することができるので、電子スチルカメラ、画像取込みに適している。しかしながら、インターレース出力を行う同じ画素数のビデオカメラ用撮像素子と比較して、１画面（画面の上端から下端まで）の出力時間が倍となる。この例では、上述したように、モニタ用の信号、自動焦点制御等の自動制御のための撮像信号として、水平ライン数を減少させることによって、１画面の撮像信号を高速に出力するものであり、且つ、このライン間引きの場合に、カラーフィルタの配列で規定される垂直方向の色シーケンスが崩れることがないようにするものである。一方、撮影した画像をフラッシュメモリに取り込む場合では、フルフレームの撮像信号（ライン数の間引きがされてない撮像信号）を出力する。ライン間引きの場合でも、色シーケンスがフルフレームの場合と同一のため、信号処理回路が複雑となる問題を回避できる。 The CCD image pickup device described above is suitable for electronic still cameras and image capture because it can sequentially output signals of all pixels. However, the output time of one screen (from the upper end to the lower end of the screen) is doubled compared to an image sensor for video cameras having the same number of pixels that performs interlaced output. In this example, as described above, as a monitor signal and an imaging signal for automatic control such as automatic focus control, the number of horizontal lines is reduced to output an imaging signal for one screen at high speed. In addition, in the case of this line thinning, the color sequence in the vertical direction defined by the color filter arrangement is not disturbed. On the other hand, when a captured image is taken into the flash memory, a full frame imaging signal (an imaging signal in which the number of lines is not thinned) is output. Even in the case of line thinning, since the color sequence is the same as that in the case of a full frame, the problem that the signal processing circuit becomes complicated can be avoided.

上述した全画素読出し可能な撮像素子において、ライン数を間引くためには、フォトセンサ２からの信号電荷の読出しに寄与している転送ゲート（第２の多結晶シリコン）９に対する配線を二つに分けることによって可能である。色シーケンスの繰り返し周期をＮで表す。図１４は、（Ｎ＝２）の場合の一例である。 In the above-described image pickup device capable of reading all pixels, in order to thin out the number of lines, two wirings for the transfer gate (second polycrystalline silicon) 9 contributing to reading of the signal charges from the photosensor 2 are used. It is possible by dividing. The repetition period of the color sequence is represented by N. FIG. 14 shows an example in the case of (N = 2).

単板式のＣＣＤ撮像素子の色フィルタの配列としては、Ｒ（赤色を通すフィルタ）、Ｇ（緑色を通すフィルタ）、Ｂ（青色を通すフィルタ）を図１５Ａに示すように配列したもの（ベイヤ方式）が知られている。全体の半分の画素に感度の高いＧのフィルタを配置する。また、図１５Ｂに示す補色市松配置の色フィルタも知られている。図１５Ｂにおいて、Ｙｅ、Ｃｙ、Ｍｇは、それぞれ黄色、シアン、マゼンタのフィルタである。図１５Ｂに示す補色フィルタは、原色フィルタに比して解像度を高めることができるので、ビデオカメラに採用されることが多い。一方、図１５Ａに示す原色フィルタは、色の再現性の点で優れ、電子スチルカメラに採用されることが多い。 As the arrangement of the color filters of the single-plate CCD image sensor, R (filter that passes red), G (filter that passes green), and B (filter that passes blue) are arranged as shown in FIG. 15A (Bayer method) )It has been known. A high-sensitivity G filter is arranged in half of the pixels. Also, a complementary color checkered color filter shown in FIG. 15B is known. In FIG. 15B, Ye, Cy, and Mg are yellow, cyan, and magenta filters, respectively. The complementary color filter shown in FIG. 15B can be increased in resolution as compared with the primary color filter, and is therefore often used in video cameras. On the other hand, the primary color filter shown in FIG. 15A is excellent in terms of color reproducibility and is often employed in an electronic still camera.

この発明における撮像素子として、原色フィルタを有する単板式撮像素子、および補色フィルタを有する単板式撮像素子の何れを使用しても良い。さらに、図示しないが、Ｇのフィルタを備えた撮像素子と、ＲおよびＢのフィルタの配列を備えた撮像素子とからなり、二つの撮像素子の位置関係が水平方向、または水平および垂直方向に画素ピッチの１／２だけずらされた方式の撮像素子（いわゆる空間絵素ずらし方式）を使用しても良い。 As the image sensor in the present invention, any of a single-plate image sensor having a primary color filter and a single-plate image sensor having a complementary color filter may be used. Further, although not shown in the drawing, the image pickup device includes an image pickup device having a G filter and an image pickup device having an array of R and B filters, and the positional relationship between the two image pickup devices is a pixel in the horizontal direction or in the horizontal and vertical directions. You may use the image pick-up element (what is called a space picture element shift system) of the system shifted only 1/2 of the pitch.

図１５Ａの配列は、垂直方向の色シーケンスの繰り返し周期Ｎが（Ｎ＝２）であり、図１５Ｂの配列は、（Ｎ＝４）である。図１４は、（Ｎ＝２）であって、垂直方向の１列のフォトセンサ２、垂直ＣＣＤ３および垂直ＣＣＤ３のゲートのバス配線を１列の一部に関して示した模式図である。フォトセンサ２のうちで左上コーナーに斜線部を設けたものが一つの色フィルタ例えばＧのフィルタに対応し、斜線部を設けないものが他の色フィルタ、例えばＢのフィルタと対応している。垂直ＣＣＤ３は、上述したように３層電極３相駆動形式のもので、撮像素子の開口画素に隣接して３ビットのゲートを有する。また、垂直ＣＣＤ３は、繰り返し単位Ａと、繰り返し単位Ｂを含む。繰り返し単位Ａは、ゲート２１、２２、２３からなり、繰り返し単位Ｂは、ゲート３１、３２、３３からなる。ゲート２２および３２が転送兼読出しゲートである。４１、４２、４２´、４３は、垂直転送用の駆動パルスφＶ₁、φＶ₂、φＶ₂´、φＶ₃がそれぞれ供給されるバス配線である。 In the arrangement of FIG. 15A, the repetition period N of the color sequence in the vertical direction is (N = 2), and the arrangement of FIG. 15B is (N = 4). FIG. 14 is a schematic diagram showing (N = 2) one row of the photosensors 2 in the vertical direction, the vertical CCDs 3 and the gate wirings of the gates of the vertical CCDs 3 with respect to a part of one column. Among the photosensors 2, the one provided with a hatched portion in the upper left corner corresponds to one color filter, for example, a G filter, and the one not provided with the hatched portion corresponds to another color filter, for example, a B filter. As described above, the vertical CCD 3 is of the three-layer electrode, three-phase drive type, and has a 3-bit gate adjacent to the aperture pixel of the image sensor. The vertical CCD 3 includes a repeating unit A and a repeating unit B. The repeating unit A includes gates 21, 22, and 23, and the repeating unit B includes gates 31, 32, and 33. Gates 22 and 32 are transfer and read gates. Reference numerals 41, 42, 42 ′, and 43 denote bus wirings to which drive pulses φV ₁ , φV ₂ , φV ₂ ′, and φV ₃ for vertical transfer are respectively supplied.

ゲート２１および３１がバス配線４１に接続され、ゲート２３および３３がバス配線４３に接続される。これらのバス配線４１、４３には、それぞれ駆動パルスφＶ₁、φＶ₃が供給される。駆動パルスφＶ₂に関して、２本のバス４２および４２´が設けられる。繰り返し単位Ａとは、転送兼読出しゲート２２がバス４２と接続されるものを指し、繰り返し単位Ｂは、転送兼読出しゲート３２がバス４２´と接続されるものを指す。なお、図１４では、簡略化のために、バスラインが片側しか描かれていないが、両側にバスラインを配して、両側駆動するのが普通である。 Gates 21 and 31 are connected to bus line 41, and gates 23 and 33 are connected to bus line 43. Drive pulses φV ₁ and φV ₃ are supplied to the bus lines 41 and 43, respectively. For the drive pulse φV ₂ , two buses 42 and 42 ′ are provided. The repeat unit A indicates that the transfer / read gate 22 is connected to the bus 42, and the repeat unit B indicates that the transfer / read gate 32 is connected to the bus 42 '. In FIG. 14, for simplification, the bus line is drawn only on one side, but it is normal to drive the both sides by arranging the bus line on both sides.

上述の撮像素子では、ライン間引きのために、繰り返し単位Ａがｍ（ｍ＝１，２，３，・・・）並んだＡ×ｍ（ビット）の範囲と、繰り返し単位ＢがＮ×ａ並んだＢ×Ｎ×ａ（ビット）の範囲とが垂直方向に交互に形成される。図１４に示す例は、（Ｎ＝２、ｍ＝３、ａ＝２）の場合である。なお、ｍおよびａの値を任意に選ぶことができるが、ｍおよびａを大きな値としても、（ｍ＋Ｎ×ａ）が有効画素数の垂直画素数より小さいことが必要である。 In the above-described imaging device, for line thinning, a range of A × m (bits) in which repeating units A are arranged m (m = 1, 2, 3,...) And repeating units B are arranged N × a. A range of B × N × a (bits) is alternately formed in the vertical direction. The example shown in FIG. 14 is a case of (N = 2, m = 3, a = 2). Although the values of m and a can be arbitrarily selected, even if m and a are large values, it is necessary that (m + N × a) is smaller than the number of effective pixels.

上述した撮像素子において、第１の動作モード、すなわち、全画素の信号を読出すフルフレームの動作時では、垂直ＣＣＤ３の繰り返し単位ＡおよびＢの両者にフォトセンサ２から信号が読出される。そのためには、バス配線４２および４２´を通じてゲート２２および３２の両者に読出しパルスが印加される。この場合、色フィルタの配列の順序と対応する色シーケンス、例えばＧ、Ｂ、Ｇ、Ｂ、・・・のシーケンスでもって色信号が出力される。 In the imaging device described above, in the first operation mode, that is, in the full frame operation in which the signals of all the pixels are read out, signals are read from the photosensor 2 to both the repeating units A and B of the vertical CCD 3. For this purpose, a read pulse is applied to both gates 22 and 32 through bus lines 42 and 42 '. In this case, color signals are output in a color sequence corresponding to the order of arrangement of the color filters, for example, a sequence of G, B, G, B,.

一方、第２の動作モード、すなわち、ライン間引き動作時では、繰り返し単位Ａのゲート２２にのみバス配線４２を介して読出しパルスが印加される。従って、Ａ×ｍ（ビット）の範囲から信号が読出され、Ｂ×Ｎ×ａ（ビット）の範囲からは、信号が読出されない。図１４の例では、（ｍ＝３）ラインから信号が発生し、（Ｎ×ａ＝４）ラインから信号が発生しない。間引かれるライン数がＮの整数倍であるので、ライン間引きの場合の撮像出力の色信号の順序と対応する色シーケンスは、フルフレーム読出しと同一の関係に保たれる。 On the other hand, in the second operation mode, that is, in the line thinning operation, the read pulse is applied only to the gate 22 of the repeating unit A through the bus wiring 42. Therefore, a signal is read from the range of A × m (bit), and no signal is read from the range of B × N × a (bit). In the example of FIG. 14, a signal is generated from the (m = 3) line, and no signal is generated from the (N × a = 4) line. Since the number of lines to be thinned is an integer multiple of N, the color sequence corresponding to the order of the color signals of the imaging output in the case of line thinning is kept in the same relation as full frame reading.

図１６は、撮像素子を駆動する場合のタイミングを示し、図１６Ａがフルフレームの読出しを行う場合のタイミングを示す。各水平ブランキング期間において、３相の駆動パルスφＶ₁、φＶ₂、φＶ₂´、φＶ₃が垂直ＣＣＤ３の繰り返し単位Ａのゲート２１、２２および２３と、繰り返し単位Ｂのゲート３１、３２および３３にそれぞれ供給される。また、読出しパルスもゲート２２および３２との両者に対して印加される。それによって、全てのフォトセンサから信号電荷が垂直ＣＣＤ３に対して読出される。図１６Ｂの詳細なタイミングチャートに示すように、水平ブランキング期間内で発生する駆動パルスφＶ₁、φＶ₂、φＶ₂´、φＶ₃が３相のものであり、ラインシフト期間によって１ラインシフトがなされる。フルフレームの読出し時には、各水平ブランキング期間内で、１ラインシフトがなされる。 FIG. 16 shows the timing when the image sensor is driven, and FIG. 16A shows the timing when full frame reading is performed. In each horizontal blanking period, three-phase drive pulses φV ₁ , φV ₂ , φV ₂ ′, and φV ₃ are gates 21, 22, and 23 of the repeating unit A and gates 31, 32, and 33 of the repeating unit B of the vertical CCD _3. Are supplied respectively. A read pulse is also applied to both gates 22 and 32. Thereby, signal charges are read out from all the photosensors to the vertical CCD 3. As shown in the detailed timing chart of FIG. 16B, the drive pulses φV ₁ , φV ₂ , φV ₂ ′, and φV ₃ generated in the horizontal blanking period are three-phase, and one line shift is caused by the line shift period. Made. When reading out a full frame, one line shift is performed within each horizontal blanking period.

一方、ライン間引きの読出しの場合では、図１６Ｃに示すように、繰り返し単位Ａのゲート２２にのみ読出しパルスが印加される。それによって、繰り返し単位Ａに隣接したフォトセンサのみから信号電荷が読出される。ライン間引きの場合では、間引かれたラインでは、信号電荷が読出されず、無信号となる。この無信号期間は、後述するように、ラインシフト動作を複数回繰り返すことによって除去できる。 On the other hand, in the case of line thinning readout, a readout pulse is applied only to the gate 22 of the repeating unit A as shown in FIG. 16C. Thereby, signal charges are read out only from the photosensor adjacent to the repeating unit A. In the case of line thinning, no signal charge is read out in the thinned line, and no signal is generated. This non-signal period can be removed by repeating the line shift operation a plurality of times, as will be described later.

図１７Ａは、（ｍ＝１，ａ＝１）の場合の垂直ＣＣＤ３のチャンネル６のポテンシャルの模式図である。図面に向かって右側から左側の水平ＣＣＤ４に向かう方向が垂直転送方向である。チャンネル６には、ライン間引き動作時に、信号電荷Ｑｓを含むパケット５１と空パケット５２とが存在する。各ラインから信号電荷Ｑｓを出力するためには、空パケット５２の分、ラインシフトの回数を増やし、それによって信号電荷と無信号とを水平ＣＣＤ４において混合し、無信号の期間を除去する。各水平ブランキング期間内でなされるラインシフトの回数は、下記の関係を満足するように選定すれば良い。 FIG. 17A is a schematic diagram of the potential of the channel 6 of the vertical CCD 3 in the case of (m = 1, a = 1). The direction from the right side to the left horizontal CCD 4 in the drawing is the vertical transfer direction. The channel 6 includes a packet 51 including a signal charge Qs and an empty packet 52 during the line thinning operation. In order to output the signal charge Qs from each line, the number of line shifts is increased by the empty packet 52, whereby the signal charge and the non-signal are mixed in the horizontal CCD 4 and the non-signal period is removed. The number of line shifts performed within each horizontal blanking period may be selected so as to satisfy the following relationship.

１（：出力する信号電荷Ｑｓを含むパケットの数）＋Ｘ（前にある信号電荷Ｑｓを含まないパケットの数）以上で、１＋Ｘ＋（Ｎ×ａ）（：後ろにある信号電荷Ｑｓを含まないパケットの数）以下
それによって、（Ｘ＝０）の場合では、信号電荷のみを水平ＣＣＤ４に対して転送し、（Ｘ≠０）の場合では、信号電荷を含むパケットと１以上の信号電荷を含まないパケットとを水平ＣＣＤ４に対して転送する。 1 (: number of packets including signal charge Qs to be output) + X (number of packets not including signal charge Qs in front) and 1 + X + (N × a) (: packets not including signal charge Qs in back) Accordingly, in the case of (X = 0), only the signal charge is transferred to the horizontal CCD 4, and in the case of (X ≠ 0), the packet including the signal charge and one or more signal charges are included. No packet is transferred to the horizontal CCD 4.

上述の条件によって、信号電荷を水平ＣＣＤ４に対して転送し、また、無信号のラインを圧縮することができる。実際には、空パケットの電荷が０ではなく、スミア信号や暗信号等の不要信号電荷Ｑｎが含まれている。各水平ブランキング期間でなされるラインシフトの数が異なると、不要信号電荷Ｑｎの加算される回数が異なるために、不要信号が含まれる量がラインによって異なる。それによって、ラインクロールや、色ずれなどの画質劣化が発生するおそれがある。 Under the above-described conditions, signal charges can be transferred to the horizontal CCD 4 and a non-signal line can be compressed. Actually, the charge of the empty packet is not 0, and unnecessary signal charges Qn such as a smear signal and a dark signal are included. If the number of line shifts performed in each horizontal blanking period is different, the number of times unnecessary signal charge Qn is added differs, so that the amount of unnecessary signal included varies from line to line. As a result, image quality degradation such as line crawl and color shift may occur.

この問題を解決するには、各水平ブランキング期間でなされるラインシフトの回数を一定とすれば良い。限定された条件、すなわち、（ｍ＝１、またはｍ＝２）の場合では、垂直ＣＣＤ３のラインシフトの数を（（Ｎ×ａ／ｍ）＋１）とすることによって、各ラインの信号電荷Ｑｓに対して加算される信号電荷Ｑｓを含まないパケットの数を一定とすることができる。これによって、上述した画質劣化の発生を防止することができる。 In order to solve this problem, the number of line shifts performed in each horizontal blanking period may be constant. In the case of a limited condition, that is, (m = 1 or m = 2), the number of line shifts of the vertical CCD 3 is set to ((N × a / m) +1), whereby the signal charge Qs of each line is set. The number of packets not including the signal charge Qs added to can be made constant. As a result, the above-described image quality deterioration can be prevented.

図１７Ｂは、（Ｎ＝２、ｍ＝１、ａ＝１）の場合の垂直ＣＣＤ３のチャンネル６のポテンシャルの模式図である。この例では、（Ｎ×ａ／ｍ＝２）となり、ラインシフトの回数を３回とすることによって、各ラインにおいて加算される信号電荷Ｑｓを含まないパケットの数を一定とすることができる。また、図１７Ｃは、（Ｎ＝２、ｍ＝２、ａ＝１）の場合を示す。この場合では、（Ｎ×ａ／ｍ＝１）となり、ラインシフトの回数を２回とすれば良い。さらに、ｍ＞２の場合でも、スミア信号や暗信号のレベルを充分に小さくすることができれば、問題は生じない。 FIG. 17B is a schematic diagram of the potential of the channel 6 of the vertical CCD 3 in the case of (N = 2, m = 1, a = 1). In this example, (N × a / m = 2), and by setting the number of line shifts to three, the number of packets not including the signal charge Qs added in each line can be made constant. FIG. 17C shows the case of (N = 2, m = 2, a = 1). In this case, (N × a / m = 1), and the number of line shifts may be two. Further, even when m> 2, there is no problem if the level of the smear signal or the dark signal can be sufficiently reduced.

上述したＣＣＤ撮像素子は、ライン数を減少することができるので、垂直ＣＣＤ３の繰り返し単位Ａの並ぶ数ｍ、繰り返し単位Ｂの並ぶ数Ｎ×ａの値を選ぶことによって、１フィールドのテレビジョンの水平走査線数以下に出力撮像信号のライン数を抑えることができる。ベイヤ方式の色フィルタ配列のような（Ｎ＝２）の場合を例に出力ライン数のいくつかの例を説明する。 The above-described CCD image pickup device can reduce the number of lines. Therefore, by selecting the value of the number m of repeating units A arranged in the vertical CCD 3 and the value N × a of repeating units B, the value of a one-field television can be obtained. The number of lines of the output imaging signal can be suppressed to the number of horizontal scanning lines or less. Several examples of the number of output lines will be described by taking the case of a Bayer color filter array (N = 2) as an example.

図１８に示すように、有効画素数（：垂直×水平）が（４８０×６４０）のＶＧＡ(Video Graphics Array)対応の撮像素子に対してこの発明を適用した場合では、（ａ＝１、ｍ＝２）とされる。従って、ライン間引きモードでは、出力ライン数を半分の２４０ラインとできる。図１９に示すように、有効画素数が（７６８×１０２４）の撮像素子では、（ｍ＝１、ａ＝１）とすることによって、出力ライン数を２５６ラインとできる。図２０に示すように、有効画素数が（１０２４×１２８０）の撮像素子では、（ｍ＝１、ａ₁＝１、ａ₂＝２）とすることによって、出力ライン数を２５６ラインとできる。ａ₁およびａ₂は、交互に使用される。 As shown in FIG. 18, when the present invention is applied to a VGA (Video Graphics Array) compatible image sensor having an effective pixel count (vertical × horizontal) of (480 × 640), (a = 1, m = 2). Therefore, in the line thinning mode, the number of output lines can be reduced to a half of 240 lines. As shown in FIG. 19, in an image sensor with the number of effective pixels (768 × 1024), by setting (m = 1, a = 1), the number of output lines can be 256 lines. As shown in FIG. 20, in an imaging device with the number of effective pixels (1024 × 1280), by setting (m = 1, a ₁ = 1, a ₂ = 2), the number of output lines can be 256 lines. a ₁ and a ₂ are used alternately.

図１８、図１９および図２０にそれぞれ示す何れの場合でも、出力ライン数を例えばＮＴＳＣ方式の１フィールドのライン数（２６２．５）より少なくすることができる。従って、色シーケンスおよび画角をフルフレーム読出しモードと同一の関係を保持して、ライン間引きモードの撮像信号をより高速に出力することができる。それによって、ＶＲＡＭ、あるいはフレームメモリを使用することなしに、液晶モニタに撮像画面を表示することができる。なお、画角とは、撮影した時に撮像素子に映る範囲がレンズの光軸を中心に張る角度のことである。 In any of the cases shown in FIGS. 18, 19 and 20, the number of output lines can be made smaller than the number of lines per field (262.5) of the NTSC system, for example. Therefore, it is possible to output the image signal in the line thinning mode at a higher speed while maintaining the same relationship between the color sequence and the angle of view as in the full frame readout mode. Thereby, an imaging screen can be displayed on the liquid crystal monitor without using a VRAM or a frame memory. Note that the angle of view is an angle at which the range reflected on the image sensor when taking a picture is centered on the optical axis of the lens.

なお、上述した一実施例における撮像素子の具体的構成は、一例であって、この発明は、これ以外の固体撮像素子を使用することができる。例えば垂直ＣＣＤが２層電極４相駆動の構造でも良く、また、インターライン方式以外の方式の撮像素子、さらに、ＣＣＤ以外を使用した固体撮像素子であっても良い。さらに、固体撮像素子を駆動するモードとして、読出しパルスφＶ₂´を印加し、読出しパルスφＶ₂を印加しない第３の動作モードを設定するようにしても良い。 The specific configuration of the image sensor in the above-described embodiment is merely an example, and other solid-state image sensors can be used in the present invention. For example, the vertical CCD may have a structure of a two-layer electrode four-phase drive, an image sensor other than the interline system, and a solid-state image sensor using other than the CCD. Furthermore, as a mode for driving the solid-state imaging device, a third operation mode in which the read pulse φV ₂ ′ is applied and the read pulse φV ₂ is not applied may be set.

また、この発明は、上述した構造の撮像素子に限定されず、全画素読出しモードと読出し画素数を減少させたモードとを選択することが可能な撮像素子を使用することができる。 In addition, the present invention is not limited to the image sensor having the above-described structure, and an image sensor that can select an all-pixel readout mode and a mode in which the number of readout pixels is reduced can be used.

以上説明したように、この発明によれば、垂直解像度の良好なスチル画像を全画素を読出すフルフレームの撮像モードによって得ることができ、また、液晶ディスプレイ等の表示に使用する場合では、ライン間引きの撮像モードによって、撮像信号を高速に出力することができる。従って、ＶＲＡＭを設けなくても撮像信号をモニタに表示することができる。また、高速で撮像信号を出力できることにより、オートフォーカス等の自動制御装置の応答を速くすることができる。さらに、コマ数が多くなるので、モニタ画像の動きが滑らかになる利点がある。 As described above, according to the present invention, a still image with good vertical resolution can be obtained by a full-frame imaging mode in which all pixels are read out. An imaging signal can be output at high speed by the thinning imaging mode. Therefore, the image pickup signal can be displayed on the monitor without providing the VRAM. Further, since the imaging signal can be output at a high speed, the response of an automatic control device such as autofocus can be accelerated. Furthermore, since the number of frames increases, there is an advantage that the monitor image moves smoothly.

また、この発明では、記録時に、画像信号をメモリ（ＤＲＡＭ）に書込む期間以外では、撮像信号を表示するので、表示が消える期間を最小限とすることができる。さらに、再生時に、記録媒体からデータを読出している期間、撮像信号を表示装置に供給するので、表示が消える期間を記録時と同様に最小限とすることができる。 Further, in the present invention, since the image pickup signal is displayed during recording other than the period in which the image signal is written in the memory (DRAM), the period during which the display disappears can be minimized. Furthermore, since the image pickup signal is supplied to the display device during the reproduction of data from the recording medium, the display disappearance period can be minimized as in the recording.

さらに、この発明では、カメラ信号処理回路から出力されるコンポーネント信号をクロック周波数をのせかえることによって、多重化することができ、その後段の信号処理のために配されるデータバスのビット幅を小さくすることができる。それによって、クロストーク等の信号劣化を抑えることができ、また、メモリのサイズを小とでき、メモリの消費電力を低減することができる。 Furthermore, in the present invention, the component signal output from the camera signal processing circuit can be multiplexed by changing the clock frequency, and the bit width of the data bus arranged for subsequent signal processing can be reduced. can do. Accordingly, signal deterioration such as crosstalk can be suppressed, the size of the memory can be reduced, and the power consumption of the memory can be reduced.

この発明の一実施例の構成を示すブロック図である。It is a block diagram which shows the structure of one Example of this invention. この発明の一実施例中のカメラ信号処理回路の一例のブロック図である。It is a block diagram of an example of the camera signal processing circuit in one Example of this invention. カメラ信号処理回路中のマルチプレクサの部分のブロック図である。It is a block diagram of the part of the multiplexer in a camera signal processing circuit. マルチプレクサの一例のブロック図である。It is a block diagram of an example of a multiplexer. マルチプレクサの動作を示すタイミングチャートである。It is a timing chart which shows operation | movement of a multiplexer. この発明の一実施例のモニタリングモードの接続関係を示すブロック図である。It is a block diagram which shows the connection relation of the monitoring mode of one Example of this invention. この発明の一実施例の第１の記録モードの接続関係を示すブロック図である。FIG. 3 is a block diagram showing a connection relationship in a first recording mode according to an embodiment of the present invention. この発明の一実施例の第２の記録モードの接続関係を示すブロック図である。FIG. 6 is a block diagram showing a connection relationship in a second recording mode according to an embodiment of the present invention. この発明の一実施例の第１の再生モードの接続関係を示すブロック図である。It is a block diagram which shows the connection relation of the 1st reproduction | regeneration mode of one Example of this invention. この発明の一実施例の第２の再生モードの接続関係を示すブロック図である。It is a block diagram which shows the connection relation of the 2nd reproduction | regeneration mode of one Example of this invention. この発明に使用できる撮像素子の一例の概略的構成を示す略線図である。It is a basic diagram which shows schematic structure of an example of the image pick-up element which can be used for this invention. 撮像素子の一例の１画素の部分の拡大平面図である。It is an enlarged plan view of a 1-pixel portion of an example of an image sensor. 撮像素子の一例の垂直ＣＣＤの構造を示す略線図である。It is a basic diagram which shows the structure of vertical CCD of an example of an image pick-up element. 撮像素子の一例の垂直１列のバス配線を示す略線図である。It is a basic diagram which shows the bus wiring of 1 vertical line of an example of an image pick-up element. 撮像素子の一例に使用される色フィルタの配列の一例および他の例を示す略線図である。It is a basic diagram which shows an example of the arrangement | sequence of the color filter used for an example of an image pick-up element, and another example. 撮像素子の一例を駆動するための駆動パルスのタイミングチャートである。It is a timing chart of the drive pulse for driving an example of an image sensor. 撮像素子の一例における垂直ＣＣＤのポテンシャルを模式的に示す略線図である。It is a basic diagram which shows typically the potential of vertical CCD in an example of an image sensor. 撮像素子の具体的な一例を示す略線図である。It is a basic diagram which shows a specific example of an image pick-up element. 撮像素子の具体的な他の例を示す略線図である。It is a basic diagram which shows the other specific example of an image pick-up element. 撮像素子の具体的なさらに他の例を示す略線図である。It is a basic diagram which shows other specific example of an image pick-up element. 従来の撮像素子の説明に用いる略線図である。It is a basic diagram used for description of the conventional image sensor. 先に提案されている撮像素子の説明に用いる略線図である。It is a basic diagram used for description of the image pick-up element proposed previously. 撮像素子の出力と液晶モニタの表示との関係を示す略線図である。It is a basic diagram which shows the relationship between the output of an image pick-up element, and the display of a liquid crystal monitor. 撮像素子から発生した撮像信号を液晶モニタに供給する場合の構成を示すブロック図である。It is a block diagram which shows the structure in the case of supplying the image pick-up signal generated from the image pick-up element to a liquid crystal monitor.

Explanation of symbols

２フォトセンサ
３垂直ＣＣＤ
４水平ＣＣＤ
６垂直ＣＣＤのチャンネル
１０１撮像素子
１０４カメラ信号処理回路
１０５マイクロコンピュータ
１０７タイミングコントローラ
１３０データスイッチャ
１３５液晶ディスプレイ
１４１ＤＲＡＭ
１４２エンコーダ／デコーダ
１４３フラッシュメモリ 2 Photosensor 3 Vertical CCD
4 Horizontal CCD
6 Vertical CCD channel 101 Image sensor 104 Camera signal processing circuit 105 Microcomputer 107 Timing controller 130 Data switcher 135 Liquid crystal display 141 DRAM
142 Encoder / Decoder 143 Flash Memory

Claims

An imaging device capable of selecting a first imaging mode for reading out the first number of pixels and a second imaging mode for reading out a second number of pixels smaller than the first number of pixels , Imaging means for imaging and outputting as an image signal;
Display means for displaying the image signal;
Memory means for temporarily storing an image signal output by the imaging means;
Compression processing means for performing processing for compressing the image signal and recording it on a recording medium;
Controls the connection relation between the image pickup means and the display means, the connection relation between the image pickup means and the memory means, and the connection relation between the memory means and the compression processing means, and controls the image pickup mode of the image pickup device. Control means ,
The control means includes
When recording the image signal output by the imaging unit as a still image on a recording medium, the first imaging unit and the display unit are disconnected and the first imaging unit and the memory unit are connected . The mode is shifted to a recording mode, and the image sensor is controlled to operate in the first imaging mode, and the image signal is stored in the memory unit as a still image , and the image signal is stored in the memory unit. Upon completion, the connection between the imaging unit and the memory unit is canceled, the imaging unit and the display unit are connected, and the memory unit and the compression processing unit are connected to each other. shifts to recording mode, the image pickup element and controls so as to operate in the second imaging mode, the image signal stored in said memory means to said compression means Compressed to an imaging apparatus for recording on the recording medium.

The compression processing means has a function of reproducing and decoding the image signal compressed from the recording medium,
The control means includes
Further controlling the connection relationship between the memory means and the display means,
When reproducing the image signal from the recording medium, the image capturing unit and the display unit are connected, and the compression processing unit and the memory unit are connected to shift to the first reproduction mode. The image sensor is controlled to operate in the second imaging mode, and the image signal decoded by the compression processing unit is stored in the memory unit, and the image signal is stored in the memory unit in response to the end of the storage of the image signal. The connection between the imaging means and the display means, and the connection between the compression processing means and the memory means are released, and the memory means and the display means are connected to enter the second reproduction mode. 2. The imaging apparatus according to claim 1, wherein the image signal transferred to and stored in the memory means is displayed on the display means .

It said imaging means, and the image pickup device, signal processing means and the image pickup apparatus 請 Motomeko 1 wherein Ru provided with which performs signal processing on an output signal of the image pickup device outputs the image signal.