JP4396425B2

JP4396425B2 - 固体撮像装置及び信号処理方法

Info

Publication number: JP4396425B2
Application number: JP2004201014A
Authority: JP
Inventors: 靖二郎稲葉; 健二田中; 啓松井; 豊米田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-07-07
Filing date: 2004-07-07
Publication date: 2010-01-13
Anticipated expiration: 2024-07-07
Also published as: CN101232576A; CN101232576B; CN1719878A; EP1615424A1; US7701620B2; JP2006025146A; US20060007504A1; KR20060049870A; CN100380936C

Description

本発明は、Ｘ−Ｙアドレス型固体撮像素子により被写体を撮像する固体撮像装置及び固体撮像素子の信号処理方法に関する。

ＣＭＯＳ（complementary metal oxide semiconductor）センサに代表されるＸ−Ｙアドレス型の固体撮像素子１は、図１１に示すように多数の画素が行列状に配列されており、この画素部５２の各行（以下、ラインという。）を順に選択するための垂直走査回路５４と、画素部５２の各列（以下、カラムという。）を順に選択するための水平走査回路５９と、信号を出力するための出力回路６１を備えている。

また、垂直走査回路５４と水平走査回路５９は、例えば、シフトレジスタによって構成され、垂直走査パルスおよび水平走査パルスを各ライン及び各カラムごとに１個ずつ順に発生するようになっている。

また、各画素に蓄えられた画像信号を読み出す際には、垂直走査回路５４によりパルス信号が一の垂直選択線５３に加えられ、１ライン分の各画素トランジスタ５１をすべて通電させ、各感光部５０から画像信号が各垂直信号線５５に読み出される。各垂直信号線５５に読み出された画像信号は、画素ごとのオフセット信号を除去する相関二重サンプリング回路（ＣＤＳ）５６等の回路に供給される。

水平走査回路５９は、各垂直信号線５５に接続されているトランジスタ５６に水平選択線５９を介してパルス信号を加え、該トランジスタ５６を通電状態にする。ＣＤＳ５６によりオフセット信号が除去されたカラムの画素信号は、水平信号線５８に読み出され、出力回路６１により電圧信号に変換されて、外部に出力される。

このようなＸ−Ｙアドレス型の固体撮像素子では、出力回路６１から供給される画素信号は、カラムごとに垂直信号線５５が異なるため、ＣＤＳ５６やトランジスタ５７などに特性のばらつきがあると、カラムごとに異なるオフセットが画像信号に乗ってしまう。このカラムごとのオフセットが表示画面上に筋状の固定パターンノイズ（以下、カラムノイズという。）として現れ、画質の劣化を生じさせてしまう。

この劣化の防止を図る方法として、固体撮像素子からカラムノイズ成分のみを抽出し、抽出したカラムノイズ成分を補正のための基準信号として保持しておき、通常の撮像動作時に固体撮像素子の信号出力から保持されている基準信号を減算することによってカラムノイズを補正するものがある。

しかし、通常、画素部５２に光が照射されると、カラムノイズ成分に入射光による信号成分が加算されるため、この出力信号を補正のための基準信号として使うことはできない。そこで、特許文献１では、図１２に示すように、画素部５２を光が照射される有効画素領域Ａと、アルミ薄膜等による遮光板により数ラインから数十ラインに渡って光の照射が遮られる垂直オプティカルブラック（以下、ＶＯＰＢという。）領域Ｂ及び水平オプティカルブラック（以下、ＨＯＰＢという。）領域Ｃで構成し、カラムノイズの検出・補正を行っている。

ところで、カラムノイズの原因となるカラムごとのオフセットは、有効画素領域Ａに位置する画素だけではなく、遮光された黒レベル基準のＶＯＰＢ領域Ｂに位置する画素からの出力にも同様に現れる。そのため、ＶＯＰＢ領域Ｂの画素からの信号を用いてカラムノイズ成分を検出し、有効画素領域Ａの画素からの信号から差し引くことで補正できる。

特開平１０−１２６６９７号公報

しかしながら、ＶＯＰＢ領域Ｂの各画素の信号を用いてカラムノイズを補正するための基準信号を得る場合には、ＶＯＰＢ領域Ｂの各画素から出力されるばらつきのある暗電流成分（以下、ランダムノイズという。）の影響が問題となる。特に、ＶＯＰＢ領域Ｂは、数ラインから数十ライン分であるため画素数が少なく、平均化処理を行ったとしても、各画素から出力されるランダムノイズを十分に抑圧することができない。上述した特許文献１では、複数フレームに渡り繰り返し加算平均を行うことでカラムノイズの検出精度を高めているが、この方法では、検出精度を高めるために長い時間を要してしまう。

そこで、本発明では、ＶＯＰＢ領域Ｂのライン数が少ない場合でもばらついたランダムノイズの影響を受けずにカラムノイズ成分を短時間で検出し、検出したカラムノイズ成分に基づき有効画素領域Ａの画素信号の補正を行う固体撮像装置及び信号処理方法を提供する。

本発明に係る固体撮像装置は、上述の課題を解決するために、画素が均等に行列状に配置され、光が照射される有効画素領域と、光の照射が遮られる遮光画素領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、上記水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子と、上記固体撮像素子の有効画素領域を遮光するシャッタと、上記遮光画素領域に配置されている画素から出力される画素信号又は上記有効画素領域に配置されている画素から出力される画素信号を上記出力回路から出力させるように上記固体撮像素子を制御する制御手段と、所定のタイミングで異なる制御信号を生成する制御信号生成手段と、上記制御信号生成手段により生成された制御信号に基づき、上記制御手段の制御に応じて上記出力回路から出力される上記遮光画素領域の画素信号に含まれているノイズを検出するノイズ成分検出手段と、上記ノイズ成分検出手段により検出されたノイズ成分に基づき、上記制御手段の制御に応じて上記出力回路から出力される上記有効画素領域の画素信号に含まれているノイズを補正するノイズ補正手段とを備え、上記制御手段は、上記制御信号生成手段により生成された制御信号に基づき、上記シャッタを制御して１フレームだけ上記固体撮像素子の有効画素領域を遮光した状態とし、該遮光された上記有効画素領域に配置されている画素から出力される画素信号を上記出力回路から出力させ、上記ノイズ成分検出手段は、上記制御手段の制御に応じて上記出力回路から出力される上記シャッタにより上記有効画素領域が遮光された１フレームにおける上記遮光画素領域及び上記有効画素領域の画素信号と、次の１フレームにおける上記遮光画素領域の画素信号に含まれているノイズ成分を検出し、上記ノイズ補正手段は、上記ノイズ成分検出手段により検出されたノイズ成分に基づき、上記制御手段の制御に応じて上記出力回路から出力される遮光されていない有効画素領域の画素信号に含まれているノイズを補正することを特徴とする。

また、本発明に係る信号処理方法は、上述の課題を解決するために、画素が均等に行列状に配置され、光が照射される有効画素領域と、光の照射が遮られる遮光画素領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、上記水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子の信号処理方法であって、所定のタイミングで異なる制御信号を生成する制御信号生成工程と、上記制御信号生成工程で生成された制御信号に基づき、１フレームだけシャッタを制御して上記固体撮像素子の有効画素領域を遮光した状態とし、該遮光された上記有効画素領域に配置されている画素から出力される画素信号を上記出力回路から出力させるシャッタ制御工程と、上記制御信号生成工程で生成された制御信号に基づき、所定の制御に応じて上記出力回路から出力される上記シャッタにより上記有効画素領域が遮光された１フレームにおける上記遮光画素領域及び上記有効画素領域の画素信号と、次の１フレームにおける上記遮光画素領域の画素信号に含まれているノイズ成分を検出するノイズ成分検出工程と、上記ノイズ成分検出工程により検出されたノイズ成分に基づき、所定の制御に応じて上記出力回路から出力される上記有効画素領域の画素信号に含まれているノイズを補正するノイズ補正工程とを備えることを特徴とする。

本発明では、制御信号生成手段で生成された制御信号に基づき、制御手段により１フレームだけシャッタを制御して固体撮像素子の有効画素領域を遮光した状態とし、該遮光された上記有効画素領域に配置されている画素から出力される画素信号を出力回路から出力させる制御を行い、上記制御信号生成手段で生成された制御信号に基づき、所定の制御に応じて上記出力回路から出力される上記シャッタにより上記有効画素領域が遮光された１フレームにおける上記遮光画素領域及び上記有効画素領域の画素信号と、次の１フレームにおける上記遮光画素領域の画素信号に含まれているノイズ成分をノイズ成分検出手段により検出するので、上記有効画素領域を１フレーム遮光するだけで精度の高いカラムノイズ成分を検出することができ、また、検出したノイズ成分に基づきノイズ補正手段により所定の制御に応じて上記出力回路から出力される上記有効画素領域の画素信号に含まれているノイズを補正するので、検出された精度の高いカラムノイズ成分を用いて画素信号のカラムノイズの補正を行い、高画質な画像を提供することができる。

以下、本発明の実施の形態として、被写体を撮像する固体撮像装置及び信号処理方法について説明する。

固体撮像装置１は、図１に示すように、入射光を集光するレンズ１０と、レンズ１０で集光された光を所定時間だけ通過させるシャッタ１１と、レンズ１０及びシャッタ１１を介して入射される被写体の画像を撮像する固体撮像素子１２と、シャッタ１１と固体撮像素子１２を制御する制御部１３と、固体撮像素子１２により撮像された画素信号に所定の信号処理を行う信号処理部１４とを備えている。

被写体から発せられた光は、レンズ１０及びシャッタ１１の光学系を経て、固体撮像素子１２に入射する。固体撮像素子１２は、被写体を撮像する画素部を有している。画素部は、図２に示すように、光が照射される有効画素領域Ａと、アルミ薄膜等による遮光板により数ラインから数十ラインに渡って光の照射が遮られる垂直オプティカルブラック（以下、ＶＯＰＢという。）領域Ｂで構成されている。

制御部１３は、シャッタ１１の開閉動作を制御する。また、制御部１３は、固体撮像素子１２を制御し、選択的に有効画素領域Ａ及びＶＯＰＢ領域Ｂに配置されている画素から出力される画素信号Ｓ１を信号処理部１４に出力させる。

ここで、固体撮像素子１２について図３を用いて説明する。固体撮像素子１２は、例えば、Ｘ−Ｙアドレス型を採用し、図３に示すように、光の照射に応じて電荷を蓄積する感光部１５と、感光部１５に蓄積されている電荷を出力する画素トランジスタ１６からなる画素が行列状に配置されてなる画素部１７と、画素部１７に配列されている画素を行（ライン）ごとに接続している垂直選択線１８にパルス信号を印加する垂直走査回路１９と、垂直走査回路１９によるパルス信号の印加により、画素部１７に配列されている画素を列（カラム）ごとに接続している垂直信号線２０に供給された信号のオフセット信号を除去する相関２重サンプリング回路（ＣＤＳ）２１と、ＣＤＳ２１によりオフセット信号が除去された信号を水平信号線２２に供給するためのトランジスタ２３と、ＣＤＳ２１によりオフセット信号が除去された信号を水平信号線２２に供給させるために水平選択線２４を介してトランジスタ２３にパルス信号を供給する水平走査回路２５と、水平走査回路２５に供給された信号を信号処理部１４に供給する出力回路２６とを備える。

このようなＸ−Ｙアドレス型の固体撮像素子１２では、出力回路２６から供給される画素信号は、配置されている画素により列（カラム）ごとに垂直信号線４が異なるため、ＣＤＳ２１やトランジスタ２３などに特性のばらつきがあると、カラムごとに異なるオフセットが画像信号に乗ってしまう。このカラムごとのオフセットが表示画面上に筋状の固定パターンノイズ（以下、カラムノイズという。）として現れ、画質の劣化を生じさせてしまう原因となる。固体撮像素子１２の後段にある信号処理部１４は、このようなカラムノイズを除去する。

つぎに、信号処理部１４の構成について以下に説明する。信号処理部１４は、図４に示すように、固体撮像素子１２の出力信号をデジタル信号に変換するＡＦＥ（analog front end）部３０と、所定の制御信号を生成する制御信号生成部３１と、制御信号生成部３１で生成された制御信号に基づき、ＡＦＥ部３０から供給される画素信号から固定パターンノイズ（以下、カラムノイズ成分という。）を検出するカラムノイズ成分検出部３２と、カラムノイズ成分検出部３２で検出されたカラムノイズ成分に基づき、ＡＦＥ部３０から供給される画素信号のカラムノイズ成分を補正するカラムノイズ補正部３３と、カラムノイズ補正部３３の出力信号に所定のカメラ処理を行うカメラ信号処理部３４とを備える。

ＡＦＥ部３０は、固体撮像素子１２から供給された画素信号Ｓ１をデジタル信号に変換し、変換後の画素信号を出力する。また、ＡＦＥ部３０は、カラムノイズ検出用の信号、すなわちＶＯＰＢ領域Ｂに配置されている画素から出力される信号Ｓ２をカラムノイズ成分検出部３２に供給し、有効画素領域Ａに配置されている画素から出力される信号Ｓ３をカラムノイズ補正部３３に供給する。

制御信号生成部３１は、所定の制御信号を生成し、生成した制御信号をカラムノイズ成分検出部３２に出力する。

カラムノイズ成分検出部３２は、カラムノイズが同じカラムの画素では同量であることに着目し、制御信号生成部３１から供給された制御信号に基づき、ＡＦＥ部３０から供給された信号Ｓ２からカラムノイズ成分の検出を行い、その結果をラインメモリ４２に記憶する。

ここで、カラムノイズ成分検出部３２の構成について図５を用いて説明する。カラムノイズ成分検出部３２は、図５に示すように、ＡＦＥ部３０から供給された信号Ｓ２に所定の係数ｋ１で重み付けを行う重み付け部４０と、重み付け部４０の出力信号と帰還信号を加算処理する加算処理部４１と、加算処理部４１で加算処理された信号を記憶するラインメモリ４２と、ラインメモリ４２に記憶されている過去の加算処理後の信号を読み出し、読み出した信号に帰還係数ｋ２で重み付けを行う重み付け部４３とを備え、フィードバックループを形成している。なお、所定の係数ｋ１は、制御信号生成部３１から供給された制御信号に基づき生成され、例えば、
ｋ１＝１／２^ｎ
で表される。また、帰還係数は、制御信号生成部３１から供給された制御信号に基づき生成され、例えば、
ｋ２＝１−１／２^ｎ
で表される。

また、カラムノイズ成分検出部３２は、ＩＩＲ（infinite impulse response）フィルタの積分器で構成されており、帰還係数ｋ２の値が変われば、カラムノイズ量への収束の速さとランダムノイズによる積分結果のばらつきが異なる。この帰還係数ｋ２の最適な値は、カラムノイズ量とランダムノイズ量と積分サンプル数（ＶＯＰＢ領域Ｂの行の数）に依存する。積分サンプル数が限られている場合は、特に、帰還係数ｋ２を動的に変えることで、単一の帰還係数では十分抑圧できなかった筋状の固定パターンノイズ（カラムノイズ）を精度良く検出し、補正することが可能となる。

ここで、帰還係数ｋ２を変化させることで単一の帰還係数を用いるときよりもカラムノイズが抑圧できる例を図６を用いて説明する。図６は、センサ上にＶＯＰＢ領域Ｂが５０ライン存在し、ランダムノイズとカラムノイズのノイズ量がある大きさのとき、積分の効果を数値計算により求めたグラフである。また、横軸に積分ライン数をとり、縦軸に補正できずに残ったカラムノイズ成分の大きさを示す。曲線Ａは、帰還係数ｋ２が
ｋ２＝１−１／２^５＝３１／３２
のときの結果を表し、曲線Ｂは、帰還係数ｋ２が
ｋ２＝１−１／２^６＝６３／６４
のときの結果を表し、曲線Ｃは、０ライン乃至２５ラインまでは帰還係数ｋ２が３１／３２（ｎ＝５）で、それ以降（２６ライン乃至５０ライン）は帰還係数ｋ２が６３／６４（ｎ＝６）と変化させたときの結果を表している。

なお、縦軸の値が小さいほど、カラムノイズが補正できたことを示す。

したがって、５０ライン目での残ったカラムノイズ量を見ると、曲線Ｂのときは「６７」であり、曲線Ａのときは「６６」であり、曲線Ｃのときは「６２」とあり、明らかに帰還係数ｋ２を適当なライン数で切り替えた方が効果的にカラムノイズを補正することができる。

また、切り替えるポイントの最適なライン数は所定の演算により求まる。この演算は、工場での調整時に行っても良いし、電源投入時に行っても良い。ここで、当該演算の流れについて図７に示すフローチャートにしたがって説明する。

所定の方法により固体撮像素子１２のランダムノイズ量の標準偏差σ _ＲＮ及びカラムノイズ量の標準偏差σ _ＣＮを求める（ステップＳＴ１）。求めたランダムノイズ量の標準偏差σ _ＲＮ及びカラムノイズ量の標準偏差σ _ＣＮに基づき、帰還係数を２つ選択する（ステップＳＴ２）。なお、選択された帰還係数ｋ１，ｋ２は、小さいものから大きいものへと遷移させる。

次に、帰還係数ｋ２の切り替えるラインｉを１として初期化する（ステップＳＴ３）。任意のライン数Ｎまで積分し、カラムノイズ補正を行った際のカラムノイズ残り量を計算する（ステップＳＴ４）。また、カラムノイズの残り量ｆは、ランダムノイズ量の標準偏差σ _ＲＮ、カラムノイズ量の標準偏差σ _ＣＮ、帰還係数ｋ１，ｋ２、積分ライン数Ｎ、切り替えポイントｉの関数ｆ（σ _ＲＮ，σ _ＣＮ，ｋ１，ｋ２，Ｎ，ｉ）として表現できる。つぎに、切り替えポイントｉが積分ライン数Ｎに達したかどうかを判断し、達している場合には、ステップＳＴ６に進み、達していない場合には、切り替えポイントｉを１増加させ、ステップＳＴ４に戻る。

ステップＳＴ４で求めたＮ個のカラムノイズの残り量ｆを比較し、カラムノイズの残り量ｆが最小になる切り替えポイントｉを探す（ステップＳＴ６）。また、帰還係数ｋ２を他の帰還係数ｋ２に変更するかどうかを判断し（ステップＳＴ７）、変更する場合には、最適切り替えポイントでのカラムノイズの残り量ｆを画素信号のカラムノイズ量としてステップＳＴ２からステップＳＴ７を繰り返す。

制御信号生成部３１は、上述のように求められた切替ポイントｉに基づき制御信号を生成し、カラムノイズ成分検出部３２に供給する。そして、カラムノイズ成分検出部３２は、制御信号に基づき帰還係数を切り替え、ＡＦＥ部３０から供給される画素信号Ｓ２のノイズ成分を検出する。

カラムノイズ補正部３３は、カラムノイズ成分検出部３２で検出されたノイズ成分に基づき、ＡＦＥ部３０から供給される有効画素領域Ａに配置されている画素から出力される信号Ｓ３のカラムノイズの補正を行い、補正後の信号をカメラ信号処理部３４に供給する。カメラ信号処理部３４は、カラムノイズ補正部３３でカラムノイズが補正処理された信号に所定のカメラ信号処理を行う。

また、ＶＯＰＢ領域Ｂのライン数が少なく、帰還係数ｋ２を動的に変化させても、カラムノイズを十分に補正できない場合がある。このような場合に、カラムノイズ成分を検出する方法の一例について以下に述べる。

制御部１３は、電源投入時やモード切替時などに１フレームだけシャッタ１１を制御し、メカニカルシャッタを入れて有効画素領域Ａを遮光する。有効画素領域Ａが遮光されたことにより、有効画素領域Ａに配置されている画素から出力される信号は、ＶＯＰＢ領域Ｂからの画素と同様にカラムノイズ成分を検出する信号として使用することができる。

例えば、図８に示すように、ＶＯＰＢ領域Ｂに配置されている画素が７２０×２０（カラム数×ライン数）であり、有効画素領域Ａに配置されている画素が７２０×４８０（カラム数×ライン数）であれば、カラムノイズ成分検出部３２は、２フレーム分（２Ｖ分）合わせて
２０＋４８０＋２０＝５２０
ライン分の信号をカラムノイズ成分の検出用に用いることができる。

したがって、カラムノイズ検出用のライン数が増加するため、精度の高いカラムノイズ成分の検出が可能となる。

また、メカニカルシャッタの機能を有していない場合や、１フレーム分もの積分ライン数が必要ではない場合がある。このような場合に、精度の高いカラムノイズ成分を検出する方法の一例について以下に述べる。

制御部１３は、図９に示すように、固体撮像素子１２を制御することにより、ＶＯＰＢ領域Ｂのみを複数回読み出す。ＶＯＰＢ領域Ｂを複数回読み出すことにより積分ライン数を増加させることができ、１フレーム分の信号を読み出すより少ない時間で、カラムノイズ成分を十分補正できるだけのライン数を得ることができる。

なお、固体撮像装置１は、カラムノイズ検出用の信号を読み出し、カラムノイズ成分の検出を行った後に、固体撮像素子１２から被写体の映った画像信号を読み出し、カラムノイズ成分に基づいて該被写体の映った画像信号のカラムノイズの補正を行う構成ではなく、固体撮像素子１２から被写体の映った画像信号を読み出し、該被写体の映った画像信号を所定のメモリに保存し、カラムノイズ検出用の信号を読み出し、カラムノイズ成分の検出を行い、該カラムノイズ成分に基づいてメモリに保存されている被写体の映った画像信号のカラムノイズを補正する構成であっても良い。

また、カラムノイズ成分検出部３２は、動作モードが変化しない場合には、同じ動作モードで検出した過去の積分結果をラインメモリ４２から読み出して、複数フレームまたは複数フィールドに渡り積分を行う。また、カラムノイズ成分検出部３２は、複数フレームの画像を用いることで、積分に用いるライン数が増加するので、暗電流によるランダムノイズを抑圧しながらカラムノイズの値に収束させることが可能となり、より精度の高いカラムノイズの検出を行うことが可能である。

また、カラムノイズ成分検出部３２は、動作モードが変化する場合であって、固体撮像素子１２からの信号の読み出し方法が全く変化しないときには、カラムノイズ成分の大きさも変化しないため、動作モードが変化しない場合と同様に継続して積分を行うことで検出精度を高めることが可能である。

また、カラムノイズ成分検出部３２は、動作モードが変化する場合であって、固体撮像素子１２からの信号の読み出し方法が変化するときについて以下に述べる。

固体撮像素子１２上で画素加算などが行われる場合において、カラムノイズが発生する前、例えば、ＣＤＳ２１に入力される前で画素加算が行われるときと、カラムノイズ発生後、例えば、ＣＤＳ２１の出力後で画素加算が行われるときとで、カラムノイズ成分の変化量が異なる。

また、画素部１７に配置されている画素から出力される信号を加算する方式が、垂直加算方式であるか又は水平加算方式であるのかによってもカラムノイズ成分の変化量は異なる。

しかし、垂直加算方式又は水平加算方式のいずれの場合においても、固体撮像素子１２の構造上、カラムノイズ成分の変化量が物理的に知ることができる場合には、過去に検出したカラムノイズ成分に所定の係数を加重する等の処理を行い、その値を利用して積分を行うことにより、効果的にカラムノイズ成分の検出及び補正を行うことができる。

ここで、画素部１７に配置されている画素から出力される信号を加算する方式として、垂直加算方式を採用した場合のカラムノイズ成分の検出及びカラムノイズの補正について以下に述べる。なお、固体撮像素子１２は、動画モードやモニタリングモードのときには、奇数ラインと偶数ラインの画素加算によるインターレース（飛越し走査）方式で読み出し、静止画モードのときには、画素加算せずに奇数ラインと偶数ラインをプログレッシブ（ノンインターレース）方式で読み出し、また、カラムノイズ成分を検出するときには、モニタリングモード時に行い、カラムノイズの補正を行うときには、静止画モード時に行うものとする。また、固体撮像素子１２は、加算方式が垂直加算方式か水平加算方式かに関わらずカラムノイズ成分が変化しない構造であるとする。

垂直加算方式を採用した場合には、カラムノイズ補正部３３によるカラムノイズの補正にかかる信号量は、カラムノイズ成分検出部３２によるカラムノイズ成分の検出にかかる信号量に対して、画素を加算しない分だけ半分近くになる。

そこで、カラムノイズ成分の検出及びカラムノイズの補正に要する信号量を等量にするためには、固体撮像素子１２側で２倍のゲインを掛ければ良い。ゲインを掛けることにより被写体からの信号量は、動画モード時と同じ量になるが、一方で、カラムノイズ成分は２倍になってしまう。そこで、動画モード及びモニタリングモードのときにインターレースにより検出し、ラインメモリに蓄積したカラムノイズ量に２倍のゲインを掛けて、静止画モードのときのプログレッシブ方式で処理を行う時のカラムノイズ量にあわせ、当該２倍のゲインを掛けたカラムノイズ量をカラムノイズ成分の検出とカラムノイズの補正に使用する。

つぎに、画素部１７に配置されている画素から出力される信号を加算する方式として、水平加算方式を採用した場合のカラムノイズ成分の検出及びカラムノイズの補正について以下に述べる。

図１０に示すように、固体撮像素子１２は、静止画モードのときには、画素加算せずにプログレッシブ方式で読み出し、モニタリングモードのときには、隣接する２画素の水平加算で読み出す方式を採用するものとする。また、カラムノイズ成分検出部３２により行われるカラムノイズ成分の検出は、静止画モード時に行われ、カラムノイズ補正部３３によるカラムノイズの補正は、モニタリングモード時に行われるものとする。

垂直加算方式を採用した場合は、カラムノイズ成分検出部３２によるカラムノイズの補正にかかる信号量は、カラムノイズ成分検出部３２によるカラムノイズ成分の検出にかかる信号量に対して、画素を加算する分だけ信号量が２倍近くなるが、カラムノイズ成分はセンサ上の画素加算で単純に２画素の和となる。

また、カラムノイズ成分検出部３２は、図１０Ａに示すように、静止画モード時において、固体撮像素子１２上の全カラムのカラムノイズ成分を既に検出しているので、水平２画素加算により変化するカラムノイズ成分を求める際には、図１０Ｂに示すように、当該検出結果を利用すれば良い。

よって、モニタリングモード時には、水平加算が行われるカラム毎に静止画モード時に検出したカラムノイズ成分を加算して、その値を利用して積分を行い、カラムノイズ成分の検出及びカラムノイズの補正に使用する。

また、当然のことであるが、カラムノイズ発生前の領域での加算のため、固体撮像素子１２からの信号の読み出し方法が変化してもカラムノイズ成分に変化がない場合は、動作モードが変化しない場合と同様に継続して積分を行い、検出精度を高めることが可能である。

したがって、本願発明に係る固体撮像装置１は、所定の制御信号を生成する制御信号生成部３１と、制御信号生成部３１で生成された制御信号に基づき、画素部１７に配置されているＶＯＰＢ領域Ｂに配置されている画素から出力される信号からカラムノイズ成分を検出するカラムノイズ成分検出部３２と、カラムノイズ成分検出部３２で検出されたカラムノイズ成分に基づき、画素部１７の有効画素領域Ａに配置されている画素から出力される信号のカラムノイズを補正するカラムノイズ補正部３３を有し、カラムノイズ成分検出部３２において、ランダムノイズの影響を受けずに、積分値をカラムノイズに速く収束させる帰還係数ｋ２の組み合わせを選択し、かつ、選択された帰還係数ｋ２の切り替えるポイントを算出し、該結果に基づいてカラムノイズ成分を検出するので、短時間で、かつ、少ないライン数で精度の高いカラムノイズ成分を検出することができ、また、このような精度の高いカラムノイズ成分を用いてカラムノイズ補正部３３において画素信号のカラムノイズの補正を行うので、高画質な画像を提供することができる。

本願発明に係る固体撮像装置の構成を示すブロック図である。固体撮像素子の画素部を有効画素領域とＶＯＰＢ領域に分割して構成したときの様子を示す図である。固体撮像素子の構造を示す模式図である。信号処理部の構成を示すブロック図である。カラムノイズ成分検出部の構成を示すブロック図である。帰還係数の切り替えポイントを算出する際に使用する積分ライン数に対するカラムノイズ特性を示す図である。切り替えポイントを算出する手順を示すフローチャートである。有効画素領域をカラムノイズ成分検出用に用いる際の説明に供する図である。ＶＯＰＢ領域を複数回読み出してカラムノイズ成分検出を行う際の説明に供する図である。静止画モード時及びモニタリングモード時の際の固体撮像素子の動作の説明に供する図である。固体撮像素子の構造を示す模式図である。固体撮像素子の画素部を有効画素領域と、ＶＯＰＢ領域と、ＨＯＰＢ領域に分割して構成したときの様子を示す図である。

符号の説明

１固体撮像装置、１０レンズ、１１シャッタ、１２固体撮像素子、１３制御部、１４信号処理部、１５感光部、１６画素トランジスタ、１７画素部、１８垂直選択線、１９垂直走査回路、２０垂直信号線、２１相関２重サンプリング回路（ＣＤＳ）、２２水平信号線、２３トランジスタ、２４水平選択線、２５水平走査回路、２６出力回路、３０ＡＦＥ（analog front end）部、３１制御信号生成部、３２カラムノイズ成分検出部、３３カラムノイズ補正部、３４カメラ信号処理部、４０，４３重み付け部、４１加算処理部、４２ラインメモリ

Claims

画素が均等に行列状に配置され、光が照射される有効画素領域と、光の照射が遮られる遮光画素領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、上記水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子と、
上記固体撮像素子の有効画素領域を遮光するシャッタと、
上記遮光画素領域に配置されている画素から出力される画素信号又は上記有効画素領域に配置されている画素から出力される画素信号を上記出力回路から出力させるように上記固体撮像素子を制御する制御手段と、
所定のタイミングで異なる制御信号を生成する制御信号生成手段と、
上記制御信号生成手段により生成された制御信号に基づき、上記制御手段の制御に応じて上記出力回路から出力される上記遮光画素領域の画素信号に含まれているノイズを検出するノイズ成分検出手段と、
上記ノイズ成分検出手段により検出されたノイズ成分に基づき、上記制御手段の制御に応じて上記出力回路から出力される上記有効画素領域の画素信号に含まれているノイズを補正するノイズ補正手段とを備え、
上記制御手段は、上記制御信号生成手段により生成された制御信号に基づき、上記シャッタを制御して１フレームだけ上記固体撮像素子の有効画素領域を遮光した状態とし、該遮光された上記有効画素領域に配置されている画素から出力される画素信号を上記出力回路から出力させ、
上記ノイズ成分検出手段は、上記制御手段の制御に応じて上記出力回路から出力される上記シャッタにより上記有効画素領域が遮光された１フレームにおける上記遮光画素領域及び上記有効画素領域の画素信号と、次の１フレームにおける上記遮光画素領域の画素信号に含まれているノイズ成分を検出し、
上記ノイズ補正手段は、上記ノイズ成分検出手段により検出されたノイズ成分に基づき、上記制御手段の制御に応じて上記出力回路から出力される遮光されていない有効画素領域の画素信号に含まれているノイズを補正する固体撮像装置。
画素が均等に行列状に配置され、光が照射される有効画素領域と、光の照射が遮られる遮光画素領域とからなる画素部と、垂直選択線で共通に接続された同一行の画素の制御電極を制御する垂直走査回路と、同一列の画素の主電極が共通に接続された垂直信号線を介して出力される画素信号を行単位で順次出力する水平走査回路と、上記水平走査回路からの画素信号を出力する出力回路とを有する固体撮像素子の信号処理方法であって、
所定のタイミングで異なる制御信号を生成する制御信号生成工程と、
上記制御信号生成工程で生成された制御信号に基づき、１フレームだけシャッタを制御して上記固体撮像素子の有効画素領域を遮光した状態とし、該遮光された上記有効画素領域に配置されている画素から出力される画素信号を上記出力回路から出力させるシャッタ制御工程と、
上記制御信号生成工程で生成された制御信号に基づき、所定の制御に応じて上記出力回路から出力される上記遮光画素領域及び上記有効画素領域の画素信号に含まれているノイズ成分を検出するノイズ成分検出工程と、
上記制御信号生成工程で生成された制御信号に基づき、所定の制御に応じて上記出力回路から出力される上記シャッタにより上記有効画素領域が遮光された１フレームにおける上記遮光画素領域及び上記有効画素領域の画素信号と、次の１フレームにおける上記遮光画素領域の画素信号に含まれているノイズ成分を検出するノイズ成分検出工程と、
上記ノイズ成分検出工程により検出されたノイズ成分に基づき、所定の制御に応じて上記出力回路から出力される上記有効画素領域の画素信号に含まれているノイズを補正するノイズ補正工程と
を備える固体撮像素子の信号処理方法。