WO2020021887A1

WO2020021887A1 - 画像処理装置、撮像装置、画像処理方法及びプログラム

Info

Publication number: WO2020021887A1
Application number: PCT/JP2019/023128
Authority: WO
Inventors: 智行河合
Original assignee: 富士フイルム株式会社
Priority date: 2018-07-27
Filing date: 2019-06-11
Publication date: 2020-01-30
Also published as: CN112514370B; JPWO2020021887A1; CN112514370A; JP6896175B2; US20210152763A1; US11399145B2

Abstract

画像処理装置は、撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出す読出部と、撮像素子により撮像されてメモリ部に格納された撮像画像データが、読出部により再度読み出されたデータに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力する出力部と、を含む。

Description

画像処理装置、撮像装置、画像処理方法及びプログラム

　本開示の技術は、画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

　ＣＭＯＳイメージセンサはローリングシャッタと呼ばれる順次読み出し方式が一般的である。一方で、ＣＭＯＳイメージセンサを用いながら、画素に隣接して電荷蓄積部を設け、全画素同時に電荷蓄積部に電荷を転送することで、電子グローバルシャッタを実現したイメージセンサも知られている。グローバルシャッタ方式を採用する場合、光電変換素子での光電変換で生成された電荷は、露光終了後から読み出しするまで電荷蓄積部に貯蔵される。

　しかし、電荷が電荷蓄積部に貯蔵されてから画像情報として読み出されるまでの間に、フォトダイオード及び／又は電荷蓄積部への迷光等により、露光以外の原因による電荷が発生し、電荷蓄積部に重畳されることがある。重畳された電荷は光ノイズと呼ばれるノイズとなり、撮像した画像に悪影響を与える。

　このようなノイズを低減するため、例えば特開２０１２－１３４７５６号公報には、全ての画素を一括露光させ、露光終了のタイミングで、画素部が備える全ての画素の第１の転送部を駆動させて光電変換部が蓄積した光電荷を第１の蓄積部のみに一括転送させ、第１の蓄積部に蓄積された電荷を、第１の増幅部と、第１の接続部と、第１の出力信号線とを介して、光信号として読み出すとともに、第２の蓄積部に蓄積された電荷を、第２の増幅部と、第２の接続部と、第２の出力信号線とを介して、光ノイズ信号として読み出すように制御する撮像装置が開示されている。この構成によれば、第２の蓄積部には光ノイズ電荷だけが蓄積されるため、光ノイズ除去信号を取得することができるとされている。

　特開２００６－１０８８８９号公報には、全画素の信号電荷を蓄積部（Ｆｌｏａｔｉｎｇ　Ｄｉｆｆｕｓｉｏｎ、ＦＤ）へ一括転送したあと信号を順次読み出す方式の撮像装置において、第一の行又は列と第二の行又は列の信号を減算して１行又は１列分の信号を得る固体撮像装置が開示されている。これによれば、露光時間を全画素同時としたＳ／Ｎの高い画像信号を取り出すことができ、ストロボ調光用信号、自動合焦用信号、電子ビューファインダーなど動画的撮影などの高速撮像に適しているとされている。

　特開２００８－０２８５１６号公報には、フォトダイオードと電荷蓄積部と転送トランジスタとリセットトランジスタと増幅トランジスタと選択トランジスタとを有する画素を二次元状に複数配列した画素部を備え、フォトダイオードの信号を全画素同時にリセットし、所定時間後にフォトダイオードから電荷蓄積部へ信号転送を行った後、画素からの信号読み出し動作を順次行うＭＯＳ型撮像素子と、ＭＯＳ型撮像素子の各画素からの信号読み出し動作中に入射する光量を抑圧する入射光量変更手段としての絞り機構３を設けて構成したカメラシステムが開示されている。これにより、グローバルシャッター機能を有し、高輝度被写体撮像時においても信号劣化や偽信号の発生を防止できるようにしたカメラシステムを提供することができるとされている。

　特開２０１１－２１６９６６号公報には、画素アレイ部の単位画素毎のオーバーフロードレインの電流値に対応した電圧値を、画素単位の受光量として検出する信号処理部の高輝度検出部と、高輝度検出部により読み出された電圧値に基づいて、画素アレイ部を構成する画素について、行単位で受光レベルの順位を求め、アドレスリストに登録するレベル解析部と、アドレスリストの情報で、システム制御部のアドレスリストを更新する信号処理部と、アドレスリストの行単位の順位の上位から順次行単位で、画素アレイ部より受光信号を読み出させるシステム制御部と、を備える撮像素子が開示されている。これにより、イメージセンサにより画像を撮像する際、ノイズの発生を低減することが可能とされている。

　しかし、上記の特開２０１２－１３４７５６号公報、特開２００６－１０８８８９号公報、特開２００８－０２８５１６号公報、及び特開２０１１－２１６９６６号公報に開示された技術は、撮像素子又は撮像装置の機械的な構成を変更することなく、光ノイズを抑制した撮像画像を得ることは難しい。

　本開示の一つの実施形態は、撮像素子又は撮像装置の機械的な構成を変更することなく、光ノイズを抑制した撮像画像を得ることができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供する。

　第１の態様に係る画像処理装置は、複数の光電変換素子を備えた撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出す読出部と、撮像素子により撮像されてメモリ部に格納された撮像画像データが、読出部により再度読み出されたデータに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力する出力部と、を含む。これにより、撮像素子又は撮像装置の機械的な構成を変更することなく、光ノイズを抑制した撮像画像を得ることができる。

　第２の態様に係る画像処理装置において、予め定められた領域は、メモリ部から最初に読み出された領域である。これにより、最も長い時間の光ノイズだけのデータを取得することができ、より現実に近い光ノイズ量を測定、補正することができる。

　第３の態様に係る画像処理装置において、補正画像データは、読出部による読み出し順序が隣り合う一対の領域画像データの比較結果に基づいて、読出部による読み出し順序が後の領域画像データから、光ノイズを有する画素位置が定められ、定められた画素位置及び光ノイズの量に従って、領域毎に補正されて得られる。これにより、光ノイズが発生した位置と量とを別々に精度よく求めることができる。

　第４の態様に係る画像処理装置において、比較結果は、隣り合う一対の領域画像データの各々の画像データの差分である。これにより、光ノイズが発生した位置を精度よく求めることができる。

　第５の態様に係る画像処理装置において、複数の光電変換素子は、予め定められた複数の原色の各々について感度を有する。これにより、カラー撮像素子に適用できる。

　第６の態様に係る画像処理装置において、領域画像データの各々は、メモリ部に格納された画像データが、複数の原色の各々について感度を有する光電変換素子が予め定められた配列を有するグループ単位で間引かれた領域画像データである。これにより、カラー撮像素子における光ノイズの検出精度が向上する。

　第７の態様に係る画像処理装置において、比較結果は、一対の領域画像データが同時化処理されてから比較された結果である。これにより、カラー撮像素子における光ノイズの検出精度が向上する。

　第８の態様に係る画像処理装置において、一対の領域画像データの比較結果をフィルタ処理した結果に基づいて画素位置が定められるか、又は一対の領域画像データがフィルタ処理されてから比較された比較結果に基づいて画素位置が定められる。これにより、ローパスフィルタ処理で細い、又はコントラストが大きい被写体を撮像したときの光ノイズ検出精度が向上する。

　第９の態様に係る画像処理装置において、読出部は、予め定められた撮像条件を満足した場合に、複数の領域画像データ毎の読み出しが終了した後、データを再度読み出す処理を行う。これにより、光ノイズ補正が必要な撮像条件のときだけ光ノイズ補正処理を実行することができる。

　第１０の態様に係る画像処理装置において、撮像条件は、撮像素子による撮像時間が予め定められた時間より短いとの条件、及びメモリ部に格納された画像データ内に輝度が予め定められた輝度を上回る画像領域が存在するとの条件のうち少なくとも一方の条件である。これにより、上記の撮像条件のときだけ光ノイズ補正処理を実行することができる。

　第１１の態様に係る画像処理装置は、複数の領域の各々についての光ノイズの特性を示す光ノイズ特性情報が予め記憶された記憶部から光ノイズ特性情報を取得する取得部を更に含み、補正画像データは、撮像画像データが光ノイズと取得部によって取得された光ノイズ特性情報とに従って、領域毎に補正されて得られる。これにより、光ノイズ特性情報を予め取得することで、光ノイズ補正を正確に行うことができる。

　第１２の態様に係る画像処理装置において、光ノイズ特性情報は、複数の領域のうちの読出部により再度読み出される領域の光ノイズとして予め定められた値と、複数の領域のうちの領域と異なる領域の光ノイズとして予め定められた値との比に基づく値である。これにより、光ノイズ補正を迅速に行うことができる。

　第１３の態様に係る画像処理装置は、複数の光電変換素子を備えた撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出す読出部と、撮像素子により撮像されてメモリ部に格納された撮像画像データが、読出部により各々毎に読み出された領域画像データに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力する出力部と、を含む。これにより、撮像素子又は撮像装置の機械的な構成を変更することなく、光ノイズを抑制した撮像画像を得ることができる。

　第１４の態様に係る画像処理装置において、補正画像データは、読出部による読み出し順序が隣り合う一対の領域画像データの比較結果に基づいて、読出部による読み出し順序が後の領域画像データ内から、差分を有する画素位置が定められ、定められた画素位置及び差分に従って領域毎に補正されて得られる。これにより、撮像素子又は撮像装置の機械的な構成を変更することなく、光ノイズを抑制した撮像画像を得ることができる。

　第１５の態様に係る画像処理装置において、領域は、行列方式で配列された光電変換素子のメモリ部を、予め定めた方法で行単位で間引いて得られる。これにより、フィールド読み出しの技術を適用することができる。

　第１６の態様に係る画像処理装置は、出力部により出力された補正画像データに基づく画像を表示部に対して表示させる制御を行う制御部を更に含む。これにより、補正画像データを表示することができる。

　第１７の態様に係る撮像装置は、第１の態様から第１５の態様の何れか１つに係る画像処理装置と、撮像素子に対して撮像を開始させる指示を受け付ける受付部と、を含む。これにより、光ノイズ補正機能を有する撮像装置を得ることができる。

　第１８の態様に係る画像処理方法は、撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出し、撮像素子により撮像されてメモリ部に格納された撮像画像データが、再度読み出したデータに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む。

　第１９の態様に係る画像処理方法は、撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、撮像素子により撮像されてメモリ部に格納された撮像画像データが、各々毎に読み出した領域画像データに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む。

　第２０の態様に係るプログラムは、コンピュータに、撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出し、撮像素子により撮像されてメモリ部に格納された撮像画像データが、再度読み出したデータに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む処理を実行させるためのプログラムである。

　第２１の態様に係るプログラムは、コンピュータに、撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、撮像素子により撮像されてメモリ部に格納された撮像画像データが、各々毎に読み出した領域画像データに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む処理を実行させるためのプログラムである。

　他の実施形態に係る画像処理装置は、プロセッサと、メモリを有する画像処理装置であって、プロセッサが、撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出し、撮像素子により撮像されてメモリ部に格納された撮像画像データが、再度読み出したデータに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む処理を実行する。

　他の実施形態に係る画像処理装置は、プロセッサと、メモリを有する画像処理装置であって、プロセッサが、撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、撮像素子により撮像されてメモリ部に格納された撮像画像データが、読出部により各々毎に読み出された領域画像データに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む処理を実行する。

　本開示の一つの実施形態によれば、撮像素子又は撮像装置の機械的な構成を変更することなく、光ノイズを抑制した撮像画像を得ることができる。

第１実施形態に係る撮像装置の外観の一例を示す概略斜視図である。図１に示す撮像装置の背面図である。第１実施形態に係る撮像装置の電気系の要部構成の一例を示すブロック図である。第１実施形態に係る撮像素子の要部構成の一例を示すブロック図である。第１実施形態に係る撮像素子の部分拡大平面図である。メモリ部から画像データを読み出すタイムチャートであり、図６Ａは、一実施形態に係るタイムチャートであり、図６Ｂは従来技術のタイムチャートである。第１実施形態に係る撮像素子の領域を区分けする方法の一例である。各フィールドの素子の配列の一例を示す図であり、図８Ａは第１フィールドの画素配列を示し、図８Ｂは第２フィールドの画素配列を示し、図８Ｃは第３フィールドの画素配列を示す。第１実施形態に係る差分取得処理の流れの一例を示すフローチャートである。第１実施形態に係る画像データ差分取得処理の流れの一例を示すフローチャートである。第１実施形態に係るノイズ位置決定処理の流れの一例を示すフローチャートである。第１実施形態に係る撮像装置により撮像されて得られた撮像画像の分布態様の一例を示すノイズマップ図である。第１実施形態に係るフィールド画像補正処理の流れの一例を示すフローチャートである。第２実施形態に係るノイズ位置決定処理の流れの一例を示すフローチャートである。第３実施形態に係るノイズ位置決定処理の流れの一例を示すフローチャートである。第４実施形態に係るノイズ位置決定処理の流れの一例を示すフローチャートである。第５及び第６実施形態に係る光ノイズ補正処理の流れの一例を示すフローチャートである。第７実施形態に係る差分取得処理の流れの一例を示すフローチャートである。第８実施形態に係るノイズ補正要否処理の流れの一例示すフローチャートである。第８実施形態に係るノイズ補正要否処理の流れの変形例を示すフローチャートである。第１～第８実施形態に係る撮像装置に、可搬型の記憶媒体に記憶されたプログラムをインストールする態様の一例を示す模式図である。第９実施形態に係るスマートフォンの外観の一例を示す斜視図である。第９実施形態に係るスマートフォンの電気系の要部構成の一例を示すブロック図である。

　先ず、本明細書で使用される略称について説明する。「ＰＬＳ」とは、“Ｐａｒａｓｉｔｉｃ　Ｌｉｇｈｔ　Ｓｅｎｓｉｔｉｖｉｔｙ）の略称を指す。「ＣＭＯＳ」とは、“Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ”の略称を指す。「ＯＶＦ」とは、“Ｏｐｔｉｃａｌ　Ｖｉｅｗ　Ｆｉｎｄｅｒ”の略称を指す。「ＥＶＦ」とは、“Ｅｌｅｃｔｒｉｃ　Ｖｉｅｗ　Ｆｉｎｄｅｒ”の略称を指す。「ＬＣＤ」とは、“Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ”の略称を指す。「Ｉ／Ｆ」とは、“Ｉｎｔｅｒｆａｃｅ”の略称を指す。「ＣＰＵ」とは、“Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ”の略称を指す。「ＲＯＭ」とは、“Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。「ＲＡＭ」とは、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ”の略称を指す。「ＥＥＰＲＯＭ」とは、“Ｅｌｅｃｔｒｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。「ＡＳＩＣ」とは、“Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。「ＦＰＧＡ」とは、“Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ”の略称を指す。「ＰＬＤ」とは、“Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ”の略称を指す。「ＬＡＮ」とは、“Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ”の略称を指す。ＳＳＤとは、“Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ”の略称を指す。ＵＳＢとは、“Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ”の略称を指す。ＤＶＤ－ＲＯＭとは、“Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ”の略称を指す。「ＳｏＣ」とは、“Ｓｙｓｔｅｍ　Ｏｎ　Ｃｈｉｐ”の略称を指す。「ＩＣ」とは、“Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ”の略称を指す。「ＰＤＡ」とは、“Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ”の略称を指す。「ＧＰＳ」とは、“Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ”の略称を指す。「ＯＥＬＤ」とは、“Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ”の略称を指す。「ＪＰＥＧ」とは、“Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ”の略称を指す。「ＲＦＩＤ」とは、“Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ”の略称を指す。「ＳＩＭ」とは、Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ”の略称を指す。「ＵＩＭ」とは、“Ｕｓｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ　Ｃａｒｄ”の略称を指す。「Ｉ／Ｏ」とは、“Ｉｎｐｕｔ／Ｏｕｔｐｕｔ”の略称を指す。

　（第１実施形態）
　以下、本開示の技術の実施形態の一例を、図面を参照しつつ説明する。図１は、第１実施形態に係る撮像装置１００の外観の一例を示す斜視図である。図２は、図１に示す撮像装置１００の背面図である。以下に説明する実施形態を適用可能な撮像装置としては、デジタルカメラ及びデジタルビデオカメラ等の撮像装置、電子内視鏡及びカメラ付携帯電話機等に搭載される撮像モジュール等があり、ここではデジタルカメラを例にして説明する。

　撮像装置１００は、レンズ交換式カメラであり、カメラ本体２００と、カメラ本体２００に交換可能に装着される交換レンズ３００と、を含み、レフレックスミラーが省略されたデジタルカメラである。また、カメラ本体２００には、ハイブリッドファインダー（登録商標）２２０が設けられている。ここで言うハイブリッドファインダー２２０とは、例えば、ＯＶＦ及びＥＶＦが選択的に使用可能なファインダーを指す。

　カメラ本体２００と交換レンズ３００とは、カメラ本体２００に備えられたマウント２５６と、マウント２５６に対応する交換レンズ３００側のマウント３４６（図３参照）とが結合されることにより交換可能に装着される。交換レンズ３００は、撮影レンズ１６及びフォーカスレンズ３０２を含み、カメラ本体２００の撮像素子に被写体の光学像を送る。

　カメラ本体２００の前面には、ハイブリッドファインダー２２０に含まれるＯＶＦのファインダー窓２４１が設けられている。また、カメラ本体２００の前面には、ファインダー切替えレバー２１４が設けられている。ファインダー切替えレバー２１４を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像と、ＥＶＦで視認可能な電子像であるライブビュー画像とが選択的に表示される。なお、ＯＶＦの光軸Ｌ２は、交換レンズ３００の光軸Ｌ１とは異なる光軸である。また、カメラ本体２００の上面には、主としてレリーズボタン２１１及び撮影モード又は再生モード等の設定用のダイヤル２１２が設けられている。

　図２に示すカメラ本体２００の背面には、ＯＶＦのファインダー接眼部２４２、表示部２１３、十字キー２２２、メニューキー２２４、選択ボタン２２５が設けられている。

　十字キー２２２は、メニューの選択、ズーム又はコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー２２４は、表示部２１３の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。選択ボタン２２５は、選択項目などの表示内容の消去及び／又は指定内容の取消し、あるいは１つ前の操作状態に戻すときなどに使用される。

　表示部２１３は、例えばＬＣＤにより実現され、撮影モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像の表示に用いられる。ここでいう「ライブビュー画像」とは、一般的には「スルー画像」とも呼ばれている。また、表示部２１３は、静止画像の撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、表示部２１３は、再生モード時の再生画像の表示又はメニュー画面等の表示にも用いられる。表示部２１３は、タッチパネルディスプレイであってもよい。

　図３は、第１実施形態に係る撮像装置１００の電気系の要部構成の一例を示すブロック図である。

　撮像装置１００は、撮像した静止画像及び動画像を記録するデジタルカメラであり、カメラ全体の動作は、ＣＰＵ１２によって統括制御されている。撮像装置１００は、ＣＰＵ１２の他に、操作部１４、Ｉ／Ｆ部２４、一次記憶部２６、二次記憶部２７、エンコーダ３４、表示制御部３６、及び外部Ｉ／Ｆ３９を含む。また、撮像装置１００は、画像処理部２８を含む。なお、ＣＰＵ１２及び表示制御部３６は、本開示の技術に係る「制御部」の一例である。ＣＰＵ１２は、表示制御部３６により出力された補正画像データに基づく画像を表示部２１３に対して表示させる制御を行う。また操作部１４は、本開示の技術に係る「受付部」の一例である。受付部は、撮像素子に対して撮像を開始させるユーザからの指示を受け付ける。
　また、本第１実施形態では、画像処理部２８とは別のハードウェア構成として表示制御部３６を設けているが、これに限らず、画像処理部２８が表示制御部３６と同様の機能を有するものとしてもよく、この場合、表示制御部３６は不要となる。ＣＰＵ１２、操作部１４、Ｉ／Ｆ部２４、一次記憶部２６、二次記憶部２７、画像処理部２８、エンコーダ３４、表示制御部３６、及び外部Ｉ／Ｆ３９は、バス４０を介して相互に接続されている。

　一次記憶部２６は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部２６の一例としては、ＲＡＭが挙げられる。二次記憶部２７は、各種プログラム及び各種パラメータ等が予め記憶された不揮発性のメモリである。二次記憶部２７の一例としては、ＥＥＰＲＯＭ又はフラッシュメモリ等が挙げられる。ＣＰＵ１２は、二次記憶部２７に記憶されている各種プログラムを二次記憶部２７から読み出し、読み出した各種プログラムを一次記憶部２６に展開し、展開した各種プログラムを実行することで各部を制御する。

　操作部１４は、レリーズボタン２１１、及び撮影モード等を選択するダイヤル２１２、表示部２１３、ファインダー切替えレバー２１４、十字キー２２２、メニューキー２２４及び選択ボタン２２５を含む。また、操作部１４は、各種情報を受け付けるタッチパネルも含む。このタッチパネルは、例えば表示部２１３の表示画面に重ねられている。操作部１４から出力された各種の操作信号はＣＰＵ１２に入力される。

　画像処理部２８は、ホワイトバランスゲイン部及びガンマ補正部を有し（図示省略）、一次記憶部２６に一時記憶された元のデジタル信号であるＲＡＷ画像に対して各処理部で順次信号処理を行う。すなわち、ホワイトバランスゲイン部は、Ｒ，Ｇ，Ｂ信号のゲインを調整することによりホワイトバランスを実行する。ガンマ補正部は、ＷＢゲイン部でＷＢが実行された各Ｒ，Ｇ，Ｂ信号をガンマ補正する。

　エンコーダ３４は、入力された信号を別の形式の信号に変換して出力する。ハイブリッドファインダー２２０は、電子像を表示するＬＣＤ２４７を有する。表示制御部３６は表示部２１３とＬＣＤ２４７に各々接続されており、ＬＣＤ２４７及び表示部２１３が選択的に制御されることによりＬＣＤ２４７又は表示部２１３により画像が表示される。本実施形態において、表示制御部３６は、本開示の技術に係る「出力部」の一例であり、各種画像を表示部２１３又はＬＣＤ２４７に出力する。なお、以下では、表示部２１３及びＬＣＤ２４７を区別して説明する必要がない場合は「表示装置」と称する。

　外部Ｉ／Ｆ３９は、ＬＡＮ及び／又はインターネットなどの通信網に接続され、通信網を介して、サーバ、パーソナルコンピュータ、及び／又はプリンタ等の外部装置とＣＰＵ１２との間の各種情報の送受信を司る。従って、撮像装置１００は、外部装置としてプリンタが接続されている場合、撮影した静止画像をプリンタに出力して印刷させることができる。また、撮像装置１００は、外部装置としてディスプレイが接続されている場合は、撮影した静止画像及び／又はライブビュー画像をディスプレイに出力して表示させることができる。

　被写体を示す画像光は、撮影レンズ１６及びシャッタ１８を介して撮像素子２０の受光面に結像される。撮像素子２０は、いわゆる電子シャッタ機能を有しており、電子シャッタ機能を働かせることで、各光電変換素子５１の電荷蓄積時間即ち露光時間を制御する。本実施形態では、撮像素子２０の一例としてＣＭＯＳセンサが採用されているが、これに限らず、グローバルシャッタ方式、及び、後述のローリング方式での読み出しが実現可能な撮像素子であればよい。

　撮像素子２０は、複数の光電変換素子５１が横方向と縦方向に２次元的に配列されているＣＭＯＳセンサである。以下では、説明の便宜上、横方向を行方向とも称し、縦方向を列方向とも称する。

　一例として図４に示すように、撮像素子２０は、光電変換素子５１、メモリ部５３、及び画像処理回路６１を有する。光電変換素子５１は、レリーズボタン２１１が操作されることによって受け付けられた指示に従って被写体を撮像し、被写体を示す画像データを生成する。ここで、光電変換素子５１により生成された画像データは、本開示の技術に係る「撮像画像データ」の一例である。メモリ部５３は、光ノイズが重畳する特性を有しており、光電変換素子５１から転送された画像データを格納する。撮像素子２０は、Ｉ／Ｆ部２４を介してバス４０に接続されている。

　画像処理回路６１は、本開示の技術に係る「読出部」の一例であり、メモリ部５３から画像データを読み出す。画像処理回路６１は、メモリ部５３に転送された画像データを、メモリ部５３の区分けされた複数の領域の各々毎に領域画像データとして読み出す。そして、画像処理回路６１は、領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出す。以下、説明の便宜上、メモリ部５３の区分けされた複数の領域を、単に「複数の領域」とも称する。また、ここで言う「予め定められた領域」とは、メモリ部５３のうち、画像データが最初に領域画像データとして読み出された領域を指す。予め定められた領域は、光ノイズの影響を受け、光ノイズに起因するデータを蓄積する。なお、以下では、説明の便宜上、「予め定められた領域のデータ」を、「光ノイズデータ」とも称する。また、本実施形態では、光ノイズとして、ＰＬＳを想定しているが、ＰＬＳはあくまでも一例に過ぎず、他種類の光ノイズであってもよい。

　画像処理回路６１は、補正処理部６２及び記憶部６４を有する。補正処理部６２は、メモリ部５３に格納された画像データをメモリ部５３から読み出し、読み出した画像データを記憶部６４に一時的に記憶する。補正処理部６２は、記憶部６４に記憶された画像データを、光ノイズデータに応じて定まる光ノイズに従って複数の領域の各々毎に補正することで補正画像データを生成する。補正画像データは、記憶部６４に記憶された画像データに比べ、光ノイズの影響が抑制された画像である。

　画像処理回路６１は、画像処理に係る複数の機能の回路を１つにまとめた集積回路であるＡＳＩＣであってもよい。また、例えば、画像処理回路６１は、ＣＰＵ、ＲＯＭ及びＲＡＭを含むコンピュータ、ＦＰＧＡ、又はＰＬＤなどの他のハードウェア構成であっても良い。また、例えば、画像処理回路６１は、ＡＳＩＣ、ＦＰＧＡ、ＰＬＤ、及びコンピュータ等のうちの２種類以上のハードウェア構成の組み合わせであってもよい。

　一例として図５に示すように、撮像素子２０は、光電変換素子５１と、メモリ部５３と、フローティングディフュージョン部５５と、を含む破線で囲むユニットが行方向に多数配されている。本実施形態では、横方向の一列を行という。また縦方向の１列を列という。例えば図５の上側の１行を（ｘ）行とすると、下側の行は（ｘ+１）行である。また図の左側の列を（ｙ）列とすると、右側の列は（ｙ+１）列である。なお、図５に示す例では、メモリ部５３は光電変換素子５１の横方向に隣接して設けられているが、メモリ部５３と光電変換素子５１との位置関係はこれに限られない。例えば、光電変換素子５１の上方、又は下方にメモリ部５３が配置されていてもよい。また、例えば、光電変換素子５１にメモリ部５３が重なって配置されていてもよい。

　ユーザが撮像装置１００のレリーズボタン２１１を押すと、光電変換素子５１の全ての画素がリセットされる。次いで設定された電荷蓄積時間だけ光電変換素子５１が起動し、光を信号電荷に変換する。露光が終了すると、露光中に発生した信号電荷は、いわゆるグローバルシャッタ方式でメモリ部５３に転送される。即ち、例えば、すべての有効画素の光電変換素子５１に蓄積された信号電荷が、転送信号に同期してメモリ部５３に一括して転送される。ここで言う「信号電荷」とは、被写体を撮像することにより生じる電荷を指す。また、信号電荷は、被写体を示す画像データに相当する。なお、ここではグローバルシャッタ方式を例示したが、ローリングシャッタ方式を適用することも可能である。

　メモリ部５３に一時的に格納された信号電荷は、画像処理回路６１から入力される読み出し信号によってフローティングディフュージョン部５５から信号電荷に応じたデジタル信号として順次読み出される。ここで、信号電荷を順次読み出す方式は、いわゆるローリング方式とも称される。なお、一例として図５に示す構成では、隣接する２つの行のメモリ部５３からのそれぞれの信号電荷が、１つのフローティングディフュージョン部５５から読み出される。

　読み出しは、例えば、行ごとのローリング方式での読み出しであるため、すべてのメモリ部５３の信号電荷を読み出すまでにある程度の時間がかかる。その間に、光電変換素子５１及び／又はメモリ部５３に発生した迷光等によるノイズ電荷が、信号電荷に重畳される。例えばメモリ部５３に遮光部材を有しない等で外光に晒される場合は、メモリ部５３からの光ノイズが信号電荷に重畳される。そのため、メモリ部５３に格納され読み出される画像データは、被写体が撮像されることによって得られた画像データに、光ノイズが重畳された撮像画像データである。以下では、説明の便宜上、光ノイズが重畳された補正前の画像を撮像画像ともいう。本実施形態では、この撮像画像から重畳された光ノイズを除去するため、以下に示す処理を行う。

　図６は、露光時間に蓄積されメモリ部５３に格納された画像データを読み出すタイムチャート（横軸が時間）の一例である。本実施形態では、一例として図６Ａに示すように、メモリ部５３に蓄積された画像データの画像処理回路６１による読み出しは、メモリ部５３が３つの領域に区分けされ、予め定められた順序で領域ごとに行う。ここで言う「３つの領域」とは、上述した「複数の領域」の一例である。

　本実施形態では、画像処理回路６１が、例えば、図６Ａの“Ｆ１”で示すように、最初に第１領域の画像データをローリング方式で読み出す。次に、画像処理回路６１は、例えば、図６Ａの“Ｆ２”で示すように、第２領域の画像データをローリング方式で読み出す。次に、画像処理回路６１は、例えば、図６Ａの“Ｆ３”で示すように、第３領域の画像データをローリング方式で読み出す。最後に、画像処理回路６１は、例えば、図６Ａの“ＲＦ１”で示すように、最初に読み出しを行った第１領域に対して再度読み出しを行う。

　第１領域に対して再度読み出しを行う場合、画像処理回路６１は、光電変換素子５１によって生成された撮影対象の信号電荷ではなく、最初に第１領域を読み出した後に第１領域に発生した光ノイズ成分に相当する前述の光ノイズデータを読み出す。このように、画像処理回路６１が一度読み出しを行った領域に対して再度読み出しを行うことを、以下では、「空読み」とも称する。

　各領域の読み出し順序は特に限定されないが、後述の領域の区分け方法に関連して決めることが好ましい。また、空読みする領域は、最初に読み出しが行われた領域であることが好ましい。その理由については後述する。

　図６Ｂは、メモリ部５３を区分けしないで１行目から最終行まで順次ローリング方式で読み出す従来方法を示すタイムチャートである。この読み出し方法を通常読み出しと称する。本実施形態では、画像処理回路６１は、撮像条件により、画像データを分割して読み出す分割読み出し方法と、画像データを分割しないで順次読み出す通常読み出し方法とを使い分けることができる。

　ここで、メモリ部５３における領域の区分けの仕方について説明する。撮像素子２０は、画素の色分割に応じて、予め複数の領域に区分けされている。領域は、メモリ部５３に蓄積された信号電荷が均等に分割されるように区分けされる。より具体的には、各領域に含まれる記憶素子に対応する光電変換素子５１の画素が撮像領域の中で位置的に均等に分布するように区分けされる。光電変換素子５１の画素の各々にはメモリ部５３の記憶素子が隣接して設けられているため、光電変換素子５１の画素を均等に区分けすることは、メモリ部５３を均等に区分けすることを意味する。このように区分けすることで、撮像画像の全体が各領域の画像データである領域画像データに均等に分割される。

　領域の区分けの方法の一例を図７に示す。図７に示す例では、撮像素子２０は行方向に４８９６画素、列方向に３２６４画素を配列し、画素数として（４８９６×３２６４）個、アスペクト比として３：２が採用されている。しかし、画素数及びアスペクト比はこれに限られるものではない。

　本実施形態では、一例として図７に示すように行列方式で配列された画素が、行単位で周期的に間引かれて１つの領域に割り当てられている。具体的には、画素は３行ごとに１行全部が間引かれて１つの領域に割り当てられている。つまり、１行目の画素は第１領域に、２行目の画素は第２領域に、３行目の画素は第３領域に各々割り当てられる。本明細書では、間引くとは一部を抜き出すことを意味する。なお、以下では、「領域」を「フィールド」とも称する。

　４行目以降も同様に、４行目の画素は第１フィールドに、５行目の画素は第２フィールドに、６行目の画素は第３フィールドに、順番に割り当てられる。つまり、行番号をフィールドの数である３で割ったときの余りが１の行の画素は第１フィールドに、余りが２の行の画素は第２フィールドに、行番号が３で割り切れる行の画素は第３フィールドに、割り当てられる。このような割り当てをすべての行の画素について行う。ここでは、撮像素子２０の画素が行単位で周期的に間引かれて１つの領域に割り当てられることで複数の領域に分割されることを「フィールド分割」とも称する。

　一例として図７に示すように、撮像素子２０は、予め定められた複数の原色の各々について感度を有する。つまり、撮像素子２０はカラー撮影が可能である。本実施形態では、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタが各光電変換素子５１上に配置されている。カラーフィルタの配置の仕方は、ベイヤー配列、ＷＲＧＢ配列、又はクリアビット配列などがある。

　本実施形態では、撮像素子２０のカラーフィルタの配列は、行毎にフィールド分割しても各フィールドで適切なカラーフィルタの配列が保たれる。具体的には、１行目は、左からＲフィルタ、Ｇフィルタ、Ｒフィルタ、Ｇフィルタと、ＲフィルタとＧフィルタが交互に配列されている。２行目は、Ｇフィルタ、Ｂフィルタ、Ｇフィルタ、Ｂフィルタと、ＧフィルタとＢフィルタが交互に配列されている。以下、奇数行は１行目と同じ配列であり、偶数行は２行目と同じ配列である。

　このように色分割された画素を図７に示す方法でフィールド分割した場合、第１フィールドから第３フィールドは図８Ａ～図８Ｃに示す配列になる。各フィールドとも、１０８８行×１６３２列の画素が配列されている。また、図８Ａ～図８Ｃに示されるように、第１フィールドから第３フィールドは３色の配列がいずれも同じであり、しかもその配列は区分けする前の全領域の配列と同じである。全画素を図７のように配列することにより、分割したときの各フィールドの配列が同じとなるため、フィールド分割読み出しを行った場合の光ノイズの検出精度が高くなる。なお、色分割の方法はカラーフィルタを用いる方法に限られず、例えばプリズムを用いる方法、フォトダイオードを積層する方法、又は有機光電膜を積層する方法等がある。

　以上のように、複数の原色の各々について感度を有する光電変換素子５１が予め定められた配列を有する１つの行がグループ単位となっている。そして、全部の行が周期的に同じ領域に間引かれるため、各領域には、すべての光電変換素子５１の画素を均等に３分割した光電変換素子５１の画素が含まれる。なお、本実施形態では、メモリ部５３が３つの領域に区分けされているが、区分けする領域の数はこれに限られず任意である。そして区分けの方法は、Ｘ分割する場合は行番号をＸで割り、１余る行の画素を第１フィールド、２余る行の画素を第２フィールド、割り切れる行の画素を第Ｘフィールド、のようにして割り当てる。

　なお、各領域が、それぞれメモリ部５３に蓄積されたすべての信号電荷が均等に分割されるように区分けできれば、領域の区分けは上記の方法に限られない。例えば、１行の画素を複数の領域に割り当てるようにしてもよい。また、複数の行をまとめて１つの領域に割り当ててもよい。

　次に、撮像装置１００の本開示の技術に係る光ノイズの除去方法の一例について、図９～図１３を参照しながら説明する。

　光ノイズの除去方法では、まずフィールド間の比較結果を取得する。本実施形態では、比較結果とは、隣り合う一対の領域画像データの各々の画像データの差分である。差分を取る対象となるフィールドは、読み出し順序が隣り合う一対のフィールドである。領域画像データは、補正処理部６２による読み出し順序が隣り合う一対の領域画像データの比較結果に基づいて補正される。前述のように、補正処理部６２は、最初に第１フィールドを読み出し、以下、第２フィールド及び第３フィールドの順で読み出す。従って、補正処理部６２は、第１フィールドと第２フィールドとの差分を算出する。さらに、補正処理部６２は、第２フィールドと第３フィールドとの差分を算出する。フィールドの数が３つの場合は、差分を取得する処理はこれで終了であるが、フィールドの数が４以上である場合、補正処理部６２は、以下同様に最後のフィールドまで差分を取得する。

　一例として図９に示す差分取得処理では、先ず、ステップＳ１００で、フィールド数レジスタＭに初期値である２が記憶される。次のステップＳ１０２で、補正処理部６２は、第Ｍフィールドと第（Ｍ－１）フィールドとの各々の画像データを読み出す。

　以下では、説明の便宜上、各フィールドの画像データを「フィールド画像データ」又は単に「画像データ」と称する。フィールド画像データは、メモリ部５３から読み出され、記憶部６４に記憶された画素毎のデータの集合である。前述のように画素は各フィールドとも１０８８行×１６３２列で配列されている。ここで、行数をｘ、列数をｙとし、ｘ行、ｙ列目の画素を［ｘ、ｙ］と表す。そして、第Ｍフィールドの画像データの［ｘ、ｙ］の画素データをＩｍａｇｅＭ［ｘ、ｙ］と表記し、第（Ｍ－１）フィールドの画像データの座標［ｘ、ｙ］の画素データをＩｍａｇｅ（Ｍ－１）［ｘ、ｙ］と表記する。ただし、ｘは１から１０８８まで、ｙは１から１６３２までである。

　次のステップＳ１０４で、補正処理部６２は、第Ｍフィールドの画像データから第（Ｍ－１）フィールドの画像データを差し引いた差分を取得する。差分は、読み出し順序が後のフィールドの画像データから、読み出し順序が先のフィールドの画像データを差し引きして求める。つまり、各フィールドの同じ［ｘ、ｙ］座標にあるデータを差し引きして差分を求める。

　ここで、ステップＳ１０４の処理を、図１０を用いて詳細に説明する。一例として図１０に示す画像データ差分取得処理は、まず、ステップＳ１１０で、座標レジスタに第Ｍフィールド及び第（Ｍ－１）フィールドの処理座標［ｘ、ｙ］としてｘ＝１、ｙ＝１が記憶される。次に、ステップＳ１１２で、第Ｍフィールドの［１、１］座標の画素データから第（Ｍ－１）フィールドの［１、１］座標の画素データを差し引いたＤｉｆＤａｔａＭ［１、１］が記憶部６４に記憶される。ＤｉｆＤａｔａＭ［１、１］は第Ｍフィールドと第（Ｍ－１）フィールドの［１、１］座標の差分である。

　次のステップＳ１１４で、補正処理部６２は、座標レジスタのｙ座標を１インクリメントし、その後、ステップＳ１１６へ移行する。
　ステップＳ１１６で、補正処理部６２は、ｙの値が１６３２を超えたか否かを判定する。ステップＳ１１６において、ｙの値が１６３２以下の場合は、判定が否定されて、画像データ差分取得処理は、ステップＳ１１２に戻る。ステップＳ１１６において、ｙの値が１６３２を超えた場合は、判定が肯定されて、画像データ差分取得処理は、ステップＳ１１８へ移行する。

　ステップＳ１１８で、補正処理部６２は、座標レジスタのｘの値を１つインクリメントし、ｙの値を１に戻す。

　次のステップＳ１２０で、補正処理部６２は、ｘの値が１０８８を超えたか否かを判定する。ステップＳ１２０において、ｘの値が１０８８以下の場合は、判定が否定されて、画像データ差分取得処理は、ステップＳ１１２に戻る。ステップＳ１２０において、ｘの値が１０８８を超えた場合は、判定が肯定されて、補正処理部６２は、画像データ差分取得処理を終了する。
　なお、以上の処理は、対応する１画素毎に差分を取ったが、例えば対応する１行毎にまとめて差分を取ってもよい。

　画像データ差分取得処理が実行されることで、補正処理部６２は、画素毎の差分を得る。得られた差分データは記憶部６４に記憶される。全画素の差分を第Ｍフィールドの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］と称する。第Ｍフィールドの画像差分データは、第Ｍフィールドの画像データの補正に用いられる。

　図９に戻り、ステップＳ１０６で、補正処理部６２は、Ｍがフィールドの数と同じか否かを判定する。ステップＳ１０６において、Ｍがフィールドの数と異なる場合は、判定が否定されて、差分取得処理は、ステップＳ１０８へ移行する。ステップＳ１０８で、補正処理部６２はＭを１つインクリメントし、差分取得処理はステップＳ１０２に戻る。ステップＳ１０６において、Ｍがフィールドの数と同じ場合は、判定が肯定されて、補正処理部６２は、差分取得処理を終了する。補正処理部６２は、以上の差分取得処理を実行することで、第２フィールドから第Ｍフィールドまで、（Ｍ－１）個の画像差分データを得る。

　次に補正処理部６２は、光ノイズを有する画素位置を定める、ノイズ位置決定処理を行う。ノイズ位置決定処理とは、各フィールドで、座標毎の差分データがノイズであるか否かを判定してノイズ位置を決定する処理を指す。

　一例として図１１に示すノイズ位置決定処理では、先ず、ステップＳ１３０で、フィールド数レジスタＭに初期値である２が記憶される。

　次のステップＳ１３２で、補正処理部６２は、第２フィールドの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］を記憶部６４から取り込む。次のステップＳ１３４で、座標レジスタに座標データとしてｘ＝１、ｙ＝１が記憶される。
　次のステップＳ１３６で、補正処理部６２は、ＤｉｆＤａｔａＭ［１、１］が予め定めた閾値Ｔ１より大きいか否かを判定する。ここで、閾値Ｔ１とは、例えば、メモリ部５３に蓄積された１画素分の信号電荷に光ノイズが重畳されて得られた１画素分の光ノイズデータのデータ量として、実機による試験及び／又はコンピュータ・シミュレーション等により予め得られた値を指す。
　ステップＳ１３６において、ＤｉｆＤａｔａＭ［１、１］が予め定めた閾値Ｔ１より大きい場合は、判定が肯定されて、ノイズ位置決定処理は、ステップＳ１３８へ移行する。ステップＳ１３６において、ＤｉｆＤａｔａＭ［１、１］が予め定めた閾値Ｔ１以下の場合は、判定が否定されて、ノイズ位置決定処理は、ステップＳ１４０へ移行する。
　ステップＳ１３８で、補正処理部６２は、ノイズマップＮｍａｐＭ［１、１］に対して、光ノイズが存在することを示す値である“１”を付与し、その後、ノイズ位置決定処理は、ステップＳ１４２へ移行する。
　ステップＳ１４０で、補正処理部６２は、ノイズマップＮｍａｐＭ［１、１］に対して、光ノイズが存在しないことを示す値である“０”を付与し、その後、ノイズ位置決定処理は、ステップＳ１４２へ移行する。

　次のステップＳ１４２で、補正処理部６２は、第Ｍフィールドの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］をすべて判定したかを判定する。ステップＳ１４２において、第Ｍフィールドの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］をすべて判定していない場合は、判定が否定されて、ノイズ位置決定処理は、ステップＳ１４４へ移行する。ステップＳ１４２において、第Ｍフィールドの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］をすべて判定した場合は、判定が肯定されて、ノイズ位置決定処理は、ステップＳ１４６へ移行する。
　ステップＳ１４４で、補正処理部６２は、ｘ座標又はｙ座標を１つインクリメントし、その後、ノイズ位置決定処理は、ステップＳ１３６に戻る。なお、座標をインクリメントする手順は、図１０に示す方法に準ずるので詳細な説明は省略する。
　ステップＳ１４６で、補正処理部６２は、Ｍがフィールドの数と同じか否かを判定する。ステップＳ１４６において、Ｍがフィールドの数と異なる場合は、判定が否定されて、ノイズ位置決定処理は、ステップＳ１４８へ移行する。
　ステップＳ１４８で、補正処理部６２は、Ｍの値を１つインクリメントし、その後、ノイズ位置決定処理は、ステップＳ１３２に戻り、補正処理部６２は、次のフィールドである第（Ｍ＋１）フィールドに対してステップＳ１３２から順に処理を実行する。
　ステップＳ１４６において、Ｍがフィールドの数と同じ場合は、判定が肯定されて、補正処理部６２は、ノイズ位置決定処理を終了する。
　以上のように、読み出し順序が隣り合う２つのフィールドの画像データの差分から、読み出し順序が後のフィールドにおける光ノイズを有する画素位置が定められる。

　ノイズ位置決定処理により、ノイズの座標位置が決定されたノイズマップＮｍａｐＭ［ｘ、ｙ］がフィールド毎に得られる。ステップＳ１３８の処理又はステップＳ１４０の処理が実行されることで、ノイズマップの座標に対して、“１”又は“０”の２値データが付与される。ここで、ノイズマップの座標に対して２値化する理由は、光ノイズの量が被写体の信号電荷に比べて小さいからである。そのため、隣り合うフィールドの差分を取った場合に、得られる光ノイズはバックグラウンドである被写体の信号電荷に紛れて誤差が大きくなる可能性がある。そこで、ノイズマップは光ノイズが発生したか否かの判定、即ち光ノイズ発生位置の判定に用いられる。

　図１２は、ノイズマップに対して付与された２値データが“１”の部分を白で、ノイズマップに対して付与された２値データが“０”の部分を黒で表したノイズマップ図の一例である。図１２に示す例では、白抜きの部分が、光ノイズが発生した位置を示している。

　次に、補正処理部６２は、フィールド画像補正処理を行う。フィールド画像補正処理とは、ノイズマップＮｍａｐＭ［ｘ、ｙ］を用いて各フィールドの画像データを補正する処理を指す。

　一例として図１３に示すフィールド画像補正処理では、先ず、ステップＳ１５０で、補正処理部６２は、第１フィールドの空読みデータＮｄａｔａ［ｘ、ｙ］を記憶部６４に取り込む。

　次のステップＳ１５２で、フィールド数レジスタＭに初期値である２が記憶される。次のステップＳ１５４で、補正処理部６２は、第Ｍフィールドの画像データＩｍａｇｅＭ［ｘ、ｙ］を記憶部６４に取り込む。次のステップＳ１５６で、補正処理部６２は、第ＭフィールドのノイズマップＮｍａｐＭ［ｘ、ｙ］を記憶部６４に取り込む。次のステップＳ１５８で、座標レジスタに座標データとしてｘ＝１、ｙ＝１が記憶される。

　次のステップＳ１６０で、補正処理部６２は、処理座標の画像データＩｍａｇｅＭ［ｘ、ｙ］を空読みデータＮｄａｔａ［ｘ、ｙ］とノイズマップＮｍａｐＭ［ｘ、ｙ］とを用いて補正する。具体的には、処理座標毎に、画像データから空読みデータとノイズマップとの積を差し引く。つまり、補正後の画像データをＣＩｍａｇｅＭ［ｘ、ｙ］とすると、“ＣＩｍａｇｅＭ［ｘ、ｙ］＝ＩｍａｇｅＭ［ｘ、ｙ］－Ｎｄａｔａ［ｘ、ｙ］×ＮｍａｐＭ［ｘ、ｙ］”と表される。

　ノイズマップＮｍａｐＭ［ｘ、ｙ］のデータは、光ノイズが発生した座標位置を示している。つまり、発生した位置のデータは“１”、発生しない位置のデータは“０”である。一方、空読みデータは、発生した光ノイズだけが読み出されるため、その数値の精度が高い。そこで、ノイズマップのデータと空読みデータとを組み合わせることにより、光ノイズの位置と発生量を精度良く決定することができる。

　ステップＳ１６２で、補正処理部６２は、すべての座標の画像データを補正したか否かを判定する。ステップＳ１６２において、すべての座標の画像データを補正していない場合は、判定が否定されて、フィールド画像補正処理は、ステップＳ１６４へ移行する。ステップＳ１６２において、すべての座標の画像データを補正した場合は、判定が肯定されて、フィールド画像補正処理は、ステップＳ１６６へ移行する。

　ステップＳ１６４で、補正処理部６２は、ｘ座標又はｙ座標をインクリメントし、その後、フィールド画像補正処理は、ステップＳ１６０へ移行する。なお、座標をインクリメントする手順は、図１０に示す方法に準ずるので詳細な説明は省略する。
　ステップＳ１６６で、補正処理部６２は、Ｍがフィールドの数と同じか否かを判定する。ステップＳ１６６において、Ｍがフィールドの数と異なる場合は、判定が否定されて、フィールド画像補正処理は、ステップＳ１６８へ移行する。
　ステップＳ１６８で、補正処理部６２は、Ｍを１つインクリメントし、次の（Ｍ＋１）フィールドに対してステップＳ１５４から順次に処理を実行する。
　ステップＳ１６６において、Ｍがフィールドの数と同じ場合は、判定が肯定されて、補正処理部６２は、フィールド画像補正処理を終了する。

　以上の処理により、第２フィールドから第Ｍフィールドまでの補正画像データが得られる。補正処理部６２は、最初に読み出した第１フィールドの画像データと、第２フィールドから第Ｍフィールドまでの補正画像データを合わせることにより、１つの補正画像を得ることができる。

　本実施形態においては、読み出す順序が隣り合う一対のフィールドは、各フィールドの光電変換素子５１が行単位で隣り合っている。隣り合う光電変換素子５１は距離が非常に近いため、同じ露光時間にこれらのメモリ部５３に蓄積される被写体の画像データの差は非常に小さいと考えられる。したがって、これらの隣り合うメモリ部５３に蓄積された画像データの差分が大きければ、それは光ノイズによるものである蓋然性が高いと考えられる。本実施形態では、この特徴を利用して読み出す順序、即ち配列位置が隣り合う一対のフィールドの差分を取り、光ノイズを除去する。

　さらに、本実施形態では、最初に読み出しをした第１フィールドを、最後に空読みする。空読みによって、最初に読み出した後、第２フィールドと第３フィールドを読み出す間に第１フィールドに発生した光ノイズが読み出される。これは第１フィールドに実際に発生した光ノイズであり、これと同じ程度の光ノイズが第２フィールド、第３フィールドにも発生していると考えられる。

　空読みするフィールドは最初に読み出しした第１フィールドでなくともよいが、他のフィールドでは空読みするまでの時間が少なくなる。そのため、実際に測定した光ノイズの量を、最後のフィールドを読み出すまでの時間から比例換算することになる。そのため、光ノイズを最も長く実測できるように、メモリ部５３から最初に前記領域画像データが読み出されたフィールドを最後に空読みすることが好ましい。

　以上の第１実施形態によれば、光ノイズが発生する位置と光ノイズの量とを別々に精度良く決定することができる。そして決定した光ノイズのデータを用いて撮影した画像を補正することにより、撮像素子又は撮像装置の機械的な構成を変更することなく、光ノイズを抑制した撮像画像を得ることができる。

　以上の実施形態は、例えば静止画像の撮影に適用することができる。また、例えば連写モードにおいては、１枚の画像を撮影するたびに上記の処理を行うことも可能である。あるいは、最初の１枚の撮影時に本方法を適用して得られた補正情報を記憶しておき、以降の撮影ではその補正情報を用いて撮影した撮像画像を補正するようにすれば、高速でかつ光ノイズの少ない連写画像を得ることができる。

　また、第１実施形態では、撮像素子２０に一体化された補正処理部６２が光ノイズ補正処理を行う。しかし必ずしも補正処理部６２が光ノイズ補正処理を行う必要はない。例えば、ＣＰＵ１２が二次記憶部２７に記憶された光ノイズ補正プログラムを読み出して、光ノイズ補正処理を行ってもよい。

　（第２実施形態）
　次に第２実施形態について一例として図１４に示すフローチャートを参照して説明する。なお、撮像装置１００又は撮像素子２０の機械的な構成等、以下に説明しない事項は第１実施形態と同じである。また、第１実施形態と同じ処理の場合は、データ名称を同じ名称として説明を簡略化した部分がある。また、第１実施形態の変形例は、以下の実施形態においても適用可能である。

　本第２実施形態に係る撮像装置１００では、各フィールドの画像データが同時化処理された後にノイズマップＮｍａｐＭ［ｘ、ｙ］の作成が行われる。ここで、同時化とは、撮像素子２０がカラー撮影可能な場合、画素毎に色の異なる隣接する画素のデータを補間して、全色のデータを含むようにする処理を指す。具体的には、補正処理部６２は、撮像素子２０のカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。

　一例として図１４に示すノイズ位置決定処理では、先ず、ステップＳ２００で、フィールド数レジスタＭに初期値である２が記憶され、その後、ノイズ位置決定処理は、ステップＳ２０２へ移行する。

　ステップＳ２０２で、補正処理部６２は、記憶部６４に記憶されている第Ｍフィールドと第（Ｍ－１）フィールドとの各々の画像データを取り込み、その後、ノイズ位置決定処理は、ステップＳ２０４へ移行する。

　ステップＳ２０４で、補正処理部６２は、第Ｍフィールドの画像データと第（Ｍ－１）フィールドの画像データとの各々を同時化する。即ち、補正処理部６２は各フィールドの画素毎にカラーフィルタの配列に対応した色補間処理を行い、同時化したＲ，Ｇ，Ｂ信号を生成する。

　次のステップＳ２０６で、補正処理部６２は、同時化した第Ｍフィールドの画像データから同時化した第（Ｍ－１）フィールドの画像データを差し引いた差分データＤｉｆＤａｔａＭ［ｘ、ｙ］を取得する。差分データＤｉｆＤａｔａＭ［ｘ、ｙ］は、各フィールドの同じ［ｘ、ｙ］座標にあるデータを差し引きして求める。差分の求め方は、図１０を用いて説明した通りなので、詳細な説明は省略する。補正処理部６２により取得された差分は、記憶部６４に記憶される。

　次のステップＳ２０８で、補正処理部６２は、取得した差分データＤｉｆＤａｔａＭ［ｘ、ｙ］を取り込み、その後、ノイズ位置決定処理は、ステップＳ２１０へ移行する。

　ステップＳ２１０で、座標レジスタに座標データとしてｘ＝１、ｙ＝１が記憶され、その後、ノイズ位置決定処理は、ステップＳ２１２へ移行する。

　ステップＳ２１２で、補正処理部６２は、座標［１、１］の差分が予め定めた閾値Ｔ２よりも大きいか否かを判定する。ここで、閾値Ｔ２とは、例えば、メモリ部５３に蓄積された１画素分の信号電荷に光ノイズが重畳されて得られた１画素分の光ノイズデータのデータ量として、実機による試験及び／又はコンピュータ・シミュレーション等により予め得られた値を指す。

　ステップＳ２１２において、座標［１、１］の差分が予め定めた閾値Ｔ２よりも大きい場合は、判定が肯定されて、ノイズ位置決定処理は、ステップＳ２１４へ移行する。ステップＳ２１４で、補正処理部６２は、ノイズマップＮｍａｐＭ［１、１］に対して、光ノイズが存在することを示す値である“１”を付与し、その後、ノイズ位置決定処理は、ステップＳ２１８へ移行する。ステップＳ２１２において、座標［１、１］の差分が予め定めた閾値Ｔ２以下の場合は、判定が否定されて、ノイズ位置決定処理は、ステップＳ２１６へ移行する。ステップＳ２１６で、補正処理部６２は、ノイズマップＮｍａｐＭ［１、１］に対して、光ノイズが存在しないことを示す値である“０”を付与し、その後、ノイズ位置決定処理は、ステップＳ２１８へ移行する。

　ステップＳ２１８で、補正処理部６２は、すべての座標について差分を判定したか否かを判定する。ステップＳ２１８において、すべての座標について差分を判定していない場合は、判定が否定されて、ノイズ位置決定処理は、ステップＳ２２０へ移行する。ステップＳ２１８において、すべての座標について差分を判定した場合は、判定が肯定されて、ノイズ位置決定処理は、ステップＳ２２２へ移行する。

　ステップＳ２２０で、補正処理部６２は、ｘ座標又はｙ座標をインクリメントして、ノイズ位置決定処理は、ステップＳ２１２に戻る。

　ステップＳ２２２で、補正処理部６２は、Ｍがフィールドの数と同じか否かを判定する。ステップＳ２２２において、Ｍがフィールドの数と同じではない場合は、判定が否定され、ノイズ位置決定処理は、ステップＳ２２４へ移行する。

　ステップＳ２２４で、補正処理部６２は、Ｍを１つインクリメントして、次の（Ｍ＋１）フィールドに対してステップＳ２０２から順次に処理を実行する。

　ステップＳ２２２において、Ｍがフィールドの数と同じ場合は、判定が肯定されて、補正処理部６２は、ノイズ位置決定処理を終了する。

　一例として図８に示したように、各フィールドでは、Ｒ，Ｇ，Ｂの全色が揃っている。また、各フィールドは全画素から画素を周期的に間引きして得た画像になっているので、少しずつ被写体位置が異なり、さらには、同色の画素が重ならない。従って、上記の第２実施形態に係る撮像装置１００によれば、各フィールドを同時化して、各色を補間して比較することにより、各フィールド間の比較がしやすくなり、誤差の少ないノイズマップＮｍａｐＭ［ｘ、ｙ］を作成することができる。

　（第３実施形態）
　次に第３実施形態について一例として図１５に示すフローチャートを参照して説明する。なお、第１実施形態又は第２実施形態と同じ処理の場合は、データ名称を同じ名称として説明を簡略化した部分がある。

　本第３実施形態に係る撮像装置１００では、各フィールドの画像データに対してローパスフィルタ処理が施された上で、ノイズマップＮｍａｐＭ［ｘ、ｙ］の作成が行われる。以下、詳細に説明する。

　一例として図１５に示すノイズ位置決定処理では、先ず、ステップＳ３００で、フィールド数レジスタＭに初期値である２が記憶され、その後、ステップＳ３０２へ移行する。

　ステップＳ３０２で、補正処理部６２は、記憶部６４に記憶されている第Ｍフィールドと第（Ｍ－１）フィールドとの各々の画像データを取り込み、その後、ノイズ位置決定処理は、ステップＳ３０４へ移行する。

　ステップＳ３０４で、補正処理部６２は、第Ｍフィールドの画像データと第（Ｍ－１）フィールドの画像データとの各々をそれぞれローパスフィルタ処理する。つまり、補正処理部６２は、画素データの高周波成分を除去する。

　次のステップＳ３０６で、補正処理部６２は、ローパスフィルタ処理した第Ｍフィールドの画像データとローパスフィルタ処理した第（Ｍ－１）フィールドの画像データとの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］を取得する。補正処理部６２は、取得した差分を記憶部６４に記憶する。

　図１５に示すステップＳ３０８以降の処理は、図１４に示すノイズ位置決定処理のステップＳ２０８以降の処理に比べ、ステップＳ２１２の処理に代えてステップＳ３１２の処理を有する点が異なる。ステップＳ３１２の処理は、ステップＳ２１２の処理に比べ、閾値Ｔ２に代えて閾値Ｔ３が採用されている点が異なる。ここで、閾値Ｔ３とは、例えば、メモリ部５３に蓄積された１画素分の信号電荷に光ノイズが重畳されて得られた１画素分の光ノイズデータのデータ量として、実機による試験及び／又はコンピュータ・シミュレーション等により予め得られた値を指す。

　以下、図１５に示すステップＳ３０８以降の処理は、一例として図１４に示すノイズ位置決定処理のステップＳ２０８以降の処理とほぼ同様であるので、簡単に説明する。

　補正処理部６２は、記憶した差分を取り込み、差分を予め定めた閾値Ｔ３と比較する。補正処理部６２は、差分が閾値Ｔ３より大きい場合は、ノイズマップＮｍａｐＭ［１、１］に対して、“１”を付与し、閾値Ｔ３以下である場合はノイズマップＮｍａｐＭ［１、１］に対して、“０”を付与することで、ノイズマップを生成する。

　第３実施形態によれば、各フィールドは画素を周期的に間引きして得られた画像なので、細長い被写体、又はコントラストが強い被写体などの高周波の被写体は、隣り合うフィールドの同じ座標位置に片方のフィールドだけ写っていない場合がある。その場合、差分を取るとその座標で光ノイズが発生したと誤って判定されることがある。このような場合でも、ローパスフィルタなどで高周波数帯域を絞る処理を掛けることで境界が緩やかになり、検出誤差を少なくすることができ、誤差の少ないノイズマップＮｍａｐＭ［ｘ、ｙ］を作成することができる。

　（第４実施形態）
　次に本第４実施形態について一例として図１６に示すフローチャートを参照して説明する。本第４実施形態に係る撮像装置１００では、上記第３実施形態と同様にフィルタ処理が実行されることでノイズ位置が決定されるが、第３実施形態と異なり、各フィールドの画像データの差分が算出されてからフィルタ処理が実行される。なお、以下の説明において、第３実施形態と同じ処理の場合、データ名称を同じ名称として説明を簡略化した部分がある。

　一例として図１６に示すノイズ位置決定処理では、先ず、ステップＳ３４０で、フィールド数レジスタＭに初期値である２が記憶され、その後、ノイズ位置決定処理は、ステップＳ３４２へ移行する。

　ステップＳ３４２で、補正処理部６２は、記憶部６４に記憶されている第Ｍフィールドの画像データと第（Ｍ－１）フィールドの画像データとを取り込み、その後、ノイズ位置決定処理は、ステップＳ３４４へ移行する。

　ステップＳ３４４で、補正処理部６２は、第Ｍフィールドの画像データと第（Ｍ－１）フィールドの画像データとの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］を取得し、その後、ノイズ位置決定処理は、ステップＳ３４６へ移行する。

　ステップＳ３４６で、補正処理部６２は、取得した差分に対してローパスフィルタ処理を施す。

　図１６に示すステップＳ３４８以降の処理は、図１５に示すノイズ位置決定処理のステップＳ３０８以降の処理に比べ、ステップＳ３１２の処理に代えてステップＳ３５２の処理を有する点が異なる。ステップＳ３５２の処理は、ステップＳ３１２の処理に比べ、閾値Ｔ３に代えて閾値Ｔ４が採用されている点が異なる。ここで、閾値Ｔ４とは、例えば、メモリ部５３に蓄積された１画素分の信号電荷に光ノイズが重畳されて得られた１画素分の光ノイズデータのデータ量として、実機による試験及び／又はコンピュータ・シミュレーション等により予め得られた値を指す。

　以下、図１６に示すステップＳ３４８以降の処理は、一例として図１５に示すノイズ位置決定処理のステップＳ３０８以降の処理とほぼ同様であるので、簡単に説明する。

　補正処理部６２は、ローパスフィルタ処理した差分を取り込み、閾値Ｔ４と比較する。補正処理部６２は、差分が閾値Ｔ４より大きい場合は、ノイズマップＮｍａｐＭ［１、１］に対して、“１”を付与し、閾値Ｔ４以下である場合はノイズマップＮｍａｐＭ［１、１］に対して、“０”を付与することで、ノイズマップを生成する。

　第４実施形態の効果は、第３実施形態の効果と同様である。各フィールドは画素を周期的に間引きして得られた画像なので、細長い被写体、又はコントラストが強い被写体などの高周波の被写体は、隣り合うフィールドの同じ座標位置に片方のフィールドだけ写っていない場合がある。その場合、差分を取ると大きな数値が得られることがある。このような場合でも、差分に対してローパスフィルタなどで高周波数帯域を絞る処理を掛けることで数値が小さくなり、検出誤差を少なくすることができ、誤差の少ないノイズマップＮｍａｐＭ［ｘ、ｙ］を作成することができる。

　（第５実施形態）
　次に第５実施形態について一例として図１７に示すフローチャートを参照して説明する。本第５実施形態に係る撮像装置１００では、光ノイズ特性情報を用いて画像データの光ノイズ補正が行われる。光ノイズ特性情報は、空読みされた第１フィールドの光ノイズ量から各フィールドに発生する光ノイズ量を計算する情報であり、記憶部６４又は一次記憶部２６に予め記憶されている。

　光ノイズ特性情報は、撮像素子２０毎に定められている。光ノイズ特性情報は、予めフィールド区分けされたメモリ部５３のうちのどのフィールドにどの程度の光ノイズが発生するかという特性値として、製造時又は出荷前に取得され、記憶部６４又は一次記憶部２６に記憶される。本第５実施形態に係る撮像装置１００では、光ノイズ特性情報が、例えば、計算式あるいは換算係数といった形式で記憶されているが、本開示の技術はこれに限定されず、テーブルで記憶されていてもよい。

　光ノイズ特性情報は、各フィールドにおいて、画素毎に規定されていてもよい。あるいは、光ノイズ特性情報はある範囲の複数の画素に対応させたデータであってもよい。また、色感度を有する撮像素子の場合は、色によって光ノイズの発生量及び発生頻度が異なるため、各色の素子毎に光ノイズ特性情報を規定しておくことが好ましい。光ノイズ特性情報は、画素毎に、範囲毎に、又は領域毎に異なっていてもよい。以下では、第Ｍフィールドの光ノイズ特性情報は画素毎に規定されているとして、ＣｄａｔａＭ［ｘ，ｙ］で表す。

　一例として図１７に示す光ノイズ補正処理では、先ず、ステップＳ４００で、補正処理部６２は、記憶部６４に記憶されている第１フィールドの空読みデータＮｄａｔａ［ｘ，ｙ］を取り込み、その後、光ノイズ補正処理は、ステップＳ４０２へ移行する。

　ステップＳ４０２で、フィールド数レジスタＭに初期値である２が記憶され、その後、光ノイズ補正処理は、ステップＳ４０４へ移行する。

　ステップＳ４０４で、補正処理部６２は、第Ｍフィールドの画像データＩｍａｇｅＭ［ｘ，ｙ］を取り込み、その後、光ノイズ補正処理は、ステップＳ４０６へ移行する。

　ステップＳ４０６で、補正処理部６２は、第ＭフィールドのノイズマップＮｍａｐＭ［ｘ，ｙ］を取り込み、その後、光ノイズ補正処理は、ステップＳ４０８へ移行する。

　ステップＳ４０８で、補正処理部６２は、第Ｍフィールドの光ノイズ特性情報ＣｄａｔａＭ［ｘ，ｙ］を取得する。なお、本ステップＳ４０８において、補正処理部６２は、本開示の技術に係る「取得部」の一例である。

　次のステップＳ４１０で、座標レジスタに座標データとしてｘ＝１、ｙ＝１が記憶され、その後、光ノイズ補正処理は、ステップＳ４１２へ移行する。

　ステップＳ４１２で、補正処理部６２は、座標［１，１］の空読みデータと光ノイズ特性情報から光ノイズ量を計算する。つまり、補正処理部６２は、Ｎｄａｔａ［１，１］をＣｄａｔａＭ［１，１］に規定された換算係数あるいは計算式を用いて計算する。ここで、ＣａｌＮｄａｔａＭ［１，１］とは、計算された光ノイズ量を指す。

　次のステップＳ４１４で、補正処理部６２は、座標［１，１］の画像データＩｍａｇｅＭ［１，１］を、ノイズマップと、計算された光ノイズ量とを用いて補正する。ＩｍａｇｅＭ［１，１］に対する補正は、２値化されたノイズマップのデータＮｍａｐＭ［１，１］と光ノイズ量ＣａｌＮｄａｔａＭ［１，１］とを掛け合わせ、画像データＩｍａｇｅＭ［１，１］から差し引かれることで実現される。

　次のステップＳ４１６で、補正処理部６２は、すべての座標の画像データを処理したか否かを判定する。ステップＳ４１６において、すべての座標の画像データを処理していない場合は、判定が否定されて、光ノイズ補正処理はステップＳ４１８へ移行する。ステップＳ４１６において、すべての座標の画像データを処理している場合は、判定が肯定されて、光ノイズ補正処理はステップＳ４２０へ移行する。

　ステップＳ４１８で、補正処理部６２は、ｘ座標又はｙ座標をインクリメントし、光ノイズ補正処理はステップＳ４１２に戻り、ステップＳ４１２以降の処理を順次に行う。

　ステップＳ４２０で、補正処理部６２は、Ｍがフィールドの数と同じであるか否かを判定する。ステップＳ４２０において、Ｍがフィールドの数と同じでない場合は、判定が否定されて、光ノイズ補正処理は、ステップＳ４２２へ移行する。

　ステップＳ４２２で、補正処理部６２は、Ｍを１つインクリメントして光ノイズ補正処理はステップＳ４０４に戻る。補正処理部６２は、次のフィールドの処理をステップＳ４０４から順次に行う。

　ステップＳ４２０において、Ｍがフィールドの数と同じである場合は、判定が肯定されて、補正処理部６２は、光ノイズ補正処理を終了する。

　以上の第５実施形態によれば、各フィールドで補正しなければならない光ノイズ量を、予め記憶していた光ノイズ特性情報を用いてより精度良く算出することができる。特に、色感度を有する撮像素子の場合は、色毎に光ノイズ特性情報を備えておくことで、光ノイズ量をより精度良く算出することができる。

　（第６実施形態）
　次に第６実施形態について説明する。本第６実施形態に係る撮像装置１００は、上記第５実施形態に係る撮像装置１００に比べ、光ノイズ特性情報に代えて、光ノイズの発生量の比を光ノイズ特性情報として採用している点が異なる。この実施形態では、光ノイズ特性情報は、複数の領域のうちの補正処理部６２により再度読み出される領域の光ノイズとして予め定められた値と、複数の領域のうちの領域と異なる領域の光ノイズとして予め定められた値との比に基づく値である。

　第６実施形態に係る撮像装置１００では、第５実施形態で説明した光ノイズ特性情報ＣｄａｔａＭ［ｘ，ｙ］に代えて、予め測定した光ノイズ量ＰｒｅＮｄａｔａＭ［ｘ，ｙ］と、第１フィールドの空読みデータＮｄａｔａ［ｘ，ｙ］との比を用いる。即ち、“ＣｄａｔａＭ［ｘ，ｙ］＝ＰｒｅＮｄａｔａＭ［ｘ，ｙ］／Ｎｄａｔａ［ｘ，ｙ］”である。さらに、光ノイズ特性情報ＣｄａｔａＭ［ｘ，ｙ］は、色毎に設定しておくことが好ましい。

　本第６実施形態に係る撮像装置１００によれば、各フィールドで補正しなければならない光ノイズ量を、予め記憶していた光ノイズ特性情報を用いてより精度良く、かつ迅速に算出することができる。特に、本第６実施形態に係る撮像装置１００によれば、色感度を有する撮像素子の場合、色毎に光ノイズ特性情報を備えておくことで、光ノイズ量をより精度良く、かつ迅速に算出することができる。

　（第７実施形態）
　次に第７実施形態について一例として図１８に示すフローチャートを参照して説明する。本第７実施形態に係る撮像装置１００では、上記各実施形態で説明した撮像装置１００に比べ、簡易な方法で光ノイズを補正する方法が採用されている。具体的には、メモリ部５３に格納された撮像画像データが、補正処理部６２により各々毎に読み出された領域画像データに応じて定まる光ノイズに従って複数の領域の各々毎に補正されて、補正画像データを得る方法である。

　一例として図１８に示す差分取得処理では、先ず、ステップＳ５００で、フィールド数レジスタＭに初期値である“２”が記憶され、その後、差分取得処理は、ステップＳ５０２へ移行する。

　ステップＳ５０２で、補正処理部６２は、第Ｍフィールドの画像データＩｍａｇｅＭ［ｘ，ｙ］と第（Ｍ－１）フィールドの画像データＩｍａｇｅ（Ｍ－１）［ｘ，ｙ］とを取り込み、その後、差分取得処理は、ステップＳ５０４へ移行する。

　ステップＳ５０４で、補正処理部６２は、第Ｍフィールドの画像データと第（Ｍ－１）フィールドの画像データとの差分データＤｉｆＤａｔａＭ［ｘ、ｙ］を取得する。
即ち、ＤｉｆＤａｔａＭ［ｘ、ｙ］は、“ＤｉｆＤａｔａＭ［ｘ、ｙ］＝ＩｍａｇｅＭ［ｘ，ｙ］－Ｉｍａｇｅ（Ｍ－１）［ｘ，ｙ］”で表される。

　差分データＤｉｆＤａｔａＭ［ｘ、ｙ］は、第（Ｍ－１）フィールドの画像データが読み出されてから第Ｍフィールドの画像データが読み出されるまでの間に第Ｍフィールドに発生した光ノイズに相当する。

　次のステップＳ５０６で、補正処理部６２は、第Ｍフィールドの画像データから、ステップＳ５０４で取得した差分データＤｉｆＤａｔａＭ［ｘ、ｙ］を差し引く。これにより、光ノイズを除いた第Ｍフィールドの画像データが得られる。

　次のステップＳ５０８で、補正処理部６２は、Ｍがフィールドの数と同じか否かを判定する。ステップＳ５０８において、Ｍがフィールドの数と同じでない場合は、判定が否定されて差分取得処理はステップＳ５１０へ移行する。

　ステップＳ５１０で、補正処理部６２は、Ｍを１つインクリメントして、差分取得処理はステップＳ５０２に戻る。補正処理部６２は、次のフィールドの処理をステップＳ５０２から順次に行う。

　ステップＳ５０８において、Ｍがフィールドの数と同じ場合は、判定が肯定されて、補正処理部６２は差分取得処理を終了する。

　まとめると、補正画像データは、読み出し順序が隣り合う一対の領域画像データの比較結果に基づいて、読み出し順序が後の領域画像データ内から、差分を有する画素位置を定め、定められた画素位置及び差分に従って領域毎に補正して得られる。

　本第７実施形態に係る撮像装置１００によれば、第１フィールドの空読みが行われずに、読み出し順が隣接するフィールド間の差分が取得されるので、第１フィールドの空読みが行われる場合に比べ、各フィールドの光ノイズの補正を迅速に行うことができる。

　（第８実施形態）
　次に第８実施形態について一例として図１９に示すフローチャートを参照して説明する。本第８実施形態では、撮像装置１００が、上記第１～第７実施形態で説明した光ノイズの補正の要否を選択する方式を採用している。

　図１９には、画像処理回路６１によって実行されるノイズ補正要否処理の流れの一例が示されている。一例として図１９に示すように、先ず、ステップＳ６００で、画像処理回路６１は、ユーザによってマニュアルモードで設定された撮像条件、又はオート撮影モードでＣＰＵ１２が設定した撮像条件のうち、撮像時間である露光時間が予め定めた時間閾値より短いか否かを判定する。また、画像処理回路６１は、メモリ部５３に格納されたライブビュー画像データにおいて、被写体に予め定めた閾値を超える輝度を有する画像領域があるか否かを判定する。画像処理回路６１は、これらの２つの条件のうち、少なくとも何れか１つの条件を満たすか否かを判定する。

　ステップＳ６００において、２つの条件のうち、少なくとも何れか１つの条件を満たす場合は、判定が肯定されて、ノイズ補正要否処理は、ステップＳ６０２に移行する。ステップＳ６００において、２つの条件のうち、何れの条件も満たさない場合は、判定が否定されて、ノイズ補正要否処理は、ステップＳ６０４に移行する。

　ステップＳ６０２で、補正処理部６２は、光ノイズ補正モードを実行し、補正画像を得る。光ノイズ補正モードとは、光電変換素子５１により撮影されて得られた撮像画像データに対して、上記各実施形態で説明した光ノイズを除去する補正を行う動作モードを指す。

　ステップＳ６０４で、画像処理回路６１は、光電変換素子５１により撮影されて得られた撮像画像データに対して、上記各実施形態で説明した光ノイズを除去する補正を行わない通常の読み出し処理を実行する。

　なお、本第８実施形態では、ステップＳ６００の処理が画像処理回路６１によって実行される場合を例示したが、本開示の技術はこれに限定されない。例えば、ステップＳ６００の処理はＣＰＵ１２によって実行され、ＣＰＵ１２による実行結果が画像処理回路６１に伝えられるようにしてもよい。

　露光時間が短いと、相対的に撮像画像データの読み出し時間が長くなる。そのため、露光時間に得られる被写体からの光学像データに比べて、読み出し時間中に発生する光ノイズの量が相対的に増加する。つまり、光ノイズの影響が大きくなる。そのため、撮像時間が予め定めた閾値より短い場合は、光ノイズ補正をするメリットが大きくなる。また、被写体が撮像装置１００によって撮像されると、被写体の輝度が大きくなるに従って光ノイズの発生量も大きくなる。そのため、被写体に予め定めた閾値を超える輝度領域がある場合は、光ノイズ補正をするメリットが大きくなる。

　本第８実施形態に係る撮像装置１００によれば、撮像時間が閾値未満であるか、又は被写体に閾値を超える輝度を有する画像領域がある場合に、光ノイズ補正モードで撮影し、それ以外の場合は光ノイズ補正をしない通常モードで撮影をする。そのため、本第８実施形態に係る撮像装置１００によれば、光ノイズ補正モード下で撮像画像データに対して光ノイズを除去する補正の頻度を必要最小限に留めることができる。

　また、一例として図２０に示すように、ステップＳ６１０で、画像処理回路６１は、撮像時間が閾値未満であり、かつ被写体に閾値を超える輝度領域があるか否かを判定してもよい。ステップＳ６１０において、露光時間が閾値未満であり、かつ被写体に閾値を超える輝度領域がある場合は、判定が肯定されて、ノイズ補正要否処理は、ステップＳ６１２へ移行する。

　なお、ここでは、ステップＳ６１０の処理が画像処理回路６１によって実行される場合を例示したが、本開示の技術はこれに限定されない。例えば、ステップＳ６１０の処理はＣＰＵ１２によって実行され、ＣＰＵ１２による実行結果が画像処理回路６１に伝えられるようにしてもよい。

　ステップＳ６１２で、補正処理部６２は、図１９に示すステップＳ６０２の処理に相当する処理を実行する。ステップＳ６１４で、画像処理回路６１は、図１９に示すステップＳ６０４の処理に相当する処理を実行する。従って、図２０に示すノイズ補正要否処理が実行された場合であっても、図１９に示すノイズ補正要否処理が実行された場合と同様の効果が得られる。

　以上の各実施形態で説明した光ノイズ補正処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

　以上の説明では、本開示の技術に係る各種処理が画像処理回路６１によって実行される形態例を示したが、本開示の技術はこれに限定されず、本開示の技術に係る各種プログラムがＣＰＵ１２によって実行されることによって実現されるようにしてもよい。さらに、本開示の技術はこれに限定されず、ＣＰＵ１２以外のＣＰＵによって本開示の技術に係る各種プログラムが実行されるようにしてもよい。

　また、ここで言う「本開示の技術に係る各種処理」とは、差分取得処理、ノイズ位置決定処理、フィールド画像補正処理、光ノイズ補正処理、及びノイズ補正要否処理を指す。また、ここで言う「本開示の技術に係る各種プログラム」とは、差分取得プログラム、ノイズ位置決定プログラム、フィールド画像補正プログラム、光ノイズ補正プログラム、及びノイズ補正要否プログラムを指す。
　すなわち、差分取得プログラムが画像処理回路６１又はＣＰＵ１２によって実行されることで差分取得処理が実現される。また、ノイズ位置決定プログラムが画像処理回路６１又はＣＰＵ１２によって実行されることでノイズ位置決定処理が実現される。また、フィールド画像補正プログラムが画像処理回路６１又はＣＰＵ１２によって実行されることでフィールド画像補正処理が実現される。また、光ノイズ補正プログラムが画像処理回路６１又はＣＰＵ１２によって実行されることで光ノイズ補正処理が実現される。更に、ノイズ補正要否プログラムが画像処理回路６１又はＣＰＵ１２によって実行されることでノイズ補正要否処理が実現される。なお、以下では、差分取得プログラム、ノイズ位置決定プログラム、フィールド画像補正プログラム、光ノイズ補正プログラム、及びノイズ補正要否プログラムを区別して説明する必要がない場合、「プログラムＰＧ」と称する。
　一例として図２１に示すように、プログラムＰＧは、ＳＳＤ、ＵＳＢメモリ、又はＤＶＤ－ＲＯＭ等の任意の可搬型の記憶媒体７００に記憶させておいてもよい。この場合、記憶媒体７００のプログラムＰＧが撮像装置１００にインストールされ、インストールされたプログラムＰＧがＣＰＵ１２によって実行される。

　また、通信網（図示省略）を介して撮像装置１００に接続される他のコンピュータ又はサーバ装置等の記憶部にプログラムＰＧを記憶させておき、プログラムＰＧが撮像装置１００の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラムＰＧは撮像装置１００のＣＰＵ１２によって実行される。

　上記実施形態において、例えば、本開示の技術に係る各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

　本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

　１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

　さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

　（第９実施形態）
　上記各実施形態では、撮像装置１００を例示したが、撮像装置１００の変形例である携帯端末装置としては、例えば、カメラ機能を各々有する携帯電話機、スマートフォン、ＰＤＡ、又は携帯型ゲーム機などが挙げられる。以下では、スマートフォンを例に挙げ、図面を参照しつつ説明する。

　図２２は、スマートフォン８００の外観の一例を示す斜視図である。スマートフォン８００は、平板状の筐体８０２を有し、筐体８０２の一方の面に表示部としての表示パネル８２１と、入力部としての操作パネル８２２とが一体となった表示入力部８２０を備えている。また、筐体８０２は、スピーカ８３１と、マイクロホン８３２と、操作部８４０と、カメラ部８４１とを備えている。なお、筐体８０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造又はスライド構造を有する構成を採用したりすることもできる。

　図２３は、図２２に示すスマートフォン８００の構成の一例を示すブロック図である。一例として図２３に示すように、スマートフォン８００は、主たる構成要素として、無線通信部８１０と、表示入力部８２０と、通信部８３０と、操作部８４０と、カメラ部８４１と、記憶部８５０と、外部入出力部８６０と、を備える。また、スマートフォン８００は、主たる構成要素として、ＧＰＳ受信部８７０と、モーションセンサ部８８０と、電源部８９０と、主制御部８０１と、を備える。また、スマートフォン８００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

　無線通信部８１０は、主制御部８０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対して無線通信を行う。この無線通信が使用されることによって、音声データ、画像データ、電子メールデータ、Ｗｅｂデータ、及び／又はストリーミングデータ等の各種データの送受信が行われる。

　表示入力部８２０は、いわゆるタッチパネルであって、表示パネル８２１と、操作パネル８２２とを備える。そのため、表示入力部８２０は、主制御部８０１の制御により、静止画像、動画、及び文字情報などを表示することで視覚的にユーザに情報を伝達し、かつ、表示した情報に対するユーザ操作を検出する。なお、生成された３Ｄを鑑賞する場合には、表示パネル８２１は、３Ｄ表示パネルであることが好ましい。

　表示パネル８２１は、ＬＣＤ又はＯＥＬＤなどを表示デバイスとして用いることによって実現される。操作パネル８２２は、表示パネル８２１の表示面上に表示される画像を視認可能に載置され、ユーザの指及び／又は尖筆によって操作されることで、一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指及び／又は尖筆によって操作すると、操作に起因して発生する検出信号を主制御部８０１に出力する。次いで、主制御部８０１は、受信した検出信号に基づいて、表示パネル８２１上の操作位置（座標）を検出する。

　表示入力部８２０は、スマートフォン８００の表示パネル８２１と操作パネル８２２とは一体となって構成されている。具体的には、操作パネル８２２が表示パネル８２１に重ねられており、操作パネル８２２が表示パネル８２１を完全に覆っている。この配置を採用した場合、操作パネル８２２は、表示パネル８２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル８２２は、表示パネル８２１に重なる重畳部分についての検出領域である表示領域と、それ以外の表示パネル８２１に重ならない外縁部分についての検出領域である非表示領域とを備えていてもよい。

　なお、表示領域の大きさと表示パネル８２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル８２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。また、外縁部分の幅は、筐体８０２の大きさなどに応じて適宜設計されるものである。更に、操作パネル８２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式を採用することもできる。

　通信部８３０は、スピーカ８３１及び／又はマイクロホン８３２を備える。通信部８３０は、マイクロホン８３２を通じて入力されたユーザの音声を主制御部８０１にて処理可能な音声データに変換して主制御部８０１に出力する。また、通信部８３０は、無線通信部８１０あるいは外部入出力部８６０により受信された音声データを復号してスピーカ８３１から出力する。また、例えば、スピーカ８３１を表示入力部８２０が設けられた面と同じ面に搭載し、マイクロホン８３２を筐体８０２の側面に搭載することができる。

　操作部８４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、図２２に示すように、操作部８４０は、スマートフォン８００の筐体８０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式（モーメンタリ動作方式）のスイッチである。

　記憶部８５０は、プログラムＰＧ、制御データ、アプリケーションソフトウェア、通信相手の名称、及び電話番号などを対応づけたアドレスデータを記憶する。また、記憶部８５０は、送受信された電子メールのデータを記憶する。また、記憶部８５０は、ＷｅｂブラウジングによりダウンロードされたＷｅｂデータ、及び／又はＷｅｂブラウジングによりダウンロードされたコンテンツデータを記憶する。また、記憶部８５０は、ストリーミングデータなどを一時的に記憶する。また、記憶部８５０は、スマートフォン内蔵の内部記憶部８５１と、着脱自在な外部メモリスロットを有する外部記憶部８５２と、を有する。なお、記憶部８５０を構成するそれぞれの内部記憶部８５１と外部記憶部８５２は、フラッシュメモリタイプ又はハードディスクタイプなどの格納媒体を用いることで実現される。格納媒体としては、この他にも、マルチメディアカードマイクロタイプ、カードタイプのメモリ、ＲＡＭ、又はＲＯＭが例示できる。

　外部入出力部８６０は、スマートフォン８００に連結される全ての外部機器とのインタフェースの役割を果たすデバイスであり、他の外部機器に対して、通信等又はネットワークを介して直接的又は間接的に通信可能に接続されている。他の外部機器に通信等としては、例えば、ＵＳＢが挙げられる。ネットワークとしては、例えば、インターネット、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＲＦＩＤ、又はＩｒＤＡ（登録商標）が挙げられる。また、ネットワークの他の例としては、ＵＷＢ（登録商標）又はＺｉｇＢｅｅ（登録商標））などが挙げられる。

　スマートフォン８００に連結される外部機器としては、例えば、有線ヘッドセット、無線ヘッドセット、有線外部充電器、無線外部充電器、有線データポート、及び／又は無線データポートが挙げられる。スマートフォン８００に連結される外部機器の他の例としては、カードソケットを介して接続されるメモリカードが挙げられる。スマートフォン８００に連結される外部機器の他の例としては、ＳＩＭ／ＵＩＭカードが挙げられる。スマートフォン８００に連結される外部機器の他の例としては、オーディオ・ビデオＩ／Ｏ端子を介して接続される外部オーディオ・ビデオ機器が挙げられる。外部オーディオ・ビデオ機器の他にも、無線接続される外部オーディオ・ビデオ機器が挙げられる。また、外部オーディオ・ビデオ機器に代えて、例えば、有線又は無線で接続されるスマートフォンも適用可能である。また、外部オーディオ・ビデオ機器に代えて、例えば、有線又は無線で接続されるパーソナルコンピュータも適用可能である。また、外部オーディオ・ビデオ機器に代えて、例えば、有線又は無線で接続されるＰＤＡも適用可能である。また、外部オーディオ・ビデオ機器に代えて、例えば、有線又は無線で接続されるパーソナルコンピュータも適用可能である。また、外部オーディオ・ビデオ機器に代えて、例えば、イヤホンなども適用可能である。

　外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン８００の内部の各構成要素に伝達したり、スマートフォン８００の内部のデータを外部機器に伝送したりする。

　ＧＰＳ受信部８７０は、主制御部８０１の指示にしたがって、ＧＰＳ衛星ＳＴ１～ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン８００の緯度、経度、及び／又は高度で表現される位置（スマートフォン８００の現在位置）を検出する。ＧＰＳ受信部８７０は、無線通信部８１０又は外部入出力部８６０から、スマートフォン８００の現在位置を示す位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

　モーションセンサ部８８０は、例えば、３軸の加速度センサなどを備え、主制御部８０１の指示にしたがって、スマートフォン８００の物理的な動きを検出する。モーションセンサ部８８０によってスマートフォン８００の物理的な動きが検出されることにより、スマートフォン８００の動く方向及び加速度が検出される。この検出結果は、主制御部８０１に出力される。

　電源部８９０は、主制御部８０１の指示にしたがって、スマートフォン８００の各部に、バッテリ（図示省略）に蓄えられる電力を供給する。

　主制御部８０１は、マイクロプロセッサを備え、記憶部８５０が記憶するプログラムＰＧ及び制御データにしたがって動作し、スマートフォン８００の各部を制御する。また、主制御部８０１は、無線通信部８１０を通じて、音声通信及びデータ通信を行うために、通信系の各部を制御する移動通信制御機能を備えている。また、主制御部８０１は、アプリケーション処理機能も備えている。

　アプリケーション処理機能は、記憶部８５０が記憶するアプリケーションソフトウェアにしたがって主制御部８０１が動作することにより実現される。アプリケーション処理機能としては、例えば、赤外線通信機能、電子メール機能、及びＷｅｂブラウジング機能等が挙げられる。赤外線通信機能は、外部入出力部８６０を制御することで対向機器とデータ通信を行う機能である。電子メール機能は、電子メールの送受信を行う機能である。Ｗｅｂブラウジング機能は、Ｗｅｂページを閲覧する機能である。

　また、主制御部８０１は、画像処理機能を備えている。画像処理機能は、受信されたデータ及び／又はダウンロードされたストリーミングデータなどの静止画像及び／又は動画像のデータに基づいて、映像を表示入力部８２０に表示する等の機能である。つまり、画像処理機能とは、主制御部８０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部８２０に表示する機能を指す。

　更に、主制御部８０１は、表示パネル８２１に対する表示制御と、操作部８４０及び操作パネル８２２を通じたユーザ操作を検出する操作検出制御とを実行する。

　表示制御が実行されることより、主制御部８０１は、アプリケーションソフトウェアを起動するためのアイコン及びスクロールバーなどのソフトキーを表示したり、あるいは電子メールを作成したりするためのウィンドウを表示する。なお、スクロールバーとは、表示パネル８２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動させる指示を受け付けるためのソフトキーを指す。

　また、操作検出制御が実行されることにより、主制御部８０１は、操作部８４０を通じたユーザ操作を検出したり、操作パネル８２２を通じて、上記アイコンに対する操作、及び上記ウィンドウの入力欄に対する文字列の入力を受け付けたりする。また、操作検出制御が実行されることにより、主制御部８０１は、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

　更に、主制御部８０１は、タッチパネル制御機能を備えている。操作検出制御が実行されることにより主制御部８０１は、操作パネル８２２に対する操作位置が、表示パネル８２１に重なる重畳部分（表示領域）か、それ以外の表示パネル８２１に重ならない外縁部分（非表示領域）かを判定する。そして、主制御部８０１がタッチパネル制御機能を働かせることにより、主制御部８０１は、この判定結果を受けて、操作パネル８２２の感応領域及びソフトキーの表示位置を制御する。

　また、主制御部８０１は、操作パネル８２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置のうちの少なくとも１つから軌跡を描く操作を意味する。

　カメラ部８４１は、ＣＭＯＳセンサを用いて撮像するデジタルカメラであり、図１等に示す撮像装置１００と同様の機能を備えている。

　また、カメラ部８４１は、マニュアルフォーカスモードとオートフォーカスモードとを切り替え可能である。マニュアルフォーカスモードが選択されると、操作部８４０又は表示入力部８２０に表示されるフォーカス用のアイコンボタン等を操作することにより、カメラ部８４１の撮影レンズのピント合わせが行われる。また、マニュアルフォーカスモード時には、例えばスプリットイメージが合成されたライブビュー画像を表示パネル８２１に表示させ、これによりマニュアルフォーカス時の合焦状態を確認できるようにしている。なお、図１に示すハイブリッドファインダー２２０をスマートフォン８００に設けるようにしてもよい。

　また、カメラ部８４１は、主制御部８０１の制御により、撮像によって得た画像データを例えばＪＰＥＧなどの圧縮した画像データに変換する。そして、変換して得た画像データを記憶部８５０に記録したり、外部入出力部８６０及び／又は無線通信部８１０を通じて出力したりする。図２２に示すにスマートフォン８００において、カメラ部８４１は表示入力部８２０と同じ面に搭載されているが、カメラ部８４１の搭載位置はこれに限らず、表示入力部８２０の背面に搭載されてもよいし、あるいは、複数のカメラ部８４１が搭載されてもよい。なお、複数のカメラ部８４１が搭載されている場合には、撮像に供するカメラ部８４１を切り替えて単独にて撮像が行われたり、あるいは、複数のカメラ部８４１が同時に使用されることで撮像が行われたりする。

　また、カメラ部８４１はスマートフォン８００の各種機能に利用される。例えば、カメラ部８４１で取得した画像が表示パネル８２１に表示される。また、操作パネル８２２の操作入力のひとつとして、カメラ部８４１の画像が利用される。また、ＧＰＳ受信部８７０が位置を検出する際に、カメラ部８４１からの画像を参照して位置を検出する。また、主制御部８０１は、３軸の加速度センサを用いずに、カメラ部８４１からの画像を参照することでスマートフォン８００のカメラ部８４１の光軸方向を判断したり、現在の使用環境を判断したりする。更に、主制御部８０１は、３軸の加速度センサと併用することで、スマートフォン８００のカメラ部８４１の光軸方向を判断したり、現在の使用環境を判断したりする。勿論、カメラ部８４１からの画像をアプリケーションソフトウェア内で利用することもできる。

　その他、主制御部８０１は、静止画又は動画の画像データに各種情報を付加し、各種情報を付加した画像データを、記憶部８５０に記録したり、入出力部８６０又は無線通信部８１０を通じて出力したりする。ここで言う「各種情報」としては、例えば、静止画又は動画の画像データにＧＰＳ受信部８７０により取得した位置情報、及び／又は、マイクロホン８３２により取得した音声情報が挙げられる。音声情報は、主制御部等により、音声テキスト変換が行われることで得られるテキスト情報が用いられるようにしてもよい。この他にも、「各種情報」には、モーションセンサ部８８０により取得された姿勢情報等などが含まれていてもよい。

　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

　本出願は、２０１８年７月２７日出願の日本出願である特願２０１８－１４１６７８の優先権を主張するものであり、この出願の全内容は参照により本明細書に取り込まれる。

Claims

　複数の光電変換素子を備えた撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、前記メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ前記領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出す読出部と、
　前記撮像素子により撮像されて前記メモリ部に格納された撮像画像データが、前記読出部により再度読み出された前記データに応じて定まる光ノイズに従って前記複数の領域の各々毎に補正されて得られた補正画像データを出力する出力部と、
　を含む画像処理装置。
　前記予め定められた領域は、前記メモリ部から最初に前記領域画像データが読み出された領域である、請求項１に記載の画像処理装置。
　前記補正画像データは、前記読出部による読み出し順序が隣り合う一対の領域画像データの比較結果に基づいて、前記読出部による読み出し順序が後の領域画像データから、前記光ノイズを有する画素位置が定められ、定められた前記画素位置及び前記光ノイズの量に従って、前記領域毎に補正されて得られる請求項１又は２に記載の画像処理装置。
　前記比較結果は、前記隣り合う一対の領域画像データの各々の画像データの差分である請求項３に記載の画像処理装置。
　前記複数の光電変換素子は、予め定められた複数の原色の各々について感度を有する請求項３又は請求項４に記載の画像処理装置。
　前記領域画像データの各々は、前記メモリ部に格納された画像データが、前記複数の原色の各々について感度を有する光電変換素子が予め定められた配列を有するグループ単位で間引かれた領域画像データである請求項５に記載の画像処理装置。
　前記比較結果は、前記一対の領域画像データが同時化処理されてから比較された結果である請求項６に記載の画像処理装置。
　前記画素位置は、前記一対の領域画像データの前記比較結果をフィルタ処理した結果に基づいて定められるか、又は前記一対の領域画像データがフィルタ処理されてから比較された前記比較結果に基づいて定められる請求項３から請求項７の何れか一項に記載の画像処理装置。
　前記読出部は、予め定められた撮像条件を満足した場合に、複数の前記領域画像データ毎の読み出しが終了した後、前記データを再度読み出す処理を行う請求項１から請求項８の何れか一項に記載の画像処理装置。
　前記撮像条件は、前記撮像素子による撮像時間が予め定められた時間より短いとの条件、及び前記メモリ部に格納された画像データ内に輝度が予め定められた輝度を上回る画像領域が存在するとの条件のうち少なくとも一方の条件である請求項９に記載の画像処理装置。
　前記複数の領域の各々についての光ノイズの特性を示す光ノイズ特性情報が予め記憶された記憶部から前記光ノイズ特性情報を取得する取得部を更に含み、
　前記補正画像データは、前記撮像画像データが前記光ノイズと前記取得部によって取得された前記光ノイズ特性情報とに従って、前記領域毎に補正されて得られる請求項１から請求項１０の何れか一項に記載の画像処理装置。
　前記光ノイズ特性情報は、前記複数の領域のうちの前記読出部により再度読み出される前記領域の光ノイズとして予め定められた値と、前記複数の領域のうちの前記領域と異なる領域の光ノイズとして予め定められた値との比に基づく値である請求項１１に記載の画像処理装置。
　複数の光電変換素子を備えた撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、前記メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出す読出部と、
　前記撮像素子により撮像されて前記メモリ部に格納された撮像画像データが、前記読出部により各々毎に読み出された領域画像データに応じて定まる光ノイズに従って前記複数の領域の各々毎に補正されて得られた補正画像データを出力する出力部と、
　を含む画像処理装置。
　前記補正画像データは、前記読出部による読み出し順序が隣り合う一対の領域画像データの比較結果に基づいて、前記読出部による読み出し順序が後の領域画像データ内から、差分を有する画素位置が定められ、定められた前記画素位置及び前記差分に従って前記領域毎に補正されて得られる請求項１３に記載の画像処理装置。
　前記領域は、行列方式で配列された前記光電変換素子の前記メモリ部を、予め定めた方法で行単位で間引いて得られる、請求項１から請求項１４の何れか一項に記載の画像処理装置。
　前記出力部により出力された前記補正画像データに基づく画像を表示部に対して表示させる制御を行う制御部を更に含む請求項１から請求項１５の何れか一項に記載の画像処理装置。
　請求項１から請求項１６の何れか一項に記載の画像処理装置と、
　前記撮像素子に対して撮像を開始させる指示を受け付ける受付部と、
　を含む撮像装置。
　撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、前記メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ前記領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出し、
　前記撮像素子により撮像されて前記メモリ部に格納された撮像画像データが、再度読み出した前記データに応じて定まる光ノイズに従って前記複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む画像処理方法。
　撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、前記メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、
　前記撮像素子により撮像されて前記メモリ部に格納された撮像画像データが、各々毎に読み出した領域画像データに応じて定まる光ノイズに従って前記複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む画像処理方法。
　コンピュータに、
　撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、前記メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、かつ前記領域画像データ毎の読み出しが終了した後、予め定められた領域のデータを再度読み出し、
　前記撮像素子により撮像されて前記メモリ部に格納された撮像画像データが、再度読み出した前記データに応じて定まる光ノイズに従って前記複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む処理を実行させるためのプログラム。
　コンピュータに、
　撮像素子で撮像され、光ノイズが重畳するメモリ部に転送された画像データを、前記メモリ部の区分けされた複数の領域の各々毎に領域画像データとして読み出し、
　前記撮像素子により撮像されて前記メモリ部に格納された撮像画像データが、各々毎に読み出した領域画像データに応じて定まる光ノイズに従って前記複数の領域の各々毎に補正されて得られた補正画像データを出力することを含む処理を実行させるためのプログラム。