JP2010231192A - ステレオ撮像装置 - Google Patents

Abstract

【課題】被写界深度が深いステレオ画像を、被写体からの光量を減ずることなく作成することが可能なステレオ撮像装置を提供する。
【解決手段】パンフォーカス処理回路１８Ｒは、演算処理回路１５Ｒから、少しずつ位置をずらした多数の像面の合成画像データを取得する。そして、これら複数の合成画像データのそれぞれについて、注目画素とその近傍の画素との輝度値の差を演算し、合成画像データに含まれる各画素のコントラストを算出する。そして、複数の合成画像データ間で同じ位置に存在する各画素のコントラストを比較し、コントラストが最大になる画素を取り出すことで、パンフォーカス画像データを作成する。制御回路１０１は２つのパンフォーカス画像データに基づき、視差を有する一対の画像データを作成する。
【選択図】図１

Description

本発明は、ステレオ撮像装置に関する。

２つの撮像光学系を用いて、右目用の画像と、左目用の画像と、から成るステレオ画像を撮像するステレオ撮像装置が知られている（例えば、特許文献１）。このようなステレオ撮像装置は、２つの撮像光学系を所定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。

ステレオ画像は被写界深度が深いことが望ましい。これは、遠近いずれの被写体とも鮮鋭であった方が、そうでない場合よりも立体感をはっきりと感じられる事が多いためである。例えば、撮像光学系の絞り径を小さくすることにより、ステレオ画像の被写界深度を深くすることが可能である。

他方、特許文献２には、任意の像面における像の画像データを合成する撮像装置が記載されている。この撮像装置は、マイクロレンズアレイを構成する各々のマイクロレンズの後方に配置された画素配列から、所定の光電変換素子の出力を取り出すことにより、任意の撮影距離に位置する被写体に焦点が合った画像データを合成する機能を有する。

特開平８−４７００１号公報 特開２００７−４４７１号公報

ステレオ画像の被写界深度を深くするために撮像光学系の絞り径を小さくした場合、被写体からの光量が少なくなり、画像のノイズが増加してしまうという問題があった。

請求項１に係る発明は、被写体の画像信号を出力する少なくとも２つの撮像ユニットと、前記２つの撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成する第１の画像作成手段と、を有するステレオ撮像装置であって、前記２つの撮像ユニットのうち少なくとも１つは、結像光学系と、前記結像光学系の所定の結像面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に二次元状に配置され、前記結像光学系の射出瞳の異なる領域からの光束をそれぞれ受光する光電変換機能を有する複数の画素を含む撮像素子と、前記撮像素子の出力に基づきパンフォーカスな画像信号を出力できる出力手段と、を有するパンフォーカス撮像ユニットであることを特徴とするステレオ撮像装置である。
請求項６に係る発明は、被写体の画像信号を出力する少なくとも２つの撮像ユニットと、被写体までの距離を検出する測距手段と、２つの撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成する第１の画像作成手段と、２つの撮像ユニットのうちいずれか一方の撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成する第２の画像作成手段と、を有するステレオ撮像装置であって、２つの撮像ユニットのうち少なくとも１つは、結像光学系と、結像光学系の所定の結像面近傍に二次元状に配置された複数の正レンズと、複数の正レンズの各々の後側に二次元状に配置され、結像光学系の射出瞳の異なる領域からの光束をそれぞれ受光する光電変換機能を有する複数の画素を含み、複数の画素の出力を画像信号として出力する撮像素子とを有する撮像ユニットであり、第２の画像作成手段は、合成撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成し、測距手段が検出した距離が所定値以上の場合には第１の画像作成手段により視差を有する一対の画像を作成し、測距手段が検出した距離が所定値未満の場合には第２の画像作成手段により視差を有する一対の画像を作成することを特徴とするステレオ撮像装置である。

本発明によれば、パンフォーカス撮像ユニットを用いてステレオ画像を得ることができる。

第１の実施の形態によるステレオ撮像装置の構成を示す図である。 撮像ユニット１００Ｌ，１００Ｒの構成を示す図である。 演算処理回路１５Ｌの画像合成機能の一例を示す図である。 像面Ｚ１の合成画像データと像面Ｚ２の合成画像データを示す図である。 パンフォーカスな画像データを作成する過程を示す図である。 撮像ユニット１００Ｌのみを用いてステレオ画像データを作成する原理を示す図である。 画素配列１３０と、制御回路１０１により作成される一対の画像データ１２４Ｒ，１２４Ｌとの関係を示す図である。 光電変換素子の出力から画像データの画素値を演算する処理を示す図である。 ２つの撮像ユニットを用いてレンチキュラー式立体画像を得る処理を示す図である。 １つの撮像ユニットを用いてレンチキュラー式立体画像を得る処理を示す図である。 第３の実施の形態によるステレオ撮像装置の構成を示す図である。 撮像ユニット１００Ｌ，２００Ｒの構成を示す図である。 輻輳角の調整機能の概要を説明する図である。 図１３におけるマイクロレンズアレイ１２Ｌおよび撮像素子１３Ｌの拡大図である。 輻輳角の変化を示す図である。

――第１の実施の形態――
図１は、第１の実施の形態によるステレオ撮像装置の構成を示す図である。ステレオ撮像装置１は、撮像ユニット１００Ｌ，１００Ｒ，制御回路１０１，メモリ１０２，入力装置１０３，距離センサ１０４を備える。

撮像ユニット１００Ｌ，１００Ｒは共に、撮影光学系を所定の撮影距離に位置する被写体に焦点調節した状態での一度の撮影で、至近距離から無限遠までの全ての被写体にピントが合った画像データを作成することが可能な撮像ユニットである（以下、このような撮像ユニットを合成撮像ユニットと呼ぶ）。この画像データは、奥行きのある被写体の近景から遠景まで焦点のあった画像データであるので、パンフォーカス画像データと呼ぶ。制御回路１０１は撮像ユニット１００Ｌ，１００Ｒがそれぞれ作成したパンフォーカス画像データに基づき、視差を有する一対の画像データを作成する。以下の説明では、この一対の画像データをステレオ画像データと呼称する。制御回路１０１は、入力装置１０３を介してユーザから入力された指示に従って上記のステレオ画像データを作成し、メモリ１０２に記憶する。距離センサ１０４は、被写体までの距離を測定した結果を制御回路１０１へ出力する。

図２は、撮像ユニット１００Ｌ，１００Ｒの構成を示す図である。撮像ユニット１００Ｌは、撮影レンズ１１Ｌ，多数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイ１２Ｌ，撮像素子１３Ｌ，駆動回路１４Ｌ，演算処理回路１５Ｌ，メモリ１６Ｌ，制御回路１７Ｌ，パンフォーカス処理回路１８Ｌ，出力回路１９Ｌを備える。

撮像素子１３Ｌは、マイクロレンズアレイ１２Ｌを構成する各マイクロレンズＭＬの焦点面近傍に配置される。撮像素子１３Ｌは、撮影レンズ１１Ｌの射出瞳とほぼ共役になっている。なお、これらの位置関係は正確である必要はなく、撮像素子１３Ｌの出力の演算過程において補正を行うことが可能である。撮影レンズ１１Ｌの焦点面近傍に入射した結像光束は、撮像素子１３Ｌにおいて電気信号に変換される。この撮像素子１３Ｌは駆動回路１４Ｌによって駆動され、撮像素子１３Ｌが出力する画像信号は、この駆動回路１４Ｌを介して演算処理回路１５Ｌに取り込まれるか、あるいは出力回路１９Ｌへ出力される。演算処理回路１５Ｌは、上記の画像信号に基づき合成画像データを合成する。合成画像データはパンフォーカス処理回路１８Ｌへ出力される。

パンフォーカス処理回路１８Ｌは、演算処理回路１５Ｌが出力した合成画像データに基づいて、パンフォーカス画像データを作成する。作成されたパンフォーカス画像データは、メモリ１６Ｌに格納される。出力回路１９Ｌは、メモリ１６Ｌに格納されているパンフォーカス画像データや駆動回路１４Ｌが出力する画像信号を、撮像ユニット１００Ｌの外部へ画像信号として出力する。駆動回路１４Ｌ，演算処理回路１５Ｌ，メモリ１６Ｌ，パンフォーカス処理回路１８Ｌ，出力回路１９Ｌは、すべて制御回路１７Ｌによって制御さ
れる。制御回路１７Ｌは、撮像ユニット１００Ｌの外部から入力される制御信号に従って各回路の制御を行う。

マイクロレンズアレイ１２Ｌは、二次元状に配列された複数のマイクロレンズＭＬにより構成される。撮像素子１３Ｌには、上記の各マイクロレンズＭＬを通過した光を受光する画素配列１３０が、マイクロレンズＭＬに対応した配置パターンで配置されている。各々の画素配列１３０は、二次元状に配列された複数の光電変換素子により構成される。

なお、撮像ユニット１００Ｒの構成は、上述した撮像ユニット１００Ｌと同一のため説明を省略する。また、演算処理回路１５Ｌ，１５Ｒが任意の面に形成された像の画像データを合成する原理については、特許文献２に記載された内容と同一であるため説明を省略する。

撮像ユニット１００Ｌ，１００Ｒは、撮影レンズ１１Ｌ，１１Ｒの間隔が約６５ｍｍとなるように設置される。これは、人間の平均的な目の間隔とほぼ同じ長さである。

次に、パンフォーカス処理回路１８Ｌ，１８Ｒの処理内容を説明する。パンフォーカス処理回路１８Ｌ，１８Ｒは、演算処理回路１５Ｌ，１５Ｒが合成した合成画像データを利用して、パンフォーカス画像データを作成する。以下、パンフォーカス処理回路１８Ｌにより実行される、パンフォーカス画像データの作成処理について説明する。

図３は、演算処理回路１５Ｌの画像合成機能の一例を示す図である。図３は、撮像ユニット１００Ｌにより、光軸Ｚ上の異なる位置に存在する小さな三角形の被写体１１１と、大きな四角形の被写体１１２とを撮像する様子を表している。以降の説明では、位置Ｚｐ１にある被写体１１１の被写体像が結像する像面をＺ１、位置Ｚｐ２にある被写体１１２の被写体像が結像する像面をＺ２という。

演算処理回路１５Ｒは特許文献２に記載された原理により、一度の撮像で得られた画像信号に基づいて、任意の像面の画像データを合成することができる。パンフォーカス処理回路１８Ｒは、演算処理回路１５Ｒから、少しずつ位置をずらした多数の像面の合成画像データを取得する。すなわち、至近距離から無限遠までの間に位置するどの被写体についても、その被写体にピントが合っている合成画像データが存在することになる。なお今回は説明を簡単にするため、被写体１１１の被写体像が結像する像面Ｚ１の合成画像データと、被写体１１２の被写体像が結像する像面Ｚ２の合成画像データと、のみを取得したものとする。

図４は、像面Ｚ１の合成画像データと像面Ｚ２の合成画像データを示す図である。図４（ａ）に示す合成画像データ１２１が像面Ｚ１に、図４（ｂ）に示す合成画像データ１２２が像面Ｚ２にそれぞれ対応する。図４において、実線で描画された被写体の輪郭は、その被写体にピントが合っていることを表す。同様に、破線で描画された被写体の輪郭は、その被写体にピントが合っておらず、被写体像がボケ像となっていることを表す。

図５は、パンフォーカス画像データを作成する過程を示す図である。パンフォーカス処理回路１８Ｌは、演算処理回路１５Ｌから取得した複数の合成画像データのそれぞれについて、合成画像データに含まれる各画素のコントラストを算出する。コントラストは、注目画素とその近傍の画素との輝度値の差を演算することにより算出される。図５では、像面Ｚ１の合成画像データ１２１について、画素Ｐ１のコントラストはＣ１である。同様に、像面Ｚ２の画像データ１２２について、画素Ｐ１と同じ位置に存在する画素Ｐ２のコントラストはＣ２である。

制御回路１８Ｌは、全ての合成画像データの各画素についてコントラストを算出した後、各合成画像データ間で、同じ位置に存在する各画素のコントラストを比較する。そして、これらの画素のうち、コントラストが最大になる画素を取り出す。例えば図５において、像面Ｚ１では被写体１１２にピントが合っていないので、被写体１１２の輪郭を構成する画素Ｐ１のコントラストＣ１は、被写体１１２にピントが合っている像面Ｚ２における同一位置の画素Ｐ２のコントラストＣ２よりも小さくなる。従って、パンフォーカス処理回路１８Ｌは、画素Ｐ１ではなく画素Ｐ２を取り出す。

パンフォーカス処理回路１８Ｌは上述の処理により取り出された画素を集めることで、パンフォーカス画像データを作成する。例えば図５では、上述の処理により作成されたパンフォーカス画像データ１２３は、像面Ｚ１に被写体像が結像する被写体と、像面Ｚ２に被写体像が結像する被写体とのどちらにもピントが合っている、被写界深度が深い画像データとなる。少しずつ位置が異なる多数の像面の画像データに対してこの処理を行えば、至近距離に位置する被写体から、無限遠に位置する被写体まで、全ての被写体にピントが合ったパンフォーカス画像データが得られる。なお、パンフォーカス処理回路１８Ｒも以上の説明と同様の処理を行う。

次に、図１に示した制御回路１０１が実行する処理について説明する。制御回路１０１は、距離センサ１０４が出力する被写体までの距離を表す距離信号に基づき、被写体が至近距離に位置する場合とそれ以外の場合とで実行する処理を切り替える。以下、まず被写体が至近距離付近よりも遠方にある場合に制御回路１０１が実行する処理を説明し、その後に被写体が至近距離付近に位置する場合に制御回路１０１が実行する処理を説明する。

被写体が至近距離付近よりも遠方に位置する場合、制御回路１０１は、撮像ユニット１００Ｌ，１００Ｒへ、パンフォーカス画像データを作成する指示を出力する。その結果、撮像ユニット１００Ｌ，１００Ｒのそれぞれから、パンフォーカス画像データが画像信号として出力される。制御回路１０１はこれら２つの撮像ユニットが出力した画像信号に基づいて、２つのパンフォーカス画像データを作成する。そして、この一対のパンフォーカス画像データをステレオ画像データとしてメモリ１０２に記憶する。

次に、被写体が至近距離付近に位置する場合に制御回路１０１が実行する処理を説明する。被写体が至近距離に位置する場合、撮像ユニット１００Ｌと撮像ユニット１００Ｒとで被写体の撮像範囲が著しく異なる。その結果、ステレオ画像の観察者がステレオ画像から被写体を立体像として認識し難くなったり、被写体が一方の撮像ユニットにしか写らなくなったりする。そこで制御回路１０１は、距離センサ１０４が出力する被写体までの距離が所定の長さに満たない場合、以下で説明するように、撮像ユニット１００Ｌのみを用いてステレオ画像データを作成する。

図６は、撮像ユニット１００Ｌのみを用いてステレオ画像データを作成する原理を示す図である。図６には、撮像ユニット１００Ｌを上方から見た様子が記載されている。なお、画素配列１３０は実際には二次元状になっているが、ここでは説明を簡単にするため上下方向の配列のみを考える。

図６において、光電変換素子ａ１に対応するマイクロレンズＭＬによる、撮影レンズ１１Ｌの瞳面への投影像が占める領域が、撮影レンズ１１Ｌの瞳上の部分領域Ａ１である。この投影像は実際にはボケ像となるが、ボケ像であっても近似的にはボケのない場合と同様のことが成り立つため、以下の説明ではボケを無視して説明する。部分領域Ａ１と同様に、部分領域Ａ２，Ａ３，…は、光電変換素子ａ２，ａ３，…に対応する。撮影レンズ１１Ｌの瞳上の部分領域Ａ１，Ａ２，Ａ３，…を透過した光束はそれぞれ、マイクロレンズを透過して光電変換素子ａ１，ａ２，ａ３，…に入射する。部分領域Ｅ１，Ｅ２，Ｅ３，
…についても同様に、光電変換素子ｅ１，ｅ２，ｅ３，…に対応する。

制御回路１０１は、光電変換素子ａ１，ａ２，ａ３，…の出力に基づいて右目用の画像データを作成し、同様に光電変換素子ｅ１，ｅ２，ｅ３，…の出力に基づいて、左目用の画像データを作成する。これらの画像データの作成方法については後に詳述する。これらの光電変換素子の出力は、駆動回路１４Ｌと出力回路１９Ｌとを介して制御回路１０１へ出力される。これら２つの画像データは、撮影レンズ１１Ｌの左右で被写体像を瞳分割した画像データとなる。すなわち、これら２つの画像データは、領域Ａ１とＥ１との間隔Ｌを基線長とした視差を有する一対の画像データである。

部分領域Ａ１，Ｅ１は撮影レンズ１１Ｌの瞳内に収まっているため、基線長Ｌは人間の平均的な目の間隔に比べて短くなる。基線長が短いと、ステレオ画像データを鑑賞する際に得られる遠近感が小さくなってしまう。しかしながら、被写体が至近距離にある場合、一対の画像データに人間の平均的な目の間隔の視差を持たせると、左右の画像の差が大きくなりすぎて立体像として認識しづらくなってしまう。また、立体像として認識できた場合であっても遠近感が過剰に感じられる場合が多い。従って、基線長Ｌが人間の平均的な目の間隔に比べて短いことは、至近距離に位置する被写体のステレオ画像データを作成するにあたって都合がよい。

図７および図８を用いて、至近距離の被写体を撮影した場合の画像データの作成方法について詳述する。図７は、画素配列１３０と、制御回路１０１により作成される一対の画像データ１２４Ｒ，１２４Ｌとの関係を示す図である。制御回路１０１は、各々の画素配列１３０について、画素配列中の右端に位置する光電変換素子ｅ１，ｅ２，ｅ３，…の出力を左目用画像データ１２４Ｌの画素１つ１つに対応させる。同様に、画素配列中の左端に位置する光電変換素子ａ１，ａ２，ａ３，…の出力を右目用画像データ１２４Ｒの画素１つ１つに対応させる。

図８は、光電変換素子の出力に基づき画像データの画素値を演算する処理を示す図である。本実施形態では、二次元状に光電変換素子が配列された画素配列１３０において、図中に斜線で示した最右列中央３つの光電変換素子ａ１の出力に基づいた演算を行い、左目用画像データ１２４Ｌの１画素の輝度値を算出する。具体的には、これら３つの光電変換素子の出力値を加算し、図中に示した画素Ｌ１の輝度値とする。ａ２，ａ３，…，ｅ１，ｅ２，ｅ３，…についても同様である。

画素配列と画像データにおける１画素との対応関係は、撮像素子１３Ｒ上における画素配列の位置に基づいている。図８では、左目用画像データ１２４Ｌの全画素のうち、左から３つ目、上から３つ目の画素の輝度値を、左から３列目、上から３行目に位置する画素配列の光電変換素子ａ１の出力から演算している。

上述した第１の実施の形態によるステレオ撮像装置によれば、次の作用効果が得られる。
（１）制御回路１０１は、パンフォーカス処理回路１８Ｌ，１８Ｒが出力するパンフォーカス画像データに基づいて、視差を有する一対のパンフォーカス画像データを作成する。これにより、通常の撮像により得られるステレオ画像データに比べて、広い範囲の距離に存在する被写体が全て鮮明に写っている、よりステレオ画像として望ましい状態のステレオ画像データが得られる。

（２）制御回路１０１は、距離センサ１０４が検出した被写体までの距離が所定値未満でっあた場合に、撮像ユニット１００Ｌが出力する画像データのみに基づいて、視差を有する一対の画像データを作成する。これにより、至近距離に位置する被写体からも、十分な
立体効果を得ることができる。

（３）パンフォーカス処理回路１８Ｌ，１８Ｒは、パンフォーカスな画像データを、少しずつ位置をずらした多数の像面に焦点が合った画像データに基づいて作成する。これにより、レンズの絞り径を小さくする方法に比べて、ノイズの少ないパンフォーカスな画像データを得ることができる。

以上の説明では、右目用の画像と左目用の画像とから成るステレオ画像について述べてきた。このようなステレオ画像は、公知の各種方法により鑑賞することができる。他方、レンチキュラー式立体画像として、左右二視点の画像だけではなく３つ以上の視点の画像を用いて立体効果を得る方式が知られている。以下に詳述する第２の実施形態では、このような方式のための多数視点画像を作成することができる。

――第２の実施の形態――
図９は、２つの撮像ユニットを用いてレンチキュラー式立体画像を得る処理を示す図である。図９に示すように、各々の画素配列１３０から出力を取り出す光電変換素子の相対位置を変えることにより、被写体を異なる視点から撮像した場合と同様の画像データ２２１Ｒ〜２３０Ｌを得ることができる。図９では、この方法により撮像ユニット１つあたり５つの異なる視点に対応する画像データを取得している。これは、１０台のカメラを並べて被写体を撮像する場合に相当する。このようにして得られた１０個の画像データ２２１Ｒ〜２３０Ｌを公知の方法により縦のストライプ状に配列することにより、レンチキュラー式立体画像を作成することができる。

なお上記の処理により得られた１０個の画像データ２２１Ｒ〜２３０Ｌは視差が一定にならない。具体的には、画像データ２２５Ｒと画像データ２２６Ｌとの間の視差だけが、その他の画像データ間の視差に比べて大きくなる。しかしながら、画像データ２２６Ｌ〜２３０Ｌのいずれかを左目で、画像データ２２１Ｒ〜２２５Ｒのいずれかを右目で見られる位置にレンチキュラー式立体画像の鑑賞者がいるのであれば、通常のレンチキュラー式立体画像と同様の立体効果を得ることができる。

図１０は、１つの撮像ユニットを用いてレンチキュラー式立体画像を得る処理を示す図である。図９に示した２つの撮像ユニットを用いる場合と同様に、画像データの作成に用いる光電変換素子の相対位置を変えることにより、異なる視点の画像データを得ることができる。図１０では、５つの異なる視点に対応する画像データ２２１Ｒ〜２２５Ｒを取得している。なお、第１の実施形態と同様に、１つの撮像ユニットのみを用いて作成されたレンチキュラー式立体画像よりも、２つの撮像ユニットを用いて作成されたレンチキュラー式立体画像の方が、より大きな立体感が得られる。これは、左右の目が捕らえる画像の視差は、後者の方が大きくなるためである。

上述した第２の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）撮像装置は、２つの撮像ユニットを用いて、３つ以上の異なる視点に対応する画像データを作成する。これにより、多数の撮像ユニットを用意する必要が無く、撮像装置の大型化を回避することができる。

――第３の実施の形態――
図１１は、第３の実施の形態によるステレオ撮像装置の構成を示す図である。本実施形態のステレオ撮像装置２は、撮像ユニット１００Ｌ，２００Ｒ，制御回路２０１，メモリ１０２，入力装置１０３，距離センサ１０４，および表示装置２０５を備える。すなわち、ステレオ撮像装置２は、新たに表示装置２０５を備えると共に、第１の実施の形態における撮像ユニット１００Ｒに代えて撮像ユニット２００Ｒを備える。表示装置２０５はスキャンバックライト方式の表示装置であり、１つの画像データに基づいて平面的に画像を表示する機能と、ステレオ画像データに基づいて立体視可能な画像を表示する機能とを有する。撮像ユニット２００Ｒの構成については後に詳述する。

図１２は、撮像ユニット１００Ｌ，２００Ｒの構成を示す図である。撮像ユニット１００Ｌの構成は第１の実施の形態と同様であるので説明を省略する。撮像ユニット２００Ｒは、撮像ユニット１００Ｌや撮像ユニット１００Ｒとは異なり、パンフォーカス画像を合成する機能を有さない。すなわち、撮像ユニット２００Ｒは合成撮像ユニットではない。具体的には、撮影レンズ１１Ｒの焦点面近傍にマイクロレンズアレイが配置されず、撮像素子２１３Ｒのみが配置される。なお、各々の光電変換素子に対し、当該光電変換素子への集光率を高めるためのマイクロレンズを配置してもよい。このマイクロレンズは集光率を高めるためのものであり、パンフォーカス画像を合成する目的に利用するものではない。

撮像素子２１３Ｒは、撮像ユニット１００Ｌの撮像素子１３Ｌと同様に、駆動回路１４Ｒによって駆動される。撮像素子２１３Ｒが出力する画像信号は駆動回路１４Ｒを介して画像処理回路２１５Ｒに取り込まれるか、あるいは出力回路１９Ｒに出力される。画像処理回路２１５Ｒは、上記の画像信号に対し公知の画像処理を適用して画像データを作成する。画像処理回路２１５Ｒは、この画像データをメモリ１６Ｒに格納する。

撮像ユニット１００Ｌにより作成されるパンフォーカス画像データの画素数は、撮像ユニット２００Ｒにより作成される画像データの画素数よりも少ない。これは、撮像ユニット１００Ｌが１つのマイクロレンズＭＬについて１つの画素を出力するためである。すなわち、パンフォーカス画像データの画素数は、マイクロレンズアレイ１２Ｌに含まれるマイクロレンズＭＬの個数による制限を受ける。

なお、本実施形態において、表示装置２０５の表示画面に表示可能な画素数は、パンフォーカス画像データの画素数よりも多く、撮像ユニット２００Ｒにより作成される画像データの画総数よりも少ない。

制御回路２０１（図１１）は、撮像ユニット１００Ｌが作成したパンフォーカス画像データと、撮像ユニット２００Ｒが作成した画像データとに基づき、ステレオ画像データを作成する。制御回路２０１は任意の画素数のステレオ画像データを作成することが可能に構成されている。ただし、撮像ユニット２００Ｒが作成する画像データの画素数を、ステレオ画像データの画素数の上限とする。以下、撮像ユニット１００Ｌが作成するパンフォーカス画像データの画素数を左側画素数、撮像ユニット２００Ｒが作成する画像データの画素数を右側画素数、ステレオ画像データの画素数を目標画素数と呼ぶ。

前述の通り、撮像ユニット１００Ｌが作成するパンフォーカス画像データと、撮像ユニット２００Ｒが作成する画像データと、は画素数が異なる。すなわち、左側画素数と右側画素数とが異なっている。そこで、制御回路２０１はこれら２つの画像データに対して所定の拡大処理または縮小処理を実行することにより、２つの画像データの画素数を目標画素数に一致させ、ステレオ画像データとする。なお、制御回路２０１が実行する縮小処理は公知の画像縮小処理であるため、説明を省略する。

前述の通り、目標画素数が右側画素数を上回ることはない。従って、撮像ユニット２００Ｒが作成する画像データに対して拡大処理が実行されることはない。他方、撮像ユニット１００Ｌが作成するパンフォーカス画像データには拡大処理が実行されることがある。制御回路２０１は、拡大処理を実行する際、公知の画像拡大処理を実行した後で当該画像データにぼかし処理を実行する。これは、単純に拡大しただけでは描画の荒いモザイク状の画像になってしまうためである。

制御回路２０１は、作成したステレオ画像データをメモリ１０２に記憶する。その後、制御回路２０１は例えば不図示の記憶媒体にステレオ画像データを記憶させたり、あるいは表示装置２０５にステレオ画像データを表示させたりする。ステレオ画像データを不図示の記憶媒体に記憶させる際、ユーザは入力装置１０３を介して制御回路１０１に目標解像度を指定することができる。

ステレオ画像データを表示させる際、制御回路２０１は表示装置２０５に表示可能な画素数を目標画素数としてステレオ画像データを作成する。ステレオ画像データが表示されているとき、ユーザは入力装置１０３を介して制御回路２０１にステレオ画像データの拡大指示を送信することができる。制御回路２０１は当該指示を受けとると、目標画素数を拡大指示に応じて大きくすると共に、作成されたステレオ画像データから表示可能な画素数分の領域を切り出して新たなステレオ画像データとする。表示装置２０５には、この新たなステレオ画像データが表示される。

以上のように、パンフォーカス画像データに拡大処理やぼかし処理を適用すると、パンフォーカス画像データはこれらの処理を適用する前に比べてやや不鮮明な画像となる。しかしながら、ステレオ画像データを構成する一方の画像データが不鮮明な画像であっても、他方の画像データが鮮明であれば、十分に鑑賞に堪えるステレオ画像データとなる。なお、他方の鮮明な画像データに基づいて一方の不鮮明な画像データを補間処理することにより、より鮮明な画像を作り出すことができることは勿論である。

次に、輻輳角の調節機能について説明する。本実施形態の制御回路２０１は、撮影レンズ１１Ｌの射出瞳の領域を選択する選択機能を有する。ステレオ撮像装置２を用いて撮像を行う際、ユーザは入力装置１０３により、撮影レンズ１１Ｌの射出瞳の領域を指定することが可能である。制御回路２０１はこの指定が行われると、上記の選択機能により指定された領域を選択する。そして、撮像ユニット１００Ｌに、パンフォーカス画像データではなく、上記の選択機能により選択された領域からの光束のみを用いて合成された画像データを作成させる。

図１３は、輻輳角の調整機能の概要を説明する図である。図１３には図６と同様に、撮像ユニット１００Ｌ、２００Ｒを上方から見た様子が記載されている。輻輳角の調整機能を利用しない場合、制御回路２０１により作成されるステレオ画像データの基線長Ｌｓは、撮影レンズ１１Ｒの光軸と撮影レンズ１１Ｌの光軸との間の距離になる。

他方、制御回路２０１の選択機能により、撮影レンズ１１Ｌの入射瞳のうち撮影レンズ１１Ｒから遠い領域である図１３に示す領域２０８が選択された場合、撮像ユニット１００Ｌはこの領域２０８から撮像素子１３Ｌに入射する光束のみを用いて画像データを合成する。これにより、制御回路２０１により作成されるステレオ画像データの基線長は、Ｌｓより長い基線長Ｌとなる。つまり、この選択機能を用いることにより、作成されるステレオ画像データの基線長を通常よりも長くすることが可能である。逆に領域２０９を選択すれば、基線長は短くすることができる。

図１４は、図１３におけるマイクロレンズアレイ１２Ｌおよび撮像素子１３Ｌの拡大図である。図１３に示す領域２０８からの光束のみを用いて画像データを合成する場合、演算処理回路１５Ｌは各々の画素配列１３０のうち、撮影レンズ１１Ｒ寄りの画素の出力のみを用いて画像データを合成する。すなわち、図１４に示す画素ｅ１，ｅ２，ｅ３，ｅ４，…の出力のみを用いて画像データを合成する。

図１５は、輻輳角の変化を示す図である。被写体２１０に対し、輻輳角の調整機能を用いずにステレオ画像データの撮影を行った場合、被写体２１０に対する輻輳角は、図１５に示す角度θｓとなる。他方、図１３に示す領域２０８からの光束のみを用いて画像データを合成する場合、被写体２１０に対する輻輳角は、図１５に示す角度θとなる。このように、画像データの合成に用いる撮影レンズ１１Ｌの射出瞳の領域を選択することにより、撮像ユニット１００Ｌが作成する画像データは、同一被写体に対する視差が通常とは異なる視差となる。その結果、制御回路２０１により作成されるステレオ画像データは、同一被写体に対する輻輳角が通常とは異なる輻輳角となる。

上述した第３の実施の形態による撮像装置によれば、次の作用効果が得られる。
（１）撮像ユニット２００Ｒは、撮影レンズ１１Ｒと、撮影レンズ１１Ｒの結像面近傍に二次元状に配置された光電変換機能を有する複数の画素を含む撮像素子２１３Ｒと、撮像素子２１３Ｒの出力に基づき撮像ユニット１００Ｌよりも画素数の多い画像データを作成する画像処理回路２１５Ｒとを有する。制御回路２０１は、撮像ユニット１００Ｌが作成したパンフォーカス画像データに所定の拡大処理を施し、撮像ユニット２００Ｒが作成した画像データと画素数を同一にする。その後、所定のぼかし処理を施し、ステレオ画像データを作成する。このようにしたので、撮像ユニット１００Ｌが作成する画像データよりも画素数の多いステレオ画像データを得ることができる。

（２）制御回路２０１は、撮影レンズ１１Ｌの射出瞳の領域を選択する選択機能を有する。撮像ユニット１００Ｌは、選択機能により選択された射出瞳の領域からの光束を受光する複数の画素の出力に基づいて、パンフォーカス画像データに代わり、同一被写体に対する視差がパンフォーカス画像データとは異なる画像データを作成する。このようにしたので、撮像ユニット１００Ｌ，２００Ｒの間隔を通常のステレオ撮像装置とは異なる長さにした場合であっても、通常のステレオ撮像装置並みの視差を得ることができる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）第１の実施形態において、パンフォーカス画像データを、焦点検出を行った結果に基づいて作成してもよい。すなわち、少しずつ位置をずらした多数の像面の画像データを用いるのではなく、公知の方法で焦点検出を行い、被写体像が結像することが検出された像面の画像データのみを用いてもよい。

（２）第１の実施形態において、被写体が十分明るい場合であれば、各画素配列１３０から同一の相対位置にある１つの光電変換素子の出力のみを取り出して集めることにより、パンフォーカス画像データを作成してもよい。

（３）図８に示した画像データの画素値を、光電変換素子の出力を加算する以外の演算により算出してもよい。例えば、光電変換素子の出力を平均した値を画像データの画素値としてもよい。また、光電変換素子の選択パターンを、図８に斜線で示したパターンとは異なるものにしてもよい。

（４）２つの撮像ユニットの光学特性は、完全に同一でなくてもよい。また、２つの撮像ユニットのうち一方は、撮影光学系の状態を固定したままの一度の撮影で、至近距離から無限遠までの全ての被写体にピントが合った画像データを作成することが可能な撮像ユニットでなくてもよい。

（５）撮影レンズの射出瞳面と撮像素子とは共役であってもよいし、ずれが存在していてもよい。

（６）撮像ユニットを３つ以上用意し、それらのうち任意の２つからステレオ画像データを作成できるようにしてもよい。また、至近距離に存在する被写体を撮像する際に使用する撮像ユニットは、それらの撮像ユニットのいずれであってもよい。例えば、予め決められた１つの撮像ユニットのみを使用するようにしてもよいし、被写体の位置に応じて最適な撮像ユニットを選択するようにしてもよい。

（７）距離センサとして、従来のカメラ等に用いられてきた各種原理の距離検出装置を用いることができる。また、特開２００７−３１６５２１号公報等で公知の技術を用いて撮像ユニット１００Ｌまたは１００Ｒのいずれかの出力により焦点検出を行い、求めた結像位置と撮影レンズのフォーカスレンズ位置とから被写体の距離を算出してもよい。このようにすることで、撮影レンズのフォーカスレンズ位置の検出手段は要するものの、他に被写体の距離検出のための機構を備える必要が無く、全体の構造が簡単になりコストを低減できる。

（８）第１の実施形態によるステレオ撮像装置１では、パンフォーカス画像データを作成することを必ずしも要しない。すなわち、撮像ユニット１００Ｒ，１００Ｌを近距離ではいずれか一方を、遠距離では両方を用いて、パンフォーカス画像データと所望の位置に焦点のあった画像データとの両方またはいずれか一方を作成することができる。ステレオ撮像装置としては、いずれか一方の画像データに基づきステレオ画像データを出力することができる。

（９）第３の実施の形態に記載した輻輳角の調整機能は、第１の実施の形態のように２つの撮像ユニットが共にパンフォーカス撮像ユニットである場合にも適用することが可能である。この場合、２つの撮像ユニットの両方において輻輳角の調整を行うことができるので、第３の実施の形態に示すステレオ撮像装置２よりも調整の幅が広がる。

（１０）第３の実施の形態において、検出された各種情報に基づいて制御回路２０１が作成するステレオ画像データの画素数を自動的に変更するようにしてもよい。例えば、動画撮影の場合に静止画撮影の場合よりも画素数を少なくするようにしてもよいし、記憶媒体の空き容量が所定量以下になった場合に画素数を少なくするようにしてもよい。

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。

１，２ ステレオ撮像装置
１８Ｌ，１８Ｒ パンフォーカス処理回路
１００Ｌ，１００Ｒ，２００Ｒ 撮像ユニット
１０１ 制御回路
１３０ 画素配列
ＭＬ マイクロレンズ

Claims (6)

1. 被写体の画像信号を出力する少なくとも２つの撮像ユニットと、
   前記２つの撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成する第１の画像作成手段と、
   を有するステレオ撮像装置であって、
   前記２つの撮像ユニットのうち少なくとも１つは、結像光学系と、前記結像光学系の所定の結像面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に二次元状に配置され、前記結像光学系の射出瞳の異なる領域からの光束をそれぞれ受光する光電変換機能を有する複数の画素を含む撮像素子と、前記撮像素子の出力に基づきパンフォーカスな画像信号を出力できる出力手段と、を有するパンフォーカス撮像ユニットであることを特徴とするステレオ撮像装置。
2. 請求項１に記載のステレオ撮像装置において、
   前記２つの撮像ユニットはいずれも前記パンフォーカス撮像ユニットであることを特徴とするステレオ撮像装置。
3. 請求項１に記載のステレオ撮像装置において、
   被写体までの距離を検出する測距手段と、
   前記パンフォーカス撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成する第２の画像作成手段と、
   を更に有し、
   前記測距手段が検出した距離が所定値以上の場合には前記第１の画像作成手段により視差を有する一対の画像を作成し、前記測距手段が検出した距離が所定値未満の場合には前記第２の画像作成手段により視差を有する一対の画像を作成することを特徴とするステレオ撮像装置。
4. 請求項２に記載のステレオ撮像装置において、
   被写体と前記ステレオ撮像装置との間の距離を検出する測距手段と、
   前記２つの画像合成可能な撮像ユニットのうち、いずれか一方が出力した画像信号に基づいて、視差を有する一対の画像を作成する第３の画像作成手段と、
   を更に有し、
   前記測距手段が検出した距離が所定値以上の場合と所定値未満の場合とで、前記第１の画像作成手段と前記第３の画像作成手段とを切り替えて動作することを特徴とするステレオ撮像装置。
5. 請求項１または３に記載のステレオ撮像装置において、
   前記２つの撮像ユニットの一方は前記パンフォーカス撮像ユニットであり、他方は、第２結像光学系と、前記第２結像光学系の所定の結像面近傍に二次元状に配置された光電変換機能を有する複数の画素を含む第２撮像素子と、前記第２撮像素子の出力に基づき前記パンフォーカス撮像ユニットが出力する画像信号よりも画素数の多い画像信号を出力する第２出力手段と、を有する標準撮像ユニットであり、
   前記パンフォーカス撮像ユニットから出力された画像信号に所定の拡大処理を施し、前記標準撮像ユニットから出力された画像信号と画素数を同一にする拡大手段と、
   前記拡大手段により前記拡大処理が施された画像信号に対して所定のぼかし処理を施すぼかし手段とを更に有し、
   前記第１の画像作成手段は、前記ぼかし手段によりぼかし処理が施された画像信号と、前記標準撮像ユニットが出力した画像信号とに基づいて、視差を有する一対の画像であって前記パンフォーカス撮像ユニットが出力した画像信号よりも画素数の多い一対の画像を作成することを特徴とするステレオ撮像装置。
6. 被写体の画像信号を出力する少なくとも２つの撮像ユニットと、
   前記被写体までの距離を検出する測距手段と、
   前記２つの撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成する第１の画像作成手段と、
   前記２つの撮像ユニットのうちいずれか一方の撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成する第２の画像作成手段と、
   を有するステレオ撮像装置であって、
   前記２つの撮像ユニットのうち少なくとも１つは、結像光学系と、前記結像光学系の所定の結像面近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々の後側に二次元状に配置され、前記結像光学系の射出瞳の異なる領域からの光束をそれぞれ受光する光電変換機能を有する複数の画素を含み、前記複数の画素の出力を画像信号として出力する撮像素子とを有する撮像ユニットであり、
   前記第２の画像作成手段は、前記合成撮像ユニットが出力した画像信号に基づいて、視差を有する一対の画像を作成し、
   前記測距手段が検出した距離が所定値以上の場合には前記第１の画像作成手段により視差を有する一対の画像を作成し、前記測距手段が検出した距離が所定値未満の場合には前記第２の画像作成手段により視差を有する一対の画像を作成することを特徴とするステレオ撮像装置。

Images