JP2007108626A - 立体映像生成システム - Google Patents

Abstract

【課題】 自然な奥行のある立体映像を生成すること。
【解決手段】 物体の実像を結像させるレンズと、撮像デバイスとで構成される立体映像撮像手段を持ち、物体までの距離に応じて撮像位置を異ならせることにより、物体までの距離に応じた複数の映像を得、得られた距離毎に異なる映像を個別に表示する映像表示デバイスを含む立体映像表示手段を持ち、物体の本来あるべき位置までの距離に応じて映像の表示位置までの距離を異ならせることにより、奥行のある立体映像を表示する事が可能となる。
【選択図】 図１

Description

本発明は、自然な立体映像を撮影・表示する立体映像生成システムに関するものである。

従来の立体映像生成システムには、右眼用映像と左眼用映像を夫々別カメラで撮影し、表示の際に、各々の映像光に互いに直交する偏光を施して表示し、看視者は左右眼で互いに直交する偏光眼鏡を掛けて、右眼用映像と左眼用映像を個別に見る事で、立体視を実現していた。（例えば、特許文献１参照。）図１８は、特許文献１に記載された従来の二眼式立体カメラの構成を示すものである。
図１８において、１００は右眼用カメラ、１０１は左眼用カメラ、１０２は時分割多重化表示部、１０３は液晶シャッタ眼鏡である。立体映像の撮影を行う場合、右眼用カメラ１００とは左眼用カメラ１０１で撮影された映像は、時分割多重化部１０２で１フィールド毎に交互に並び替えられ、時分割多重化されて交互に表示出力される。これを液晶シャッタ眼鏡１０３を通して見る時、時分割多重化された左右眼映像に同期して左右眼の液晶シャッタを交互に開閉する事で、右眼は右眼用映像のみを、左眼は左眼用映像のみを見る事により、立体視を実現していた。
特公平６−３４５２８号公報（第１頁、図１、図５）

しかしながら、前記従来の構成では、映像中の物体の奥行位置に応じて左右眼映像の表示位置が異なると言う両眼視差のみを用いて立体視を行う為、物体の奥行如何によらず、両眼の焦点位置は多重化表示部に固定しなければならず、立体視が困難であったり、疲労したりすると言う問題があった。更に、立体視を行う為に眼鏡をかけなければならないと言う課題も有していた。
本発明は、前記従来の課題を全て解決するもので、映像中の物体の奥行位置に応じて、両眼視差と焦点位置が整合して変化し、更に眼鏡を必要としない為、立体視が容易でかつ疲労しない、自然な立体映像を提供することを目的とする。

前記従来の課題を解決するために、本発明の立体映像生成システムは、物体の実像を結像させるレンズと、該実像位置に配置した撮像デバイスとで構成される立体映像撮像手段を持ち、該立体映像撮像手段は、物体までの距離に応じてレンズから撮像デバイスの撮像位置までの距離を異ならせることにより、撮像された物体までの距離に応じた複数の映像を得、得られた距離毎に異なる映像を個別に表示する映像表示デバイスを含む立体映像表示手段を持ち、該立体映像表示手段は、物体の本来あるべき位置までの距離に応じて映像の表示位置までの距離を異ならせることにより、奥行のある立体映像を表示する。
本構成によって、映像の看視者は、眼鏡を掛ける事なく、真に奥行のある立体映像を見ることが出来る。

本発明の立体映像生成システムによれば、表示される物体映像の表示位置が、実際に物体が存在した距離に応じて設定されるので、両眼視差と焦点調節は整合し、かつ、左右眼は同一の映像を見るので眼鏡を必要とせず、自然な形で立体映像を見る事が出来る。

以下本発明の実施の形態について、図面を参照しながら説明する。
［実施の形態１］
図１は、本発明の実施の形態１における、立体映像生成システムの構成図である。図１において、１は凸レンズ、２は電荷結合素子（ＣＣＤ）などから成る撮像デバイスである。図の構成において、レンズ１の焦点距離をｆとすると、レンズの前方、距離Ｄの位置にある物体Ｄ１の実像は、レンズ１の後方、距離Ｄ×ｆ／（Ｄ−ｆ）の位置に結像される。すなわち、撮影される物体までの距離Ｄに応じて実像位置が異なるので、レンズ１から撮像デバイス２の撮像位置までの距離を異ならせながら撮影を行えば、撮影物体の距離に応じた個別の映像を取得する事が可能になる。無限遠の映像は、レンズ１の後方、距離ｆの位置に出来、それより近い距離の物体の映像は、ｆより遠くに出来るので、撮像デバイスは、レンズの焦点距離ｆ以遠でかつ、最近撮影距離をＤとしてＤ×ｆ／（Ｄ−ｆ）の距離以内に配置すれば、距離Ｄ以上無限遠までにある物体の映像を撮影出来る。

図２は、撮像デバイス２の詳細な構造を示すもので、複数の透明な撮像パネル２１を重ね合わせた構成により、各撮像パネルの厚み分、レンズから撮像位置までの距離を異ならせてある。撮像パネルとしては、通常のカメラに使用されている電荷結合素子（ＣＣＤ）や、ＣＭＯＳセンサ等の電極に透明電極を用いたものが使用可能である。

図３は、撮像パネル２１の構成図であり、透明電極２１１を有する。透明基板はガラス等で構成され、半導体及び、絶縁膜はガラスの材料の一つであるシリコンに微量の不純物を注入して形成されるので透明である。透明電極２１１は、ポリシリコン等により作成可能である。該構成により、個々の撮像パネルは、レンズまでの距離に応じて、異なる距離にある物体の映像を個別に撮影する事になる。又、該複数の撮像パネルは、レンズから遠い位置にあるパネル程、前にあるパネルで光が減衰され、到達する光量が減少するので、後方のパネル程、感度を高めるか若しくは、パネル出力信号を増幅する事により、パネル位置によらず一定の明るさの映像を得る様にする。

撮像パネルの枚数は有限にせざるを得ない為、撮像面の無い位置に結像する映像は、その前後のパネルにボケた映像を映す。このボケ量δは、レンズの直径をＤ、焦点距離をｆ、物体までの距離をｄ、レンズから撮像パネルまでの距離をｆ＋ｘとすると、
δ＝Ｄ｜ｘ（ｄ−ｆ）−ｆ^２｜／（ｆｄ）・・・（１）式
で与えられる。この式より、ボケ量を小さくするには、口径Ｄの小さいレンズが良い事が分かる。今、Ｄ＝３５．７ｍｍ、ｆ＝５０ｍｍのレンズを用い、撮像パネルとして、横幅３５ｍｍのＨＤＴＶ用ＣＣＤを用いると、解像度は、横１９２０画素×縦１０８８画素であるので、１画素の横サイズは、
３５ｍｍ／１９２０＝１８．２μ・・・（２）式
となる。撮像パネルを焦点距離ｆの位置から、順に０．２ｍｍ間隔で重ねた場合の各パネル上での像のボケ量を画素数で表したものを図４に示す。このグラフは、撮像パネルを等間隔で重ねる事により、パネルの中間に位置する物体映像のボケ量を一定値以下に出来る事を示している。パネルが０．２ｍｍ間隔の場合、中間映像のボケ量は４画素以下である。

又、図４より、撮像パネル数が５枚しかない場合、これらをレンズの焦点距離ｆの位置から遠方に５枚、０．２ｍｍ間隔で並べた場合、ボケ量４画素以内で撮影可能な距離範囲は、約２．８ｍ〜∞とする事が出来る事が分かる。それ以上近距離を撮影したい場合は、例えば、レンズの焦点距離ｆ＋１ｍｍの位置から遠方に５枚撮像パネルを並べれば、その他は同じ条件で、約１．３ｍ〜２．８ｍの距離を撮影可能範囲に設定出来る事が分かる。更に、５枚の撮像パネルで、１．３ｍ〜∞の距離を撮影したい場合は、最大ボケ量は倍になるが、撮像パネル間隔を０．４ｍｍ間隔に広げれば良い事が分かる。ボケ量を増やさず、撮影可能距離範囲を広げたい場合は、撮像パネル数を増やせば良い。

立体視を効果的にするには、ある距離にある物体の映像は１枚のパネルのみに結像し、他のパネルでは結像しない事が望ましい。その為には、明るいレンズを用いて焦点の合わない映像を大きくボカせば良い。更に残った不要な映像を取り除く為には、ボケた映像は高周波成分を含まないので、撮像パネルから出力される映像信号の周波数成分を調べ、所定の周波数以上を含まない領域を抽出し、この部分を最大輝度値に近づければ、その部分は透明になり、不要な像を消す事が出来る。映像信号の周波数成分を調べるには、離散コサイン変換やフーリエ変換等の空間−周波数座標変換を行っても良いし、図５に示す様な２次元の高域通過フィルタの出力振幅を調べても良い。フィルタリング処理は、図のフィルタを平面に配置した映像データにかぶせ、各係数を対応する位置の画素の輝度値に掛けて加え合わせる事により行われる。

フィルタリング処理をより有効にするには、焦点の合わない映像のボケ量を大きくして、映像がボケた部分を確実に検出する様にする事が望ましい。その為には、（１）式より、レンズの口径Ｄを大きくすれば良い事が分かる。
この場合、１枚の撮像パネルで焦点の合う距離範囲である焦点深度は浅くなるので、広い距離範囲を少ないボケ量で撮影したい場合は、より多くの撮像パネルが必要になる。
不要映像の透明化後、残った映像のボケを改善するには、図５に示した様な高域通過フィルタに映像信号を通して、高域成分を強調すれば良い。強調の度合いが大き過ぎると、絵柄のエッジ付近にリンギングが生じるので、適度な量に調節する。

不要映像の透明化を、各パネル毎に独立に行った場合、どのパネルにも映像のない部分や、複数のパネルの同じ位置に映像が残って不都合な場合が生じる。これを防ぐには、パネル内の各画素の高周波成分を他のパネルの同位置の成分と比較して、最も高周波成分の多い画素のみを残す様にすれば良い。
又、映像がパネル間に結像した部分は、他のパネルよりは高周波成分は多いが、連続した２枚のパネルに同程度の高周波成分が発生するので、この様な部分は、両者の映像を残すことにより、視覚の補間効果により、パネルの中間に像がある様に見させる事が出来る。

又、半透明な物体を透かして、奥の映像が見えている部分も、比較的高周波成分の多い映像が複数のパネルの同位置に出来るので、これらの映像も残す事により、半透明な物体の自然な撮影が可能になる。
どのパネルにも高周波成分の無い部分は、撮影可能距離範囲外の映像であるが、透明化処理をすると、その映像の部分に穴が開くので、その中で最も低周波成分の少ないパネルの映像を残す。低域成分の量は、図６に示す様な低域通過フィルタで調べる事が出来る。フィルタリング処理は、上記と同じで、対応する画素値と計数値を掛けて加え合わせる事で行われる。
尚、これらの不要映像の透明化処理は、後に述べる立体映像表示手段の中で実施しても良い。

撮像デバイス２を１枚の撮像パネル２１で構成し、撮影する対象物までの距離を異ならせる手段としては、レンズ１又は、撮像デバイス２をリニヤモータ等に乗せて前後に移動する事でレンズと撮像パネル間の距離を変えても良いし、レンズ１の材料に電圧変形素子を用いて、電圧を掛ける事でレンズの曲率を変え、結果的にレンズの焦点距離ｆを変えても良いし、レンズ１の材料に可塑材を用いて、レンズの半径方向に力を加える事で、レンズの曲率を変えても良いし、又、レンズ１に、液晶等の電圧によって屈折率の変化する材料を用いて、電圧でレンズの屈折率を変える事で、レンズの焦点距離ｆを変えても良い。

撮影する物体の前に他の物体がある場合、図７に示す様に、後ろの物体の一部が前の物体で遮られ、像の一部が欠ける。この欠ける量は、レンズが小さい程多くなるが、人が物体を直接見た場合の欠け量より大きいと、本来見えるはずの部分の映像がなくなり自然さが損なわれるので、レンズの直径は、人の両眼距離（約６５ｍｍ）以上が必要である。

次に、撮影される立体映像をカラー化する方法を説明する。
カラー映像の撮影には通常、撮像デバイスの１画素分の面積を３つに分け、各表面に３色の色フィルタをそれぞれ貼って、カラー画像を得るのが一般的であるが、複数の撮像パネルを重ねて立体映像を撮影する場合は、各パネルの同じ位置が同じ色とは限らない為、パネル毎に色フィルタを貼ると、後方のパネルには必要な色の光が届かなくなる問題があり、又、最前面に１枚の３色フィルタを貼った構成では、後方のパネル程、色フィルタの１画素と撮像パネルの１画素とが合わなくなり、不都合である。

［実施の形態２］
図８は、この問題を解決する為の、本発明の実施の形態２における、立体映像生成システムの構成図である。図において、１は凸レンズ、４は２枚のハーフミラー４１を直交させた分光器、３は撮像デバイスで、その表面に夫々３色の色フィルタ４２のいずれかが貼ってある。
本構成のカラー立体映像生成システムでは、撮影物体から出た光は、レンズ１を通り、ハーフミラー４１で３方向に分光され、各分光は夫々３色の色フィルタ４２の内の１つを夫々通って単色光となり、３つの撮像デバイスの夫々で結像するが、各像はいずれも単色なので、色フィルタを画素毎に区切る必要はなく、色フィルタと撮像デバイスの間で色矛盾も起こらない。

［実施の形態３］
次に、該手段で得られた距離毎に異なる映像を立体表示する方法を以下に説明する。
図９は、本発明の実施の形態３における、立体映像生成システムの構成図であり、透明な立体映像表示デバイス３より構成される。図１０は、表示デバイス３の詳細な構造を示し、複数の透明な表示パネル３１で構成される。

図１１は、表示パネル３１に液晶（ＬＣＤ）を用いた場合の構造図であり、透明なシリコンで形成される、駆動回路３１１と、透明電極ではさまれた液晶を、ガラス等の透明基板上に載せた構成で、この表示パネルを複数枚重ね、最外縁に偏光方向を９０度ずらせた一対の偏光版を置き、最背面から照明することにより、表示デバイスが構成される。
以上の様に構成された夫々の位置の表示パネル３１に、上記撮影距離毎に異なる物体映像を表示する事で奥行のある立体映像が得られる。ここで注意する事は、遠方の物体程、レンズに近い位置の撮像パネルで撮影されるので、表示の際には、看視者から見て最も遠方の表示パネルに、該映像を表示しなければならない。更に、撮影された像は、上下左右が反転した倒立像であるので、表示の際には、像の上下左右を反転して表示する事により、正しい向きの像を再生出来る。

図４より、等間隔の撮像パネルで撮影された立体映像は、同じ間隔に配置した表示パネルに、同じ大きさで表示すれば正しい距離関係になる事が分かる。又、大きなパネルに表示したい場合は、像の拡大率に合わせて、パネル間隔を広げれば良い。
この表示デバイス３をそのまま覗けば、実際の距離より縮まった奥行位置に像が見えるが、距離が縮まった分、像のサイズも縮まっており、撮影時の物体を見込む角度である視野角は不変であるので、自然な立体像を見る事が出来る。

表示映像をカラー化するには、液晶パネルを背後から照明する光源として、３色の光源を設け、時分割照明しながら、これに同期して表示パネル映像を切り替えれば良い。又は、図１２に示す様に、表示デバイス３を３色分設け、夫々を別々の色の光源で照射し、出来た映像をハーフミラー４１で合成しても良い。３色の光源は、３色の発光ダイオードでも良いし、図に示す様に、電球等の白色光の波長を色フィルタで分離して作っても良い。

図１３は、表示パネル３１に有機Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｔ（ＥＬ）素子等の自己発光素子を用いた場合の構造図であり、透明なシリコンで形成される駆動回路３１１と、透明な陽極と陰極ではさまれた有機ＥＬ層３１３を、ガラス等の透明基板上に載せた構成であり、この表示パネルを複数枚重ねることで立体映像表示デバイスが構成される。
この表示デバイスの特徴は、各パネルが自己発光するので、背後から照明する必要がない事であるが、パネル毎に、前方に向かう光が透過する他のパネルの枚数が異なるので、どのパネルも同じ明るさにするには、後方のパネル程高輝度にしなければならない。
更に、後方の不要な光が前方の映像を透過して見えるのを防ぐ為には、図１１で示した液晶表示パネルを液晶シャッタとして用いて、表示パネルの背面に貼り付け、表示パネルの発光部分を不透明にすれば良い。

表示をカラー化するには、表示パネルの各画素を３色の発光素子の組で構成しても良いし、３色の表示デバイスを夫々設けて３色の映像を作り、図１２に示したハーフミラー４１でこの３色の映像を合成してカラー映像としても良い。３色の発光素子が、白色光をカラーフィルタで３色に変換するタイプや、青色光を色変換材料で緑や赤に変換するタイプでは、後方のパネルから出た光が前方のパネルの色に影響されるので、３色別々の表示デバイスを用いる構成にした方が良い。

奥行き感を増すには、パネル間隔を広げれば良いが、正しい奥行比にするには、同時にパネルサイズも大きくする必要がある。別の手段としては、図１４に示す様に、表示デバイス３の前面に凸レンズ１を設ければ良い。この時、レンズと表示デバイスの距離を、レンズの焦点距離ｆ以内にすれば、表示デバイスの後方に、奥行の拡大された正立虚像を見る事が出来る。この時、レンズから虚像までの距離をＤとすれば、その像が表示された表示パネルからレンズ中心までの距離は、Ｄ×ｆ／（Ｄ＋ｆ）であり、像の拡大率は、（Ｄ＋ｆ）／ｆ倍である。

［実施の形態４］
表示デバイス３を、凸レンズ１の焦点距離ｆ以遠に配置すると、投射型の立体映像生成システムとなる。図１５は、本発明の実施の形態４における、立体映像生成システムの構成図であり、立体映像表示デバイス３と、その前方、レンズの焦点距離以遠に配置した凸レンズ１及び、更にその前方に配置したスクリーン５より構成される。図１５において、表示デバイス３は、液晶等の光透過型表示デバイスでも良いし、有機ＥＬ素子等の自己発光型表示デバイスでも良い。

レンズの焦点距離をｆとし、レンズからスクリーンまでの距離をＤとすると、このスクリーン上に焦点を結ぶ映像の、元となる表示デバイス３内での位置は、レンズから距離Ｄ×ｆ／（Ｄ−ｆ）の位置となるので、この距離の位置に、対応する表示パネルが来る様に、表示デバイスを配置すれば良い。表示される映像の奥行位置に応じて、スクリーンの位置を変える必要があるので、複数枚の半透明スクリーンをそれぞれの位置に順に重ねて立てるか、図１６に示す様な指向性反射スクリーンを用いる。

図１６において、５１は微小な球形のレンズで、半面が鏡面になった反射鏡である。この様な球形レンズの焦点距離ｆは、球の半径をｒとし、レンズ材料の屈折率をｎとすると、ｆ＝ｒ／２×ｎ／（ｎー１）であるので、ｎ＝２とすると、ｆ＝ｒとなり、焦点位置とレンズ表面が一致する。入射光は、レンズ底面で焦点を結び、そこで反射されて、入射光と同じ方向に出て行く。この様にして反射された光は、スクリーンが無い場合に焦点を結ぶ位置から出た様に見えるので、夫々の奥行位置に結像した実像を見る事が出来る。普通のガラスは、ｎ＝１．５であるので、ｆ＝１．５ｒとなる。この場合は、図１７に示す様に、厚み３ｒの円筒レンズ型反射鏡とし、表面の曲率を１／ｒ、裏面の曲率を１／２ｒとすれば良い。

［実施の形態５］
図１９は、本発明の実施の形態５における、立体映像生成システムの構成図である。図１９において、６１は高周波成分抽出手段、６２は輝度変更手段である。図の構成において、撮像デバイス２内の各撮像パネルから出力される映像信号は、高周波成分抽出手段６１に入力され、図５に示す様なラプラシアンフィルタで高周波成分が抽出される。ラプラシアンフィルタは、入力信号の高周波成分が強い程、正と負の大振幅の信号ペアを出力するので、この絶対値を高周波成分の量、すなわち焦点の合い具合とすれば良い。

しかし、焦点の合っている映像でも、もともと細かな絵柄の少ない部分では、高周波成分量が少なく、ボケ領域と判定される恐れがあるので、モルフォロジーフィルタやメディアンフィルタ等で、合焦領域に点在する高周波成分の少ない領域を埋めるのが良い。この時、本来ボケるべき映像領域でも、被写体のコントラストが強い部分は高周波成分が抽出されており、その領域が拡大されるので、これを除去する為に、次に逆の順番でモルフォロジーフィルタを掛けたり、メディアンフィルタを再度適用して、ボケ領域に点在する高周波成分を除去するのが良い。この様にしても、一旦つながった高周波成分領域は狭まる事はなく、安定に高周波成分量を抽出する事が出来る。

抽出された高周波成分量は、隣り合う撮像パネルからの映像間で比較し、最も高周波成分量の多い領域の高周波成分量を１に対応させ、他方のパネルの同位置での高周波成分量を０に対応させれば、２枚のパネル間で高域成分量が０から１に正規化される。すなはち、パネル１上で焦点の合っている領域の正規化高周波成分量Ｘは１となり、対応するパネル２での正規化高周波成分量は１−Ｘ＝０となる。又、両パネル上で同程度にボケている領域の正規化高周波成分量は共にＸ＝０．５、１−Ｘ＝０．５となるが、この値Ｘは、本来映像が焦点を結ぶ位置をパネル間距離で正規化した値と等しくなっている。

次に、輝度変更手段６２で、この正規化成分量Ｘから、ボケた映像の輝度Ｙを変更し、新たな輝度Ｙ１、Ｙ２を次の様に求める。ここで、２枚のパネルの輝度値は、同じ被写体のボケた映像であるのでほぼ等しく、Ｙとする。
表示パネルが、液晶表示パネル等の様に、光源からの透過光量を制御するものの場合は、元の輝度値Ｙが、０からＺ（例えば２５５）の間で変化するものとすると、
Ｙ１＝Ｚ^１−Ｘ×Ｙ^Ｘ
Ｙ２＝Ｚ^Ｘ×Ｙ^１−Ｘ
と変更する。この輝度値の２枚のパネルを重ねて裏から照明を当てると、出力される映像の輝度は両者の積となり、
Ｙ１×Ｙ２＝Ｚ×Ｙ
となる。

これは、最も明るいパネル（Ｙ＝Ｚ：透明）と元の輝度値Ｙのパネルを重ねて見ているのと同じになり、元の輝度値の画像が得られるが、その位置は、目の補間作用により、２枚のパネルの間でコントラストの高い方に偏る。すなわち、高域成分が少ない程、Ｘの値は１から０に近づき、Ｙ１はＹ２より明るくなり、Ｙ１のコントラストはＹ２より下がるので、映像はＹ２のパネル側に寄った位置に定位する。逆に高域成分量Ｘが１に近い程、映像はＹ１のパネル側に寄った位置に定位する。

表示パネルが、有機ＥＬパネル等の様に、自己発光するものの場合は、元の輝度値Ｙを、
Ｙ１＝Ｘ×Ｙ
Ｙ２＝（１−Ｘ）×Ｙ
と変更する。この輝度値の２枚のパネルを重ねて見ると、出力される映像の輝度は両者の和となり、
Ｙ１＋Ｙ２＝ Ｙ
となり、元の輝度値の画像が得られるが、その位置は、目の補間作用により、２枚のパネルの間でコントラストの高い方に偏る。すなわち、高域成分が少ない程、Ｘの値は１から０に近づき、Ｙ１はＹ２より暗くなり、Ｙ１のコントラストはＹ２より下がるので、映像はＹ２のパネル側に寄った位置に定位する。逆に高域成分量Ｘが１に近い程、映像はＹ１のパネル側に寄った位置に定位する。

以上より、映像のボケ量から被写体の元あった位置が判り、それに応じた輝度配分を表示パネルで行う事により、パネルとパネルの間の映像をその位置も含めて再現する事が出来る。

本発明にかかる立体映像生成システムは、実世界の３次元空間に存在する物体の大きさと物体までの距離の関係を保存して表示するので、自然な立体映像を生成するシステムとして有用である。特に、従来の両眼視差のみを使った立体映像システムの欠点を全て解消しており、眼鏡を必要としないにも関わらず、監視位置による映像の不連続や奥行き反転が生じず、又焦点調節との不整合も生じないので、長時間看視しても違和感や疲労の生じない立体映像生成システムとして有用である。

本発明の実施の形態１における立体映像生成システムの撮像手段の構成図。 立体映像撮像デバイスの構成図。 立体映像撮像パネルの構成図。 撮像パネル位置毎の、撮像物体距離とボケ量を示す図。 高周波成分検出フィルタの構成図。 低周波成分検出フィルタの構成図。 オクルージョンの説明図。 本発明の実施の形態２における立体映像生成システムのカラー化撮像手段の構成図。 本発明の実施の形態３における立体映像生成システムの映像表示手段の構成図。 立体映像表示デバイスの構成図。 光透過型の立体映像表示パネルの構成図。 立体映像生成システムのカラー化映像表示手段の構成図。 自己発光型の立体映像表示パネルの構成図。 拡大映像を表示する立体映像生成システムの構成図。 本発明の実施の形態４における立体映像生成システムの映像表示手段の構成図。 指向性反射スクリーンの構成図。 円筒レンズ型反射鏡の構造図。 従来の２眼式立体カメラの構成図。 本発明の実施の形態５における立体映像生成システムの構成図。

符号の説明

１・・・凸レンズ、２・・・撮像デバイス、２１・・・撮像パネル、２１１・・・透明電極、３・・・表示デバイス、３１・・・表示パネル、３１１・・・駆動回路、３１２・・・偏光版、３１３・・・有機ＥＬ層、４・・・分光器、４１・・・ハーフミラー、４２・・・色フィルタ、５・・・スクリーン、５１・・・球形ミラー、６１・・・高周波成分検出手段、６２・・・輝度変更手段

Claims (52)

1. 立体映像を生成するシステムであって、
   物体の実像を結像させるレンズと、該実像位置に配置した一体型撮像デバイスとで構成される立体映像撮像手段を持ち、
   該立体映像撮像手段は、物体までの距離に応じてレンズから撮像デバイスの撮像位置までの距離を異ならせることにより、結像した物体までの距離に応じた複数の映像を得ると共に、結像しない部分の映像を透明化する事を特徴とする立体映像生成システム。
2. レンズは、口径の大きなものを用いる事により、結像しない部分の映像を透明化する事を特徴とする、請求項１記載の立体映像生成システム。
3. 撮像デバイスは、透明な撮像パネルを複数枚重ね合わせた構成にする事により、レンズから撮像位置までの距離を異ならせ、撮像された物体までの距離に応じた複数の映像を得る様にした事を特徴とする、請求項１記載の立体映像生成システム。
4. 撮像パネルは、等間隔に配置する事により、いずれかの撮像パネルに結像する映像の最大ボケ量が一定値以下になる様にした事を特徴とする、請求項３記載の立体映像生成システム。
5. 撮像デバイスは、撮像パネルの間隔を変える事により、撮像可能な距離の範囲を変えられる様にした事を特徴とする、請求項３記載の立体映像生成システム。
6. 撮像パネルは、透明基板上に光センサ素子を集積した構成にする事により、透明な撮像パネルとした事を特徴とする、請求項３記載の立体映像生成システム。
7. 光センサ素子は、レンズから遠いものほど高感度にする事により、重ね合わされたいずれの撮像パネルからも同じ明るさの映像が得られる様にした事を特徴とする、請求項６記載の立体映像生成システム。
8. 光センサ素子は、電極を透明にする事により、後方のセンサ素子にも光が届く様にした事を特徴とする、請求項６記載の立体映像生成システム。
9. 撮像デバイスは、レンズ中心からレンズの焦点距離以上離れて配置する事により、実像を撮影出来る様にした事を特徴とする請求項１記載の立体映像生成システム。
10. 撮像デバイスは、レンズの焦点距離をｆとし、撮像すべき最近の物体までの距離をＤとして、レンズからＤ×ｆ／（Ｄ−ｆ）の距離以内に配置する事により、距離Ｄ以遠の物体の映像が得られる様にした事を特徴とする請求項９記載の立体映像生成システム。
11. 立体映像撮像手段は、撮像デバイスから出力される映像信号の内、高周波成分を含まない部分を、結像しなかった部分として、この部分の信号値を最大値に近づける事により、ボケた部分を透明化して除去する様にした事を特徴とする請求項１記載の立体映像生成システム。
12. 立体映像撮像手段は、撮像パネルから出力される映像信号を、他の撮像パネル内の同位置から出力される映像信号と比較し、最も多く高周波成分を含む映像信号を、ボケ量最小の信号として残す様にして、不要な映像信号を除去する事を特徴とする請求項１１記載の立体映像生成システム。
13. 立体映像撮像手段は、撮像パネルから出力される映像信号の高周波成分が、他方の撮像パネルの同位置から出力される映像信号とほぼ同レベルで、その他の撮像パネル内の同位置から出力される映像信号よりも多く高周波成分を含む場合、物体の映像は両撮像パネルの中間に結像したものか若しくは、半透明な前面の映像と後方の映像の重なり部分と見なして、両者の映像信号を残す様にした事を特徴とする請求項１１記載の立体映像生成システム。
14. 立体映像撮像手段は、いずれの撮像パネルからも高周波数成分を含んだ映像信号が出力されない場合は、その部分は撮影可能距離範囲外の映像として、その中で最も低周波成分の少ない映像信号を残し、その他の撮像パネルの同位置から出力される映像信号を透明化して除去する様にした事を特徴とする請求項１１記載の立体映像生成システム。
15. 立体映像撮像手段は、残った映像信号を高域通過フィルタに通す事により、撮像パネル間に結像した映像のボケを改善する事を特徴とする請求項１１記載の立体映像生成システム。
16. 立体映像撮像手段は、外部から印加される電圧もしくは物理的力に応じてその焦点距離を変化させる可変焦点レンズを用いる事により、複数の映像を得る様にした事を特徴とする請求項１記載の立体映像生成システム。
17. レンズと撮像デバイスは、両者の距離を変化させる可動機構を持つ事で、被写体までの距離に応じた映像を得る様にした事を特徴とする請求項１記載の立体映像生成システム。
18. レンズは、大口径のものを用いる事で、両眼視差によるオクルージョンの違いを実現し、より自然な映像に近づけた事を特徴とする請求項１記載の立体映像生成システム。
19. 立体映像撮像手段は、光を３方向に分光する分光器をレンズと撮像デバイスの間に有し、分光された夫々の光を受ける撮像デバイスは、その前面に他の撮像デバイスとは異なる３色のうちのいずれかの色フィルターを有する構造にする事により、カラーの立体映像を撮影可能とした事を特徴とする請求項１記載の立体映像生成システム。
20. 立体映像を生成するシステムであって、
    物体の映像を表示する映像表示デバイスを含む立体映像表示手段を持ち、
    該立体映像表示手段は、表示する映像のサイズと、その映像が本来あるべき位置までの距離との比に応じて、映像の表示位置までの距離を異ならせることにより、自然な奥行のある立体映像を表示する事を特徴とする、立体映像生成システム。
21. 映像表示デバイスは、透明な映像表示パネルを複数枚重ね合わせた構成にする事により、表示映像の位置までの距離を異ならせ、奥行のある立体映像を表示する様にした事を特徴とする請求項２０記載の立体映像生成システム。
22. 映像表示パネルは、等間隔に配置した構成とする事により、表示される映像のボケ量を、奥行量によらず一定値以下にして、むらのない立体映像を表示する様にした事を特徴とする請求項２１記載の立体映像生成システム。
23. 映像表示デバイスに表示する映像は、撮像デバイス内での位置関係を上下左右前後、全てを反転させて表示することにより、撮影時に倒立し、奥行の逆転した立体映像を正常な位置に表示する事を特徴とする、請求項２１記載の立体映像生成システム。
24. 映像表示デバイスは、映像表示パネルの間隔を変える事により、表示可能な立体映像の奥行範囲を変えられる様にした事を特徴とする、請求項２１記載の立体映像生成システム。
25. 映像表示パネルは、透明基板上に透過光量可変素子を集積した構成とし、これを背後から照明する事によって映像を表示する事を特徴とする請求項２１記載の立体映像生成システム。
26. 立体映像表示手段は、カラーの３原色の夫々を時間的に異なるタイミングで順次発光させて映像表示デバイスに背面より照射する光源を持ち、映像表示デバイスは、該発光色に同期して３色夫々の映像を表示することにより、カラーの立体映像を表示する事を特徴とする、請求項２５記載の立体映像生成システム。
27. 立体映像表示手段は、３原色夫々の光源と映像表示デバイスを持ち、各映像表示デバイスから出る３色の映像を１つのカラー映像に合成する光合成器を持つ構成により、カラーの立体映像を表示する事を特徴とする、請求項２５記載の立体映像生成システム。
28. 映像表示パネルは、透明な自己発光素子を集積した構成とする事により、背面パネルの映像光に影響されない立体映像を表示可能にした事を特徴とする請求項２１記載の立体映像生成システム。
29. 映像表示パネルは、発光素子の裏側に光シャッタを設け、発光時には後方からの光を遮断する構成とする事により、背面パネルの映像光に影響されない立体映像を表示可能にした事を特徴とする請求項２８記載の立体映像生成システム。
30. 映像表示パネルは、後方のパネル程高輝度にする事により、前面のパネルでの光量減衰を補正して、奥行によらず均一な明るさにした事を特徴とする請求項２８記載の立体映像生成システム。
31. 立体映像表示手段は、映像表示デバイスの前面に凸レンズを設けた構成とする事により、映像表示デバイスに表示された物体映像の奥行量を見かけ上大きくした事を特徴とする請求項２０記載の立体映像生成システム。
32. 映像表示デバイスは、レンズ中心からレンズの焦点距離以内に配置する事により、正立の虚像を看視する様にした事を特徴とする請求項３１記載の立体映像生成システム。
33. 立体映像表示手段は、表示する映像信号の内、高周波成分を含まない部分を、結像しなかった部分として、この部分の信号を最大値に近づける事により、ボケた部分を透明化して除去する事を特徴とする請求項２０記載の立体映像生成システム。
34. 立体映像表示手段は、表示する映像信号のボケ量を、他の表示パネル内の同位置に表示される映像信号と比較し、最も多く高周波成分を含む映像信号を、ボケ量最小として表示する様にした事を特徴とする請求項３３記載の立体映像生成システム。
35. 立体映像表示手段は、表示パネルに出力される映像信号の高周波成分が、他の表示パネル内の同位置に表示される映像信号とほぼ同レベルで、その他の表示パネル内の同位置に表示される映像信号よりも多く高周波成分を含む場合、物体の映像は両表示パネルの中間に結像したものか若しくは、半透明な前面の映像と後方の映像の重なりと見なして、両者の映像信号を表示する様にした事を特徴とする請求項３３記載の立体映像生成システム。
36. 立体映像表示手段は、いずれの表示パネルに表示される映像信号も高周波数成分を含んでいない場合は、その部分は撮影可能距離範囲外映像として、その中で最も低周波成分の少ない映像信号を残し、他の表示パネルの同位置に表示される映像信号を透明化して除去する事を特徴とする請求項３３記載の立体映像生成システム。
37. 立体映像表示手段は、表示映像信号を高域通過フィルタに通す事により、表示パネル間に結像する映像のボケを改善する事を特徴とする請求項３３記載の立体映像生成システム。
38. 立体映像表示手段は、映像表示デバイスを、レンズ中心からレンズの焦点距離以遠に配置すると共に、レンズの前方にスクリーンを設けた構成とする事により、投射型の立体像を表示する様にした事を特徴とする請求項３１記載の立体映像生成システム。
39. スクリーンは、入射光線を入射方向に反射する指向性反射スクリーンとする事により、スクリーンの設置位置によらず、任意の距離に結像される実像を見られる様にした事を特徴とする請求項３８記載の立体映像生成システム。
40. 指向性反射スクリーンは、屈折率２の微小な球形ミラーを敷き詰めた構成とする事により、入射光線を入射方向に反射する様にした事を特徴とする請求項３９記載の立体映像生成システム。
41. 指向性反射スクリーンは、屈折率１．５の微小な砲弾型円筒ミラーを敷き詰めた構成とし、表面の曲率を１／ｒ、裏面の曲率を１／２ｒ、両面間の距離を３ｒとする事により、入射光線を入射方向に反射する様にした事を特徴とする請求項３９記載の立体映像生成システム。
42. 立体映像撮像手段は、撮像デバイスを構成する各撮像パネルから出力される映像信号に含まれる高周波成分量に応じて、映像の輝度値を変える事により、表示デバイスを構成する表示パネルと表示パネルの間に表示映像の見かけの位置を定位させる様にした事を特徴とする請求項１記載の立体映像生成システム。
43. 立体映像撮像手段は、撮像デバイスを構成する撮像パネルから出力される映像信号に含まれる高周波成分量に応じて、隣り合うパネル間で映像の輝度値を配分する事により、隣り合う撮像パネルの間に結像した映像の位置に応じて、表示デバイスを構成する表示パネルと表示パネルの間に表示映像を定位させる様にした事を特徴とする請求項１記載の立体映像生成システム。
44. 立体映像撮像手段は、撮像デバイスを構成する隣り合う撮像パネルから出力される映像信号に含まれる高周波成分量を０から１の間に正規化した値が、Ｘ及び（１−Ｘ）となり、元の映像の輝度値Ｙが０からＺの範囲で変化する場合に、輝度値ＹをＺ^{１−１／Ｘ}×Ｙ^１／Ｘ及びＺ^１／Ｘ×Ｙ^{１−１／Ｘ}に変えて透明化して、透過光量制御型の表示デバイスを構成する隣り合う表示パネルに夫々表示する事により、撮影された対象物の元の位置に比例して、表示パネルと表示パネルの間の位置に表示映像が定位する様にした事を特徴とする請求項１記載の立体映像生成システム。
45. 立体映像撮像手段は、撮像デバイスを構成する各撮像パネルから出力される映像信号をラプラシアンフィルタに通した値のゼロクロス点での振幅を得、これをモルフォロジーフィルタ及びメディアンフィルタの少なくとも一方に通して平滑化した高周波成分量に応じて映像の輝度を変え、表示デバイスを構成する各表示パネルで表示する事により、撮影された対象物の元の位置に比例した位置に、表示映像の位置が滑らかに定位する様にした事を特徴とする請求項１記載の立体映像生成システム。
46. 立体映像撮像手段は、撮像デバイスを構成する複数の撮像パネルから出力される映像信号に含まれる高周波成分量に応じて映像の輝度を変え、パネルの中間に結像した映像の合成表示を行う際に、手前のパネルの高周波成分量を優先する事により、合成映像の位置が安定に定位する様にした事を特徴とする請求項１記載の立体映像生成システム。
47. 立体映像表示手段は、表示される映像信号に含まれる高周波成分量に応じて、映像の輝度を変える事により、表示デバイスを構成する表示パネルと表示パネルの間に表示映像の見かけの位置を定位させる様にした事を特徴とする請求項２０記載の立体映像生成システム。
48. 立体映像表示手段は、表示される映像信号に含まれる高周波成分量に応じて、表示デバイスを構成する隣り合う表示パネル間で映像の輝度を配分する事により、撮像された対象物の元の位置に応じて、表示パネルと表示パネルの間に表示映像を定位させる様にした事を特徴とする請求項２０記載の立体映像生成システム。
49. 立体映像表示手段は、透過光量制御型の表示デバイスを構成する隣り合う表示パネルに表示される映像信号に含まれる高周波成分量を０から１の間に正規化した値が、Ｘ及び（１−Ｘ）となり、元の映像の輝度値Ｙが０からＺの範囲で変化する場合に、輝度値ＹをＺ^{１−１／Ｘ}×Ｙ^１／Ｘ及びＺ^１／Ｘ×Ｙ^{１−１／Ｘ}に変えて透明化して、夫々表示する事により、撮影された対象物の元の位置に比例した位置に表示映像の位置が定位する様にした事を特徴とする請求項２０記載の立体映像生成システム。
50. 立体映像表示手段は、自己発光型の表示デバイスを構成する隣り合う表示パネルに表示される映像信号に含まれる高周波成分量を０から１の間に正規化した値が、Ｘ及び（１−Ｘ）となる場合に、元の映像の輝度値ＹをＸ×Ｙ及び（１−Ｘ）×Ｙに変えて、夫々表示する事により、撮影された対象物の元の位置に比例した位置に表示映像の位置が定位する様にした事を特徴とする請求項２０記載の立体映像生成システム。
51. 立体映像表示手段は、表示デバイスを構成する各表示パネルに表示する映像信号をラプラシアンフィルタに通した値のゼロクロス点での振幅を得、これをモルフォロジーフィルタ及びメディアンフィルタの少なくとも一方に通して平滑化した高周波成分量に応じて映像の輝度を変える事により、撮影された対象物の元の位置に比例した位置に、表示映像の位置が滑らかに定位する様にした事を特徴とする請求項２０記載の立体映像生成システム。
52. 立体映像表示手段は、表示デバイスを構成する複数の表示パネルで表示する映像信号に含まれる高周波成分量に応じて映像の輝度を変え、パネルの中間に結像した映像の合成表示を行う際に、手前のパネルの高周波成分量を優先する事により、合成映像の位置が安定に定位する様にした事を特徴とする請求項２０記載の立体映像生成システム。
    

Images