JP2008153805A - 立体映像表示装置及び２次元画像の立体映像化方法 - Google Patents

Abstract

【課題】本発明は、原画となる２次元画像を基に両眼視差と運動視差を利用した立体感のある立体映像を表示できる立体映像表示装置と、両眼視差と運動視差を利用した２次元画像の立体映像化方法を提供することを目的とする。
【解決手段】本発明の立体映像表示装置と２次元画像の立体映像化方法は、原画から複数の輪郭で抽出された部分画像をそれぞれ実空間と対応付けた画像空間の各レイヤに配置すると共に、前記原画を背景となる最も奥のレイヤに配置する部分画像配置手段５と、各レイヤの画像を基に右眼画像情報と左眼画像情報をそれぞれ取得する右仮想カメラ画像取得手段４及び左仮想カメラ画像取得手段５と、右眼画像情報と左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示装置２に出力する表示映像生成手段７と、切り変え時間を計時するタイマ１４とを備えたことを主要な特徴とする。
【選択図】図１

Description

本発明は、原画となる２次元画像を基に両眼視差と運動視差を利用した立体感のある立体映像を表示できる立体映像表示装置と、両眼視差と運動視差を利用した２次元画像の立体映像化方法に関する。

従来の一般的な立体映像は、プルフリッヒの原理に基づいて光を片眼だけＮＤフィルター（Neutral Density Filter）を通して実現する方法や、左右の一方の眼鏡は光を透過させ他方の眼鏡は不透過とし、両眼視差を使って立体映像とする方法が行われてきた（例えば、特許文献１参照）。この両眼視差は両眼を通してみたときの左右の画像が有する違いによって立体感を得るものである。これに対し、運動視差は対象物が動いたとき、あるいは眼球が動いたとき、対象物と観測点との距離によって動く距離に差が生じることで立体感を認識するものである。それ故、運動視差は片眼だけの場合でも立体感を得ることができる。

さて、特許文献１の技術は、複数枚のＸ線断層像をＸ線ＣＴスキャナで収集し、このＸ線断層像を２つ（左右）の方向から見たときの２枚の画像を作成してインターレース方式の走査方式で表示し、装着して見る眼鏡の一方を透過、他方を不透過とし、奇数、偶数のフィールドの切り換えと同期させて透過、不透過を交互に切り換えるものである。しかし、これは実写した複数枚、すなわち２枚以上の２次元画像から２枚の再投影画像を作成し、これを左右交互表示によって立体映像化するもので、この再投影画像を３次元画像として認識するためには特殊な眼鏡を必要とし、裸眼のみでは立体映像化することはできない。そして、少なくとも１枚の２次元画像だけからは立体映像を構成することはできないものである。

そこで、1枚の２次元画像情報から３次元画像化を実現する技術が提案されている（特許文献２参照）。この特許文献２で開示された技術は、２次元画像から３次元画像用の左目画像あるいは右目画像を作成する２次元画像の３次元化方法であり、詳細には、２次元画像から手前の人物像等からなる手前画像を抽出するステップと、両眼視差や遠近感に応じて手前画像を水平方向に移動させるステップと、この手前画像の移動によって生じる無画像情報領域を補填するように移動後の手前画像を拡大するステップと、手前画像と背景画像とを合成するステップとよりなるものである。

また、同様に原画の平面画像を疑似的に立体視化する立体画像記録再生システムが提案された（特許文献３）。特許文献３で提案された技術は、平面画像の幾何学関係を推定する装置と、原画像を奥行方向の階層毎に分割して再記録する装置と、これを順次空間成立位置が異なる実像として再生する装置で構成される。この構成によって、既に記録された平面画像から立体視用の画像を生成することが可能であり、奥行方向に画像位置が異なる像を形成するので裸眼で立体視が可能になる。

特開平１−２９７７７７号公報 特開平７−１８２５３３号公報 特開平５−９１５４５号公報

以上説明したように、特許文献１の技術は、再投影画像を３次元画像として認識するためには特殊な眼鏡と、この眼鏡制御装置を必要とし、裸眼では立体映像化することはできない。そして、例えば既存の２次元画像だけをソースにして、これを立体映像化することはできないものであった。

この点、特許文献２の技術は1枚の２次元画像から部分的に平坦な手前画像が浮き上がった印象の映像を得ることができる。しかし、これは両眼視差を利用し、手前画像と背景画像の２平面間で手前画像の平面が浮き上がったような印象を与えるだけのものにすぎない。また、この特許文献２では、このほか手前画像と背景画像の間に形成される無画像情報領域に対して、違和感を小さくするために手前画像を拡大することにより補填を行っているが、この無画像情報領域を補填したとしても手前画像と背景画像は２平面から構成されただけのものにすぎず、平面が浮き出しただけの立体感であり、これを実質的な意味で３次元映像（立体）と認識するのは難しい。

これに対し、特許文献３の立体画像記録再生システムは、現画像を奥行方向に物体の輪郭でスライスしてＮ分割し、背景だけの基本フレームと分割されたＮ個のスライス画像を追加フレームとして組み合わせて奥行方向に順に並べ、あたかもジグソーのピースを立体的に配置して正面から観察者が眺め、各画像を残像として立体感を認識するものである。

しかし、特許文献３の装置によって得られるスライス画像は、輪郭を推定するための大量の情報を蓄積したデータベースがなければ取得するのが困難であり、さらに観測者の位置が正面から側方に変わると奥行方向に配置されたＮ個のスライス画像間に無画像となる領域が見え、観察者に違和感を与えてしまうものであった。従って、小型の装置で手軽に立体画像を楽しめるようなものではなかった。

このように従来の手法では、２次元画像を原画にして実質的な意味で実用性のある立体映像を取得するのは難しいものであった。これは従来注目する１つの効果に頼って立体映像化したからと考えられ、両眼視差や残像効果といった１つ１つの立体認識効果に注目するだけでは立体映像化に限界があった。そこで、個々の効果に依存するのではなく、立体感を与える効果の更なる複合化を行い、今までに無い強調された立体感を与える立体映像化の手法が望まれる。また、１枚の２次元画像が原画の場合でも、立体映像化したとき無画像情報領域が形成されることなく、違和感のない立体映像を取得することが必要である。そして、この立体映像は特許文献１〜３のような複雑なシステムではなく、携帯端末などの小型の表示装置で手軽に立体画像が表示できるものが好ましい。

そこで本発明は、原画となる２次元画像を基に両眼視差と運動視差を利用した立体感のある立体映像を表示できる立体映像表示装置と、両眼視差と運動視差を利用した２次元画像の立体映像化方法を提供することを目的とする。

本発明の立体映像表示装置は、原画から複数の輪郭で抽出された部分画像をそれぞれ実空間と対応付けた画像空間の各レイヤに配置すると共に、原画を背景となる最も奥のレイヤに配置する画像配置手段と、レイヤの各画像を基に右眼画像情報と左眼画像情報をそれぞれ取得する左右の仮想カメラと、右眼画像情報と左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示装置に出力する表示映像生成手段と、切り変え時間をカウントする計時手段とを備えたことを主要な特徴とする
本発明の２次元画像の立体映像化方法は、原画から複数の輪郭で被写体の部分画像を抽出し、原画を背景として部分画像を実空間と対応付けた位置で画像空間の各レイヤにそれぞれ配置し、この各レイヤの画像を基に右眼画像情報と左眼画像情報を取得して、右眼画像情報と左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示することを主要な特徴とする。

本発明の立体映像表示装置と２次元画像の立体映像化方法によれば、各画像をレイヤに配置して右眼画像と左眼画像を取得し、両者を０．０３３秒〜０．３秒で切り換えて交互に出力するため、両眼視差による立体感のほかに、運動視差によって立体感を強調することができる。映像自体が残像作用を利用するため、両眼視差と運動視差、さらに残像作用を複合化させた立体感を得ることができる。

また、この立体映像表示装置によれば、輪郭線を自動的に検出し、必要な場合は修正を行い、輪郭線の学習を続けて物体のデータベース化を行うため、容易に立体感を与える右眼画像と左眼画像を取得することができる。

さらに本発明の立体映像表示装置と２次元画像の立体映像化方法によれば、輪郭線がずれて複数表示されてこのずれの部分の印象が過度に強い場合にも違和感を減らすことができる。また、各レイヤを左右に移動させることにより、１台の仮想カメラで簡単に右眼画像と左眼画像を取得することができる。

本発明の第１の形態は、原画から複数の輪郭で抽出された部分画像をそれぞれ実空間と対応付けた画像空間の各レイヤに配置すると共に、原画を背景となる最も奥のレイヤに配置する画像配置手段と、レイヤの各画像を基に右眼画像情報と左眼画像情報をそれぞれ取得する左右の仮想カメラと、右眼画像情報と左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示装置に出力する表示映像生成手段と、切り変え時間をカウントする計時手段とを備えたことを特徴とする立体映像表示装置である。この構成によって、各画像をレイヤに配置して右眼画像と左眼画像を取得し、両者を０．０３３秒〜０．３秒で切り換えて交互に出力するため、運動視差と両眼視差とが組み合わさった新しい飛び出し感を有する強い印象の画像となり、両眼視差による立体感のほかに、運動視差が加わって立体感を強調することができる。映像自体が残像作用を利用するため、両眼視差と運動視差、さらに残像作用を複合化させた立体感を得ることができる。

本発明の第２の形態は、第１の形態において、原画から複数の輪郭で被写体の部分画像を取り出す部分画像抽出部が設けられたことを特徴とする立体映像表示装置である。この構成によって、自動的またはマニュアル操作で部分画像抽出部が起動されて、ソフトウェア的に被写体の部分画像を取り出すことができる。

本発明の第３の形態は、第１または第２の形態において、切り換え時間が０．１秒〜０．２秒で右眼画像情報と左眼画像情報が切り換えられることを特徴とする立体映像表示装置である。この構成によって、運動視差と両眼視差とが組み合わさって、最も立体感が強調される。

本発明の第４の形態は、第１〜第３のいずれかの形態において、右眼画像情報と左眼画像情報が、実空間において眼間距離だけ離れて撮影された２枚の画像情報に相当することを特徴とする立体映像表示装置である。この構成によって、両眼視差による立体感が自然なものとなる。

本発明の第５の形態は、第１〜第４のいずれかの形態において、部分画像を配置したとき輪郭を構成する線が複数本ずれた状態で表示される場合、このずれて表示される部分の画素情報を背景側周辺の画素情報と同一の情報に置換することを特徴とする立体映像表示装置である。この構成によって、輪郭線がずれて複数表示されてこのずれの部分の印象が過度に強い場合にも違和感を減らすことができる。

本発明の第６の形態は、第１〜第４のいずれかの形態において、対象物ごとにデータベースが更新されて対象物の輪郭線の学習を行うことを特徴とする立体映像表示装置である。この構成によって、輪郭線の情報を蓄積するごとに正確になる。

本発明の第７の形態は、原画から複数の輪郭で抽出された部分画像をそれぞれ実空間と対応付けた画像空間の各レイヤに配置すると共に、原画を背景となる最も奥のレイヤに配置する画像配置手段と、右眼画像情報と左眼画像情報をそれぞれ取得するためレイヤの各画像を左右に移動させることができるレイヤ制御手段と、レイヤ制御手段によって左右に移動された画像を右眼画像情報と左眼画像情報として取得する仮想カメラと、右眼画像情報と左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示装置に出力する表示映像生成手段と、切り変え時間をカウントする計時手段とを備えたことを特徴とする立体映像表示装置である。この構成によって、各レイヤを左右に移動させることにより、１台の仮想カメラで簡単に右眼画像と左眼画像を取得することができ、両者を０．０３３秒〜０．３秒で切り換えて交互に出力するため、運動視差と両眼視差とが組み合わさった新しい飛び出し感を有する強い印象の画像となり、両眼視差による立体感のほかに、運動視差が加わって立体感を強調することができる。映像自体が残像作用を利用するため、両眼視差と運動視差、さらに残像作用を複合化させた立体感を得ることができる。

本発明の第８の形態は、原画から複数の輪郭で被写体の部分画像を抽出し、原画を背景として部分画像を実空間と対応付けた位置で画像空間の各レイヤにそれぞれ配置し、この各レイヤの画像を基に右眼画像情報と左眼画像情報を取得して、右眼画像情報と左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示することを特徴とする２次元画像の立体映像化方法である。この構成によって、各画像をレイヤに配置して右眼画像と左眼画像を取得し、両者を０．０３３秒〜０．３秒で切り換えて交互に出力するため、両眼視差による立体感のほかに、運動視差によって遠近が認識され立体感を強調することができる。映像自体が残像作用を利用するため、両眼視差と運動視差、さらに残像作用を複合化させた立体感を得ることができる。

本発明の第９の形態は、原画から複数の輪郭で被写体の部分画像を抽出し、原画を背景として部分画像を実空間と対応付けた位置で画像空間の各レイヤにそれぞれ配置し、この各レイヤの画像を撮影視点からの距離に応じてそれぞれ移動させ、各レイヤを右に移動したとき右眼画像情報、左に移動したとき左眼画像情報を取得して、右眼画像情報と左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示することを特徴とする２次元画像の立体映像化方法である。この構成によって、各レイヤを左右に移動させることにより、１台の仮想カメラで簡単に右眼画像と左眼画像を取得することができ、両者を０．０３３秒〜０．３秒で切り換えて交互に出力するため、運動視差と両眼視差とが組み合わさった新しい飛び出し感を有する強い印象の画像となり、両眼視差による立体感のほかに、運動視差が加わって立体感を強調することができる。映像自体が残像作用を利用するため、両眼視差と運動視差、さらに残像作用を複合化させた立体感を得ることができる。

本発明の第１０の形態は、第８または第９の形態において、切り換え時間が０．１秒〜０．２秒で右眼画像情報と左眼画像情報を切り換えることを特徴とする２次元画像の立体映像化方法である。この構成によって、運動視差と両眼視差とが組み合わさって、最も立体感が強調される。

（実施の形態１）
以下、本発明の実施の形態1における立体映像表示装置と２次元画像の立体映像化方法について説明をする。図１は本発明の実施の形態１における立体映像表示装置の構成図、図２は２次元画像の一例を示す説明図、図３は本発明の実施の形態１における立体映像表示装置で立体映像化するときの原理の説明図、図４は図２の２次元画像を基に生成した右眼画像の説明図、図５は図２の２次元画像を基に生成した左眼画像の説明図、図６は運動視差による立体感を説明する説明図である。

図１において、１は実施の形態1における立体映像表示装置の立体映像出力装置であり、２は立体視化装置１からの出力で画像を出力するＬＣＤやプロジェクター等の表示装置である。従って、実施の形態1の立体映像表示装置は、立体映像出力装置１と表示装置２とから構成される。

次に、立体映像出力装置１の細部について説明する。図１に示す３は部分画像抽出部（本発明の画像抽出部）である。部分画像抽出部３は原画である２次元画像を撮影したレンズの位置から等距離にある輪郭、若しくは撮影されている物体の輪郭で画像（本発明の部分画像）を抽出する。この画像はレンズの位置からの距離で別々に、例えば（Ｎ−１）枚切り出される。これにより背景として配置される原画と合わせて、Ｎ枚の２次元画像が取得できる。

このとき、最も手前に位置する１枚目の画像として切り出された画像は、その１つ奥に位置する画像（２枚目の画像）や、さらに３枚目、・・・、（Ｎ−１）枚目、一番の奥（Ｎ枚目）の画像にもすべて含まれる。言い換えれば、Ｍ枚目（１＜Ｍ＜Ｎ）の画像として切り出された画像は順に大きくなり、奥行方向でそれより手前の画像（（Ｍ−１）枚目の画像）を包含するが、その奥側の画像（（Ｍ＋１）枚目〜Ｎ枚目の画像）は含まない画像となる。切り出された画像の周囲は透視可能になる。図２は２次元画像の一例を示すものであるが、この部分画像は図３に示すようなものとなる。従って、レンズの位置を変えて斜めからみたときも、従来のように無画像領域が形成されず、必ず奥行方向の画像や背景となる画像が表示される。

上述したように部分画像抽出部３は自動的に輪郭を検出し抽出するものであってもよいが、ポインティングデバイスなどを利用してソフトウェア的に輪郭を検出して抽出するのも部分画像抽出部３の構成を簡素にする。なお、輪郭を自動的に検出する部分画像抽出部３については実施の形態２で詳述する（図８参照）。なお、本明細書において各機能手段はいずれもハードウェア的には１個または複数個のプロセッサから構成され、これにメモリ部からプログラムとデータを読み出して、各プログラムに従ってそれぞれの機能を実行する機能実現手段である。

図１において、４は部分画像抽出部３によって生成されたＮ枚の画像を基に立体映像を出力する立体視化処理部である。そして、立体視化処理部４には次の構成が搭載されている。５は部分画像配置手段であり、６ａは右仮想カメラ画像取得手段（本発明の右の仮想カメラ）、６ｂは左仮想カメラ画像取得手段（本発明の左の仮想カメラ）、７は表示映像生成手段である。なお、立体視化処理部４は実施の形態１においては画像をデジタル処理するものであるが、アナログ処理するものであってもよい。

図１の部分画像配置手段５は、部分画像抽出部３から出力されたＮ枚の画像を画像空間内の所定位置に配置する。図３は５枚の画像をレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４に配置した状態を示す。この画像空間の座標は（ｘ，ｙ，ｚ）で示され、レイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４は、ｚ値がｚ＝ｚ_０、ｚ_１、ｚ_２、ｚ_３、ｚ_４の平面を示している。このレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４間の間隔は実空間と対応付けられ、実空間の間隔に比例して設定される。図３の場合この間隔は等ピッチになっている。

しかし、複数の対象物を対象物単位で背景から抽出する場合に、対象物間の間隔に実空間上かなり差があるときは、この間隔と合わせてレイヤの間隔を変化させるのが好適である。例えば、手前の人物と、その後の人物、そしてかなり離れた位置の背景となる建物を撮影した場合などは、人物ごとに切り出す場合に各レイヤ間のピッチを変えることが考えられる。

次に、右仮想カメラ画像取得手段６ａは、カメラ位置（ｘ_ｃｒ，ｙ_ｃｒ，ｚ_ｃｒ）に仮想カメラｖ_ｃｒとして配置され、この右仮想カメラｖ_ｃｒの向きが注目点（ｘ_ｏｂ，ｙ_ｏｂ，ｚ_ｏｂ）に向いているときの画像を取得する。同様に、左仮想カメラ画像取得手段６ｂは、カメラ位置（ｘ_ｃｌ，ｙ_ｃｌ，ｚ_ｃｌ）に仮想カメラ_ｃｌとして配置され、左仮想カメラｖ_ｃｌが注目点（ｘ_ｏｂ，ｙ_ｏｂ，ｚ_ｏｂ）に向いているときの画像を取得する。このカメラ位置と注目点は操作入力部１０から設定することで変化させることができる。なお、注目点に代えてカメラの向きを直接入力することもできる。ここで、実施の形態１においてはｚ_ｃｒ＝ｚ_ｃｌ、｜ｘ_ｃｒ−ｘ_ｃｌ｜＝画像上の眼間距離に設定されている。

さて、右仮想カメラ画像取得手段６ａが図３の各画像をレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４に配置した画像を合成したとき、図２の画像は図４に示すような右眼画像となる。なお、図４の中でＳ_ｒは右仮想カメラ画像取得手段６ａが取得した右眼画像の消失点である。同様に、左仮想カメラ画像取得手段６ｂが図３の各画像をレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４に配置した状態で画像を合成したとき、図２の画像は図５に示すような左眼画像となる。この図５の中でＳ_ｌは左仮想カメラ画像取得手段６ｂが取得した左眼画像の消失点である。

本発明においては、図４に示す右眼画像と図５に示す左眼画像を０．０３３秒〜０．３秒程度の短時間（本発明の切り換え時間）で切り換えて交互に出力する。このため、レイヤｌ_４、ｌ_３、ｌ_２、ｌ_１、ｌ_０は同時に同期して動作するものの、この順で手前側のレイヤの方が大きく運動するように見え、運動視差により遠近が認識され立体感を得ることができる。また、消失点Ｓ_ｒ、Ｓ_ｌの右眼画像と左眼画像が交互に表示され、且つ、これらは眼間距離で取得されたものであるため両眼視差によって自然な印象の立体感を得ることができる。このように両画像の交互の切り換えで運動視差と共に両眼視差を利用して、両視差の複合化が可能になる。なお、奥行方向（とくに背景）では動きが無くなって左右で画像が一致するため、ゆらゆらと立体像がゆれているような立体感となる。

図６はこのような右眼画像と左眼画像を変化させたときの状態を分析して示したものである。右仮想カメラｖ_ｃｒで撮影した右眼画像が実線であり、消失点Ｓ_ｒとなる。図４に示すようにレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４の位置の輪郭線は一部の連続性が欠け、複数の段差が形成されているが、画像の動きの中では印象が薄れ、全体的にみると消失点Ｓ_ｒの画像となる。同様に、左仮想カメラｖ_ｃｌで撮影した左眼画像が波線であり、消失点Ｓ_ｌである。図５に示すようにレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４の位置の輪郭線も一部の連続性が欠け、複数の段差が形成される。しかし、これも全体的にみれば不連続の印象は乏しくなり消失点Ｓ_ｌの画像となる。

この右眼画像と左眼画像のレイヤｌ_４に表示された部分画像の移動量は図６に示すようにΔ_４であり、レイヤｌ_３に表示された部分画像の移動量はΔ_３、レイヤｌ_２に表示された部分画像の移動量はΔ_２（図示しない）、レイヤｌ_１に表示された部分画像の移動量はΔ_１（図示しない）、レイヤｌ_０に表示された部分画像の移動量はΔ_０となって、消失点との距離に比例して小さくなる。すなわち、Δ_４＞Δ_３＞Δ_２＞Δ_１＞Δ_０＝０となり、手前側の画像の移動量（動き）が大きくなるため運動視差によって立体感が得られる。なお、各レイヤの移動量はこの関係に限られるものではない。すなわち、各レイヤが固有の動きを有しているような場合、例えばレイヤｌ_０などの背景が運動する場合（背景が列車等の場合）には、このような関係にはならず、例えばΔ_４＞Δ_３＞Δ_２＝Δ_０＞Δ_１＝０などもありえる。また、Δ_０＞Δ_１＞Δ_２＝Δ_４＞Δ_３＝０のような関係もありえる。従って、上記移動量の関係は画像に応じて適宜決定されるものである。

続いて、図１の表示映像生成手段７は、右仮想カメラ画像取得手段６ａから出力された右眼画像の輝度信号（Ｙ）と色差信号（Ｃ）を基にして１フレームの右眼画像信号（ＲＧＢ信号）を出力する。これと共に、これと交互して、左仮想カメラ画像取得手段６ｂから出力された左眼画像の輝度信号（Ｙ）と色差信号（Ｃ）を基に１フレームの左眼画像信号（ＲＧＢ信号）を出力する。

ＮＳＴＣ方式の場合走査は３０フレーム／秒で行われるが、このとき数フレームごとに右眼画像信号と右眼画像信号を切り換えると、感覚的には対象物が立体的に浮き上がってみえる。すなわち、本発明者らは０．０３３秒〜０．３秒（ＮＳＴＣ方式では１フレーム〜９フレーム）、できれば０．１秒〜０．２秒（ＮＳＴＣ方式では３フレーム〜６フレーム）ごとの切り換えで、強い立体感が得られるとの知見を得た。ここで、０．３３秒未満で切り換えると、残像効果によって左右の両画像が重なってみえてしまい、立体感が失せてしまう。また、０．３秒を越えるとコマ送りが緩慢で運動視差を知覚する時間がなくなり、立体感が失せてしまう。そして、立体感が得られる範囲で最も立体感が強調されるのが、上記０．１秒〜０．２秒の範囲である。なお、映画などの場合は２４フレーム／秒であり、この０．０３３秒〜０．３秒に対応する１フレーム〜７フレーム、できれば０．１秒〜０．２秒（２フレーム〜５フレーム）ごとに切り換えると立体感が強調される。

続いて図1において、８は表示装置２に設けられた表示制御手段である。表示制御手段８は、表示映像生成手段７から交互に出力される右眼画像信号と左眼画像信号によりディスプレーに画像を表示する。また、表示制御手段８はユーザインタフェース１２からの指示で操作画面上にポインタをスーパーインポーズする。なお、実施の形態1では、画像表示する表示装置２とポインティングデバイスの入力画面となる表示装置を共用しているが、両者を別々の構成にしてもよいのは当然のことである。また、本発明においては、表示装置２の走査方式はインターレース方式でも、プログレッシブ方式でもよい。

また、９は立体視化装置１に設けられた制御部であり、ハードウェア的にはプロセッサであって、立体映像表示装置全体の制御を行う。１０はポインティングデバイスである操作入力手段、１１はスキャナや記憶媒体の画像情報を読み取って後述するメモリ部１３に格納する入力部である。ネットワークから通信によって画像情報を取得することもできる。そして、１２は表示装置２の入力可能に表示された表示画面（入力画面）から操作入力手段１０によって指示された処理を行うユーザインタフェース（ＧＵＩ）である。操作入力手段１０を操作することで部分画像抽出部３を起動し、画面上のポインタを移動させることにより輪郭を描き、この輪郭の画像を抽出することができる。

続いて、図１において、１３はメモリ部である。メモリ部１３には図示しないＲＯＭとＲＡＭ、フラッシュメモリ等の不揮発性ＲＯＭが設けられている。１３ａはこの不揮発性ＲＯＭに設けられた右眼画像を記憶する右眼画像部、１３ｂは同じく不揮発性ＲＯＭに設けられた左眼画像を記憶する左眼画像部である。そして、１４は表示映像生成手段７から出力される右眼画像信号と左眼画像信号を切り換える時間をカウントするタイマ（本発明の計時手段）である。上述したように０．０３３秒〜０．３秒ごとに両信号を切り換えることにより立体画像として認識ができる。なお、タイマ１４を設ける代わりに、計時手段としてフレーム数をカウントするカウンタを設けて右眼画像信号と左眼画像信号を切り換えてもよい。ただし、この場合フレーム数は上述した通りであり、メディアごとに単位時間に表示するフレーム数が異なる場合があるので、操作入力手段１０によって切り換えを行うフレーム数を設定可能にするのがよい。

そこで、実施の形態１の２次元画像の立体映像化方法を図７のフローチャートに基づいて説明する。図７は本発明の実施の形態１における２次元画像の立体映像化方法のフローチャートである。２次元画像を読み出して撮影したカメラから等距離にある輪郭で画像を抽出する（ｓｔｅｐ１）。次に、抽出した画像と原画とで画像数が所定のレイヤ数（輪郭線の数）と一致するか否か判定する（ｓｔｅｐ２）。所定のレイヤ数に満たなければｓｔｅｐ１に戻って部分画像を抽出する。なお、対象物の輪郭で部分画像を抽出した場合は、対象物の数がレイヤ数に一致したか否かで判定してもよい。

ｓｔｅｐ２で所定数の画像が得られたときは、各画像を対応位置のレイヤに配置する（ｓｔｅｐ３）。実施の形態１の場合、各画像は等間隔のレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４に配置した状態で配置される。この画像を右仮想カメラ画像取得手段６ａと左仮想カメラ画像取得手段６ｂによってそれぞれ合成して左眼画像と右眼画像を取得する。

右仮想カメラ画像取得手段６ａは、予め設定されているカメラ位置（ｘ_ｃｒ，ｙ_ｃｒ，ｚ_ｃｒ）から注目点（ｘ_ｏｂ，ｙ_ｏｂ，ｚ_ｏｂ）をみたときの仮想カメラｖ_ｃｒとしての右眼画像を取得する（ｓｔｅｐ４）。この右眼画像をメモリ部１３の右眼画像部１３ａ（右眼画像メモリ）に記憶する（ｓｔｅｐ５）。

同様に、左仮想カメラ画像取得手段６ｂは、予め設定されているカメラ位置（ｘ_ｃｌ，ｙ_ｃｌ，ｚ_ｃｌ）から注目点（ｘ_ｏｂ，ｙ_ｏｂ，ｚ_ｏｂ）をみたときの仮想カメラｖ_ｃｌとしての左眼画像を取得する（ｓｔｅｐ６）。この左眼画像をメモリ部１３の左眼画像部１３ｂ（左眼画像メモリ）に記憶する（ｓｔｅｐ７）。

これらの画像は立体視化処理部４から出力され表示装置２に表示されるが、右眼画像と左眼画像のうちの一方を出力した状態で、所定時間が経過したか否かが判定される（ｓｔｅｐ８）。この時間は０．０３３秒〜０．３秒、好ましくは０．１秒〜０．２秒である。この時間が経過していなければ経過するまで待機し、この時間が経過した時点に表示映像生成手段７はそのとき出力されている画像を切り換える。そのとき出力されているのが右眼画像信号ならこれを左眼画像信号に切り換え、そのとき出力されているのが左眼画像ならこれを右眼画像に切り換える（ｓｔｅｐ９）。その後、表示を終了する旨の入力があるか否かが判定され（ｓｔｅｐ１０）、終了しない場合はｓｔｅｐ８に戻って所定時間ごとの右眼画像信号と左眼画像信号の切り換えを継続して行う。ｓｔｅｐ１０において表示を終了する場合はそのまま終了する。

このように実施の形態１の立体映像表示装置によれば、図３の各画像をレイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４に配置した状態で画像を合成したとき、図４に示すような右眼画像と図５に示すような左眼画像を取得し、両者を０．０３３秒〜０．３秒、できれば０．１秒〜０．２秒程度で切り換えて交互に出力することにより、運動視差によって遠近が認識され立体感を得ることができ、また、右眼画像と左眼画像を眼間距離で取得すれば両眼視差で自然な立体感を強調することができる。この立体映像は簡素なメカニズムで表示できるため、携帯端末などの小型の表示装置で手軽に表示することができる。映像自体が残像作用を利用するため、両眼視差と運動視差、さらに残像作用を複合化させた立体感を得ることができる。

（実施の形態２）
続いて、本発明の実施の形態２における立体映像表示装置と２次元画像の立体映像化方法について説明をする。図８は本発明の実施の形態２における立体映像表示装置の構成図である。実施の形態２の立体映像表示装置は、自動的に複数の輪郭を検出して画像を抽出し、輪郭の修正が必要な場合はこれを修正し、輪郭線が何重にも重なって違和感があるときは、これを補正するものである。なお、実施の形態１と同一符号は基本的に同一構成を示すから、これらの説明は省略する。また、図２〜図７を参照する。

実施の形態２においては、図８に示すように部分画像抽出手段３には次の構成が設けられている。３ａは２次元画像の周囲の輪郭が決まったときこの輪郭で部分画像を抽出する抽出手段である。３ｂは部分画像の輪郭を画像処理により検出する輪郭検出手段であり、３ｃは検出された輪郭を表示画面に表示したとき修正が必要な場合に操作入力手段１０を使って修正する輪郭修正手段である。

画像の輪郭は、画素間の輝度成分を微分して検出する。陰影の変化が大きい部分が輪郭として検出される。併せて、輪郭を示す線の存在を検出したり、色差成分の変化、フォーカスなどを検出したり、することで検出精度を上げることができる。そして、この大まかに得られた輪郭の内部で頂点となるべき任意の1点若しくは線分（稜線）を操作入力部１０から与え、自動的に検出した上記輪郭線の複数箇所でこの頂点に向けて所定数の同心円の部分的な等高線を引き（このとき、頂点に行くほど間隔を広くとって自然な等高線にするのがよい）、この同心の等高線と上記大まかな輪郭とを滑らかな曲線でモーフィングし、さらに内部の等高線を基に輪郭線を描くことでより自然な輪郭を得ることができる。この輪郭はさらにユーザによる目視と判断により、輪郭修正手段３ｃによって修正される。そして、実施の形態２では、例えば、原画のＤＣ成分（ＤＣＴ係数）とこの修正された輪郭を関係付けてデータベースとし、更新しながらこのパターンを蓄積する。これによって、対象物ごとに画像の濃淡のモザイクパターンとその輪郭が繰り返し学習され、このデータベースを利用することで輪郭検出手段３ｂが描く輪郭線の精度を徐々に向上させることができる。

なお、以上の説明は１枚の２次元画像情報だけから輪郭を抽出する場合を説明したが、撮影方向が異なる同じ対象物を撮影した３枚以上の２次元画像情報（例えば正面、側面、上面）があれば、レンズの位置から等距離にある輪郭である程度正確に輪郭を抽出することができる。また、例えばパノラマ写真のように、対象物の画像をその周囲から所定距離で連続的あるいは断続的に画像を取り込み、画像の対象物のサイズを一致させることにより、任意の１枚の２次元画像上に輪郭線を正確に描くことができる。

次に、図８において、１５ａは右眼画像補正手段であり、１５ｂは左眼画像補正手段である。例えば図５に示すように、レイヤ間の部分画像の間隔が非常に狭く（図５の椅子の背もたれ部分など参照）、輪郭線が何重にもずれて多数表示されることがある。これは従来技術の特許文献２，３などでは無画像領域となる部分である。しかし、本発明の場合、奥行側に存在する画像のため無画像領域が形成されることはない。また、図５の場合付近（背もたれの部分）の輝度や色彩は一様であり、輪郭線がずれて何重に表示されても不連続であるとの印象は少ない。むしろ、このずれにより奥行勾配である旨の奥行感を得ることができ、自然な印象を得ることができる。

ただ、図５の場合と異なって、輪郭線のずれが過度に強調されて違和感を与える場合は、右眼画像補正手段１５ａと左眼画像補正手段１５ｂによって一番奥のレイヤｌ_０の当該部分周辺の画素情報と同一の画素情報をこの部分の画素情報として背景側の画像を拡張したり、あるいはこの部分の各輪郭線の濃度を下げてぼかしたり、などして違和感を解消するのがよい。右眼画像補正手段１５ａと左眼画像補正手段１５ｂを動作させるのは、右眼画像または左眼画像に輪郭線が過度に鮮明に複数並んでいる場合であり、自動的、若しくはマニュアル操作で補正を行う。しかし、図４、図５の例からも分かるように違和感が生じる場合は比較的少ない。

このように実施の形態２の立体映像表示装置によれば、輪郭線を自動的に検出し、必要な場合は修正を行い、輪郭線の学習を続けて物体のデータベース化するため、容易に立体感を与える右眼画像と左眼画像を取得することができる。輪郭線がずれて何重に表示されても、このずれにより奥行勾配が急である旨の印象を得ることができ、自然な印象を得ることができる。さらに、このずれの部分の印象が過度に強い場合は、自動的に若しくはマニュアル操作で違和感を減らすことができる。

（実施の形態３）
続いて、本発明の実施の形態３における立体映像表示装置と２次元画像の立体映像化方法について説明をする。図９は本発明の実施の形態２における立体映像表示装置の構成図である。実施の形態３の立体映像表示装置は、右仮想カメラと左仮想カメラを使って右眼画像と左眼画像を取得するのではなく、各レイヤの方を画像空間のｚ値に応じて左右に移動させ、１台の仮想カメラで右眼画像と左眼画像を取得するものである。なお、実施の形態１と同一符号は基本的に同一構成を示すから、これらの説明は省略する。また、図２〜図７を参照する。

実施の形態３においては、図９に示すように立体視化処理部４には次の構成が設けられている。６は仮想カメラ画像取得手段（本発明の仮想カメラ）である。実施の形態３では実施の形態１，２と異なり、右仮想カメラ画像取得手段６ａと左仮想カメラ画像取得手段６ｂの２つを設置するのではなく、仮想カメラ画像取得手段６のみで右眼画像と左眼画像を生成する。仮想カメラ画像取得手段６は１台の仮想カメラとしてカメラ位置（ｘ_ｃ，ｙ_ｃ，ｚ_ｃ）に配置され、その向きが注目点（ｘ_ｏｂ，ｙ_ｏｂ，ｚ_ｏｂ）に向けたときの画像を取得する。これらは図６と同様であるため図示しない。

１６は各画像を所定のレイヤに配置して左右両側に移動させるレイヤ制御手段である。レイヤ制御手段１６は、実施の形態１，２の右仮想カメラ画像取得手段６ａと左仮想カメラ画像取得手段６ｂで取得した各画像と等価な画像となるように各レイヤを移動させる。例えば、図３に示す５枚の画像情報を各レイヤｌ_０、ｌ_１、ｌ_２、ｌ_３、ｌ_４に配置し、図６に示すように手前側の画像の移動量を消失点Ｓ（図示しない）からの距離に比例して大きくなるように移動させる。原画の状態から右側に移動させたとき右仮想カメラ画像取得手段６ａで取得した画像と等価な右眼画像が得られ、左側に移動させたとき左仮想カメラ画像取得手段６ｂで取得した画像と等価な右眼画像が得られる。

このときの移動量は、一番手前に配置されたレイヤｌ_４の場合で説明すると_、レイヤｌ_４上の任意の点を選び、この点を使って（消失点Ｓ−仮想カメラ間の距離／消失点Ｓ−レイヤｌ_４間の距離）を計算し、この比を眼間距離に積算した値であり、レイヤｌ_３、その他のレイヤｌ_２、ｌ_１の移動量も同様に計算される。レイヤ制御手段１６と仮想カメラ画像取得手段６によって取得された右眼画像と左眼画像は、実施の形態１，２と同様、表示映像生成手段７によって１フレームの右眼画像信号と左眼画像信号として交互に出力される。０．０３３秒〜０．３秒（１フレーム〜９フレーム）、できれば０．１秒〜０．２秒（３フレーム〜６フレーム）ごとの切り換えで立体画像として出力される。

このように実施の形態３の立体映像表示装置によれば、各レイヤを消失点Ｓから比例した距離で左右に移動させることにより、１台の仮想カメラで簡単に右眼画像と左眼画像を取得することができる。そして、右眼画像と左眼画像を０．０３３秒〜０．３秒、好ましくは０．１秒〜０．２秒程度で切り換えて交互に出力することで、運動視差によって立体感を得ることができ、また、右眼画像と左眼画像を眼間距離で取得することにより自然な両眼視差の作用も加わってより立体感を強調することができる。映像自体が残像作用を利用するため、両眼視差と運動視差、さらに残像作用を複合化させた立体感を得ることができる。

本発明は、１枚の２次元画像情報でも立体感のある立体映像を表示できる立体映像表示装置に適用できる。

本発明の実施の形態１における立体映像表示装置の構成図 ２次元画像の一例を示す説明図 本発明の実施の形態１における立体映像表示装置で立体映像化するときの原理の説明図 図２の２次元画像を基に生成した右眼画像の説明図 図２の２次元画像を基に生成した左眼画像の説明図 運動視差による立体感を説明する説明図 本発明の実施の形態１における２次元画像の立体映像化方法のフローチャート 本発明の実施の形態２における立体映像表示装置の構成図 本発明の実施の形態２における立体映像表示装置の構成図

符号の説明

１ 立体映像出力装置
２ 表示装置
３ 部分画像抽出部
３ａ 抽出手段
３ｂ 輪郭検出手段
３ｃ 輪郭修正手段
４ 立体視化処理部
５ 部分画像配置手段
６ 仮想カメラ画像取得手段
６ａ 右仮想カメラ画像取得手段
６ｂ 左仮想カメラ画像取得手段
７ 表示映像生成手段
８ 表示制御手段
９ 制御部
１０ 操作入力手段
１１ 入力部
１２ ユーザインタフェース
１３ メモリ部
１３ａ 右眼画像部
１３ｂ 左眼画像部
１４ タイマ
１５ａ 右眼画像補正手段
１５ｂ 左眼画像補正手段
１６ レイヤ制御手段

Claims (10)

1. 原画から複数の輪郭で抽出された部分画像をそれぞれ実空間と対応付けた画像空間の各レイヤに配置すると共に、前記原画を背景となる最も奥のレイヤに配置する画像配置手段と、前記レイヤの各画像を基に右眼画像情報と左眼画像情報をそれぞれ取得する左右の仮想カメラと、前記右眼画像情報と前記左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示装置に出力する表示映像生成手段と、前記切り変え時間をカウントする計時手段とを備えたことを特徴とする立体映像表示装置。
2. 原画から複数の輪郭で被写体の部分画像を取り出す部分画像抽出部が設けられたことを特徴とする請求項１の立体映像表示装置。
3. 前記切り換え時間が０．１秒〜０．２秒で前記右眼画像情報と前記左眼画像情報が切り換えられることを特徴とする請求項１または２記載の立体映像表示装置。
4. 前記右眼画像情報と前記左眼画像情報が、実空間において眼間距離だけ離れて撮影された２枚の画像情報に相当することを特徴とする請求項１〜３のいずれかに記載された立体映像表示装置。
5. 前記部分画像を配置したとき前記輪郭を構成する線が複数本ずれた状態で表示される場合、このずれて表示される部分の画素情報を背景側周辺の画素情報と同一の情報に置換することを特徴とする請求項１〜４のいずれかに記載された立体映像表示装置。
6. 対象物ごとにデータベースが更新されて前記対象物の輪郭線の学習を行うことを特徴とする請求項１〜４のいずれかに記載された立体映像表示装置。
7. 原画から複数の輪郭で抽出された部分画像をそれぞれ実空間と対応付けた画像空間の各レイヤに配置すると共に、前記原画を背景となる最も奥のレイヤに配置する画像配置手段と、右眼画像情報と左眼画像情報をそれぞれ取得するため前記レイヤの各画像を左右に移動させることができるレイヤ制御手段と、前記レイヤ制御手段によって左右に移動された画像を前記右眼画像情報と前記左眼画像情報として取得する仮想カメラと、前記右眼画像情報と前記左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示装置に出力する表示映像生成手段と、前記切り変え時間をカウントする計時手段とを備えたことを特徴とする立体映像表示装置。
8. 原画から複数の輪郭で被写体の部分画像を抽出し、前記原画を背景として前記部分画像を実空間と対応付けた位置で画像空間の各レイヤにそれぞれ配置し、この各レイヤの画像を基に右眼画像情報と左眼画像情報を取得して、前記右眼画像情報と前記左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示することを特徴とする２次元画像の立体映像化方法。
9. 原画から複数の輪郭で被写体の部分画像を抽出し、前記原画を背景として前記部分画像を実空間と対応付けた位置で画像空間の各レイヤにそれぞれ配置し、この各レイヤの画像を撮影視点からの距離に応じてそれぞれ移動させ、各レイヤを右に移動したとき右眼画像情報、左に移動したとき左眼画像情報を取得して、前記右眼画像情報と前記左眼画像情報を０．０３３秒〜０．３秒の切り換え時間で交互に切り換えて表示することを特徴とする２次元画像の立体映像化方法。
10. 前記切り換え時間が０．１秒〜０．２秒で前記右眼画像情報と前記左眼画像情報を切り換えることを特徴とする請求項８または９記載の２次元画像の立体映像化方法。

Images