立体画像表示方法の一般的な方法としては、2眼式のものや多眼式のものがある。
例えば、2眼式の立体画像表示方法は、表示画面上に、左眼用および右眼用として左右の眼それぞれに異なる画像、つまり人の両眼の距離に相当するずれを有する画像を表示させることで両眼視差を発生させ、観察者による立体像の観察を実現する方法である。
また、2眼式を発展させた、多視点からの立体像の観察が可能な立体画像表示方法として、多眼式のものがある。この方法では、見る位置によって見え方の違う多数の画像を多重再生している。つまり、2眼式における左眼および右眼用の1組の画像を、多視点に相当する複数組だけ表示画面上に多重して表示している。このため、多眼式の立体画像表示方法では、目の位置の移動によって見え方が変わり、観察者は移動により立体像を回り込んで観察することができるといったように、立体像の見え方をより自然な見え方に近づけることができる。
ところで、上述の2眼式の立体画像表示方法では、見る位置を変えた場合にも映像(立体像)は変わることはない。すなわち、この表示方法では、両眼視差を利用して被視体を立体的に視認させているものの、立体像を完全に再現することができない。
また、多眼式の立体画像表示方法では、一定の面内に全視角の像があり、つまり、1つの表示画面上に多視点のすべてに対応する画像が表示されており、表示画面上に目をフォーカスさせると、視点によっては、両眼視差による立体像が表示画面上とは異なった位置に見えるため、目のフォーカス位置と立体像の見える位置とが一致しない。そのため観察者が不自然さを感じるなどの問題がある。
そこで、近年、観察者の感じる不自然さが少なく、また、技術的にも実現性の高い立体表示の有力な方式として、空間像方式による表示装置の開発が活発に行われている。空間像方式は、観察対象となる物体からの光線の強度と方向を空間内に再生する方法であり、レンズアレイ素子を用いたインテグラルフォトグラフィ方式(以下、IP方式)のものがよく知られている。
図8は、従来の空間像方式の立体画像表示装置としてIP方式の立体画像表示装置の原理を説明する図であり、その概略構成を示している。
このIP方式の立体画像表示装置200は、液晶パネルのような画像表示装置23と、ピンホールアレイやマイクロレンズのような光線制御素子24とから構成されている。光線制御素子24は、画像表示装置23から観察者27側にある距離だけ離れた位置に配置されている。
通常、画像表示装置23を構成する画素は、複数の画素ごとに、一つの立体画像を表示するための複数の要素画像25a〜25cに割当てられており、該複数の要素画像25a〜25cは、1つの立体画像に対応する1つの要素画像群25を構成している。
例えば、図8に示すように対象物体26を立体画像として表示する場合には、対象物体26を少しずつ異なる角度からみたような画像が、要素画像25a〜25cのそれぞれとして、画像表示装置23の要素画素領域23a〜23cに表示される。
IP方式の立体画像表示装置では、レンズアレイを通して立体像を表示しており、観察者は一つのレンズを通して1〜2個の画素の画像を観察しているため、立体像の解像度はレンズアレイの解像度と同等になる。また、要素画像領域(要素画像の占める領域)での画素数は、表示できる視差の数(運動視差の数)を表している。例えば、画像表示装置23としての表示パネルの解像度が200×200画素に相当し、要素画像領域が10×10画素からなるとすると、レンズアレイのレンズ数は、20×20個となり、これが立体像の解像度と同等となる。また、運動視差の数は左右に10視差及び上下に10視差となる。
しかし、視域を広げるために視野角を増やそうとすると、視差数を多く、即ち要素画像の画素数(つまり、要素画素を構成する画素の数)を多く取ると共にレンズ面積を大きくする必要があるので、レンズ数の低下を招くこととなり、立体像の解像度が低下する。即ち、光線再生法の原理的な課題として、立体像の解像度と視域の両立が難しいことが挙げられる。
上記で説明した立体画像表示装置においては、何れの方式においても、立体像の観察できる範囲が狭くなる点に共通した課題がある。例えば、2眼式、多眼式の場合、視点の位置を仮定して画像を表示しているため、観察位置が限定される。またIP方式などの視点を仮定しない空間像方式でも、上記のような、視域の拡大は解像度の低下を招くといった問題がある。
ところで、観察領域を広げる方法としては、特許文献1に開示されているように、カメラなどによるセンサを用いて観察者の位置を検出し、観察者の位置に応じて表示する画像を切り替えることで、観察範囲を広げる方法がある。
特許文献1では、立体画像表示方法に関する技術が記載されており、この文献1に記載の技術では、特殊なメガネを使用しない2眼方式の立体画像表示方法において、センサで観察者の位置を検出し、検出した観察者の位置に応じて表示させる画像を切り替えることで観察領域を広げている。
また、観察者が正視領域と逆視領域との境界、すなわちクロストーク領域に位置するとき、あるいは外部ノイズが大きいような環境では、センサによる位置検出信号の切り替わりが頻繁に起こり、それに応じて、表示している映像の切り替わりが頻繁に行われることになり、その結果、観察者が立体映像を認識しづらい状況を招いてしまうという問題点がある。
そこで、この特許文献1では、映像切り替えのタイミングを該センサによる位置検出信号の切り替わりタイミングに対して遅延させることで、該位置検出信号が揺らいでも、映像切り替え動作に対する影響を低減して、煩雑な映像の切り替わりを少なくでき、観察者が立体映像を認識しやすくなるようにしている。
特許第3594460号公報
以下、本発明の実施形態について図面を参照しながら説明する。
図1は本発明の実施形態1による立体画像表示装置を説明する概略図である。
本発明の実施形態1による立体画像表示装置100は、特殊なメガネを用いない多眼式やIP方式のような裸眼立体ディスプレイとして構成したものであり、3次元画像を表示する3次元画像表示部(単に画像表示部ともいう。)4と、該3次元画像表示部4に対して予め設定された、複数の領域(観察領域)に分割されている観察範囲における観察者11の位置を検出する位置検出手段5と、観察者11の位置が、該観察範囲における隣接する観察領域の境界付近にあるか否かを判別する観察領域判別手段8と、該3次元画像表示部4での画像表示を制御する画像制御手段9とを有している。
また、3次元画像表示部4は、平面画像(2次元画像)を表示する液晶パネルなどの平面画像表示装置1と、該平面画像表示装置1の後側に配置された光源2と、該平面画像表示装置1の前側に配置された光線制御素子3とを有している。ここで上記光源2は平面画像表示装置1の直近に配置され、光線制御素子3は光源2に対して、平面画像表示装置1を挟んで観察者11側に配置されている。なお、光源2には、平面画像表示装置1からこれらの同期動作が可能となるよう同期信号Syが供給されている。
そして、上記画像制御手段9は、観察者が観察範囲内の境界近傍領域以外の領域に位置するときには、上記3次元画像表示部4を、これが表示する立体画像が、該観察者が位置する観察領域に対応する立体画像に一定周期の更新タイミングにて切り替わるよう制御し、観察者が該境界近傍領域内に位置するとき、該立体画像が切り替わる更新タイミングの周期が、該観察者が該観察範囲内の、該境界近傍領域以外の領域に位置するときに比べて短縮されるよう制御する構成となっている。
具体的には、上記観察領域判別手段8は、位置検出手段5により検出された観察者の位置と、観察範囲における隣接する観察領域の境界との相対位置に基づいて、観察者が境界近傍領域内に位置するか否かを判別し、観察者が前記境界近傍領域に位置すると判別したとき第1の判別信号Aを出力し、観察者が、観察範囲内の境界近傍領域以外の領域に位置すると判別したとき第2の判別信号Bを上記切り替え周波数制御部10に出力するものである。
また、上記画像制御手段9は、3次元画像表示部4で表示される3次元画像を切り替えるための切り替えクロックを、上記3次元画像表示部4を構成する平面画像表示装置1に供給する切り替え周波数制御部10を有しており、この周波数制御部10は、更新タイミングの周期に相当する画像表示周波数を制御するものであり、第1の判別信号Aを受けたとき、該画像表示周波数を高くし、第2の判別信号Bを受けたとき、該画像表示周波数を低くするよう構成されている。
つまり、平面画像表示装置1では、例えば、観察者が1つの観察領域内に止まっている場合は、観察者のいる観察領域に対応する3次元画像が3次元画像表示部4に表示されるよう2次元画像が表示されており、この2次元画像は、観察者のいる観察領域に対する視差数に相当する平面画像を多重したものである。従って、観察者が1つの観察領域内で移動した場合には、視差数に相当する数の異なる立体画像を観察することができる。ここで、立体画像は静止画像であっても動画像であってもよく、動画像の場合は、2次元画像が一定のフレームレートで表示される。
さらに、上記光線制御素子3は、ピンホールアレイでもマイクロレンズアレイでもよく、また、光線制御素子3は、2次元格子形状の格子点上に各レンズを配置してなる光学部材の他に、レンチキュラレンズのように、一軸方向にのみレンズの曲率が形成されているレンズを横方向(表示画面の水平方向に対応する方向)に配列したものでもよい。
図1に示す本実施形態1の立体画像表示装置100では、光線制御素子3として、レンチキュラレンズを横方向に配列した光学部材を用いている。
また、位置検出手段5は、観察者を撮影する位置検出カメラ6と、該位置検出カメラ6で撮影された画像情報Cimに基づいて該観察範囲内での観察者の位置情報Spdを算出する位置情報算出部7とを備え、観察者を撮影する位置検出カメラ6で撮影した観察者の画像から位置情報算出部7で観察者の位置情報を算出するよう構成されている。
ここで、上記位置検出カメラ6の撮影範囲は、観察範囲を分割して得られたすべての観察領域を含む。また、観測者の位置情報の算出方法としては、例えば、撮影した画像から肌色部分を検出する方法や、観察者である人の輪郭で観測者を認識する方法があり、また、カメラを2個使ったステレオ法などによっても観察者の位置を検出可能である。
次に、図2を用いて、観察者の位置に応じて観察できる立体像の違いについて説明する。
本実施形態では、位置検出手段5で検出した観察者の位置に応じて、平面画像表示装置1に表示する画像を切り替える。具体的には、この実施形態1の立体画像表示装置により表示される立体画像を観察する観察範囲は、複数の観察領域に分かれており、観察者は各観察領域から異なる立体像を観察することで、観察者はその移動に追従して連続的な立体像を観察できる。
例えば、図2では、観察者が3次元画像表示部4であるディスプレイDpに対して、3つの観察領域OR1〜OR3が設定されており、観察者がディスプレイDpの正面すなわち観察領域OR2にいるとき、観察できる立体像TDimはその正面から見たものであり、観察領域OR1では観察者は立体像TDimの左側面、観察領域OR3では立体像TDimの右側面といったように、観察者は、その横方向の移動により立体像の側面を観察できる。
次に動作について説明する。
この立体画像表示装置100では、観察者が上記観察範囲内のいずれの観察領域に位置しているかに応じて、3次元画像表示部4により表示される立体画像が、観察者が位置している観察領域に応じた立体画像に切り替えられる。
すなわち、3次元画像表示部4を構成する平面画像表示装置1では、観察者11の位置する観察領域に対応した2次元画像が画像制御手段9の制御により表示される。具体的には、観察者が観察領域OR2に位置する場合、観察者11が観察領域OR2から立体画像TDimを見たときに観察される立体画像が3次元画像表示部4により表示されるように、平面画像表示装置1では2次元画像が表示される。この2次元画像は、観察者11が観察領域OR2内で移動した場合には、滑らかな運動視差が得られるよう、複数の視差のそれぞれに対応する平面画像を多重化したものである。また、ここでは立体画像は例えば動画像であり、一定のフレームレートで各フレームに対応する画像が表示される。
この立体画像表示装置100では、観察者11は位置検出カメラ6により撮影されており、この位置検出カメラ6の検出出力Cimは位置情報算出部7に供給され、この位置情報算出部7では、観察者11の位置情報Spdが得られる。
その後、本実施形態1の立体画像表示装置100では、境界領域判別手段8により、観察者11が、隣接する観察領域の境界から一定距離内の境界近傍領域に位置するか否かの判別が行われる。
この判別の結果、観察者11が境界近傍領域以外の領域に位置していると判定されたときは、画像制御手段9は、3次元画像表示部4を、これが表示する立体画像が、該観察者が位置する観察領域に対応する立体画像に一定周期の更新タイミングにて切り替わるよう制御する。一方、観察者が該境界近傍領域内に位置するとき、画像制御手段9は、該立体画像が切り替わる更新タイミングの周期を、該観察者が、該観察範囲内の、該境界近傍領域以外の領域に位置するときに比べて短くする。
以下、本発明の特徴である、観察者の位置と画像表示周波数との関係を、図3を用いて具体的に説明する。なお、ここで、画像表示周波数は、平面画像表示装置1に表示される2次元表示画像を各観察領域に対応したものに切り替える更新タイミングの周期に相当する。
位置検出手段5で観測者の位置を検出した後、観察境界判定手段8は、撮影した観察者の画像Cimに、観察領域OR1〜OR3の情報を照らし合わせ、観察境界判定手段8では、観察者の位置と、基準とした観察領域境界Brefとの相対距離Dを算出し、その距離Dが所定の値であれば、観察者が観察範囲内の境界近傍領域に位置していると判別して、上記画像表示周波数を高くするための判別信号Aを画像制御手段9に与える。
なお、上記観察領域の情報は、立体画像表示装置100の設計段階で定まる既知の情報であり、また、観察者の位置と観察領域境界との相対距離を算出するための基準位置Brefは任意であり、この基準位置Brefは、観察領域境界の情報と観察者の位置が分かれば基準位置を観察領域境界としなくてもよいが、本実施形態では、観察範囲Raの一番端となる位置を基準位置とし、観察領域判別手段8が、それぞれの観察領域境界付近に、つまり境界近傍領域に、観察者が位置すると判別したときに、観察領域判別手段8が、画像の切り替え周波数を高くする判別信号Aを画像制御手段9に与えている。
一方、観察者が、観察領域境界付近から観察領域の中央側に移動したとき、つまり、観察者が、観察範囲内の境界近傍領域以外の領域に移動したとき、観察領域判別手段8で生成された判別信号Bが画像制御手段9に与えられ、画像の切り替え周波数は通常の値に戻る。
観察範囲における一番端の観察領域から次の観察領域までの距離は、既知の値であり、観察範囲にてあらかじめ周波数を高める区間を設定でき、観察領域境界付近の区間(境界近傍領域)に、観察者が位置しているときだけ周波数を高め、それ以外の領域に観察者が位置する場合は、従来の画像の切り替え周波数で画像を表示させる。
観察領域判別手段8から判別信号が送られる画像制御手段9は、上記のように切り替え周波数制御部10を備えており、観察者が観察領域境界付近にいなければ、周波数制御部10は、通常の切り替え周波数で表示画像が切り替わるよう画像表示部4を制御する。
具体的には、周波数制御部10は、通常60Hzの周波数の2周期ごとに表示画像を、観察者の位置する観察領域に対応するものに切り替えているが、観察領域境界判定手段8から画像制御手段9に判定信号Aが与えられたときは、表示画像の切り替えが60Hzの周波数の1周期ごと行われるように平面画像表示装置1を制御している。また、画像制御手段9に判別信号Bが与えられたときは、平面画像表示装置1では、画像制御手段9により、表示画像の更新タイミングが、60Hzの周波数の2周期ごとに表示画像を切り替える通常の更新タイミングにもどる。また、観察領域境界で、表示画像を更新するタイミングを切り替えることにより、観察者が観察領域OR1から観察領域OR2に移動したときに、観察者が観察領域OR1にいるときに表示されるべき画像が表示される時間を低減でき、観察者の位置に追従した画像表示が可能となる。
次に、図4を用いて、表示画像を更新するタイミング信号(切り替えクロックCLK)の周波数を変更したときの表示画像の更新タイミングを、本発明の具体的な効果とともに説明する。
図4は、切り替えクロックCLKの周波数を変更したときの表示画像の更新タイミング(図4(b))を、切り替えクロックCLKの周波数を一定としているときの表示画像の更新タイミング(図4(a))と比較して示している。
通常の液晶パネルなどの平面画像表示装置1では、一定のフレームレートで各フレームの画像が表示されているが、図4では、このようなフレーム毎の画像の切り替えではなく、観察領域に対応する表示画像を、切り替えクロックCLKのタイミングで、観察者が位置している観察領域に合わせて更新する様子を示している。
図4(a)では、観察者11が観察領域OR1に位置している状態では、観察領域に対応する表示画像としては、観察領域OR1に対応する画像(1)が、切り替えクロックCLKのタイミングで更新されている。つまり、観察者11が観察領域OR1にいる間は、切り替えクロックCLKのタイミングでの更新では、この観察領域OR1に対応する同じ画像(1)P1が、これと同じ画像(1)P1に更新される。そして、観察者が観察領域OR1から観察領域OR2に移動すると、観察者が境界を超えた時間Tebの直後の切り替えクロックCLKのタイミングで、表示画像が、観察領域OR1に対応する同じ画像(1)から観察領域OR2に対応する画像(2)P2に更新される。
このように、立体画像表示装置100では、観察者が観察領域OR1から観察領域OR2へ移動したとき、立体画像は、観察領域OR1に対応した画像(1)から観察領域OR1に対応した画像(2)に切り替えられるが、表示画像を更新する切り換えるクロックCLKの周波数が一定である場合、観察者が隣接する観察領域の境界Borを越えたとしても、一定周期を有する切り替えクロックが平面画像表示装置1に入力されない限り、表示画像が切り替わらない。
つまり、観察者が観察領域OR1から観察領域OR2に移動した瞬間は、切り替えクロックが入らない限り、移動後の観察領域OR2に位置する観察者は、移動前の観察領域OR1に観察者が位置しているときに観察される画像(1)を観察することとなる。
これに対し、本実施形態1の立体画像表示装置100では、図4(b)に示すように、位置検出手段7で観察者の位置を検出し、観察者が観察境界付近(境界近傍領域)にきたとき、観察境界判別手段8が判別信号Aを画像制御手段9に出力する。これにより、画像制御手段9から平面画像表示装置1に出力される切り替えクロックの周波数が高くなり、表示画像の更新タイミングの周期が短くなる。
このため、観察者が観察領域OR1から観察領域OR2に移動した後に表示されている画像(1)P1を、従来の方法よりも早く画像(2)に切り替えることができる。この結果、より観察者の移動に追従した表示画像の切り替えが可能となり、表示した立体画像において滑らかな運動視差が得られる。また観察者が観察領域境界付近に位置するときのみ切り替えクロックの周波数を高くすることで、観察領域境界以外に位置する通常時から周波数を高くする時に比べ、消費電力を低く抑えることができる。
このように本実施形態1による立体画像表示装置100では、観察範囲内の境界近傍領域以外の領域に位置するときには、3次元画像表示部4を、これが表示する立体画像が、該観察者が位置する観察領域に対応する立体画像に一定周期の更新タイミングにて切り替わるよう制御し、観察者が該境界近傍領域内に位置するとき、該立体画像が切り替わる更新タイミングの周期を、該観察者が、該観察範囲内の、該境界近傍領域以外の領域に位置するときに比べて短縮するので、インテグラルフォトグラフィ方式で、立体画像の観察範囲を、滑らかな運動視差を損なうことなく広げることができる。
また、本実施形態1では、観察者の位置と観察範囲における隣接する観察領域の境界との相対位置に基づいて、観察者が境界近傍領域内に位置するか否かを判別するので、その判別を、観察者の位置と観察領域境界との単純な比較により行うことができる。
また、本実施形態1では、画像制御手段9を、前記更新タイミングの周期に相当する画像表示周波数を制御する周波数制御部10を有するものとし、周波数制御部10では、観察者が観察領域境界付近(境界近傍領域)に位置するときのみ、立体画像が切り替わる更新タイミングの周期に相当する画像表示周波数を高くするので、観察者が境界近傍領域以外に位置する通常時から、該画像表示周波数を高くするもの場合に比べ、消費電力を低く抑えることができる。
また、本実施形態1においては、観察者の位置が観察領域境界を超えたと判別すると同時に、更新タイミングの切り替えを行うので、観察者の隣接する観察領域間での移動に際して、移動後の観察領域での表示画像の更新をすばやく行うことができる。
(実施形態2)
図5は、本発明の実施形態2による立体画像表示装置を説明する図であり、時分割表示を行うIP方式の立体画像表示装置による表示画像の立体視可能な仕組みを示している。
この実施形態2による立体画像表示装置100aは、立体画像を表示する立体画像表示部101を有し、この立体画像表示部101は、光線再生式の立体像を表示する立体表示パネル14と、光源素子16及び配光用レンズアレイ17から構成されるバックライト部18とを有している。また、立体画像表示装置100aは、観察者を撮影するカメラ19と、該カメラ19で撮影した画像Cimに基づいて観察者の瞳の位置Spdを検出する瞳位置検出部20と、検出された瞳の位置に基づいて、観察者の位置する観察領域を判定する観察領域判定手段22と、瞳位置検出部20からの情報に基づいてバックライト部18を制御する光源制御部21と、観察領域判定手段22からの判定結果に基づいて立体表示パネル14での画像表示を制御する画像制御手段15とを有している。なお、光源制御部21は必要に応じて観察領域判定手段22からの判定結果を受け、また、画像制御手段15は、必要に応じて瞳位置検出部20からの情報を受ける。
ここで、立体表示パネル14は、光線再生式のパネルであるが、立体像の解像度を向上させるために、視域角を観察者の片目分に相当する視域角まで絞った構成としている。つまり、立体表示パネル14は、観察者が片目だけで立体画像を観察可能な構成となっている。この場合、片眼用の画像を表示中には他方の眼にその画像が投影されないような仕組みが必要である。そのために、この実施形態2の立体画像表示装置100aは、時分割で左右眼用の画像分離を行うよう構成されている。即ち、立体画像表示装置100aは、ある期間は右眼用画像を表示し、次の期間は左眼用画像を表示するというように、これらの画像を交互に表示する。
さらに、この立体画像表示装置100aでは、観察者の瞳の位置に応じて、立体像の元となる要素画像の表示領域を変更する必要があり、これを瞳位置検出部20からの情報に基づいて画像制御手段15が、要素画像の表示領域の変更を実行する。一方、バックライト部18は、上記右眼用画像表示期間には、瞳位置検出部20からの情報に基づいて、観察者の右眼にバックライトを配光し、左眼用画像表示期間には、瞳位置検出部20からの情報に基づいて、観察者の左眼にバックライトを配光する。このように、左右画像の時分割表示及びバックライトの配光制御を連携的に実行することで、片眼用の画像を表示中に、他方の眼にその画像が投影されないようにしている。これらの一連の連携的な制御を実行することで、観察者は両眼に高解像度で且つ広視域角を有する光線再生式の立体表示像が知覚される。
また、上記立体表示パネル14は、表示パネル体13と立体視用レンズアレイ12とを有している。該表示パネル体13は、立体像の元となる要素画像を表示するパネルであり、画素単位で表示可能で、背後のバックライト光により表示可能な透過型パネルであり、この実施形態2では、例えば、液晶パネルが用いられている。上記立体視用レンズアレイ12にはレンチキュラレンズを用いている。レンチキュラレンズを用いた場合、運動視差は上下方向には発生しないが、上下の運動視差はあまり求められない場合は、レンチキュラレンズを用いても良い。
上述したように、これら立体視用レンズアレイ12及び表示パネル13は、光線再生式の立体像を表示する立体表示パネル14を構成している。また、画像制御手段15は、瞳位置検出部20からの情報に基づいて、表示パネル部13に要素画像が表示されるよう表示パネル部13での画像表示を制御するものである。
本実施形態においては観察者の位置として観察者の瞳位置を検出している。そこで、この実施形態の立体画像表示装置100aは、観察者の瞳位置を検出するセンサとしてカメラ19を備えており、カメラ19からの撮像画像を瞳位置検出部20にて画像処理することにより、観察者の瞳位置を検出する構成となっている。
バックライト部18は、光源素子16及び配光用レンズアレイ17から構成される。光源制御部21は、瞳位置検出部20からの情報Spdに基づいて、バックライト部18の各ブロックからの光線を、観察者付近の位置に向かって配光するよう構成されている。この時、線状光源は、レンチキュラレンズの焦点距離付近に配設されることで、出射される光線は略平行光線とすることができ、非常に指向性の強い光線にでき、観察者の瞳付近の位置という狭い範囲に配光可能となる。
そして、このような構成の実施形態2の立体画像表示装置においても、隣接する観察領域の境界付近(つまり、境界近傍領域)では、表示画像の更新タイミングの周期を短くしている。
次に動作について説明する。
この立体画像表示装置100aに対しては、実施形態1の立体画像表示装置100と同様に、分割された複数の観察領域からなる観察範囲が設定されており、また各観察領域は、さらにいくつかの小領域に分割されている。
ここで、観察範囲内では、各観察領域は横方向(表示パネルの水平方向)に順次配列されており、また、各観察領域では、小領域は横方向に順次配列されている。
観察者の位置を瞳位置検出部20で検出したのち、該瞳位置検出部20からの検出信号に基づいて観察領域判別手段22で観察者がどの小領域にいるか判別する。
このとき、観察領域判別手段22は、観察者が観察領域の境界に隣接する小領域にいると判別された場合、判定信号Aを画像制御手段15に与え、表示画像を更新する周波数を高くする。観察者が観察領域境界付近にいるかどうかの判定は、観察者を撮影した画像と、所定数のピクセル毎に複数の小領域に分割した観察領域とを照らし合わせ、観察者が観察領域のどの小領域に位置するかにより行う。
図6は、立体画像表示装置における観察領域の分割方法と、各観察領域での画像表示の制御方法とを説明する図である。
本実施形態2では、各観察領域に対応する画像が複数の視差を持つため、その視差画像の領域(つまり小領域)に対応させて、観察領域を所定のカメラのピクセルごとに分割する。具体的には、本実施形態2では、ある一つの観察領域内で表示する画像が6視差をもっているので、観察領域内の移動で観察できる立体像は6方向の違った角度から連続的に見える。このため、観察領域内の移動では運動視差の低下はないが、観察領域境界Borをまたぐ移動のときに運動視差の低下が問題となる。
ここで、視差に合わせて観察領域を分割する理由は、観察者の観察領域の境界をまたぐ移動のときに表示画像の更新周期を短縮するタイミング、つまり画像を切り替える周波数(画像表示周波数)を上げるタイミングを、各観察領域に対応する表示画像の両端の視差画像(観察領域両端の小領域の画像)を観察者が観察するときの位置に観察者がいるタイミングに限定することで、頻繁に表示画像の周波数切り替えを行うことなく、滑らかな運動視差を得ることができるからである。
図6では、説明の都合上、観察範囲として、2つの観察領域OR1およびOR2に分割されたものを示しており、各観察領域OR1は6つの小領域A〜Fを、また観察領域OR2は6つの小領域G〜Lに分割されている。
観察者が観察領域OR1から観察領域OR2へ移動したとき、瞳位置検出部20が、観察者が観察領域境界付近の小領域(境界近傍領域)FあるいはGにいると検出した場合には、観察領域判別手段22は、瞳位置検出部20からの検出出力Spdに基づいて、画像表示周波数を上げるための判別信号Aを画像制御手段15に与え、画像制御手段15は、立体表示パネル14を、該立体表示パネル14で表示画像を更新する周期が通常の周期より短縮されるよう制御する。また、瞳位置検出部20が、観察者が小領域F,Gから出たと判定した場合は、観察領域判別手段22は、画像表示周波数を上げるための判別信号Bを画像制御手段19に与え、画像制御手段15は、立体表示パネル14を、該立体表示パネル14で表示画像を更新する周期が通常の周波数に相当する周期に戻るよう制御する。
このように観察領域境界Borに隣接した小領域F,Gで、画像表示周波数を切り替えることにより、観察者が観察領域OR1から観察領域OR2に移動したときに、該観察領域OR2の小領域Gの位置で、観察領域OR1に対応した画像が表示される時間を低減でき、観察者の位置に追従した画像表示が可能となり、通常の方式で問題となる不自然な運動視差を低減し、滑らかな運動視差をもつ自然な立体視が可能となる。
次に、本実施形態2における画像切り替えタイミングについて説明する。
図7は、この画像切り替えタイミングの一例として、切り替え周期の長い場合(図7(a))と、切り替え周期の短い場合(図7(b))とを示している。
本実施形態2では、画像切り替える一定周波数を有するタイミング信号は方形波であり、立体表示パネル14では、観察領域の、観察領域境界に隣接する小領域以外の小領域に観察者が検出されたときには、該タイミング信号の1周期ごとに右目用、左目用画像が切り替えられる。
また、立体表示パネル14では、観察領域境界に隣接する小領域に観察者を検出したとき、判別信号Aが画像制御手段15に与えられる。これにより、方形波である周波数信号の立ち上がりおよび立下りタイミングで、それぞれ右目用、左目用画像が、各観察領域に対応したものに更新されることとなる。この場合、画像の更新周期が通常の倍になることで、観察者が隣接する観察領域の間で移動したときに、観察者の位置に追従した滑らかな運動視差をもつ自然な立体視が可能となる。
また観察領域判別手段22は、観察者11が観察領域境界Borに隣接する境界隣接小領域から他の小領域に移動したときも、判別信号Bを画像制御手段15に与え、これにより、立体表示パネル14では、タイミング信号の1周期ごとに右目用、左目用画像が切り替えられることとなり、観察領域に対応した画像に更新する周期が通常の周期に戻る。
なお、画像制御手段15における切り替え周波数制御部10の具体的構成としては、画像を表示するタイミング信号として、周波数が例えば30Hz、60Hzである二つをあらかじめ発生させておき、通常、周波数30Hzのタイミング信号を用いて画像切り替えを行い、観察領域判別手段22で、観察者が観察領域境界Borに隣接する小領域FあるいはGにいること判別されたときに、画像の切り替えに用いるタイミング信号を、60Hzの周波数のタイミング信号に変更するものがある。
また、その他の周波数制御部の具体的構成としては、タイミング信号としてその周波数を任意の値に設定可能なものを発生させるものもあり、このような構成では、あらかじめ周波数の異なる2つのタイミング信号を発生させておく必要がなくなる。
このように周波数を任意の値に設定できる周波数制御部では、タイミング信号の周波数として、ある周波数とその倍の周波数といったあらかじめ定められた2つの値にしか設定できないものと比べると、観察者の移動速度などに合せてより適切なタイミングで画像切り換えることができ、より観察者の移動に追従した画像切り替え表示が可能となる。
このように、IP方式を用いて、各観察領域に対応する表示画像それぞれに視差をもち、右目用、左目用画像を時分割表示する本実施形態2の立体画像表示装置100aでは、観察者の位置に拘わらず同じ要素画像が表示される1つの観察領域を、片方の目にまで視域角を絞った狭い観察領域としているので、観察者の隣接する観察領域の間を跨ぐ移動に応じて要素画像を切り替える頻度が高くなる。従って、このような立体画像表示装置において、観察者の移動に追従した画像切り替え表示を可能にすることで、自然な運動視差の実現を可能なり顕著な効果が得られる。
また、本実施形態2においては、観察者が境界近傍領域に位置しているか否かの判定を、各観察領域を分割して得られる複数の小領域のうちの、観察領域境界に隣接する小領域に観察者が位置しているか否かの判定とし行い、この判定結果に応じて更新タイミングの周期を切り替えるので、更新タイミングの周期切り替えを行うべきか否かを、観察者の撮像した観察者の画像と、複数の小領域に分割した観察領域の画像情報との照合により決定することができる。
また、本実施形態2では、前記周波数制御部を、前記更新タイミングの周期を決めるタイミング信号として方形波形を有するクロック信号を前記画像表示部に出力する構成とし、前記画像制御手段では、前記更新タイミングを、前記クロック信号の周期に同期したものとするか、該クロック信号の立ち上がりおよび立下りに同期したものとするかにより、該更新タイミングの周期を切り替えるので、更新タイミングの周期を1つのクロック信号を用いて切り替えることが可能となる。
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。