JP2006287813A - ３次元画像表示装置 - Google Patents

Abstract

【課題】 現実感のある３次元画像の表示を行うことができる３次元画像表示装置を提供する。
【解決手段】 信号処理装置１６は、視線センサ２２によって検出された視点座標データＰＤのユーザの注視位置において合焦させ、それ以外の位置においてフォーカスがずれるように値が算出される。したがって、ユーザの眼には注視位置以外の画像がぼやけて見える。なお、このフォーカスをずらす度合は、ユーザの注視位置からの画面上における距離、及び距離情報ＫＩに基づいて制御され、例えば、注視位置から遠い被写体ほど、又は注視位置に表示されている画像から撮影時における空間距離が離れた画像ほどぼやけて見えるように画像が処理される。
【選択図】 図１

Description

本発明は３次元画像表示装置に係り、特に３次元画像の表示を行う３次元画像表示装置に関する。

近年、ユーザの両眼の視差を利用して３次元表示を行うシステムが開発されている。例えば、特許文献１には、ユーザ（観察者）の視線を検出して注視位置を判別し、判別した注視位置に表示面を移動する３次元表示方法について開示されている。
特開平８−２２３６０９号公報

上記の特許文献１に開示された３次元表示方法は、ユーザの注視位置を検出することにより、ユーザの視線がどこを向いても注視位置において焦点を合わせることができる。しかしながら、従来技術によれば、ユーザにとって注視位置以外の位置であって、焦点が合わないはずの位置においても焦点があってしまうため、画像の現実感を損なうという問題があった。また、ユーザはこのような画像を長時間見続けることにより、画像に違和感を覚え、疲労を蓄積するという問題があった。

本発明はこのような事情に鑑みてなされたもので、現実感のある３次元画像の表示を行うことができる３次元画像表示装置を提供することを目的とする。

上記目的を達成するために請求項１に係る３次元画像表示装置は、左右の眼の視差がある画像を取得する画像取得手段と、装着時にユーザの両眼の前にそれぞれ配置される一対の表示画面を有し、前記視差のある画像を表示して３次元画像を再現する画像表示手段と、前記ユーザの注視位置を検出する注視位置検出手段と、前記ユーザの注視位置において前記画像を合焦させ、前記注視位置以外において前記画像がぼやけて見えるように、前記画像の処理を行う画像処理手段とを備えることを特徴とする。

請求項１に係る３次元画像表示装置によれば、ユーザの注視位置を検出し、このユーザの注視位置において合焦させ、それ以外の位置においてフォーカスがずれるように画像が表示される。これにより、ユーザの眼には注視位置以外の画像はぼやけて見えるため、現実感のある３次元画像が実現できる。また、この３次元画像表示装置を長時間装着して使用する際に、不自然な画像を見続けることに起因するユーザの疲労を低減できる。

請求項２に係る３次元画像表示装置は、請求項１において、前記画像の撮影時における前記画像に映っている被写体までの空間距離情報を取得する空間距離情報取得手段を更に備え、前記画像処理手段は、前記空間距離情報に基づいて前記画像の処理を行うことを特徴とする。

請求項２に係る３次元画像表示装置によれば、画像の撮影時又は作成時における被写体までの距離に基づいて表示画像のフォーカスを制御するため、より現実感のある３次元画像表示を実現できる。

請求項３に係る３次元画像表示装置は、請求項２において、前記画像処理手段は、前記ユーザの注視位置からの前記表示画面上における距離、又は前記注視位置以外の位置に映っている被写体と前記注視位置の被写体の空間距離情報の少なくとも一方に基づいて、前記画像がぼやけて見える度合を制御することを特徴とする。

請求項３に係る３次元画像表示装置によれば、例えば、注視位置から遠い被写体ほど、又は注視位置に表示されている画像から撮影時に空間距離が離れていた被写体ほどぼやけて見えるように、画像がぼやけて見える度合を制御することにより、より現実感のある３次元画像表示が実現できる。

本発明によれば、ユーザの注視位置において合焦させ、それ以外の位置においてフォーカスがずれるように画像を処理することにより、現実感のある３次元画像が実現できる。また、この３次元画像表示装置を長時間装着して使用する際に、不自然な画像を見続けることに起因するユーザの疲労を低減できる。

以下、添付図面に従って本発明に係る３次元画像表示装置の好ましい実施の形態について説明する。

図１は、本発明の一実施形態に係る３次元画像表示装置を示す図である。同図に示す３次元画像表示装置１０は眼鏡型であり、ベルト１２等によりユーザの頭部に装着されるヘッドマウントディスプレイである。３次元画像表示装置１０は、装着時にユーザの左右の眼の前に配される左右のユニット（各々１４Ｌ及び１４Ｒ）、及び信号処理装置１６を備えている。各ユニット１４は、それぞれ液晶モニタ１８、レンズ２０、及び視線センサ２２を備えている。以下の説明では、図中左側のユニット１４Ｌ内のブロックを指す場合には当該ブロックの符号にＬを付し、右側のユニット１４Ｒ内のブロックを指す場合には当該ブロックの符号にＲを付して記載する。

左右の液晶モニタ１８Ｌ及び１８Ｒは、それぞれ視差のある画像を表示する。液晶モニタ１８Ｌ及び１８Ｒに表示される画像としては、例えば、両眼間隔に配置したビデオカメラで撮影したものを用いることができる。また、液晶モニタ１８Ｌ及び１８Ｒに表示される画像としては、コンピュータグラフィックスで作成した両眼視差画像を用いるようにしてもよい。

なお、本実施形態では、ディスプレイとして液晶ディスプレイを用いたが、これに限ることなくＣＲＴディスプレイなどの他の直視型ディスプレイを用いてもよいし、スクリーンに映像を投影する各種投影型ディスプレイや、光ファイバ束を用いて映像を導くタイプのディスプレイを用いてもよい。

レンズ２０はユーザの眼球に近接して設けられており、ユーザはレンズ２０を介して液晶モニタ１８に表示されている画像を見るようになっている。

視線センサ２２としては、例えば、赤外線光源と赤外線センサからなるユニットを用いることができる。これは赤外光を眼球に複数方向から照射し、その反射光強度を測定することによって視線方向を求める。視線センサ２２からの出力は信号処理装置１６に与えられ、信号処理装置１６によって視点座標データが計算される。

なお、視線センサ２２は、左右のユニット１４Ｌ又は１４Ｒのいずれか一方のみに設けられていてもよい。この場合、視線センサ２２が取り付けられている側の視線を検出する。

なお、視線センサ２２は高速にユーザの視線データを検出できるものであればどのようなものであってもよい。例えば、上述の例で説明した赤外線光源と赤外線センサからなるユニット方式のほかに、眼球を含む顔領域に赤外線光源などで照明を行ない、網膜からの反射光をカメラで撮影して、画像処理により視線方向を算出する方式など、他の方式を利用することもできる。

図２は、信号処理装置１６の主要構成を示すブロック図である。同図に示すように、信号処理装置１６は、ＡＳＩＣ３０、ＲＯＭ３２及びＳＤＲＡＭ３４を備える。ＡＳＩＣ３０上のＣＰＵ３６は、バス３８を介してＡＳＩＣ３０内の各部に接続されており、ＡＳＩＣ３０の動作を制御する統括制御部である。

ＲＯＭ３２は、ＣＰＵ３６が処理するプログラム及び制御に必要な各種データ等が格納される記憶領域を備えている。ＳＤＲＡＭ３４は、ＣＰＵ３６が各種の演算処理等を行う作業用領域及び画像処理領域を備えている。ＲＯＭ３２及びＳＤＲＡＭ３４は、それぞれＲＯＭコントローラ４０及びＳＤＲＡＭコントローラ４２を介してバス３８に接続される。

タイマ４４は、ＣＰＵ３６によって制御され、信号処理回路４６にデータの読み込みのタイミングを制御するＬＥ（Load Enable）信号を送信する。

画像記録部４８は、液晶モニタ１８に表示するための画像データを記録するためのブロックである。なお、画像記録部４８は、３次元画像表示装置１０内にユーザによって携帯可能な記録媒体（例えば、ハードディスクドライブや、ＣＤ、ＤＶＤ、半導体メモリ等）により構成されていてもよいし、ネットワーク等を介して３次元画像表示装置１０に接続され、画像データを３次元画像表示装置１０に送信できるように構成されていてもよい。

図２において、視線センサ２２によって検出された視線方向の情報はＣＰＵ３６に入力される。ＣＰＵ３６は、この視線方向の情報に基づいて左右の液晶モニタ１８におけるユーザの視点座標データＰＤを算出して信号処理回路４６に入力する。

一方、信号処理装置１６には画像記録部４８から画像データ６０が入力される。図３は、画像データ６０の構成を模式的に示す図である。同図に示すように、画像記録部４８から入力された画像データ６０は、左眼用入力画像６２Ｌ及び右眼用入力画像６２Ｒとともに、撮影時のカメラの位置からの空間距離情報（左眼用距離情報６４Ｌ及び右眼用距離情報６４Ｒ）が含まれている。左眼用距離情報６４Ｌ及び右眼用距離情報６４Ｒは、画像の撮影時のカメラの位置から被写体までの距離の情報（入力画像６２がコンピュータグラフィックスによって作成された画像の場合は、画像作成時に設定された被写体までの距離の情報）を含んでいる。なお、この空間距離情報は、入力画像６２の画素や画面を分割して得られるエリアごと、動画像データの場合には動画像の各フレームの画素又はエリアごとに作成されている。

画像記録部４８から入力された入力画像ＤＩ及び空間距離情報ＫＩは、一時ＳＤＲＡＭ３４に保存され、バッファ５０を介して信号処理回路４６に入力される。信号処理回路４６は、上記の視点座標データＰＤ及び空間距離情報ＫＩに基づいて入力画像ＤＩを処理する。そして、信号処理回路４６によって処理された出力画像ＤＯは、バッファ５２及び５４を介してエンコーダ５６に入力される。エンコーダ５６は、この出力画像ＤＯを液晶モニタ１８に表示用の映像信号に変換して液晶モニタ１８に出力する。これにより、液晶モニタ１８に画像が表示される。

次に、信号処理回路４６について、図４を参照して説明する。図４は、信号処理回路４６の主要構成を示すブロック図である。同図に示すカウンタ生成回路７０は、タイマ４４から入力されたＬＥ信号に基づいてカウンタ信号ＣＮＴを生成して入力セレクタ７２及び出力セレクタ７４に入力する。

ここで、信号処理回路４６における処理の流れについて説明する。図５は、信号処理回路４６における信号の流れを模式的に示すタイミングチャートである。入力セレクタ７２には、ＣＮＴ信号に基づいて入力画像ＤＩがＬｉｎｅＮ、ＬｉｎｅＮ＋１、…と順次入力されてラインメモリ７６に書き込まれる。出力セレクタ７４は、ラインメモリ７６から入力画像ＤＩを順次読み出して、ロー・パス・フィルタ（ＬＰＦ）７８に入力する。なお、出力セレクタ７４は、ラインメモリ７６から読み出した信号Ｄ１［０］、Ｄ１［１］及びＤ１［２］をＬＰＦ７８に入力する際に、ＬＰＦ７８への入力信号Ｄ２［０］、Ｄ２［１］及びＤ２［２］は、ＣＮＴ信号ごとにＤ２［０］＝ＬｉｎｅＮ、Ｄ２［１］＝ＬｉｎｅＮ＋１、及びＤ２［２］＝ＬｉｎｅＮ＋２からＤ２［０］＝ＬｉｎｅＮ＋１、Ｄ２［１］＝ＬｉｎｅＮ＋２、及びＤ２［２］＝ＬｉｎｅＮ＋３と順次更新される。

ＬＰＦ係数算出回路８０は、ＣＰＵ３６から入力される視点座標データＰＤ、及びバッファ５０を介して入力される空間距離情報ＫＩに基づいてＬＰＦ７８の係数（ＬＰＦ係数）を算出する。なお、このＬＰＦ係数は、視点座標データＰＤのユーザの注視位置において画像が合焦し、それ以外の位置においてフォーカスがずれるように値が算出される。したがって、ユーザの眼には注視位置以外の画像がぼやけて見える。なお、このフォーカスをずらす度合は、ユーザの注視位置からの画面上における距離、及び空間距離情報ＫＩに基づいて制御される。例えば、注視位置から遠い被写体ほどぼやけて見えるように画像が処理される。あるいは、注視位置に表示されている画像から撮影時（又はコンピュータグラフィックスの作成時）における空間距離（例えば、撮影時におけるカメラからの距離の差）が離れた被写体ほどぼやけて見えるように画像が処理される。これにより、現実感のある３次元画像表示が実現できる。ＬＰＦ７８は、ＬＰＦ係数算出回路８０によって算出されたＬＰＦ係数により入力画像ＤＩを処理する。こうして処理された出力画像ＤＯは、バッファ５２等を介して液晶モニタ１８に入力されて表示される。なお、上記の信号処理は、左右の入力画像ＤＩそれぞれについて行われる。

次に、ＡＳＩＣ３０における画像処理の流れについて、図６を参照して説明する。図６は、画像処理の流れを示すフローチャートである。まず、３次元画像表示装置１０がユーザにより装着されて画像の表示が開始されると、表示画像のフレームごとに、視線センサ２２によって視線方向の情報が取り込まれ、ＡＳＩＣ３０のＣＰＵ３６によって視点座標データＰＤが算出される（ステップＳ１０）。

次に、入力画像ＤＩのライン番号ｎがリセットされるとともに（ｎ＝０、ステップＳ１２）、ライン番号に１が加算される（ｎ＝ｎ＋１、ステップＳ１４）。そして、画像記録部４８からＳＤＲＡＭ３４を介して入力画像ＤＩ（ライン番号ｎ（＝１））が取り込まれるとともに（ステップＳ１６）、空間距離情報ＫＩ（ライン番号ｎ（＝１））が取り込まれる（ステップＳ１８）。

その次に、信号処理回路４６によって視点座標データＰＤ、及び空間距離情報ＫＩに基づいて入力画像ＤＩ（ライン番号ｎ（＝１））に信号処理が施される（ステップＳ２０）。そして、ステップＳ１４に戻ってラインごとに入力画像ＤＩが処理されて、入力画像ＤＩの最終ラインの信号処理が終了すると（ステップＳ２２）、ステップＳ１０に戻って次のフレームの処理が行われる。

次に、上記の信号処理の流れについて、図７を参照して説明する。図７は、信号処理の流れを示すフローチャートである。まず、信号処理回路４６によって、図６のステップＳ１０において算出された視点座標データＰＤが取り込まれる（ステップＳ３０）。次に、入力画像ＤＩのライン番号ｎがリセットされるとともに（ｎ＝０、ステップＳ３２）、ライン番号に１が加算される（ｎ＝ｎ＋１、ステップＳ３４）。

次に、画像記録部４８からＳＤＲＡＭ３４を介して入力画像ＤＩ（ライン番号ｎ（＝１））が取り込まれるとともに（ステップＳ３６）、空間距離情報ＫＩ（ライン番号ｎ（＝１））が取り込まれる（ステップＳ３８）。この視点座標データＰＤ、及び空間距離情報ＫＩに基づいて、ＬＰＦ係数算出回路８０によって入力画像ＤＩの画素ごとにＬＰＦ係数が算出される（ステップＳ４０）。なお、ステップＳ４０において、ＬＰＦ係数は、上述のように視点座標データＰＤに基づいて、ユーザの注視位置において画像が合焦し、それ以外の位置においてフォーカスがずれるように値が算出される。

次に、入力画像ＤＩが画素ごとにＬＰＦが掛けられて（ステップＳ４２）、出力画像ＤＯが作成される。この出力画像ＤＯは、バッファ５２、５４、及びエンコーダ５６を介して液晶モニタ１８に出力されて表示される（ステップＳ４４）。その次に、ステップＳ３４に戻ってラインごとに入力画像ＤＩが処理されて、入力画像ＤＩの最終ラインの信号処理が終了すると（ステップＳ４６）、ステップＳ３０に戻って次のフレームの処理が行われる。

本実施形態によれば、視線センサ２２によって検出された、液晶モニタ１８上におけるユーザの注視位置において合焦させ、それ以外の位置においてフォーカスがずれるように画像が表示される。これにより、ユーザの眼には注視位置以外の画像はぼやけて見えるため、現実感のある３次元画像が実現できる。また、３次元画像表示装置１０を長時間装着して使用する際に、不自然な画像を見続けることに起因するユーザの疲労を低減できる。

なお、本実施形態においては、磁気センサなどの頭部の向きを検出するデバイスを設けて、頭部の移動により表示画像の視点移動が行えるようにしてもよい。この場合は運動視差も加わるため、より一層の現実感のある画像が実現できる。

本発明の一実施形態に係る３次元画像表示装置を示す図 信号処理装置１６の主要構成を示すブロック図 入力画像ＤＩの構成を模式的に示す図 信号処理回路４６の主要構成を示すブロック図 信号処理回路４６における信号の流れを模式的に示すタイミングチャート 画像処理の流れを示すフローチャート 信号処理の流れを示すフローチャート

符号の説明

１０…３次元画像表示装置、１２…ベルト、１４…ユニット、１６…信号処理装置、１８…液晶モニタ、２０…レンズ、２２…視線センサ、３０…ＡＳＩＣ、３２…ＲＯＭ、３４…ＳＤＲＡＭ、３６…ＣＰＵ、３８…バス、４０…ＲＯＭコントローラ、４２…ＳＤＲＡＭコントローラ、４４…タイマ、４６…信号処理回路、４８…画像記録部、５０、５２、５４…バッファ、５６…エンコーダ、６０…画像データ、６２…入力画像、６４…距離情報、７０…カウンタ生成回路、７２…入力セレクタ、７４…出力セレクタ、７６…ラインメモリ、７８…ロー・パス・フィルタ（ＬＰＦ）、８０…ＬＰＦ係数算出回路

Claims (3)

1. 左右の眼の視差がある画像を取得する画像取得手段と、
   装着時にユーザの両眼の前にそれぞれ配置される一対の表示画面を有し、前記視差のある画像を表示して３次元画像を再現する画像表示手段と、
   前記ユーザの注視位置を検出する注視位置検出手段と、
   前記ユーザの注視位置において前記画像を合焦させ、前記注視位置以外において前記画像がぼやけて見えるように、前記画像の処理を行う画像処理手段と、
   を備えることを特徴とする３次元画像表示装置。
2. 前記画像の撮影時における前記画像に映っている被写体までの空間距離情報を取得する空間距離情報取得手段を更に備え、
   前記画像処理手段は、前記空間距離情報に基づいて前記画像の処理を行うことを特徴とする請求項１記載の３次元画像表示装置。
3. 前記画像処理手段は、前記ユーザの注視位置からの前記表示画面上における距離、又は前記注視位置以外の位置に映っている被写体と前記注視位置の被写体の空間距離情報の少なくとも一方に基づいて、前記画像がぼやけて見える度合を制御することを特徴とする請求項２記載の３次元画像表示装置。

Images