JP6590792B2 - ３ｄ映像を補正する方法、装置及び表示システム - Google Patents

Description

以下、実施形態は、タイルドディスプレイで３Ｄ映像を補正する方法及び装置に関する。

インテグラルイメージングディスプレイ（Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ Ｄｉｓｐｌａｙ（ＩＩＤ））は、ユーザが裸眼で３Ｄ映像を視聴することができるディスプレイ技術である。ＬＣＤパネル及びレンズアレイを含むＩＩＤにおいて、ＬＣＤパネルは、ＥＩＡ（Ｅｌｅｍｅｎｔａｌ Ｉｍａｇｅ Ａｒｒａｙ）という２Ｄ映像を表示し、レンズアレイは、ＥＩＡにある互いに異なる部分を互いに異なる方向に３Ｄ空間で屈折して３Ｄ映像を生成する。

大画面のためのＩＩＤの一つの手段として小さいレンズアレイを結合して大型レンズアレイを構成するＴ−ＩＩＤ（Ｔｉｌｅｄ Ｉｎｔｅｇｒａｌ Ｉｍａｇｉｎｇ Ｄｉｓｐｌａｙ）技術を適用することができる。しかし、Ｔ−ＩＩＤにおいて、部品設置の精度の制限、使用過程で発生する温度変化、及び機械的振動などにより互いに異なるレンズアレイを正確に結合することが難しく、互いに異なるレンズアレイ間に整列誤差が発生し得る。

本発明の目的は、タイルドディスプレイで３Ｄ映像を補正する方法及び装置を提供することにある。

一実施形態に係る表示パネル及び複数のレンズアレイを含むタイルドディスプレイの３Ｄ映像の補正方法は、前記表示パネルに表示された複数の構造光映像（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｉｍａｇｅ）を取得するステップと、前記複数の構造光映像に基づいて前記タイルドディスプレイの幾何モデル（ｇｅｏｍｅｔｒｉｃ ｍｏｄｅｌ）を補正するステップと、補正されたタイルドディスプレイの幾何モデルによって光モデルを生成するステップと、前記光モデルを用いて映像をレンダリングするステップとを含む。

前記補正するステップは、前記複数の構造光映像から撮影部の光心を通過する光線に対応するＰＯＲ（Ｐｒｉｎｃｉｐａｌ Ｏｂｓｅｒｖａｔｉｏｎ Ｒａｙ）ピクセルを抽出するステップと、前記抽出されたＰＯＲピクセルを用いて前記タイルドディスプレイの幾何モデルを補正するステップとを含んでもよい。

前記抽出するステップは、前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成して、前記対応マップを用いて前記ＰＯＲピクセルを抽出するステップを含んでもよい。

前記抽出するステップは、前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成するステップと、前記対応マップを勾配フィルタを介してフィルタリングして前記複数のレンズアレイに含まれたレンズの境界を抽出するステップと、前記抽出された境界によって前記複数の構造光映像から第１ＰＯＲピクセルを抽出するステップと、前記第１ＰＯＲピクセルに基づいて前記複数のレンズアレイのそれぞれの構造によって第２ＰＯＲピクセルを抽出するステップと、前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルとの個数の合計が予定個数に到達したか否かを判断し、判断結果に応じて前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルとを前記抽出されたＰＯＲピクセルとして送信するステップとを含んでもよい。

前記抽出されたＰＯＲピクセルを用いて前記タイルドディスプレイの幾何モデルを補正するステップは、前記抽出されたＰＯＲピクセルを用いて前記複数のレンズアレイの前記表示パネルに対する回転及び並進パラメータを算出し、前記算出された回転及び並進パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するステップを含んでもよい。

前記抽出されたＰＯＲピクセルを用いて前記タイルドディスプレイの幾何モデルを補正するステップは、前記複数のレンズアレイの平面に定義された座標系と前記表示パネルの平面に定義された座標系との間の回転及び変換を２Ｄ回転及び変換に変換するステップと、前記抽出されたＰＯＲピクセルに基づいて前記撮影部の光心座標（ｃｏｏｒｄｉｎａｔｅｓ ｏｆ ｔｈｅ ｏｐｔｉｃａｌ ｃｅｎｔｅｒ）を算出するステップと、前記２Ｄ回転及び変換、前記光心座標に基づいて前記回転及び変換パラメータを推定するステップと、前記回転及び変換パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するステップとを含んでもよい。

前記生成するステップは、前記補正されたタイルドディスプレイの幾何モデルを用いて前記複数のレンズアレイに含まれた各レンズの前記表示パネルに対する位置を算出するステップと、観察平面を指定して、前記観察平面から観察中心を決定するステップと、前記映像のピクセル座標系を生成して、前記ピクセル座標系に基づいてマッピングマトリックスを生成するステップと、前記位置、前記観察中心、及び前記マッピングマトリックスに基づいて前記表示パネルの各ピクセルに対応するレンズ中心にマッピングして前記光モデルを生成するステップとを含んでもよい。

前記光モデルは、２面直線表記法（ｔｗｏ ｐｌａｎｅ ｓｔｒａｉｇｈｔ ｎｏｔａｔｉｏｎ）によって表示されてもよい。

前記第２ＰＯＲピクセルを抽出するステップは、前記第１ＰＯＲピクセルに基づいて前記第２ＰＯＲピクセルの位置を予測するステップと、前記予測された位置を中心に検索ウィンドウを決定するステップと、前記検索ウィンドウに含まれたピクセルに対してローカル勾配振幅ヒストグラム（ｌｏｃａｌ ｇｒａｄｉｅｎｔ ａｍｐｌｉｔｕｄｅ ｈｉｓｔｏｇｒａｍ）に基づいたエネルギー関数値を生成するステップと、前記エネルギー関数値に基づいて前記ピクセルから前記第２ＰＯＲピクセルを抽出するステップとを含んでもよい。

一実施形態に係る表示システムは、表示パネル及び複数のレンズアレイを含むタイルドディスプレイと、前記表示パネルに表示された複数の構造光映像を取得して、前記複数の構造光映像に基づいて前記タイルドディスプレイの幾何モデルを補正し、補正されたタイルドディスプレイの幾何モデルによって光モデルを生成して、前記光モデルを用いて映像をレンダリングするイメージ処理装置とを含む。

前記イメージ処理装置は、前記複数の構造光映像を取得する撮影部と、前記複数の構造光映像に基づいて前記複数のレンズアレイの表示パネルに対する回転及び並進パラメータを算出して、前記回転及び並進パラメータを用いて前記タイルドディスプレイの幾何モデルを補正する補正部と、前記補正されたタイルドディスプレイの幾何モデルによって前記光モデルを生成する光モデル生成部と、前記光モデルを用いて前記映像をレンダリングするレンダリング部とを含んでもよい。

前記補正部は、前記複数の構造光映像から前記撮影部の光心を通過する光線に対応するＰＯＲピクセルを抽出するＰＯＲピクセル抽出部と、前記抽出されたＰＯＲピクセルを用いて前記回転及び並進パラメータを算出して、前記回転及び並進パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するレンズアレイ補正部とを含んでもよい。

前記ＰＯＲピクセル抽出部は、前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成し、前記対応マップを用いて前記ＰＯＲピクセルを抽出してもよい。

前記ＰＯＲピクセル抽出部は、前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成するピクセル分析部と、前記対応マップを勾配フィルタを介してフィルタリングして前記複数のレンズアレイに含まれたレンズの境界を抽出するエッジ抽出部と、前記抽出された境界と前記複数のレンズアレイのそれぞれとの構造によって第１ＰＯＲピクセルと第２ＰＯＲピクセルを抽出して、前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルとの個数の合計が予定個数に到達したか否かを判断し、判断結果に応じて前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルを前記抽出されたＰＯＲピクセルとして抽出するピクセル抽出部とを含んでもよい。

前記レンズアレイ補正部は、前記複数のレンズアレイの平面に定義された座標系と前記表示パネルの平面に定義された座標系との間の回転及び変換を２Ｄ回転及び変換に変換する変換部と、前記抽出されたＰＯＲピクセルに基づいて前記撮影部の光心座標を算出する光心算出部と、前記２Ｄ回転及び変換、前記光心座標に基づいて前記回転及び変換パラメータを推定し、前記回転及び変換パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するパラメータ推定部とを含んでもよい。

本発明によると、タイルドディスプレイで３Ｄ映像を補正する方法及び装置を提供することができる。

一実施形態に係る表示システムを説明するための図である。 図１に示されたイメージ処理装置の概略的なブロック図である。 Ｔ−ＩＩＤの幾何モデルを説明するための図である。 図２に示されたＰＯＲピクセル抽出部の概略的なブロック図である。 ＰＯＲピクセル抽出部の動作方法を説明するための図である。 初期ＰＯＲピクセルを説明するための図である。 図２に示されたレンズアレイ補正部の概略的なブロック図である。 図２に示されたレンズアレイ補正部の動作方法を説明するための図である。 図２に示された光モデル生成部の概略的なブロック図である。 光モデル生成部の動作方法を説明するための図である。 図２に示されたイメージ処理装置の動作方法を説明するためのフローチャートである。 図２に示されたＰＯＲピクセル抽出部の動作方法を説明するためのフローチャートである。 図２に示されたレンズアレイ補正部の動作方法を説明するためのフローチャートである。 図２に示された光モデル生成部の動作方法を説明するためのフローチャートである。

以下で説明する実施形態は、添付の図面を参照して詳細に説明する。

図１は、一実施形態に係る表示システムを説明するための図である。

図１を参照すると、表示システム（Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ）１０は、Ｔ−ＩＩＤ１００とイメージ処理装置（Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅ）２００を含む。

Ｔ−ＩＩＤ１００は、複数のＩＩＤを組み合わせて大画面の３Ｄディスプレイを形成することができる。Ｔ−ＩＩＤ１００は、表示パネル１１０及び複数のレンズアレイ１３０を含んでもよい。表示パネル１１０は、ＬＣＤパネルで実現することができる。また、表示パネル１１０は、タッチスクリーンパネル、ＦＴＦ−ＬＣＤ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ−Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル、ＬＥＤ（Ｌｉｑｕｉｄ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）表示パネル、ＯＬＥＤ（Ｏｒｇａｎｉｃ ＬＥＤ）表示パネル、ＡＭＯＬＥＤ（Ａｃｔｉｖｅ Ｍａｔｒｉｘ ＯＬＥＤ）表示パネル、又はフレキシブル表示パネルで実現してもよい。複数のレンズアレイ１３０は、表示パネル１１０のＥＩＡから放出された光線を屈折させて３Ｄ映像を生成することができる。表示パネル１１０は、大画面の表示パネルで実現することができる。Ｔ−ＩＩＤ１００は、大画面の表示パネル１１０及び複数の組み合わされたレンズアレイ１３０によって構成された大画面の３Ｄディスプレイである。例えば、表示パネル１１０は、同一平面に位置し、互いに整列した複数の小さい表示パネルを含んでもよい。

イメージ処理装置２００は、表示システム１０の動作を全般的に制御することができる。イメージ処理装置２００は、マザーボードのようなプリント回路板（Ｐｒｉｎｔｅｄ Ｃｉｒｃｕｉｔ Ｂｏａｒｄ（ＰＣＢ））、集積回路（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（ＩＣ））、又はＳｏＣ（Ｓｙｓｔｅｍ Ｏｎ Ｃｈｉｐ）で実現してもよい。例えば、イメージ処理装置２００は、アプリケーションプロセッサであってもよい。

イメージ処理装置２００は、Ｔ−ＩＩＤ１００で３Ｄ映像を補正するための装置である。イメージ処理装置２００は、Ｔ−ＩＩＤ１００に含まれた互いに異なるＩＩＤ部、例えば、互いに異なるレンズアレイ１３０間に位置の整列誤差（ｍｉｓａｌｉｇｎｍｅｎｔ）が存在する時、構造光映像を取得し、前記構造光映像に基づいてＴ−ＩＩＤ１００の幾何モデルを補正することができる。構造光映像は、公知の（又は所望する）イメージパターン（例えば、市松模様（ｃｈｅｃｋｅｒｅｄ ｐａｔｔｅｒｎ））を有したイメージと呼んでもよい。構造光映像又は所望するイメージパターンは、Ｔ−ＩＩＤ１００に表示されてもよい。

図２は、図１に示されたイメージ処理装置の概略的なブロック図である。

図１及び図２Ａを参照すると、イメージ処理装置２００は、撮影部（ｃａｐｔｕｒｉｎｇ ｕｎｉｔ）２１０、補正部（ｃａｌｉｂｒａｔｉｏｎ ｕｎｉｔ）２２０、光モデル生成部（ｒａｙ ｍｏｄｅｌ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）２３０、及びレンダリング部（ｒｅｎｄｅｒｉｎｇ ｕｎｉｔ）２４０を含む。詳細な説明の全体にわって、用語「部（ｕｎｉｔ）」は、用語「装置（ｄｅｖｉｃｅ）」に置き換えてもよい。

撮影部２１０は、固定された位置において、Ｔ−ＩＩＤ１００の表示パネル１１０に表示された構造光映像を取得することができる。撮影部２１０は、例えば、カメラ（例えば、ピンホールカメラ）、ビデオカメラなどで実現されてもよく、連続的に複数の構造光映像のそれぞれを取得してもよい。

具体的には、表示パネル１１０にいずれか１つの構造光映像が表示される時、撮影部２１０は、いずれか１つの構造光映像を取得することができる。表示パネル１１０に他の１つの構造光映像が表示される時、撮影部２１０は、他の１つの構造光映像を取得することができる。撮影部２１０は、表示パネル１１０に表示された構造光映像全てを取得する時まで、前記過程を繰り返すことができる。撮影部２１０は、取得された複数の構造光映像を補正部２２０に送信してもよい。

補正部２２０は、Ｔ−ＩＩＤ１００の幾何モデルを補正する。補正部２２０は、撮影部２１０によって取得された構造光映像からＴ−ＩＩＤ１００の幾何モデルを補正するための幾何パラメータ情報（ｇｅｏｍｅｔｒｉｃ ｐａｒａｍｅｔｅｒ ｉｎｆｏｒｍａｔｉｏｎ）を取得することができる。Ｔ−ＩＩＤ１００の幾何モデルは、複数のレンズアレイ１３０に対する仮想レンズアレイ（ｖｉｒｔｕａｌ ｌｅｎｓ ａｒｒａｙｓ）の集合であってもよい。仮想レンズアレイは、複数のレンズアレイ１３０のそれぞれに対応してもよい。別の例として、仮想レンズアレイは、複数のレンズアレイ１３０をグループ化したグループのそれぞれに対応してもよい。

図２においては、イメージ処理装置２００が撮影部２１０、補正部２２０、光モデル生成部２３０、及びレンダリング部２４０を含んでいるものとして示しているが、これに限定されない。

図３は、Ｔ−ＩＩＤの幾何モデルを説明するための図である。図３においては、説明の便宜のために複数のレンズアレイ１３０のうち４個のレンズアレイのみを示す。

図１〜図３を参照すると、Ｔ−ＩＩＤ１００の幾何モデルは、表示パネル１１０に対する回転パラメータ（ｒｏｔａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ；Ｒ１〜Ｒ４）と並進パラメータ（ｔｒａｎｓｌａｔｉｏｎ ｐａｒａｍｅｔｅｒｓ；Ｔ１〜Ｔ４）を有する。例えば、Ｒｉは、３×３の回転マトリックスであり、第ｉ番目のレンズアレイの回転を意味する。Ｔｉは、第ｉ番目のレンズアレイの並進ベクトルを意味する。

図２の補正部２２０は、ＰＯＲピクセル抽出部（ＰＯＲ ｅｘｔｒａｃｔｉｏｎ ｕｎｉｔ）２７０及びレンズアレイ補正部（ｌｅｎｓ ａｒｒａｙ ｃａｌｉｂｒａｔｉｏｎ ｕｎｉｔ）２９０を含む。ＰＯＲピクセル抽出部２７０は、複数の構造光映像に基づいて撮影部２１０の光心を通過する光線に対応するＰＯＲピクセルを抽出する。例えば、ＰＯＲピクセル抽出部２７０は、複数の構造光映像を復号化して表示パネル１１０のピクセルと撮影部２１０のピクセルとの間の対応マップを生成し、対応マップを用いてＰＯＲピクセルを抽出する。前記復号化動作は、図４、図５、及び図１２を参照して詳細に説明する。レンズアレイ補正部２９０は、抽出されたＰＯＲピクセルを用いて、複数のレンズアレイ１３０の表示パネル１１０に対する回転及び並進パラメータを算出し、算出された回転及び並進パラメータを用いて、Ｔ−ＩＩＤ１００の幾何モデルを補正する。

図４は、図２に示されたＰＯＲピクセル抽出部の概略的なブロック図であり、図５は、ＰＯＲピクセル抽出部の動作方法を説明するための図である。

図１〜図５を参照すると、ＰＯＲピクセル抽出部２７０は、ピクセル分析部（ｐｉｘｅｌ ａｎａｌｙｓｉｓ ｕｎｉｔ）２７１、エッジ抽出部（ｅｄｇｅ ｅｘｔｒａｃｔｉｏｎ ｕｎｉｔ）２７２、及びピクセル抽出部（ｐｉｘｅｌ ｅｘｔｒａｃｔｉｏｎ ｕｎｉｔ）２７３を含む。

ピクセル分析部２７１は、撮影部２１０から取得した複数の構造光映像を復号化して表示パネル１１０のピクセルと撮影部２１０のピクセルとの間の対応マップを生成することができる。例えば、ピクセル分析部２７１は、複数の構造光映像を用いて撮影部２１０のピクセルのそれぞれを表示パネル１１０のピクセルのそれぞれにマッピングして対応マップを生成してもよい。撮影部２１０のピクセルのそれぞれは、３Ｄ空間の１つの光線に対応することができる。光線は、複数のレンズアレイ１３０のうち対応するレンズアレイに含まれたレンズを介して屈折した後、表示パネル１１０のピクセルと交差するため、撮影部２１０のピクセルは、表示パネル１１０のピクセルに対応してマッピングされ得る。

エッジ抽出部２７２は、勾配フィルタを介して対応マップをフィルタリングして複数のレンズアレイ１３０に含まれたレンズの境界を抽出する。例えば、エッジ抽出部２７２は、勾配フィルタ（例えば、ソーベルフィルタ）を介して対応マップで急激な変化を検出してレンズの境界を抽出する。エッジ抽出部２７２は、複数のレンズアレイ１３０に含まれた全てのレンズのエッジを全部抽出せずに、効率を向上させるために一部のレンズのエッジだけ抽出する。

ピクセル抽出部２７３は、撮影部２１０の光心を通過する光線をＰＯＲで抽出する。例えば、撮影部２１０の光心を通過する光線は、撮影部２１０のレンズ中心を通過するため、送信方向が変わらず、幾何情報を容易に用いることができる。ＰＯＲは、撮影部２１０の光心とレンズの光心を通過することができる。図５に示したように、レンズアレイにおいて、ＰＯＲに対応するピクセルは、レンズアレイのレンズ中心に対応する。以下、ＰＯＲピクセルは、撮影部２１０及び表示パネル１１０のピクセルのうちレンズ境界に基づいて抽出されたピクセルという意味で用いてもよい。

ピクセル抽出部２７３は、抽出されたレンズの境界によって複数の構造光映像から第１ＰＯＲピクセルを抽出する。第１ＰＯＲピクセルは、第１予定個数であってもよく、例えば、初期ＰＯＲピクセルとして予め設定されてもよく、検出装置（図示せず）を介して自動で検出されてもよい。

図６に示したように、１つのレンズアレイに対して第１予定個数３つのＰＯＲピクセル（ＰＯＲ＿ａ、ＰＯＲ＿ｂ、ＰＯＲ＿ｃ）を提供して第１ＰＯＲピクセルとして設定する。１つのＰＯＲピクセル（ＰＯＲ＿ａ）がレンズアレイの１つのコーナーレンズに位置し、その他２つのＰＯＲピクセル（ＰＰＯＲ＿ｂ、ＰＯＲ＿ｃ）がＰＯＲピクセル（ＰＯＲ＿ａ）に隣接することで、レンズアレイの２つの辺の方向が提供されてもよい。

ピクセル抽出部２７３は、第１ＰＯＲピクセルに基づいて複数のレンズアレイ１３０のそれぞれの構造によって第２ＰＯＲピクセルを抽出する。例えば、ピクセル抽出部２７３は、第１ＰＯＲピクセルに基づいて複数のレンズアレイ１３０のそれぞれの構造によって第２ＰＯＲピクセルの位置を予測し、予測された位置を中心に検索ウィンドウを決定することができる。レンズアレイ１３０のそれぞれの構造は、レンズ形状（ｌｅｎｓ ｓｈａｐｅ）、レンズピッチ、レンズの配列（ｌｅｎｓ ａｒｒａｎｇｅｍｅｎｔ）、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、及びレンズアレイの大きさ（ｌｅｎｓ ａｒｒａｙ ｓｉｚｅ）を含む。ピクセル抽出部２７３は、検索ウィンドウに含まれた各ピクセルの位置において、エネルギー関数を生成して各ピクセルが第２ＰＯＲピクセルになる可能性を決定し、可能性が最も大きいＰＯＲピクセルを選択して第２ＰＯＲピクセルとして抽出する。例えば、ピクセル抽出部２７３は、ローカル勾配振幅ヒストグラムに基づいたエネルギー関数を用いることができる。各ピクセルのエネルギー関数値は、各ピクセル周辺を含む検索ウィンドウ（ｌｏｃａｌ ｒｅｃｔａｎｇｕｌａｒ ｗｉｎｄｏｗ）内の映像勾配振幅値（ｉｍａｇｅ ｇｒａｄｉｅｎｔ ａｍｐｌｉｔｕｄｅ ｖａｌｕｅｓ）の合計であってもよい。検索ウィンドウは、四角形（ｓｑｕａｒｅ又はｒｅｃｔａｎｇｕｌａｒ）映像領域であり、１つの辺の長さは、構造光映像を撮影した撮影部２１０のレンズの直径の０．５倍であってもよい。ピクセルのエネルギー関数値が小さいほどピクセルは第２ＰＯＲピクセルに含まれる可能性が大きい。ピクセル抽出部２７３は、エネルギー関数値が最も低いピクセルを第２ＰＯＲピクセルとして決定することができる。ピクセル抽出部２７３は、第１ＰＯＲピクセルと第２ＰＯＲピクセルとの個数の合計が第２予定個数に到達するか否かを判断し、判断結果に応じて第１ＰＯＲピクセルと第２ＰＯＲピクセルをレンズアレイ補正部２９０に送信することができる。第２予定個数は予め設定されてもよい。

例えば、第１ＰＯＲピクセルと第２ＰＯＲピクセルとの個数の合計が第２予定個数より大きい又は同じである時、ピクセル抽出部２７３は、第１ＰＯＲピクセルと第２ＰＯＲピクセルをレンズアレイ補正部２９０に送信することができる。第１ＰＯＲピクセルと第２ＰＯＲピクセルとの個数の合計が第２予定個数に到達できない時、ピクセル抽出部２７３は、第１ＰＯＲピクセルと第２ＰＯＲピクセルに基づいて、複数のレンズアレイのそれぞれの構造によって次の可能なＰＯＲピクセルを抽出し、ＰＯＲピクセルとの個数が第２予定個数より大きい又は同じである時まで繰り返し行うことができる。

レンズアレイ補正部２９０は、ＰＯＲピクセル抽出部２７０から抽出されたＰＯＲピクセルに基づいて複数のレンズアレイ１３０のそれぞれの表示パネル１１０に対する状態を算出することができる。レンズアレイの状態は、回転及び並進パラメータを含んでもよい。

図７は、図２に示されたレンズアレイ補正部の概略的なブロック図であり、図８は、図２に示されたレンズアレイ補正部の動作方法を説明するための図である。

図７を参照すると、レンズアレイ補正部２９０は、変換部（ｃｏｎｖｅｒｓｉｏｎ ｕｎｉｔ）２９１、光心算出部（ｏｐｔｉｃａｌ ｃｅｎｔｅｒ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）２９２、及びパラメータ推定部（ｐａｒａｍｅｔｅｒ ｅｓｔｉｍａｔｉｏｎ ｕｎｉｔ）２９３を含む。

図８に示したように、表示パネルの平面１１０−１、レンズアレイの平面１３０−１、撮影部映像平面（ｃａｐｔｕｒｉｎｇ ｕｎｉｔ ｉｍａｇｅ ｐｌａｎｅ；２１０−１）に対してそれぞれ３つの座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ、Ｏ_ａＸ_ａＹ_ａＺ_ａ、Ｏ_ｃＸ_ｃＹ_ｃＺ_ｃ）が定義される。例えば、ワールド座標系（ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ；Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）は、表示パネルの平面１１０−１で定義され、座標系（Ｏ_ａＸ_ａＹ_ａＺ_ａ、）は、レンズアレイの平面１３０−１で定義される。座標系（Ｏ_ｃＸ_ｃＹ_ｃＺ_ｃ）は、撮影部２１０で定義され、Ｏｃは、撮影部２１０の光心である。

第ｋ番目のレンズアレイに含まれた第ｉ番目のレンズは、座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）において、C⁽ⁱ⁾=[C_x ⁽ⁱ⁾, C_y ⁽ⁱ⁾,
C_z ⁽ⁱ⁾]^Tで表現されてもよい。C_x ⁽ⁱ⁾、C_y ⁽ⁱ⁾、C_z ⁽ⁱ⁾は、座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）において、第ｋ番目のレンズアレイに含まれた第ｉ番目のレンズのＸ、Ｙ、Ｚ座標を意味する。例えば、第ｋ番目のレンズアレイから表示パネル１１０までの距離が固定されるため、C_z ⁽ⁱ⁾は、固定値であってもよい。

第ｋ番目のレンズアレイに含まれた第ｉ番目のレンズは、座標系（Ｏ_ａＸ_ａＹ_ａＺ_ａ）において、C^⁽ⁱ⁾=[C_x ^{^(i)}, C_y ^{^(i)},
C_z ^{^(i)}]^Tで表現されてもよい。C_x ^{^(i)},
C_y ^{^(i)}, C_z ^{^(i)}は、座標系（Ｏ_ａＸ_ａＹ_ａＺ_ａ）において、第ｋ番目のレンズアレイに含まれた第ｉ番目のレンズのＸ、Ｙ、Ｚ座標を意味する。例えば、第ｋ番目のレンズアレイがレンズアレイの平面１３０−１に位置することによって、C_z ^{^(i)}は、０であってもよい。

変換部２９１は、座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）と座標系（Ｏ_ａＸ_ａＹ_ａＺ_ａ）との間の回転及び変換を２Ｄ回転及び変換に、式（１）のように、変換する。

a^(k)は、第ｋ番目のレンズアレイのＬＣＤパネルに対する回転角度を意味し、 [t_x(k) t_y(k)]^Tは、第ｋ番目のレンズアレイのＬＣＤパネルに対する並進ベクトルを意味する。ここで、C_z ⁽ⁱ⁾はｇで表示し、ｇは既知数であり、レンズの光心と表示パネルの平面１３０−１との間の距離を意味する。

光心算出部２９２は、ＰＯＲピクセル抽出部２７０から抽出されたＰＯＲピクセルに基づいて撮影部２１０の光心座標O_c=[O_x,O_y,O_z]^Tを算出する。O_x、O_y、O_zは、撮影部２１０の光心が座標系（Ｏ_ｃＸ_ｃＹ_ｃＺ_ｃ）におけるＸ、Ｙ、Ｚ座標を意味する。

光心算出部２９２は、ＰＯＲピクセル抽出部２７０から抽出されたＰＯＲピクセルを撮影部映像平面２１０−１と表示パネルの平面１３０−１との間の平面ホモグラフィ（ｐｌａｎａｒ ｈｏｍｏｇｒａｐｈｙ）に利用することができる。例えば、ＰＯＲは、表示パネル１３０のピクセルL⁽ⁱ⁾とレンズの光心C⁽ⁱ⁾とを通過して撮影部映像平面２１０−１のピクセルI⁽ⁱ⁾に位置してもよい。複数の構造光映像によって表示パネル１１０と撮影部２１０とのピクセルの対応関係を取得し、これを対応ポイントペア（ｐｏｉｎｔ ｐａｉｒ）である{L⁽ⁱ⁾,I⁽ⁱ⁾}で表示してもよい。例えば、L⁽ⁱ⁾及びI⁽ⁱ⁾は、表示パネルの平面１３０−１及び撮影部映像平面２１０−１において、ＰＯＲが通過するポイントを意味してもよい。

パラメータ推定部２９３は、２Ｄ回転及び変換、撮影部２１０の光心座標に基づいて複数のレンズアレイ１３０の表示パネル１１０に対する回転及び変換パラメータを推定する。

１つのＰＯＲに位置する３つのポイントO_c、C⁽ⁱ⁾、L⁽ⁱ⁾は、下記式（２）のように表現される。

L_x ⁽ⁱ⁾及びL_y ⁽ⁱ⁾は、L⁽ⁱ⁾の座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）におけるＸ、Ｙ座標を意味し、式（２）は、式（３）で再び表現されてもよい。

ここで、
a₁ ⁽ⁱ⁾=O_z,b₁ ⁽ⁱ⁾=O,c₁ ⁽ⁱ⁾=L_x-O_x,d₁ ⁽ⁱ⁾=L_x ⁽ⁱ⁾O_z であり、
a₂ ⁽ⁱ⁾=O,b₂ ⁽ⁱ⁾=O_z,c₂ ⁽ⁱ⁾=L_y-O_y,d₂ ⁽ⁱ⁾=L_y ⁽ⁱ⁾O_z であってもよい。O_c及びL⁽ⁱ⁾が推定されるため、式（３）のパラメータは推定される。

式（１）を式（３）に代入する時、第ｋ番目のレンズアレイの表示パネル１１０に対する回転及び変換を指示する値がG=[cos(a^(k)),sin(a^(k)),t_x ^(k),t_y ^(k)]^Tで表現され、式（４）は、下記のように表現される。

式（４）をA⁽ⁱ⁾G=D⁽ⁱ⁾で表示し、Ｍ個（Ｍ≧０、整数）のＰＯＲに結合して式（５）を取得する。

であってもよい。従って、最小自乗法を用いて第ｋ番目のレンズアレイの表示パネル１１０に対する回転及び変換パラメータＧを取得することができる。

パラメータ推定部２９３は、上述した算出によって複数のレンズアレイ１３０の表示パネル１１０に対する回転及び変換パラメータを取得し、Ｔ−ＩＩＤ１００の幾何モデルを補正することができる。

補正されたＴ−ＩＩＤ１００の幾何モデルは、図２の光モデル生成部２３０に送信されてもよい。

図９は、図２に示された光モデル生成部の概略的なブロック図であり、図１０は、光モデル生成部の動作方法を説明するための図である。図９を参照すると、光モデル生成部２３０は、位置算出部（ｐｏｓｉｔｉｏｎ ｃａｌｃｕｌａｔｉｏｎ ｕｎｉｔ）２３１、観察平面指定部（ｏｂｓｅｒｖａｔｉｏｎ ｐｌａｎｅ ｓｐｅｃｉｆｙｉｎｇ ｕｎｉｔ）２３２、マトリックス生成部（ｍａｔｒｉｘ ｇｅｎｅｒａｔｉｎｇ ｕｎｉｔ）２３３、及びマッピング部（ｍａｐｐｉｎｇ ｕｎｉｔ）２３４を含む。

位置算出部２３１は、補正されたＴ−ＩＩＤ１００の幾何モデルを用いて複数のレンズアレイ１３０に含まれた各レンズの表示パネル１１０に対する位置を算出する。位置算出部２３１は、算出された位置を集合Ｈに格納することができる。集合Ｈは、式（７）のように表現されてもよい。

ここで、Ｈ^（ｊ）は、座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）において、第ｊ番目のレンズの光心の３Ｄ座標を意味する。ｓ^（ｊ）、ｔ^（ｊ）、ｇのそれぞれは、座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）において、第ｊ番目のレンズの光心のＸ、Ｙ、Ｚ座標を意味する。Ｎ_Ｌは、レンズの個数を意味する。図１０に示されたようにレンズアレイの平面１３０−１が表示パネルの平面１１０−１と平行することによって、Ｚ_ｗ方向において、各レンズの光心と表示パネル１１０の距離が焦点距離ｇと同一である。

例えば、補正されたＴ−ＩＩＤ１００の幾何モデルを用いて、レンズアレイの第ｊ番目のレンズのレンズアレイの平面への位置（ｘ^（ｊ）、ｙ^（ｊ））を取得することができる。また、位置算出部２３１は、レンズアレイの表示パネル１１０に対する回転及び変換パラメータG=[cos(a^(k)),sin(a^(k)),t_x ^(k),t_y ^(k)]^Tによる式（８）を用いて第ｋ番目のレンズアレイの第ｊ番目のレンズの表示パネル１１０に対する位置を算出する。

観察平面指定部（ｏｂｓｅｒｖａｔｉｏｎ ｐｌａｎｅ ｓｐｅｃｉｆｙｉｎｇ ｕｎｉｔ）２３２は観察平面を指定し、観察平面から観察中心Ｖｃを決定してもよい。例えば、観察距離Ｄは、ＥＸＰ（ｅｍｐｉｒｉｃａｌ ｖａｌｕｅ）又は経験的証拠に基づいた値であり、観察中心Ｖｃは、表示パネルの平面１１０−１の中心垂直線から観察平面までの交差点である。

マトリックス生成部２３３は、ＥＩＡ映像のピクセル座標系［ｍ、ｎ］^Ｔを生成する。ｍは、ＥＩＡ映像において、ピクセルの横座標を意味し、ｎは、ＥＩＡ映像のピクセルの縦座標を意味する。例えば、ｍとｎは全て、正の整数（ｐｏｓｉｔｉｖｅ ｉｎｔｅｇｅｒ）であってもよい。マトリックス生成部２３３は、ＥＩＡ映像のピクセル座標系［ｍ、ｎ］^Ｔに基づいてＥＩＡ映像の複数のレンズアレイ１３０の各レンズに対するマッピングマトリックス［Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）］を生成する。Ｓ（ｍ、ｎ）及びＴ（ｍ、ｎ）のそれぞれは、座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）において、ＥＩＡ映像に含まれた第ｍ行目のｎ列目のピクセルに対応するレンズの光心の水平方向Ｘ及び垂直方向Ｙの位置座標を意味する。例えば、Ｓ（ｍ、ｎ）及びＴ（ｍ、ｎ）は、０で初期化されてもよい。

マッピング部２３４は、位置Ｈ^（ｊ）、観察中心Ｖｃ、マッピングマトリックス［Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）］に基づいて表示パネル１１０の各ピクセルに対応するレンズ中心にマッピングする。例えば、マッピング部２３４は、１つのレンズの光心（例えば、Ｈ^（ｊ））によって観察中心Ｖｃを表示パネルの平面１１０−１にマッピングし、表示パネルの平面１１０−１にマッピングされたピクセルを中心にローカル映像ウィンドウ（ｌｏｃａｌ ｉｍａｇｅ ｗｉｎｄｏｗ）を設定することができる。ローカル映像ウィンドウに含まれた各ピクセルに対して、マッピング部２３４は、Ｓ（ｑ、ｗ）＝０である時、Ｓ（ｑ、ｗ）及びＴ（ｑ、ｗ）をｓ^（ｊ）及びｔ^（ｊ）として設定し、Ｓ（ｑ、ｗ）≠０である時、[S(q,w),T(q,w),g]^Tを介して現在のピクセルを観察平面にマッピングしてポイントＰ１を取得し、現在のピクセルを観察平面にマッピングしてポイントＰ２を取得することができる。マッピング部２３４は、観察中心ＶｃからポイントＰ１までの距離｜Ｖ_ｃＰ１｜をＶ_ｃからポイントＰ２までの距離｜ＶｃＰ２｜と比較してもよい。マッピング部２３４は、｜Ｖ_ｃＰ１｜≧｜Ｖ_ｃＰ２｜である時、Ｓ（ｑ、ｗ）及びＴ（ｑ、ｗ）をｓ^（ｊ）及びｔ^（ｊ）として設定し、｜Ｖ_ｃＰ１｜＜｜Ｖ_ｃＰ２｜である時、Ｓ（ｑ、ｗ）及びＴ（ｑ、ｗ）を本来の値で保有することができる。例えば、ローカル検索ウィンドウは、四角形状のウィンドウであり、サイドの長さが１．２ｐ（Ｄ＋ｇ）／（Ｄ・ｓ）であってもよい。ここで、ｐは、隣接したレンズ中心間の距離（レンズの直径）であり、ｓは、表示パネル１１０の隣接したピクセルの中心間の距離（ピクセルの物理的広さ）、１．２は、ＥＸＰ又は経験的証拠に基づいた値である。

マッピング部２３４は、隣接したレンズに対応するローカル映像ウィンドウ間のオーバラップを確保して、ＥＩＡ映像の各ピクセルに対して｜Ｖ_ｃＰ１｜と｜Ｖ_ｃＰ２｜との比較を少なくとも２度行い、各ピクセルを最適の１つのレンズ中心にマッピングする。マッピング部２３４は、マッピング結果に応じて２面直線表記法によって表示された光モデル｛Ｕ（ｍ、ｎ）、Ｖ（ｍ、ｎ）、Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）｝を生成することができる。１つの平面は、表示パネルの平面１１０−１であり、他の１つの平面は、レンズアレイの平面１３０−１である。［Ｕ（ｍ、ｎ）、Ｖ（ｍ、ｎ）］は、表示パネルの平面１１０−１の座標系において、光と表示パネルの平面１１０−１との交差点の２Ｄ座標を意味する。［Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）］は、レンズアレイの平面１３０−１、例えば、レンズアレイ光心平面（ｌｅｎｓ ａｒｒａｙ ｏｐｔｉｃａｌ ｃｅｎｔｅｒ ｐｌａｎｅ）の座標系において、光とレンズアレイ光心平面との交差点の２Ｄ座標を意味する。マッピング部２３４は、光モデル｛Ｕ（ｍ、ｎ）、Ｖ（ｍ、ｎ）、Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）｝をレンダリング部２４０に送信してもよい。

レンダリング部２４０は、光モデル生成部２３０から受信された光モデルを用いてＥＩＡ映像をレンダリングし、３Ｄ映像を正確に表示できるＥＩＡ映像を生成することができる。例えば、レンダリング部２４０は、光モデルによってＥＩＡに含まれた各ピクセルに対して３Ｄ空間で対応する光を検出し、仮想物体のデジタルモデルを用いて光とデジタルモデルとの交差点を算出してもよい。レンダリング部２４０は、交差点にある物体表面が光によるカラー値を算出してカラー値をＥＩＡピクセルに付与してもよい。レンダリング部は、上述した動作行って各ピクセルに対するレンダリングを完成させる。

イメージ処理装置２００がＴ−ＩＩＤ１００の幾何モデルを補正し、補正されたＴ−ＩＩＤ１００の幾何モデルを用いて光モデルを生成し、生成された光モデルを用いてＥＩＡをレンダリングすることによって、Ｔ−ＩＩＤ１００は、位置の整列誤差（ｍｉｓａｌｉｇｎｍｅｎｔ）が存在しても３Ｄ映像を正確に表示することができる。初期整列誤差だけでなく、環境変化及び振動によってＴ−ＩＩＤ１００に整列誤差が発生する時、イメージ処理装置２００は、整列誤差を容易に補正して最適の３Ｄディスプレイ状態を保持することができる。このような自動補正は、イメージ処理装置２００に含まれた１つの撮影部２１０だけを用いて実現することができる。

図１１は、図２に示されたイメージ処理装置の動作方法を説明するためのフローチャートである。図１１を参照すると、撮影部２１０は、表示パネル１１０に表示された複数の構造光映像を取得して、取得された複数の構造光映像を補正部２２０に送信する（Ｓ８１０）。

補正部２２０は、取得された複数の構造光映像を用いてＴ−ＩＩＤの幾何モデルを補正する（Ｓ８２０）。

光モデル生成部２３０は、補正されたＴ−ＩＩＤ１００の幾何モデルによって光モデルを生成する（Ｓ８３０）。

レンダリング部２４０は、光モデル生成部２３０から受信された光モデルを用いてＥＩＡ映像をレンダリングする（Ｓ８４０）。

図１２は、図２に示されたＰＯＲピクセル抽出部の動作方法を説明するためのフローチャートである。図１２を参照すると、ピクセル分析部２７１は、撮影部２１０から取得された複数の構造光映像を復号化して表示パネル１１０のピクセルと撮影部２１０のピクセルとの間の対応マップを生成する（Ｓ９１０）。前記復号化プロセスは、次の通りである。複数の構造光映像は、Ｎ個のイメージを含んでもよい。このＮ個のイメージは１つずつＴ−ＩＩＤ１００に表示されてもよい。補正動作（ｃａｌｉｂｒａｔｉｏｎ ｏｐｅｒａｔｉｏｎ）の間、撮影部２１０は、所望する視点に固定され、Ｎ個のイメージを取得することができる。従って、フレームを調整する取得されたイメージ内の各ピクセルに対して、Ｎ個の取得されたイメージからＮ個の記録された輝度値（ｂｒｉｇｈｔｎｅｓｓ ｖａｌｕｅｓ）があってもよい。Ｎ個の輝度値は、Ｔ−ＩＩＤ１００内の位置値（ｐｏｓｉｔｉｏｎ ｖａｌｕｅ）にマッピングされるＮの長さのベクトルを形成してもよい。取得されたイメージのピクセルのＮ値ベクトル（Ｎ−ｖａｌｕｅｄ ｖｅｃｔｏｒ）をＴ−ＩＩＤ１００内の位置にマッピングするこのプロセスは、「復号化」を意味する。前記復号化は、取得されたイメージのピクセルとＴ−ＩＩＤ１００内の位置との間の密な対応（ｄｅｎｓｅ ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を確立することができる。

エッジ抽出部２７２は、勾配フィルタを介して対応マップをフィルタリングして複数のレンズアレイ１３０に含まれたレンズの境界を抽出する（Ｓ９２０）。

ピクセル抽出部２７３は、抽出されたレンズの境界によって複数の構造光映像から第１ＰＯＲピクセルを抽出する（Ｓ９３０）。

ピクセル抽出部２７３は、第１ＰＯＲピクセルに基づいて複数のレンズアレイ１３０のそれぞれの構造によって第２ＰＯＲピクセルを抽出する（Ｓ９４０）。

ピクセル抽出部２７３は、第１ＰＯＲピクセルと第２ＰＯＲピクセルとの個数の合計が第２予定個数より大きいか、又は同じであるか否かを判断する（Ｓ９５０）。

第１ＰＯＲピクセルと第２ＰＯＲピクセルとの個数の合計が第２予定個数に到達する時、ピクセル抽出部２７３は、第１ＰＯＲピクセルと第２ＰＯＲピクセルをレンズアレイ補正部２９０に送信する（Ｓ９６０）。

ピクセル抽出部２７３は、第１ＰＯＲピクセルと第２ＰＯＲピクセルに基づいて、複数のレンズアレイのそれぞれの構造によって次の可能なＰＯＲピクセルを抽出する（Ｓ９７０）。ピクセル抽出部２７３は、ＰＯＲピクセルとの個数が第２予定個数に到達する時まで上述した過程を繰り返し行うことができる。

図１３は、図２に示されたレンズアレイ補正部の動作方法を説明するためのフローチャートである。図１３を参照すると、変換部２９１は、座標系（Ｏ_ｗＸ_ｗＹ_ｗＺ_ｗ）と座標系（Ｏ_ａＸ_ａＹ_ａＺ_ａ）との間の回転及び変換を２Ｄ回転及び変換に、式（１）のように、変換する（Ｓ１０１０）。

光心算出部２９２は、ＰＯＲピクセル抽出部２７０から抽出されたＰＯＲピクセルに基づいて撮影部２１０の光心座標

を算出する（Ｓ１０２０）。

パラメータ推定部２９３は、２Ｄ回転及び変換、撮影部２１０の光心座標に基づいて複数のレンズアレイ１３０の表示パネル１１０に対する回転及び変換パラメータを推定し、推定された回転及び変換パラメータを用いてＴ−ＩＩＤ１００の幾何モデルを補正する（Ｓ１０３０）。

図１４は、図２に示された光モデル生成部の動作方法を説明するためのフローチャートである。図１４を参照すると、位置算出部２３１は、補正されたＴ−ＩＩＤ１００の幾何モデルを用いて複数のレンズアレイ１３０に含まれた各レンズの表示パネル１１０に対する位置を算出する（Ｓ１１１０）。

観察平面指定部２３２は、観察平面を指定して、観察平面から観察中心Ｖｃを決定する（Ｓ１１２０）。

マトリックス生成部２３３は、ＥＩＡ映像のピクセル座標系［ｍ、ｎ］^Ｔを生成する（Ｓ１１３０）。

マトリックス生成部２３３は、ＥＩＡ映像のピクセル座標系［ｍ、ｎ］^Ｔに基づいてＥＩＡ映像の複数のレンズアレイ１３０の各レンズに対するマッピングマトリックス［Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）］を生成する（Ｓ１１４０）。

マッピング部２３４は、位置Ｈ^（ｊ）、観察中心Ｖｃ、マッピングマトリックス［Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）］に基づいてＬＣＤの各ピクセルに対応するレンズ中心にマッピングする（Ｓ１１５０）。

マッピング部２３４は、マッピング結果に応じて２面直線表記法によって表示された光モデル｛Ｕ（ｍ、ｎ）、Ｖ（ｍ、ｎ）、Ｓ（ｍ、ｎ）、Ｔ（ｍ、ｎ）｝を生成する（Ｓ１１６０）。

上述した観点において、実施形態は、大画面裸眼立体表示（ｌａｒｇｅ−ｓｃｒｅｅｎ ｎａｋｅｄ−ｅｙｅ ３Ｄ ｄｉｓｐｌａｙｓ）が有利な補正方法（ａｄｖａｎｔａｇｅｏｕｓ ｃａｌｉｂｒａｔｉｏｎ ｍｅｔｈｏｄ）を有することを許容するものと理解されなければならない。関連技術の装置は、特殊マーカとカメラ配列の工場補正方法（ｆａｃｔｏｒｙ ｃａｌｉｂｒａｔｉｏｎ ｍｅｔｈｏｄ）及びレンズアレイの正確な製造に依存する。しかし、少なくとも１つの実施形態によれば、レンズアレイは、向上した補正の正確性（ｃａｌｉｂｒａｔｉｏｎ ａｃｃｕｒａｃｙ）によって厳し過ぎない製造方法によって製造することができ、これは製造費用を節減することができる。また、少なくとも１つの実施形態に係る方法及び装置は、特殊マーカとカメラの必要性を除去することによって、３Ｄディスプレイに対して補正プロセス（ｃａｌｉｂｒａｔｉｏｎ ｐｒｏｃｅｓｓ）を単純化させ、これは消費者カメラを持って３Ｄディスプレイの相対的に簡単なユーザ側の補正を許容することができる。

実施形態に係る方法は、多様なコンピュータ手段を介して実施することができるプログラム命令の形態で実現され、コンピュータで読取可能な媒体に記録してもよい。前記記録媒体は、プログラム命令、データファイル、データ構造などを単独で又は組み合わせて含んでもよい。前記記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

上述したように、実施形態が限定された実施形態と図面によって説明されたが、当該技術分野における通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順序で行われてもよいし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わせてもよいし、他の構成要素又は均等物によって代替、置換されても適切な結果が達成され得る。

従って、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

Claims (28)

1. 表示パネル及び複数のレンズアレイを含むタイルドディスプレイの３Ｄ映像の補正方法であって、
   前記表示パネルに表示された複数の構造光映像を取得するステップと、
   前記複数の構造光映像から撮影部の光心を通過する光線に対応するＰＯＲピクセルをレンズ境界に基づいて所定の複数個抽出し、抽出された複数のＰＯＲピクセルに基づいて前記タイルドディスプレイの幾何モデルを補正するステップと、
   前記タイルドディスプレイの補正された幾何モデルによって光モデルを生成するステップと、
   前記光モデルを用いて映像をレンダリングするステップと、
   を含む、３Ｄ映像の補正方法。
2. 前記補正するステップは、
   前記複数の構造光映像から前記撮影部の光心を通過する光線に対応する前記ＰＯＲピクセルを抽出するステップと、
   前記抽出されたＰＯＲピクセルを用いて前記タイルドディスプレイの幾何モデルを補正するステップと、
   を含む、請求項１に記載の３Ｄ映像の補正方法。
3. 前記抽出するステップは、前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成して、前記対応マップを用いて前記ＰＯＲピクセルを抽出するステップを含む、請求項２に記載の３Ｄ映像の補正方法。
4. 前記抽出するステップは、
   前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成するステップと、
   前記対応マップを勾配フィルタを介してフィルタリングして前記複数のレンズアレイに含まれたレンズの境界を抽出するステップと、
   前記抽出された境界によって前記複数の構造光映像から第１ＰＯＲピクセルを抽出するステップと、
   前記第１ＰＯＲピクセルに基づいて前記複数のレンズアレイのそれぞれの構造によって第２ＰＯＲピクセルを抽出するステップと、
   前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルとの個数の合計が予定個数に到達したか否かを判断し、判断結果に応じて前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルとを前記抽出されたＰＯＲピクセルとして送信するステップと、
   を含む、請求項２に記載の３Ｄ映像の補正方法。
5. 前記抽出されたＰＯＲピクセルを用いて前記タイルドディスプレイの幾何モデルを補正するステップは、前記抽出されたＰＯＲピクセルを用いて前記複数のレンズアレイの前記表示パネルに対する回転及び並進パラメータを算出し、前記算出された回転及び並進パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するステップを含む、請求項２に記載の３Ｄ映像の補正方法。
6. 前記抽出されたＰＯＲピクセルを用いて前記タイルドディスプレイの幾何モデルを補正するステップは、
   前記複数のレンズアレイの平面に定義された座標系と前記表示パネルの平面に定義された座標系との間の回転及び変換を２Ｄ回転及び変換に変換するステップと、
   前記抽出されたＰＯＲピクセルに基づいて前記撮影部の光心座標を算出するステップと、
   前記２Ｄ回転及び変換、前記光心座標に基づいて前記回転及び変換パラメータを推定するステップと、
   前記回転及び変換パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するステップと、
   を含む、請求項２に記載の３Ｄ映像の補正方法。
7. 前記生成するステップは、
   前記タイルドディスプレイの補正された幾何モデルを用いて前記複数のレンズアレイに含まれた各レンズの前記表示パネルに対する位置を算出するステップと、
   観察平面を指定して、前記観察平面から観察中心を決定するステップと、
   前記映像のピクセル座標系を生成して、前記ピクセル座標系に基づいてマッピングマトリックスを生成するステップと、
   前記位置、前記観察中心、及び前記マッピングマトリックスに基づいて前記表示パネルの各ピクセルに対応するレンズ中心にマッピングして前記光モデルを生成するステップと、
   を含む、請求項１に記載の３Ｄ映像の補正方法。
8. 前記表示パネルに対応する平面と前記レンズアレイに対応する平面とを用いて前記光モデルを表現するステップをさらに含む、請求項７に記載の３Ｄ映像の補正方法。
9. 前記第２ＰＯＲピクセルを抽出するステップは、
   前記第１ＰＯＲピクセルに基づいて前記第２ＰＯＲピクセルの位置を予測するステップと、
   前記予測された位置を中心に検索ウィンドウを決定するステップと、
   前記検索ウィンドウに含まれたピクセルに対してローカル勾配振幅ヒストグラムに基づいたエネルギー関数値を生成するステップと、
   前記エネルギー関数値に基づいて前記ピクセルから前記第２ＰＯＲピクセルを抽出するステップと、
   を含む、請求項４に記載の３Ｄ映像の補正方法。
10. 表示パネル及び複数のレンズアレイを含むタイルドディスプレイと、
    前記表示パネルに表示された複数の構造光映像を取得して、前記複数の構造光映像から撮影部の光心を通過する光線に対応するＰＯＲピクセルをレンズ境界に基づいて所定の複数個抽出し、抽出された複数のＰＯＲピクセルに基づいて前記タイルドディスプレイの幾何モデルを補正し、前記タイルドディスプレイの補正された幾何モデルによって光モデルを生成して、前記光モデルを用いて映像をレンダリングするイメージ処理装置と、
    を含む、表示システム。
11. 前記イメージ処理装置は、
    前記複数の構造光映像を取得する前記撮影部と、
    前記複数の構造光映像に基づいて前記複数のレンズアレイの表示パネルに対する回転及び並進パラメータを算出して、前記回転及び並進パラメータを用いて前記タイルドディスプレイの幾何モデルを補正する補正部と、
    前記タイルドディスプレイの補正された幾何モデルによって前記光モデルを生成する光モデル生成部と、
    前記光モデルを用いて前記映像をレンダリングするレンダリング部と、
    を含む、請求項１０に記載の表示システム。
12. 前記補正部は、
    前記複数の構造光映像から前記撮影部の光心を通過する光線に対応する前記ＰＯＲピクセルを抽出するＰＯＲピクセル抽出部と、
    前記抽出されたＰＯＲピクセルを用いて前記回転及び並進パラメータを算出して、前記回転及び並進パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するレンズアレイ補正部と、
    を含む、請求項１１に記載の表示システム。
13. 前記ＰＯＲピクセル抽出部は、前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成し、前記対応マップを用いて前記ＰＯＲピクセルを抽出する請求項１２に記載の表示システム。
14. 前記ＰＯＲピクセル抽出部は、
    前記複数の構造光映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成するピクセル分析部と、
    前記対応マップを勾配フィルタを介してフィルタリングして前記複数のレンズアレイに含まれたレンズの境界を抽出するエッジ抽出部と、前記抽出された境界と前記複数のレンズアレイのそれぞれとの構造によって第１ＰＯＲピクセルと第２ＰＯＲピクセルを抽出して、前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルとの個数の合計が予定個数に到達したか否かを判断し、判断結果に応じて前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルを前記抽出されたＰＯＲピクセルとして抽出するピクセル抽出部と、
    を含む、請求項１２に記載の表示システム。
15. 前記レンズアレイ補正部は、
    前記複数のレンズアレイの平面に定義された座標系と前記表示パネルの平面に定義された座標系との間の回転及び変換を２Ｄ回転及び変換に変換する変換部と、
    前記抽出されたＰＯＲピクセルに基づいて前記撮影部の光心座標を算出する光心算出部と、
    前記２Ｄ回転及び変換、前記光心座標に基づいて前記回転及び変換パラメータを推定して、前記回転及び変換パラメータを用いて前記タイルドディスプレイの幾何モデルを補正するパラメータ推定部と、
    を含む、請求項１２に記載の表示システム。
16. 表示パネル及び複数のレンズアレイを含むタイルドディスプレイの３Ｄ映像を補正するための装置であって、イメージ処理装置を含み、
    前記イメージ処理装置は、
    撮影部によって前記表示パネルから取得された複数の映像を受信し、
    前記複数の映像から前記撮影部の光心を通過する光線に対応するＰＯＲピクセルをレンズ境界に基づいて所定の複数個抽出し、抽出された複数のＰＯＲピクセルに基づいて前記タイルドディスプレイの幾何モデルを補正し、
    前記タイルドディスプレイの補正された幾何モデルによって光モデルを生成し、
    前記光モデルを用いて映像をレンダリングして、
    前記複数の映像は、前記表示パネルに所望するイメージパターンを含む装置。
17. 前記イメージ処理装置は、前記複数の映像から前記撮影部の光心を通過する光線に対応する前記ＰＯＲピクセルを抽出し、前記抽出されたＰＯＲピクセルを用いて前記タイルドディスプレイの幾何モデルを補正する、請求項１６に記載の装置。
18. 前記イメージ処理装置は、前記複数の映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成して、前記対応マップを用いて前記ＰＯＲピクセルを抽出する、請求項１７に記載の装置。
19. 前記イメージ処理装置は、
    前記複数の映像を復号化して前記表示パネルのピクセルと前記撮影部のピクセルとの間の対応マップを生成し、
    前記対応マップを勾配フィルタを介してフィルタリングして前記複数のレンズアレイに含まれたレンズの境界を抽出し、
    前記抽出された境界によって前記複数の映像から第１ＰＯＲピクセルを抽出し、
    前記第１ＰＯＲピクセルと前記複数のレンズアレイのそれぞれとの構造に基づいて第２ＰＯＲピクセルを抽出し、
    前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルとの個数の合計が予定個数に到達したか否かを判断し、判断結果に応じて前記第１ＰＯＲピクセルと前記第２ＰＯＲピクセルを前記抽出されたＰＯＲピクセルとして送信する、請求項１７に記載の装置。
20. 前記イメージ処理装置は、前記抽出されたＰＯＲピクセルを用いて前記複数のレンズアレイの前記表示パネルに対する回転及び並進パラメータを算出し、前記算出された回転及び並進パラメータを用いて前記タイルドディスプレイの幾何モデルを補正する、請求項１７に記載の装置。
21. 前記イメージ処理装置は、
    前記複数のレンズアレイの平面に定義された座標系と前記表示パネルの平面に定義された座標系との間の回転及び変換を２Ｄ回転及び変換に変換し、
    前記抽出されたＰＯＲピクセルに基づいて前記撮影部の光心座標を算出し、
    前記２Ｄ回転及び変換と前記光心座標に基づいて前記回転及び変換パラメータを推定して、
    前記回転及び変換パラメータを用いて前記タイルドディスプレイの幾何モデルを補正する、請求項１７に記載の装置。
22. 前記イメージ処理装置は、
    前記タイルドディスプレイの補正された幾何モデルを用いて前記複数のレンズアレイに含まれた各レンズの前記表示パネルに対する位置を算出し、
    観察平面を指定して、前記観察平面から観察中心を決定し、
    前記映像のピクセル座標系を生成して、前記ピクセル座標系に基づいてマッピングマトリックスを生成し、
    前記位置、前記観察中心、及び前記マッピングマトリックスに基づいて前記表示パネルの各ピクセルに対応するレンズ中心にマッピングして前記光モデルを生成する、請求項１６に記載の装置。
23. 前記イメージ処理装置は、前記表示パネルに対応する平面と前記レンズアレイに対応する平面とを用いて前記光モデルを表現する、請求項２２に記載の装置。
24. 前記イメージ処理装置は、
    前記第１ＰＯＲピクセルに基づいて前記第２ＰＯＲピクセルの位置を予測し、
    前記予測された位置を中心に検索ウィンドウを決定し、
    前記検索ウィンドウに含まれたピクセルに対してローカル勾配振幅ヒストグラムに基づいたエネルギー関数値を生成して、
    前記エネルギー関数値に基づいて前記ピクセルから前記第２ＰＯＲピクセルを抽出する、請求項１９に記載の装置。
25. 前記イメージ処理装置、前記タイルドディスプレイ、及び前記撮影部との間に情報を通信するための少なくとも１つの有線接続及び無線接続
    をさらに含み、
    前記情報は、前記複数の映像と前記レンダリングされた映像を含む、請求項１６に記載の装置。
26. 前記情報を格納するためのメモリをさらに含む、請求項２５に記載の装置。
27. 前記撮影部は、ピンホールカメラである、請求項１６に記載の装置。
28. 表示パネル及び複数のレンズアレイを含むタイルドディスプレイの３Ｄ映像の補正方法であって、
    撮影部によって前記表示パネルから取得された複数の映像を受信するステップと、
    前記複数の映像から前記撮影部の光心を通過する光線に対応するＰＯＲピクセルをレンズ境界に基づいて所定の複数個抽出し、抽出された複数のＰＯＲピクセルに基づいて前記タイルドディスプレイの幾何モデルを補正するステップと、
    前記タイルドディスプレイの補正された幾何モデルによって光モデルを生成するステップと、
    前記光モデルを用いて映像をレンダリングするステップと、
    を含み、
    前記複数の映像は、前記表示パネルに所望するイメージパターンを含む
    ３Ｄ映像の補正方法。

Images