JP2011078036A - 擬似立体画像作成装置及び擬似立体画像表示システム - Google Patents

Abstract

【課題】入力画像の絵柄の複雑さに応じて立体化の強度を制御することにより、単純な絵柄でエッジをあまり含まない入力画像に対しても、複雑な絵柄で急峻なエッジを多く含む入力画像と同程度の強い立体感が得られる擬似立体画像を作成する。
【解決手段】奥行き推定データ生成部１０１は、非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の第１の評価値を得ると共に、非立体画像の画面内の全領域における画素値の統計量を算定して第２の評価値を得た後、複数の基本奥行きモデルタイプを、第１の評価値に応じた合成比率で合成した合成結果と、非立体画像とから奥行き推定データを生成する。ステレオペア生成部１０２は、非立体画像のテクスチャのシフトを対応部分の奥行き推定データに応じた量だけシフトすると共に、そのシフト量を第２の評価値に応じて制御する。
【選択図】図１

Description

本発明は、擬似的な立体画像を作成する擬似立体画像作成装置及び擬似的な立体画像を表示する擬似立体画像表示システムに関する。

立体画像表示システムにおいて非立体画像の擬似立体視による鑑賞を可能にするために、通常の２次元の静止画もしくは動画、即ち奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない２次元の画像（非立体画像）から擬似的な立体画像を作成することが数多く行われている。

例えば、本発明者により、非立体画像から擬似的な立体画像を作成する擬似立体画像作成装置が特許文献１に開示されている。この特許文献１記載の擬似立体画像作成装置は、２次元の静止画の画像内容からシーンの基本的な奥行き構造を、"経験知からあるタイプのシーン構造が比較的近い可能性が高いので選択する"という程度に推定し、誤判定された場合でも違和感の小さいものを採用する、所謂フェイルセーフの思想に基づき、擬似的な立体画像を作成するものである。

特許第４２１４９７６号公報

しかしながら、上記の特許文献１に記載の従来の擬似立体画像作成装置のように、推定される奥行き構造をもとに作成した擬似立体画像は、同じような設定であっても、一般的に複雑な絵柄で急峻なエッジを多く含む入力画像程強い立体感を得られる傾向があり、単純な絵柄でエッジをあまり含まない入力画像は強い立体感を得られない傾向がある。

本発明は上記の点に鑑みなされたもので、入力画像の絵柄の複雑さに応じて立体化の強度を制御することにより、単純な絵柄でエッジをあまり含まない入力画像に対しても、複雑な絵柄で急峻なエッジを多く含む入力画像と同程度の強い立体感が得られる擬似立体画像を作成し得る擬似立体画像作成装置及び擬似立体画像表示システムを提供することを目的とする。

上記目的を達成するため、本発明の擬似立体画像作成装置は、基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の第１の評価値を得る第１の算定手段と、非立体画像の画面内の全領域における画素値の統計量を算定して第２の評価値を得る第２の算定手段と、記憶手段に記憶されている複数の基本奥行きモデルタイプを、第１の評価値に応じた合成比率で合成する合成手段と、合成手段により合成された合成結果と、供給される非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、非立体画像のテクスチャを奥行き推定データと、第２の評価値に応じてシフトするテクスチャシフト手段と、テクスチャシフト手段から出力された画像信号と、非立体画像とを擬似立体画像信号として出力する出力手段とを有することを特徴とする。

また、上記の目的を達成するため、本発明の擬似立体画像表示ステムは、上記の擬似立体画像作成装置と、その擬似立体画像作成装置から出力された別視点画像の画像信号及び非立体画像の画像信号の一方を右眼画像信号とし他方を左眼画像信号として擬似立体画像を表示する表示装置とを有することを特徴とする。

本発明によれば、単純な絵柄でエッジをあまり含まない入力画像に対しても、複雑な絵柄で急峻なエッジを多く含む入力画像と同程度の強い立体感が得られる擬似立体画像を作成することができる。

本発明の擬似立体画像作成装置の一実施の形態のブロック図である。 本発明の擬似立体画像作成装置における奥行き推定データ生成部の一実施の形態のブロック図である。 図２中の奥行きモデル合成部の一例のブロック図である。 本発明の擬似立体画像作成装置におけるステレオペア生成部の一実施の形態のブロック図である。 図２中の合成比率決定部による合成比率の決定条件の一例の説明図である。 図４中のテクスチャシフト部において用いる所定の比ＳＣ／ＳＣａと乗算係数αとの関係の一例を示す特性図である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本発明になる擬似立体画像作成装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の擬似立体画像作成装置１００は、擬似立体化を行う非立体画像の画像信号が入力される奥行き推定データ生成部１０１と、上記の非立体画像の画像信号、奥行き推定データ生成部１０１で生成された奥行き推定データ、及び制御信号ＣＴＬ１が入力されて、入力画像信号とステレオペアを構成する画像信号を生成して出力するステレオペア生成部１０２とから構成されている。ステレオペア生成部１０２は奥行き推定データ生成部１０１の入力画像信号を右眼画像信号としたとき、ステレオペアを構成する左眼画像信号を生成して出力する。

奥行き推定データ生成部１０１は、非立体画像の入力画像信号の画素値における高域成分の推定を行い、これを制御信号ＣＴＬ１としてステレオペア生成部２０２に入力する。ステレオペア生成部１０２は、この制御信号ＣＴＬ１を基に画像のシフト量、すなわち視差量や両眼視差の輻輳角を制御する。

図２は、奥行き推定データ生成部１０１の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の奥行き推定データ生成部１０１は、擬似立体化を行う非立体画像の画像信号が入力される画像入力部２０１と、画像入力部２０１からの非立体画像の上部約２０％の高域成分評価値を計算により求める算定手段である上部の高域成分評価部２０２と、画像入力部２０１からの非立体画像の下部約２０％の高域成分評価値を計算により求める算定手段である下部の高域成分評価部２０３と、画像入力部２０１からの非立体画像の全体の高域成分評価値を計算により求める算定手段である全体の高域成分評価部２０４とを有する。

また、奥行き推定データ生成部１０１は、上部の高域成分評価値及び下部の高域成分評価値の各値に応じて基本奥行きモデルタイプＡ、基本奥行きモデルタイプＢ及び基本奥行きモデルタイプＣの合成比率を決定する合成比率決定部２０５と、各々基本奥行きモデルタイプＡ、基本奥行きモデルタイプＢ及び基本奥行きモデルタイプＣの画像を記憶する３つの記憶手段であるフレームメモリ２０７、２０８及び２０９と、下部の高域成分評価値及び上部の高域成分評価値の各値に応じて合成比率決定部２０５で決定された合成比率により、フレームメモリ２０７、２０８及び２０９からの３種類の基本奥行きモデル画像を合成する奥行きモデル合成部２０６と、奥行きモデル合成部２０６により得られた合成基本奥行きモデル画像に、画像入力部２０１の基になる画像の三原色信号（ＲＧＢ信号）のうちの赤色信号（Ｒ信号）をある乗数を乗じて重畳し最終的な奥行き推定データを得る重み付け部２１０と、加算器２１１とを有する。なお、合成比率決定部２０５と奥行きモデル合成部２０６により合成手段が構成され、重み付け部２１０と加算器２１１により奥行き推定データ生成手段が構成される。

高域成分評価部２０４は、上部の高域成分評価部２０２及び下部の高域成分評価部２０３が画像入力部２０１からの非立体画像の上部及び下部の約２０％の評価を行うのに対して、画面全体の評価を行って、その画像全体の複雑さを評価する。ここでは、評価領域が画面全域となるのみであり、評価手段は上部の高域成分評価部２０２及び下部の高域成分評価部２０３と同様の計算方法により求めることも可能である。また、全体の高域成分評価部２０４は、上部の高域成分評価部２０２及び下部の高域成分評価部２０３と共通の処理モジュール利用の可能性があることから、これらの評価部２０２、２０３、２０４を奥行き推定データ生成部１０１の内部においているが、外部に設けて処理しても構わない。

図３は、奥行きモデル合成部２０６の一例の構成を示す。同図に示すように、奥行きモデル合成部２０６は、合成比率決定部２０５により決定された各基本奥行きモデルタイプの合成比率ｋ１、ｋ２、ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を、フレームメモリ２０７、２０８、２０９からの基本奥行きモデルタイプＡ、Ｂ、Ｃの値とを乗算器２０６１、２０６２、２０６３において別々に乗算し、それら３つの乗算結果を加算器２０６４で加算して、得られた加算結果を加算器２１１へ出力する構成である。

上記の基本奥行きモデルタイプＡ〜Ｃは、それぞれ基本となる複数のシーン構造のそれぞれについて奥行き値を示す。すなわち、上記の基本奥行きモデルタイプＡは、球面状の凹面による奥行きモデルで、多くの場合に、この基本奥行きモデルタイプＡの画像が使用される。また、上記の基本奥行きモデルタイプＢは、基本奥行きモデルタイプＡの上部を球面でなく、アーチ型の円筒面に置き換えたもので、上部を円筒面（軸は垂直方向）で下部を凹面（球面）としたモデルである。更に、上記の基本奥行きモデルタイプＣは、上部を平面とし、下部をその平面から連続し、下に行くほど手前側に向かう円筒面状としたもので、上部が平面、下部が円筒面（軸は水平方向）としたモデルである。

図４は、図１中のステレオペア生成部１０２の一実施の形態のブロック図を示す。同図に示すように、本実施の形態のステレオペア生成部１０２は、奥行き推定データ生成部１０１から奥行き推定データと制御信号ＣＴＬ１とが入力され、かつ、奥行き推定データ生成部１０１に入力される非立体画像の画像信号が分岐して入力され、テクスチャシフト手段であるテクスチャシフト部３０１と、オクルージョン補償部３０２と、ポスト処理部３０３により構成される。なお、オクルージョン補償部３０２とポスト処理部３０３により出力手段が構成される。

テクスチャシフト部３０１は、奥行き推定データを基に別視点の画像を生成する。例えば、原画の画像信号を基準として左に視点移動した画像を生成する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側（鼻側）に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。 オクルージョン補償部３０２は、シフトを行うことによる画像中の位置関係変化によりテクスチャの存在しない部分、すなわちオクルージョンが発生する場合があるため、入力画像の対応部分で充填する、又は分割された画像のテクスチャの統計量に基づき公知の方法等で、テクスチャシフト部３０１からの画像信号に対して、オクルージョンを補償する。

ポスト処理部３０３は、オクルージョン補償部３０２によりオクルージョン補償された画像信号に対して、平滑化などの公知のポスト処理を施して、それ以前の処理において発生したノイズを軽減した画像信号、例えば左眼画像信号を出力する。

次に、本実施の形態の擬似立体画像作成装置１００の動作について説明する。

奥行き推定データ生成部１０１内の画像入力部２０１は、擬似立体化を行う非立体画像の画像信号を取り込み、その画像信号を上部の高域成分評価部２０２、下部の高域成分評価部２０３及び全体の高域成分評価部２０４に供給すると共に、画像信号中の赤色信号（Ｒ信号）を重み付け部２１０に供給する。上記の画像信号は、量子化された画像データである。

上部の高域成分評価部２０２は、入力された非立体画像の上部約２０％の画像領域を、水平方向８画素、垂直方向８画素のブロックに分割し、各ブロック内の点（ｉ，ｊ）における輝度信号をＹ（ｉ，ｊ）としたとき、各ブロックについて次式の演算を行う。

続いて、上部の高域成分評価部２０２は、上部約２０％の画像領域における全てのブロックの上式で得られた加算結果の平均値を上部の高域成分評価値として算出する。

下部の高域成分評価部２０３と全体の高域成分評価部２０４も上記の上部高域成分評価部２０２とは評価対象の画像領域が異なるだけで、下部の高域成分評価部２０３は入力された非立体画像の下部約２０％の画像領域を前記のサイズのブロックに分割し、上式により得られた各ブロックの輝度信号の加算結果の平均値を下部高域成分評価値として算出する。全体の高域成分評価部２０４は入力された非立体画像の全画像領域を前記のサイズのブロックに分割し、上式により得られた各ブロックの輝度信号の加算結果の平均値を全体の高域成分評価値として算出する。全体の高域成分評価値は、制御信号ＣＴＬ１としてステレオペア生成部１０２内のテクスチャシフト部３０１へ出力される。

合成比率決定部２０５は、上記の上部の高域成分評価値と下部の高域成分評価値の各値に応じて、所定の合成比率の決定条件に基づいて前記合成比率ｋ１、ｋ２、ｋ３を決定する。

図５は、合成比率の決定条件の一例を示す。図５は、横軸に示す上部の高域成分評価値と、縦軸に示す下部の高域成分評価値の各値と、予め指定された値ｔｐｓ、ｔｐｌ、ｂｍｓ、ｂｍｌとの兼ね合いにより合成比率が決定されることを示す。図５において、複数のタイプが記載されている領域については、高域成分評価値に応じて線形に合成される。

例えば、図５において、「ｔｙｐｅＡ／Ｂ」の領域では、下記のように（上部の高域成分評価値）と（下部の高域成分評価値）の比率でｔｙｐｅＡとｔｙｐｅＢの比率が決定され、ｔｙｐｅＣは比率の決定には用いられない。なお、図５に示す「ｔｙｐｅＡ」は上述の基本奥行きモデルタイプＡ、「ｔｙｐｅＢ」は上述の基本奥行きモデルタイプＢ、「ｔｙｐｅＣ」は上述の基本奥行きモデルタイプＣに対応する。

ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−ｔｐｓ）：（ｔｐ１−下部の高域成分評価値）：０
また、図５において、「ｔｙｐｅＡ／Ｂ／Ｃ」の領域では、ｔｙｐｅＡ／ＢとｔｙｐｅＡ／Ｃとの平均を採用して、下記のようにｔｙｐｅＡ／Ｂ／Ｃの値が決定される。

ｔｙｐｅＡ：ｔｙｐｅＢ：ｔｙｐｅＣ
＝（上部の高域成分評価値−tps）＋（下部の高域成分評価値−bms）：（tpl−
上部の高域成分評価値）：（bml−下部の高域成分評価値）
なお、図３における合成比率ｋ１、ｋ２、ｋ３は次式で算出される。

ｋ１＝ｔｙｐｅ１／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ２＝ｔｙｐｅ２／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
ｋ３＝ｔｙｐｅ３／（ｔｙｐｅＡ＋ｔｙｐｅＢ＋ｔｙｐｅＣ）
図３に示す奥行きモデル合成部２０６は、上記のように合成比率決定部２０５で決定された合成比率ｋ１、ｋ２、ｋ３を乗算器２０６１、２０６２、２０６３において、フレームメモリ２０７、２０８、２０９からの基本奥行きモデルタイプＡ、Ｂ、Ｃの値とを別々に乗算し、それら３つの乗算結果を加算器２０６４で加算合成して、得られた加算結果を図２に示す加算器２１１へ出力する。

このように、本実施の形態では、基本となるシーンの奥行き構造モデルとして３種類の基本奥行きモデルを用意し、基になる画像の輝度信号の高域成分を画面上部及び画面下部について算定し、基本奥行きモデルタイプＡを基本にしながらも、画面上部の高域成分が少ない場合には上部に空若しくは平坦な壁が存在するシーンと認識して上部の奥行きを深くした基本奥行きも出るタイプＢの比率を増加させ、画面下部の高域成分が少ない場合には下部に平坦な地面若しくは水面が手前に連続的に広がるシーンと認識して、上部を遠景として平面近似し、下部については下に行くほど奥行きの小さくなる基本奥行きも出るタイプＣの比率を増加させるといった処理を行うようにしたため、どのような画像に対しても違和感を感じさせないと同時に、できる限り現実に近いシーン構造の決定を行うことが可能になる。

再び図２に戻って説明する。重み付け部２１０は、画像入力部２０１により入力された基になる非立体画像の画像信号（これは三原色信号である）のうちの赤色信号（Ｒ信号）に対して所定の重み付け係数を乗算して加算器２１１へ出力する。加算器２１１は、重み付け部２１０からのＲ信号と奥行きモデル合成部２０６からの合成信号とを加算合成して奥行き推定データを生成して出力する。

Ｒ信号を使用する理由の一つは、Ｒ信号の大きさが、順光に近い環境で、かつ、テクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。更に、もう一つの理由として、赤色及び暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識されるという特徴があり、この奥行きを手前に配置することで立体感を強調することが可能であるということである。

なお、赤色及び暖色が前進色であるのに対し、青色は後退色であり、暖色系よりも奥行きが奥に認識される特徴がある。よって、青色の部分を奥に配置することによっても立体感の強調は可能である。更に双方を併用して、赤色の部分を手前、青色の部分を奥に配置することによって立体感を強調することも可能である。

奥行き推定データ生成部１０１内の加算器２１１から出力された奥行き推定データは、図１及び図４に示したステレオペア生成部１０２に供給される。図４において、ステレオペア生成部１０２内のテクスチャシフト部３０１は、奥行き推定データ生成部１０１に入力される画像信号と同一の非立体画像の画像信号が入力され、その入力画像信号の別視点の画像信号を上記の奥行き推定データを基に生成する。

いま、入力画像信号に対する奥行き推定データを８ビットの値Ｙｄで表すものとする。テクスチャシフト部３０１は、この値Ｙｄについて小さい値、すなわち奥に位置するものから順に、その値に対応する部分の入力画像信号のテクスチャをα・（Ｙｄ−ｍ）／ｎ画素だけ右にシフトする。ここで、ｍは画面上の奥行きに表示する奥行きデータであり、これより大きな値のＹｄに関しては画面より手前に、小さな値のＹｄに関しては奥に表示される。また、ｎは立体感を調整するパラメータである。更に、αは制御信号ＣＴＬ１により決定される乗算係数である。

この乗算係数αは次のようにして決定される。制御信号ＣＴＬ１の信号レベルをＳＣ、主観的に決定した中程度に複雑な絵柄の画像信号入力時に得られる制御信号ＣＴＬ１の固定の信号レベルをＳＣａとしたとき、テクスチャシフト部３０１は、比ＳＣ／ＳＣａの値に応じて、図６に示す特性を参照して乗算係数αを決定する。なお、制御信号の固定の信号レベルＳＣａは、例えば主観的に決定した中程度に複雑な絵柄の画像信号により得られる値とする。

図６に示す特性は、横軸を比ＳＣ／ＳＣａ、縦軸を乗算係数αにとったとき、比ＳＣ／ＳＣａの値が「０.５」未満のとき乗算係数αが「１.５」、比ＳＣ／ＳＣａの値が「１」以上のとき乗算係数αが「１」、比ＳＣ／ＳＣａの値が「０.５」以上「１」未満のとき乗算係数αは比ＳＣ／ＳＣａの値が大になるほど「０.５」から「１」へ非直線的に減少する特性である。

これにより、テクスチャシフト部３０１は、比ＳＣ／ＳＣａの値が「１」以上になるような入力画像信号が中程度以上に複雑な絵柄の画像の場合には、乗算係数αを「１」に設定し、入力画像信号のテクスチャを（Ｙｄ−ｍ）／ｎ画素だけ右にシフトする。また、テクスチャシフト部３０１は、比ＳＣ／ＳＣａの値が「０.５」以上「１」未満となるような、入力画像信号が単純な絵柄の画像の場合には、絵柄が単純になるほど（ＳＣ／ＳＣａの値が小さくなるほど）、乗算係数αを「１」より大で「１.５」に漸次近付く値に設定し、入力画像信号のテクスチャを右にシフトするシフト量α・（Ｙｄ−ｍ）／ｎ画素を漸次増大させる。シフト量は視差に関係するので、上記のシフト量の制御により単純な絵柄でエッジをあまり含まない入力画像に対しても、複雑な絵柄で急峻なエッジを多く含む入力画像と同程度の立体感が得られる。

ただし、比ＳＣ／ＳＣａの値が「０.５」未満になるような入力画像信号が極めて単純な絵柄の場合は、テクスチャシフト部３０１は、シフト量を１.５・（Ｙｄ−ｍ）／ｎ画素に制限し、ステレオ画像として過剰な視差を与えられて破綻することを防いでいる。

また、動画の処理においては、フレーム相関性を利用して、前フレーム・フィールドで算定した乗算係数αを使用することができる。これにより、現フレーム・フィールドの全体の高域評価を待って以後の処理を行う必要がなくなり、フレーム・フィールドメモリが不要になる上、処理による遅延を小さくすることができる。
奥行き推定データ生成部１０１及びステレオペア生成部１０２に入力される右眼画像信号とポスト処理部３０３より出力された左眼画像信号とにより、ステレオペアが構成される。そして、これらの右眼画像信号と左眼画像信号は、図示しないステレオ表示装置に供給されて擬似立体画像として表示される。ここで、上記のステレオ表示装置とは、偏光メガネを用いたプロジェクションシステム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステムもしくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、パララックスバリア方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各画像に対応した２台のプロジェクタによるプロジェクションシステムを含む。

このように、本実施の形態によれば、全体の高域成分評価部２０４において、入力された非立体画像の全画像領域を所定サイズの複数のブロックに分割し、各ブロック内の各画素を対象画素としたとき、数１の数式で示したように、対象画素毎にその対象画素に対して水平及び垂直の両方向において１画素おきの画素との各輝度値の差の絶対値を積算し、得られた各ブロックの輝度積算値の平均値を全体の高域成分評価値として算出する。そして、本実施の形態によれば、その全体の高域成分評価値に応じて、テクスチャシフト部３０１におけるテクスチャシフト量（つまり、立体化の強度）を可変制御するようにしたため、単純な絵柄でエッジをあまり含まない入力画像に対しても、複雑な絵柄で急峻なエッジを多く含む入力画像と同程度の強い立体感が得られる擬似立体画像を作成することができる。

なお、本発明は上記の実施の形態に限定されるものではなく、例えば、立体感の画像高域成分による制御は上記のようなシフト量への乗算による制御に限らず、シフト量への加減や、前記パラメータｍを制御することによる飛び出し感の制御、図２の重み付け部２１０の制御などによって実現することも可能である。

また、上記の実施の形態では、右眼画像信号を入力画像信号、左眼画像信号を作成された画像信号としたステレオペアを作成しているが、左眼画像信号を入力画像信号、右眼画像信号を作成された画像信号としたステレオペアとしてもよく、更には右に視点移動した別視点画像と左に視点移動した別視点画像とを用いてステレオペアを構成することも可能である。

また、上記の実施の形態では２視点のステレオペアの画像信号による擬似立体画像信号を作成するように説明したが、３視点以上の表示が可能な表示装置を用いた場合、その視点数に応じた数の別視点画像信号から上記の実施の形態と同様の方法により擬似立体画像信号を作成して表示する多視点立体映像表示システムの構築も可能である。

また、本実施の形態の擬似立体画像表示システムにおいては、音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない映像コンテンツについては、映像にふさわしい環境音を付加するような態様のものが考えられる。

更に、本発明は、図１乃至図４の構成の擬似立体画像作成装置をコンピュータのソフトウェアによって実現する擬似立体画像作成用プログラムも包含するものである。この場合、擬似立体画像作成用プログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもよい。

１００ 擬似立体画像作成装置
１０１ 奥行き推定データ生成部
１０２ ステレオペア生成部
２０１ 画像入力部
２０２ 上部の高域成分評価部
２０３ 下部の高域成分評価部
２０４ 全体の高域成分評価部
２０５ 合成比率決定部
２０６ 奥行きモデル合成部
２０７〜２０９ フレームメモリ
２１０ 重み付け部
２１１、２０６４ 加算器
３０１ テクスチャシフト部
３０２ オクルージョン補償部
３０３ ポスト処理部
２０６１〜２０６３ 乗算器

Claims (2)

1. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、
   奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の第１の評価値を得る第１の算定手段と、
   前記非立体画像の画面内の全領域における画素値の統計量を算定して第２の評価値を得る第２の算定手段と、
   前記記憶手段に記憶されている前記複数の基本奥行きモデルタイプを、前記第１の評価値に応じた合成比率で合成する合成手段と、
   前記合成手段により合成された合成結果と、供給される前記非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、
   前記非立体画像のテクスチャを前記奥行き推定データと、前記第２の評価値に応じてシフトするテクスチャシフト手段と、
   前記テクスチャシフト手段から出力された画像信号と、前記非立体画像とを擬似立体画像信号として出力する出力手段と
   を有することを特徴とする擬似立体画像作成装置。
2. 基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルタイプを記憶する記憶手段と、
   奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の画面内の複数の所定領域における画素値の統計量を算定して複数の第１の評価値を得る第１の算定手段と、
   前記非立体画像の画面内の全領域における画素値の統計量を算定して第２の評価値を得る第２の算定手段と、
   前記記憶手段に記憶されている前記複数の基本奥行きモデルタイプを、前記第１の評価値に応じた合成比率で合成する合成手段と、
   前記合成手段により合成された合成結果と、供給される前記非立体画像とから奥行き推定データを生成する奥行き推定データ生成手段と、
   前記非立体画像のテクスチャを前記奥行き推定データと前記第２の評価値に応じてシフトするテクスチャシフト手段と、
   前記テクスチャシフト手段から別視点画像として出力された画像信号と、前記非立体画像とを擬似立体画像信号として出力する出力手段と、
   前記出力手段から出力された前記別視点画像の画像信号及び前記非立体画像の画像信号の一方を右眼画像信号とし他方を左眼画像信号として擬似立体画像を表示する表示装置と
   を有することを特徴とする擬似立体画像表示システム。

Images