JP3934211B2 - 立体cg動画像生成装置 - Google Patents

立体cg動画像生成装置 Download PDF

Info

Publication number
JP3934211B2
JP3934211B2 JP16637897A JP16637897A JP3934211B2 JP 3934211 B2 JP3934211 B2 JP 3934211B2 JP 16637897 A JP16637897 A JP 16637897A JP 16637897 A JP16637897 A JP 16637897A JP 3934211 B2 JP3934211 B2 JP 3934211B2
Authority
JP
Japan
Prior art keywords
motion
camera
subject
parallax
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP16637897A
Other languages
English (en)
Other versions
JPH1074269A (ja
Inventor
謙也 魚森
淳 森村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP16637897A priority Critical patent/JP3934211B2/ja
Publication of JPH1074269A publication Critical patent/JPH1074269A/ja
Application granted granted Critical
Publication of JP3934211B2 publication Critical patent/JP3934211B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、3次元CG動画像を生成するもので、カメラや被写体の動き、運動視差の大きさとディスプレイ監視条件により、観察者にとって適切な動きや奥行き感覚を与えることができる立体CG動画像生成装置に関するものである。
【0002】
【従来の技術】
従来の立体CG画像生成装置は、例えば図9に示すようなものがある。これは、被写体の3次元形状をサーフェスモデルで記述した3次元構造情報(被写体を複数の小面(ポリゴン)で近似し、各ポリゴンに含まれる頂点の3次元位置と、各ポリゴンにより合成される面、稜線とを定義した情報)を入力とし、これで定義された被写体をワールド座標系に配置する。これを仮想的なカメラで撮像した時にフイルムに投影される被写体の2次元位置を投影変換部1,2で計算し、更にレンダリング部3,4で各ポリゴン内部の画像の輝度と色(例えば、R、G、Bの値)を被写体の材質や光源の種類、3次元位置により決定する。
【0003】
例えば、図10(a)に示すような多面体の形状モデルは、図10(b)に示すように、頂点V1〜V8の3次元座標、形状モデルのデータ構造(面、稜線の構成)で記述され、この情報で記述される被写体を図11(a)に示すようなワールド座標系に配置する。
【0004】
すなわち、カメラの視点Eから見た被写体のスクリーン50に投影される像(頂点)を計算する。そして、各頂点により構成される面、稜線のスクリーン上での位置・輝度・色を計算して出力画像を得る。
【0005】
この時、立体画像であるので、少なくとも2視点での画像を計算する必要があるが、図11(b)で示されるように、カメラのパラメータは、カメラCL、CRの視点位置、複数のカメラの間隔Wc、輻輳撮像の時はカメラの輻輳点Pの3次元座標、カメラの焦点距離f( または画角(angle of field of view)θ)で記述される。
【0006】
以上の説明は基本的に静止CG画像を生成するものであるが、カメラや被写体が動き、動画CG画像を生成する場合には順次カメラ・被写体の動きのパラメータを変更することにより、一枚一枚画像を生成していく。このシーケンスデータを保存し供給するのがカメラシーケンス発生部5、オブジェクトシーケンス発生部6である。
【0007】
【発明が解決しようとする課題】
しかしながら、上記のような従来の立体CG画像生成装置では、複数のカメラの動きパラメータや被写体の動きパラメータは、その値が不適切だと観察者の視覚機能にマッチしない場合が多々発生し、観察者に負担をかける場合がある。
【0008】
たとえば、人間が違和感なく画面の動きを知覚できるためには、対象物の速度はある程度の速さ以下が望ましい。また、運動視差(複数対象物間の相対的速度)による奥行き感覚が適切に得られるためには、相対速度にも制限がある。この条件は、表示する画像の大きさや視距離にも関係する。これらが常に適切に設定されないと、違和感や疲労感、ひいては眼精疲労を誘発するような不適切な画像を生成してしまう、という問題点があった。
【0009】
本発明は、従来のこのような立体CG画像生成装置の課題を考慮し、観察者にとってどのような視距離でも、どのような大きさの画面でも自動的に自然で見やすい立体画像を生成できる立体CG動画像生成装置を提供することを目的とするものである。
【0010】
【課題を解決するための手段】
本発明の立体CG動画像生成装置は、たとえば、被写体の3次元形状を記述する3次元構造情報に基づいて、カメラから見た時の2次元投影画像を生成する投影変換部と、
前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
前記投影変換部の投影変換を規定しこれを変化させることにより動画像を生成できるカメラパラメータを発生するカメラシーケンス発生部と、
前記3次元構造情報、前記投影変換部又は前記レンダリング部の出力と、前記カメラシーケンス発生部の出力とに基づいて、表示される被写体の動き及び/又は運動視差を計算する運動計算部と、
少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記カメラの移動速度及び/又はパンニング速度に関して前記カメラパラメータを修正するためのカメラパラメータ修正部と、
を備える。
【0011】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
【0012】
図1は、本発明の第1の実施の形態における立体CG画像生成装置の構成図を示すものである。図1において、1、2は、3次元構造情報を入力し、変換を行う投影変換部、3、4はその投影変換部1、2からの出力をレンダリングするレンダリング部、5はカメラシーケンス発生部、6はオブジェクトシーケンス発生部であり、これらは従来の立体CG画像生成装置のものと同じものである。
【0013】
本実施の形態が従来の立体CG画像生成装置と異なる点は、運動視差計算部7、運動視差判断部8、カメラパラメータ修正部9、オブジェクト動作修正部10が存在する点である。
【0014】
以上のように構成された本実施の形態の立体CG動画像生成装置について、以下その動作を説明する。
【0015】
まず、被写体の3次元形状をサーフェスモデルで記述した3次元構造情報が投影変換部1、2と運動視差計算部7に入力される。CG制作者は、レンダリング部3、4に接続された立体画像表示装置100を見て出力画像を確認し、且つ被写体と仮想カメラの位置関係を表示する画面101も見ながら、好みに合わせて、被写体と仮想カメラ(左右カメラの位置の中点)をワールド座標系の適当な位置に配置し、それらの方向を決定する。また、カメラを移動させてシーンをダイナミックに表現する場合にはカメラの移動データ(カメラ位置と方向の時間的変化データ)をカメラシーケンス発生部5に記憶させる。また、被写体が運動する場合にはオブジェクトシーケンスデータ発生部6に被写体の動き情報などを記憶させる(図3参照)。
【0016】
ここで左右のカメラ位置は、仮想カメラ位置Vを中心としてX軸方向に±Wc/2 の位置に配置される(図2参照)。カメラの焦点距離f、参照点Prと併せてカメラシーケンスデータとして記憶される(図2(a)、輻輳撮影の場合)。カメラが平行撮影の場合は、図2(b) に示すように、仮想カメラ位置Vが参照点Prを向き、これに左右のカメラが平行になるように設定される。カメラシーケンスデータの一例を図3に示す。仮想視点V、参照点Pr、レンズの焦点距離f、カメラ間隔Wcの各時刻tiにおける値が定義されている。
【0017】
次に、運動視差計算部7は表示される被写体の動きおよび運動視差を計算する。これについて、図4の例を用いて説明する。図4(a)において、カメラ11が速度Vで右方向に運動し、被写体A,B,Cを撮影しているとする。この時、カメラでとらえられた画像は図4(b)のようになる。即ち、被写体A,B,Cは画面上で左方向に運動する。この時、それぞれの被写体の速度はそれぞれVa、Vb、Vcであり、カメラから遠い被写体ほど速度が小さい。これらの速度は、3次元構造情報とカメラシーケンス発生部5に記憶されたカメラシーケンスデータ、さらに、被写体も運動する場合にはオブジェクトシーケンス発生部6に記憶されたオブジェクトデータにより公知のCGデータ計算手法によって計算される。
【0018】
すなわち、3次元構造情報は頂点座標の情報があるので、これらとカメラパラメータの時間変化であるカメラシーケンスデータから、各頂点の動きを直接計算することができる(図4参照)。また、各ポリゴンの重心位置でのデータで記述することもできる。また、3次元構造情報を用いず、投影変換部1、2またはレンダリング部3、4の出力画像から、既存の画像処理技術(勾配法、マッチング法など)を用いて計算することも可能である。
【0019】
このようにして得られた3次元情報中の各頂点または各ポリゴンの速度ヒストグラムを計算すると、一般的には図5(a)のようになる。この時、被写体自身の動きや回転がある場合があり、そのため速度分布は少し広がりをもつ。これらのピーク位置を計算し、それぞれがほぼ前述のVa、Vb、Vcとなる。これらの値は各被写体毎に記述される。一般的にはヒストグラムのピークのみの情報では被写体毎の速度ピークを分離することは難しいので、あらかじめ3次元構造情報で与えらえれた被写体情報を元に、頂点データを被写体毎に分けておいて、それらの中で速度分布のピークを求めるか、図5(a)のヒストグラム分布から、分布の山を群化し、被写体毎の速度度数ピークを求めてもよい。また、得られた被写体毎の速度Va、Vb、Vcを元にしてそれぞれの被写体間の相対速度(運動視差)を計算する。計算結果は図5(b)のようになり、各被写体間の相対速度分布が得られる。
【0020】
このようにして、図5(a)、(b)のデータを得るために、画像を構成するポリゴンを単位に計算したが、3次元構造情報を用いて、各被写体の動きを、各被写体の中心位置の動きで代表させて計算することもできる。この場合、更に計算量を削減できる。
【0021】
次に、得られた速度ヒストグラムと画像観察条件(視距離、表示画面の大きさ)に基づいて、図1における運動視差判断部8は、生成される動画像の動きと相対運動の大きさが観察者にとって適切かどうか判断する。
【0022】
ここで、被写体の動き速度と人間の動き知覚との関係を、図6(a)に、また、複数の被写体間の相対速度と人間の奥行き知覚量の関係を図6(b)に示す。
【0023】
すなわち、図6(a)は人間の動き知覚特性を、表示される画像の速度と知覚される動き量として示したものである。0から速度が増加すると、知覚される速度は線形に増加するが、表示被写体速度がVeaを越えると減少する。これは人間の運動知覚の限界を示しており、表示被写体速度がVeaを越えると、人間はもはや正しい速度を知覚できなくなっていることを示している。更に速度をあげていくと、速度Vebでは観察者は表示画像が動いていることは知覚できるが、どの程度の速度なのかわからない状態となる。
【0024】
他方、図6(b)は相対速度に対する人間の奥行き知覚の大きさ特性である。相対速度が0から増加するに従って知覚される奥行き量も線形に増加するが、相対速度がVecを越えた後は逆に減少し、最終的にはほとんど知覚される奥行き量は0に近くなってしまう。また、図6(a)、(b)の特性は、表示条件(観察者の表示領域の視野角)によって変化する。視野角が大きい方が許容限界も大きい。これらの特性は、使用者が観察条件を入力することにより選択される。
【0025】
以上の人間の知覚特性を考慮し、運動視差判断部8は表示される画像の動きや運動視差が人間に許容されるように、カメラの速度、カメラから見たときの被写体間の距離を調整するべきかどうか判断する。
【0026】
カメラパラメータ修正部9とオブジェクト動作修正部10における、画像の動きの修正方法は、次のとうりである。例えば運動視差計算部7による計算結果と人間の運動知覚特性が図5(a)のようになっている場合を考える。点線は図6(a)である。この場合、人間の特性は速度で表示され、その単位は角度deg/sであり、運動視差計算部7はドットで表された画像上での動き、運動視差を計算するため、その出力は表示位置座標の速度(ドット数/sまたは仮想的座標値/s)であらわされる。ドットによる速度を実際の観察条件における角度/秒に変換するために、観察者の視距離、画面の大きさのデータが用いられる。画面の上でのドット数相当の長さが視角でいくらになるかが計算される。
【0027】
図5(a)の場合、被写体Bの速度がVeaを越えているため、ほとんど観察者は被写体Bの動きは速すぎて見えない状態である。
【0028】
(A)カメラ修正の場合:
これを防ぐために、カメラパラメータ修正部9はカメラの移動速度を下げ、VBがVea以下になるように修正し、これをカメラシーケンス発生部5に記憶させる。なお、この時、速度が下がるため、最初に記憶された通りの位置までカメラが移動するのに多く時間がかかる。
【0029】
また、図1に示されるように修正前後のカメラシーケンスを操作端末などに表示し、どこがどのように修正されたかを示せば、制作者に使いやすいシステムになる。
【0030】
なお、カメラの速度をどこまで下げるかは、画像制作者の好みの問題もあるため、制作者が速度・運動視差調整データを入力し、基準値であるVeaの方の大きさを変更することにより修正されたカメラの速度が適宜変更され、好みの設定が得られるようにもできる。すなわち、カメラ修正部により修正後のカメラの速度が変化し、画像の速度が変わる。
【0031】
一方、運動視差については、図5(b)に示すようになっている場合、運動視差VB−VCがVecを越えないように、カメラの速度を落とす。
【0032】
なお、カメラの速度をどこまで下げるかは、画像制作者の好みの問題もあるため、制作者が速度・運動視差調整データを入力し、基準値であるVecの方の大きさを変更することにより修正されたカメラの速度が適宜変更され、好みの設定が得られるようにもできる。すなわち、カメラ修正部により修正後のカメラの速度が変化し、画像の相対速度が変わる。
【0033】
(B)オブジェクトシーケンス修正の場合:
また、表示される被写体自身の動き量が速く、これが人間の許容範囲を越える場合にはオブジェクト動作修正部10がオブジェクトの動き速度の最大値VBがVeaを越えないようにオブジェクトの速さを変更し、その結果をオブジェクトシーケンス発生部6に記憶させる。更に、表示される被写体B,Cのカメラからの距離が大きく変化する場合には、それらの被写体の移動量や速度が小さくなるようにそれら被写体の位置(被写体間の距離)や移動速度を修正し、これをオブジェクトシーケンス発生部6に記憶する。
【0034】
また、オブジェクト動作修正部10が、修正前後のオブジェクトシーケンスを表示し、どこがどのように修正されたかを示し、また、このままでは適切な動き・運動視差を表示できないオブジェクトシーケンス部分を表示すれば、制作者にとって使いやすいシステムが実現される。
【0035】
また、図7(a)に示されるように、被写体R、Sが2個あるとき、カメラがPaからPfまで移動する際、常に被写体Sの方向にカメラが向いているような場合を考える。このような場合でも、被写体の運動・運動視差成分を計算し、これが観察者の許容量を超えている場合にはカメラの移動速度を遅くすることにより観察者の視覚特性に合った動画像を生成できる。この場合には運動成分は被写体Rのみが問題となり、被写体Sの運動成分は小さくなる。このような場合に、カメラ中心ではない被写体Rに対して本発明は有効になる。
【0036】
更に、同図(b)のようにカメラは移動しないがカメラがパンニングする場合もある。この場合には生成される画像の運動成分のみが主に発生するが、これが観察者の許容限界を越える場合にはカメラのパンニングの速度を遅くすることによって生成される動画像が観察者の視覚特性に合わせることができる。
【0037】
また、カメラの動きと被写体の動き両方を修正することも可能である。この場合、2つの動きの修正量の組み合わせの割合は、操作者が決定する。たとえば、カメラの動きの制限を本来の50%に押さえ、後は被写体の動きを修正することにより、画像の動き、運動視差の最大の大きさを目標値以下になるようにすることが出来る。
【0038】
以上のように、本実施の形態によれば、カメラの動き、被写体の位置・動きを修正することにより、観察者に対して画像の動き・運動視差が観察者の視覚特性に適合し、違和感のない動画像を生成することができる。
【0039】
図8は、本発明の第2の実施の形態における立体CG画像生成装置の構成図を示すものである。図8において、1、2は投影変換部、3、4はレンダリング部、5はカメラシーケンス発生部、6はオブジェクトシーケンス発生部、7は運動視差計算部、8は運動視差判断部、9はカメラパラメータ修正部、10はオブジェクト動作修正部であり、これらは本発明の第1の実施の形態の立体CG画像生成装置のものと同じものである。本実施の形態が第1の実施の形態の立体CG動画像生成装置と異なる点は、両眼視差計算部11、両眼視差判断部12が追加されている点である。
【0040】
以上のように構成された本実施の形態の立体CG動画像生成装置について、以下その動作を説明する。
【0041】
基本的な動作は本発明の第1の実施の形態の動作と同じである。
【0042】
まず、被写体の3次元形状をサーフェスモデルで記述した3次元構造情報が投影変換部1、2と距離情報抽出部5に入力される。CG制作者は、カメラの移動データ(カメラ位置と方向の時間的変化データ)をカメラシーケンス発生部5に記憶させる。また、被写体が運動する場合にはオブジェクトシーケンスデータ発生部6に被写体の動き情報などを記憶させる(図3参照)。
【0043】
次に、運動視差計算部7は表示される被写体の動きおよび運動視差を計算する。これについて、図4の例を用いて説明する。図4(a)において、カメラ11が速度Vで右方向に運動し、被写体A,B,Cを撮影している。この時、カメラでとらえられた画像は図4(b)のようになる。この時の3次元情報中の各頂点または各ポリゴンの速度ヒストグラムを計算すると、一般的には図5(a)のようになる。これらのピーク位置を計算し、それぞれがほぼ前述のVa、Vb、Vcとなる。これらの値は各被写体毎に記述される。次に、得られた被写体毎の速度Va、Vb、Vcを元にしてそれぞれの被写体間の相対速度を計算する。計算結果は図5(b)のようになり、各被写体間の相対速度分布が得られる。
【0044】
得られた速度ヒストグラムと画像観察条件(視距離、表示画面の大きさ)を元に運動視差判断部8は表示される画像の動きや運動視差が人間に許容されるように、カメラの速度、カメラから見たときの被写体間の距離を調整するべきかどうか判断し、カメラパラメータ修正部9は、被写体の動きの修正を行う。図5(a)の場合、被写体Bの速度がVeaを越えているため、ほとんど観察者は被写体Bの動きは速すぎて見えない状態である。これを防ぐために、カメラパラメータ修正部9はカメラの移動速度を下げ、VBがVea以下になるように修正し、これをカメラシーケンス発生部5に記憶させる。また、運動視差の条件においては、図5(b)に示すようになっている場合、運動視差VB−VCがVecを越えないように、カメラの移動速度を下げるか、又は、被写体Bと被写体Cのカメラからの距離が小さくなるように修正する。すなわち、カメラの移動速度を下げるか、または被写体の位置を変えても良い場合には、被写体B、Cの距離を小さくしてBC間の運動視差を小さくすることが出来る。カメラの移動速度は画像の運動、相対運動に影響し、被写体間距離は相対速度(運動視差に影響する)。
【0045】
以上の動作は、本発明の第1の実施の形態と同じであるが、第2の実施の形態では、以下の動作が付加される。
【0046】
カメラが被写体に対して奥行き方向に運動する場合、人間の奥行き方向の運動知覚は、運動視差の変化により影響を受けるが、それよりも両眼視差の変化による大きく影響を受ける。この場合には、両眼視差が過度に大きく変化するので、観察者が、奥行き知覚しづらくなる。これを防ぐために、両眼視差計算部11が3次元構造情報とカメラシーケンスデータとオブジェクトシーケンスデータから被写体の両眼視差の変化を計算し、その計算結果を利用して、両眼視差判断部12が、画像観察条件(視距離、表示画面の大きさ)も加味して実際に表示される画像の両眼視差の変化が、ある所定の値(制作者が入力する)よりも大きい場合には、カメラの奥行き方向の動きを小さくする。その結果、生成される立体CG動画像が見やすくなる。
【0047】
また、両眼視差調整データを両眼視差判断部13とカメラパラメータ修正部9に入力することにより、両眼視差の変化をいくらまで許容するかを指定する。これにより、制作者が両眼視差の大きさを故意に大きくするなどの特殊な用途にも対応できる。
【0048】
なお、両眼視差計算部12は、投影変換部1、2、レンダリング部3、4の出力を用いて既存の画像処理技術(勾配法、マッチング法など)を用いて両眼視差を計算しても良い。
【0049】
更に、被写体が大きく奥行き方向に運動する場合も同様に、両眼視差計算部12が計算した両眼視差の変化が許容範囲よりも大きい場合には、オブジェクトシーケンスデータを修正して被写体の動きを小さくすることにより、見やすい立体CG画像を生成することが出来る。また、この許容範囲は観察条件(表示領域の視野角)によって変化する。視野角が大きいほど許容範囲も大きい。この許容範囲のデータを両眼視差判断部13は保有しており、使用者が予め観察条件を入力し、それに対応した許容範囲特性が使用される。
【0050】
また、被写体がカメラの光軸方向に運動する場合、被写体の運動や運動視差も生じるが、2つのカメラで撮像された被写体が左右の画面上で対称に運動するようになる。この場合は特に運動視差の変化よりも、両眼視差の変化により、奥行き方向の知覚が影響を受ける。このような場合を両眼視差判断部13は検出し、両眼視差の変化が、ある所定値よりも小さくなるように被写体の動きやカメラの動きを修正する。これによって、1つのカメラからの視点では動き、運動視差としてとらえてしまうような状況においても、これを両眼視差の変化と判断し、適切なカメラシーケンス、オブジェクトシーケンスデータを生成することが出来る。
【0051】
また、カメラパラメータ修正部9とオブジェクト動作修正部10は、カメラシーケンスやオブジェクトシーケンスのうち、両眼視差の変化の関係から、不適切と判断し修正した部分について、これを制作者に端末等を通じて表示する。このようにすればさらに編集作業のしやすいシステムとなる。
【0052】
以上のように、本実施の形態によれば、運動視差の変化のみならず両眼視差の変化を適正な範囲に抑えることができるので、観察者の視覚特性に最適であり、違和感のない、立体動画像を生成することができる。
【0053】
なお、本発明の第1、2の実施の形態において、画像の動き、運動視差、両眼視差の計算は、3次元構造情報、カメラシーケンス、オブジェクトシーケンス発生部の出力を用いたが、投影変換部やレンダリング部の出力を用いて、既存の画像処理技術(マッチング処理や勾配法を用いる方法)によりこれらを計算しても良い。
【0054】
また、本発明の第1、2の実施の形態は、2眼の立体CG動画像を生成するようになっているが、これを更に画像数の多い多眼立体画像にするために、投影変換部1、2とレンダリング部3、4を増加させてもよい。この場合、カメラシーケンス発生部5には投影変換部の数に対応した数のカメラパラメータが記述される。
【0055】
また、立体CG画像を例にとって説明したが、カメラ1台の従来の単眼の3次元CG動画像についても本発明は適用される。
【0056】
また、本発明の第1、2の実施の形態において、被写体の動き、運動視差の計算は、2眼立体画像の場合、仮想視点V(図2)のパラメータで計算しても良いし、右または左カメラ視点どちらかでのパラメータで計算してもいいし、両方計算してその平均値を用いても良い。
【0057】
また、多眼立体CG動画像の場合には、カメラ列の中心の視点のパラメータでの計算を行ってもよいし、もっとも中心に近いカメラのパラメータを用いても良いし、複数のカメラパラメータで計算し、それらの平均値、最大値、最小値、中間値を用いても良い。
【0058】
また、本発明の第1、2の実施の形態において、被写体の動き、運動視差、両眼視差等の変化が、観察者の運動、奥行き知覚特性の許容範囲よりもかなり大きくなってもよいとし、観察者の眼は追従しないが何か動いている印象を与えたい場合には、画像制作者が運動視差判断部8またはカメラパラメータ修正部9またはオブジェクト動作修正部10の動作を一時止めて、カメラパラメータやオブジェクトパラメータを自由に設定できるようにしてもよい。
【図面の簡単な説明】
【図1】本発明における第1の実施の形態の立体CG動画像生成装置の構成図である。
【図2】本発明におけるCG空間でのカメラパラメータを示す図である。
【図3】本発明におけるカメラシーケンス、データを説明する図である。
【図4】本発明におけるカメラの動きと生成される画像の関係を示した図である。
【図5】本発明における動き、運動視差計算結果例を示す図である。
【図6】本発明における動き、運動視差に対する人間の視覚特性を示す図である。
【図7】本発明におけるカメラの動きの説明図である。
【図8】本発明における第1の実施の形態の立体CG動画像生成装置の構成図である。
【図9】従来の立体CG画像生成装置の構成図である。
【図10】同図(a)は、3次元構造情報を説明するための形状モデル例を示す図、同図(b)は、その形状モデルのデータ構造を示す図である。
【図11】同図(a)は、ワールド座標系と投影変換を説明する図、同図(b)は、カメラパラメータを説明する図である。
【符号の説明】
1 投影変換部(右目用)
2 投影変換部(左目用)
3 レンダリング部(右目用)
4 レンダリング部(左目用)
5 カメラシーケンス発生部
6 オブジェクトシーケンス発生部
7 運動視差計算部
8 運動視差判断部
9 カメラパラメータ修正部
10 オブジェクト動作修正部
12 両眼視差計算部
13 両眼視差判断部

Claims (10)

  1. 被写体の3次元形状を記述する3次元構造情報に基づいて、カメラから見た時の2次元投影画像を生成する投影変換部と、
    前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
    前記投影変換部の投影変換を規定しこれを変化させることにより動画像を生成できるカメラパラメータを発生するカメラシーケンス発生部と、
    前記3次元構造情報、前記投影変換部又は前記レンダリング部の出力と、前記カメラシーケンス発生部の出力とに基づいて、表示される被写体の動き及び/又は運動視差を計算する運動計算部と、
    少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
    前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記カメラの移動速度及び/又はパンニング速度に関して前記カメラパラメータを修正するためのカメラパラメータ修正部と、
    を備えたことを特徴とする立体CG動画像生成装置。
  2. 前記カメラは複数個有り、また前記投影変換部も複数個り、前記運動計算部は、数の前記カメラの中心位置の視点はそれに近い視点で投影変換された前記被写体の前記動き及び/又は前記運動視差を計算することを特徴とする請求項1記載の立体CG動画像生成装置。
  3. 前記カメラは複数個有り、また前記投影変換部も複数個り、前記運動計算部は、数の前記カメラのうちの一部又は全部の位置の視点で投影変換された前記被写体の前記動き及び/又は前記運動視差を計算し、それらの平均値、最大値、又は最小値を出力することを特徴とする請求項1記載の立体CG動画像生成装置。
  4. 両眼視差を計算する両眼視差計算部と、その両眼視差に基づいて、前記両眼視差の変化を判断する両眼視差判断部とを備え、前記カメラパラメータ修正部は、前記両眼視差の変化が所定の範囲に収まるように前記カメラパラメータを修正することを特徴とする請求項1記載の立体CG動画像生成装置。
  5. 前記カメラパラメータ修正部は、前記動き、前記運動視差、又は両眼視差の変化の設定修正される前のカメラシーケンスの部分、又は前記設定修正された後の前記カメラシーケンスの部分を出力表示することを特徴とする請求項1記載の立体CG動画像生成装置。
  6. 被写体の3次元形状を記述する3次元構造情報に基づいて、カメラから見た時の2次元投影画像を生成する投影変換部と、
    前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
    前記3次元構造情報を規定し、これを変化させることにより被写体の動きを表し、動画像を生成できるオブジェクトシーケンス発生部と、
    前記3次元構造情報、前記投影変換部又は前記レンダリング部の出力と、前記オブジェクトシーケンス発生部の出力とに基づいて、表示される前記被写体の前記動き及び/又は運動視差を計算する運動計算部と、
    少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
    前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記被写体の位置及び/又は移動速度に関してオブジェクトシーケンスを修正するためのオブジェクト動作修正部と、
    を備えたことを特徴とする立体CG動画像生成装置。
  7. 前記カメラは複数個有り、また前記投影変換部も複数個り、前記運動計算部は、数の前記カメラの中心位置の視点はそれに近い視点で投影変換された前記被写体の前記動き及び/又は前記運動視差を計算することを特徴とする請求項6記載の立体CG動画像生成装置。
  8. 前記カメラは複数個有り、また前記投影変換部も複数個り、前記運動計算部は、数の前記カメラのうちの一部又は全部の位置の視点で投影変換された前記被写体の前記動き及び/又は前記運動視差を計算し、それらの平均値、最大値、又は最小値を出力することを特徴とする請求項6記載の立体CG動画像生成装置。
  9. 両眼視差を計算する両眼視差計算部と、その両眼視差に基づいて、前記両眼視差の変化を判断する両眼視差判断部とを備え、前記オブジェクト動作修正部は、前記両眼視差の変化が所定の範囲に収まるように前記オブジェクトシーケンスを修正することを特徴とする請求項6記載の立体CG動画像生成装置。
  10. 被写体の3次元形状を記述する3次元構造情報に基づいて、カメラから見た時の2次元投影画像を生成する投影変換部と、
    前記投影変換部の出力に基づいて、実際に観察される画像を計算する複数のレンダリング部と、
    前記投影変換部の投影変換を規定しこれを変化させることにより動画像を生成できるカメラパラメータを発生するカメラシーケンス発生部と、
    前記3次元構造情報を規定し、これを変化させることにより被写体の動きを表し動画像を生成できるオブジェクトシーケンス発生部と、
    前記3次元構造情報、前記投影変換部又は前記レンダリング部の出力と、前記カメラシーケンス発生部の出力と、前記オブジェクトシーケンス発生部の出力とに基づいて、表示される前記被写体の前記動き及び/又は運動視差を計算する運動計算部と、
    少なくとも、前記運動計算部の出力と、画像表示における画面の大きさと、観察者の視距離とに基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の許容範囲内に収まるか否かを判断する運動判断部と、
    前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記カメラの移動速度及び/又はパンニング速度に関して前記カメラパラメータを修正するためのカメラパラメータ修正部と、
    前記運動判断部の出力に基づいて、表示される前記被写体の前記動き及び/又は前記運動視差が前記観察者の前記許容範囲内に収まるように、前記被写体の位置及び/又は移動速度に関してオブジェクトシーケンス修正するためのオブジェクト動作修正部と、
    を備えたことを特徴とする立体CG動画像生成装置。
JP16637897A 1996-06-26 1997-06-23 立体cg動画像生成装置 Expired - Lifetime JP3934211B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16637897A JP3934211B2 (ja) 1996-06-26 1997-06-23 立体cg動画像生成装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8-165653 1996-06-26
JP16565396 1996-06-26
JP16637897A JP3934211B2 (ja) 1996-06-26 1997-06-23 立体cg動画像生成装置

Publications (2)

Publication Number Publication Date
JPH1074269A JPH1074269A (ja) 1998-03-17
JP3934211B2 true JP3934211B2 (ja) 2007-06-20

Family

ID=26490315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16637897A Expired - Lifetime JP3934211B2 (ja) 1996-06-26 1997-06-23 立体cg動画像生成装置

Country Status (1)

Country Link
JP (1) JP3934211B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534337B2 (ja) * 2000-10-19 2010-09-01 ソニー株式会社 撮影装置及び撮影方法、並びに、画像生成装置及び画像生成方法
KR100399735B1 (ko) * 2001-03-26 2003-09-29 이호균 스틸 사진을 이용한 가상 네비게이션 구현 방법
JP2003107603A (ja) * 2001-09-28 2003-04-09 Namco Ltd 立体視画像生成装置、立体視画像生成情報および情報記憶媒体
JP2006101329A (ja) * 2004-09-30 2006-04-13 Kddi Corp 立体視画像観察装置ならびにその共有サーバ、クライアント端末およびピア・ツー・ピア端末、レンダリング画像生成方法および立体視画像表示方法ならびにそのプログラムおよび記憶媒体
JP2009500878A (ja) * 2005-04-11 2009-01-08 ヒューマンアイズ テクノロジーズ リミテッド 奥行錯覚デジタル撮像
CN100384220C (zh) * 2006-01-17 2008-04-23 东南大学 摄像机标定数据的采集方法及其标定板
JP4896230B2 (ja) * 2006-11-17 2012-03-14 トムソン ライセンシング 2次元から3次元に変換するためのオブジェクトのモデルフィッティング及びレジストレーションのシステム及び方法
JP4924168B2 (ja) * 2007-04-12 2012-04-25 凸版印刷株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2011024635A (ja) * 2009-07-21 2011-02-10 Konami Digital Entertainment Co Ltd ビデオゲーム装置及びゲーム画像表示制御方法
CN101961555B (zh) 2009-07-21 2014-01-29 科乐美数码娱乐株式会社 视频游戏装置、游戏图像显示控制方法和显示模式切换控制方法
JP5405264B2 (ja) 2009-10-20 2014-02-05 任天堂株式会社 表示制御プログラム、ライブラリプログラム、情報処理システム、および、表示制御方法
JP4754031B2 (ja) 2009-11-04 2011-08-24 任天堂株式会社 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム
EP2355526A3 (en) 2010-01-14 2012-10-31 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US9693039B2 (en) 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
JP6565903B2 (ja) * 2014-04-22 2019-08-28 ソニー株式会社 情報再生装置及び情報再生方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6423109A (en) * 1987-07-20 1989-01-25 Agency Ind Science Techn Stereoscopic visual device
US5020878A (en) * 1989-03-20 1991-06-04 Tektronix, Inc. Method and apparatus for generating a binocular viewing model automatically adapted to a selected image
JPH03236698A (ja) * 1990-02-14 1991-10-22 Nissan Motor Co Ltd 両眼立体視の画像生成装置
JP2796221B2 (ja) * 1992-04-22 1998-09-10 富士通株式会社 相関処理方式
JP2842735B2 (ja) * 1992-07-20 1999-01-06 沖電気工業株式会社 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置
JPH06213639A (ja) * 1993-01-19 1994-08-05 Sony Corp 3次元形状復元方法
JPH06276552A (ja) * 1993-03-24 1994-09-30 Nissan Motor Co Ltd 立体画像撮影装置および画像提示装置
JPH06337756A (ja) * 1993-05-28 1994-12-06 Daikin Ind Ltd 3次元位置指定方法および仮想空間立体視装置
JP3032414B2 (ja) * 1993-10-29 2000-04-17 キヤノン株式会社 画像処理方法および画像処理装置
JP3086577B2 (ja) * 1993-12-22 2000-09-11 三洋電機株式会社 2次元画像の3次元化方法
JP3157384B2 (ja) * 1994-06-20 2001-04-16 三洋電機株式会社 立体映像装置
JP3091644B2 (ja) * 1994-08-26 2000-09-25 三洋電機株式会社 2次元画像の3次元化方法
US6414709B1 (en) * 1994-11-03 2002-07-02 Synthonics Incorporated Methods and apparatus for zooming during capture and reproduction of 3-dimensional images
JP3697763B2 (ja) * 1995-11-15 2005-09-21 ソニー株式会社 画像表示システム

Also Published As

Publication number Publication date
JPH1074269A (ja) 1998-03-17

Similar Documents

Publication Publication Date Title
KR100456952B1 (ko) 입체 컴퓨터 그래픽스 동화상 발생 장치
JP3579162B2 (ja) 立体cg画像生成装置
US7983477B2 (en) Method and apparatus for generating a stereoscopic image
JP3934211B2 (ja) 立体cg動画像生成装置
US6816158B1 (en) Three-dimensional display system
US8953023B2 (en) Stereoscopic depth mapping
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
EP1570436B1 (en) Parallax scanning through scene object position manipulation
JP2019079552A (ja) イメージ形成における及びイメージ形成に関する改良
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
TW201019708A (en) A method of processing parallax information comprised in a signal
JP5178876B2 (ja) 立体映像表示装置及び立体映像表示方法
WO2006062325A1 (en) Apparatus for correcting image distortion of stereo-camera and method thereof
KR100770019B1 (ko) 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
JP4580678B2 (ja) 注視点位置表示装置
JP2018500690A (ja) 拡大3d画像を生成するための方法およびシステム
JPH09504131A (ja) 深さの情報を取扱うための画像処理システム
JP2003348621A (ja) 二視点カメラの設定手段
KR102113285B1 (ko) 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치
Baker Generating images for a time-multiplexed stereoscopic computer graphics system
CN108287609B (zh) 用于ar眼镜的图像绘制方法
TW201733351A (zh) 3d自動對焦顯示方法及其系統
Xizuo et al. A Hybrid Rendering Model in Stereo Display
US8952958B1 (en) Stereoscopic computer-animation techniques based on perceptual constraints
CN118890462A (zh) 显示方法、显示系统和电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100330

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110330

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120330

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130330

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140330

Year of fee payment: 7

EXPY Cancellation because of completion of term