JPH05233781A

JPH05233781A - 動画像利用の立体モデル作成システム

Info

Publication number: JPH05233781A
Application number: JP3760392A
Authority: JP
Inventors: Koji Miyata; 功治宮田
Original assignee: N T T DATA TSUSHIN KK; NTT Data Communications Systems Corp
Current assignee: N T T DATA TSUSHIN KK; NTT Data Group Corp
Priority date: 1992-02-25
Filing date: 1992-02-25
Publication date: 1993-09-10

Abstract

(57)【要約】【目的】動画像を利用した立体モデルの作成におい
て、動画像上の対象物と、作成中の立体モデルとの比較
を容易とし、立体モデルの作成を高効率化する。【構成】動画像上の特定の対象物に対応する立体モデ
ルを作成する動画像利用の立体モデル作成システムであ
り、動画像を構成する各フレームのカメラ位置情報と方
向情報、および、立体モデルの三次元形状情報と三次元
位置情報に基づき、動画像のフレーム内の特定の対象物
に対応する立体モデルの画像を生成する立体モデル画像
生成部と、この生成した画像からメッシュ画像を生成す
るメッシュ画像生成部と、このメッシュ画像を動画像フ
レーム上の対象物に重ねる立体モデル合成部とを設け、
動画像の対象物と立体モデルの形状を合成して表示す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体の立体モデルの作
成技術に係り、特に、動画像で表示されている特定の物
体に対応する立体モデルを効率良く作成するのに好適な
動画像利用の立体モデル作成システムに関するものであ
る。

【０００２】

【従来の技術】近年、コンピュータの画像表示技術を用
いて、様々な計算結果や、設計結果を、リアルな三次元
画像で表示するコンピュータグラフィックスと呼ばれる
技術が、例えば、日経ＢＰ社発行の「日経エレクトロニ
クス１９８９３−６（ｎｏ．４６８）」のｐｐ．１
０５〜１３８に記載のように、開発されている。このよ
うなコンピュータによる物体の立体モデルの作成に、動
画像を利用するものがある。図４は、従来の動画像利用
の立体モデル作成システムの構成を示すブロック図であ
る。本図において、４１は、動画像の格納および出力制
御を行なう動画像処理装置、４２は、動画像処理装置４
１により出力される動画像を表示する動画像表示装置、
４３は、動画像表示装置４２に表示する動画像を利用し
て、利用者が、立体モデルを作成する立体モデル作成装
置、４４は、利用者が、立体モデル作成時の操作指示入
力に用いるマウスなどの入力装置である。まず、利用者
は、動画像処理装置４１を操作して、動画像内の特定の
対象物を、動画像表示装置４２に表示させる。そして、
利用者は、この動画像表示装置４２で、動画像の幾つか
のフレームを目視することで、目的の対象物の空間的形
状を認識する。このようにして、対象物の空間形状を認
識した後、利用者は、入力装置４４を介して、立体モデ
ル作成装置４３を操作し、認識した空間形状を、立体モ
デル作成装置４３の画面４３ａ上に作成する。そして、
利用者は、動画像表示装置４２に表示されている動画像
内の対象物の空間形状と、画面４３ａ上に表示されてい
る立体モデル形状とを比較し、動画像処理装置４１と立
体モデル作成装置４３を交互に操作し、立体モデル作成
装置４３で作成した立体モデルを修正することにより、
最終的な、立体モデルを決定する。

【０００３】このように、この立体モデル作成システム
では、利用者は、動画像表示装置４２に表示されている
動画像内の対象物の空間形状を参考にすることで、利用
者の空間認識能力を利用して、物体の立体モデルの作成
を行なう。

【０００４】しかし、このような従来技術では、参照す
る動画像の表示に係る操作と、立体モデルの作成に係る
操作が、それぞれ、独立しており、操作性が悪い。ま
た、動画像表示装置４２に表示した動画像を見て、目的
の空間形状を認識するためには、利用者の空間認識能力
を必要とし、利用者の大きな負担となる。

【０００５】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の動画像利用の立体モデル作成システムで
は、参考とする動画像上の特定の対象物と、この対象物
に対応して作成する立体モデルの形状とが別々に操作、
および、表示されているために、利用者は、動画像と立
体モデルの形状との比較を容易に行なうことができない
点である。本発明の目的は、これら従来技術の課題を解
決し、動画像と立体モデルの形状との比較を容易とし、
利用者の心理的負担を軽減し、効率の良い立体モデルの
作成を可能とする動画像利用の立体モデル作成システム
を提供することである。

【０００６】

【課題を解決するための手段】上記目的を達成するた
め、本発明の動画像利用の立体モデル作成システムは、
（１）画面に表示した動画像に映し出されている特定の
対象物に対応する立体モデルを作成する動画像利用の立
体モデル作成システムであり、動画像を構成する各フレ
ームについて、少なくとも、各フレームの映像を取った
ときのカメラ位置情報とカメラ方向情報を含むフレーム
情報を格納するフレーム情報格納装置と、少なくとも、
立体モデルの三次元形状情報と三次元位置情報を含む立
体モデル情報を格納する立体モデル情報格納装置と、こ
の立体モデル情報格納装置とフレーム情報格納装置との
それぞれに格納した情報に基づき、動画像のフレーム内
の特定の対象物に対応する立体モデルの画像を生成する
立体モデル画像生成部と、この立体モデル画像生成部で
生成した立体モデルの画像から、透明ピクセルを持つメ
ッシュ画像を生成するメッシュ画像生成部と、このメッ
シュ画像生成部で生成したメッシュ画像を、動画像フレ
ーム上の対象物に重ねる立体モデル合成部とを設け、各
動画像上の特定の対象物に、この対象物に対応して作成
する立体モデルの形状を重ねて表示することを特徴とす
る。

【０００７】

【作用】本発明においては、動画像上の特定の対象物の
立体モデルを作成する際、動画像内の対象物と、作成す
る立体モデルの生成画像を、同一画面上で重ねて表示す
る。このことにより、利用者は、少ない心理的負担で、
動画像内の対象物と立体モデルの生成画像の差異を、容
易に確認できるので、正確な立体モデルを容易に作成す
ることができる。

【０００８】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図１は、本発明を施した動画像利用の立体モ
デル作成システムの本発明に係わる構成の一実施例を示
すブロック図である。本図において、１は、動画像２の
格納および出力制御を行なう動画像処理装置、３は、立
体モデルの画像表示処理や、本発明に係わる画像合成な
どの処理を行なう立体モデル作成装置、４は、利用者の
操作指示を入力するマウスなどの入力装置、５は、動画
像と立体モデルを表示する画像表示装置、６は、本発明
に係わり、三次元形状情報７と三次元位置情報８を格納
する立体モデル情報格納装置、９は、同じく、本発明に
係わり、動画像２に対応するカメラ位置情報１０とカメ
ラ方向情報１１を格納するフレーム情報格納装置であ
る。そして、立体モデル作成装置３は、立体モデル情報
格納装置６、および、フレーム情報格納装置９のそれぞ
れに格納した情報に基づき、動画像のフレーム内の対象
物の大きさや、見え方に対応する立体モデルの生成画像
を生成する立体モデル生成部１２と、この立体モデル生
成部１２で生成した立体モデルの生成画像から、例え
ば、網目状の透明ピクセルを持つメッシュ画像を生成す
るメッシュ画像生成部１３、そして、このメッシュ画像
生成部１３で生成したメッシュ画像を、動画像フレーム
上の対象物の画像に重ねる立体モデル合成部１４とによ
り構成されている。

【０００９】このような構成により、本実施例の立体モ
デル作成装置３は、動画像処理装置１からの動画像フレ
ーム上の対象物と、作成した立体モデルの形状とを、画
像表示装置５の同一画面に同時に表示する。そして、利
用者は、入力装置４を操作して、動画像２の表示を操作
し、立体モデルの形状作成と位置決定を行なう。すなわ
ち、利用者は、入力装置４により、表示する動画像２を
操作し、立体モデルの対象物が含まれる動画像２を選択
する。この時、立体モデルはまだ作成されていないの
で、表示装置５に表示されるのは、動画像２のみであ
る。この動画像２を見ながら、利用者は、目的とする対
象物の立体モデルを、立体モデル作成装置３で作成す
る。この時、立体モデル作成装置３は、立体モデル生成
部１２により、立体モデル情報格納装置６とフレーム情
報格納装置９のそれぞれに格納した情報に基づき、動画
像のフレーム内の対象物の大きさや見え方に対応する立
体モデルの生成画像を生成する。そして、メッシュ画像
生成部１３により、立体モデル生成部１２で生成した立
体モデルの生成画像から、網目状の透明ピクセルを持つ
メッシュ画像を生成し、さらに、立体モデル合成部１４
により、このメッシュ画像を、動画像フレーム上の対象
物の画像に重ねる。このように、利用者が、この立体モ
デル作成装置３で作成する立体モデルは、常に、動画像
２と合成されて表示装置５に表示される。

【００１０】利用者は、この表示装置５に表示されてい
る合成画像を見ることで、現在作成中の立体モデルの形
状と、動画像２内の対象物との差分を認識し、立体モデ
ルを細かく修正することができる。さらに、利用者が、
入力装置４により、表示する動画像２を動かし、対象物
に対するカメラ方向とカメラ位置とを変化させると、立
体モデル作成装置３は、このような異なる方向、およ
び、異なる位置から写された対象物に対して、同様に、
合成画像を作成して表示する。このようにして、利用者
は、動画像２を動かし、それぞれ異なる方向および位置
から撮影した対象物と、作成中の立体モデルの形状とを
重ね合わせて表示することで、立体モデルを、順次修正
し、目的とする最終的な立体モデルを作成することがで
きる。

【００１１】図２は、図１における動画像のカメラ位置
情報とカメラ方向情報の取得状況の一実施例を示す説明
図である。本図において、２１は、実際に存在する物
体、２２〜２４は、物体２１を撮影するカメラ、２は、
撮影された動画像であり、２２ａ〜２４ａは、カメラ２
２〜２４の各地点で撮影された動画像フレームである。
カメラ位置、および、カメラ方向とは、動画像２の撮影
時のカメラの空間位置と方向の情報である。このカメラ
位置情報、カメラ方向情報は、図１におけるフレーム情
報格納装置９に格納される。

【００１２】図３は、図１における立体モデル作成装置
による画像合成処理動作の一実施例を示す説明図であ
る。本実施例は、図１の動画像処理装置１からの動画像
フレーム上の対象物に、生成した立体モデルの生成画像
を合成する手順を説明するものである。本図において、
３１は、動画像を構成する一つの動画像フレーム、３２
は、図１の立体モデル生成部１２で生成した立体モデル
の生成画像、３３は、図１のメッシュ画像生成部１３で
生成した生成画像のメッシュ画像、３４は、図１の立体
モデル合成部１４により、メッシュ画像３３と動画像フ
レーム３１とを重ねた合成画像である。図１の立体モデ
ル生成部１２は、利用者が作成している立体モデルの三
次元形状情報と三次元位置情報、および、動画像フレー
ム３１のカメラ位置情報とカメラ方向情報とにより、動
画像フレーム３１の対象物３１ａに、その大きさや見え
方が対応する立体モデルの生成画像３２を生成する。図
１のメッシュ画像生成部１３は、この立体モデルの生成
画像３２の対象物を構成するピクセル領域で、網目状の
透明ピクセルを持つメッシュ画像３３を作成し、図１の
立体モデル合成部１４は、このメッシュ画像３３を、動
画像フレーム３１の上に重ねて、合成画像３４を作成す
る。この合成画像３４により、利用者は、動画像フレー
ム３１の対象物の形状と、立体モデルで作成しているモ
デルの形状を、同時に比較することができる。

【００１３】以上、図１〜図３を用いて説明したよう
に、本実施例の動画像利用の立体モデル作成システムで
は、利用が作成する立体モデルの形状を、この立体モデ
ルの対象物を表示する動画像フレーム上で、重ねて表示
する。このことにより、利用者は、動画像内の特定の対
象物と、作成している立体モデルとの差異を容易に認識
することができ、利用者の空間認知能力の負担を軽減
し、かつ、正確な立体モデルを、より早く生成すること
ができる。尚、本発明は、図１〜図３を用いて説明した
実施例の構成に限定されるものではない。

【００１４】

【発明の効果】本発明によれば、動画像上の特定の対象
物と、この対象物に対応して作成する立体モデルの生成
画像とを、同一画面上に重ねて表示することができ、参
考とする動画像と立体モデルの形状との比較を容易と
し、利用者の心理的負担を軽減し、立体モデルを効率良
く作成することが可能である。

【００１５】

【図面の簡単な説明】

【図１】本発明を施した動画像利用の立体モデル作成シ
ステムの本発明に係わる構成の一実施例を示すブロック
図である。

【図２】図１における動画像のカメラ位置情報とカメラ
方向情報の取得状況の一実施例を示す説明図である。

【図３】図１における立体モデル作成装置による画像合
成処理動作の一実施例を示す説明図である。

【図４】従来の動画像利用の立体モデル作成システムの
構成を示すブロック図である。

【符号の説明】

１動画像処理装置２動画像３立体モデル作成装置４入力装置５画像表示装置６立体モデル情報格納装置７三次元形状情報８三次元位置情報９フレーム情報格納装置１０カメラ位置情報１１カメラ方向情報１２立体モデル生成部１３メッシュ画像生成部１４立体モデル合成部２１物体２２〜２４カメラ２２ａ〜２４ａ動画像フレーム３１動画像フレーム３１ａ対象物３２生成画像３３メッシュ画像３４合成画像４１動画像処理装置４２動画像表示装置４３立体モデル作成装置４３ａ画面４４入力装置

Claims

【特許請求の範囲】

【請求項１】画面に表示した動画像に映し出されてい
る特定の対象物に対応する立体モデルを作成する動画像
利用の立体モデル作成システムであり、上記動画像を構
成する各フレームについて、少なくとも、各フレームの
映像を取ったときのカメラ位置情報とカメラ方向情報を
含むフレーム情報を格納するフレーム情報格納手段と、
少なくとも、立体モデルの三次元形状情報と三次元位置
情報を含む立体モデル情報を格納する立体モデル情報格
納手段と、該立体モデル情報格納手段と上記フレーム情
報格納手段とのそれぞれに格納した情報に基づき、動画
像のフレーム内の特定の対象物に対応する立体モデルの
画像を生成する立体モデル画像生成手段と、該立体モデ
ル画像生成手段で生成した立体モデルの画像から、透明
ピクセルを持つメッシュ画像を生成するメッシュ画像生
成手段と、該メッシュ画像生成手段で生成したメッシュ
画像を、上記動画像フレーム上の対象物に重ねる立体モ
デル合成手段とを設け、各動画像上の特定の対象物に、
該対象物に対応して作成する立体モデルの形状を重ねて
表示することを特徴とする動画像利用の立体モデル作成
システム。