JP2005174151A - 三次元画像表示装置及び方法 - Google Patents

Abstract

【課題】 測定対象物画像と別途取得した３Ｄ計測データを用いて、測定対象物の立体感のある二次元画像の作成作業が簡便に行なえる三次元画像表示装置を提供すること。
【解決手段】 測定対象物１の三次元位置データを記憶する測定対象物位置データ記憶部１７と、測定対象物１の二次元画像を記憶する測定対象物画像データ記憶部１３と、測定対象物１の三次元位置データと二次元画像の対応付けを行う対応部４０と、測定対象物１の三次元位置データと二次元画像に基づき、複数の方向からの測定対象物１の二次元画像を作成する表示画像形成部５０とを備えている。
【選択図】 図１

Description

この発明は、測定対象物について計測した３Ｄデータ（三次元形状データ）と測定対象物の画像（単写真画像又はステレオ画像）とを相互に直接関連付けて、測定対象物の計測データと画像とを同時に表示可能とする三次元画像表示装置及び方法に関する。

施工対象物や製作対象物の３Ｄデータを取得する方法には、特許文献１に記載されているような三次元位置測定装置（トータルステーション）により取得する方式と、特許文献２に記載されているような対象物と比較校正体を用いてステレオ画像を撮影して、ステレオ計測することにより３Ｄデータを取得するステレオ画像計測方式がある。三次元位置測定装置を用いた方式では、得られる３Ｄ座標の精度が良いので、画像貼り付けの際の基準点位置測定に利用される。特に、近年のトータルステーションでは、モータ駆動によって比較的多数（例えば測定対象物について数十点程度）の三次元座標が得られるようになってきている。ステレオ画像計測方式では、３Ｄデータと画像貼り付けを行う際に標定という作業を行なうことで、測定対象物について数千点−数万点程度の三次元座標を比較的簡便に得られる。

特開２００２−３５２２２４号公報 図２ 特開２００３−６５７３７号公報 図１、図２

しかしながら、三次元位置測定装置により取得した３Ｄデータは、基本的には距離データを含む三次元座標データにて構成されている。そこで、三次元位置測定装置により取得した３Ｄデータと現場状況との対応づけが困難で、３Ｄデータを測定対象物の画像情報と紐付ける作業を行なう際に、測定対象物の何れの位置を計測したのか困難になるという課題があることが判明した。

いっぽう、ステレオ画像計測方式では、ステレオ画像により３Ｄ計測を行うので、画像をステレオ表示することにより３Ｄデータとステレオ画像とを比較することができる。しかし、３Ｄデータとステレオ画像とを比較するために立体モニタや偏向眼鏡が必要となると共に、立体視はうまく出来る人と出来ない人がいて、誰にでも簡単に確認ができないという課題があった。また、測定対象物のステレオ計測や３Ｄデータとステレオ画像と紐付ける作業では、画像情報と３Ｄデータとの間や画像間での対応付けをして、標定作業を行なう必要がある。この標定作業は作業者による個人差が大きく、簡単に精度よくできない、という課題があった。さらに、測定対象物を１枚の写真で表現する単写真画像の場合でも、測定対象物を立体的に表示したいという顧客の要望があった。

本発明は上述した課題を解決したもので、第１の目的は、測定対象物画像と別途取得した３Ｄ計測データを用いて、測定対象物の立体感のある二次元画像の作成作業が簡便に行なえる三次元画像表示装置及び方法を提供することである。第２の目的は、測定対象物のステレオ画像と別途取得した３Ｄ計測データを用いて、測定対象物の立体感のある二次元画像の作成作業が精度良く行なえる三次元画像表示装置及び方法を提供することである。第３の目的は、測定対象物の撮影作業が簡便で済む三次元画像表示装置及び方法を提供することである。

上記第１の目的を達成する本発明の三次元画像表示装置は、例えば図１に示すように、測定対象物１の三次元位置データを記憶する測定対象物位置データ記憶部１７と、測定対象物１の二次元画像を記憶する測定対象物画像データ記憶部１３と、測定対象物１の三次元位置データと二次元画像の対応付けを行う対応部４０と、測定対象物１の三次元位置データと二次元画像に基づき、複数の方向からの測定対象物１の二次元画像を作成する表示画像形成部５０とを備えている。好ましくは、測定対象物画像データ記憶部１３に記憶された二次元画像が単写真画像の場合には、１枚の二次元画像に少なくとも６点以上の三次元位置データが含まれていることが望ましい。

このような構成によると、測定対象物位置データ記憶部１７には、測定対象物の三次元位置データが記憶されている。測定対象物画像データ記憶部１３には、測定対象物１の二次元画像が記憶されており、１枚の二次元画像には少なくとも６点以上の三次元位置データを有する画素点が含まれていると、対応部４０による測定対象物１の三次元位置データと二次元画像の対応付けによって、当該１枚の二次元画像の標定が行なえる。表示画像形成部５０は、測定対象物１の三次元位置データと二次元画像に基づき、複数の方向からの測定対象物１の二次元画像を作成するので、操作者は測定対象物１の三次元的なイメージを、二次元画像を見ることで看取できる。

上記第２の目的を達成する本発明の三次元画像表示装置では、例えば図４〜図６に示すように、測定対象物画像データ記憶部１３に記憶される二次元画像は、測定対象物１のステレオ画像である。また、例えば図１に示すように、対応部４０は、ステレオ画像の一方の画像上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する基準点設定部４１と、ステレオ画像の他方の画像上における、基準点設定部４１により設定された基準点と対応する基準点対応点を定める対応点探索部４３と、基準点設定部４１により設定された基準点と対応点探索部４３により求められた基準点対応点を用いて、前記ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める標定部４４とを有する構成とするとよい。このような構成によると、基準点設定部４１によってステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。対応点探索部４３によってステレオ画像の他方の画像（探索画像）上における、基準点設定部４１により設定された基準点と対応する基準点対応点を定める。標定部４４によって、基準点設定部４１により設定された基準点と対応点探索部４３により求められた基準点対応点を用いて、測定対象物画像データ記憶部１３に記憶された測定対象物１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める。

本発明の三次元画像表示装置では、例えば図１２に示すように、基準点設定部４１で探索される特徴点は、相似形であってコントラストの異なる少なくとも２つの部分からなる基準ターゲット像とすると、例えば重心位置のように厳密に位置を定める必要のある特徴点に対して有効である。好ましくは、測定対象物画像データ記憶部１３に記憶されるステレオ画像では、測定対象物１に予め前記基準ターゲット像を有するマークが付されていると、特徴点の位置が測定対象物１に対して一義的に正確に定まる。基準点設定部４１により指定点を指示すると、操作者が厳格に特徴点を指示しなくても、操作者が本来意図した特徴点に引き込まれる。好ましくは、本発明の三次元画像表示装置において、基準点設定部４１で探索される特徴点は、前記画像に含まれる複数の略直線部分の交差点とすると、例えば建造物の角のように測定対象物１の特定部位の位置が容易に一義的に定められる用途に適している。基準点設定部４１により指定点を指示すると、操作者が厳格に特徴点を指示しなくても、操作者が本来意図したコーナー特徴点に引き込まれる。

好ましくは、本発明の三次元画像表示装置において、例えば図１に示すように、対応部４０は、さらに、標定部４４で用いる対応点を指示する対応点指示部４５を有し、対応点指示部４５は、ステレオ画像を表示する表示装置６０に表示される測定対象物１に関して、指示位置近傍の特徴点を示すように構成されているとよい。

上記第２の目的を達成する本発明の三次元画像表示装置では、例えば図４〜図６に示すように、測定対象物画像データ記憶部１３に記憶される二次元画像は、測定対象物１のステレオ画像である。また、例えば図１に示すように、表示画像形成部５０は、測定対象物１の三次元座標データから測定対象物１のモデルを形成するモデル形成部５４と、ステレオ画像の対応点の位置関係に基づき、測定対象物１の二次元表示画像を対応付ける画像対応部５６と、モデルに画像対応部５６で対応付けられた二次元表示画像と対応付けて、画像つきのモデルを表示するモデル表示部５７とを有する構成とするとよい。このような構成によると、モデル形成部５４によって測定対象物１のモデルを形成する。画像対応部５６は、測定対象物のステレオ画像とモデルとを、標定部４４で求められた対応点関係を用いて対応付ける。モデル表示部５７は、モデルと対応付けられたステレオ画像を用いて、測定対象物１の画像つきのモデルを表示する。

上記第２の目的を達成する本発明の三次元画像表示装置では、例えば図４〜図６に示すように、測定対象物画像データ記憶部１３に記憶される二次元画像は、測定対象物１のステレオ画像である。また、例えば図１に示すように、表示画像形成部５０は、測定対象物１の三次元座標データから測定対象物１のモデルを形成するモデル形成部５４と、測定対象物画像データ記憶部１３に記憶された測定対象物１のステレオ画像と、モデル形成部５４で形成されたモデルとを、標定部４４で求められた対応点関係を用いて対応付ける画像対応部５６と、画像対応部５６によりモデルと対応付けられたステレオ画像を用いて、測定対象物１の立体感テクスチャ付き画像を表示するモデル表示部５７とを有する構成とするとよい。このような構成によると、モデル形成部５４によって測定対象物１のモデルを形成する。画像対応部５６は、測定対象物のステレオ画像とモデルとを、標定部４４で求められた対応点関係を用いて対応付ける。モデル表示部５７は、モデルと対応付けられたステレオ画像を用いて、測定対象物１の立体感テクスチャ付き画像を表示する。立体感テクスチャ付き画像は、測定対象物１を二次元画像で表現しているが、影を用いて表面の凸凹を表すことで、擬似的な立体的表現を行なうものである。

好ましくは、本発明の三次元画像表示装置において、さらに、複数の対応点によって形成される単位画像面を用いてモデルとステレオ画像を対応付ける単位画像面演算部５２を有し、画像対応部５６は単位画像面によって前記ステレオ画像を覆う構成とすると良い。単位画像面演算部５２により、単位画像面によってモデルとステレオ画像を対応付け、画像対応部５６によりステレオ画像を覆うことによって、測定対象物１のステレオ画像とモデルとの対応付けが容易に行なえる。単位画像面には、隣接する３点の対応点を用いた三角形面や、隣接する４点の対応点を用いた矩形面が選択できる。

上記第３の目的を達成する本発明の三次元画像表示装置では、例えば図２３、図２４に示すように、測定対象物画像データ記憶部１３に記憶された二次元画像として、単写真画像を用いるとよい。測定対象物の単写真画像は、撮影作業として簡便である。

好ましくは、本発明の三次元画像表示装置において、例えば図１に示すように、さらに、測定対象物１のモデルの姿勢を指示する姿勢指示部５８と、前記モデルに対する姿勢指示に応じて、前記対応点の座標変換を行う座標変換部５９とを有し、モデル表示部５７は、姿勢指示部５８で指示された姿勢に応じた測定対象物１の二次元画像の表示方向が定められる構成とすると良い。

上記第１の目的を達成する本発明の三次元画像表示方法は、図２に示すように、対応部４０によって、測定対象物の三次元位置データと測定対象物１の二次元画像とを用いて、前記三次元位置データと二次元画像の対応付けを行なう工程（Ｓ３０、Ｓ４０）と、モデル形成部５４によって、前記三次元位置データと二次元画像の対応付けを用いて、測定対象物１のモデルを形成する工程（Ｓ６０）と、画像対応部５６によって、測定対象物１の二次元画像とモデル形成部５４で形成されたモデルとを、前記三次元位置データと二次元画像の対応付けを用いて対応付ける工程（Ｓ７２）と、モデル表示部５７によって、前記モデルと対応付けられた二次元画像を用いて、測定対象物１の画像つきのモデルを表示する工程（Ｓ８０）とをコンピュータに実行させるものである。

上記第２の目的を達成する本発明の三次元画像表示方法では、対応部４０によって、測定対象物の三次元位置データと測定対象物１の二次元画像とを用いて、前記三次元位置データと二次元画像の対応付けを行なう工程において、測定対象物１の二次元画像は、測定対象物１のステレオ画像である。また、基準点設定部４１によって、ステレオ画像の一方の画像上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する工程（Ｓ１８）と、対応点探索部４３によって、前記ステレオ画像の他方の画像上における、前記基準点と対応する基準点対応点を定める工程（Ｓ１９）と、標定部４４によって、前記基準点と前記基準点対応点を用いて、測定対象物のステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める工程（Ｓ３０）とを有していると、二次元画像が測定対象物１のステレオ画像である場合の標定作業が円滑に行なえる。

好ましくは、本発明の三次元画像表示方法において、さらに、姿勢指示部５８によって測定対象物１のモデルの姿勢を指示する工程（Ｓ９０）と、座標変換部５９によってモデルに対する姿勢指示に応じて、前記対応点の座標変換を行う工程（Ｓ９２）を有し、モデル表示部５７によって、モデルに対する姿勢指示に応じた測定対象物１の画像つきのモデルを表示する工程とをコンピュータに実行させるとよい。

上記第１の目的を達成する本発明の三次元画像表示装置によれば、表示画像形成部を用いて、測定対象物１の三次元位置データと二次元画像（単写真画像又はステレオ画像）に基づき、複数の方向からの測定対象物１の二次元画像を作成するので、操作者は測定対象物１の三次元的なイメージを、二次元画像を見ることで看取できる。また、測定対象物画像データ記憶部１３に記憶された二次元画像としてステレオ画像を用いると、単写真画像と比較して、測定対象物の立体感のある二次元画像の作成作業が精度良く行なえる。また、測定対象物画像データ記憶部１３に記憶された二次元画像として単写真画像を用いると、ステレオ画像と比較して撮影作業が簡便ですむ。

以下図面を用いて本発明を説明する。本発明の三次元画像表示装置は、測定対象物１の画像（単写真画像又はステレオ画像）と、測定対象物１の全体を３Ｄ計測もしくは取得された３Ｄデータを用いて、測定対象物１の立体的な形状を算出すると共に、測定対象物１の二次元画像に立体感を表現するテクスチャ（texture）を貼り付ける。ここで、テクスチャとはグラフィックスなどにおいて、図形の表面に付けられた模様や、質感を表わすための描き込みをいう。また、１枚の二次元画像には少なくとも６点以上の３Ｄデータ（三次元位置データ）が含まれているように撮影されることで、測定対象物１の三次元位置データと二次元画像の対応付けによって、当該１枚の二次元画像の標定が可能となっている。

図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。本発明は、測定対象物画像データ記憶部１３、測定対象物位置データ記憶部１７、対応部４０、表示画像形成部５０、表示装置６０を備えるもので、例えばコンピュータと表示装置で構成されている。測定対象物１は、施工対象物・製作対象物となる有体物で、例えば建築物等の各種工作物や人物・風景等が該当する。画像撮影装置１０は、測定対象物１の画像（単写真画像又はステレオ画像）を取得するもので、例えば汎用のデジタルカメラとこのデジタルカメラで撮影された測定対象物１の画像に対してレンズ収差の補償を行なう装置を組合せた機器が用いられる。

三次元位置測定装置１４には、測定の対象となる標点位置をレーザー等を用いて自動的に測定する三次元位置測定装置（トータルステーション）や、３Ｄスキャナが用いられる。３Ｄスキャナとは、レーザ光を測定対象物１に発射し、その反射光を機械内のＣＣＤカメラで受光し、受光した光から三角測距の原理で距離データを得て３次元データ化するもので、工業デザインや３Ｄ画像のデータベース化、映像制作における３次元ＣＧなど、様々な用途で使われている。測定対象物１にレーザ光を上から下へ走査することにより、１回のスキャンで、照射画像全体で例えば６４０ｘ４８０点の距離画像を入力することができる。

測定対象物画像データ記憶部１３は、測定対象物１の画像（単写真画像又はステレオ画像）を記憶するもので、例えば画像撮影装置１０で撮影された測定対象物１の単写真画像や左右画像を記憶する。測定対象物位置データ記憶部１７は、絶対標定に必要とされる１枚の測定対象物１の画像当り６点以上の基準点となる測定対象物１の三次元位置データを記憶するもので、例えば三次元位置測定装置１４で測定された基準点の位置データを記憶する。

対応部４０は、測定対象物１の三次元位置データと二次元画像の対応付けを行うもので、測定対象物１の画像がステレオ画像の場合に対処する基準点設定部４１、対応点探索部４３、標定部４４、対応点指示部４５と、測定対象物１の画像が単写真画像の場合に対処する単写真標定部４６と標定画面指示部４７を備えている。

基準点設定部４１は、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する。特徴点には、例えば測定対象物１の中心位置、重心位置、コーナー位置などがある。対応点探索部４３は、ステレオ画像の他方の画像（探索画像）上における、基準点設定部４１により設定された基準点と対応する基準点対応点を定める。操作者が特徴点近傍に指示点を指示すると、操作者が厳格に特徴点を指示しなくても、基準点設定部４１によって操作者が基準画像で本来意図した特徴点に引き込まれると共に、対応点探索部４３によって探索画像の基準点対応点が定められる。

標定部４４は、基準点設定部４１により設定された基準点と対応点探索部４３により求められた基準点対応点を用いて、ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める。対応点指示部４５は、操作者が基準画像の特徴点近傍以外の点を指定した場合に、探索画像上での対応点を定める。操作者は、表示装置６０に表示される基準画像の指示点と、対応点指示部４５によって定められる探索画像上での対応点の表示位置とを対比して、測定対象物１の形状認識が容易に行なえる。また、対応点指示部４５による位置対応を用いて、標定部４４による相互標定が容易に行なえる。

単写真標定部４６は、測定対象物１の単写真画像の場合に、単写真標定を行なう。単写真標定とは、1枚の写真の中に写された３点以上の基準点になりたつ共線条件を用いて、写真を撮影したカメラの位置、およびカメラの傾きを求め、写真座標系と地上座標系の間の関係を確立するもので、求められるパラメータは、いわゆる外部標定要素と呼ばれるものと一致する。ここで、標定は、英語では"Orientation"と表記される。内部標定とは、機械座標系から写真座標系に変換することで、求められたパラメータは内部標定要素（内部定位）と呼ばれる。デジタルカメラでは、内部標定要素としてカメラ内部のディストーション、主点位置等がある。また、単写真標定には、例えばＤＬＴ(Direct Linear Transformation)法が用いられる。標定画面指示部４７は、測定対象物１の単写真画像上で６点以上の基準点と、測定対象物位置データ記憶部１７に記憶された基準点となる測定対象物１の三次元位置データとを、対応付ける。

また、表示画像形成部５０は、測定対象物１の三次元位置データ及び測定対象物１の画像（単写真画像又はステレオ画像）に基づき、複数の方向からの測定対象物１の二次元画像を作成するもので、三次元座標データ演算部５１、単位画像面演算部５２、三次元座標データ記憶部５３、モデル形成部５４、モデル記憶部５５、画像対応部５６、モデル表示部５７、姿勢指示部５８、座標変換部５９を備えている。

測定対象物１がステレオ画像の場合には、三次元座標データ演算部５１によって標定部４４で求められた対応点関係から、測定対象物１の対応点の三次元座標データを求める。単位画像面演算部５２は、複数の対応点によって形成される単位画像面を用いてモデルとステレオ画像を対応付ける。単位画像面には、隣接する３点の対応点を用いた三角形面や、隣接する４点の対応点を用いた矩形面が用いられる。ここで、ステレオ画像における対応点とは、ステレオ画像の左右画像において対応関係が成立していて、三次元座標データ演算部５１による三次元座標データを求めることが可能な画像上の点（画素）をいう。なお、単写真画像の場合には、三次元座標データ記憶部５３から読込まれた三次元座標データが用いられる。単写真画像における対応点とは、単写真画像に撮影されている点（画素）のうち、三次元位置データが判明している点をいい、基準点を含んでいる。単写真画像における対応点は、典型的には三次元位置測定装置１４で測定された多数の点群（図２１参照）であり、測定対象物位置データ記憶部１７に記憶される。

三次元座標データ記憶部５３は、三次元座標データ演算部５１で演算された測定対象物１の対応点の三次元座標データが記憶される。

モデル形成部５４は、対応点の三次元座標データから測定対象物１のモデルを形成する。ここで、モデルとは、測定対象物１の形状を三次元座標により表現したもので、例えば図９に示すワイヤーフレーム表示や図１０に示すテクスチャマッピングを行う為に必要な情報である。モデル記憶部５５は、モデル形成部５４で形成された測定対象物１のモデルを記憶している。画像対応部５６は、測定対象物画像データ記憶部１３に記憶された測定対象物画像（単写真画像又はステレオ画像）とモデル形成部５４で形成されたモデルとを、標定部４４で求められた対応点関係を用いて対応付ける。モデル表示部５７は、画像対応部５６によりモデルと対応付けられたステレオ画像を用いて、測定対象物１を鳥瞰画像等の立体感テクスチャ付き画像を用いて、立体感のある二次元画像で表示装置６０に表示する。

姿勢指示部５８は、測定対象物１のモデルの姿勢を指示するもので、例えば操作者がマウス等のカーソル入力装置を操作して、表示装置６０に表示される測定対象物１の姿勢を指示する。座標変換部５９は、モデルに対する姿勢指示に応じて、対応点の座標変換を行う。モデル表示部５７は、姿勢指示部５８で指示された姿勢に応じた測定対象物１の立体感テクスチャ付き画像を表示する。表示装置６０は、液晶表示装置やＣＲＴ等の画像表示装置である。

次に、このように構成された本発明の三次元画像表示装置の動作を説明する。図２は図１に示す三次元画像表示装置の動作を説明するフローチャートで、主に測定対象物がステレオ画像の場合を示している。まず、デジタルカメラ等の画像撮影装置１０を用いて撮影した測定対象物１の画像（単写真画像又はステレオ画像）を、測定対象物画像データ記憶部１３に画像登録する（Ｓ１０）。次に、三次元位置測定装置１４を用いて取得した、測定対象物１の三次元座標を用いた位置データを測定対象物位置データ記憶部１７に読みこむ（Ｓ１２）。測定対象物位置データ記憶部１７に記憶される測定対象物１の三次元座標を用いた位置データ数は、１枚の二次元画像には少なくとも６点以上の三次元位置データを有する画素点が含まれるように選定するのがよく、例えば３Ｄスキャナを用いると数万点になる場合もある。続いて、測定対象物画像データ記憶部１３に画像登録された測定対象物１の画像が、ステレオ画像か単写真画像かの判断をして（Ｓ１４）、単写真の場合には図２０で示すＳ６００に飛ぶ。ステレオ画像の場合にはＳ１６に飛ぶ。

［ステレオ画像］
Ｓ１４でステレオ画像の場合には、測定対象物画像データ記憶部１３に登録された画像のうち、ステレオペアとなる左右画像の組を設定する（Ｓ１６）。ただし、測定対象物画像データ記憶部１３に登録された全ての画像を、Ｓ１６にてステレオペア設定しなくよい。即ち、計測したいステレオ画像や立体感テクスチャを貼りたいステレオ画像から順に、随時ステレオ画像を構成するステレオペアとして設定してもよい。次に、基準点設定部４１によって、ステレオ画像の一方の画像（基準画像）上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する（Ｓ１８）。また、対応点探索部４３によって、ステレオ画像の他方の画像（探索画像）上における、基準点と対応する基準点対応点を定める（Ｓ１９）。Ｓ１８、Ｓ１９の関係は、例えば図４、図５、図６にて説明されている。

つぎに、標定部４４によって、標定作業を行ない、測定対象物画像データ記憶部１３に記憶された測定対象物１のステレオ画像の相互標定を行い、ステレオ画像の対応点関係を求める（Ｓ３０）。この標定作業には、マニュアルと半自動、全自動の三つのモードがあり、詳細は後で説明する。ここで、標定作業とは、２枚以上の画像のそれぞれの対応点（同一点）を各画像上で基準点設定部４１と対応点探索部４３により、操作者がマウスカーソルなどで基準画像上で指示した指示点に対して、特徴点に適合する基準点と対応する基準点対応点の画像座標を読み取る作業である。この対応点は通常各画像毎に６点以上必要である。座標が記憶されていれば、基準点座標と画像の対応付けして、絶対標定を実行する。

標定作業により求めた対応点の座標を用いて、標定部４４により標定計算処理を行う（Ｓ４０）。標定計算処理により、撮影したカメラの位置、傾き、対応点の位置、計測精度を求めることが出来る（図３参照）。標定計算処理は、ステレオモデルの対応付けに関しては相互標定で行ない、全画像間の標定に関してはバンドル調整にて行う。なお、相互標定の詳細は後で説明する。

図３は標定計算処理の標定結果の一例を説明する画面図である。標定結果画面図１００には、結果一覧画面１０２、パスポイント画面１０４、標定点画面１０６、算出座標画面１０８、撮影状況と地上分解能画面１１０が設けられている。撮影状況と地上分解能画面１１０には、ステレオ画像の撮影状況と地上分解能表示面１２０と、カメラの位置と傾き表示面１３０が設けられている。ステレオ画像の撮影状況と地上分解能表示面１２０には、ステレオペアとなる２枚の画像データを表示するペア名欄１２１、基線長Ｂ欄１２２、撮影距離Ｈ欄１２３、Ｂ／Ｈ比欄１２４、平面分解能欄１２５、奥行分解能欄１２６が設けられている。カメラの位置と傾き表示面１３０には、画像名欄１３１、画像原点の三次元座標を示すＸｏ欄１３２、Ｙｏ欄１３３、Ｚｏ欄１３４、並びに画像の基準座標系からの傾斜角度を示すω欄１３５、φ欄１３６、κ欄１３７が設けられている。

図２に戻り、三次元座標データ演算部５１にてステレオ計測を行い、測定対象物１の三次元座標を求める（Ｓ５０）。あるいは、ステレオ計測を行なわない場合でも、測定対象物位置データ記憶部１７にステレオ画像の対応点の三次元座標を予め読み込んである場合には、三次元座標データ演算部５１は測定対象物位置データ記憶部１７から対応点の三次元座標を読み込む。ステレオ計測には、例えば本発明者の提案に掛かる特開２００３−２８４０９８号公報に開示されているように、マニュアル計測、半自動計測、自動計測の各種モードが存在している。そこで、Ｓ４０の標定計算処理結果に応じて、ステレオ計測では、立体視可能なステレオ（左右）画像を作成表示して、上述モードを利用して対応点の三次元座標を求める。自動計測モードで行う場合は、自動計測を行う計測領域を指定して自動計測を行う。マニュアル、半自動計測の場合は、左右のステレオ画面を観察しながら左右画像上の対応点を半自動もしくは、マニュアルにて対応している点をマウスにて確定しながら計測する。

図４は、ステレオ画像に対して実行されるステレオ計測の一例を説明する図面である。ここでは、ステレオ画像１５０の一例として神殿の遺跡を測定対象物１とし、左画像１５０Ｌと右画像１５０Ｒをステレオペアとしている。ここでは、左画像１５０Ｌを基準画像とし、左画像１５０Ｌの特徴点の座標を（Ｘ１、Ｙ１）とする。すると、三次元座標データ演算部５１は右画像１５０Ｒを探索画像として取扱い、左画像１５０Ｌの特徴点に対応する右画像１５０Ｒの対応点の座標は（Ｘ２、Ｙ２）にて示される。

図５は、ステレオ画像に対して実行されるステレオ計測の他の例を説明する図面である。ここでは、測定対象物１として神殿の遺跡の壁面に形成された水瓶運搬レリーフを採択している。測定対象物１のステレオ画像１６０としては、水瓶運搬レリーフの左画像１６０Ｌと右画像１６０Ｒをステレオペアとしている。ここでは、三次元座標データ演算部５１は左画像１６０Ｌを基準画像とし、右画像１５０Ｒを探索画像として取扱っている。そして、左画像１６０Ｌの特徴点近傍の画像領域１６２Ｌと、右画像１６０Ｒの対応点近傍の画像領域１６２Ｒを抽出して、図６にて拡大表示している。

図６は、特徴点近傍の画像領域１６２Ｌと対応点近傍の画像領域１６２Ｒの拡大図である。操作者がマウスカーソルなどで左画像１５０Ｌ（基準画像）の対応点を指示すると、基準点設定部４１により特徴点に適合する基準点に引き込まれると共に、対応点探索部４３により右画像１５０Ｒ（探索画像）の基準点と対応する基準点対応点が定められる。操作者には、基準点設定部４１と対応点探索部４３により、右画像１５０Ｒ（探索画像）でも指示位置近傍の特徴点に引き込まれるように見える。指示位置近傍の特徴点として、ここでは水瓶運搬レリーフのコーナー位置を示している。

図２に戻り、三次元座標データ演算部５１にて求められた三次元座標、あるいは三次元座標データ記憶部５３から読み込まれた三次元座標から、モデル形成部５４にて測定対象物１のモデルを作成する（Ｓ６０）。図７は、測定対象物１のモデルの一例を示す図で、ワイヤーフレーム面を示している。ここでは、測定対象物１として、神殿の遺跡の壁面に形成された水瓶運搬レリーフをステレオ画像１７０としている。水瓶運搬レリーフの左画像１７０Ｌと右画像１７０Ｒをステレオペアとしている。左右の領域指定枠線１７２Ｌ、１７２Ｒの内側に、ワイヤーフレーム面１７４Ｌ、１７４Ｒが形成されている。ワイヤーフレーム面１７４Ｌ、１７４Ｒを構成する単位画像面は、例えば隣接する３点の対応点を用いた三角形面や、隣接する４点の対応点を用いた矩形面が選択できる。このとき、測定対象物１のモデルの姿勢には、最初に作成された面の向きがデフォルト値として設定されている。

図２に戻り、画像対応部５６により、テクスチャマッピングしたい面を指定する（Ｓ７０）。テクスチャマッピングとは、測定対象物１の二次元画像に立体感を表現するテクスチャを貼り付けることをいう。Ｓ７０の処理は、ステレオ自動計測した場合は、Ｓ５０で行った計測領域の指定とかねてもよい。次に、画像対応部５６は、測定対象物１のステレオ画像とモデル形成部５４によって形成されたモデルとを、標定部４４で求められた対応点関係を用いてテクスチャマッピングする（Ｓ７２）。テクスチャマッピングの詳細は、後で説明する。

次に、モデル表示部５７により、テクスチャマッピングされた画像をモデル画面上に表示する（Ｓ８０）。モデル画面は、ステレオ画像から形成された立体感テクスチャ付き画像やテクスチャを除去した画像のように、斜視状態を表す測定対象物１の二次元画像である。Ｓ８０での表示は、テクスチャマッピングされた画像だけでなく、ワイヤーフレーム画像や、３次元の点群（例えば３Ｄスキャナーで取得した点画像）、カメラ撮影位置や基準点位置を表示してもよい。また、モデル画面に表示される対象を、同時また切り替えて表示することにより、ステレオ画像計測結果と測定対象物１の撮影画像との確認が容易になる。

図８は、立体感を表現するテクスチャをワイヤーフレームで表現した図である。ワイヤーフレーム画面１８０には、例えば測定対象物１の領域指定枠線１８２と、測定対象物１のワイヤーフレーム１８４が表示されている。ワイヤーフレーム１８４は、斜視状態を表す測定対象物１の二次元画像に貼り付けられる。

図９は、テクスチャマッピングの表示例で、測定対象物１を立体感テクスチャ付き画像で表示する場合を示している。テクスチャマッピング画面１９０には、モデル表示部５７によって、例えば測定対象物１の領域指定枠線１９２と、立体感のあるテクスチャがマッピングされた測定対象物１の鳥瞰画像１９４が表示されている。測定対象物１の鳥瞰画像１９４は、斜視状態を表す測定対象物１の二次元画像として表示される。

図２に戻り、操作者は、マウスやキーボード等を利用して、姿勢指示部５８によりワイヤーフレーム画面１８０やテクスチャマッピング画面１９０における測定対象物１の表示の向きを指示する（Ｓ９０）。すると、座標変換部５９が表示装置６０に表示された測定対象物１の表示の向きを、姿勢指示部５８により指示された向きに座標変換して、ワイヤーフレーム画面１８０やテクスチャマッピング画面１９０に表示する（Ｓ９２）。操作者は、他の測定対象物１の表示の向きが存在するか判断し（Ｓ９４）、ＹｅｓであればＳ９０に戻り、Ｎｏであれば終了とする（Ｓ９６）。Ｓ９０、Ｓ９２のような測定対象物１の表示の向きを任意に指定できる機能によって、あらゆる角度から視点位置を変化させて計測結果や測定対象物１を表示装置６０に表示させることで、操作者が視覚的に測定対象物１を確認することが可能となる。

［相互標定］
次に、標定部４４で行なう相互標定について説明する。図１０は、ステレオ画像におけるモデル座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。モデル座標系の原点を左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長を単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。

まず、以下の共面条件式（１）により、左右カメラの位置を定めるのに必要とされるパラメータを求める。
この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。

上述の条件にすると、共面条件式（１）は式（２）のように変形され、式（２）を解けば各パラメータが求まる。
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式（３）、（４）が成り立つ。

これらの式を用いて、次の手順により、未知パラメータを求める。
（ｉ）初期近似値は通常０とする。
（ｉｉ）共面条件式（２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を式（３）、（４）により求め、観測方程式をたてる。
（ｉｉｉ）最小二乗法を適用して、近似値に対する補正量を求める。
（ｉｖ）近似値を補正する。
（ｖ）補正された近似値を用いて（ｉｉ）〜（ｖ）までの操作を収束するまで繰り返す。

続いて、標定部４４による標定作業の詳細を説明する。標定には、マニュアル、半自動標定モード、自動標定モードの３モードが存在し、標定画像での対応点の配置状況に応じて適宜に選択する。図１１は、マニュアルと半自動標定モードの標定作業のフローチャートである。まず、標定部４４によって標定モードに入る（Ｓ１００）。このとき、操作者は標定したい画像を指定しておく。この場合、画像の指定枚数に関して、特段の制限は存在しない。すると、表示装置６０の画面上に、標定部４４によって指定した測定対象物画像が表示される（Ｓ１１０）。

操作者は、標定の設定を半自動標定モードかマニュアルに設定する（Ｓ１２０）。この場合、標定部４４による標定作業のデフォルトとしてマニュアルを選択してもよい。また、半自動標定モードの場合は、重心検出モード、コーナー検出モードの双方があり、詳細は後で説明する。次に、操作者は、例えば図５や図６に示すように、画像の標定に使用する点を指定する（Ｓ１３０）。この場合、測定対象物１の左右画像上で対応する点を、基準点設定部４１と対応点探索部４３により指示する。マニュアルの場合は、マウスカーソルにて測定対象物１の左右画像上の対応点を、表示装置６０の画像上で指定する。半自動標定モードの場合は、対応点近傍を指定することにより、基準点設定部４１と対応点探索部４３により対応点（重心もしくはコーナー）が特定される。そして、測定対象物１の左右画像上での対応点指定が終了したか判断し（Ｓ１４０）、ＮｏであればＳ１３０に戻って対応点指定を継続し、Ｙｅｓであれば戻しとする（Ｓ１５０）。

以下、半自動標定モードのアルゴリズムについて説明する。図１２は、測定対象物の特徴点に貼付するレトロターゲットの説明図である。レトロターゲット２００は、中心位置２０２が明確に識別できる標点（ターゲット）で、同心円状に形成された内円部２０４と外円部２０６を有している。内円部２０４の明度を明るくし、外円部２０６の明度を暗くすることで、視認性を高めている。そこで、レトロターゲット２００は、測定対象物１の重心やコーナーのように、位置決めに関して特に重要な特徴点に貼付される。なお、内円部２０４と外円部２０６の明度は、明暗のコントラストが逆でも良い。

図１３は、半自動標定モードにおける重心検出のアルゴリズムを説明するフローチャートである。まず、予め測定対象物１の特徴点にレトロターゲット２００を貼付しておく。あるいは、レトロターゲット２００に代えて、測定対象物１上の輝度の高い特徴点を、基準点設定部４１と対応点探索部４３により指示してもよい。操作者は、表示装置６０の画像上に表示された測定対象物１の画像（基準画像）上で、マウスカーソルにより対応点近傍を指定する（Ｓ２００）。すると、基準点設定部４１と対応点探索部４３は、探索画像における対応点の近傍から、ターゲットの存在範囲を決定する（Ｓ２１０）。

図１４はレトロターゲットを用いた重心位置検出の説明図で、（Ａ１）は内円部の明度が暗いレトロターゲット、（Ａ２）は（Ａ１）のレトロターゲットの直径方向の明度分布図、（Ｂ１）は内円部の明度が明るいレトロターゲット、（Ｂ２）は（Ｂ１）のレトロターゲットの直径方向の明度分布図を示している。レトロターゲットが図１４（Ａ１）のように内円部の明度が明るい場合は、測定対象物１の撮影画像において重心位置での反射光量が多く明るい部分になっているため、画像の光量分布が図１４（Ａ２）のようになり、光量分布の閾値Ｔからレトロターゲットの内円部２０４や中心位置２０２を求めることが可能となる。

図１３に戻り、Ｓ２１０にて測定対象物１の撮影状態が悪く、ターゲットの存在範囲が算出できない場合は、重心位置検出ができない為、エラー表示する（Ｓ２１５）。そして、Ｓ２１５からＳ２５０に飛び、対応点近傍の指定点を修正か判断し（Ｓ２５０）、ＹｅｓであればＳ２００に戻り、対応点近傍の指定点として他の点を計測点と指定する。Ｓ２５０でＮｏの場合は、マニュアル計測モードに切り替えて、他の特徴点に指定を切換えて、特徴点位置を計測し直す（Ｓ２６０）。

他方、Ｓ２１０にてターゲットの存在範囲が決定されると、標定部４４により、例えばモーメント法によって重心位置を算出する（Ｓ２２０）。例えば、図１４の（Ａ１）に表記されたレトロターゲット２００の平面座標を（ｘ、ｙ）とする。そして、レトロターゲット２００の明度が、しきい値Ｔ以上のｘ、ｙ方向の点について、式（６）、（７）を演算する。
ｘｇ＝｛Σｘ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） …（６）
ｙｇ＝｛Σｙ＊ｆ（ｘ、ｙ）｝／Σｆ（ｘ、ｙ） …（７）
ここで、（ｘｇ、ｙｇ）は重心位置の座標、ｆ（ｘ、ｙ）は（ｘ、ｙ）座標上の明度値である。なお、図１４の（Ｂ１）に表記されたレトロターゲット２００の場合は、明度がしきい値Ｔ以下のｘ、ｙ方向の点について、上式（６）、（７）を演算する。

そして、標定部４４は、Ｓ２２０で求められた対応点位置を画面上に表示する（Ｓ２３０）。Ｓ２３０で表示された対応点位置が、操作者又は予め定められた判断規範に当てはめた場合に適合していれば、標定作業を終了して戻しとする（Ｓ２４０）。他方、Ｓ２３０で表示された対応点位置が、操作者又は予め定められた判断規範に当てはめた場合に不適合であったり、或いは重心位置検出ができずエラー表示となった場合は上述のＳ２５０に飛ぶ。

図１５は、半自動標定モードにおけるコーナー検出のアルゴリズムを説明するフローチャートである。コーナー検出のアルゴリズムは、測定対象物１の画像上で直線が交わるようなコーナーが存在する場合や、直交する直線を有するターゲットを測定対象物１に貼付してある場合に適用される。たとえば、測定対象物１が、ビルデングなどのような直線とコーナーが多数ある建造物の場合には、極めて有効となる。

操作者は、表示装置６０の画像上に表示された測定対象物１の画像（基準画像）上で、マウスカーソルにより対応点近傍を指定する（Ｓ３００）。すると、基準点設定部４１と対応点探索部４３は、基準画像の指定点並びに探索画像における対応点の近傍の探索領域を自動設定する（Ｓ３１０）。この場合は特徴点検出がコーナー検出と指定されるので、測定対象物１の画像縮尺に応じて、デフォルトにて探索領域をあらかじめ定数として設定しておく。そして、基準点設定部４１と対応点探索部４３により、探索領域内のエッジ検出を行う（Ｓ３２０）。エッジ検出に関しては、例えばエッジ検出フィルターやＬＯＧフィルタ（下述）が利用できるが、要するに画像処理において画像の縁検出に用いられる検出方式であればよい。

エッジ検出の一例を、以下簡単に説明する。検出点を中心としてＬ×Ｌ画素の画像を対象画像とする。対象画像濃淡波形に、式（８）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果における曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。
∇²・Ｇ（ｘ）＝（ｘ²−２σ²／２πσ⁶）・ｅｘｐ（−ｘ²／２σ²）…（８）
ここで、σはガウス関数のパラメータである。

続いて、基準点設定部４１と対応点探索部４３は検出されたエッジについて直線検出を行う（Ｓ３３０）。基準点設定部４１と対応点探索部４３又は操作者が、エッジの連続性をみて、もっとも連続性のある二つのエッジについて直線にフィッティングさせる。直線検出法はこれに限らずどのような方法を用いてもよい。そして、基準点設定部４１と対応点探索部４３は検出された２直線について、その交点を求める（Ｓ３４０）。そして、基準点設定部４１と対応点探索部４３は表示装置６０の画像上に結果を表示する（Ｓ３５０）。コーナー検出された特徴点の結果が、操作者や予め定められた判断規範に当てはめた場合に適合するか否か判断する（Ｓ３６０）。Ｓ３６０でＹｅｓであれば、次の対応点が存在するか否か判断する（Ｓ３８０）。Ｓ３８０で次の対応点が存在する場合は、次の対応点を指定してＳ３００に戻る。Ｓ３８０で次の対応点が存在しない場合は、コーナー検出処理を終了して戻しとする（Ｓ３９０）。

Ｓ３６０でＮｏであれば、マウスカーソルにより対応点近傍の指定点を修正するか判断し（Ｓ３７０）、ＹｅｓであればＳ３００に戻って対応点近傍の指定点として他の点を計測点と指定する。Ｓ３７０でＮｏであれば、マニュアル計測モードに切り替えて計測し直す（Ｓ３７５）。

次に自動測定の場合について説明する。図１６は、自動標定モードのアルゴリズムを説明するフローチャートである。自動標定モードでは、予め測定対象物１の特徴点にレトロターゲット２００（図１２参照）を貼付しておく。次に、操作者は標定部４４にて自動標定モードを設定する（Ｓ４００）。すると、表示装置６０の画像上に測定対象物画像が表示される（Ｓ４１０）。次に、基準点設定部４１と対応点探索部４３は、対応点の画像ひとつをテンプレートとして登録する（Ｓ４２０）。続いて、基準点設定部４１と対応点探索部４３は、測定対象画像上でテンプレート画像に登録した画像と同じレトロターゲット画像を探索する（Ｓ４３０）。この場合、テンプレートマッチングにより画像探索する。

ここで、テンプレートマッチングの詳細を説明する。テンプレートマッチングには、正規化相関法や残差逐次検定法（ＳＳＤＡ法）、その他各種の演算原理のものが存在している。テンプレートマッチングとして、残差逐次検定法を使用すれば処理が高速化できる。ここでは残差逐次検定法を説明する。

図１７は残差逐次検定法における入力画像とテンプレート画像の説明図である。基準点設定部４１と対応点探索部４３に設けられた残差逐次検定法の遂行機能によって、Ｎ１×Ｎ１画素のテンプレート画像を、それより大きいＭ１×Ｍ１画素の入力画像内の探索範囲（Ｍ１−Ｎ１＋１）^２上で動かす。テンプレート画像の位置は、例えば左上隅に設けられた代表点の入力画像における座標（a,b）によって表す。そして、基準点設定部４１と対応点探索部４３によってテンプレート画像の各移動位置における式（９）の残差Ｒ（a,b）を演算し、最小となる移動位置を求める。この残差Ｒ（a,b）が最小となる移動位置が、テンプレートマッチングにより求める画像の位置である。
処理の高速化をはかるため、式（９）の加算において、R(a,b)の値が過去の残差の最小値を越えたら加算を打ち切り、次の画素座標(a,b)に移るよう計算処理を行うと良い。

図１６に戻り、Ｓ４３０で探索された全てのターゲットについて、さらに詳細に重心位置検出する（Ｓ４４０）。重心位置検出には、例えば前述したモーメント法等を利用するとよい。基準点設定部４１と対応点探索部４３は、Ｓ４４０で求められたターゲット位置を画面上に表示する（Ｓ４５０）。Ｓ４５０で表示された対応点位置が、操作者又は予め定められた判断規範に当てはめた場合に適合していれば、標定作業を終了して戻しとする（Ｓ４６０）。他方、Ｓ４５０で表示されたターゲット位置が、操作者又は予め定められた判断規範に当てはめた場合に不適合であったり、或いは重心位置検出ができずエラー表示となった場合は、半自動標定モード又はマニュアルモードに移行して、不適合なターゲット位置を修正する（Ｓ４７０）。

［モデル画像作成］
次に、モデルにて用いられるモデル画像について説明する。モデル画像は、モデル形成部５４、画像対応部５６、モデル表示部５７等で用いられる。図１８はモデル画像の作成手順を説明するフローチャートである。まず、標定作業と標定計算処理で求められた座標を利用して、座標変換パラメータを求める。すなわち、標定作業により計測された画像座標と標定計算処理により算出された地上座標（モデル座標系の場合は、地上座標を仮に設定する）の対応づけを行ない、座標変換パラメータを求める（Ｓ５００）。

座標変換パラメータは次の３次の射影変換式（１０）により求める。
ここで、（ｘ、ｙ）は画像座標、（Ｘ、Ｙ、Ｚ）は地上座標、Ｌ１〜Ｌ１１は未知変量である。３次の射影変換式（１０）を、基準点のデータに基づき最小二乗法を用いて解くと、画像座標（ｘ、ｙ）と３次元座標（Ｘ、Ｙ、Ｚ）との関係を決定する各種変換パラメータを取得することができる。

次に、モデル画像上の各画素（ピクセル）の地上座標を計算する（Ｓ５１０）。この処理では、モデル画像作成のために、モデル画像の画像座標（ｘ、ｙ）を地上座標（Ｘ、Ｙ、Ｚ）に変換するものである。地上座標（Ｘ、Ｙ、Ｚ）は、先に座標変換パラメータ算出処理のＳ５００で求められた変換パラメータを用いて計算される。即ち、モデル画像の画像座標（ｘ、ｙ）に対応する地上座標（Ｘ、Ｙ、Ｚ）は、以下の式（１１）で与えられる。このようにして、モデル画像上の各ピクセルの取得位置を求めることができる。
ここで、（Ｘｏ、Ｙｏ）は地上座標系でのモデル画像の左上の位置、（ΔＸ、ΔＹ）は地上座標系での１画素の大きさ（例：ｍ／ｐｉｘｅｌ）、（ｘ、ｙ）はモデル画像の画像座標、（Ｘ、Ｙ、Ｚ）は地上画像、係数ａ、ｂ、ｃ、ｄはある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。

今度は、ステップＳ５００で求めた変換パラメータを使用して、３次の射影変換式（１０）により、ステップＳ５２０で求められた地上座標（Ｘ、Ｙ、Ｚ）に対応する画像座標（ｘ、ｙ）を計算する（Ｓ５２０）。このように求められた画像座標（ｘ、ｙ）から、該当する画像の地上座標（Ｘ、Ｙ、Ｚ）上の濃度値を取得する。この濃度値が、モデル画像上における２次元の位置（Ｘ、Ｙ）のピクセルの濃度である。このように、地上座標上の位置（Ｘ、Ｙ）に貼り付ける画像濃度を取得する。以上のような処理を、モデル画像のすべてのピクセルに対して行うことにより、画像貼付が行なわれる（Ｓ５３０）。

［視点を変えたモデル画像形成］
続いて、座標変換部５９により遂行されるモデル画像の回転に関する演算原理を説明する。図２のＳ９２で説明しているように、姿勢指示部５８で測定対象物１のモデルの姿勢を指示すると、座標変換部５９により座標変換してモデル表示部５７で指示された姿勢に応じた測定対象物１の立体感テクスチャ付き画像を表示するので、測定対象物１の任意方向の立体感テクスチャ付き画像が得られる。そこで、視点をかえて見たモデル画像を作成する原理を説明する。この原理は、姿勢指示部５８で指示された方向に座標変換部５９にて座標系を回転させた後、モデル画像を形成させるものである。

図１９は、視点を変えたモデル画像形成の原理説明図である。図１９に示すように、地上座標系のＸ、Ｙ、Ｚをそれぞれの軸方向のω、φ、κに回転させることにより、視点を変えた地上座標系Ｘ’，Ｙ’、Ｚ’が得られる。そこで、視点を変えた地上座標系Ｘ’，Ｙ’、Ｚ’に対し、画像貼り付けを行い、モデル画像を作成する。

以下に詳細に説明する。例えば、傾きのない地上座標Ｘ、Ｙ、Ｚであらわされた対象物Ｐ（Ｘ，Ｙ，Ｚ）が、逆に傾きのある地上座標系Ｘ’、Ｙ’、Ｚ’（視点を変えた座標系）でとる座標をＰ’（Ｘ’，Ｙ’，Ｚ’）とすると、以下の式（１２）〜（１５）によりその座標を求めることができる。
ここで回転行列Ｒには次の式（１３）、（１４）が成立している。
ここで、（Ｘｏ，Ｙｏ，Ｚｏ）は投影中心の座標である。

また、回転行列Ｒの要素ａ_ｉｊ（ｉ＝１〜３、ｊ＝１〜３）は次の式（１５）で表される。
ここで座標変換して求められた各座標Ｘ’、Ｙ’、Ｚ’について、モデル画像形成処理を行なえば、視点を変えたモデル画像を得ることができる。

［単写真画像］
図２０は図１に示す三次元画像表示装置の動作を説明するフローチャートの一部で、主に測定対象物が単写真画像の場合を示している。図２のＳ１４で単写真画像である場合には、標定画面指示部４７は、測定対象物１の単写真画像上で６点以上の基準点と、測定対象物位置データ記憶部１７に記憶された基準点となる測定対象物１の三次元位置データとを、対応付ける(Ｓ６００)。基準点と三次元位置データの対応付け作業は、単写真画像が複数枚あるときは、各画像について対応付け処理を行う。この基準点と三次元位置データの対応付け作業にはマニュアル、半自動、全自動の三つのモードがある点は、前出のステレオ画像に対するステップＳ５０と同様である。

次に、単写真標定部４６は、基準点と三次元位置データの対応付け作業の結果を用いて、式（１６）により標定計算処理を行ない(Ｓ６１０)、単写真画像を撮影したカメラの位置、傾き、対応点の位置、計測精度を求める。標定計算処理は、一枚の写真の中に写された３点以上の基準点になりたつ共線条件を用いて、撮影したカメラの位置と傾きを求め、画像座標系ｘ、ｙと地上座標系Ｘ、Ｙ、Ｚの間の関係を確立する、いわゆる単写真標定を用いる。単写真標定に用いる式（１６）は、以下の共線条件式を基本として求められる。
ここで共線条件式とは、投影中心、写真像および地上の対象物が一直線上にあるという関係をいう。

標定計算処理では、共線条件式に含まれる６個の外部標定要素Ｘｏ，Ｙｏ，Ｚｏ，ω，φ，κを求める。単写真標定部４６は、３点以上の基準点の地上座標と対応する写真座標から、逐次近似解法によって上記６個の外部標定要素を算出する。単写真標定部４６による外部標定要素の算出過程は、例えば逐次近似解法を用いる。逐次近似解法では、未知変量（外部標定要素）の近似値を与え、近似値のまわりにテーラー展開して線形化し、最小二乗法により補正量を求めて近似値を補正し、同様の操作をくりかえし収束解を求める。

次に、三次元座標データ記憶部５３から読み込まれた三次元座標から、モデル形成部５４にて測定対象物１のモデルを作成する（Ｓ６２０）。操作者は、テクスチャマッピングしたい単位画像面を指定する（Ｓ６３０）。この場合、姿勢指示部５８および座標変換部５９には、最初に作成された面の位置がデフォルト値として設定されている。次に、単位画像面演算部５２は、複数の対応点によって形成される単位画像面を用いてモデルとステレオ画像を対応付けることによって、指定単位画像面に測定対象物１の二次元画像とワイヤーフレームをテクスチャマッピングする（Ｓ６４０）。モデル表示部５７により、テクスチャマッピングされた画像をモデル画面上に表示する（Ｓ６５０）。

操作者は、マウスやキーボード等を利用して、姿勢指示部５８によりテクスチャマッピング画像における測定対象物１の表示の向きを指示する（Ｓ６６０）。すると、座標変換部５９が表示装置６０に表示された測定対象物１の表示の向きを、姿勢指示部５８により指示された向きに座標変換して、テクスチャマッピング画像に表示する（Ｓ６７０）。操作者は、他の測定対象物１の表示の向きが存在するか判断し（Ｓ６８０）、ＹｅｓであればＳ６６０に戻り、Ｎｏであれば終了とする（Ｓ６９０）。Ｓ６６０、Ｓ６７０のような測定対象物１の表示の向きを任意に指定できる機能によって、あらゆる角度から視点位置を変化させて計測結果や測定対象物１を表示装置６０に表示させることで、単写真画像の場合にも操作者が視覚的に測定対象物１を確認することが可能となる。

図２１は、測定対象物１の３次元の点群の一例を示す図である。測定対象物１の３次元の点群は、例えば３Ｄスキャナ等で取得される。図２２は３次元の点群を用いて形成される単位画像面の指定の一例を示す図である。３Ｄスキャナで取得される点群は例えば数万点に及ぶ為、単位画像面を例えば点群の隣接する３点を用いて形成する場合に、測定対象物１を覆う単位画像面の数も数万個になる。

図２３は、単写真画像の一例を示す図である。単写真画像画面３００は、単写真画像３０２、標定点拡大図３０４、標定点の計測図３０６を有している。単写真画像３０２には、絶対標定に必要とされる６点以上の基準点を構成する標定点（ａ４、ａ５、６０等）が位置している。標定点拡大図３０４は、標定点６２付近の拡大図である。標定点の計測図３０６には、標定点の点名欄３０８、画像座標欄３１０、基準点座標欄３１２、計測の開始指示欄３１４、標定計算の細目を指定する欄３１６、終了指示欄３１８、特徴点が中心検出であることを指定する欄３２０、特徴点がコーナー検出であることを指定する欄３２２が設けられている。

図２４は、単写真画像の他の一例を示す図である。単写真画像画面３００は、単写真画像３０３、標定点拡大図３０５、標定点の計測図３０６、標定結果（ＤＬＴ）図３２４、測定点表示図３４０を有している。単写真画像３０３には、測定対象物（遺跡）１の三次元形状を測定する為の標定点（６５、１０８）が表示されており、標定結果図３２４によって一部が隠れている。標定点拡大図３０５は、標定点６２付近の拡大図であるが、拡大倍率が図２３の標定点拡大図３０４と相違している。標定点の計測図３０６は図２３と同様であり、画像内の細目の説明は省略する。標定結果（ＤＬＴ）図３２４には、基準点レイヤ３２６、標定結果の一覧欄３２８、標定作業の開始指示欄３３０、再計算の指示欄３３２、標定結果図３２４のウィンドウを単写真画像画面３００から閉じることを指示する欄３３４、画像座標の残差欄３３６、メッセージ欄３３８が設けられている。標定結果の一覧欄３２８には、画像名、ＲＭＳ(pixel)、３Ｄ射影変換等のメッセージが設けられている。測定点表示図３４０は、標定点拡大図３０５等で表示される測定点を示した図である。

以上実施例を用いて詳細に説明した本発明の三次元画像表示装置によれば、表示画像形成部を用いて、測定対象物の三次元位置データと二次元画像（単写真画像又はステレオ画像）に基づき、複数の方向からの測定対象物の二次元画像を作成するので、操作者は測定対象物を三次元的に確認、計測できるという効果が得られる。特に、操作者が、三次元位置測定装置（トータルステーション）の３Ｄデータに画像を貼り付けている場合には、従来は３Ｄデータと測定対象物の現場設置状態との対比が旨くできなかったが、本発明の三次元画像表示装置によれば視覚的に確認、計測できる。特に、測定対象物の二次元画像に対して立体感テクスチャ付き画像を表示する構成とすると、ステレオ計測した３Ｄデータに対しても、立体視することなく３Ｄデータと画像の確認が容易にできるという効果がある。

また実施の形態のように、三次元画像表示装置としてＰＣ（パソコン）のような情報処理プロセッサを搭載したコンピュータ、ＬＣＤ(Liquid Crystal Display)モニタのような表示装置、並びにＰＣにインストールする三次元画像表示装置用のソフトウェア、並びに測定対象物画像（単写真画像又はステレオ画像）を撮影するデジタルカメラのような被校正撮影装置が存在すれば、ステレオ画像から取得した３Ｄ計測データを測定対象物の立体感テクスチャ付き画像と一体化して視覚化できる。そこで、従来ステレオ計測した３Ｄデータで必要とされていた、高価で精密な立体視用の装置を用いなくても、汎用で低価格のコンピュータとモニタ装置を用いて安価にシステム構築ができる。

本発明の第１の実施の形態を説明する全体構成ブロック図である。 図１に示す三次元画像表示装置の動作を説明するフローチャートである。 標定計算処理の標定結果の一例を説明する画面図である。 ステレオ画像に対して実行されるステレオ計測の一例を説明する図面である。 ステレオ画像に対して実行されるステレオ計測の他の例を説明する図面である。 特徴点近傍の画像領域１６２Ｌと対応点近傍の画像領域１６２Ｒの拡大図である。 測定対象物１のモデルの一例を示す図で、ワイヤーフレーム面を示している。 立体感を表現するテクスチャをワイヤーフレームで表現した図である。 テクスチャマッピングの表示例で、測定対象物１を立体感テクスチャ付き画像で表示する場合を示している。 ステレオ画像におけるモデル座標系ＸＹＺとカメラ座標系ｘｙｚの説明図である。 マニュアルと半自動標定モードの標定作業のフローチャートである。 測定対象物の特徴点に貼付するレトロターゲットの説明図である。 半自動標定モードにおける重心検出のアルゴリズムを説明するフローチャートである。 レトロターゲットを用いた重心位置検出の説明図である。 半自動標定モードにおけるコーナー検出のアルゴリズムを説明するフローチャートである。 自動標定モードのアルゴリズムを説明するフローチャートである。 残差逐次検定法における入力画像とテンプレート画像の説明図である。 モデル画像の作成手順を説明するフローチャートである。 視点を変えたモデル画像形成の原理説明図である。 図１に示す三次元画像表示装置の動作を説明するフローチャートの一部である。 測定対象物の３次元の点群の一例を示す図である。 ３次元の点群を用いて形成される単位画像面の指定の一例を示す図である。 単写真画像の一例を示す図である。 単写真画像の一例を示す他の図である。

符号の説明

１ 測定対象物
１０ 画像撮影装置
１３ 測定対象物画像データ記憶部
１４ 三次元位置測定装置
１７ 測定対象物位置データ記憶部
４０ 対応部
４１ 基準点設定部
４３ 対応点探索部
４４ 標定部
４５ 対応点指示部
４６ 単写真標定部
４７ 標定画面指示部
５０ 表示画像形成部
５１ 三次元座標データ演算部
５２ 単位画像面演算部
５４ モデル形成部
５６ 画像対応部
５７ モデル表示部
６０ 表示装置

Claims (11)

1. 測定対象物の三次元位置データを記憶する測定対象物位置データ記憶部と；
   前記測定対象物の二次元画像を記憶する測定対象物画像データ記憶部と；
   前記測定対象物の三次元位置データと二次元画像の対応付けを行う対応部と；
   前記測定対象物の三次元位置データと二次元画像に基づき、複数の方向からの前記測定対象物の二次元画像を作成する表示画像形成部と；
   を備える三次元画像表示装置。
2. 前記測定対象物画像データ記憶部に記憶される二次元画像は、前記測定対象物のステレオ画像であり；
   前記対応部は；
   前記ステレオ画像の一方の画像上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する基準点設定部と；
   前記ステレオ画像の他方の画像上における、前記基準点設定部により設定された基準点と対応する基準点対応点を定める対応点探索部と；
   前記基準点設定部により設定された基準点と前記対応点探索部により求められた基準点対応点を用いて、前記ステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める標定部とを有する；
   請求項１記載の三次元画像表示装置。
3. 前記対応部は、さらに、前記標定部で用いる対応点を指示する対応点指示部を有し；
   当該対応点指示部は、前記ステレオ画像を表示する表示装置に表示される前記測定対象物に関して、指示位置近傍の特徴点を示すように構成されている請求項２記載の三次元画像表示装置。
4. 前記測定対象物画像データ記憶部に記憶される二次元画像は、前記測定対象物のステレオ画像であり；
   前記表示画像形成部は；
   前記測定対象物の三次元座標データから前記測定対象物のモデルを形成するモデル形成部と；
   前記ステレオ画像の対応点の位置関係に基づき、前記測定対象物の二次元表示画像を対応付ける画像対応部と；
   前記モデルに前記画像対応部で対応付けられた二次元表示画像と対応付けて、画像つきのモデルを表示するモデル表示部とを有する；
   請求項１乃至請求項３の何れか１項に記載の三次元画像表示装置。
5. 前記測定対象物画像データ記憶部に記憶される二次元画像は、前記測定対象物のステレオ画像であり；
   前記表示画像形成部は；
   前記測定対象物の三次元座標データから前記測定対象物のモデルを形成するモデル形成部と；
   前記測定対象物画像データ記憶部に記憶された測定対象物のステレオ画像と、前記モデル形成部で形成されたモデルとを、前記標定部で求められた対応点関係を用いて対応付ける画像対応部と；
   前記画像対応部により前記モデルと対応付けられたステレオ画像を用いて、前記測定対象物の立体感テクスチャ付き画像を表示するモデル表示部とを有する；
   請求項１乃至請求項３の何れか１項に記載の三次元画像表示装置。
6. さらに、複数の前記ステレオ画像の対応点によって形成される単位画像面を用いて前記モデルと前記ステレオ画像を対応付ける単位画像面演算部を有し；
   前記表示画像形成部は、前記単位画像面によって前記ステレオ画像を覆うことを特徴とする請求項４又は請求項５に記載の三次元画像表示装置。
7. 前記測定対象物画像データ記憶部に記憶される二次元画像は、前記測定対象物の単写真画像であることを特徴とする請求項１に記載の三次元画像表示装置。
8. 前記表示画像形成部は、前記測定対象物のモデルの姿勢を指示する姿勢指示部と、前記モデルに対する姿勢指示に応じて、前記対応点の座標変換を行う座標変換部とを有し；
   前記姿勢指示部で指示された姿勢に応じて、前記測定対象物の二次元画像の表示方向が定められることを特徴とする請求項１乃至請求項７の何れか１項に記載の三次元画像表示装置。
9. 対応部によって、測定対象物の三次元位置データと前記測定対象物の二次元画像とを用いて、前記三次元位置データと二次元画像の対応付けを行なう工程と；
   モデル形成部によって、前記三次元位置データと二次元画像の対応付けを用いて、前記測定対象物のモデルを形成する工程と；
   画像対応部によって、前記測定対象物の二次元画像と、前記モデル形成部で形成されたモデルとを、前記三次元位置データと二次元画像の対応付けを用いて対応付ける工程と；
   モデル表示部によって、前記モデルと対応付けられた二次元画像を用いて、前記測定対象物の画像つきのモデルを表示する工程と；
   をコンピュータに実行させる三次元画像表示方法。
10. 対応部によって、測定対象物の三次元位置データと前記測定対象物の二次元画像とを用いて、前記三次元位置データと二次元画像の対応付けを行なう工程において；
    前記測定対象物の二次元画像は、前記測定対象物のステレオ画像であり；
    基準点設定部によって、ステレオ画像の一方の画像上に指定された点の近傍であって、特徴点に適合する点を探索し、当該特徴点に適合する点を基準点に設定する工程と；
    対応点探索部によって、前記ステレオ画像の他方の画像上における、前記基準点と対応する基準点対応点を定める工程と；
    標定部によって、前記基準点と前記基準点対応点を用いて、測定対象物のステレオ画像に関する撮影位置と傾きに基づき、ステレオ画像の対応点関係を求める工程とを有する；
    請求項９に記載の三次元画像表示方法。
11. さらに、姿勢指示部によって前記測定対象物のモデルの姿勢を指示する工程と；
    座標変換部によって、前記モデルに対する姿勢指示に応じて、前記対応点の座標変換を行う工程とを有し；
    前記モデル表示部によって、前記モデルに対する姿勢指示に応じた前記測定対象物の画像つきのモデル画像を表示することを特徴とする請求項９又は請求項１０に記載の三次元画像表示方法。