JP4593730B2

JP4593730B2 - ステレオ画像の測定装置

Info

Publication number: JP4593730B2
Application number: JP2000191121A
Authority: JP
Inventors: 仁志大谷; 伸夫高地
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 2000-06-26
Filing date: 2000-06-26
Publication date: 2010-12-08
Anticipated expiration: 2020-06-26
Also published as: DE60142726D1; EP1168246A2; US20020012460A1; ATE476721T1; US6810142B2; JP2002005659A; EP1168246B1; EP1168246A3

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像から三次元計測・図化するステレオ画像の測定装置に係り、特に、人と機器とが相互（対話的）に操作しながら自動的又はマニュアルで三次元計測及び図化を行う（リアルタイム相関確認モード）ステレオ画像の測定装置に関する。
【０００２】
【従来の技術】
近年では、電子平板に代表されるような測量機とポータブルコンピュータとの組み合わせにより、計測現場の線画図面が作成されていた。このような従来の電子平板では、トータルステーションやＧＰＳなどの測量機を利用してポータブルコンピュータ上で、線画を描画することで図化を行っていた。そして、計測現場の図化を行う際、現地にて現況を見ながら図化したり、別途写真撮影して、それらを見ながらオフィスにて図化を行っていた。また、航空写真などでは、ステレオ撮影していた画像から、解析図化機等を用いて図化を行っていた。
【０００３】
そして、従来は、ステレオ画像から三次元計測・図化する場合、解析図化機を用いていた。また、近年ではデジタル写真測量を利用した機器を使って行なっている。
【０００４】
【発明が解決しようとする課題】
しかしながら、これら機器は、立体ディスプレイあるいは立体鏡のようなものを覗いて、ハンドルやフットスイッチ等を使って計測・図化作業を行なわなければならなかった。立体視をしながら同時に計測・図化作業を行なうのにはかなりの熟練が必要であり、一般の人にはそれら作業が行なえなかった。また、ハンドルやフットスイッチのかわりに３次元マウス等を使って計測・図化するデジタル写真測量機器もあるが、これらも同様に立体視をしながらでないと作業が行なえず、操作が困難で熟練を要していた。逆に、立体ディスプレイを用いず計測する機器もあるが、これら機器は計測結果が正しかったどうかを確認するのが困難であり、計測結果が正しく信頼性のあるものかどうかわからなかった。
【０００５】
本発明は、以上の点に鑑み、ステレオ画像の対応点計測の結果の良否を容易に判断可能とすることを目的とする。また、本発明は、これら計測・図化作業を熟練を要せず誰でも簡単に行なえる機器を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の第１の解決手段によると、
一対のステレオ画像を表示する表示部と、
操作者の操作により、表示された一対のステレオ画像中の一方に基準領域を指示する指示部と、
一対のステレオ画像中の他方において、上記ステレオ画像中の一方で指示された上記基準領域に対応する捜索対応領域を相関処理により捜索する対応領域捜索部と、
上記対応領域捜索部と同じ方式により、ステレオ画像中の他方において捜索された捜索対応領域と対応するステレオ画像中の一方における対応基準領域を求め、この対応基準領域と上記基準領域との位置が一致するかを確認し、上記対応領域捜索部が捜索した捜索対応領域が、上記指示部により指示された上記基準領域に対応するか否かを判断する対応領域位置確認部と、
上記ステレオ画像上の上記基準領域又は上記捜索対応領域に上記対応領域位置確認部の判断結果を示すマークを形成するマーク形成部と、
操作者の指示により、上記対応領域捜索部が捜索した捜索対応領域を対応領域と決定する対応領域決定部と、
を備えたステレオ画像の測定装置を提供する。
【０００７】
本発明の第２の解決手段によると、
一対のステレオ画像を表示する表示部と、
操作者の操作により、表示された一対のステレオ画像中の一方に基準領域を指示する指示部と、
一対のステレオ画像中の他方において、上記ステレオ画像中の一方で指示された上記基準領域に対応する捜索対応領域を相関処理により捜索する対応領域捜索部と、
上記対応領域捜索部と同じ方式により、ステレオ画像中の他方において捜索された捜索対応領域と対応するステレオ画像中の一方における対応基準領域を求め、この対応基準領域と上記基準領域との位置が一致するかを確認し、上記対応領域捜索部が捜索した捜索対応領域が、上記指示部により指示された上記基準領域に対応するか否かを判断する対応領域位置確認部と、
上記ステレオ画像上の上記基準領域又は上記捜索対応領域に上記対応領域位置確認部の判断結果を示すマークを形成するマーク形成部と、
操作者の指示により、上記対応領域捜索部が捜索した捜索対応領域を対応領域と決定する対応領域決定部と、
上記対応領域決定部で決定された決定対応領域を記憶する記憶部と、
操作者の指示により、決定対応領域を修正する決定対応領域修正部と、
を備え、
上記指示部の指示位置に応じて、上記対応領域捜索部が対応領域を求めるための捜索モードを中断し、上記決定対応領域修正部の指示に応じて上記対応領域決定部が対応領域を決定するための修正モードに移行するように構成したステレオ画像の測定装置を提供する。
【０００８】
【発明の実施の形態】
図１に、本発明における測定装置の構成図を示す。
本装置は、通常のモニタ（ＣＲＴ、液晶等）からなる第１表示部１、立体視可能なステレオモニタから構成される第２表示部２、表示部上にマウスカーソルを表示させるマーク形成部３、ＸＹＺ方向を指示する指示部４０、基準領域に対して対応領域を捜索する（逆もある）対応領域捜索部６、捜索された領域と基準領域の位置が一致しているかどうか確認する対応領域位置確認部７、捜索された対応領域を対応領域と決定する対応領域決定部１１、対応位置確認部７による確認結果や基準領域及び対応領域並びに対応領域決定部で決定された決定対応領域（計測データを図化データとして）を記憶する記憶部１０、決定対応領域を修正する決定対応領域修正部１２、デジタル化されたステレオ画像を記憶する画像記憶部８、画像を表示させる表示用メモリ９を備える。マーク形成部３は、基準領域の位置や対応領域の位置をマークとして表示するだけでなく、基準領域を対応領域捜索部６にて捜索、対応位置確認部７にて確認した結果を識別可能にして表示を行う機能も有する。
【０００９】
指示部４０は、マウスにより基準領域の平面（Ｘ，Ｙ）方向の指示を行なわせる平面方向指示部４、三次元計測の際に奥行き（Ｚ）方向の指示をダイヤル等で行なうＺ方向指示部５を有する。
指示部４０の平面（Ｘ，Ｙ）方向指示部４とＺ方向指示部５は、一体化していても別々でも良い。例えば、これらが一体化している場合は、平面（Ｘ，Ｙ）方向制御用マウスと奥行き（Ｚ）方向制御用ダイヤルからなった３Ｄマウス構成とすることができる。さらにボタンがいくつか設けることにより、それらを計測データ確定用や対応領域決定部１１や決定対応領域修正部１２に利用してもよい。平面と奥行き方向制御が別々の場合は、平面（Ｘ，Ｙ）方向指示部４として、パソコン用マウス等が利用でき、その場合、マウスのボタンを利用できる。Ｚ方向指示部５は、Ｚ方向制御用ダイヤルとボタン等から構成される。これらボタンをデータ確定用としたり、対応領域決定部１１や決定対応領域修正部１２に利用してもよい。本発明では、説明の便宜状、一例として、指示部４０は、平面方向指示部４をパソコン用マウス、Ｚ方向指示部５にＺ方向調節用ダイヤルがついているものとし、データ確定は、マウスの左ボタンを押すことにより行うこととする。
【００１０】
指示部４０は計測位置を指示し、指示された位置は、マーク形成部３によりマークを作成し、第１表示部１又は第２表示部２にてその位置を表示する。自動捜索モードにおいては、常に指示部４０の指示位置に対応する位置を対応領域捜索部６にて捜索、対応領域位置確認部７にて確認、マーク形成部３にてその良否を識別可能に表示することが可能である。また、その位置を図化データとして確定する場合は、指示部４０のボタンにより対応領域決定部１１にて位置確定を行ない、その三次元座標データを記憶部１０に記憶させ、表示用メモリ９を経て表示部に表示させることにより行われる（プロット）。また、自動捜索モードにてマーク形成部３で識別可能な表示を行なわずとも、指示部４０の指示位置に対応する対応領域捜索部６にて捜索、対応領域位置確認部７にて確認した結果やそれら基準領域や対応領域の位置を記憶部１０に記憶してもよい。
【００１１】
なお、基本的に計測値を確定し、記憶部に取込ませることをプロット、それら全体の動作を図化と呼ぶことにする。図化データは基本は点の集合であるが、線や多角形など各種描画図形全体を指すデータである。また、計測・図化とは結果的に三次元計測を行っていることと同じである。
【００１２】
また、自動捜索モードにおいて、指示部４０からの信号が、決定対応領域修正部１２を操作してモードを移行させ、マニュアル図化や修正を行なわせる。特に、記憶部１０にすでに記憶されている（プロットされている）データの修正に際しては、決定対応領域修正部１２の指示により、記憶部１０の修正すべき点を対応領域決定部１１により決定し、修正を行なう。
【００１３】
図２に、第１表示部の表示例の説明図を示す。
第１表示部１は、図２に示されるように、左右画像を一つのディスプレイ上に分割して表示する。
第２表示部２は、例えば、３Ｄ眼鏡をかけて立体視可能とするような立体ディスプレイであり、方式は、左右画像を２枚のディスプレイにそれぞれ表示させ、偏光フィルタによって合成、偏光眼鏡によって観察するデュアルディスプレイ方式や、１枚の画面に左右画像を交互に表示させ、それら画像を液晶眼鏡や偏光眼鏡によって観察する液晶シャッター方式等がある。
【００１４】
ステレオ画像による三次元計測・図化装置は、ステレオ法の原理により計測が可能となる。以下に、ステレオ法の原理を示す。図３に、ステレオ法の説明図を示す。
ここでは、簡単のために、同じカメラを２台使用し、それぞれの光軸は平行でカメラレンズの主点からＣＣＤ面までの距離ａが等しく、ＣＣＤは光軸に直角に置かれているものとして、ステレオ法の原理について説明する。
【００１５】
２つの光軸間距離（基線長）をＬとする。物体上の点Ｐ_１（ｘ_１、ｙ_１）、Ｐ_２（ｘ_２、ｙ_２）の座標の間には、以下のような関係がある。
ｘ_１＝ａｘ／ｚ −−−（１）
ｙ_１＝ｙ_２＝ａｙ／ｚ −−−（２）
ｘ_２−ｘ_１＝ａ×Ｌ／ｚ −−−（３）
但し、全体の座標系（ｘ、ｙ、ｚ）の原点をカメラ１のレンズ主点にとるものとする。（３）式よりｚを求め、これを用いて（１）式、（２）式よりｘ、ｙが求められる。
【００１６】
以下、図４に、本発明に関するステレオ画像測定の第１のフローチャートを示す。
ステップＳ０では、デジタル画像を本装置の画像記憶部８に読み込む。ステレオ画像は、一般のフィルムカメラや、計測用カメラ、航空写真等をスキャナでスキャンニングしてデジタル化して読み取るか、デジタルカメラによって直接取得される。これら取得されたステレオ（左右）画像は、本装置の画像記憶部８に読み込んで記憶する。ステップＳ５では、画像記憶部８に取込まれた画像を表示用メモリ９に転送、表示部にて表示を行なう。
【００１７】
ステップＳ１０では、相互標定を行なう。ステレオ計測が可能となるように、相互標定という操作及び処理を行なう。この作業は、計測したカメラの位置と傾きを計算し、立体視可能となる画像を作成する処理である。立体視可能となった状態で、先に説明したステレオ法の原理により立体計測が可能となる。相互標定作業は、第１表示部１又は第２表示部２に表示されている基準点もしくは、特徴点を６個所以上、左右画像上で計測することにより、計算処理によって各種パラメータを算出し、立体視可能な画像を作成する。なお、相互標定に関しては、本発明の主題ではないので、詳細な説明は行なわない。相互標定が正常に終了すれば、立体視可能となるように偏位修正された画像が第１表示部１に左右に分割され表示される。第２表示部２では、眼鏡をかければ立体視可能な状態となって表示される。
【００１８】
ステップＳ２０では、図化モードに入る。このモードの最初は、第１表示部１又は第２表示部２に計測対象の全体、あるいは広範囲にわたった領域を表示する。これにより、表示をみながらマウス操作によりマニュアル図化作業が可能となる。第１表示部１による作業であれば、左右上の対応点を眼で確認しながら左右画像上にマウスを移動してプロットしていくことが可能となる。第２表示部２であれば、３Ｄ眼鏡をかけながらマウスにより平面方向を指示（平面方向指示部４）、高さ方向Ｚ方向指示部５により、高さ方向を制御することで、図化が可能となる。
【００１９】
ステップＳ３０では、自動捜索モードに入る。このモードに入るとインタラクティブな自動捜索が可能となる。ステップＳ２０のマニュアル図化によるプロットも可能であるが、こちらのモードにすれば、より誰でも簡単な図化が可能となる。ステップＳ４０では、まず最初に、第１表示部１又は第２表示部２をみながらマウスで図化したい個所を指示する。ステップＳ５０では、指示されたエリアについて画像を切り出し拡大表示する。拡大の倍率は適宜に設定しておく。画像をクリックすることで、拡大を行なえるようにしてもよい。この場合は、例えば計測しやすい画像となるまで、数回マウスのボタンをクリックすることにより行なう。このようにして所望の大きさに画像を調整する。ステップＳ６０では、所望の大きさに画像が切り出されたら、図化したい点をマウスにより指示する。
【００２０】
ここで、図５に、基準画像と対応画像の説明図を示す。マウスにより指示する点は、例えば図５の基準画像ａ中の基準領域ａ’の中心である。基準画像ａは左画像、右画像どちらとしてもよい。ステップＳ７０では、マウスで指示された点を中心に基準領域ａ’を設定、テンプレート画像（後述の画像相関処理で詳細を説明）とする。基準領域ａ’の大きさはあらかじめパラメータとして設定しておく。計測対象物によって可変として良い。
【００２１】
ステップＳ８０では、基準領域ａ’に対応する対応領域ｂ’を対応画像ｂから捜索する。捜索は、対応画像ｂ上の基準画像ａと同じエピポーララインｃ上を捜索する。なお、基準画像ａと対応画像ｂのエピポーララインｃは対応がとれて、一致している。この場合ステップＳ１０の相互標定により偏位修正された画像は、図５に示すとおり縦視差が除去され、左右画像のオーバーラップ部分には、左右画像の同一ライン上に基準領域ａ’に対する対応領域ｂ’が必ず存在するように画像が修正されている。対応画像ｂの捜索領域ｄは、基準画像ａ上でマウスで指示した基準領域ａ’の中心と同じ位置を対応画像ｂ上の捜索領域ｄの中心として捜索する。この場合、捜索領域幅は、例えば、パラメータ等により適宜決めておく、あるいは対象物により可変としておく。対応点捜索処理は、対応領域捜索部６により演算される。対応点捜索には例えば画像相関処理（後述）を利用する。
【００２２】
ステップＳ９０では、画像相関処理により計算された相関値の一番高い領域を、対応領域ｂ’とする。そして、対応領域ｂ’を逆にテンプレートに設定する。ステップＳ１００では、対応領域ｂ’に対応する領域を基準画像ａ上で探索する。
【００２３】
図６に、基準画像と対応画像の説明図（２）を示す。この場合、同一エピポーララインｃ上をテンプレートをもとに、基準領域ａ’を中心として捜索領域ｄ’を探索する。この場合も対応領域捜索部６により、後述の画像相関処理によって探索する。ステップＳ１１０では、基準画像上の対応領域を決定する。この場合相関値の一番高い領域を基準領域ａ”とし、対応領域とする。ステップＳ１２０では、求まった対応領域の位置と最初に指示した基本領域の位置は一致するか対応領域位置確認部７により判定する。すなわち、基準領域ａ’と求まった基準領域ａ”が一致するかを確認する。
【００２４】
ステップＳ１３０では、ＯＫならステップＳ１２０で求められた対応画像ｂ上の対応領域ｂ’の中心位置へ、マーク形成部３により形成されたＯＫマークを表示する。ステップＳ１４０では、ＮＧ(Not Good)なら（OKでなければ）、ステップＳ１２０で求められた対応画像ｂ上の対応領域ｂ’の中心位置へマーク形成部３により形成されたＮＧマークを表示する。マーク形成部３では、対応領域位置確認部７によって確認された判定に応じて、対応画像ｂ上のマークの色を変える、形状を変える等、識別できるようにする。例えばＯＫマークであれば緑色のマークを表示、ＮＧであれば赤色表示等とし、一目でわかるようにする。また、ステップＳ１３０、Ｓ１４０では、同時に奥行き（Ｚ）を計算、表示しても良く、さらに相関値等も表示してよい。
【００２５】
ステップＳ１５０では、ここで、Ｚ方向指示部５のＺ制御用ダイヤルがまわされれば、ステップＳ１６０のマニュアル図化へと移る。すなわちステップＳ１３０又はＳ１４０の表示判定が適当でなければ、Ｚ方向指示部５を操作して、Ｚ方向をマニュアルで計測しながら図化を行なうこととなる。これは、対応画像領域のマーク表示がＮＧで自動捜索モードでは計測が行なえないが図化したい場合や、マーク表示がＮＧでなくとも信頼性が低かったり間違っていたりしたときに正確に図化したい時等に行なう。Ｚ方向の指示がされていなければ（ダイヤルがまわされなければ）、ステップＳ１７０へいく。
【００２６】
ステップＳ１７０では、プロットしたければ、ステップＳ１８０へ、したくなければステップＳ１９０へ行く。ステップＳ１８０では、プロットする。すなわち、マウスのボタンにより計測データの確定を行うと（対応領域捜索部６の対応領域が対応領域決定部１１に決定され）、そのときの計測データが記憶部１０に書きこまれる。プロットが確定された点は、色表示を変えることなどにより識別させる。点で計測したい場合は、ＯＫ表示の個所を順次クリックしていくことにより複数点を計測することができる。図７に、複数点を計測する場合の説明図を示す。境界線、輪郭線を描く時など、線や図形で図化したい場合は、マークがＯＫ表示となっている開始値地点と終点位置をクリックすることでプロットする。さらに線計測を続けたいときは、クリックを続ければ、その点を確定点として線をつなげていくようにすればよい。図８に、線計測をする場合の説明図を示す。
【００２７】
ステップＳ１９０では、プロットした点を修正したくなった場合、修正モードへ行く（後述、図１１、１２、１３のステップＳ２００、ステップＳ３００、ステップＳ４００参照）。修正しなければ、次のステップＳ１９５へうつる。ステップＳ１９５では、測定を続行させるのであれば、ステップＳ４０へ戻ってこれら処理を繰り返す。
【００２８】
以上の処理により、自動捜索モードでは常に基準画像ａ上のマウスの位置に対する対応画像ｂ上の対応位置判定表示が行なえるので簡単な図化が可能となる。
【００２９】
ここで、図９に、画像相関処理について説明図を示す。画像相関処理には、残差逐次検定法（ＳＳＤＡ法）や相互相関係数法などがある。ここでは、相互相関係数法を説明する。
【００３０】
（相互相関係数による方法）
図９に示すようにＮ_１×Ｎ_１画素のテンプレート画像を、それより大きいＭ_１×Ｍ_１画素の入力画像内の探索範囲（Ｍ_１−Ｎ_１＋１）^２上で動かし、下式のＣＯＲ（ａ，ｂ）が最大になるようなテンプレート画像の左上位置を求めて、テンプレート画像に対し探索されたとみなす。
【００３１】
【数１】

【００３２】
この場合では、Ｔを基準領域ａ’、としてＣＯＲ（ａ，ｂ）の一番大きい点が対応領域ｂ’として検出されることとなる。対応領域捜索部６の処理として、相互相関処理法を説明したが、ここは残差逐次検定法や他の対応点探索法を利用してもよい。
【００３３】
ここで、Ｚ方向が指示された場合のステップＳ１６０で示したマニュアル図化について説明する。図１０に、マニュアル図化の詳細を示す詳細フローを示す。
ステップＳ１６１では、Ｚ方向指示部５のダイヤルがまわされたら（ステップＳ１５０）、自動的に自動捜索モードオフとなり、マニュアル図化モードへ移行する。ステップＳ１６２では、Ｚ方向（高さ）を計測する。システム構成が図１の第１表示部１のみの場合は、図５に示されるように、左右画像上の計測したい点が同一エピポーララインｃ上に必ずあることにより、第１表示部１の左右画像を比較しながら計測する。この場合、平面方向指示部４の位置を基準にして、Ｚ方向指示部５のダイヤルを動かすことによりＺ方向を制御して、対応画像上の対応領域上のマークを移動することができるので、これにより正しい位置へとマークを移動させる。この場合、基準画像、対応画像を逆として、対応画像を基準として、基準画像上のマークを動かしても良い。第２表示部２の立体モニタがあるシステム構成の場合は、さらに詳細な計測が可能となる。この場合、計測したい点の計測が間違っていれば、ステレオモニタ上で、本来ある位置よりも浮いたり、沈んだりして計測点が見えるので、第１表示部１より明確に計測できる。計測は、立体モニタを見ながら、Ｚ方向指示部５によりＺ方向を制御し、正確な高さ位置へとマークを合わせればよい。
【００３４】
ステップＳ１６４では、計測がＯＫならプロットする。ＯＫであれば、マウスのボタンにより計測データの確定を行い、記憶部１０に計測データを書きこむ。ステップＳ１６６では、このままマニュアル図化を続けたければステップＳ１６７へ、マニュアル図化を終了するのであればステップＳ１６８へ行く。ステップＳ１６７では、次の計測したい個所へマウスを移動させる。そしてステップＳ１６２へ行き計測作業を繰り返す。ステップＳ１６８では、マニュアル図化作業を終了し、自動捜索モードをオンにして、図４のステップＳ１９０へ行く。
【００３５】
次に、一度プロットした点の修正についてディスプレイで確認後、修正したい場合について説明する。修正モードは、例えば、以下に説明するように３通りある。
図１１に、第１の修正モードのフローチャートを示す。
ステップＳ２００では、修正したい点の近くにマウスを移動する。ステップＳ２１０では、修正位置確定を行なう。すなわち、修正したい点の近くでマウスのボタンを押すと決定対応領域修正部１２が指示を出力し、記憶部１０に記憶されているマウスのＸ，Ｙ位置と一番近い修正点の位置を対応領域決定部１１により自動選択し表示する。この作業により、記憶部１０の修正プロット点を確定する。ステップＳ２２０では、ステップＳ２１０と同時に自動捜索モードがオフ、修正モードオンとなる。
【００３６】
ステップＳ２３０では、修正作業を行なう。修正作業は、以下の通りである。システム構成が図１の表示部１のみの場合は、図５に示されるように、左右画像上のプロットした点が同一エピポーララインｃ上に必ずあることにより、表示部１の左右画像を比較しながら修正する。この場合、平面方向指示部４の位置を基準にして、Ｚ方向指示部５のダイヤルを動かすことによりＺ方向を制御して、対応画像上の対応領域上のマークを移動することができるので、これにより正しい位置へとマークを移動させる。この場合、基準画像ａ、対応画像ｂを逆として、対応画像ｂを基準として、基準画像ａ上のマークを動かしても良い。第２表示部２の立体モニタがあるシステム構成の場合は、さらに詳細な確認、修正が可能となる。この場合、プロットした点が間違っていれば、ステレオモニタ上で、本来ある位置よりも浮いたり、沈んだりしてプロット点が見えるので表示部１より明確に確認できる。修正は、立体モニタを見ながら、Ｚ方向指示部５によりＺ方向を制御し、正確な高さ位置へとダイヤルを回しながらマークを合わせれば修正ができる。
【００３７】
ステップＳ２４０では、修正がＯＫであれば再プロットする。すなわち、マウスのボタンをクリックすることにより、決定対応領域修正部１２は、修正点が計測されたと解釈し、対応領域決定部１１上に指示部４０から出力されているＸ，Ｙ，Ｚ座標値を確定、記憶部１０に再記憶させるよう命令する。この作業により、記憶部１０に修正された計測値が書き込まれる。ステップＳ２５０では、更に修正するのであれば、ステップＳ２００へ戻って修正作業を続ける。ステップＳ２６０では、修正モード終了であれば、自動捜索モードオンとし、ステップＳ１９５へ移る。
【００３８】
つぎに、図１２に、第２の修正モードのフローチャートを示す。このフローチャートに従い、自動修正モード切替えについて説明する。この場合は、例えば自動捜索モードにて、図化を行なっている最中に間違えてプロットしてしまった点を修正する場合である。
【００３９】
ステップＳ３００では、修正したい点の近傍にマウスを移動させる。ステップＳ３１０では、Ｚ方向指示を行なう。これにより、自動的に修正点を選択する。Ｚ方向指示部５のダイヤルを修正のためにまわす。この作業がトリガとなって、指示部で指示されている点から一番近い修正プロット点を自動的に確定、記憶部１０上の修正点を選択する。ステップＳ３２０では、自動的に自動捜索モードがオフとなり、修正モードに入る。ステップＳ３３０では、そこで、表示部をみながら、Ｚ方向指示部５のダイヤルを修正のためにまわし修正する。修正処理は図１１のステップＳ２３０と同様である。ステップＳ３４０では、修正がＯＫであれば確定させ、再プロットする。ステップＳ３５０では、更に修正するのであれば、ステップＳ３００へ戻って修正作業を続ける。ステップＳ３６０では、修正モード終了であれば、自動捜索モードオンとし、ステップＳ１９５へ移る。
【００４０】
次に、図１３に、第３の修正モードのフローチャートを示す。自動捜索モードでマーク表示がＮＧであるにもかかわらず、間違ってプロット（計測）した点の自動修正モード切替えについてこのフローチャートに従って説明する。
【００４１】
ステップＳ４００では、修正したい点の近傍にマウスを移動する。ステップＳ４１０では、対応画像上のマーク表示ＮＧとなり、自動的に一番近いＮＧのプロット点が選択される。ステップＳ４２０では、自動捜索モードがオフとなり修正モードに入る。ステップＳ４３０では、修正を行なう。修正処理は図１１のステップＳ２３０と同様である。ステップＳ４４０では、修正がＯＫであれば確定させ、再プロットする。ステップＳ４５０では、更に修正するのであれば、ステップＳ４００へ戻って修正作業を続ける。ステップＳ４６０では、修正モード終了であれば、自動捜索モードオンとし、ステップＳ１９５へ移る。
【００４２】
以上で、修正作業が容易に、手間がかからず行なえるようになる。このようにすることで、マニュアル計測したい個所で自動的にマニュアル図化モードに切替え、図化が終わればまた自動捜索モードにもどるので、操作が簡単かつ容易となる。このような判定処理とすることで、誰でも簡単に図化が行え、かつ信頼性の高い位置検出が可能となる。
【００４３】
自動捜索モードでは、基本的にリアルタイム処理が可能であり、記憶部１０にいちいち記憶せずとも図４の動作を行なえるが、更に記憶することで以下のことが可能となる。
【００４４】
図１４に、本発明に関するステレオ画像測定の第２のフローチャートを示す。
このフローチャートは、図４と大部分同様であり、相違点は、図４のステップＳ１３０、ステップＳ１４０で表示するかわりにステップＳ５００の記憶部に記憶、となったところである。すなわち、指示部４０にて指示された基本領域について対応領域捜索部６にて捜索、対応領域確認部７にて確認した結果を記憶部１０に順次記憶していく。この場合、対応領域位置確認部の判定がＮＧだけを、あるいはＯＫだけを、あるいはＯＫかＮＧかを同時に記憶してもよい。それらを行なうと、次のようなことが可能となる。
【００４５】
ＮＧだけの場合では、この場合、記憶部１０にＮＧデータを記憶してあるので、表示を行なわなくとも、修正モードの処理（図１１〜１３）は同様に行なえる。すなわち、ＮＧである近傍にマウスを移動するだけで修正モードとなって修正すべき点が自動的に選択・修正が可能となる。
【００４６】
ＯＫだけの場合では、この場合、指示部４のマウスにてマウスを動かした良い点だけが記憶部１０に取込まれることになるので、連続的に基準領域をマウスにより指示、移動させることにより、対応領域の対応点でＯＫの個所を連続的にプロットしていくことができる。このようにすると、いちいち確定させずともマウスをなぞるだけで、短時間に大量の点を計測・図化することが可能となる。さらにこのようにして取得した点は、対象物の形状を表現する為にこれら点を接続して三角網を貼ったり、自動ＤＴＭ計測をするときなどに有効に利用される。それら詳細は、特願２０００−９３３９８、特願２０００−９３８８６のこと。
ＯＫとＮＧの場合では、上述した二つのことが行なえるようになる。
【００４７】
【発明の効果】
本発明によれば、三次元計測・図化作業が、立体視に頼らなくとも、コンピュータの自動計算処理により良否判断をくだせるので、熟練が必要なくなり誰でも簡単にこれら作業が行えるようになる。さらに、本発明によると、複雑な個所を詳細に計測したい場合や、間違って計測した場合、信頼性の低い計測部分を修正したい場合等も、図化、確認、修正が簡単にでき、大幅な省力化が可能となる、という卓越した効果がある。また、本発明によると、これら取得された三次元データは三角網作成や、ＤＴＭ自動計測等に活かすことで高速かつ、信頼性の高い三次元計測システムを構築することが可能となる。
【図面の簡単な説明】
【図１】本発明における測定装置の構成図。
【図２】第１表示部の表示例の説明図。
【図３】ステレオ法の説明図。
【図４】本発明に関するステレオ画像測定の第１のフローチャート。
【図５】基準画像と対応画像の説明図（１）。
【図６】基準画像と対応画像の説明図（２）。
【図７】複数点を計測する場合の説明図。
【図８】線計測をする場合の説明図。
【図９】画像相関処理について説明図。
【図１０】マニュアル図化の詳細を示す詳細フロー。
【図１１】第１の修正モードのフローチャート。
【図１２】第２の修正モードのフローチャート。
【図１３】第３の修正モードのフローチャート。
【図１４】本発明に関するステレオ画像測定の第２のフローチャート。
【符号の説明】
１第１表示部
２第２表示部
３マーク形成部
４０指示部
４平面方向指示部
５Ｚ方向指示部
６対応領域捜索部
７対応領域位置確認部
８画像記憶部
９表示用メモリ
１０記憶部
１１対応領域決定部
１２決定対応領域修正部

Claims

一対のステレオ画像を表示する表示部と、
操作者の操作により、表示された一対のステレオ画像中の一方に基準領域を指示する指示部と、
一対のステレオ画像中の他方において、上記ステレオ画像中の一方で指示された上記基準領域に対応する捜索対応領域を相関処理により捜索する対応領域捜索部と、
上記対応領域捜索部と同じ方式により、ステレオ画像中の他方において捜索された捜索対応領域と対応するステレオ画像中の一方における対応基準領域を求め、この対応基準領域と上記基準領域との位置が一致するかを確認し、上記対応領域捜索部が捜索した捜索対応領域が、上記指示部により指示された上記基準領域に対応するか否かを判断する対応領域位置確認部と、
上記ステレオ画像上の上記基準領域又は上記捜索対応領域に上記対応領域位置確認部の判断結果を示すマークを形成するマーク形成部と、
操作者の指示により、上記対応領域捜索部が捜索した捜索対応領域を対応領域と決定する対応領域決定部と、
を備えたステレオ画像の測定装置。
請求項１記載のステレオ画像の測定装置において、
さらに、上記対応領域位置確認部による確認結果、基準領域及び対応領域並びに上記対応領域決定部で決定された決定対応領域を記憶する記憶部と、を有することを特徴とするステレオ画像の測定装置。
請求項１または２記載のステレオ画像の測定装置において、
上記マーク形成部は、ステレオ画像のそれぞれを並列して表示する表示部にマークを表示するように構成されていることを特徴とするステレオ画像の測定装置。
請求項３記載のステレオ画像の測定装置において、
上記マーク形成部は、さらに、ステレオ画像を立体視可能に構成した第２表示部にマークを表示するように構成されていることを特徴とするステレオ画像の測定装置。
一対のステレオ画像を表示する表示部と、
操作者の操作により、表示された一対のステレオ画像中の一方に基準領域を指示する指示部と、
一対のステレオ画像中の他方において、上記ステレオ画像中の一方で指示された上記基準領域に対応する捜索対応領域を相関処理により捜索する対応領域捜索部と、
上記対応領域捜索部と同じ方式により、ステレオ画像中の他方において捜索された捜索対応領域と対応するステレオ画像中の一方における対応基準領域を求め、この対応基準領域と上記基準領域との位置が一致するかを確認し、上記対応領域捜索部が捜索した捜索対応領域が、上記指示部により指示された上記基準領域に対応するか否かを判断する対応領域位置確認部と、
上記ステレオ画像上の上記基準領域又は上記捜索対応領域に上記対応領域位置確認部の判断結果を示すマークを形成するマーク形成部と、
操作者の指示により、上記対応領域捜索部が捜索した捜索対応領域を対応領域と決定する対応領域決定部と、
上記対応領域決定部で決定された決定対応領域を記憶する記憶部と、
操作者の指示により、決定対応領域を修正する決定対応領域修正部と、
を備え、
上記指示部の指示位置に応じて、上記対応領域捜索部が対応領域を求めるための捜索モードを中断し、上記決定対応領域修正部の指示に応じて上記対応領域決定部が対応領域を決定するための修正モードに移行するように構成したステレオ画像の測定装置。
請求項５記載のステレオ画像の測定装置において、
上記指示部の指示位置が、上記対応領域位置確認部が少なくとも対応不良と判断した領域近傍となった際に、捜索モードを中断し、修正モードに移行するように構成したことを特徴とするステレオ画像の測定装置。
請求項５記載のステレオ画像の測定装置において、
上記指示部の指示位置が、修正を希望する点近傍とされた際に、上記記憶部に記憶されている位置と一番近い修正点の位置が上記表示部に表示され、修正モードに移行するように構成したことを特徴とするステレオ画像の測定装置。
請求項１または請求項５記載のステレオ画像の測定装置において、
上記指示部の基準領域の指示に応じて、上記対応領域捜索部が対応領域を求める自動捜索モード中に、上記指示部が操作された場合に、自動捜索モードを中断し、上記指示部の指示に応じて上記マークを移動させるマニュアル図化モードに移行するように構成したことを特徴とするステレオ画像の測定装置。
請求項５記載のステレオ画像の測定装置において、
上記指示部の指示位置が、修正を希望する点近傍とされ、上記指示部によりＺ方向の指示が行われた際に修正モードに移行するように構成したことを特徴とするステレオ画像の測定装置。
請求項５記載のステレオ画像の測定装置において、
上記指示部の指示位置が修正を希望する点近傍とされた際、自動的に一番近い上記対応領域位置確認部の判断結果がＮＧのプロット点が選択され、修正モードに移行することを特徴とするステレオ画像の測定装置。