JPH1137736A - 3次元形状計測方法及び3次元形状計測装置 - Google Patents
3次元形状計測方法及び3次元形状計測装置Info
- Publication number
- JPH1137736A JPH1137736A JP9303371A JP30337197A JPH1137736A JP H1137736 A JPH1137736 A JP H1137736A JP 9303371 A JP9303371 A JP 9303371A JP 30337197 A JP30337197 A JP 30337197A JP H1137736 A JPH1137736 A JP H1137736A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- vector
- translational motion
- point
- corresponding point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
動を高精度に計測する。 【解決手段】対応関係抽出部2は単眼画像撮像部1で撮
像した第1視点の画像から特徴点を抽出し、第2視点の
画像から対応点を抽出する。姿勢算出部5は重力方向検
出部3と重力回り角度検出部4で検出した重力方向の傾
きと重力回りの角度から各視点の単眼画像撮像部1の姿
勢を算出する。視線ベクトル算出部6は姿勢と特徴点と
対応点の各データから各視点の視線ベクトルを算出し、
並進運動算出部7は視線ベクトルと特徴点と対応点の各
データから第1視点から第2視点までの並進運動方向ベ
クトルを算出する。3次元形状演算部8は並進運動方向
ベクトルと各視線ベクトルを使用して三角測量の原理で
各特徴点に相当する対象物上の3次元座標値を算出す
る。
Description
情報により物体の位置と3次元形状を計測する3次元形
状計測方法及び3次元形状計測装置に関するものであ
る。
で2次元撮像装置による対象物の3次元形状計測が求め
られている。このような3次元形状計測方法として、対
象物に参照パターンなどを照射して対象物上の参照パタ
ーンの歪みを撮像することにより形状計測を行なう能動
的方法がある。しかしながら、この方法は対象物に影響
を与えることや環境によって参照パターンの効果が変わ
るなどのデメリットが存在するため適用するのに大きな
制限が加わってしまう。一方、能動的方法とは異なり対
象物になんらの影響を与えることなく形状計測を行なう
受動的方法も採用されている。この3次元形状計測方法
は基本的には位置を変えた異なる2視点で撮像した画像
間の対応点を抽出し、その対応点の3次元位置を三角測
量の原理で算出する方法である。この方法では2つの撮
像装置を固定して2視点の画像を得たり、1つの撮像装
置をレール上で決められた距離だけ移動して2視点の画
像を得るように、あらかじめ2視点の位置関係や撮像装
置の姿勢変化を既知情報として取り扱う場合と、撮像装
置を手で保持するなどして2視点の画像を得るように、
2視点の位置関係や撮像装置の姿勢変化を不確定情報と
して取り扱う場合がある。2視点の位置関係や撮像装置
の姿勢変化を既知情報として取り扱う場合は計測装置が
大掛かりなものになってしまい、やはり適用するのに制
限がある。2視点の位置関係や撮像装置の姿勢変化を不
確定情報として取り扱う場合は環境に影響を与えず、し
かも計測装置も小規模なものにできるので、各種の用途
に幅広く適用することができ、例えば特開平5−196437
号公報や特開平6−129833号公報,特開平7−181024号
公報,特開平7−244735号公報等に示されているように
各種計測方法や計測装置が開発されている。
被写体上の測定点を直交投影でカメラで撮影し、そのと
きのカメラの姿勢をカメラに固定した3軸ジャイロで求
めて3次元情報計測装置に供給して被写体の3次元情報
を計測している。また、特開平6−129833号公報に示さ
れた方法は単眼カメラで撮影した動画像情報を用いてカ
メラの運動を求め3次元形状を算出している。特開平7
−181024号公報は撮像手段で視点を変えて測定した被写
体の複数の画像から画像間の動きを表すオプティカルフ
ロ−を求め、このオプティカルフロ−に基づいて距離情
報を算出する方法と画像の時間差分及び空間勾配の関係
式と撮像手段の自己運動情報とから距離情報を直接算出
する方法とを組み合わせて3次元形状を計測している。
特開平7−244735号公報に示された装置は動画像情報か
ら得られる距離情報とカメラの運動を時間的に融合して
3次元情報を得るようにしている。
−196437号公報や特開平7−181024号公報に示されてい
るようにジャイロや加速度センサーの積分値を利用して
位置変化や姿勢変化を求める場合は、積分値の利用のた
め求めた位置変化や姿勢変化の値の信頼性が低い。ま
た、特開平6−129833号公報に示されているように画像
情報のみを用いると正確な対応点を抽出することは困難
である。さらに、特開平7−244735号公報に示すよう
に、撮像装置の運動速度をセンシングし、その情報を用
いて計測精度を上げるようにしても対応点の抽出や形状
計測には撮像装置の姿勢変化に関する情報が重要である
が、この撮像装置の姿勢変化をセンシングしていないた
め、大きな計測精度の向上は期待できない。
成で対象物の立体形状と撮像手段の運動を高精度に計測
できる3次元形状計測方法及び3次元形状計測装置を得
ることを目的とするものである。
状計測方法は、撮像手段の視点を変えて測定対象物の画
像を入力し、第1視点で測定して入力した画像の複数の
特徴点を抽出し、第2視点で測定して入力した画像の前
記特徴点に相当する対応点を抽出し、2視点における重
力方向と重力回りの角度を入力し、2視点における重力
方向と角度から各視点における撮像手段の姿勢を算出
し、姿勢値と特徴点及び対応点から第1視点と第2視点
における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第1視点から
第2視点までの並進運動ベクトルを算出し、並進運動ベ
クトルと視線ベクトルにより測定対処物の3次元形状を
算出することを特徴とする。
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第1視点で測定して入力した画像の複数の特徴点を
抽出し、第2視点で測定して入力した画像の前記特徴点
に相当する対応点を抽出し、2視点における重力方向と
重力回りの角度を入力し、2視点における重力方向と角
度から各視点における撮像手段の姿勢を算出し、姿勢値
と特徴点及び対応点から第1視点と第2視点における各
特徴点と対応点を通る視線ベクトルを算出し、視線ベク
トルと特徴点及び対応点から第1視点から第2視点まで
の並進運動ベクトルを算出し、並進運動ベクトルにより
対応点の位置を修正して視線ベクトルを算出して対応点
の変化量を算出することを対応点の対応点の変化量が一
定値以下あるいは繰り返し演算回数が一定値になるまで
繰り返してから算出した並進運動ベクトルと視線ベクト
ルにより測定対象物の3次元形状を算出することを特徴
とする。
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第1視点で測定して入力した画像の複数の特徴点を
抽出し、第2視点で測定して入力した画像の前記特徴点
に相当する対応点の複数の候補を抽出し、2視点におけ
る重力方向と重力回りの角度を入力し、2視点における
重力方向と角度から各視点における撮像手段の姿勢を算
出し、姿勢値と特徴点及び対応点から第1視点と第2視
点における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第1視点から
第2視点までの並進運動ベクトルを算出し、算出した並
進運動ベクトルにより対応点の位置を他の候補に置き換
えて特徴点と修正した対応点から姿勢補正値を算出して
視線ベクトルと並進運動ベクトルを算出することを対応
点の変化量が一定値以下あるいは繰り返し演算回数が一
定値になるまで繰り返してから算出した並進運動ベクト
ルと視線ベクトルより測定対象物の3次元形状を算出す
ることを特徴とする。
は、撮像手段の視点を変えて測定対象物の画像を入力
し、第1視点で測定して入力した画像の複数の特徴点を
抽出し、第2視点で測定して入力した画像の前記特徴点
に相当する対応点の複数の候補を抽出し、2視点におけ
る重力方向と重力回りの角度を入力し、2視点における
重力方向と角度から各視点における撮像手段の姿勢を算
出し、姿勢値と特徴点及び対応点から第1視点と第2視
点における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第1視点から
第2視点までの並進運動ベクトルを繰返して算出し、算
出した並進運動ベクトルにより特徴点と対応点の誤対応
を検出し、誤対応した特徴点と対応点を除去して視線ベ
クトルと並進運動ベクトルを算出することを並進運動ベ
クトルが収束するまで繰り返してから算出した並進運動
ベクトルと視線ベクトルより測定対象物の3次元形状を
算出することを特徴とする
像手段と対応関係抽出手段と重力方向検出手段と重力回
り角度検出手段と姿勢算出手段と視線ベクトル算出手段
と並進運動算出手段及び3次元形状演算手段を有し、撮
像手段は視点を変えて測定対象物の画像を入力し、対応
関係抽出手段は第1視点で測定した画像の複数の特徴点
を抽出し、第2視点で測定した画像の前記特徴点に相当
する対応点を抽出し、重力方向検出手段は第1視点と第
2視点における重力方向を検出し、重力回り角度検出手
段は2視点における重力回りの角度を検出し、姿勢算出
手段は2視点の重力方向と重力回りの角度から各視点に
おける撮像手段の姿勢を算出し、視線ベクトル算出手段
は2視点の姿勢値と特徴点及び対応点より第1視点と第
2視点における各特徴点と対応点を通る視線ベクトルを
算出し、並進運動算出手段は視線ベクトルと特徴点及び
対応点から第1視点から第2視点までの並進運動ベクト
ルを算出し、3次元形状演算手段は並進運動ベクトルと
視線ベクトルより測定対象物の3次元形状を算出するこ
とを特徴とする。
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と視線ベクトル算
出手段と並進運動算出手段と収束信号通知手段及び3次
元形状演算手段を有し、撮像手段は視点を変えて測定対
象物の画像を入力し、対応関係抽出手段は第1視点で測
定した画像の複数の特徴点を抽出し、第2視点で測定し
た画像の前記特徴点に相当する対応点を抽出し、重力方
向検出手段は第1視点と第2視点における重力方向を検
出し、重力回り角度検出手段は2視点における重力回り
の角度を検出し、姿勢算出手段は2視点の重力方向と重
力回りの角度から各視点における撮像手段の姿勢を算出
し、視線ベクトル算出手段は2視点の姿勢値と特徴点及
び対応点より第1視点と第2視点における各特徴点と対
応点を通る視線ベクトルを算出するとともに並進運動算
出手段で算出した並進運動ベクトルにより対応点の位置
を修正して視線ベクトルを算出し、並進運動算出手段は
視線ベクトルと特徴点及び対応点から第1視点から第2
視点までの並進運動ベクトルを算出し、収束信号通知手
段は並進運動ベクトルにより対応点の位置を修正したと
きの対応点の変化量を算出し、対応点の対応点の変化量
が一定値以下あるいは繰り返し演算回数が一定値になっ
たことを通知する収束信号を出力し、3次元形状演算手
段は収束信号が出力されたときの並進運動ベクトルと視
線ベクトルより測定対象物の3次元形状を算出すること
を特徴とする。
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と姿勢補正手段と
視線ベクトル算出手段と並進運動算出手段と収束信号通
知手段及び3次元形状演算手段を有し、撮像手段は視点
を変えて測定対象物の画像を入力し、対応関係抽出手段
は第1視点で測定した画像の複数の特徴点を抽出し、第
2視点で測定した画像の前記特徴点に相当する対応点を
抽出し、重力方向検出手段は第1視点と第2視点におけ
る重力方向を検出し、重力回り角度検出手段は2視点に
おける重力回りの角度を検出し、姿勢算出手段は2視点
の重力方向と重力回りの角度から各視点における撮像手
段の姿勢を算出するとともに姿勢補正手段で算出した画
像の姿勢角度の補正値と第2視点の重力方向と重力回り
の角度から第2視点における撮像手段の姿勢を算出し、
視線ベクトル算出手段は2視点の姿勢値と特徴点及び対
応点より第1視点と第2視点における各特徴点と対応点
を通る視線ベクトルを算出するとともに並進運動算出手
段で算出した並進運動ベクトルにより対応点を他の候補
と置き換えて修正して各特徴点と修正した対応点を通る
視線ベクトルを算出し、姿勢補正手段は修正した対応点
より第2視点の画像の姿勢角度の補正値を算出し、並進
運動算出手段は視線ベクトルと特徴点及び対応点から第
1視点から第2視点までの並進運動ベクトルを算出し、
収束信号通知手段は並進運動ベクトルにより対応点の位
置を修正したときの対応点の変化量を算出し、対応点の
対応点の変化量が一定値以下あるいは繰り返し演算回数
が一定値になったことを通知する収束信号を出力し、3
次元形状演算手段は収束信号が出力されたときの並進運
動ベクトルと視線ベクトルより測定対象物の3次元形状
を算出することを特徴とする。
で算出した並進運動ベクトルの変化量が一定値以下にな
ったときに収束信号を出力するようにしても良い。
は、撮像手段と対応関係抽出手段と重力方向検出手段と
重力回り角度検出手段と姿勢算出手段と視線ベクトル算
出手段と並進運動算出手段と誤対応検出手段と誤対応除
去手段と収束信号通知手段及び3次元形状演算手段を有
し、撮像手段は視点を変えて測定対象物の画像を入力
し、対応関係抽出手段は第1視点で測定した画像の複数
の特徴点を抽出し、第2視点で測定した画像の前記特徴
点に相当する対応点を抽出し、重力方向検出手段は第1
視点と第2視点における重力方向を検出し、重力回り角
度検出手段は2視点における重力回りの角度を検出し、
姿勢算出手段は2視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出するとともに姿勢
補正手段で算出した画像の姿勢角度の補正値と第2視点
の重力方向と重力回りの角度から第2視点における撮像
手段の姿勢を算出し、視線ベクトル算出手段は2視点の
姿勢値と特徴点及び対応点より第1視点と第2視点にお
ける各特徴点と対応点を通る視線ベクトルを算出し、並
進運動算出手段は視線ベクトルと特徴点及び対応点から
第1視点から第2視点までの並進運動ベクトルを繰り返
して算出し、誤対応検出手段は算出した並進運動ベクト
ルにより特徴点と対応点の誤対応を検出し、誤対応除去
手段は誤対応した特徴点と対応点を除去し、収束信号通
知手段は並進運動ベクトルが一定値になったことを検出
して収束信号を出力し、3次元形状演算手段は収束信号
が出力されたときの並進運動ベクトルと視線ベクトルよ
り測定対象物の3次元形状を算出することを特徴とす
る。
た並進運動ベクトルの誤差曲線により並進運動ベクトル
の収束を検出すると良い。
又は入力画像より重力方向を算出する重力方向推定手段
のいずれを使用しても良い。
ンサ又は磁気センサと重力方向検出手段のいずれを使用
しても良い。
点とともに重み値を算出し、並進運動算出手段で特徴点
と対応点の重み値を考慮して並進運動ベクトルを算出す
ると良い。
は、例えばデジタルカメラからなる単眼画像撮像部と対
応関係抽出部と重力方向検出部と重力回り角度検出部と
姿勢算出部と視線ベクトル算出部と並進運動算出部及び
3次元形状演算部を有する。単眼画像撮像部は異なる視
点である第1視点と第2視点で測定対象物を撮像して得
た画像を対応関係抽出部へ送る。対応関係抽出部は送ら
れた第1視点の画像から特徴点を抽出し、第2視点の画
像から各対応点を抽出する。特徴点と対応点を抽出した
ら、重力方向検出部で検出した重力方向の傾きと重力回
り角度検出部で検出した重力回りの角度から姿勢算出部
で第1視点と第2視点における単眼画像撮像部の姿勢を
算出する。この第1視点と第2視点における単眼画像撮
像部の姿勢と特徴点と対応点の各データから視線ベクト
ル算出部で各特徴点と対応点を通る視線ベクトルを算出
する。この特徴点と対応点をそれぞれ通る視線ベクトル
と特徴点と対応点の各データから並進運動算出部で第1
視点から第2視点までの並進運動方向ベクトルを算出す
る。3次元形状演算部は算出した並進運動方向ベクトル
と各視線ベクトルを使用して三角測量の原理で各特徴点
に相当する対象物上の各対象点3次元座標値を算出して
対象物の3次元形状を出力する。このようにして重力方
向情報と重力回り角度情報と2視点からの画像情報を融
合することにより、精度の高い3次元形状計測を実現す
るとともに装置の小型化を図る。
方向ベクトルで修正して並進運動方向ベクトルを算出す
るようにしても良い。すなわち、視線ベクトル算出部は
算出した並進運動方向ベクトルを使用して対応点の位置
をエピポーラ線を利用して修正し、修正した対応点の位
置デ−タで新たな視線ベクトルを算出し、再び並進運動
ベクトルを算出する。この対応点の修正と並進運動ベク
トルの算出を対応点がほぼ一定値に収束するかあるいは
修正の繰り返し回数がある値に達するまで繰り返してか
ら並進運動算出部から出力される並進運動方向ベクトル
と視線ベクトルから三角測量の原理で各特徴点に相当す
る対象物上の各対象点の3次元座標値を算出して対象物
の3次元形状を出力する。このように並進運動ベクトル
と対応点を繰り返し演算によって調整することにより、
より精度の高い3次元形状計測を実現することができ
る。
運動方向ベクトルの算出と対応点の修正を繰返し演算し
て最適な対応点を選択して並進運動方向ベクトルと対応
点を繰返し演算により調整することにより、さらに精度
の高い3次元形状計測を実現することができる。
図1,図2,図3を参照して動作原理を説明する。図1
に示すように、測定対象物Mの画像を撮像系を移動して
第1視点L1と第2視点L2の2視点で得る。測定対象
物Mの対象点Onは第1視点L1のイメージプレーンP
1上に特徴点I1nとして検出され、第2視点L2のイ
メージプレーンP2には特徴点I1nに対応する対応点
I2nとして検出される。測定対象物Mの複数の対象点
OnのイメージプレーンP1上の特徴点I1nとイメー
ジプレーンP2の各対応点I2nを図2に示すように抽
出する。図2において添字n=1〜7はそれぞれイメー
ジプレーンP1、P2の同じ添字n=1〜7はそれぞれ
対応する点を示す。次ぎに第1視点L1と第2視点L2
で各画像が撮像されたときの撮像系の直交座標軸の重力
方向を座標軸の一つとする直交座標系であるワールド座
標系に対する傾きを重力方向からの傾きと重力回りの回
転の2成分の形で抽出する。そして例えば図3に示すよ
うに、ある視点における重力方向単位ベクトルすなわち
撮像系からみた重力の方向を示すベクトルをg=(g
x、gy、gz)とし、重力回り回転角度をψとする
と、重力方向単位ベクトルgと撮像系の座標軸とがなす
角度θ,φは、tanθ=(gz/gy),tanφ=(gx/
gyθ)で表せる。但し、gyθは重力方向単位ベクト
ルgをx軸回りに角度θだけ回転させたときの重力方向
単位ベクトルgのy成分である。これを第1視点L1の
座標系と第2視点L2の座標系について行うと、第1視
点L1の座標系とワールド座標系との姿勢変化(θ1,
φ1,ψ1)及び第2視点L2の座標系とワールド座標
系との姿勢変化(θ2、φ2、ψ2)すなわち第1視点
L1と第2視点L2における撮像系の姿勢が求められ
る。したがってイメージプレーンP1上の特徴点I1n
を通る視線ベクトルv1nとイメージプレーンP2上の
対応点I2nを通る視線ベクトルv2nをワールド座標
系で表現できる。また、撮像系の光学中心が第1視点L
1から第2視点L2に移動したベクトルである撮像系の
並進運動ベクトルTは、視線ベクトルv1n,v2nと
並進運動ベクトルTのスカラー三重積(v1n×T,v
2n)の各対応に関する和を最小化する値として決定で
きる。この並進ベクトルTと視線ベクトルv1n,v2
nから三角測量の原理で各特徴点I1nに相当する対象
物M上の各対象点Onの3次元座標値を算出することが
できる。
次元形状計測装置は、図4のブロック図に示すように、
単眼画像撮像部1と対応関係抽出部2と重力方向検出部
3と重力回り角度検出部4と姿勢算出部5と視線ベクト
ル算出部6と並進運動算出部7及び3次元形状演算部8
を有する。単眼画像撮像部1は例えばデジタルカメラか
らなり、図1に示すように、第1視点L1と第2視点L
2で測定対象物Mの画像を入力する。対応関係抽出部2
は第1視点L1で測定した画像の複数の特徴点I1nを
抽出し、第2視点L2で測定した画像の特徴点I1nに
相当する対応点I2nを抽出する。
の加速度を検出する加速度センサからなり、第1視点L
1と第2視点L2で画像を撮像したときの単眼画像撮像
部1の直交座標系の重力方向に対する傾きを検出する。
この直交座標系の重力方向に対する傾きを検出するとき
に、図1に示すように、画像面にx,y軸を取り、画像
面に垂直な方向である光軸をz軸とし、各軸方向の加速
度を検出するように加速度センサを配置する。この各加
速度センサの信号値の比で単眼画像撮像部1に対する重
力方向の方向ベクトルを示すことができる。重力回り角
度検出部4は、例えば直交する3軸の磁力を測定する磁
気センサを有し、重力方向に垂直な方向の磁場と重力方
向から第1視点L1と第2視点L2で画像を撮像したと
きの単眼画像撮像部1の直交座標系の重力回りの角度を
検出する。すなわち重力方向検出部3で検出した重力方
向の方向ベクトルに単眼画像撮像部1のある軸が一致す
るような回転行列を算出する。そして、磁気センサで得
られた磁場方向ベクトルにその変換を施し、変換後のベ
クトル間のなす角度を重力回りの回転角度として得るこ
とができる。
た第1視点L1と第2視点L2の重力方向に対する傾き
と重力回り角度検出部4で検出した重力回りの角度から
各視点L1,L2における単眼画像撮像部1の姿勢を算
出する。視線ベクトル算出部6は2視点L1,L2にお
ける姿勢値と特徴点I1n及び対応点I2nより第1視
点L1と第2視点L2における各特徴点I1nと対応点
I2nを通る視線ベクトルV1n,V2nを算出する。
並進運動算出部7は視線ベクトルV1n,V2nと特徴
点I1n及び対応点I2nから第1視点L1から第2視
点L2までの並進運動ベクトルTを算出する。3次元形
状演算8は並進運動ベクトルTと視線ベクトルV1n,
V2nより測定対象物Mの3次元形状を算出する。
チャ−トを参照して説明する。まず、単眼画像撮像部1
で、図1に示すように、異なる視点である第1視点L1
と第2視点L2で撮像して得た画像を対応関係抽出部2
へ送る。対応関係抽出部2は送られた第1視点L1の画
像から特徴点I1nを抽出し、第2視点の画像から各対
応点I2nを抽出して出力する(ステップS1)。この
特徴点I1nと対応点I2nの抽出方法は種々あるが、
例えば次ぎの手順で行なう。第1視点L1の画像に2次
元微分フィルタを施し、微分値が高くなる点を特徴点I
1nとして抽出する。次ぎに、ある特徴点I1nを中心
とした画像領域を切り出し、第2視点L2の画像中で最
も似た領域を探索する。この探索方法としては相関法を
用いる。相関法とは第1視点L1の画像内で切り出した
特徴点近傍の第1画像領域と第2視点L2の画像内の探
索領域の第2画像領域との相互相関を算出し、その値が
最も高くなる第2画像領域を取り出す。このようにして
得られた第2画像領域の中心を対応点とする。この処理
を第1視点L1の全特徴点I1nに対して行なう。ただ
し、類似した領域が発見できないときは、その点を特徴
点とはしないようにする。
ら、重力方向検出部3で検出した重力方向の傾きと重力
回り角度検出部4で検出した重力回りの角度から姿勢算
出部5で第1視点L1と第2視点L2における単眼画像
撮像部1の姿勢を算出する(ステップS2)。この第1
視点L1と第2視点L2における単眼画像撮像部1の姿
勢と特徴点I1nと対応点I2nの各データから視線ベ
クトル算出部6で各特徴点I1nと対応点I2nを通る
視線ベクトルV1n,V2nを算出する(ステップS
3)。この視線ベクトルV1n,V2nと特徴点I1n
と対応点I2nの各データから並進運動算出部7で並進
運動方向ベクトルTを算出する(ステップS4)。3次
元形状演算部8は並進運動方向ベクトルTと視線ベクト
ルV1n,V2nから三角測量の原理で各特徴点I1n
に相当する対象物M上の各対象点Onの3次元座標値を
算出し、対象物Mの3次元形状を出力する(ステップS
5)。
度情報と2視点L1,L2からの画像情報を融合するこ
とにより、精度の高い3次元形状計測を実現することが
できるとともに装置の小型化を図ることができる。
進運動方向ベクトルTを算出した場合について説明した
が、抽出した対応点I2nを算出した並進運動方向ベク
トルTで修正して並進運動方向ベクトルTを算出するよ
うにしても良い。
運動方向ベクトルTで修正して並進運動方向ベクトルT
を算出する第2の実施例を説明するにあたり、修正動作
の原理を説明する。上記第1の実施例において、並進運
動算出部7で算出した並進運動ベクトルTと視線ベクト
ル算出部6で算出した視線ベクトルv1n,v2nか
ら、図6に示すように、イメージプレーンP2上に各対
応点I2nに相当するエピポーラ線Eplnを描くこと
ができる。エピポーラ線Eplnは第1視点L1と第2
視点L2の光学中心と対象点Onの3点を含む平面、す
なわちエピポーラ面とイメージプレーンP2の交線であ
り、第1視点L1の光学中心と特徴点I1nを通る直線
をイメージプレーンP2上に投影したものである。理想
的には対応点I2nは各エピポーラ線Epln上に存在
することになる。したがって各対応点I2nは各エピポ
ーラ線Epln付近にあると仮定できるので、エピポー
ラ線Eplnに近づくよう対応点I2nを修正する。こ
の並進運動ベクトルTの算出と対応点I2nの修正処理
を繰り返すことにより、最終的な対応点と並進運動ベク
トルTを得ることができる。
た並進運動方向ベクトルTで修正して並進運動方向ベク
トルTを算出する第2の実施例の3次元形状計測装置
は、図7のブロック図に示すように、視線ベクトル算出
部6aと収束信号通知部9以外は図4に示した3次元形
状計測装置と全く同じ構成である。視線ベクトル算出部
6aは2視点L1,L2における姿勢値と特徴点I1n
及び対応点I2nより第1視点L1と第2視点L2にお
ける各特徴点I1nと対応点I2nを通る視線ベクトル
V1n,V2nを算出するとともに並進運動算出部7で
算出した並進運動ベクトルTにより対応点I2nの位置
を修正し、修正した対応点I2nの位置で視線ベクトル
V2nを算出する。収束信号通知部9は並進運動ベクト
ルTにより対応点I2nの位置を修正したときの変化量
を算出し、対応点I2nの位置の変化量が一定値以下あ
るいは繰り返し演算回数が一定値になったことを通知す
る収束信号を出力する。
ャ−トを参照して説明する。異なる視点である第1視点
L1と第2視点L2で撮像して得た画像を対応関係抽出
部2へ送る。対応関係抽出部2は送られた第1視点L1
の画像から特徴点I1nを抽出し、第2視点の画像から
各対応点I2nを抽出して出力する(ステップS1
1)。特徴点I1nと対応点I2nを抽出したら、重力
方向検出部3で検出した重力方向の傾きと重力回り角度
検出部4で検出した重力回りの角度から姿勢算出部5で
第1視点L1と第2視点L2における単眼画像撮像部1
の姿勢を算出する(ステップS12)。この第1視点L
1と第2視点L2における単眼画像撮像部1の姿勢と特
徴点I1nと対応点I2nの各データから視線ベクトル
算出部6aで各特徴点Inと対応点I2nを通る視線ベ
クトルV1n,V2nを算出する(ステップS13)。
この視線ベクトルV1n,V2nと特徴点Inと対応点
I2nの各データから並進運動算出部7で並進運動方向
ベクトルTを算出する(ステップS14)。視線ベクト
ル算出部6aは算出した並進運動方向ベクトルTを使用
して対応点I2nの位置を修正し、修正した対応点I2
nの位置デ−タで新たな視線ベクトルV2nを算出する
(ステップS15)。この対応点I2nの修正方法は、
図6に示すように、第2視点L2の画像上にエピポーラ
線Eplnを描き、対応点I2nからエピポーラ線Ep
ln上に降ろした垂線の足を新たな対応点としたり、エ
ピポーラ線Epln付近で対応点を再探索する。この修
正された対応点I2nにより再び並進運動ベクトルTを
算出する。この対応点I2nの修正と並進運動ベクトル
Tの算出を対応点I2nがほぼ一定値に収束するかある
いは修正の繰り返し回数がある値に達するまで繰り返す
(ステップS16)。この収束制御を収束信号通知部9
で行い、対応点I2nがほぼ一定値に収束するかあるい
は修正の繰り返し回数がある値に達すると収束信号を並
進運動算出部7に送る。3次元形状演算部8は収束信号
が出力されたときに並進運動算出部7から出力される並
進運動方向ベクトルTと視線ベクトルV1n,V2nか
ら三角測量の原理で各特徴点I1nに相当する対象物M
上の各対象点Onの3次元座標値を算出し、対象物Mの
3次元形状を出力する(ステップS17)。このように
して並進運動ベクトルTと対応点I2nを繰り返し演算
によって調整することにより、より精度の高い3次元形
状計測を実現することができる。
を算出した並進運動方向ベクトルTで修正して並進運動
方向ベクトルTを算出する場合について説明したが、対
応点I2nの候補を複数抽出して並進運動方向ベクトル
Tの算出と対応点I2nの修正を繰返し演算して最適な
対応点を選択して並進運動方向ベクトルTと対応点I2
nを繰返し演算により調整するようにしても良い。
ベクトルTと対応点I2nを調整する第3の実施例を説
明するにあたり、まず動作原理を説明する。図2に示す
ように測定対象物Mの複数の対象点Onのイメージプレ
ーンP1上の特徴点I1nとイメージプレーンP2の各
対応点I2nを抽出するときに、一つの特徴点I1nに
対して対応点I2nの候補を複数抽出する。すなわち、
対応点を探索するときに評価の高かった上位の点を対応
点I2nの候補として保持する。そして並進運動ベクト
ルTを算出してイメージプレーンP2上にエピポーラ線
Eplnを描いてから、エピポーラ線Eplnに最も近
い対応点候補が新たな対応点になるよう修正する。この
並進運動ベクトルTの算出とエピポーラ線Eplnの作
成及び対応点I2nの修正処理を繰り返すことにより最
適な対応点I2nと並進運動ベクトルTを得ることがで
きる。
ピポーラ線Eplnの作成及び対応点I2nの修正処理
を繰り返す第3の実施例の3次元形状計測装置は、図9
のブロック図に示すように、単眼画像撮像部1と対応関
係抽出部2と重力方向検出部3と重力回り角度検出部4
と姿勢算出部5と視線ベクトル算出部6aと並進運動算
出部7と3次元形状演算部8及び姿勢補正部9を有す
る。対応関係抽出部2は第1視点L1と第2視点L2で
撮像して得た画像から特徴点I1nと対応点I2nを抽
出するときに、一つの特徴点I2nに対応する対応点I
2nとして複数の対応点候補を抽出する。姿勢補正部9
は対応点I2nとエピポーラ線Eplnの距離の総和が
最小になるように第2視点L1における画像の姿勢角度
の補正値を算出する。姿勢算出部5は重力方向検出部3
で検出した第1視点L1と第2視点L2の重力方向に対
する傾きと重力回り角度検出部4で検出した重力回りの
角度から各視点L1,L2における単眼画像撮像部1の
姿勢を算出するとともに、姿勢補正部10で算出した姿
勢角度の補正値と重力方向検出部3で検出した第2視点
L2の重力方向に対する傾きと重力回り角度検出部4で
検出した重力回りの角度から視点L2における単眼画像
撮像部1の姿勢を補正する。
チャ−トを参照して説明する。異なる視点である第1視
点L1と第2視点L2で撮像して得た画像を対応関係抽
出部2へ送る。対応関係抽出部2は送られた第1視点L
1の画像から各特徴点I1nを抽出し、第2視点の画像
から各対応点I2nとして複数の対応点候補を抽出して
出力する。すなわち、対応点I2nを探索するときに評
価の高かった上位の点を対応点I2nの候補として複数
保持する。(ステップS21)。特徴点I1nと対応点
I2nの候補を抽出したら、重力方向検出部3で検出し
た重力方向の傾きと重力回り角度検出部4で検出した重
力回りの角度から姿勢算出部5で第1視点L1と第2視
点L2における単眼画像撮像部1の姿勢を算出する(ス
テップS22)。視線ベクトル算出部6aは一つの対応
点候補を対応点I2nとして選択し、第1視点L1と第
2視点L2における単眼画像撮像部1の姿勢と特徴点I
1nと選択した対応点I2nの各データから各特徴点I
nと対応点I2nを通る視線ベクトルV1n,V2nを
算出する(ステップS23)。この視線ベクトルV1
n,V2nと特徴点Inと対応点I2nの各データから
並進運動算出部7で並進運動方向ベクトルTを算出する
(ステップS24)。視線ベクトル算出部6aは算出し
た並進運動方向ベクトルTを使用して対応点I2nの位
置を修正する(ステップS25)。この対応点I2nの
修正方法は、図6に示すように、第2視点L2の画像上
に算出した並進運動方向ベクトルTを使用してエピポー
ラ線Eplnを描き、エピポーラ線Eplnに最も近い
対応点候補を新たな対応点I2nとして選択する。ま
た、第2視点L2の画像の姿勢角度を変化させると、画
像上ではエピポーラ線Eplnが動く。そこで、姿勢補
正部10は新しい対応点I2nとエピポーラ線Epln
の距離の総和が最小になるように最急降下法などを用い
て第2視点L2の画像の姿勢角度の補正値を算出する。
姿勢算出部5は算出した姿勢角度の補正値と重力方向検
出部3で検出した重力方向の傾きと重力回り角度検出部
4で検出した重力回りの角度から第2視点L2の画像の
新たな姿勢角度を算出する(ステップS26)。視線ベ
クトル算出部6aは新たな姿勢角度を用いて新たな視線
ベクトルV1n,V2nを算出し(ステップS27)、
並進運動算出部7は新たな視線ベクトルV1n,V2n
により新たな並進運動方向ベクトルTを算出する。この
対応点候補の選択と第2視点L2の画像の姿勢角度の補
正値と並進運動ベクトルTの算出を対応点I2nがほぼ
一定値に収束するかあるいは修正の繰り返し回数がある
値に達するまで繰り返す(ステップS28)。対応点I
2nがほぼ一定値に収束するかあるいは修正の繰り返し
回数がある値に達して収束信号通知部9から収束信号が
出力されると、3次元形状演算部8は収束信号が出力さ
れたときに並進運動算出部7から出力される並進運動方
向ベクトルTと視線ベクトルV1n,V2nから三角測
量の原理で各特徴点I1nに相当する対象物M上の各対
象点Onの3次元座標値を算出し、対象物Mの3次元形
状を出力する(ステップS29)。
して並進運動方向ベクトルTの算出と対応点I2nの修
正を繰返し演算して最適な対応点を選択して並進運動方
向ベクトルTと対応点I2nを繰返し演算により調整す
るようにしたから、さらに精度の高い3次元形状計測を
実現することができる。
号通知部9で対応点I2nの収束状況を確認して収束制
御信号を出力する場合について説明したが、並進運動ベ
クトルTがほぼ一定値になったことを確認したら収束制
御信号を出力するようにしても良い。
nの誤対応を除去して並進運動ベクトルTを収束させて
3次元形状を測定する第4の実施例について説明する。
第4の実施例の3次元形状計測装置は、図11のブロッ
ク図に示すように、誤対応検出部11と誤対応除去部1
2及び収束信号通知部9とを設けた以外は図4に示した
3次元形状計測装置とまったく同じ構成である。誤対応
検出部11は並進運動算出部7で繰り返して算出した並
進運動ベクトルTにより第1視点L1と第2視点L2で
撮像した画像から抽出した特徴点I1nと対応点I2n
の誤対応を検出する。誤対応除去部12は誤対応した特
徴点と対応点を除去する。収束信号通知部9は並進運動
ベクトルTが一定値以下になったことを検出して収束信
号を出力する。
チャ−トを参照して説明する。異なる視点である第1視
点L1と第2視点L2で撮像して得た画像を対応関係抽
出部2へ送る。対応関係抽出部2は送られた第1視点L
1の画像から各特徴点I1nを抽出し、第2視点の画像
から各対応点I2nとして複数の対応点候補を抽出して
出力する。すなわち、対応点I2nを探索するときに評
価の高かった上位の点を対応点I2nの候補として複数
保持する。(ステップS31)。特徴点I1nと対応点
I2nの候補を抽出したら、重力方向検出部3で検出し
た重力方向の傾きと重力回り角度検出部4で検出した重
力回りの角度とから姿勢算出部5で第1視点L1と第2
視点L2における単眼画像撮像部1の姿勢を算出する
(ステップS32)。この第1視点L1と第2視点L2
における単眼画像撮像部1の姿勢と特徴点I1nと対応
点I2nの各データから視線ベクトル算出部6で各特徴
点I1nと対応点I2nを通る視線ベクトルV1n,V
2nを算出する(ステップS33)。この視線ベクトル
V1n,V2nと特徴点I1nと対応点I2nの各デー
タから並進運動算出部7で視線ベクトルv1n,v2n
と並進運動ベクトルTのスカラー三重積Sn=(v1n
×T,v2n)の各対応に関する和を最小化する繰返し
演算を実施して並進運動方向ベクトルTを算出する(ス
テップS34)。この並進運動ベクトルTの繰返し演算
が一定回数に達したときに、そのときの並進運動ベクト
ルTにより誤対応検出部11は特徴点I1nと対応点I
2nの誤対応を検出する。この検出した誤対応の特徴点
と対応点を誤対応除去部12で除去する(ステップS3
5)。並進運動算出部7は誤対応の特徴点と対応点を除
去した特徴点と対応点の各データと視線ベクトルから並
進運動ベクトルTを算出する(ステップS36,3
4)。この誤対応の特徴点と対応点の検出は、視線ベク
トルv1i,v2iと並進運動ベクトルTのスカラー三
重積Siがあらかじめ定めたしきい値TH1より大きい
ときに、その特徴点I1iと対応点I2iを誤対応とす
る。この特徴点I1nと対応点I2nの誤対応の検出と
並進運動ベクトルTの算出を繰り返しているときに、収
束信号通知部9は算出した並進運動ベクトルTがあらか
じめ定めた一定値に収束したかどうかを検出している
(ステップS36)。この並進運動ベクトルTの収束の
検出は、並進運動ベクトルTの収束度D=(Tn−
Tn-1)2がしきい値TH2以上のときは収束していない
とし、収束度Dがしきい値Th2以下になったときに収
束したとして並進運動算出部7に通知する。この収束し
た並進運動ベクトルTと視線ベクトルによりより3次元
形状演算部8は測定対象物Mの3次元形状を算出する
(ステップS37)。
対応点I2nを除去して並進運動方向ベクトルTを算出
するから、特徴点I1nと対応点I2nの対応づけに誤
りがある場合でも、より高精度に3次元形状を測定する
ことができる。
直交する3軸方向の加速度を検出する加速度センサを使
用した場合について説明したが、画像情報から重力方向
を検出するようにしても良い。デジタルカメラ等の単眼
画像撮像部1は通常大きく傾けて使用することはなく、
また、人工的な測定対象物は重力方向に長い角部を有す
ることが多い。そこで画像上のほぼ縦方向に長いエッジ
は重力方向に向いていると仮定することができる。この
エッジが画像上で垂直になるように画像を回転させたと
きの回転角から重力方向の方向ベクトルを得ることもで
きる。
軸方向の磁力を測定できる磁気センサを設け、重力方向
検出部3で検出した重力方向の方向ベクトルと磁場方向
ベクトルから重力回りの回転角度を検出する場合ににつ
いて説明したが、磁気センサだけを使用して重力回りの
回転角度を検出するようにしても良い。この場合は、例
えば画像面にx,y軸をとり,画像面に垂直な方向をz
軸とする。xy平面の磁力方向が検出されるよう2次元
磁気センサを配置する。第1視点L1と第2視点L2間
をデジタルカメラ等の単眼画像撮像部1が移動するとき
に大きく傾くことはなく、x軸とy軸回りの回転は小さ
いとすると、2次元磁気センサが示すx軸,z軸方向に
成分を持ち、y軸方向は0な方向ベクトルは北極あるい
は南極方向を示すことになり、重力回りの角度はz軸と
のベクトルがなす角度から得ることができる。
nと各対応点I2nを抽出するときに、対応点I2nを
探索するときに行った相関値を利用したりして、各点の
重み値Wnも同時に算出すると良い。そして、並進運動
算出部7で重み値Wnを含むスカラー三重積Sn=Wn
(v1n×T,v2n)の各対応に関する和を最小化す
る繰返し演算を実施して並進運動方向ベクトルTを算出
する。このようにしてより高精度に3次元形状やカメラ
運動を計測することができる。
元形状を出力するか、姿勢算出部5で算出した姿勢値と
並進運動算出部7で算出した並進運動ベクトルTを出力
するかの切り替えを選択できるようにしておくと良い。
このようにして姿勢値と並進運動ベクトルTだけを出力
できることにより、カメラ運動情報のみが必要な場合の
メモリ量や計算時間とそれに要する消費電力を低減する
ことができる。
象物を測定したときの具体例を説明する。単眼画像形成
装置1としてはデジタルカメラを使用し、重力方向検出
部3と重力回り角度検出部3としては3軸加速センサと
3軸磁気センサが搭載されたデジタルカメラにより、図
13に示すように壁11の全面にある平板12と人13
を対象物として第1視点L1で撮影を行なってから第2
視点L2に移動して撮影した。図13に示すように第1
視点L1における壁11と平行な方向をx軸とし、デジ
タルカメラの重力方向をy軸とし、光軸方向をz軸とす
ると、対象物の配置はx軸から壁11までの距離Z1が
400cm、x軸から平板12までの距離Z2が250cm、
x軸から人13までの距離Z3が300cmのときに、第1
視点L1で撮影してからデジタルカメラをx軸方向に40
cm、y軸方向に−7cmだけ並進移動し、x軸回りに
角度−2度、y軸回りに角度−8度だけ回転して第2視
点に移動して、上記第1の実施例でデジタルカメラの位
置と姿勢の変化量を算出した結果を下記表に示す。
4に示す。上記の表と図14から対象物の3次元形状の
計測が行なえることがわかる。なお、この場合、特徴点
の位置とカメラ運動は相対値のみがわかり、図14に示
す絶対値の算出は不可能である。しかし、カメラ運動の
絶対移動距離や特徴点のうちの1点のカメラからの絶対
距離がわかれば絶対値を求めることができる。そこで、
加速度センサにより2視点の移動距離の絶対値を算出
し、その絶対値を使用して各特徴点の位置の絶対値を求
めた。
向情報と重力回り角度情報と2視点からの画像情報を融
合するようにしたから、精度の高い3次元形状計測を実
現することができるとともに装置の小型化を図ることが
できる。
方向ベクトルで修正して並進運動方向ベクトルを算出す
ることを繰り返えして調整することにより、より精度の
高い3次元形状計測を実現することができる。
運動方向ベクトルの算出と対応点の修正を繰返し演算し
て最適な対応点を選択して並進運動方向ベクトルと対応
点を繰返し演算により調整することにより、さらに精度
の高い3次元形状計測を実現することができる。
去して並進運動方向ベクトルを算出することにより、特
徴点と対応点nの対応づけに誤るがある場合でも、より
高精度に3次元形状を測定することができる。
トルの修正を繰り返すときに並進運動ベクトルに基づい
て収束判定をすることにより、収束判定を高速に行なう
ことができる。
重力方向を検出したり、磁気センサで重力回りの角度を
検出することにより、簡単な構成で重力方向や重力回り
の角度を検出して3次元形状の計測を実現することがで
きる。
に、各点の重み値も同時に算出し、この重み値を考慮し
て並進運動方向ベクトルを算出することにより、より高
精度に3次元形状やカメラ運動を計測することができ
る。
る。
る。
ある。
る。
る。
図である。
である。
図である。
トである。
ク図である。
トである。
位置の配置図である。
Claims (15)
- 【請求項1】 撮像手段の視点を変えて測定対象物の画
像を入力し、第1視点で測定して入力した画像の複数の
特徴点を抽出し、第2視点で測定して入力した画像の前
記特徴点に相当する対応点を抽出し、2視点における重
力方向と重力回りの角度を入力し、2視点における重力
方向と角度から各視点における撮像手段の姿勢を算出
し、姿勢値と特徴点及び対応点から第1視点と第2視点
における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第1視点から
第2視点までの並進運動ベクトルを算出し、並進運動ベ
クトルと視線ベクトルにより測定対処物の3次元形状を
算出することを特徴とする3次元形状計測方法。 - 【請求項2】 撮像手段の視点を変えて測定対象物の画
像を入力し、第1視点で測定して入力した画像の複数の
特徴点を抽出し、第2視点で測定して入力した画像の前
記特徴点に相当する対応点を抽出し、2視点における重
力方向と重力回りの角度を入力し、2視点における重力
方向と角度から各視点における撮像手段の姿勢を算出
し、姿勢値と特徴点及び対応点から第1視点と第2視点
における各特徴点と対応点を通る視線ベクトルを算出
し、視線ベクトルと特徴点及び対応点から第1視点から
第2視点までの並進運動ベクトルを算出し、並進運動ベ
クトルにより対応点の位置を修正して視線ベクトルを算
出して対応点の変化量を算出することを対応点の対応点
の変化量が一定値以下あるいは繰り返し演算回数が一定
値になるまで繰り返してから算出した並進運動ベクトル
と視線ベクトルにより測定対象物の3次元形状を算出す
ることを特徴とする3次元形状計測方法。 - 【請求項3】 撮像手段の視点を変えて測定対象物の画
像を入力し、第1視点で測定して入力した画像の複数の
特徴点を抽出し、第2視点で測定して入力した画像の前
記特徴点に相当する対応点の複数の候補を抽出し、2視
点における重力方向と重力回りの角度を入力し、2視点
における重力方向と角度から各視点における撮像手段の
姿勢を算出し、姿勢値と特徴点及び対応点から第1視点
と第2視点における各特徴点と対応点を通る視線ベクト
ルを算出し、視線ベクトルと特徴点及び対応点から第1
視点から第2視点までの並進運動ベクトルを算出し、算
出した並進運動ベクトルにより対応点の位置を他の候補
に置き換えて特徴点と修正した対応点から姿勢補正値を
算出して視線ベクトルと並進運動ベクトルを算出するこ
とを対応点の変化量が一定値以下あるいは繰り返し演算
回数が一定値になるまで繰り返してから算出した並進運
動ベクトルと視線ベクトルより測定対象物の3次元形状
を算出することを特徴とする3次元形状計測方法。 - 【請求項4】 撮像手段の視点を変えて測定対象物の画
像を入力し、第1視点で測定して入力した画像の複数の
特徴点を抽出し、第2視点で測定して入力した画像の前
記特徴点に相当する対応点の複数の候補を抽出し、2視
点における重力方向と重力回りの角度を入力し、2視点
における重力方向と角度から各視点における撮像手段の
姿勢を算出し、姿勢値と特徴点及び対応点から第1視点
と第2視点における各特徴点と対応点を通る視線ベクト
ルを算出し、視線ベクトルと特徴点及び対応点から第1
視点から第2視点までの並進運動ベクトルを算出し、算
出した並進運動ベクトルにより特徴点と対応点の誤対応
を検出し、誤対応した特徴点と対応点を除去して並進運
動ベクトルを繰返し算出し、収束した並進運動ベクトル
と視線ベクトルより測定対象物の3次元形状を算出する
ことを特徴とする3次元形状計測方法。 - 【請求項5】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と視線
ベクトル算出手段と並進運動算出手段及び3次元形状演
算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第1視点で測定した画像の複数の特
徴点を抽出し、第2視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第1視点と第2視点における重力方
向を検出し、 重力回り角度検出手段は2視点における重力回りの角度
を検出し、 姿勢算出手段は2視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出し、 視線ベクトル算出手段は2視点の姿勢値と特徴点及び対
応点より第1視点と第2視点における各特徴点と対応点
を通る視線ベクトルを算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第1視点から第2視点までの並進運動ベクトルを算出
し、 3次元形状演算手段は並進運動ベクトルと視線ベクトル
より測定対象物の3次元形状を算出することを特徴とす
る3次元形状計測装置。 - 【請求項6】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と視線
ベクトル算出手段と並進運動算出手段と収束信号通知手
段及び3次元形状演算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第1視点で測定した画像の複数の特
徴点を抽出し、第2視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第1視点と第2視点における重力方
向を検出し、 重力回り角度検出手段は2視点における重力回りの角度
を検出し、 姿勢算出手段は2視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出し、 視線ベクトル算出手段は2視点の姿勢値と特徴点及び対
応点より第1視点と第2視点における各特徴点と対応点
を通る視線ベクトルを算出するとともに並進運動算出手
段で算出した並進運動ベクトルにより対応点の位置を修
正して視線ベクトルを算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第1視点から第2視点までの並進運動ベクトルを算出
し、 収束信号通知手段は並進運動ベクトルにより対応点の位
置を修正したときの対応点の変化量を算出し、対応点の
対応点の変化量が一定値以下あるいは繰り返し演算回数
が一定値になったことを通知する収束信号を出力し、 3次元形状演算手段は収束信号が出力されたときの並進
運動ベクトルと視線ベクトルより測定対象物の3次元形
状を算出することを特徴とする3次元形状計測装置。 - 【請求項7】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と姿勢
補正手段と視線ベクトル算出手段と並進運動算出手段と
収束信号通知手段及び3次元形状演算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第1視点で測定した画像の複数の特
徴点を抽出し、第2視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第1視点と第2視点における重力方
向を検出し、 重力回り角度検出手段は2視点における重力回りの角度
を検出し、 姿勢算出手段は2視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出するとともに姿勢
補正手段で算出した画像の姿勢角度の補正値と第2視点
の重力方向と重力回りの角度から第2視点における撮像
手段の姿勢を算出し、 視線ベクトル算出手段は2視点の姿勢値と特徴点及び対
応点より第1視点と第2視点における各特徴点と対応点
を通る視線ベクトルを算出するとともに並進運動算出手
段で算出した並進運動ベクトルにより対応点を他の候補
と置き換えて修正して各特徴点と修正した対応点を通る
視線ベクトルを算出し、 姿勢補正手段は修正した対応点より第2視点の画像の姿
勢角度の補正値を算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第1視点から第2視点までの並進運動ベクトルを算出
し、 収束信号通知手段は並進運動ベクトルにより対応点の位
置を修正したときの対応点の変化量を算出し、対応点の
対応点の変化量が一定値以下あるいは繰り返し演算回数
が一定値になったことを通知する収束信号を出力し、 3次元形状演算手段は収束信号が出力されたときの並進
運動ベクトルと視線ベクトルより測定対象物の3次元形
状を算出することを特徴とする3次元形状計測装置。 - 【請求項8】 収束信号通知手段は並進運動算出手段で
算出した並進運動ベクトルの変化量が一定値以下になっ
たときに収束信号を出力する請求項7又は8記載の3次
元形状計測装置。 - 【請求項9】 撮像手段と対応関係抽出手段と重力方向
検出手段と重力回り角度検出手段と姿勢算出手段と視線
ベクトル算出手段と並進運動算出手段と誤対応検出手段
と誤対応除去手段と収束信号通知手段及び3次元形状演
算手段を有し、 撮像手段は視点を変えて測定対象物の画像を入力し、 対応関係抽出手段は第1視点で測定した画像の複数の特
徴点を抽出し、第2視点で測定した画像の前記特徴点に
相当する対応点を抽出し、 重力方向検出手段は第1視点と第2視点における重力方
向を検出し、 重力回り角度検出手段は2視点における重力回りの角度
を検出し、 姿勢算出手段は2視点の重力方向と重力回りの角度から
各視点における撮像手段の姿勢を算出するとともに姿勢
補正手段で算出した画像の姿勢角度の補正値と第2視点
の重力方向と重力回りの角度から第2視点における撮像
手段の姿勢を算出し、 視線ベクトル算出手段は2視点の姿勢値と特徴点及び対
応点より第1視点と第2視点における各特徴点と対応点
を通る視線ベクトルを算出し、 並進運動算出手段は視線ベクトルと特徴点及び対応点か
ら第1視点から第2視点までの並進運動ベクトルを繰返
して算出し、 誤対応検出手段は算出した並進運動ベクトルにより特徴
点と対応点の誤対応を検出し、 誤対応除去手段は誤対応した特徴点と対応点を除去し、 収束信号通知手段は並進運動ベクトルが一定値になった
ことを検出して収束信号を出力し、 3次元形状演算手段は収束信号が出力されたときの並進
運動ベクトルと視線ベクトルより測定対象物の3次元形
状を算出することを特徴とする3次元形状計測装置。 - 【請求項10】 上記収束信号通知手段は繰り返した算
出した並進運動ベクトルの誤差曲線により並進運動ベク
トルの収束を検出する請求項7,8又は9記載の3次元
形状計測装置。 - 【請求項11】 重力方向検出手段が3軸加速度センサ
である請求項5,6,7又は9記載の3次元形状計測装
置。 - 【請求項12】 重力方向検出手段が入力画像より算出
する重力方向推定手段である請求項5,6,7又は9記
載の3次元形状計測装置。 - 【請求項13】 重力回り角度検出手段が磁気センサで
ある請求項5,6,7又は9記載の3次元形状計測装
置。 - 【請求項14】 重力回り角度検出手段が磁気センサと
重力方向検出手段である請求項5、6,7又は9記載の
3次元形状計測装置。 - 【請求項15】 対応関係抽出手段は特徴点と対応点と
ともに重み値を算出し、並進運動算出手段は特徴点と対
応点の重み値を考慮して並進運動ベクトルを算出する請
求項5、6,7又は9記載の3次元形状計測装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30337197A JP3712847B2 (ja) | 1997-05-20 | 1997-10-20 | 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置 |
US09/081,020 US6038074A (en) | 1997-05-20 | 1998-05-19 | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9-144498 | 1997-05-20 | ||
JP14449897 | 1997-05-20 | ||
JP30337197A JP3712847B2 (ja) | 1997-05-20 | 1997-10-20 | 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1137736A true JPH1137736A (ja) | 1999-02-12 |
JP3712847B2 JP3712847B2 (ja) | 2005-11-02 |
Family
ID=26475890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30337197A Expired - Fee Related JP3712847B2 (ja) | 1997-05-20 | 1997-10-20 | 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3712847B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101155816B1 (ko) * | 2005-06-17 | 2012-06-12 | 오므론 가부시키가이샤 | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 |
JP2016070884A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム |
WO2016103621A1 (ja) * | 2014-12-24 | 2016-06-30 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
JP2017090420A (ja) * | 2015-11-17 | 2017-05-25 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置及び3次元情報復元方法 |
WO2024071733A1 (ko) * | 2022-09-29 | 2024-04-04 | 네이버랩스 주식회사 | 식별자 인식 기반 위치 결정 방법 및 장치 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107548449B (zh) * | 2015-04-21 | 2019-11-12 | 卡尔蔡司工业测量技术有限公司 | 用于确定被测对象的实际尺寸特征的方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05196437A (ja) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | 3次元情報入力装置 |
JPH06241731A (ja) * | 1992-11-20 | 1994-09-02 | Nec Corp | 3次元形状相対位置推定装置 |
JPH1163949A (ja) * | 1997-08-20 | 1999-03-05 | Ricoh Co Ltd | 3次元形状復元装置及び方法 |
-
1997
- 1997-10-20 JP JP30337197A patent/JP3712847B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05196437A (ja) * | 1992-01-20 | 1993-08-06 | Nippon Telegr & Teleph Corp <Ntt> | 3次元情報入力装置 |
JPH06241731A (ja) * | 1992-11-20 | 1994-09-02 | Nec Corp | 3次元形状相対位置推定装置 |
JPH1163949A (ja) * | 1997-08-20 | 1999-03-05 | Ricoh Co Ltd | 3次元形状復元装置及び方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101155816B1 (ko) * | 2005-06-17 | 2012-06-12 | 오므론 가부시키가이샤 | 3차원 계측을 행하는 화상 처리 장치 및 화상 처리 방법 |
US8233041B2 (en) | 2005-06-17 | 2012-07-31 | Omron Corporation | Image processing device and image processing method for performing three dimensional measurements |
JP2016070884A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム |
WO2016103621A1 (ja) * | 2014-12-24 | 2016-06-30 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置、3次元情報復元システム、及び3次元情報復元方法 |
JP2017090420A (ja) * | 2015-11-17 | 2017-05-25 | パナソニックIpマネジメント株式会社 | 3次元情報復元装置及び3次元情報復元方法 |
WO2024071733A1 (ko) * | 2022-09-29 | 2024-04-04 | 네이버랩스 주식회사 | 식별자 인식 기반 위치 결정 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP3712847B2 (ja) | 2005-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
CN111156998B (zh) | 一种基于rgb-d相机与imu信息融合的移动机器人定位方法 | |
US6038074A (en) | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image | |
Lobo et al. | Vision and inertial sensor cooperation using gravity as a vertical reference | |
Zhang et al. | A robust and rapid camera calibration method by one captured image | |
JP3732335B2 (ja) | 画像入力装置及び画像入力方法 | |
EP4155873A1 (en) | Multi-sensor handle controller hybrid tracking method and device | |
CN111307146B (zh) | 一种基于双目相机和imu的虚拟现实头戴显示设备定位系统 | |
CN113516692B (zh) | 一种多传感器融合的slam方法和装置 | |
CN114608554B (zh) | 一种手持slam设备以及机器人即时定位与建图方法 | |
CN113012224B (zh) | 定位初始化方法和相关装置、设备、存储介质 | |
CN111811462A (zh) | 极端环境下大构件便携式视觉测距系统及方法 | |
CN112697131B (zh) | 基于视觉和惯性导航系统的井下移动装备定位方法及系统 | |
JP2559939B2 (ja) | 3次元情報入力装置 | |
Viéville et al. | Experimenting with 3D vision on a robotic head | |
JP3712847B2 (ja) | 3次元形状計測方法と3次元形状計測装置及び撮像手段の姿勢検出装置 | |
CN113923437A (zh) | 信息显示方法及其处理装置与显示系统 | |
JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
JP3221384B2 (ja) | 三次元座標計測装置 | |
CN113048985B (zh) | 已知相对旋转角度条件下的像机相对运动估计方法 | |
JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と3次元形状復元装置及び3次元形状復元方法 | |
González et al. | Stability study of camera calibration methods | |
Krishnan et al. | Monocular pose of a rigid body using point landmarks | |
Ogata et al. | A robust position and posture measurement system using visual markers and an inertia measurement unit | |
JPH0979820A (ja) | 物体形状及びカメラ視点移動の復元装置および物体形状,カメラ視点移動の復元方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050818 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |