JP3624353B2

JP3624353B2 - ３次元形状計測方法およびその装置

Info

Publication number: JP3624353B2
Application number: JP2002330582A
Authority: JP
Inventors: 洋川崎; 亮古川
Original assignee: TECHNO DREAM 21 Co Ltd
Current assignee: TECHNO DREAM 21 Co Ltd
Priority date: 2002-11-14
Filing date: 2002-11-14
Publication date: 2005-03-02
Anticipated expiration: 2022-11-14
Also published as: WO2004044522A1; EP1580523A4; US20060055943A1; US7342669B2; JP2003130621A; EP1580523A1; AU2003280776A1

Description

【０００１】
【発明の属する技術分野】
本発明は、レーザ光を用いて対象物体までの距離情報を三角測量の原理で取得する３次元形状計測装置に関し、特に、単一の撮像装置で精度良く距離情報を取得することが可能な３次元形状計測装置に関する。
【０００２】
また、前記装置を用いて、対象物体の３次元形状を計測する方法に関するものである。
【０００３】
【従来の技術】
対象物体の３次元形状を測定する手法の一つとして、三角測量に基づくアクティブ手法（パターン投影、スポット投影）が知られている。これらは、レーザ光やハロゲンランプなどの光源と、カメラやＣＣＤなどの撮像装置からなり、３次元形状の取得は三角測量に基づき行われる。そのため、光源とカメラの位置関係があらかじめ精密に分かっている必要があり、装置は大掛かりで複雑になる傾向があった。
【０００４】
この光源とカメラの位置関係を簡単に得ることが出来れば、３次元形状取得装置を簡略化することが可能となる。そこで、光源にマーカーをつけ、カメラでマーカーも同時に撮影することでカメラと光源の位置関係を容易に取得する手法が文献１（Masahiro Takatsuka, Geoff A.W. West, Svetha Venkatesh and Terry M. Caelli. "Low-cost interactive active monocular range finder". In Proceeding of Computer Vision and Pattern Recognition, volume 1, pages 444-449, 1999.）として提案されている。
【０００５】
【発明が解決しようとする課題】
しかし、文献１の手法は光源としてポイントレーザ光を用いた手法であり、１枚の画像からは原則として１点しか３次元形状が得られないため、広い面積の形状計測には非常に時間がかかるという問題がある。また、光源につけたマーカーも直線状に配置されているため、得られる３次元形状の精度が低いという問題がある。
【０００６】
そこで、本発明は、三角測量に基づいたアクティブ方式の３次元形状計測手法のうち、光源にマーカーを取り付けこれをカメラで同時に撮影することで装置の簡略化を図る手法に関して、計測時間を短縮し、精度を向上させることを目的とする。
【０００７】
【課題を解決するための手段】
本発明は光源としてラインレーザ光を用いることで、１枚の画像から多くの３次元点を同時に取得することを実現する。これにより短時間で効率的に３次元形状を取得することが可能となる。また、マーカーを３次元状に配置することで、光源の位置を精度良く取得することを実現し、これにより、取得する３次元形状の精度を高めることが可能となる。
【０００８】
また、１枚の画像から多くの３次元点を同時に取得出来るため、それら点群のうち既に３次元情報が取得された点が存在すれば、それら過去に計測された３次元点の情報を利用することで光源の位置・姿勢を修正することが可能となり、これにより３次元形状の計測精度を高めることが出来る。
【０００９】
【発明の実施の形態】
（実施例１）以下、まず図１を参照して、本発明の第１の実施の形態について開示する。
【００１０】
初めに、撮像装置（１−２）を装置（１−１）および対象物体（１−４）が同時に画角内に収まるように設置する。また、照射レーザ光（１−５）と発光ダイオード（１−１ b ）が画像処理により簡易に高精度で検出できるよう、撮像装置の絞りとシャッタースピードの設定も同時に行う。
【００１１】
また、装置（１−１）とラインレーザ光の作る光線面との位置関係はあらかじめ計測しておく。
【００１２】
撮像装置としては、例えば、ビデオカメラやＣＣＤなどが挙げられる。
【００１３】
続いて、装置（１−１）を手に持ち、ラインレーザ光で対象物体（１−４）を自由に照射する。
【００１４】
発光ダイオード（１−１ b ）の３次元の形状は既知であるため、撮影した画像上の発光ダイオードの位置を検出することで、装置（１−１）と撮像装置（１−２）との位置関係を取得することが出来る。その際、非線形解法により精度の向上を図る。
【００１５】
装置（１−１）とラインレーザ光の作る光線面との位置関係が既知であるため、得られた装置（１−１）と撮像装置（１−２）との位置関係を用いることで、検出した照射ラインレーザ光（１−５）の撮像装置（１−２）からの距離を三角測量の原理で計算することが出来る。
【００１６】
これを繰り返し行うことで対象物体（１−４）の３次元形状を取得する。
【００１７】
（実施例２）本発明の第２の実施の形態として、一連の処理を、図２のように、計測した３次元形状をディスプレイモニタ（２−５）にリアルタイムで表示すれば、ユーザは、未だ計測の終わっていない部分をその場で確認できるため、効率的に対象物体（２−４）の３次元形状を取得することが出来る。
【００１８】
次に、発光ダイオードによるマーカーの形状について、図３に例を示す。マーカーは４点以上であればその配置は任意であるが、正方形に配置したもの（３−１）や、３次元ｘｙｚ軸状に配置したもの（３−２）、立方体状に配置したもの（３−３）とすれば、製作が容易であること、装置（１−１）と撮像装置（１−２）との位置関係を得るための計算が簡単になること、などの利点がある。
【００１９】
続いて、具体的な３次元形状計測装置と測定方法を開示する。
【００２０】
システムはビデオカメラとラインレーザ光源からなる。図１参照。ラインレーザ光源は手動で、ユーザはラインレーザ光を対象物体に照射し、スキャンするようにする。レーザ光が照射したストライプをカメラで撮影し、解析することで対象物体の表面の形状を得る。
【００２１】
ラインレーザ光源の位置と方向の識別のために発光ダイオードのマーカーがラインレーザ光源に付いている。マーカーはレーザ平面の上に、正方形の頂点をなすように配置されている。マーカーの位置と方向は、マーカーのローカル座標系を定義する（４−１）。これをマーカー座標系と呼ぶことにする。マーカー座標系の原点を、マーカーの重心に置き、各座標軸の方向を単位ベクトルe₁',e₂',e₃' で表す。e₁',e₂' は、それぞれ、マーカーのなす正方形の辺と平行な方向に取る。（e₁' はラインレーザ光源がレーザ光を投光する方向の辺と、e₂'はそれと直交する方向の辺に対応する）e₃'はマーカーのなす正方形と垂直な方向に取る。また、カメラ座標系は、レンズ中心を原点に、e₁,e₂,e₃で表現し、e₁,e₂は画像面の横軸、縦軸と平行に、e₃は画像面と垂直に、原点から撮影対象と逆方向に取る（４−２）。図４参照。
【００２２】
e₁',e₂'で張られる平面をマーカー平面（５−４）、レーザ光が投光される平面をレーザ平面と呼ぶ。マーカー座標系とカメラ座標系の変換は、回転行列Rと平行移動ベクトルtで表される。この変換は、カメラに対するマーカー位置の表現である。図５参照。
【００２３】
計測する際には、これらマーカー投光されたレーザ光を撮像装置（１−２）でキャプチャする。キャプチャしたフレーム画像から、４個の発光ダイオードの位置を抽出する。具体的には、単純な閾値処理後連結領域の重心を取ることで位置の算出が出来る。抽出した発光ダイオードの位置から、それらを通る直線を算出し、その交点を計算する。これらの交点はVanishing Point( 以後 VP)と呼ばれる（５−２a）（５−２b）。直線が平行である場合、VPは直線の方向の無限遠点となる。
【００２４】

【００２５】
非線形最適化の方法としては、シンプレックス降下法などを利用する。
【００２６】
続いて、マーカー座標系の推定値から、レーザ平面の推定値を得る。マーカー座標系とレーザ平面の関係式の測定については後述する。まず、画像（６−５）からレーザ光により照らされたピクセルを抽出する（６−１）。これも単純な閾値処理後で可能であるが、実際にはその後、細線化、モーフォロジカルフィルタを用いて抽出精度を上げる。それらのピクセルに対応する計測対象表面の３次元位置とレンズ中心を通る直線（６−４）は、カメラの内部パラメータから求められる。この直線と、レーザ平面（６−２）の交点として、ピクセルに対応する計測対象表面の３次元位置（６−３）が求まる。図６参照。
【００２７】
ここで、マーカー座標とレーザ平面の関係を正確に知るための方法を示す。この関係は、マーカーのローカル座標系で表したレーザ平面のパラメータとして表現する。このパラメータは、３次元平面を表す４個の数字の組(a,b,c,d)になる。レーザ平面がマーカーのなす面と一致する場合、レーザ平面の式はz=0となる。
【００２８】
マーカー座標とレーザ平面の関係式を推定するための準備として、以下の測定を行う。サイズ既知の直方体（７−５）を撮影し、通常のカメラキャリブレーションによってカメラの外部パラメータを推定する。推定された外部パラメータと既知のサイズを基に、直方体を構成する面の方程式を推定する。レーザ光を直方体に対して投光し、既に述べた方法で発光ダイオードの位置からマーカー座標系の位置と方向を推定する。そして、現在の(a,b,c,d)の推定値から、カメラ座標で表したレーザ平面の推定値を求める。さらに、レーザ平面の推定値から、レーザ平面と直方体との交線の推定値を求め、その画像平面への投影位置（７−２）を算出する。上記の方法で算出されたレーザ平面と直方体との交線の像の推定値（７−２）と、画像上で計測されたレーザ光の投光されたピクセル位置（７−１）の距離の自乗を、全ての抽出されたレーザ反射位置について足し合わせ、これをレーザ平面とマーカー座標系の関係(a,b,c,d)の評価関数とする。これを非線形最適化により最小化し、(a,b,c,d)の推定を行う。最適化の初期値としては、例えば、z=0、つまり、(a,b,c,d)=(0,0,1,0)を使う。図７参照。
【００２９】
最後に、既知の３次元点によるマーカー座標系の推定の補正方法について述べる。対象物体表面に既知の点があり、さらにレーザ光の一部が既知の点で反射されている場合、これらの点における距離の推定値は理想的には常に一致する。よって、それらの点における既知の距離と、前述した方法による距離の推定値との誤差の自乗和を誤差の評価値(6)に加えた評価関数を定義し、これを最小化することで、既知の３次元点によるマーカー座標系の推定を補正する。
【００３０】
既知の３次元点としては、あらかじめ別の計測方法で高精度に計測した点を利用できる他、本発明による手法で同じ点が何度も推定され、かつその分散が小さいものを利用しても良い。
【００３１】
【発明の効果】
以上説明したように、本発明によれば、三角測量に基づくアクティブ方式による３次元形状を取得する際、従来必要であった大掛かりで複雑な装置が一切必要なく、また短時間で精度の良い３次元形状を取得することが出来るようになる。
【００３２】
また、計測している３次元形状データをディスプレイモニタにリアルタイムで表示しながら計測することで、ユーザは、未だ計測の終わっていない部分をその場で確認でき、効率的に対象物体の３次元形状を取得することが出来る。
【００３３】
加えて、装置（１−１）はラインレーザ光源に発光ダイオードを取り付けた簡易的なものであるため、従来の大掛かりな装置と比べて、どこにでも手軽に持ち運べるという利点がある。
【００３４】
さらに、計算用コンピュータでの３次元形状データ取得は、録画画像から行うことも可能であり、計測時には最小限、装置（１−１）と撮像装置（１−２）のみで足りるといった利便性もある。
【図面の簡単な説明】
【図１】本発明による第１実施例としての画像データ計測装置の構成を示した図である。
【図２】本発明による第２実施例としての画像データ計測装置の構成を示した図である。
【図３】本発明に係る発光ダイオードによるマーカーの配置方法の例を示した図である
【図４】ラインレーザ光源に付いているマーカー座標系とカメラ座標系の関係を示した図である。
【図５】マーカー座標の回転の推定方法を示した図である。
【図６】本発明による３次元点の推定方法を示した図である。
【図７】マーカー平面とレーザ平面とのずれの推定方法を示した図である。
【符号の説明】
１−１計測装置１−１a ラインレーザ光源１−１b 発光ダイオード１−２撮像装置１−３計算用コンピュータ１−４対象物体１−５照射レーザ光２−１計測装置２−２撮像装置２−３計算用コンピュータ２−４対象物体２−５ディスプレイモニタ３−１正方形配置３−２ｘｙｚ軸配置３−３立方体配置４−１マーカー座標系４−２カメラ座標系４−３計測装置４−４対象物体４−５カメラ平面５−１計測装置５−２a VP ５−２b VP ５−３カメラ平面５−４マーカー平面６−１画像上で抽出されたピクセル６−２推定されたレーザ平面６−３推定された３次元点６−４カメラ中心と抽出されたピクセルをつないだ直線６−５画像平面６−６計測装置６−７対象物体７−１画像処理で検出されたレーザ光７−２推定されたレーザ平面と箱との交線７−３キャプチャ画像７−４ビデオカメラ７−５形状が既知の箱７−６計測装置

Claims

ラインレーザ光源（１−１a）に、位置と方向を識別するための発光ダイオード（１−１b）をマーカーとして取り付けた装置（１−１）と、該装置および対象物体（１−４）を撮影するための撮像装置（１−２）と、照射したラインレーザ光（１−５）および発光ダイオード（１−１ b ）を、該撮像装置で撮影した画像から検出し、解析するための計算用コンピュータ（１−３）からなる３次元形状計測装置。
請求項１に記載の３次元形状計測装置に、計測している３次元形状などを表示するためのディスプレイモニタ（２−５）を加えたことを特徴とする３次元形状計測装置。
ラインレーザ光源（１−１ a ）の位置と方向の識別のために発光ダイオード（１−１ b ）をマーカーとして取り付けた装置（１−１）を用いて計測対象物体にラインレーザ光をあて、その照射ラインレーザ光（１−５）と発光ダイオード（１−１b）を同時に撮像装置（１−２）で撮影し、その撮影画像データから三角測量の原理で計算用コンピュータ（１−３）により３次元形状を取得することを特徴とする３次元形状計測方法。
請求項３に記載の方法を連続的にリアルタイムで処理し、取得した３次元形状データをディスプレイモニタ（２−５）に表示することを特徴とする３次元情報表示方法。
３次元位置が既知の点か、請求項３に記載の方法により得られた３次元形状のうち、精度の良い点を選定したものを既知の点とし、これら既知の点の撮像装置（１−２）との距離と、請求項３に記載の方法による距離の推定値との間の誤差を評価値とし、これを最小化することによって、装置（１−１）の位置と方向の推定に補正をかけることで、三角測量の精度を向上させることを特徴とする３次元形状計測方法。