JP2006234703A - 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム - Google Patents

画像処理装置及び三次元計測装置並びに画像処理装置用プログラム Download PDF

Info

Publication number
JP2006234703A
JP2006234703A JP2005052299A JP2005052299A JP2006234703A JP 2006234703 A JP2006234703 A JP 2006234703A JP 2005052299 A JP2005052299 A JP 2005052299A JP 2005052299 A JP2005052299 A JP 2005052299A JP 2006234703 A JP2006234703 A JP 2006234703A
Authority
JP
Japan
Prior art keywords
image
point
epipolar constraint
image processing
constraint line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005052299A
Other languages
English (en)
Other versions
JP4132068B2 (ja
Inventor
Takumi Hashizume
匠 橋詰
Junichi Takiguchi
純一 瀧口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waseda University
Mitsubishi Electric Corp
Original Assignee
Waseda University
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waseda University, Mitsubishi Electric Corp filed Critical Waseda University
Priority to JP2005052299A priority Critical patent/JP4132068B2/ja
Publication of JP2006234703A publication Critical patent/JP2006234703A/ja
Application granted granted Critical
Publication of JP4132068B2 publication Critical patent/JP4132068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 屋外に存在する物体の三次元形状を精度良く自動的に特定可能にすること。
【解決手段】 第1地点から第2地点に移動して前記各地点で画像をそれぞれ取得するカメラ装置11と、カメラ装置11の位置情報及び姿勢情報を検出するセンシング手段12と、センシング手段12で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段15とを備えて三次元計測装置10が構成されている。センシング手段12は、前記各画像を用いずに前記位置情報及び姿勢情報を検出可能なセンサによって構成される。画像マッチング手段15は、センシング手段12の検出値に基づいて、前記第2地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第1地点の対象部分とを対比することで、各画像内の同一部分を特定する。
【選択図】 図1

Description

本発明は、画像処理装置及び三次元計測装置並びに画像処理装置用プログラムに係り、更に詳しくは、屋外に存在する対象物をカメラ等で撮像することにより、前記対象物の三次元形状を精度良く自動的に特定することのできる画像処理装置及び三次元計測装置並びに画像処理装置用プログラムに関する。
近年、カーナビゲーション等に用いられる地図情報システムのうち、デジタル化された三次元地図データに、統計データや地図上の属性情報を付帯させた三次元GIS(Geographic Infomation System)と呼ばれるシステムが普及しつつある。この三次元GISは、カメラを搭載した計測車両を走行させ、当該カメラで建物等の物体を撮像し、その画像と航空機測量を行った地図等とをベースに人手を介して建物等の物体を三次元的に復元することで作成される。ところが、この方法では、人手によって物体の三次元形状を特定するため、地図等の更新を行う際に膨大な時間がかかり、カーナビゲーション地図の更新サイクルの短縮化の要請に応えられないという問題がある。
ところで、ビデオカメラに撮像された物体の三次元形状を特定する三次元計測装置が知られている(例えば、特許文献1等参照)。この三次元計測装置は、ビデオカメラを移動させて撮影位置を変化させながら対象物を連続的に撮像し、各画像内における対象物の位置変化によって物体の三次元座標を求める運動立体視法が採用されている。
この三次元計測装置では、先ず、画像上で、周囲よりも特徴となる部分(特徴点)を数箇所決め、カメラ移動後に、当該特徴点が画像上をどう変化したかによって、移動前後におけるビデオカメラの位置情報及び姿勢情報を求め、当該位置情報及び姿勢情報に基づき、幾何学的にエピポーラ拘束線を求める。つまり、ビデオカメラで撮像された画像の特徴点を使ってエピポーラ拘束線が求められる。
ここで、エピポーラ拘束線とは、ビデオカメラが第1地点から第2地点に移動するとした場合、第1地点で撮像された第1画像内の対象点が、第2地点で撮像された第2画像内において位置する可能性のある点の集合である。従って、第1画像と第2画像とをマッチングする際に、その対象範囲を第2画像のエピポーラ拘束線の近傍に限定することで、各画像における同一部分の特定を比較的簡単に行うことができる。
その後、第1及び第2画像にそれぞれ写った前記同一部分の視差を利用して、その部分と所定の基準点との距離が求められ、幾何学上、当該部分の三次元座標が求められる。
特開平5−141930号公報
しかしながら、このような三次元計測装置にあっては、屋内に存在する物体の三次元形状を特定するのに適しているが、屋外に存在する物体の三次元形状を特定することが難しく、屋外でのカメラ撮像が必要となる三次元地図情報の作成には利用できないという不都合がある。
すなわち、前記三次元計測装置では、移動するビデオカメラで撮像された複数の画像を使って、これら画像内の特徴点の位置変化を捉えることで、ビデオカメラの並進量及び回転量を求めるようになっている。ところが、屋外環境では、屋内環境に比べ、多様な物体や背景が存在し、計測環境が複雑となる他、明るさなどの撮影条件が撮影ポイントで細かく変わるため、画像内の特徴点の明確な区別が困難である場合が多い。このため、前記三次元計測装置を屋内で使用すると、三次元形状の特定精度が著しく低下してしまい、三次元地図情報の作成には実質的に利用することができない。
本発明は、このような不都合に着目して案出されたものであり、その目的は、屋外に存在する物体の三次元形状を精度良く自動的に特定することができる画像処理装置及び三次元計測装置並びに画像処理装置用プログラムを提供することにある。
前記目的を達成するため、本発明は、第1地点から第2地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段とを備え、
前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第2地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第1地点の対象部分とを対比することで、各画像内の同一部分を特定する、という構成を採っている。
本発明によれば、移動する撮像手段の位置情報及び姿勢情報をGPS/INS方式等のセンシング手段を使って検出することで、エピポーラ拘束線を求めているため、前記位置情報及び姿勢情報抽出の際に、撮像手段で撮像された画像の特徴点の抽出やマッチングが不要となる。これによって、撮像された物体の特徴点が明確でない場合や、移動前後での撮影ポイントの明るさ等の撮影条件の差が生じている場合でも、各画像内での同一部分の誤認識を回避して、当該同一部分の特定が可能となり、屋外に存在する物体の三次元形状を精度良く自動的に特定することができる。
また、撮像手段として全周撮像装置を用いた場合には、視差の大きい横方向の有効視野を広く確保することができ、物体の三次元形状の特定をより確実に行うことができる。
以下、本発明の実施例について図面を参照しながら説明する。
[第1実施例]
図1には、本発明に係る画像処理装置を適用した三次元計測装置の概略構成図が示されている。この図において、三次元計測装置10は、撮像手段としてのカメラ装置11と、カメラ装置11の位置情報及び姿勢情報を検出するセンシング手段12と、カメラ装置11で撮像された画像及びセンシング手段12で検出された位置情報及び姿勢情報から、撮像された物体の三次元形状を特定する三次元環境認識部13とを備えて構成されている。
本実施例において、三次元計測装置10は、無線等による遠隔操縦によって自律移動可能な移動体として機能するが、特に限定されるものではなく、運転者の運転によって任意の場所を移動する自動車に搭載されていてもよい。また、三次元環境認識部13は、カメラ装置11やセンシング手段12と別の場所に離れて設けられていてもよく、これらカメラ装置11やセンシング手段12に対して、インターネット等の各種通信網を使ってデータの送受信を行う構成としてもよい。
前記カメラ装置11は、単眼レンズカメラが用いられ、三次元計測装置10の進行方向の何れか一側方の画像を撮像可能に撮像部11Aが配置されている。このカメラ装置11で撮像された画像データは、逐次、三次元環境認識部13に送られる。
前記センシング手段12は、GPS(Grobal Positioning System)と、INS(Inertial Navigation System:慣性航法システム)とを組み合わせた公知のGPS/INS方式(日本機械学会 ロボティクス・メカトロニクス講演会論文集 ‘04,1A1−L1−67,2004)が採用されたセンサにより構成されている。このGPS/INS方式は、GPSの位置データを利用することで、三次元計測装置10の現在位置を把握するようになっており、特に、検出遅れのあるGPS位置データに対し、INSによって求められた位置データ(INSデータ)で補間することで、現在時刻の三次元計測装置10の位置を正確に求めるようになっている。また、INS方式により、現在時刻の三次元計測装置10の姿勢を求めるようにもなっている。
前記センシング手段12は、GPS/INS方式に必要な機器類(GPS受信機、ジャイロ、加速度計等)によって構成されているが、本発明の要旨ではないため、ここでは各機器類の説明を省略する。また、センシング手段12で検出された三次元計測装置10内の位置情報や姿勢情報は、逐次、三次元環境認識部13に送られる。
前記三次元環境認識部13は、ソフトウェア及び/又はハードウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び/又は処理回路より成り立っており、以下の動作を実行可能に機能する。
この三次元環境認識部13は、三次元計測装置10が所定の第1地点から第2地点に移動したときにそれぞれ撮像された第1画像及び第2画像の中で相互に同一となる部分を特定する画像マッチング手段15と、同一と特定された部分の三次元座標を求める三次元復元手段16とを備えている。
前記画像マッチング手段15は、センシング手段12で検出された第1及び第2地点の位置情報及び姿勢情報の検出値に基づいて、第2地点での第2画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像を第1地点での第1画像と対比することで、双方の画像で同一となる部分を特定するようになっている。
ここで、エピポーラ拘束線は、先に第1地点で撮像された第1画像の対象点が、第2地点で撮像された第2画像内において位置する可能性のある点の集合であり、後で例示する種々の演算式によって幾何学的に求められる。
前記三次元復元手段16は、第1及び第2地点でそれぞれ撮像された第1及び第2画像に対し、画像マッチング手段15で特定された同一部分の各画像の視差を利用して、所定の基準点から前記部分までの距離を求め、当該距離情報に基づいて、カメラ装置11によって撮像された各種物体の形状を三次元的に復元するようになっている。
次に、前記三次元環境認識部13での処理手順につき、図2のフローチャートを用いながら説明する。
先ず、カメラ装置11によって、第1及び第2地点でそれぞれ撮像された画像データと、センシング手段12によって検出された第1及び第2地点における三次元計測装置10(カメラ装置11)の位置情報及び姿勢情報とがそれぞれ同期して取得され(S101)、それらデータが三次元環境認識部13に送られる。
次に、画像マッチング手段15によって、以下の処理が実行される。
先ず、最初に、エピポーラ拘束線を求める(S102)。この説明のために、図3に示された状態を想定する。すなわち、ここでは、カメラ装置11が第1地点から第2地点に移動し、各地点において対象点Mが撮像される。このとき、第1地点で撮像された第1画像18は、第1デジタル画像面D1に写し出され、第2地点で撮像された第2画像19は、第2デジタル画像面D2に写し出されるとする。
なお、以下において、第1及び第2地点におけるカメラ装置11内のカメラ中心C,C´を原点とした直交三軸方向の座標系をカメラ座標系と称し、所定の空間を原点とした直交三軸方向の座標系をワールド座標系と称し、デジタル画像面D1,D2内で直交する二軸方向の座標系をデジタル座標系と称する。
カメラ装置11では、撮像された対象点Mが平面状のデジタル画像面D1,D2に投影される。ここで、第1及び第2地点でのデジタル画像面D1,D2における対象点Mの投影点m、m´は、各地点におけるカメラ装置11のカメラ中心C、C´と対象点Mとを結ぶそれぞれ直線がデジタル画像面D1,D2に交わる点である。
ここで、第1地点でのデジタル画像面D1上の投影点mの座標を、m=(u1,v1)、とし、単眼カメラの焦点距離をfとしたときに、投影点mを第1地点でのカメラ座標系で表すと、次のようになる。
そして、第2地点で撮像された対象点Mの投影点m´を、第2地点でのカメラ座標系で、
と表すと、
カメラ装置11が第1地点から第2地点に移動する際に、センシング手段12(図1参照)で検出された各地点でのカメラ装置11の位置情報及び姿勢情報を使って、次式により、投影点m´が求められる。
ここにおいて、Tは、カメラ装置が第1地点から第2地点に移動する際の相対並進移動行列、すなわち、GPS/INSから求まる演算周期毎の並進量(d,d,d)である。
また、Rは、カメラ装置が第1地点から第2地点に移動する際の相対回転行列、すなわち、GPS/INSから求まる演算周期毎のオイラー角(ロール、ピッチ、ヨー)である。
そして、第1地点及び第2地点におけるカメラ中心C、C´と、投影点m´の三点を含むエピポーラ平面Eにおいて、当該平面E上の点PをP=(x,y,z)とすると、次式の関係が成り立つ。
ここで、a、bは、任意の実数である。
次に、この式(4)を各行列の要素に展開した3つの式からa,bを代入、消去することにより、式(4)は、次式(5)に置き換えられる。
ここで、α、β、γは所定の係数である。
従って、この式(5)を満たすエピポーラ平面E上の座標(x,y,z)が、前述したエピポーラ拘束線上の点となる。このため、第2地点のカメラ装置11におけるデジタル画像面D2上では、エピポーラ平面Eと交わる直線部分が第2画像でのエピポーラ拘束線Lとなる。
以上では、一つの対象点Mについてのエピポーラ拘束線Lの算出について説明したが、実際は、カメラ装置11で撮像される多数の対象点Mそれぞれに対して、エピポーラ拘束線Lが前述のようにそれぞれ算出され、各対象点Mに対し、相互に異なるエピポーラ拘束線Lが一本ずつ求められることになる。
エピポーラ拘束線Lが算出された後は、第1画像18の各対象点Mに対応する第2画像19の対応点を探索する対応点探索が行われる(S103)。この対応点探索は、以下のように、カラー情報によるウインドウマッチングによって行われる。
具体的に、先ず、図4に示されるように、第1画像18の対象点mの周囲に、複数画素分の大きさとなる枠状の基準セル21を設定する。そして、当該基準セル21と同一形状の比較対象セル22を第2画像19内に設定し、当該比較対象セル22をエピポーラ拘束線Lに沿って順次所定ピッチで移動させる。このとき、基準セル21内の対象点mに対応する比較対象セル22の中心点Gがエピポーラ拘束線L上に位置するように、比較対象セル22を移動させる。
そして、RGB(Red−Green−Blue)色情報をベースに、各移動位置での比較対象セル22の中から、基準セル21の色情報に最も近似する比較対象セル22を選択する。この選択は、次のようにして行われる。
先ず、カメラ装置11の画像データから、基準セル21及び比較対象セル22の画素毎に、それぞれRGB色情報を検出する。次いで、各セル21,22で相互に対応する画素部分毎に、R、G、B毎に色差をそれぞれ取ってそれぞれの色差の最大値を選択する。そして、セル内の全ての画素の色差最大値を二乗和し、その値を比較対象セル22の誤差値とする。そして、その誤差値が最小となる位置の比較対象セル22が、基準セル21に対応する部分として特定される。
そして、前述と対象を逆にして、同一と特定された比較対象セル22を基準セルとし、当該第2画像19の基準セルが、第1画像18内に新たに求めたエピポーラ拘束線Lのどの部分が対応するかを同様に求め、先の処理で同一と判断された第1画像18及び第2画像19の各セル21,22が、後の処理でも一致するか否かを確認する双方向マッチングを行うとよい。もし、同一でなければ、セルの大きさを小さくする等して、前述の処理を同様に行えば、より精度の高い画像マッチングが可能となる。
このようにして、第1画像18の対象点mに対応する第2画像19の対象点m´が特定される。次に、前記三次元復元手段16によって、以下の処理が実行される。
先ず、第1画像18と第2画像19との間で相互に同一と特定された各対象点m,m´の各画像18,19における視差により、所定の基準点から対象点Mまでの距離を求め、当該距離の大きさに応じて色分け表示された距離画像を作成する(S104)。
ところで、画像マッチングを行った際、第1画像18の対象点mに対し、第2画像19上で実際に異なる部分と同一と判断した等の場合には、先に求めた距離が実際と異なってしまう。このような場合には、作成された距離画像に、周囲の画素部分と明らかに違う色部分が作成されたり、色が部分的に抜けたりすることになる。ここでは、このような誤差の生じた画素部分を所定の閾値を使って抽出し、当該抽出された画素部分を注目画素として、データ削除や線形化等によって、周囲の画素部分の色に近づける補正処理が行われる。なお、この補正処理は、公知技術であり詳細な説明を省略する。
そして、距離画像の作成後は、当該距離画像と、カメラ装置11によって撮像された実際の画像とを対応させること(レンダリング処理)で、画像内の各種物体の画像テクスチャ付き三次元座標を求め、各物体を三次元的に復元する(S105)。なお、この三次元復元処理には、種々の手法が存在するが、本発明の要旨ではないため、詳細な説明を省略する。
従って、このような第1実施例によれば、エピポーラ拘束線Lを求める際、その演算上必要となるカメラ装置11の位置情報や姿勢情報が、カメラ装置11で撮像された第1及び第2画像18,19を使わずに、GPS/INS方式を利用したセンシング手段12の検出値を使って求められる。このため、屋外における物体の三次元形状を確実に特定することができ、三次元計測装置10を走行させながらカメラ装置11で周囲を撮像することにより、走行領域の三次元地図をより正確に自動作成できる。
なお、前記実施例におけるエピポーラ拘束線の算出方法の代わりに、次のように、F行列を使ったエピポーラ拘束線の算出方法を採用することも可能である。このF行列とは、fundamental行列、或いは”基礎行列”の略で、異なる視点から得られた2つの画像において、対応する点同士が持つ拘束条件を示す行列である。
ここで、カメラ装置のCCD素子が正方形素子で、デジタル画像のu−v軸が直交しているとする。図5に示されるように、所定の仮想画像平面24に、対象点Mとレンズ中心Cを結ぶ直線に交わる点をm=[x,y](カメラ座標系)とすると、デジタル画像座標m=[u,v]との関係は、
となる。ここで、Hは、
但し、kは、CCD素子の単位長(m)であり、fはレンズの焦点距離である。
また、ワールド座標系におけるカメラ運動を表すE行列は、
相対並進移動行列を[t]とし、相対回転行列をRとすると、
となる。
ここで、相対並進移動行列[t]、相対回転行列Rには、前記実施例と同様、GPS/INS方式によるセンシング手段12で検出された位置情報及び姿勢情報が用いられ、次のとおりとなる。
上式において、tは、x方向ベクトルで、tは、y方向ベクトルで、tは、z方向ベクトルである。また、オイラー角をロール:φ、ピッチ:θ、ヨー:ψとする。
以上より、F行列は、
となる。
画像中心を原点とするデジタル座標において、第1地点で撮像された第1画像における座標m=[u,v,1]と、第2地点で撮像された第2画像上で対応する座標m=[u´,v´,1]が与えられた場合、
の関係が成り立つ。
上式(11)及び(12)によって、u´,v´を変数とする一次関数が導出され、この関係を満たす線分が求めるエピポーラ拘束線となる。
次に、本発明の他の実施例について説明する。なお、以下の説明において、前記第1実施例と同一若しくは同等の構成部分については同一符号を用いるものとし、説明を省略若しくは簡略にする。
[第2実施例]
第2実施例は、カメラ装置11として、撮像部11Aの周囲略360度の全周画像を同時に取得可能な全周撮像装置(以下、ODV(Omni−Directional Vision)と称する。)を用いたところに特徴を有する。その他の構成は、前記第1実施例と実質的に同一である。このODVでは、撮像部11Aの周囲360度の取得画像がドーナツ状の画面D(図7(A)参照)に写し出されるようになっている。
本実施例では、次のようにして、エピポーラ拘束線が求められる。なお、本実施例においても、第1地点から第2地点にカメラ装置11が移動する際、それぞれの位置情報及び姿勢情報をGPS/INS方式を利用したセンシング手段12によって検出し、その検出値に基づいてエピポーラ拘束線が求められる。なお、その他については、第1実施例と同様な処理が行われる。
図6に示されるように、ODVによる画像面を仮想的に円筒状とし、以下では、この仮想画像面のうち、第1地点での画像面を第1仮想画像面26と呼び、第2地点での画像面を第2仮想画像面27と呼ぶ。そして、第1地点のカメラ原点Oと、空間上の対象点Mとを結ぶ直線と、第1地点及び第2地点でのカメラ原点O、Oを結ぶ直線と、カメラ原点Oと対象点Mとを結ぶ直線とを含む平面をエピポーラ平面Eとし、当該エピポーラ平面Eと第2仮想画像面27とが交わる線がエピポーラ拘束線Lとなる。具体的には、以下のように算出される。
図7に等距離写像方式の場合のODVのデジタル座標系とカメラ座標系の対応関係を示す。なお、ODVには、円錐面や球面、双曲面などの曲面鏡を1枚用いたものや、2枚の曲面鏡を用いたものが存在するが、等距離写像方式であれば、どのタイプにも適用可能である。
図7に示されるように、第1地点でドーナツ状の画面Dに写し出された対象点Mの座標(u,v)を第1仮想画像面26上の座標に置き換えるために、極座標(φ、θ)に変換する。
なお、図7(A)中、φtopは、略水平の垂直画角基準(図7(A)の点線部)より上方空間の撮像限界点の画角である上方垂直画角[deg]であり、φbottomは、前記垂直画角基準より下方空間の撮像限界点の画角である下方垂直画角[deg]である。
また、Rinは、ODV画像中心からODV画像の内円までの距離[pixel]、
outは、ODV画像中心からODV画像の外円までの距離[pixel]、Rbaseは、ODV画像中心から、前記垂直画角基準となる基準円(図中点線部分)までの距離[pixel]である。
これらによって、対象点Mの極座標(φ、θ)は、次式によって求められる。
ここで、各Rは、
で求められる。
そして、第1地点のカメラ座標系において、対象点Mの極座標(φ、θ)を三次元座標M=[X,Y,Z]に変換する。具体的には、次式のとおりとなる。
ここで、Sは任意の実数であり、S=1のとき、第1仮想画像面26上の点であるとする。
そして、第2地点のカメラ座標系において、対象点Mの三次元座標M´は、第1地点のカメラ座標系の三次元座標Mを使って、次式のように表される。
ここで、Tは、第1実施例と同様、カメラ装置11が第1地点から第2地点に移動する際の相対並進移動行列であり、Rは、カメラ装置11が第1地点から第2地点に移動する際の相対回転行列である。
すなわち、相対並進移動行列Tは、
で表される。ここで、d、d、dは、カメラ装置のX軸、Y軸、Z軸方向の移動量である。
また、相対回転行列Rは、
で表される。ここで、φ、θ、ψは、オイラー角(ロール、ピッチ、ヨー)である。
そして、第1地点における原点Oを第2地点の座標系に変換したO´と、第1地点から見た対象点Mを第2地点から見たM´を含むエピポーラ平面Eの方程式は次のとおりである。すなわち、当該平面E上の点PをP=(x,y,z)とすると、次の関係が成り立つ。
ここで、a、bは、任意の実数である。
次に、この式(20)を各行列の要素に展開した各式からa,bを代入、消去することにより、式(20)は、次式(21)に置き換えられる。
ここで、α、β、γは所定の係数である。
この式(21)を満たす座標(x,y,z)が、前述したエピポーラ拘束線L上の点となり、上式(21)を満たすエピポーラ拘束線Lは、第2地点で撮像されたドーナツ画像Dで表すと円弧状の線分となる。
従って、このような第2実施例によれば、カメラ装置11として、進行方向に直交する左右方向の画像が同時に取得可能なODVを用いているため、超広角の単眼カメラを用いた場合と比較しても、視差の大きい横方向の有効視野を広く確保することができ、より少ないカメラ装置11の移動距離で、より多くの物体の三次元形状を確実に復元することができる。
なお、本実施例についても、エピポーラ拘束線の算出に際し、第1実施例で説明したF行列による算出方法を用いてもよい。
また、前記各実施例では、センシング手段12として、GPS/INS方式を採用したが、本発明はこれに限らず、カメラ装置11で撮像された画像を使わずに、カメラ装置11の移動による位置変化や姿勢変化を検出できる他のセンサを採用してもよい。例えば、INS方式の代わりにジャイロとオドメトソを用いたデッドレコニング方式を採用することも可能である。
また、本発明は、カメラ装置11が移動しながら撮像された複数画像内で同一物体の特定が必要となる他の画像処理装置(例えば、動画像を用いた画像追尾装置)に適用することも可能である。
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
第1実施例に係る三次元計測装置の概略構成図。 三次元環境認識部13での処理手順を示すフローチャート。 エピポーラ拘束線の算出方法を説明するための図。 画像マッチングを説明するための図。 F行列を使ったエピポーラ拘束線の算出方法を説明するための図。 第2実施例でのエピポーラ拘束線の算出方法を説明するための図。 (A)は、ODVのドーナツ画像を示す図であり、(B)は、極座標から仮想画像面への変換方法を説明するための図。
符号の説明
10 三次元計測装置(画像処理装置)
11 カメラ装置(撮像手段)
12 センシング手段
15 画像マッチング手段
16 三次元復元手段
21 基準セル
22 比較対象セル
L エピポーラ拘束線

Claims (7)

  1. 第1地点から第2地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段とを備え、
    前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第2地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分と前記第1地点の対象部分とを対比することで、各画像内の同一部分を特定することを特徴とする画像処理装置。
  2. 前記センシング手段は、GPS/INS方式を利用したセンサであることを特徴とする請求項1記載の画像処理装置。
  3. 前記撮像手段は、略全周の画像を同時に取得可能な全周撮像装置であることを特徴とする請求項1又は2記載の画像処理装置。
  4. 前記画像マッチング手段は、前記第1地点での対象点の周りに基準セルを設け、前記エピポーラ拘束線上を動く比較対象セルと前記基準セルとの間でカラー情報によるウインドウマッチングを行うことを特徴とする請求項1、2又は3記載の画像処理装置。
  5. 前記基準セル及び比較対象セルは、それらで相互に対応する複数の画素部分を含み、
    前記画像マッチング手段では、対応する画素部分におけるRGB色差のうち最大値をそれぞれ選択した上で、前記各最大値の二乗和によって前記比較対象セルの誤差値を求め、当該誤差値の最も小さな比較対象セルの部分を前記基準セルと同一の部分とすることを特徴とする請求項4記載の画像処理装置。
  6. 第1地点から第2地点に移動可能に設けられ、前記各地点で画像をそれぞれ取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段と、当該センシング手段で検出された位置情報及び姿勢情報から、前記各画像の中で相互に同一となる部分を特定する画像マッチング手段と、前記各画像の視差を利用して、所定位置から前記同一部分までの距離を求めて三次元座標を算出する三次元復元手段とを備え、
    前記画像マッチング手段は、前記センシング手段の検出値に基づいて、前記第2地点での画像におけるエピポーラ拘束線を求め、当該エピポーラ拘束線上の画像部分を前記第1地点での対象部分と対比することで、各画像内の同一部分を特定することを特徴とする三次元計測装置。
  7. 第1地点から第2地点に移動して前記各地点で画像を取得する撮像手段と、前記各画像を用いずに前記撮像手段の位置情報及び姿勢情報を検出するセンシング手段とから、前記各画像の中で相互に同一となる部分を特定する画像処理装置内のプロセッサを、
    前記センシング手段の検出値に基づいて、前記第2地点での画像におけるエピポーラ拘束線を求め、前記第1地点での対象点の周りに基準セルを設け、前記エピポーラ拘束線上を動く比較対象セルと前記基準セルとの間でカラー情報によるウインドウマッチングを行うことにより、各画像での同一部分を特定するように機能させることを特徴とする画像処理装置用プログラム。
JP2005052299A 2005-02-28 2005-02-28 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム Active JP4132068B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005052299A JP4132068B2 (ja) 2005-02-28 2005-02-28 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005052299A JP4132068B2 (ja) 2005-02-28 2005-02-28 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム

Publications (2)

Publication Number Publication Date
JP2006234703A true JP2006234703A (ja) 2006-09-07
JP4132068B2 JP4132068B2 (ja) 2008-08-13

Family

ID=37042502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005052299A Active JP4132068B2 (ja) 2005-02-28 2005-02-28 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム

Country Status (1)

Country Link
JP (1) JP4132068B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008099915A1 (ja) 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
CN100447525C (zh) * 2006-09-20 2008-12-31 上海量具刃具厂 影像测量仪的测量方法
JP2010085240A (ja) * 2008-09-30 2010-04-15 Mazda Motor Corp 車両用画像処理装置
JP2010236971A (ja) * 2009-03-31 2010-10-21 Osaka City Univ 連続的に撮像したカラー画像及び距離画像の記録方法と結合方法ならびにその装置
JP2014222551A (ja) * 2010-09-24 2014-11-27 アイロボット・コーポレーション Vslam最適化のための方法
JP2015508197A (ja) * 2012-01-26 2015-03-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated モーションセンサーデータに基づく3dモデルを計算するように構成されたモバイルデバイス
CN104964656A (zh) * 2015-06-26 2015-10-07 天津大学 基于惯性导航的自定位流动式快速扫描测量装置及方法
JP2019145059A (ja) * 2018-02-22 2019-08-29 大日本印刷株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020003295A (ja) * 2018-06-27 2020-01-09 株式会社フジタ 免震装置の検査システムおよび検査方法
JP2020122697A (ja) * 2019-01-30 2020-08-13 三菱電機株式会社 三次元計測装置および三次元計測プログラム

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100447525C (zh) * 2006-09-20 2008-12-31 上海量具刃具厂 影像测量仪的测量方法
EP3112802A1 (en) 2007-02-16 2017-01-04 Mitsubishi Electric Corporation Road feature measurement apparatus and road feature measuring method
CN101617197B (zh) * 2007-02-16 2011-06-22 三菱电机株式会社 测量装置、测量方法及地物识别装置
US8483442B2 (en) 2007-02-16 2013-07-09 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
US8571265B2 (en) 2007-02-16 2013-10-29 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
US8625851B2 (en) 2007-02-16 2014-01-07 Mitsubishi Electric Corporation Measurement apparatus, measurement method, and feature identification apparatus
WO2008099915A1 (ja) 2007-02-16 2008-08-21 Mitsubishi Electric Corporation 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2010085240A (ja) * 2008-09-30 2010-04-15 Mazda Motor Corp 車両用画像処理装置
JP4702569B2 (ja) * 2008-09-30 2011-06-15 マツダ株式会社 車両用画像処理装置
JP2010236971A (ja) * 2009-03-31 2010-10-21 Osaka City Univ 連続的に撮像したカラー画像及び距離画像の記録方法と結合方法ならびにその装置
JP2014222551A (ja) * 2010-09-24 2014-11-27 アイロボット・コーポレーション Vslam最適化のための方法
JP2015508197A (ja) * 2012-01-26 2015-03-16 クゥアルコム・インコーポレイテッドQualcomm Incorporated モーションセンサーデータに基づく3dモデルを計算するように構成されたモバイルデバイス
US9639959B2 (en) 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
CN104964656A (zh) * 2015-06-26 2015-10-07 天津大学 基于惯性导航的自定位流动式快速扫描测量装置及方法
JP2019145059A (ja) * 2018-02-22 2019-08-29 大日本印刷株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7196421B2 (ja) 2018-02-22 2022-12-27 大日本印刷株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020003295A (ja) * 2018-06-27 2020-01-09 株式会社フジタ 免震装置の検査システムおよび検査方法
JP7152201B2 (ja) 2018-06-27 2022-10-12 株式会社フジタ 免震装置の検査システムおよび検査方法
JP2020122697A (ja) * 2019-01-30 2020-08-13 三菱電機株式会社 三次元計測装置および三次元計測プログラム
JP7183058B2 (ja) 2019-01-30 2022-12-05 三菱電機株式会社 三次元計測装置および三次元計測プログラム

Also Published As

Publication number Publication date
JP4132068B2 (ja) 2008-08-13

Similar Documents

Publication Publication Date Title
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
CN108171733B (zh) 使两个或更多个三维3d点云配准的方法
JP3859574B2 (ja) 3次元視覚センサ
EP2615580B1 (en) Automatic scene calibration
CN110033489B (zh) 一种车辆定位准确性的评估方法、装置及设备
JP4825980B2 (ja) 魚眼カメラの校正方法。
JP6129981B2 (ja) 移動体位置推定装置および移動体位置推定方法
CN109658457B (zh) 一种激光与相机任意相对位姿关系的标定方法
CN107843251B (zh) 移动机器人的位姿估计方法
KR101880185B1 (ko) 이동체 포즈 추정을 위한 전자 장치 및 그의 이동체 포즈 추정 방법
CN106898022A (zh) 一种手持式快速三维扫描系统及方法
JPWO2018143263A1 (ja) 撮影制御装置、撮影制御方法及びプログラム
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
JP2022089269A (ja) キャリブレーション装置およびキャリブレーション方法
WO2018142533A1 (ja) 位置姿勢推定装置および位置姿勢推定方法
KR102490521B1 (ko) 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
KR20130034528A (ko) 도로시설물 자동 위치측정 방법
JP6922348B2 (ja) 情報処理装置、方法、及びプログラム
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
JP2004020398A (ja) 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体
CN112257535B (zh) 一种躲避物体的三维匹配的设备及方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060509

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20070711

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20070801

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080601

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4132068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140606

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250