JP2004340714A

JP2004340714A - Optimum arrangement determination method of stereo camera and its system

Info

Publication number: JP2004340714A
Application number: JP2003136992A
Authority: JP
Inventors: Hiromichi Yamamoto; 浩通山本; Masaaki Murata; 正秋村田; Hironori Furukawa; 浩規古川
Original assignee: National Aerospace Laboratory of Japan
Current assignee: National Aerospace Laboratory of Japan
Priority date: 2003-05-15
Filing date: 2003-05-15
Publication date: 2004-12-02
Anticipated expiration: 2023-05-15
Also published as: JP3728460B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for decreasing ambiguity in corresponding point search and realize simple and highly precise distance measurement for selecting an optimum stereo pair corresponding to a picture of an object scene of the distance measurement and reducing a burden of computations. <P>SOLUTION: The corresponding point search method in the invention decreases the "ambiguity" in the corresponding point search by obtaining an epipolar line direction wherein false detection probability of the corresponding point search decreases most rapidly based on a two-dimensional autocorrelation value of the picture. Therefore, the optimum stereo pair corresponding to the picture of the object scene of the distance measurement can be installed or selected, and the simple and highly precise distance measurement, whose burden of the computations is light, can be realized. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】本発明は、位置測定等に用いられるステレオカメラシステムにおいて、複数配置されたカメラ群の中で最適ペアを決定する方法および最適配置を決定する方法に関する。
【０００２】
【従来の技術】画像情報を基に対象物までの距離を測定する方式は、特に、近距離の場合は、極めて高い精度が得られる方式である。中でも、複数（２台以上）のカメラ撮像情報を基に距離を計測するステレオ法は最も簡便な距離測定システムとして知られている。この測定方式は、既知の距離に配置された左右のカメラで撮影した画像間の対応点を探索し、三角測量の原理で対応の取れた画素点までの距離を算出する方式である。すなわち、図１に示すように距離がｂだけ離れた位置に光学軸が平行となるように据えられた左右２台のカメラで、同一物点Ｐ（ｘ，ｙ，ｚ）を撮影画像に捉えたとき、それぞれのカメラの結像面上の物点像の位置ｐ_ｌ（ｘ_ｌ，ｙ_ｌ）、ｐ_ｒ（ｘ_ｒ，ｙ_ｒ）と左右のカメラの光学中心点を結ぶ延長線上の交点に物点Ｐ（ｘ，ｙ，ｚ）があることから、それぞれのカメラの結像面上の物点像の位置情報ｐ_ｌ（ｘ_ｌ，ｙ_ｌ）、ｐ_ｒ（ｘ_ｒ，ｙ_ｒ）に基づき離間距離がｂである既知の２点から物点Ｐ（ｘ，ｙ，ｚ）を望む方向が割り出され、所謂三角測量の原理で物点Ｐ（ｘ，ｙ，ｚ）の位置を算出することができる。
ｘ＝ｂ（ｘ_ｌ，ｘ_ｒ）／２ｄ（１）
ｙ＝ｂ（ｙ_ｌ，ｙ_ｒ）／２ｄ（２）
ｚ＝ｂｆ／ｄ（３）
ただし、ｆは焦点距離、ｂは基線長、ｄは視差で
ｄ＝ｘ_ｌ−ｘ_ｒ（４）
したがって、ｆ，ｂが既知の下で左右の画像上の座標から、もとの３次元位置（ｘ，ｙ，ｚ）が計算される。特にｚについては視差のみから決定することができる。そこで、ステレオ視で奥行きを決定しようとする際には、左右の画像における対応点を正確に求めることが最も重要な問題となる。
【０００３】
異なるカメラで撮影した画像間でこの対象物点の像を正確に且つ高信頼に特定して対応させることが、このステレオ方式の重要な要素であるが、カメラに撮像される画像によっては、この対応点を特定することが困難な場合が存在する。例えばカメラ撮像画像中に同じような形状がいくつも存在する様な画像、図６に示す月面画像などでは、同じようなクレータがたくさん存在し左右のカメラ画像間では幾つかの対応点候補が現われ、左右のカメラ画像間の対応点が一意的に特定できないため、誤作動や距離計算が不可能になったりしてしまう。これを解決する手段の一つとして、カメラの台数を増やすという手法が多く用いられている（非特許文献１参照）。これはカメラの台数を増やすことで入力情報を増やし、距離を計測する際の推定値の誤差を小さくしょうとするものである。そのために距離精度の優れたシステムを構築しようとすると、必然的にカメラ台数は増大する。しかし、カメラの台数を増やせば増やすほど情報処理に要する計算負荷は増大することになる。そのため、飛行安全などに適用する際に不可欠なリアルタイム処理においては、計算処理能力の大きな装置を必要とする。しかし、航空宇宙機などの移動体への応用化を考慮すると計算処理資源が有限化ないしは小型化が必然的に重要となる。この課題を解決するには、対象撮影領域において距離計測に使用する最適なステレオペア画像を選び出す事が不可欠である。
【０００４】
厄介な対応点探索問題の他の対応策として、エピポーラ線方向と称する対応点を取るための探索方向が割り出され、その線に沿って対応点の特定を行う手法が知られている。図１の配置では常に
ｙ_ｌ＝ｙ_ｒ（５）
という関係が成立する。つまり、左右の投影点のｙ座標は必ず等しくなるので、対応点を見つけようとする際にはｘ_ｌ，ｘ_ｒに平行な同一スキャンライン上を探せばよいことになる。図２に示すように光軸が平行でないカメラ配置の場合でも、１つのカメラで捉えた目標物点Ｐはそのカメラの光学中心点とその画像中の物点像ｐ_ｌとを結ぶ線の延長線上にあることから、その目標物点Ｐを捉えたこのカメラの画像上では目標物点Ｐの像ｐ_ｒはこの線上にあるはずということである。一方の画像上のある点に対する対応点は、その点の３次元空間中での奥行きにかかわらず、他方の画像上で、ある直線上のどこかに必ず存在する。このような直線のことをエピポーラ線（ｅｐｉｐｏｌａｒｌｉｎｅ）と呼ぶが、この線は１つのカメラの光学中心点とその画像中の物点像ｐ_ｌとを結ぶ線の延長線を他のカメラで撮したときの像であるとも表現できる。また、ステレオ画像の対応点が満たすべきこのような拘束条件のことをエピポーラ拘束（ｅｐｉｐｏｌａｒｃｏｎｓｔｒａｉｎ）という。以上のことは、ステレオ視にとって、非常に重要な意味を持つことになる。なぜなら、対応点探索の際、１次元（エピポーラ線上）の探索と２次元（画像面全体）の探索では、その作業負担に格段の差があるからである。そのために、ステレオ視では、画像間の変化（または、視点の変化）が大きい場合を扱う場合にでも、推定精度を上げることができる。
【０００５】
このエピポーラ線を利用した複数画像の対応点を探索する技術については、特許文献１に「３次元画像処理装置」が提示されている。この発明は、エピポーラ線で対応点探索を行った場合のマッチングミスによる間違った視差ベクトルの検出を回避し、信頼性の高い距離データを得るとともに、対応点探索のための計算量を減少することを目的としたものであって、エピポーラ線方向と、それに対し直角な方向の２次元領域を含む領域の対応点探索を行うことにより、実際に誤差を含むカメラ位置などの情報から算出して設定されたエピポーラ線で対応点探索を行った場合の、マッチングミスによる間違った視差ベクトルの検出を回避し、信頼性の高い距離データを得ることができるというものである。しかし、この発明方法においては、対応点探索を行うエピポーラ線方向の決定方式が曖昧であること。また、対応点探索を矩形（エピポーラ線方向とそれに直交する方向）内で行う方式であり、探索演算量が極めて大きくなること。さらに、この膨大な対応点探索行った後に距離計測に必要な視差ベクトル（方向）を計算しエピポーラ線方向成分を求めて、改めて視差ベクトル（方向）を計算し距離計算を行うという極めて回りくどい方法であり、マッチングミスの回避には有効であるとしても距離決定までの演算量はかなり大きいと見積もられ計算量を減少する効果は期待できない。
【０００６】
また、エピポーラ線を利用した画像間対応付け方法および画像間視差計測方法が特許文献２に開示されている。この発明はできるだけ少ない演算量でステレオ画像の対応付けおよびステレオ画像の視差を決定し、また、対応付けで発生した誤りを吸収できるようにすることを目的としたもので、この画像間対応付け方法は左右２つの画像ＩＬ，ＩＲを、それぞれ複数の周波数成分画像に展開するとともに各周波数成分画像に対して２次微分処理を施し、前記２次微分処理を施された各画像それぞれを画素毎に３値化することによって得られる３値化周波数成分画像を用いて画像間の対応付けを行うのである。この発明においては、対応点探索における対応付けの時点での最適性（誤差が最小など）はなく、通常行われている画像ウインドの移動設定により視差まで計算して、視差計算結果が似通った値が最も多い視差値を取り出して、その値をその後の距離計算に使っており、画像雑音が多い場面では、対応付けの際の誤りの吸収や正確な視差は期待できず、距離決定精度も期待できない。また、画像ウインドを移動方向、移動量とも多くて、演算量は大きいという問題がある。
【０００７】
【特許文献１】特開２０００−２８３５５号公報
「３次元画像処理装置」平成１２年１月２８日公開
【特許文献２】特開平８−２９４１４３号公報
「画像間対応付け方法および画像間視差計測方法」平成８年１１月５日公開
【非特許文献１】ＭａｓａｔｏｓｈｉＯｋｕｔｏｍｉａｎｄＴａｋｅｏＫａｎａｄｅ．ＡＭｕｌｔｉｐｌｅ−ＢａｓｅｌｉｎｅＳｔｅｒｅｏ．ｌｎＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＰａｔｔｅｍＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，ｖｏｌｕｍｅ１５，Ｎｏ．４，Ａｐｒｉ１１９９３．
【０００８】
【発明が解決しようとする課題】本発明の課題は、対応点探索における曖昧性を減少させる方法を提示し、距離計測の対象場面の画像に応じた最適なステレオペアを選択する事が出来、演算負担を軽減し、簡便且つ高精度な距離計測を実現することにある。
【０００９】
【課題を解決するための手段】本発明における対応点探索方法は、撮像画像の２次元自己相関値を基に、対応点探索の誤検出確率が最も急激に減少するエピポーラ線方向を求めることにより、対応点探索における「曖昧性」を減少させるものであり、これによって距離計測の対象場面の画像に応じた最適なステレオペアを設置又は選択する事が出来、演算負担が軽い簡便且つ高精度な距離計測を実現することが可能となる。
また、本発明は被測定体を撮影した１枚の画像情報を取り込む手段と、該画像を上下左右にピクセル毎に移動させて２次元自己相関曲面を得る手段と、得られた２次元自己相関曲面に対し中央の０点を通る断面において最も急峻な減少を示す断面を割り出す手段と、該割り出された断面の方向を被測定体形状から見て最適エピポーラ方向であることを出力表示する手段を備えることにより、ステレオカメラの最適配置支援システムを実現した。
【００１０】
【発明の実施の形態】左右のカメラ画像間の対応点を探索し、三角測量の原理で対応の取れた画素点までの距離を算出するステレオ法においては、この対応点を正確に且つ高信頼に取ることが基盤となる。そして、対応点を取るための探索方向（以下、エピポーラ線方向と称する）が、画像パターンから見て対応点を探索しやすい向きとなっているか否かが、正しい対応点の決定のための大きなカギになる。
まず、カメラペア選択法の考え方であるが、従来の方式に於ける各ステレオ画像対からの距離算出手法は、すべてのペアを同一に扱っている。しかし被写体の状態によって、対応点問題を解く際に有効に働くペアと、働かないペアが生じる。例えば複眼視の場合は、カメラを並べた方向にほぼ一致するエッジについては対応点を一義的に決められないという欠点があるためである。そこで、各ステレオ画像対からの距離算出手法とともになんらかのカメラペア切り替え手法を用いることができれば、従来手法からカメラ台数を削減しつつ、かつ高精度な距離算出を期待できることとなる。
この考えを進めると、被写体面の状況に応じてカメラペアを切り替える代わりに、２台のカメラを動的に再配置することで可能になる。これは、人間が２つの目（複眼）を用いながら、首を傾ける、眼球を動かすという運動で情報を得ている現象を再現できることにもなる。
エッジに基づくステレオ視では、エピポーラ線上でのエッジの位置決定の精度が、得られる距離情報の精度に関係する。今、エッジ位置の決定に用いる特徴量をｆとし、特徴量ｆの頻度が正規分布Ｎ（０，σ^２）に従うものとする。エピポーラ線上で真のエッジ位置ｐｏにおける特徴量ｆ（ｐｏ）と、ｐｏからだけ離れた点ｐ１における特徴量ｆ（ｐ１）の差がノイズに比して十分に大きくないとき、ｐ１が誤ってエッジとして検出される可能性が大きくなる。ノイズの標準偏差をσ_ＮとしｋをＳ／Ｎ比の逆数σ_Ｎ／σとしたとき、ｆ（ｐｏ）とｆ（ｐ１）の差がノイズレベル以下、すなわち、
│ｆ（ｐｏ）−ｆ（ｐ１）│≦ｋσ （６）
になる確率は
【数１】

であることが導ける。ここで、
ｑ（ｒ）：エピポーラ線上でｒだけ離れた場合の誤検出確率
ｅｒｆ（ｘ）：ガウスの誤差補関数
Ａ（ｒ）：エピポーラ線上でｒだけ離れた場合のｆの自己相関係数である。
（７）式はエピポーラ線上で距離ｒだけ離れた位置での誤検出確率であるが、ここでは１２８ｐｉｘｃｌｓ四方に量子化されたデータを用いているために、画像の横方向のズレｘおよび縦方向のズレｙを２変数とする。よって（７）式は次の（８）式になる。
【数２】

（８）式のように計算された誤検出確率ｑ（ｘ，ｙ）は、自己相関係数Ａ（ｘ，ｙ）＝１のとき最大値１をとり、Ａ（ｘ，ｙ）の減少とともに単調減少する。したがって、Ａ（ｘ，ｙ）のｘ，ｙに関する減少率が小さい場合には位置決定のあいまいさが大きくなる。一般に、線状のエッジ付近においてｘ，ｙが増加したとき、エッジに平行な方向では自己相関係数はあまり減少せず、エッジに直行する方向では自己相関係数は急激に小さくなる。したがって、エピポーラ線の方向がエッジに沿うと、ｑ（ｘ，ｙ）の減少率が低下し対応点探索における誤対応が起きやすくなり、位置決めは困難になる。
Ａ（ｘ，ｙ）の減少率が大きいエピポーラ線方向を求める事が、対応点探索におけるあいまい性を減少させることになる。このため、Ａ（ｘ，ｙ）曲面の減少率が最大となる方向を求めるために、Ａ（ｘ，ｙ）の切断面に注目する。この、減少率が最大となる切断面を確認する際には、最大値の半値幅が最も狭くなる面に注目する。誤検出確率がもっとも急激に減少する断面、すなわち自己相関係数がもっとも減少する断面は、被撮影面の特徴がその断面に平行なエピポーラ線に対して、大きな角度で分布していると考えることができる。
これにより、被撮影面に対してどのような向きにエピポーラ線を配置すればよいか、すなわちどのような向きにカメラペアを配置すればよいのかがわかる。そのためこの結果を用いることにより、多眼ステレオの場合はもっとも重要視するカメラペアを決定し、複眼視の場合は２台のカメラを動的に配置することで被撮影面に応じたカメラペアの切り替えが可能となる。
【００１１】
次に撮像データからの自己相関係数を求める計算について説明する。
図３−Ａのように撮影された画像を用いて、画像の特徴を調べるために自己相関を計算する。自己相関係数を計算するステップは、次の通りである。
１．撮影データを高速Ｆｏｕｒｉｅｒ変換（ＦＦＴ）で計算する。
２．計算結果に複素共役を掛け合わせる。
３．計算結果を逆高速Ｆｏｕｒｉｅｒ変換（逆ＦＦＴ）で計算する。
また、相関は一般に次のように表すことができる。
【数３】

となる。しかし、ここで自己相関係数を計算するために、基準画像と参照画像は等しくなる。よって、ここで計算される自己相関係数は次のように表される。
【数４】

この考え方で、図３−Ｂのような計算領域に対して自己相関係数を計算する。実際に計算する際には自己相関係数の計算結果のうち最小値が０、最大値が１となるように、（１０）式の計算結果の後に正規化を行う（図４参照）。図４において、ｘ，ｙはそれぞれ（１０）式のｘ’，ｙ’ に相当することに注意する。
【００１２】
ここで図５を例にグラフの意味を考える。図５は基準画像を用いて自己相関を計算している。すなわちグラフは、画像をｘ軸の示す値とｙ軸の示す値だけずれたときに、基準画像とずらせた画像とはどの程度似通っているかという類似度をあらわすものだと考えられる。よって、ｘ＝ｙ＝０のときにｚ軸方向の値がもっとも大きくなっている。これは同一画像をずれがなく重ね合わせたときに相当する。
また、ここでｘ＝ｙ＝０の点を通る直線を考える。例えば図５をｙ＝０で切った断面で考えてみる（図６参照）。特にここで注目するのは、断面の輪郭である。この輪郭は、基準画像を水平方向のみに移動させた場合の、画像の類似度を示したものである。また、断面に平行な直線（ここでは直線ｙ＝０）はエピポーラ線の向きを表していると考えられる。よって輪郭に対して、最大値１の半値幅を考え、中心ｘ＝ｙ＝０からの傾きがもっとも急激に減少している地点を考えることで、その被撮影面に対してもっとも効果的なエピポーラ線の向きを考えることができる。しかし、ここでの結果は、ｘ座標、ｙ座標ともに量子化されているために、具体的なステップは次のようになる。
１．Ｚ座標の値が最大値の半値以下のものを選び出す。
２．最大値と各座標でのＺ座標の値の差を、ｘｙ平面上での原点までの距離で割る。
このステップは、ある切断面に関してのステップである。実際に図５のような誤検出確率のグラフをチェックする際には、すべての角度のそれぞれの切断面に関して確認しなければならない。
この切断面を確認する際に、もっとも半値幅が狭くなる角度に注目する。誤検出確率がもっとも急激に減少する断面、すなわち自己相関係数がもっとも減少する断面は、被撮影面の特徴がその断面に平行なエピポーラ線に対して、直交して分布していると考えることができるためである。
これらの一連のステップにより、被撮影面に対してどのような向きにエピポーラ線を配置すればよいか、すなわちどのような向きにカメラペアを配置すれぱよいのかがわかる。そのためこの結果を用いることで、多眼ステレオの場合はもっとも重要視するカメラペアを決定したり、複眼視の場合は２台のカメラを動的に配置することで被撮影面に応じたカメラペアの切り替えが可能となる。
【００１３】
次に、被撮影面に応じてのカメラペアの切り替えの距離精度が、どの程度改善されたのかを確認していく。すなわち、どのくらい精度が良くなっているのかを図３に示した月面写真を用い、図３のＡ全体領域について図３のＢに示す１８０ピクセル×１８０ピクセルの計算領域を定めて具体的に検証する。図８はカメラペアの組み合わせの適不適を位置に対応して示したもので、図８において、ｇと示されている各点が段落番号［００１１］以下に示した本アルゴリズムによって改良された結果である。この分布から各点の平均座標を求めると、（−０．１４５３８，１．１４５４１４）であり、従来法によったときの分布ｂから平均座標を求めると、（５．４２５１８９，３．２７３９７５）となった。これらの平均値と（３）式の差を用いて距離計測を行った際の誤差を考える。ここで真の視差をｄ、視差の誤差分を△ｄとすると、距離に換算した際の誤差△ｚは真の距離ｚに対して次の式（１１）に示すようになる。
【数５】

この（１１）式において、△ｄとして先の平均値をそれぞれ代入する。ただし、平均値はエピポーラ線上で真の位置からどの程度ずれるかを示したものであるために、実際に代入する際には原点からそれぞれまでのユークリッド距離を計算し、それを２倍したものとする。
【数６】

この（１２）式は本発明によるもの、（１３）式は本発明によらない従来方法によるものに相当するので、このデータから改善率を考える。改善率は、Δｚｇ／Δｚｂとして考える。
【数７】

この（１４）式を視差ｄに関して改善率をグラフ化すると図９のようになる。この図９の縦軸は、従来方式での距離測定誤差に対する本アルゴリズム使用の際の距離測定誤差を示している。すなわち、図９から明らかに判るごとく、視差ｄ（図９の横軸）が小さい場合、すなわち、視差がほとんど生じないような遠距離を観測する場合には、大幅な改善は見込めないが、被撮影面の距離が近くなるほど、すなわち視差ｄ（横軸）が大きい場合には、本アルゴリズムの効果が生じてくることが見て取れる。最終的には、５倍程度の精度が改善されると見込まれる。
【００１４】
まとめとして、本発明の手法によりステレオ法による距離測定を実施する手順を、図７に示すフローチャートを参照しながら説明する。まずステップ１で測定対象の画像を１枚撮影する。ステップ２でその画像に基づく２次元自己相関係数の曲面形状を得る。ステップ３で得られた２次元自己相関係数の曲面形状において中央の０点を通る断面においてピーク値１の半値すなわち、０．５となる両側の点をピックアップしてその幅値を得る。この値は必ずしも半値に限られるわけではなく半値近傍の所定値を採用してもよい。ステップ４でステップ３の幅値を０点を中心に３６０度全方位の断面に対して求め、最小幅値の断面を割り出す。ステップ５でその断面にエピポーラ線方向を決め、例えばエピポーラ線が水平方向になるように２つのカメラの配置を決める。以上がステレオ画像を取得するまでの前処理となる。ステップ６で測定対象の画像を２台のカメラで同時に撮影する。ステップ７で撮影した画像において測定領域を設定する。ステップ８でエピポーラ線に沿って各ピクセル毎に対応点探索を行う。ステップ９で得られた対応点情報から各ピクセル毎の視差量を割り出す。ステップ１０で割り出された視差量から各ピクセル毎の距離計算を実行する。以上の手順を踏むことにより、測定領域内の各ポイントの距離をピクセル毎のデータとして得ることができる。
【００１５】
【発明の効果】
本発明のステレオカメラの最適配置決定方法は、被測定体を撮影した１枚のデジタル画像を基に、該画像を上下左右にピクセル毎に移動させて２次元自己相関曲面を得るステップと、得られた２次元自己相関曲面に対し中央の０点を通る断面において最も急峻な減少を示す断面を割り出すステップと、該割り出された断面の方向がエピポーラ方向となるように２台のカメラを設置するステップからなるものであるから、対応点探索においてその被写体形状に即して最も変化が大きくミスマッチングをしにくいエピポーラ方向を選ぶことができ、高精度かつ信頼の高い距離測定を実現する。そして、カメラ台数が２台という最小システムが構築できる事から、システム構成が単純化でき、多眼カメラ方式における課題であるカメラ間のキャリブレーションという大きな問題を回避する事ができる。また、カメラ撮像場面の画像状況に応じて最適にカメラ配置を動的に決定する事が可能となり、従来の固定カメラ方式で問題となっている距離計測が不可能になる局面がなくなる。これらの特徴により、本発明は、月面を含む航空宇宙機着陸高度計測、自動車車間計測、自動車リアモニタなどの極めてクリティカルな場面でも極めて有効となる。
【００１６】
更に、最も急峻な減少を示す断面を割り出す方法が、０点のピーク値の所定分の１に達する両側位置の幅値の最小値を求めるものである本発明は、簡便な手法での最も急峻な減少を示す断面の割り出し方法を可能にする。
また、上記のステレオカメラの最適配置決定方法はカメラを多数配備の多眼ステレオシステムにおいて、ステレオカメラの最適ペアを選択して決定する方法にそのまま応用することができ、同様の効果を奏する。
【００１７】
本発明のステレオカメラの最適配置支援システムは被測定体を撮影した１枚の画像情報を取り込む手段と、該画像を上下左右にピクセル毎に移動させて２次元自己相関曲面を得る手段と、得られた２次元自己相関曲面に対し中央の０点を通る断面において最も急峻な減少を示す断面を割り出す手段と、該割り出された断面の方向を被測定体形状から見て最適エピポーラ方向であることを出力表示する手段を備えたものであるから、このシステムの支援により、対応点探索においてその被写体形状に即して最も変化が大きくミスマッチングをしにくいエピポーラ方向が選ばれることになり、高精度かつ信頼の高い距離測定を可能とする。しかも、このシステムは小型のコンピュータによって実現できるので、宇宙探査機や自動車などの搭載に極めて有利である。
【００１８】
また、被測定体を撮影した１枚の画像を基に、該画像を上下左右にピクセル毎に移動させて２次元自己相関曲面を得るステップと、得られた２次元自己相関曲面に対し中央の０点を通る断面において最も急峻な減少を示す断面を割り出すステップと、該割り出された断面の方向がエピポーラ方向となるように２台のカメラを設置するステップと、既知のエピポーラ線に沿って異なる視差の画像間の対応点探索を行うステップと、対応点情報から各対応点毎の視差量を割り出すステップと、割り出された視差量から各対応点毎の距離計算を実行する本発明のステレオカメラによる距離測定方法は、既知のエピポーラ線に沿った対応点探索ができるため、従来手法に比べ格段に探索負担が軽く、リアルタイムの測定が求められる宇宙探査機や自動車などでの使用に極めて有利である。
【図面の簡単な説明】
【図１】ステレオ距離測定法の原理を説明する図である。
【図２】ステレオ法における対応点検索の説明図である。
【図３】撮像画像（クレメンタインによる月面画像）とその計算領域を示す図である。
【図４】自己相関係数の計算結果を示す曲面図である。
【図５】誤検出確率を計算した結果を示す曲面図である。
【図６】誤検出確率曲面の中で中央点を通る最も急峻な断面を示す図である。
【図７】本発明のステレオ距離測定法の動作手順を示すフローチャートである。
【図８】ペアとなるステレオカメラの適不適位置を示す図である。
【図９】従来法に対して本発明による距離測定誤差の比率を示す図である。[0001]
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for determining an optimal pair and a method for determining an optimal arrangement in a group of cameras arranged in a stereo camera system used for position measurement and the like.
[0002]
2. Description of the Related Art A method of measuring a distance to an object based on image information is a method capable of obtaining extremely high accuracy, particularly when the distance is short. Among them, a stereo method for measuring a distance based on a plurality of (two or more) camera imaging information is known as the simplest distance measuring system. This measurement method is a method of searching for a corresponding point between images taken by left and right cameras arranged at a known distance, and calculating a distance to a pixel point that has been obtained by the principle of triangulation. That is, as shown in FIG. 1, the same object point P (x, y, z) is captured in a captured image by two left and right cameras installed so that the optical axes are parallel to each other at a position separated by a distance b. when in each of the camera imaging plane of the object point image position _p l of _{_{_{(x l, y l),}}} p r (x r, y r) and the intersection point of an extension line connecting the optical center point of the left and right cameras Has the object point P (x, y, z), the position information p _l ( _xl , _yl ) and p _r (x _r , _yr ) of the object point image on the imaging plane of each camera. From the known two points having the separation distance b, the direction in which the object point P (x, y, z) is determined is calculated based on the following formula. Can be calculated.
x = b ( _xl , _xr ) / 2d (1)
y = b ( _yl , _yr ) / 2d (2)
z = bf / d (3)
However, f is the focal length, b is the base length, d is the disparity _{_{d = x l -x r (4}} )
Therefore, the original three-dimensional position (x, y, z) is calculated from the coordinates on the left and right images when f and b are known. In particular, z can be determined only from parallax. Therefore, when trying to determine the depth by stereo vision, the most important problem is to accurately determine the corresponding points in the left and right images.
[0003]
It is an important element of this stereo system to accurately and reliably identify and correspond the image of the object point between images captured by different cameras, but depending on the image captured by the camera, There are cases where it is difficult to specify the corresponding points. For example, in an image in which a number of similar shapes exist in a camera-captured image, in a lunar image shown in FIG. 6, there are many similar craters, and some corresponding point candidates exist between the left and right camera images. Since the corresponding point between the left and right camera images cannot be uniquely specified, malfunction or distance calculation becomes impossible. As one of means for solving this, a method of increasing the number of cameras is often used (see Non-Patent Document 1). This is to increase the input information by increasing the number of cameras, and to reduce the error of the estimated value when measuring the distance. Therefore, if an attempt is made to construct a system with excellent distance accuracy, the number of cameras will inevitably increase. However, as the number of cameras increases, the calculation load required for information processing increases. Therefore, in real-time processing indispensable for application to flight safety and the like, a device having a large calculation processing capability is required. However, considering application to mobile objects such as aerospace vehicles, it is inevitably important to limit computational processing resources or downsize. To solve this problem, it is essential to select an optimal stereo pair image to be used for distance measurement in the target imaging region.
[0004]
As another countermeasure for the troublesome corresponding point search problem, there is known a method in which a search direction for obtaining a corresponding point called an epipolar line direction is determined, and the corresponding point is specified along the line. In the arrangement shown in FIG. 1, _{yl =} _yr (5)
Is established. That is, since the y-coordinate of the left and right projection point is always equal, when trying to find the corresponding points x _l, so that to look for the same scan line on parallel to the x _r. Even in the case of a camera arrangement in which the optical axes are not parallel as shown in FIG. 2, the target object point P captured by one camera is an extension of a line connecting the optical center point of the camera and the object point image _{pl in the} image. since it is in line, the target point caught the P on the image of the camera image p _r of the target point P is that should in this line. A corresponding point for a point on one image always exists somewhere on a straight line on the other image, regardless of the depth of the point in the three-dimensional space. Although referred to as that epipolar lines of such straight line (epipolar line), the line is shooting the extension of a line connecting the optical center point of one camera and the object point image p _l of the image with another camera It can also be expressed as an image when it is done. Such a constraint condition that the corresponding point of the stereo image should satisfy is called epipolar constraint. The above is very important for stereo vision. This is because, when searching for corresponding points, there is a significant difference in the work load between a one-dimensional (on the epipolar line) search and a two-dimensional (over the image plane) search. Therefore, in stereo vision, the estimation accuracy can be improved even when a case where a change between images (or a change in viewpoint) is large.
[0005]
As a technique for searching for corresponding points of a plurality of images using the epipolar line, Patent Document 1 discloses a “three-dimensional image processing device”. An object of the present invention is to avoid detection of a wrong disparity vector due to a matching error when a corresponding point search is performed using an epipolar line, obtain highly reliable distance data, and reduce the amount of calculation for the corresponding point search. By searching for corresponding points in an area including a two-dimensional area in the direction of the epipolar line and a direction perpendicular to the direction of the epipolar line, thereby calculating and setting from information such as a camera position that actually includes an error. When a corresponding point search is performed using the epipolar line thus set, detection of an erroneous disparity vector due to a matching error can be avoided, and highly reliable distance data can be obtained. However, in the method of the present invention, the method of determining the epipolar line direction for performing the corresponding point search is ambiguous. In addition, a method for searching for a corresponding point is performed within a rectangle (the direction of the epipolar line and a direction orthogonal thereto), and the amount of search calculation becomes extremely large. Furthermore, after searching for a huge number of corresponding points, a disparity vector (direction) necessary for distance measurement is calculated, an epipolar line direction component is obtained, and a disparity vector (direction) is calculated again to calculate a distance. Even if it is effective for avoiding a matching error, the amount of calculation up to the distance determination is estimated to be quite large, and the effect of reducing the amount of calculation cannot be expected.
[0006]
Further, Patent Literature 2 discloses an inter-image association method and an inter-image parallax measurement method using epipolar lines. SUMMARY OF THE INVENTION An object of the present invention is to determine the correspondence between stereo images and the parallax of stereo images with as little computational complexity as possible, and to absorb errors generated in the correspondence. Expands the left and right images IL and IR into a plurality of frequency component images, respectively, performs a second differentiation process on each frequency component image, and converts each of the images subjected to the second differentiation process into pixels. The correspondence between the images is performed using the ternary frequency component image obtained by the ternarization. According to the present invention, there is no optimality (minimum error or the like) at the time of the association in the corresponding point search, and the parallax is calculated by the normal setting of the movement of the image window, and a value similar to the parallax calculation result is obtained. The most disparity value is extracted, and the value is used for subsequent distance calculation.In situations where there is a lot of image noise, absorption of errors during association and accurate disparity cannot be expected, and distance determination accuracy is also expected. Can not. Further, there is a problem that the amount of calculation is large because the moving direction and the moving amount of the image window are large.
[0007]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2000-28355, "3D Image Processing Apparatus", published on January 28, 2000 [Patent Document 2] Japanese Patent Application Laid-Open No. 8-294143, "Image Correlating Method and Image Parallax Measurement Method "published on November 5, 1996 [Non-Patent Document 1] Masatoshi Okutomi and Takeo Kanade. A Multiple-Baseline Stereo. ln IEEE Transactionson Pattem Analysis and Machine Intelligence, volume 15, No. 4, April 1 1993.
[0008]
SUMMARY OF THE INVENTION An object of the present invention is to propose a method for reducing ambiguity in a corresponding point search, and to select an optimal stereo pair according to an image of a target scene for distance measurement, An object of the present invention is to reduce the calculation load and realize simple and highly accurate distance measurement.
[0009]
According to the present invention, a corresponding point search method according to the present invention obtains, based on a two-dimensional autocorrelation value of a picked-up image, an epipolar line direction in which the probability of erroneous detection of a corresponding point search decreases most rapidly. Reduces the “ambiguity” in the corresponding point search, thereby enabling to set or select the most appropriate stereo pair according to the image of the target scene of the distance measurement, to achieve a simple and highly accurate calculation with a light calculation load. Distance measurement can be realized.
The present invention also provides a means for capturing information of a single image of an object to be measured, a means for moving the image up, down, left, and right for each pixel to obtain a two-dimensional autocorrelation surface, Means for determining a cross-section showing the steepest decrease in a cross-section passing through the central zero point with respect to the curved surface, and means for outputting and displaying that the direction of the determined cross-section is the optimum epipolar direction when viewed from the shape of the measured object By implementing the system, an optimal placement support system for stereo cameras was realized.
[0010]
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS In a stereo method for searching for a corresponding point between left and right camera images and calculating a distance to a pixel point corresponding by the principle of triangulation, the corresponding point is accurately and highly reliable. Is the foundation. Whether a search direction for obtaining a corresponding point (hereinafter, referred to as an epipolar line direction) is a direction in which the corresponding point can be easily searched when viewed from the image pattern is a major factor for determining a correct corresponding point. Be the key.
First, regarding the concept of the camera pair selection method, the distance calculation method from each stereo image pair in the conventional method treats all pairs the same. However, depending on the state of the subject, there are a pair that works effectively when solving the corresponding point problem and a pair that does not work. For example, in the case of compound-eye vision, there is a disadvantage that a corresponding point cannot be uniquely determined for an edge substantially coincident with the direction in which cameras are arranged. Therefore, if some camera pair switching method can be used together with the distance calculation method from each stereo image pair, it is possible to expect high-precision distance calculation while reducing the number of cameras from the conventional method.
If this idea is advanced, it becomes possible by dynamically rearranging the two cameras instead of switching the camera pair according to the situation of the object plane. This means that a phenomenon in which a human obtains information through a motion of tilting his neck and moving his or her eyes while using two eyes (compound eyes) can be reproduced.
In the stereo vision based on the edge, the accuracy of the position determination of the edge on the epipolar line is related to the accuracy of the obtained distance information. Now, it is assumed that the feature amount used for determining the edge position is f, and the frequency of the feature amount f follows the normal distribution N (0, σ ² ). When the difference between the feature value f (po) at the true edge position po on the epipolar line and the feature value f (p1) at the point p1 just away from po is not sufficiently large compared to the noise, p1 is erroneously set to the edge. Is more likely to be detected. When the k is the standard deviation of the noise and sigma _N and the reciprocal sigma _N / sigma in the S / N ratio, the following difference is the noise level of f (po) and f (p1), i.e.,
| F (po) -f (p1) | ≦ kσ (6)
The probability of becoming

Can be derived. here,
q (r): erroneous detection probability erf (x) when distant by r on the epipolar line: Gaussian error complementary function A (r): autocorrelation coefficient of f when distant by r on the epipolar line.
Equation (7) is an erroneous detection probability at a position separated by a distance r on the epipolar line. Here, since data quantized to 128 pixcls squares is used, the horizontal displacement x and the vertical direction of the image are calculated. Are two variables. Therefore, the equation (7) becomes the following equation (8).
(Equation 2)

The erroneous detection probability q (x, y) calculated as in equation (8) takes the maximum value 1 when the autocorrelation coefficient A (x, y) = 1, and decreases with the decrease of A (x, y). Monotonically decreases. Therefore, when the reduction rate of A (x, y) with respect to x and y is small, the ambiguity of the position determination becomes large. In general, when x and y increase near a linear edge, the autocorrelation coefficient does not decrease so much in a direction parallel to the edge, and the autocorrelation coefficient sharply decreases in a direction perpendicular to the edge. Therefore, when the direction of the epipolar line is along the edge, the decrease rate of q (x, y) is reduced, and erroneous correspondence in the corresponding point search is likely to occur, and positioning becomes difficult.
Finding the epipolar line direction in which the rate of decrease of A (x, y) is large reduces ambiguity in the corresponding point search. Therefore, in order to determine the direction in which the reduction rate of the A (x, y) curved surface is maximized, attention is paid to the cut surface of A (x, y). When confirming the cut surface with the maximum reduction rate, attention is paid to the surface where the half value width of the maximum value is the narrowest. Consider that the cross-section where the probability of false detection decreases most rapidly, that is, the cross-section where the autocorrelation coefficient decreases most, is that the characteristics of the surface to be imaged are distributed at a large angle with respect to the epipolar line parallel to the cross-section. Can be.
With this, it is possible to know in which direction the epipolar line should be arranged with respect to the imaging surface, that is, in which direction the camera pair should be arranged. Therefore, by using this result, the most important camera pair is determined in the case of multi-view stereo, and in the case of compound-eye viewing, two cameras are dynamically arranged so that the camera pair corresponding to the surface to be captured is determined. Switching becomes possible.
[0011]
Next, calculation for obtaining an autocorrelation coefficient from imaging data will be described.
Autocorrelation is calculated using the image captured as shown in FIG. The steps for calculating the autocorrelation coefficient are as follows.
1. The photographing data is calculated by fast Fourier transform (FFT).
2. Multiply the calculation result by complex conjugate.
3. The calculation result is calculated by an inverse fast Fourier transform (inverse FFT).
Further, the correlation can be generally expressed as follows.
[Equation 3]

It becomes. However, in order to calculate the autocorrelation coefficient here, the reference image and the reference image are equal. Therefore, the autocorrelation coefficient calculated here is expressed as follows.
(Equation 4)

With this concept, an autocorrelation coefficient is calculated for a calculation region as shown in FIG. At the time of actual calculation, normalization is performed after the calculation result of Expression (10) so that the minimum value becomes 0 and the maximum value becomes 1 among the calculation results of the autocorrelation coefficient (see FIG. 4). Note that in FIG. 4, x and y correspond to x 'and y' in the equation (10), respectively.
[0012]
Here, the meaning of the graph is considered using FIG. 5 as an example. FIG. 5 calculates the autocorrelation using the reference image. In other words, it can be considered that the graph shows the similarity indicating how similar the image shifted from the reference image is when the image is shifted by the value indicated by the x-axis and the value indicated by the y-axis. Therefore, when x = y = 0, the value in the z-axis direction is the largest. This corresponds to the case where the same images are superimposed without displacement.
Also, consider a straight line passing through the point of x = y = 0. For example, consider FIG. 5 with a cross section cut at y = 0 (see FIG. 6). Of particular note here is the profile of the cross section. This contour indicates the similarity of the image when the reference image is moved only in the horizontal direction. A straight line parallel to the cross section (here, the straight line y = 0) is considered to represent the direction of the epipolar line. Therefore, by considering the half value width of the maximum value 1 with respect to the contour and considering the point where the inclination from the center x = y = 0 decreases most steeply, the most effective epipolar for the subject surface is obtained. You can consider the direction of the line. However, since the result here is quantized for both the x coordinate and the y coordinate, the specific steps are as follows.
1. Those whose Z coordinate value is equal to or less than half the maximum value are selected.
2. The difference between the maximum value and the value of the Z coordinate at each coordinate is divided by the distance to the origin on the xy plane.
This step is for a certain cut surface. When actually checking the graph of the probability of erroneous detection as shown in FIG. 5, it is necessary to check each cut plane at all angles.
When confirming this cut surface, pay attention to the angle at which the half width becomes the narrowest. The section where the probability of false detection decreases most rapidly, that is, the section where the autocorrelation coefficient decreases the most, should be considered that the characteristics of the surface to be imaged are distributed orthogonally to the epipolar line parallel to the section. This is because
Through a series of these steps, it is possible to determine in which direction the epipolar line should be arranged with respect to the imaging surface, that is, in which direction the camera pair should be arranged. Therefore, by using this result, the camera pair to be regarded as the most important in the case of multi-view stereo is determined. Can be switched.
[0013]
Next, it is confirmed how much the distance accuracy of the switching of the camera pair according to the imaging surface has been improved. That is, using the moon photograph shown in FIG. 3 to determine how much accuracy has been improved, a specific calculation area of 180 pixels × 180 pixels shown in FIG. I do. FIG. 8 shows the suitability of the combination of camera pairs corresponding to the positions. In FIG. 8, each point indicated by g is a result improved by the present algorithm shown in paragraphs [0011] and below. It is. When the average coordinates of each point are obtained from this distribution, it is (−0.14538, 1.145414), and when the average coordinates are obtained from the distribution b according to the conventional method, it is (5.4425189, 3.273975). It became. An error when distance measurement is performed using the difference between these average values and Expression (3) will be considered. Here, assuming that the true parallax is d and the error of the parallax is △ d, the error △ z when converted into the distance is expressed by the following equation (11) with respect to the true distance z.
(Equation 5)

In the equation (11), the above average value is substituted for △ d. However, since the average value shows how much the true position deviates from the true position on the epipolar line, when actually substituting, the Euclidean distance from the origin to each of them is calculated and doubled. I do.
(Equation 6)

Since the equation (12) corresponds to the one according to the present invention and the equation (13) corresponds to the conventional method not according to the present invention, the improvement rate is considered from this data. The improvement rate is considered as Δzg / Δzb.
(Equation 7)

FIG. 9 is a graph of the improvement rate of the equation (14) with respect to the parallax d. The vertical axis of FIG. 9 shows the distance measurement error when the present algorithm is used with respect to the distance measurement error in the conventional method. That is, as can be clearly seen from FIG. 9, when the parallax d (horizontal axis in FIG. 9) is small, that is, when observing a long distance where parallax hardly occurs, no significant improvement is expected, but It can be seen that the effect of the present algorithm is produced as the distance between the photographing surfaces becomes shorter, that is, when the parallax d (horizontal axis) is larger. Eventually, it is expected that the accuracy will be improved by about 5 times.
[0014]
In summary, a procedure for performing distance measurement by the stereo method according to the method of the present invention will be described with reference to a flowchart shown in FIG. First, in step 1, one image to be measured is photographed. In step 2, a curved surface shape of a two-dimensional autocorrelation coefficient based on the image is obtained. In the cross-section passing through the central zero point in the curved surface shape of the two-dimensional autocorrelation coefficient obtained in step 3, the half value of the peak value 1, that is, the points on both sides which become 0.5 are picked up to obtain the width value. This value is not necessarily limited to a half value, and a predetermined value near the half value may be adopted. In step 4, the width value in step 3 is obtained for a 360-degree omnidirectional section centered on the zero point, and the section having the minimum width value is determined. In step 5, the direction of the epipolar line is determined for the cross section. For example, the arrangement of the two cameras is determined so that the epipolar line is horizontal. The above is the pre-processing until a stereo image is obtained. In step 6, an image to be measured is photographed by two cameras at the same time. A measurement area is set in the image taken in step 7. In step 8, a corresponding point search is performed for each pixel along the epipolar line. From the corresponding point information obtained in step 9, the amount of parallax for each pixel is determined. The distance calculation for each pixel is performed from the parallax amount calculated in step 10. By performing the above procedure, the distance of each point in the measurement area can be obtained as data for each pixel.
[0015]
【The invention's effect】
A method for determining an optimal arrangement of a stereo camera according to the present invention includes the steps of, based on one digital image of an object to be measured, moving the image up, down, left, and right for each pixel to obtain a two-dimensional autocorrelation surface. Determining a cross-section showing the steepest decrease in the cross-section passing through the center 0 point with respect to the obtained two-dimensional auto-correlation surface, and installing two cameras such that the direction of the calculated cross-section becomes the epipolar direction Therefore, in the corresponding point search, it is possible to select the epipolar direction that has the largest change and is less likely to cause mismatching in accordance with the shape of the subject, and realizes highly accurate and reliable distance measurement. Since a minimum system having two cameras can be constructed, the system configuration can be simplified, and a major problem of calibration between cameras, which is a problem in the multi-view camera system, can be avoided. In addition, it is possible to dynamically determine the camera arrangement optimally according to the image situation of the camera imaging scene, and there is no situation where distance measurement, which is a problem with the conventional fixed camera system, becomes impossible. Due to these features, the present invention is extremely effective even in extremely critical situations such as aerospace vehicle landing altitude measurement including a lunar surface, vehicle-to-vehicle measurement, and vehicle rear monitor.
[0016]
Further, the method for determining the cross section showing the steepest decrease is to find the minimum value of the width value at both sides reaching a predetermined fraction of the peak value of the zero point. Enables a method of indexing a cross section showing a significant reduction.
In addition, the above-described method for determining the optimal arrangement of stereo cameras can be applied to a method for selecting and determining an optimal pair of stereo cameras in a multi-view stereo system in which a large number of cameras are provided, and has the same effect.
[0017]
The system for assisting optimal placement of a stereo camera according to the present invention includes means for capturing information of one image of an object to be measured, means for moving the image up, down, left, and right for each pixel to obtain a two-dimensional autocorrelation surface. Means for determining a cross section showing the steepest decrease in a cross section passing through the center 0 point with respect to the obtained two-dimensional autocorrelation surface, and determining the direction of the determined cross section as the optimum epipolar direction from the shape of the measured object. With the support of this system, the epipolar direction that has the largest change and is less likely to cause mismatching in the corresponding point search is selected according to the shape of the subject. Enables accurate and reliable distance measurement. In addition, since this system can be realized by a small computer, it is extremely advantageous for mounting on a space probe or an automobile.
[0018]
A step of obtaining a two-dimensional autocorrelation surface by moving the image up, down, left, and right for each pixel based on one image of the object to be measured; Determining a cross-section showing the steepest decrease in the cross-section passing through the zero point, installing two cameras such that the direction of the determined cross-section is the epipolar direction, and along a known epipolar line. A step of searching for corresponding points between images having different parallaxes, a step of calculating a parallax amount for each corresponding point from corresponding point information, and a distance calculation for each corresponding point from the calculated parallax amount The distance measurement method using a stereo camera can search for corresponding points along a known epipolar line, so the search burden is much lighter than conventional methods, and space probes and automatic surveys that require real-time measurement are required. It is extremely advantageous for use in such.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of a stereo distance measurement method.
FIG. 2 is an explanatory diagram of a corresponding point search in the stereo method.
FIG. 3 is a diagram showing a captured image (a lunar surface image by Clementine) and a calculation area thereof.
FIG. 4 is a curved surface diagram showing a calculation result of an autocorrelation coefficient.
FIG. 5 is a surface diagram showing a result of calculating an erroneous detection probability.
FIG. 6 is a diagram showing the steepest cross section passing through the center point among the erroneous detection probability surfaces.
FIG. 7 is a flowchart showing an operation procedure of the stereo distance measurement method of the present invention.
FIG. 8 is a diagram showing an inappropriate position of a pair of stereo cameras.
FIG. 9 is a diagram showing a ratio of a distance measurement error according to the present invention to a conventional method.

Claims

A step of obtaining a two-dimensional autocorrelation surface by moving the image up, down, left, and right for each pixel based on one image of the object to be measured, and a center 0 point with respect to the obtained two-dimensional autocorrelation surface; Determining a cross-section that shows the steepest decrease in a cross-section passing through, and installing two cameras such that the direction of the determined cross-section is the epipolar direction.

2. The stereo camera according to claim 1, wherein the method of calculating the cross section showing the steepest decrease is to obtain the minimum value of the width value at both sides reaching a half value of the peak value of the zero point or a predetermined value set in the vicinity thereof. Optimal placement decision method.

A step of obtaining a two-dimensional autocorrelation surface by moving the image up, down, left, and right for each pixel based on one image of the object to be measured, and a center 0 point with respect to the obtained two-dimensional autocorrelation surface; Determining a cross-section showing the steepest decrease in a cross-section passing through, and selecting from among a large number of deployed cameras a camera in which the direction of the determined cross-section is the epipolar direction. .

Means for capturing one piece of image information of the object to be measured, means for moving the image up, down, left, and right for each pixel to obtain a two-dimensional autocorrelation surface; A stereo camera comprising: means for determining a section showing the steepest decrease in a section passing through the zero point; and means for outputting and displaying that the direction of the determined section is the optimum epipolar direction when viewed from the shape of the measured object. Optimal placement support system.

A step of obtaining a two-dimensional autocorrelation surface by moving the image up, down, left and right for each pixel based on one digital image of the object to be measured; Determining a cross section showing the steepest decrease in a cross section passing through a point; installing two cameras such that the direction of the determined cross section is the epipolar direction; and differentiating along a known epipolar line. A step of searching for a corresponding point between images of parallax, a step of calculating a parallax amount for each corresponding point from the corresponding point information, and a distance by a stereo camera that performs a distance calculation for each corresponding point from the calculated parallax amount Measuring method.