JP4248212B2 - ステレオ画像処理装置およびステレオ画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、ステレオ画像処理装置およびステレオ画像処理方法に関する。
【０００２】
【従来の技術】
近年、撮像画像に写し出された対象物を認識するために、一対の撮像画像を用いて対象物の距離を算出するステレオ画像処理装置が知られている。このステレオ画像処理装置では、ステレオカメラから取得した一対の撮像画像に基づき、この一対の撮像画像に写し出された同一対象物に関する位置的なずれ量、すなわち視差が算出される。この視差算出に関する処理では、一方の撮像画像（基準画像）中にある画素ブロック、すなわち、基準画像の一部を構成する小領域毎の画素群に関して、その相関先を他方の撮像画像（比較画像）において特定する、所謂、ステレオマッチングが用いられる。そして、ある画素ブロックに関して算出された視差と、その画素ブロックの画像平面上の位置とを用いて、周知の座標変換式に基づき、画素ブロックに写し出された対象物の実空間上の距離が一義的に算出される。
【０００３】
対象物の認識では、対象物の実空間上の距離を正確に把握することは重要であるが、その距離算出パラメータである視差を精度よく算出することはより重要である。しかしながら、ステレオ画像処理では、本来相関先とされるべき領域以外の領域を比較画像において特定してしまうことがある（ミスマッチング）。そこで、算出された視差に関し、ミスマッチングの判別を行う様々な手法が提案されている。ミスマッチング判別手法の一例としては、算出された視差が、周囲の画素ブロックに関して算出された視差と大きく異なる場合には、その視差を無効と判断して、周囲の視差を用いて補正するといった如くである（例えば、特許文献１参照）。また、３台以上のカメラ（すなわち２組以上のステレオ画像）を用いて、同一対象物に関する視差を算出するとともに、この算出された視差の値をそれぞれ比較することにより、ミスマッチングを検出するといった方法も考えられる。
【０００４】
【特許文献１】
特開平１１−２４８４４６号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の技術において、前者の例では、例えば、周囲の画素ブロックがまとめて同じようにミスマッチングする状況では、ミスマッチングの特定が困難である可能性がある。また、後者の例では、３台以上のカメラが必要となるため、装置の大規模化、構成の複雑化を招き好ましくない。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、算出された視差に関するミスマッチングを簡素な構成で検出することにより、信頼性の高い視差を特定することである。
【０００７】
また、本発明の別の目的は、ミスマッチングを特定することで、より正確な距離測定を行い、対象物の認識精度向上を図ることである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、ステレオ画像処理装置において、ステレオカメラと、ステレオ処理部と、視差決定部とを有するステレオ画像処理装置を提供する。ここで、ステレオカメラは、水平面に対してカメラの視軸が傾いた状態で取り付けられており、カメラを円周方向に回転させて互いに撮像範囲の一部が共通する景色をそれぞれ撮像することにより、第１のステレオ画像データと第２のステレオ画像データとを出力する。ステレオ処理部は、ステレオ画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、このステレオ画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する。視差決定部は、第１のステレオ画像データに基づき算出された第１の距離データと、第２のステレオ画像データに基づき算出された第２の距離データとにおいて、撮像範囲が対応する領域をそれぞれ処理対象とする。そして、第１の距離データを構成する第１の視差と撮像位置的に対応する第２の距離データを構成する第２の視差が特定される。この特定された第２の視差に基づき、第１の距離データを構成する第１の視差が決定される。
【０００９】
ここで、第１の発明において、ステレオカメラは、メインカメラとサブカメラとにより構成されており、水平面の鉛直方向を回転軸として、メインカメラのレンズ焦点位置を中心に回転することが好ましい。
【００１０】
また、第１の発明において、視差決定部は、第２の視差に基づき算出された実空間上の位置が、第１の視差に基づき算出された実空間上の位置と位置的に対応しないと判断した場合には、第１の視差を、第１の距離データを構成する視差から棄却することが好ましい。この場合、視差決定部は、カメラの回転中心を原点とした極座標系において、実空間上の位置を算出することが好ましい。
【００１１】
あるいは、視差決定部は、第２の視差が、第１の視差に対応しないと判断した場合には、第１の視差を、第１の距離データを構成する視差から棄却することが好ましい。
【００１２】
また、第１の発明において、ステレオカメラは、カメラを円周方向にさらに回転させて、撮像範囲の一部が共通する景色を撮像することにより、１フレーム以上のステレオ画像データをさらに出力してもよい。このとき、視差決定部は、第１の距離データと、第２の距離データと、１フレーム以上のステレオ画像データに基づき算出された１フレーム以上の距離データとにおいて、撮像範囲が対応する領域をそれぞれ処理対象とする。そして、第１の視差と撮像位置的に対応する１フレーム以上の距離データを構成する視差を特定する。これにより、第１の視差と、第２の視差と、特定された視差とに基づき、第１の距離データを構成する第１の視差を決定することが好ましい。
【００１３】
さらに、第１の発明において、補正処理部をさらに有してもよい。この補正処理部は、水平面とカメラの視軸とのなす傾き角に基づいて座標位置毎の視差変換パラメータを算出し、この算出された視差変換パラメータに基づき距離データを構成する個々の視差の値を補正する。また、傾き角に基づいて座標位置毎の位置変換パラメータを算出し、この算出された位置変換パラメータに基づき距離データの座標位置を幾何学的に補正する。この場合、視差決定部は、この補正処理部によって補正された距離データを用いることが好ましい。
【００１４】
また、第２の発明は、ステレオ画像処理方法を提供する。このステレオ画像処理方法は、第１のステップとして、水平面に対してカメラの視軸が傾いた状態で取り付けられており、カメラ前方の景色を撮像することにより、第１のステレオ画像データを出力する。また、第２のステップは、カメラを円周方向に回転させて、第１のステレオ画像データによって規定される撮像範囲の一部を含む景色を撮像することにより、第２のステレオ画像データとを出力する。第３のステップは、ステレオ画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、ステレオ画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する。第４のステップは、第１のステレオ画像データに基づき算出された第１の距離データと、第２のステレオ画像データに基づき算出された第２の距離データとにおいて、撮像範囲が対応する領域をそれぞれ処理対象とする。そして、第１の距離データを構成する第１の視差と撮像位置的に対応する第２の距離データを構成する第２の視差が特定される。これにより、特定された第２の視差に基づき、第１の距離データを構成する第１の視差が決定される。
【００１５】
ここで、第２の発明において、第４のステップは、第２の視差に基づき算出された実空間上の位置が、第１の視差に基づき算出された実空間上の位置と位置的に対応しないと判断した場合には、第１の視差を、第１の距離データから構成する視差から棄却することが好ましい。
【００１６】
あるいは、第４のステップは、第２の視差が、第１の視差に対応しないと判断した場合には、第１の視差を、第１の距離データを構成する視差から棄却することが好ましい。
【００１７】
また、第２の発明において、さらなるステップとして、カメラを円周方向にさらに回転させて、撮像範囲の一部が共通する景色を撮像することにより、１フレーム以上のステレオ画像データを出力することが好ましい。この場合、第４のステップは、第１の距離データと、第２の距離データと、１フレーム以上のステレオ画像データに基づき算出された１フレーム以上の距離データとにおいて、撮像範囲が対応する領域をそれぞれ処理対象とする。そして、第１の視差と撮像位置的に対応する１フレーム以上の距離データを構成する視差が特定される。これにより、第１の視差と、第２の視差と、この特定された視差とに基づき、第１の距離データを構成する第１の視差が決定されることが好ましい。
【００１８】
また、第２の発明において、さらなるステップとして、水平面とカメラの視軸とのなす傾き角に基づいて座標位置毎の視差変換パラメータを算出し、算出された視差変換パラメータに基づき距離データを構成する個々の視差の値を補正するしてもよい。また、さらなるステップとして、傾き角に基づいて座標位置毎の位置変換パラメータを算出し、算出された位置変換パラメータに基づき距離データの座標位置を幾何学的に補正することが好ましい。
【００１９】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ画像処理装置１のブロック構成図である。本実施形態にかかるステレオ画像処理装置１は、一例として、屋内外で用いられる移動ロボットに搭載される。このステレオ画像処理装置１は、一対のステレオ画像データを用いてステレオ画像処理を行うとともに、この処理された情報に基づき、監視領域内の状況を監視する。
【００２０】
監視領域を含む景色を撮像するステレオカメラ２は、移動ロボットの頭部において水平面に対して視軸が傾いた状態で取り付けられた俯角付きのステレオカメラである。図２は、ステレオカメラの取付状態を示した説明図である。俯角αをもって取り付けられたステレオカメラ２は、回転可能なカメラ台（図示せず）に取り付けられており、このカメラ台が回転することにより円周方向に回転する（同図（ａ）参照）。このカメラ台にはサーボモータ３が接続されており、サーボモータ３は、後段のマイクロコンピュータ１４からの指示に基づき、ステレオカメラ２を回転させるべく、駆動する。
【００２１】
より詳細には、図２（ｂ）に示すように、ステレオカメラ２は、水平面の鉛直方向を回転軸として、一方のカメラ（本実施形態では、後述するメインカメラ２ａ）のレンズ焦点位置を中心に回転する。このとき、カメラの視軸は、その軌跡が略円錐を描くように円周方向に変化させられる。このような構成において、ステレオカメラ２は、撮像範囲を適宜変化させて周囲の景色を撮像することができる。本実施形態との関係では、ステレオカメラ２は、カメラを円周方向に回転させることにより、互いに撮像範囲の一部が共通する景色を撮像する。
【００２２】
ステレオカメラ２は、一対のカメラ２ａ，２ｂで構成されており、それぞれのカメラ２ａ，２ｂには、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２ｂは、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００２３】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２４】
このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７と、後段の補正処理部８とに出力される。
【００２５】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。
【００２６】
図３は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２ａ，２ｂに近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００２７】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２ａ，２ｂから対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００２８】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】

【００２９】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、後段の補正処理部８に出力される。
【００３０】
補正処理部８は、距離データと画像データとを補正対象として、ステレオカメラ２の俯角（すなわち、水平面とカメラの視軸とのなす傾き角）αに起因するデータのずれを補正する。本実施形態において、補正処理部８は、俯角αに基づき特定される変換パラメータに基づいて、距離データおよび画像データを補正し、機能的には、視差補正部９、位置補正部１０および補間部１１で構成されている。
【００３１】
視差補正部９は、俯角αに基づき特定される視差変換パラメータに基づいて、距離データを構成する個々の視差ｄの値を補正する。そして、補正された距離データが位置補正部１０に出力される。この位置補正部１０は、補正された距離データと、この距離データに対応する画像データとを処理対象として、俯角αに基づき特定される位置変換パラメータに基づき、座標位置の幾何学的な補正を施す。そして、補正された距離データおよび画像データが補間部１１に出力される。補間部１１は、距離データおよび画像データに関して、位置補正部１０の変換処理によってデータの欠落が生じた場合に、欠落が生じた座標位置のデータを補間する。この補間部１１によって補間処理されたデータのうち、画像データは画像データメモリ１２に格納され、距離データは距離データメモリ１３に格納される。
【００３２】
マイクロコンピュータ１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、視差決定部１５、認識部１６および制御部１７を有する。このマイクロコンピュータ１４は、上述したサーボモータ３からの出力に基づき、現在のステレオカメラ２の回転角θ（すなわち、ある基準方向とメインカメラ２ａの視軸とのなす角度）を把握している。
【００３３】
視差決定部１５は、距離データメモリ１３から読み出した距離データに基づき、距離データを構成する視差ｄを決定する。この処理では、ステレオカメラ２を円周方向に回転させることにより、互いに撮像範囲の一部が共通する景色が撮像された２フレームのステレオ画像データに関する距離データが用いられる。以下、本明細書では、これらの距離データのうち一方の距離データを「第１の距離データＤ1」と称し、また、他方の距離データを「第２の距離データＤ2」と称する。本実施形態の主な特徴は、距離データを構成する視差ｄを決定する処理にあり、その詳細な手法については後述する。この処理を経て、これら２フレームの距離データのうち、一方の距離データ（本実施形態では、第１の距離データＤ1）が、認識部１６に対して出力される。
【００３４】
認識部１６は、取得した第１の距離データＤ1に基づき、監視領域内の状況を認識する。ただし、認識部１６は、監視領域内の状況認識にあたって、適宜、画像データメモリ１２に格納された画像データを用いることもできる。制御部１７は、認識部１６による認識結果に基づいて、必要に応じてモニタやスピーカー等の警報装置を作動させて、周囲に注意を促す。また、必要に応じて制御装置を制御することにより、進行方向の変更、或いは、ブレーキの作動といった制御が実行される。
【００３５】
まず、本実施形態にかかる視差決定処理を説明する前に、補正処理部８によって行われる補正処理について説明する。俯角付きのステレオカメラを用いて、垂直に起立した壁面（横長の矩形）を上方から撮像した場合、この壁面は、一般に、歪んだ形状（正確には、壁面の下側が窄むような形状）として写し出される。これは、カメラの光学的性質によるもので、同じ幅の壁面を撮影した場合であっても、カメラに近接した部位ほど大きく写るからである。したがって、この撮像画像を実空間に対応させた場合、この画像の歪みによって、画像上に写し出された壁面には、実際の対象物との位置的なずれが生じる。この場合、画像データに基づき算出される距離データに関しても同様であり、算出された視差ｄも位置的にずれが生じる。さらに、俯角付きステレオカメラで対象物Ｏを撮影した場合、カメラ視線上での距離の遠近にともない、垂直に起立した壁面であっても、撮像画像に基づき算出される視差ｄの値自体にも、壁面の部位によって値のずれが生じる。したがって、これら位置的なずれ、および、視差ｄ自体の値のずれにともない、距離データに基づき特定される対象物に関する実空間上の位置は、実際の対象物に関する実空間上の位置と完全に一致し得ない。そのため、ステレオ画像処理によって特定される三次元空間と、実空間との位置的なずれを補正する必要がある。
【００３６】
図４は、補正処理の詳細な手順を示すフローチャートである。補正処理部８は、距離データおよびステレオ画像データ上の任意の座標点（以下、「注目点Ｇo」と称する）（ｉo，ｊo）を処理対象として、以下に示す処理を実行する。まず、ステップ１０において、注目点Ｇo（ｉo，ｊo）に関するｉ座標位置を特定する変数ｉとして、初期値「０」がセットされる。また、ステップ１１において、注目点Ｇo（ｉo，ｊo）に関するｊ座標位置を特定する変数ｊとして、初期値「０」がセットされる。
【００３７】
そして、ステップ１２において、視差補正部９は、俯角αに基づき特定される視差変換パラメータから、距離データを構成する視差ｄの値を補正する。この視差変換パラメータは以下に示す数式２により表され、距離データ上の注目点Ｇoにおける視差の値ｄはこの数式２によって一義的に視差ｄhに補正（変換）される。
【数２】

【００３８】
ここで、数式２において、ｄhは補正後の注目点Ｇoでの視差、ｄは補正前の注目点Ｇoでの視差、ＰＷＶは１画素当たりの垂直視野角である。ｊo，ｊc，ｊvは、それぞれ距離データにおける、注目点Ｇo、カメラ２ａ,２ｂの光学中心点、カメラ位置での水平方向におけるｊ座標値である。
【００３９】
図５は、視差変換パラメータの算出手法の説明図である。同図には、俯角αで取り付けられたステレオカメラ２の画角が、破線によって示されている。また、ステレオカメラ２によって撮像される対象物と、撮像画像との対応付けを明確にするため、このステレオカメラ２によって撮像される像を反映するスクリーンが示されている。ここで、実空間を表すｘｙｚ軸の座標系は、メインカメラ２ａのレンズ焦点位置を基準として、カメラ２ａ，２ｂ前方の距離方向をｚ軸、地面からの高さ方向をｙ軸、ｙ軸と直交する平面内でのｚ軸との直交方向をｘ軸と定義している。
【００４０】
ステレオカメラ２が傾いていない状態では、あるスクリーン上の注目点Ｇoにおける視差ｄは、一般に、ステレオカメラ２の視線方向（光学中心線）に算出された距離Ｌoに対応する。より具体的には、この距離Ｌoは、注目点Ｇoに対応する実空間上の点Ｏoから光学中心線に垂直に下ろした線の交点と、ステレオカメラ２との光学中心線上での距離である。このような俯角がない状態で、垂直に起立した壁面（対象物）を撮像した場合、この対象物に関する視差ｄは、対象物のどのような位置であっても、距離Ｌoに対応した値として一様に定まる。しかしながら、ステレオカメラ２に俯角αがある場合、この対象物に関する視差ｄは、対象物上の位置、すなわち、注目点Ｇoに対応する実空間上の点Ｏoの位置の相違に起因して距離Ｌoの値が変動するため、一様な値として定まらない（それ故に、算出される視差ｄの値にずれが生じる）。
【００４１】
ところで、ステレオカメラ２に俯角αが存在する場合であっても、ステレオカメラ２から対象物までの距離（ｚ方向距離）が同一である場合、この対象物に関して算出される視差ｄの値は、対象物上の位置に拘わらず、一様な値であることが好ましい。なぜならば、先に述べた光学中心線上での距離Ｌoに拘わらず、ステレオカメラ２と対象物との間の相対的な距離ｚoに対応する値として視差ｄが求まるのであれば、周知の座標変換式を用いて実空間への変換処理を行うことができるからである。したがって、光学中心線上での対象物とステレオカメラ２との間の距離Ｌo＋ΔＬo（既知）と、相対的な距離ｚoとを関連付けることで、距離データを構成する視差ｄから、ｚoに起因した視差ｄhを一義的に特定することができると考えられる。先に述べた数式２は、これらの関係を満たすものであり、Ｌo＋ΔＬoとｚoとの幾何学的な関係を、同数式に示すパラメータで表現することにより算出される。
【００４２】
つぎに、ステップ１３において、位置補正部１０は、画像データと補正された距離データとを処理対象として、傾き角αにより特定される位置変換パラメータに基づき、画像上の座標位置を幾何学的に補正する。上述したように俯角付きステレオカメラ２によって撮像された画像では、実空間との位置的なずれが生じており、視差ｄを補正したとしても、この位置的なずれは依然として存在する（具体的には、実空間での、ｘ方向のずれ）。そこで、位置補正部１０は、あるスクリーン上での位置に関し、実空間でのｘ座標の位置と、画像から特定されるｘ座標との位置が変わらないように、画像上のｉo座標の位置を補正する。この位置変換パラメータは、以下に示す数式３により表され、注目点Ｇo（ｉo，ｊo）は、この数式３によって一義的に座標（ｉh，ｊo）に補正（変換）される（図６参照）。
【数３】

【００４３】
そして、ステップ１４において、位置補正部１０は、補正された視差ｄhおよび輝度値を、補正された新たな座標（ｉh，ｊo）に格納する。そして、ステップ１５，１６、および、ステップ１７，１８に従い、視差補正部９および位置補正部１０は、このような補正処理を距離データおよび画像データのすべてのｉ−ｊ座標について行う。
【００４４】
すべてのｉ−ｊ座標において補正処理が行われると、ステップ１９において、補間部１１は、視差の欠落が生じた座標位置に関する視差を周囲の視差に基づいて補間する内挿処理を行う。一般に、ステップ５，６で示した座標変換を行った場合、変換後の画素データは、メッシュ状に整列しない。すなわち、変換後の画像データおよび距離データにおける座標の一部には、データの欠落箇所が存在する場合がある。そこで、補間部１１は、画像平面において、データが欠落している座標位置を特定するとともに、特定された座標について、その周辺の座標における輝度値または視差に基づき、統計的な補間処理を行う。
【００４５】
以上の処理によって、画像データおよび距離データの補正を行うことにより、傾き角αがある場合であっても、カメラの光学的性質にともなう画像の歪みおよび視差のずれは補正される。なお、補正処理を実行する補正処理部８の詳細については、本出願人によって既に出願されている特願２００２−１１０２４５号に開示されているので、必要ならば参照されたい。
【００４６】
図７および図８は、本実施形態にかかる視差決定処理の手順を示したフローチャートである。なお、このフローチャートに示したルーチンは、適宜呼び出され、マイクロコンピュータ１４によって実行される。まず、ステップ２０において、視差決定部１５は、距離データメモリ１３より第１の距離データＤ1を読み出す。この第１の距離データは、任意の撮像範囲を含む景色を撮像することによってステレオカメラ２から出力される第１のステレオ画像データに対応している。
【００４７】
ステップ２１において、第１の距離データＤ1に基づき、極座標系への座標変換が行われる。具体的には、まず、第１の距離データＤ1を構成するすべての視差ｄを処理対象として、周知の座標変換式に基づき、実空間上の位置（ｘ，ｙ，ｚ）が算出される。実空間を表すｘｙｚ軸の座標系（三次元座標系）は、メインカメラ２ａのレンズ焦点位置を基準として、ステレオカメラ２前方の距離方向をｚ軸、地面からの高さ方向をｙ軸、ｙ軸と直交する平面内でのｚ軸との直交方向をｘ軸として定義される。したがって、ステレオカメラ２を回転させた場合、この三次元座標系はステレオカメラ２の回転角θに対応して、その都度規定されることとなる。そこで、本実施形態では、回転角θに拘わらず算出された実空間上の位置を共通の座標系で認識するべく、この三次元空間上（ｘ，ｙ，ｚ）の位置を、ステレオカメラ２の回転中心を原点とした極座標系へ座標変換する。なお、回転前後で座標系が異なるのは、ステレオカメラ２の回転にともなうｘ−ｚ平面に関するものだけであり、ｙ軸は共通のパラメータとして使用可能である。すなわち、ステップ２１では、算出された三次元座標上の位置（ｘ、ｙ、ｚ）が、周知の座標変換式に基づき、極座標系上の位置（ｒ，θ，ｙ）に変換される。
【００４８】
ここで、上述したステレオカメラ２の回転軸は、三次元座標系のｙ軸と一致していることが理解される。これは、三次元座標系のｙ軸とステレオカメラ２の回転軸とを一致させることで、ステレオカメラ２を回転させた場合であっても、三次元座標系と、極座標系との位置的な対応を図り易くするためである。したがって、三次元座標系ｘｙｚがレンズ焦点位置とは異なる位置を基準として決定されているのであれば、ステレオカメラ２の回転軸は、その異なる位置を基準に設定されたｙ軸と一致させることが好ましい。
【００４９】
ステップ２２において、ステレオカメラ２の回転量θrev、すなわち、第１のステレオ画像データの撮像に際する回転角θから、第２のステレオ画像データの撮像に際する回転角θへの回転（移動）量が特定される。この回転量θrevは、予め設定された値を用いてもよいし、複数の既定値の中から任意の値を選択して用いるなどしてもよい。また、入力装置（図示せず）等を用いることで、移動ロボットのオペレータに対して回転量θrevの入力を促し、この入力結果に基づき回転量θrevを決定してもよい。さらに、第１の距離データＤ1に基づき、視差の分散が大きな領域（すなわち、ミスマッチングが起こっているであろう領域）を特定し、この領域を含む景色が第２のステレオ画像データとして撮像されるように、その回転量θrevを決定してもよい。この特定された回転量θrevは、マイクロコンピュータ１４からサーボモータ９に対して出力される。この出力とタイミングを同期してサーボモータ９が駆動し、ステレオカメラ２の撮像方向が水平方向に変化させられる。このとき、ステレオカメラ２が、第１のステレオ画像データによって規定される撮像範囲の一部を含む景色を撮像することにより、第２のステレオ画像データが出力される。
【００５０】
そして、ステップ２３において、距離データメモリ１３から第２の距離データＤ2が読み出される。そして、ステップ２１に示した処理と同様に、第２の距離データＤ2に基づき、極座標系への座標変換が行われる（ステップ２４）。
【００５１】
ステップ２５において、第１の距離データＤ1と第２の距離データＤ2とにおいて、処理対象とする領域（以下、単に「処理領域」と称する）がそれぞれ特定される。この処理領域は、両距離データＤ1，Ｄ2において撮像範囲がそれぞれ対応する領域である。図９は、距離データにおいて処理対象とする領域を示す説明図である。第１および第２のステレオ画像データでは、撮像範囲の一部が共通する景色に関する情報がそれぞれ含まれる。それ故に、これら第１および第２のステレオ画像データに関して算出された第１および第２の距離データＤ1，Ｄ2には、同一景色を示す視差ｄがそれぞれ含まれている。同図では、第１および第２の距離データＤ1，Ｄ2が撮像画像に模した台形の点線で描かれており、これら第１および第２の距離データＤ1，Ｄ2の対応する領域が重ね合わせて描かれている。両距離データＤ1，Ｄ2において、撮像範囲が対応する領域は、ステレオカメラ２の回転量θrevと、画像上の位置（ｉ，ｊ）に基づき、一義的に特定することができる。なお、同図に示すように、処理領域は、第１および第２の距離データＤ1，Ｄ2において、撮像範囲が完全に一致する領域のみを指すばかりでなく、その領域内のある特定の領域（例えば、上述した視差ｄの分散が大きな領域）に限定して処理領域を特定してもよい。
【００５２】
図１０は、撮像画像の一例を示す説明図である。本実施形態において注目すべきは、第１の距離データＤ1と第２の距離データＤ2とでは、これらのデータを構成する視差ｄを算出する際のエピポーララインが異なる点である。上述したように、第１および第２の距離データＤ1，Ｄ2は、第１のステレオ画像データと第２のステレオ画像データとに関して算出される。ここで、同図に示すように、第１のステレオ画像データによって規定される画像平面上に、水平線（ｉ軸と平行）が写し出されていると仮定する。この状態からステレオカメラ２を円周方向に回転させて水平線を撮像したならば、ステレオカメラ２の俯角にともない、第２のステレオ画像データによって規定される画像平面上に写し出される水平線は、斜めに傾いて写し出される（ｉ軸方向と一致しない）。
【００５３】
したがって、画像平面上に写し出された景色を基準として考えた場合、撮像範囲が対応する領域において、第１のステレオ画像データと第２のステレオ画像データとでは、比較画像上の探索領域はそれぞれ異なることとなる。例えば、第１のステレオ画像データには、エピポーラライン上に、似たような輝度が連続的に存在したとする（すなわち、ミスマッチングを起こし得るような領域が存在する）。一方、第２のステレオ画像データでは、探索領域が第１のステレオ画像データとは異なるため、このような領域がエピポーラライン上には存在しない。よって、第２のステレオ画像データでは、ミスマッチングが起こり得る可能性は低くなる。すなわち、回転前後で算出される第１の距離データＤ1と第２の距離データＤ2とでは、どちらか一方のデータにミスマッチングデータが含まれる可能性があったとしても、他方のデータではこの影響が排除される。ただし、一般に、ミスマッチングデータが存在しないのであれば、撮像範囲が対応する領域では、第１の距離データＤ1と第２の距離データＤ2とを構成する視差の値が異なることはない。したがって、これら距離データＤ1，Ｄ2において、対応する領域の視差同士を評価すれば、ミスマッチングデータを検出することができるはずである。
【００５４】
そこで、本実施形態では特徴的に、第１の距離データを構成する第１の視差（以下「基準視差ｄmain」と称する）と撮像位置的に対応する第２の距離データＤ2を構成する第２の視差（以下「比較視差ｄsub」と称する）に基づき、第１の距離データＤ1を構成する視差ｄが決定される。
【００５５】
再び図７を参照するに、ステップ２６において、第１の距離データＤ1上の処理領域において、ある基準視差ｄmainが選択される。これにともない、選択された基準視差ｄmainに関する実空間上の基準位置（ｒmain，θmain，ｙmain）が、この基準視差ｄmainに対応付けられる。
【００５６】
そして、ステップ２７において、選択されたある基準視差ｄmainと撮像位置的に対応する比較視差ｄsubが特定される。図１１は、撮像位置的に対応する視差を示す説明図である。基準視差ｄmainと、この基準視差ｄmainと撮像位置的に対応する比較視差ｄsubは、それぞれ距離データＤ1，Ｄ2上では同図（ａ），（ｂ）に示すような位置関係にある。これらの対応する位置は、カメラ２ａ，２ｂの回転量θrevと、画像上の位置（ｉ，ｊ）とに基づき、一義的に特定される。すなわち、選択された基準視差ｄmainに関する座標位置と、回転量θrevとに基づき、第２の距離データＤ2上での座標位置が特定される。そして、特定された座標位置に基づき、この位置に関する視差ｄが比較視差ｄsubとして特定される。ただし、視差ｄは画素ブロック毎に算出されるため、基準視差ｄmainに関する座標位置の対応先が、複数の比較視差ｄsubに対応する画素ブロック上に特定されることもある。このような場合には、これら複数の画素ブロックに関する視差群が比較視差ｄsubとして特定されることが好ましい。比較視差ｄsubが特定されると、この比較視差ｄsubに関する実空間上の比較位置（ｒsub，θsub，ｙsub）が、比較視差ｄsubに対応付けられる。
【００５７】
ステップ２８において、基準視差ｄmainに関する基準位置と比較視差ｄsubに関する比較位置との間の距離Ｌが算出されるとともに、この距離Ｌが所定のしきい値Ｌthより小さいか否かが判断される。この判断で肯定された場合、すなわち、基準位置と比較位置との位置が近似している場合には、基準視差ｄmainは、ミスマッチングデータではないと判断される。なぜならば、基準視差ｄmainと比較視差ｄsubとのいずれかがミスマッチングデータであるならば、基準位置と比較位置との位置は、実空間上で近似することはないからである。そして、第１の距離データＤ1において、選択された基準視差ｄmainが、第１の距離データＤ1を構成する視差ｄとしてそのまま維持される（ステップ２９）。
【００５８】
一方、この判断で否定された場合、すなわち、基準位置と比較位置との位置が近似していない場合、基準視差ｄmainがミスマッチングデータであると判断され、ステップ３０に進む。そして、第１の距離データＤ1において、選択された基準視差ｄmainが、第１の距離データＤ1を構成する視差ｄから棄却される（ステップ３１）。
【００５９】
そして、ステップ３１において、第１の距離データＤ1上の処理領域において、すべての視差ｄが基準視差ｄとして選択されたか否かが判断される。この判断で肯定された場合には、本ルーチンを抜ける。一方、この判断で否定された場合には、すべての視差ｄを基準視差ｄとして選択するべく、一度基準視差ｄmainとして選択された視差ｄを除く視差ｄ（或いは視差群）を処理対象として、ステップ２６以降の処理が繰り返し実行される。
【００６０】
以上の処理により、第１の距離データＤ1は、この第１の距離データＤ1を構成する視差ｄのうち、ミスマッチングデータが排除されて、値として信頼度の高い視差ｄのみで構成された第１の距離データＤ1となる。
【００６１】
以上説明したように、本実施形態によれば、俯角付きのステレオカメラ２を円周方向に回転させて互いに撮像範囲の一部が共通する景色を撮像することにより、第１のステレオ画像データと第２のステレオ画像データとが出力される。これらステレオ画像データに関するマッチング処理に際して、両ステレオ画像データにおいて撮像範囲が対応する領域では、画像上に写し出された景色上に設定されるエピポーララインが異なる。これにより、少なくともどちらか一方の距離データでは、ミスマッチングが起こり得る状況が排除される。したがって、対応する領域の視差同士を評価することにより、ミスマッチングデータであるか否かを判断することができる。周囲の画素ブロックがまとめて同じようにミスマッチングする状況であっても、エピポーララインを変化させるという本手法を用いることで、これらに関係なくミスマッチングを特定することができる。また、一対のカメラ２ａ，２ｂのみの組合わせでミスマッチングを検出することができるので、装置の大型化・複雑化を低減することができる。
【００６２】
なお、上述した実施形態では、エピポーララインを変化させて算出された基準視差ｄmainと比較視差ｄsubとに関する実空間上の位置をそれぞれ比較することにより、両視差ｄmain，ｄsubの評価を行っている。しかしながら、本発明は、基準視差ｄmainと基準視差ｄsubとを直接比較する手法を採用してもよい。この処理は、上述した実施形態と比べて、処理工程の煩雑化を抑制することができる。しかしながら、上述した実施形態では、実空間上において、基準視差ｄmainと比較視差ｄsubとを評価しているので、ミスマッチングの検出を高精度に行えるという長所がある。
【００６３】
また、上述した実施形態では、カメラ２ａ，２ｂを一度のみ回転させて、対応する領域に関してのみ処理を行っている。しかしながら、第１の距離データＤ1のすべての領域に対して、上述した処理が行われるように、複数フレーム相当の距離データをさらに読み出し、ステップ２３からステップ３１までの処理をさらに繰り返し行ってもよい。すなわち、本明細書において、上述した第２のステレオ画像データとは、これら複数フレーム相当の距離データを算出し得るステレオ画像データをも含むものであることに理解されたい。
【００６４】
また、上述した実施形態において、ステップ２８の処理では実空間上の位置を比較するのみであり、実際は、比較視差ｄsubがミスマッチングの視差である可能性もある（すなわち、基準視差ｄmainは真の値を示している）。しかしながら、本実施形態では、いずれかの視差にミスマッチングデータが含まれている場合でも、この基準視差ｄmainは、ミスマッチングデータとしての可能性があるものとして、第１の距離データＤ1を構成する視差ｄから棄却される。また、棄却される視差ｄが多数存在すると、距離データＤ自体の信頼性を損なってしまうことが考えられる。そこで、このような問題を解決する手法として、以下に示す手順が考えられる。
【００６５】
一例としては、まず、回転角θの異なる複数フレーム相当の距離データＤを用いて、比較視差ｄsubをそれぞれ特定する。そして、基準視差ｄmainと複数の比較視差ｄsubとにより、多数決方などを採用して、第１の距離データＤ1を構成する視差ｄの値を決定するといった如くである。また別な一例としては、まず、回転角θの異なる複数フレーム相当の距離データＤを用いて、比較視差ｄsubをそれぞれ特定する。そして、基準視差ｄmainおよび複数の比較視差ｄsubとにより、視差に関するヒストグラムを生成し、そのピーク値を、第１の距離データＤ1を構成する視差ｄの値として採用する。この際の、全投票数に対する一定割合以上のピーク値を持たない場合には、この基準視差ｄ1を、第１の距離データＤ1を構成する視差から棄却するといった如くである。
【００６６】
これらの処理を換言するならば、ステレオカメラ２は、カメラ２ａ，２ｂを円周方向にさらに回転させて、撮像範囲の一部が共通する景色を撮像することにより、１フレーム以上のステレオ画像データをさらに出力する。そして、視差決定部１５は、第１および第２の距離データＤ1，Ｄ2と、新たに出力された１フレーム以上のステレオ画像データに基づき算出された１フレーム以上の距離データとにおいて、撮像範囲が対応する領域をそれぞれ処理対象とする。そして、第１の距離データを構成する視差と撮像位置的に対応する１フレーム以上の距離データを構成する視差が特定される。これにより、基準視差ｄmainと、比較視差ｄsubと、新たに特定された視差ｄとに基づき、第１の距離データＤ1を構成する第１の視差（ｄmain）が決定されてもよい。このような手法であっても、上述した実施形態と同様の効果を奏する。また、棄却される視差ｄが減少するので、距離データの信頼性向上を図ることができる。また、例えば、多数決法などを用いる手法では、同一輝度が水平方向に連続的に並ぶ画像であっても、複数の視差に基づき視差の算出を行うことができるので、より好ましい。
【００６７】
また、本実施形態にかかるステレオ画像処理装置１では、ステレオカメラ２を円周方向に回転させながら互いに撮像範囲の一部が共通する景色を、移動ロボット全周において撮像することで、移動ロボット周辺の認識が可能になる。また、撮像範囲が対応する距離データ上のそれぞれの領域において、上述した処理を行うことで、距離データＤに関するミスマッチングデータは排除されるので、より正確な認識を行うことを可能としている。
【００６８】
また、ステレオ画像処理装置１の適用例は、本実施形態に示した移動ロボットに限定されない。例えば、車両、または、航空機等に搭載されたステレオカメラ、或いは、踏切近傍の支柱等に固定的に配置されたステレオカメラによって、所定の監視領域内の景色を撮像する。これにより得られたステレオ画像に基づいて、ステレオ画像処理装置１は、車両前方の走行状況や移動ロボットの周囲の状況、または、航空機等の高度、或いは、踏切エリア内の状況などを認識することができる。
【００６９】
【発明の効果】
このように、本発明にかかるステレオ画像処理装置およびステレオ画像処理方法によれば、俯角付きのステレオカメラを円周方向に回転させて互いに撮像範囲の一部が共通する景色を撮像することができる。これにともない出力されるステレオ画像データに基づき第１および第２の距離データを算出した場合、ステレオマッチングを行う際の探索領域（エピポーラライン）は、第１の距離データと第２の距離データとでは相違する。したがって、第１の距離データと第２の距離データとのいずれかにミスマッチングデータが含まれる可能性があったとしても、他方のデータではミスマッチングデータが含まれる可能性を低減することができる。したがって、これら距離データにおいて、対応する領域の視差を評価し、ミスマッチングを検出することにより、距離データを構成する視差の信頼性を向上させることができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ画像処理装置のブロック構成図
【図２】ステレオカメラの取付状態を示した説明図
【図３】基準画像に設定される画素ブロックの説明図
【図４】補正処理の詳細な手順を示すフローチャート
【図５】視差変換パラメータの算出手法の説明図
【図６】位置変換パラメータの算出手法の説明図
【図７】本実施形態にかかる視差決定処理の手順を示したフローチャート
【図８】本実施形態にかかる視差決定処理の手順を示したフローチャート
【図９】距離データにおいて処理対象とする領域を示す説明図
【図１０】撮像画像の一例を示す説明図
【図１１】撮像位置的に対応する視差を示す説明図
【符号の説明】
１ ステレオ画像処理装置
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
３ サーボモータ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 補正処理部
９ 視差補正部
１０ 位置補正部
１１ 補間部
１２ 画像データメモリ
１３ 距離データメモリ
１４ マイクロコンピュータ
１５ 視差決定部
１６ 認識部
１７ 制御部

Claims (13)

1. ステレオ画像処理装置において、
   水平面に対してメインカメラとサブカメラとにより構成された一対のカメラの視軸が傾いた状態で取り付けられており、前記一対のカメラにより撮像範囲の一部が共通し、エピポーララインが互いに異なる第１のステレオ画像データと第２のステレオ画像データとを出力するステレオカメラと、
   ステレオ画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、当該ステレオ画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力するステレオ処理部と、
   前記第１のステレオ画像データに基づき算出された第１の距離データと、前記第２のステレオ画像データに基づき算出された第２の距離データとにおいて、前記撮像範囲が対応する領域をそれぞれ処理対象として、前記第１の距離データを構成する第１の視差と撮像位置的に対応する前記第２の距離データを構成する第２の視差を特定するとともに、前記第２の視差に基づき算出された実空間上の位置が、前記第１の視差に基づき算出された実空間上の位置と位置的に対応しないと判断した場合には、前記撮像位置においてミスマッチングが生じていると判断する視差決定部とを有し、
   前記ステレオカメラは、前記水平面の鉛直方向を回転軸として回転することにより、エピポーララインが互いに異なる前記第１のステレオ画像データと前記第２のステレオ画像データとを出力することを特徴とするステレオ画像処理装置。
2. 前記視差決定部は、前記ミスマッチングが生じていると判断した場合には、前記第１の視差を、前記第１の距離データを構成する視差から棄却することを特徴とする請求項１に記載されたステレオ画像処理装置。
3. 前記視差決定部は、前記一対のカメラの回転中心を原点とした極座標系において、前記実空間上の位置を算出することを特徴とする請求項２に記載されたステレオ画像処理装置。
4. 前記視差決定部は、前記第２の視差が、前記第１の視差から所定のしきい値の範囲内にない場合には、前記ミスマッチングが生じていると判断し、前記第１の視差を、前記第１の距離データを構成する視差から棄却することを特徴とする請求項１に記載されたステレオ画像処理装置。
5. 前記ステレオカメラは、前記一対のカメラにより、前記第１のステレオ画像データおよび前記第２のステレオ画像データとは異なる１フレーム以上のステレオ画像データをさらに出力し、
   前記視差決定部は、前記第１の距離データと、前記第２の距離データと、前記１フレーム以上のステレオ画像データに基づき算出された１フレーム以上の距離データとにおいて、前記撮像範囲が対応する領域をそれぞれ処理対象として、前記第１の視差と撮像位置的に対応する前記１フレーム以上の距離データを構成する視差を特定するとともに、前記第１の視差と、前記第２の視差と、前記特定された視差とに基づき、前記第１の距離データを構成する第１の視差を決定することを特徴とする請求項１から４のいずれかに記載されたステレオ画像処理装置。
6. 前記視差決定部は、前記第１の視差と回転角の異なる複数フレーム相当の距離データを用いて複数特定された視差とにより、視差に関するヒストグラムを生成し、そのピーク値を、第１の距離データを構成する第１の視差として採用することを特徴とする請求項５に記載されたステレオ画像処理装置。
7. 前記水平面と前記一対のカメラの視軸とのなす傾き角に基づいて前記座標位置毎の視差変換パラメータを算出し、当該算出された視差変換パラメータに基づき前記距離データを構成する個々の視差の値を補正するとともに、前記傾き角に基づいて前記座標位置毎の位置変換パラメータを算出し、当該算出された位置変換パラメータに基づき前記距離データの座標位置を幾何学的に補正する補正処理部をさらに有し、
   前記視差決定部は、前記補正処理部によって補正された距離データを用いることを特徴とする請求項１から６のいずれかに記載されたステレオ画像処理装置。
8. 水平面の鉛直方向を回転軸として回転することにより、エピポーララインが互いに異なる第１のステレオ画像データと第２のステレオ画像データとを出力する一対のカメラを用いたステレオ画像処理方法において、
   前記水平面に対してメインカメラとサブカメラとにより構成された前記一対のカメラの視軸が傾いた状態で取り付けられており、前記一対のカメラにより、前記第１のステレオ画像データを出力する第１のステップと、
   前記一対のカメラにより、前記第１のステレオ画像データによって規定される撮像範囲の一部を含み、前記第１のステレオ画像データとエピポーララインが互いに異なる前記第２のステレオ画像データとを出力する第２のステップと、
   ステレオ画像データに基づいて、ステレオマッチングにより視差を算出するとともに、一フレーム相当の画像データに関する視差群と、当該ステレオ画像データにより規定される画像平面上の座標位置とが対応付けられた距離データを出力する第３のステップと、
   前記第１のステレオ画像データに基づき算出された第１の距離データと、前記第２のステレオ画像データに基づき算出された第２の距離データとにおいて、前記撮像範囲が対応する領域をそれぞれ処理対象として、前記第１の距離データを構成する第１の視差と撮像位置的に対応する前記第２の距離データを構成する第２の視差を特定するとともに、前記第２の視差に基づき算出された実空間上の位置が、前記第１の視差に基づき算出された実空間上の位置と位置的に対応しないと判断した場合には、前記撮像位置においてミスマッチングが生じていると判断する第４のステップと
   を有することを特徴とするステレオ画像処理方法。
9. 前記第４のステップは、前記ミスマッチングが生じていると判断した場合には、前記第１の視差を、前記第１の距離データから構成する視差から棄却することを特徴とする請求項８に記載されたステレオ画像処理方法。
10. 前記第４のステップは、前記第２の視差が、前記第１の視差から所定のしきい値の範囲内にない場合には、前記ミスマッチングが生じていると判断し、前記第１の視差を、前記第１の距離データを構成する視差から棄却することを特徴とする請求項８に記載されたステレオ画像処理方法。
11. 前記第３のステップに先立ち、
    前記一対のカメラにより、前記第１のステレオ画像データおよび前記第２のステレオ画像データとは異なる１フレーム以上のステレオ画像データを出力するステップをさらに有し、
    前記第４のステップは、前記第１の距離データと、前記第２の距離データと、前記１フレーム以上のステレオ画像データに基づき算出された１フレーム以上の距離データとにおいて、前記撮像範囲が対応する領域をそれぞれ処理対象として、前記第１の視差と撮像位置的に対応する前記１フレーム以上の距離データを構成する視差を特定するとともに、前記第１の視差と、前記第２の視差と、前記特定された視差とに基づき、前記第１の距離データを構成する第１の視差を決定することを特徴とする請求項８から１０のいずれかに記載されたステレオ画像処理方法。
12. 前記第４のステップは、前記第１の視差と回転角の異なる複数フレーム相当の距離データを用いて複数特定された視差とにより、視差に関するヒストグラムを生成し、そのピーク値を、第１の距離データを構成する第１の視差として採用することを特徴とする請求項１１に記載されたステレオ画像処理方法。
13. 前記第４のステップに先立ち、
    前記水平面と前記一対のカメラの視軸とのなす傾き角に基づいて前記座標位置毎の視差変換パラメータを算出し、当該算出された視差変換パラメータに基づき前記距離データを構成する個々の視差の値を補正するステップと、
    前記傾き角に基づいて前記座標位置毎の位置変換パラメータを算出し、当該算出された位置変換パラメータに基づき前記距離データの座標位置を幾何学的に補正するステップと
    をさらに有することを特徴とする請求項８から１２のいずれかに記載されたステレオ画像処理方法。

Images