JP2007085937A - 画像測距装置及び方法 - Google Patents

Abstract

【課題】 本発明の目的は、より正確なキャリブレーションを行うことの可能な測距装置を提供すること。
【解決手段】 本発明の測距装置は、複数の撮像手段で撮像した画像中の共通領域に存在する複数の対応点から、複数の撮像手段間の位置関係を算出するもので、画像中の共通領域から道路環境に存在する平面構造物を抽出する平面構造物抽出手段と、抽出した平面構造物の同一平面上に存在する特徴点を四点以上抽出する特徴点抽出手段と、抽出した特徴点対応点として、撮像手段間の位置関係を算出する位置関係算出手段とを備えることを特徴としている。
【選択図】 図２

Description

本発明は、複数の前記撮像手段で撮像した画像中の共通領域に存在する複数の対応点から、複数の前記撮像手段間の位置関係を算出する画像測距装置及び方法に関する。

複数の撮像手段によって取得した画像に基づいて測距を行う測距装置や方法が知られている（［特許文献１］）。［特許文献１］では、左右画像に共通して平面上に存在する四直線を抽出し、抽出した四直線を用いて射影行列を算出する。そして、算出した射影行列に基づいて、カメラのキャリブレーションを行う。
特開２００４−３３４８１９号公報

しかし、［特許文献１］では、四直線（路面上の白線）が同一平面上にない場合があり、正確なキャリブレーションを行うことができない場合があった。従って、本発明は、より正確なキャリブレーションを行うことの可能な測距装置及び方法を提供することにある。

請求項１に記載の画像測距装置は、複数の撮像手段で撮像した画像中の共通領域に存在する複数の対応点から、複数の撮像手段間の位置関係を算出するもので、画像中の共通領域から道路環境に存在する平面構造物を抽出する平面構造物抽出手段と、抽出した平面構造物の同一平面上に存在する特徴点を四点以上抽出する特徴点抽出手段と、抽出した特徴点対応点として、撮像手段間の位置関係を算出する位置関係算出手段とを備えることを特徴としている。なお、ここに言う撮像手段間の位置関係とは、カメラなどの撮像手段の相互間距離及び向きのことである。

請求項２に記載の発明は、請求項１に記載の画像測距装置において、平面構造物上に記載されているパターンの存在を認識するパターン認識手段と、識別したパターンに対応するパターン毎特徴点を記憶する識別手段とをさらに備え、抽出した平面構造物上に認識できたパターンに対応するパターン毎特徴点を特徴点として抽出することを特徴としている。

請求項３に記載の発明は、請求項２に記載の画像測距装置において、平面構造物は道路標識又はナンバープレートであり、パターンは道路標識又はナンバープレートに記載された文字又は図形であり、認識した文字又は図形の種類に基づいて特徴点を抽出することを特徴としている。

請求項４に記載の発明は、請求項２又は３に記載の画像測距装置において、パターンのエッジが構成する頂点を、パターン毎特徴点として記憶しておくことを特徴としている。なお、ここに言う頂点とは、数学的な意味での頂点であり、（ア）角を作る二直線の交点（イ）多角形の辺の交点を意味する。頂点の語に関しては以下についても同様である。

請求項５に記載の発明は、請求項１に記載の画像測距装置において、平面構造物上に記載されているパターンのエッジを抽出するエッジ抽出手段と、エッジが構成する頂点を抽出する頂点抽出手段とをさらに備え、抽出した平面構造物上から抽出できた頂点を特徴点として抽出することを特徴としている。

請求項６に記載の発明は、請求項５に記載の画像測距装置において、平面構造物は道路標識又はナンバープレートであり、道路標識又はナンバープレートに記載された文字又は図形のエッジが構成する頂点を特徴点とすることを特徴としている。

請求項７に記載の発明は、請求項１に記載の画像測距装置において、平面構造物は、その外形が四以上の頂点を持つ平面構造物であり、頂点を特徴点とすることを特徴としている。

請求項８に記載の発明は、請求項７に記載の画像測距装置において、平面構造物は道路標識、ナンバープレート、又は、トラックの荷台であることを特徴としている。

請求項９に記載の画像測距方法は、複数の撮像手段で撮像した画像中の共通領域に存在する複数の対応点から、複数の撮像手段間の位置関係を算出するもので、画像中の共通領域から道路環境に存在する平面構造物を抽出する平面構造物抽出工程と、抽出した平面構造物の同一平面上に存在する特徴点を四点以上抽出する特徴点抽出工程と、抽出した特徴点対応点として、撮像手段間の位置関係を算出する位置関係算出工程とを備えることを特徴としている。

請求項１０に記載の発明は、請求項９に記載の画像測距方法において、平面構造物上に記載されているパターンの存在を認識するパターン認識工程と、識別したパターンに対応するパターン毎特徴点を記憶する識別工程とをさらに備え、抽出した平面構造物上に認識できたパターンに対応するパターン毎特徴点を特徴点として抽出することを特徴としている。

請求項１１に記載の発明は、請求項１０に記載の画像測距方法において、平面構造物は道路標識又はナンバープレートであり、パターンは道路標識又はナンバープレートに記載された文字又は図形であり、認識した文字又は図形の種類に基づいて特徴点を抽出することを特徴としている。

請求項１２に記載の発明は、請求項９又は１０に記載の画像測距方法において、パターンのエッジが構成する頂点を、パターン毎特徴点として記憶しておくことを特徴としている。

請求項１３に記載の発明は、請求項９に記載の画像測距方法において、平面構造物上に記載されているパターンのエッジを抽出するエッジ抽出工程と、エッジが構成する頂点を抽出する頂点抽出工程とをさらに備え、抽出した平面構造物上から抽出できた頂点を特徴点として抽出することを特徴としている。

請求項１４に記載の発明は、請求項１３に記載の画像測距方法において、平面構造物は道路標識又はナンバープレートであり、道路標識又はナンバープレートに記載された文字又は図形のエッジが構成する頂点を特徴点とすることを特徴としている。

請求項１５に記載の発明は、請求項９に記載の画像測距方法において、平面構造物は、その外形が四以上の頂点を持つ平面構造物であり、頂点を特徴点とすることを特徴としている。

請求項１６に記載の発明は、請求項１５に記載の画像測距方法において、平面構造物は道路標識、ナンバープレート、又は、トラックの荷台であることを特徴としている。

各請求項の構成は、任意に組み合わせることが可能である。

請求項１又は９に記載の画像測距装置又は測距方法によれば、平面構造物を抽出してから特徴点を抽出するため、平面上にない特徴点を含めた誤った位置関係を算出する可能性が減少するため、実際に使用中の補正ながらも、位置関係の算出精度を向上させることができる。

請求項２又は１０に記載の画像測距装置又は測距方法によれば、認識した文字・図形毎に高精度に対応点を検出できる特徴点を記憶しておくことで、対応点探索の精度を向上し、もって位置関係の算出精度を向上させることができる。

請求項４又は１２に記載の画像測距装置又は測距方法では、数字の８・９などは精度良く頂点が検出できないため、頂点検出を行わない。基本的に、カーブなど頂点が検出できない部分の対応点探索の精度は低い。逆に、数字の１の角部など、特徴点として適切に用いることのできる点を記憶しておき、これを特徴点とすることで、対応点の検出精度を向上させることができる。

請求項５又は１３に記載の画像測距装置又は測距方法によれば、対応点探索では、頂点を含む対応点の計算精度が高いため、この点を積極的に抽出して特徴点とすることで、対応点探索の精度を向上させることができる。

請求項６又は１４に記載の画像測距装置又は測距方法によれば、文字又は図形の頂点は精度良く対応点検出が行えるため（標識・ナンバープレートのエッジは人間に見やすいように輝度差が明確にされているため）、位置関係の算出精度を向上させることができる。

請求項８又は１６に記載の画像測距装置又は測距方法によれば、簡易に外形の四頂点を用いても位置関係の算出が可能となる。

以下、図面を参照しつつ本発明の画像測距装置の一実施形態について説明する。本実施形態の装置は、図１に示されるように、車両１に搭載されている。装置は、画像取得部（撮像手段）２Ｒ，２Ｌと、ミリ波センサ（ミリ波レーダ）３と、撮像手段２Ｒ，２Ｌによって取得した画像に各種フィルタをかけて処理したり、ミリ波センサ３の検出結果を処理する処理部（平面構造物抽出手段・特徴点抽出手段・位置関係算出手段・パターン認識手段・識別手段）とを備えている。撮像手段２Ｒ，２Ｌは、横方向に一定間隔を設けて配設された一対のＣＣＤカメラ（画像測距センサ：ステレオカメラ）である。処理部は、ＣＣＤカメラ２Ｒ，２Ｌで取得した一対の入力画像に基づいて各種演算を行うもので、ＣＰＵやＧＰＵ、ＲＯＭ・ＲＡＭなどを備えた物体検出ＥＣＵ４である。

一対のＣＣＤカメラ２Ｒ，２Ｌは、車両１の車室内のルームミラー裏側に埋設されている。一対のＣＣＤカメラ２Ｒ，２Ｌは、同一の性能・仕様を持ったものであり、それらの設置間隔や焦点距離などは予め物体検出ＥＣＵ４内のＲＯＭなどに記憶されている。一対のＣＣＤカメラ２Ｒ，２Ｌの光軸は、正常であれば、車両１が平坦路上に置かれたときに路面に平行に配設されている。また、一対のＣＣＤカメラ２Ｒ，２Ｌの光軸は、正常時には、互いに平行で、かつ、車両１の前後方向中心線に対しても平行である。ミリ波センサ３は、車両１の前方にミリ波を照射し、その反射波を利用して車両１前方の物体との距離を検出する。

ＣＣＤカメラ２Ｒ，２Ｌ（ステレオカメラ）による対象物の検出に際しては、まず、一対のカメラ２Ｒ，２Ｌによって前方画像を取得する。一対のカメラ２Ｒ，２Ｌは所定の間隔を置いて設置されているため、撮像された一対の画像は全く同じ画像とはならず、二つの画像間にはいわゆる肉眼での視差に相当するズレ（以下、このズレも視差と言う）が生じる。即ち、二つの画像上において同一のものを示す点（以下、この一対の点を対応点と呼ぶ）に関する視差は、カメラ２Ｒ，２Ｌからの方向及び距離に応じて異なる。そこで、画像上の位置（二次元座標軸上の座標：通常左右何れか一方の画像を基準とする）と視差とから、実際の三次元空間（これに対応する三次元座標軸）上の座標、即ち、車両１からの距離が算出可能となる。

以下、図２のフローチャートに基づいて、測距装置のオンラインキャリブレーションについて説明する。以下の説明では、平面構造物が車両に取り付けられたナンバープレートである場合を例にして説明する。なお、ナンバプレート以外にも、交通標識やトラックの荷台後板などを平面構造物として検出しても良い。まず、カメラ２Ｒ，２Ｌによって車両の前方画像（前方車両のナンバープレートを含む画像）を取得する（ステップ２００）。

また、ミリ波レーダ３を用いて、車両前方車両までの距離を検出する（ステップ２０５）。ミリ波レーダ３との検出結果を、取得画像上での車両位置に変換する（ステップ２１０）。画像から、ナンバープレートを検出する（ステップ２１５）。ナンバープレートは規格化されたものであり、その大きさや内部の文字などがある程度決まっているため、検出しやすい。ここでは、ナンバープレートを例に説明しているが、交通標識なども同様である。次に、ナンバープレートの四隅（特徴点：図３の●点参照）を検出する（ステップ２２０）。

ステップ２２０の後、カメラ２Ｒ，２Ｌで撮像した画像において、この特徴点を対応点として検出する（ステップ２２５）。その後、対応画像座標点を求め（ステップ２３０）、この座標点に基づいて三次元空間に対する両カメラ２Ｒ，２Ｌの射影行列を演算し（ステップ２３５）、射影行列の基づいて左右画像を変換してキャリブレーションを行う（ステップ２４０）。そして、ステレオ視差を検出し（ステップ２４５）、測距を行う。

ここでは、ナンバープレートを用いた例を説明しているが、平面構造物としては、交通標識やトラックの荷台等でも同様のキャリブレーションを行うことができる。なお、ナンバープレートの四隅の検出について具体例を説明する。ナンバープレートの四辺は直線である。このため、まず、ナンバープレートを含む周辺の大きめのエッジ画像（例えばソーベルフィルタを用いて処理した画像）を取得する。そして、直線上に並ぶエッジ点列を検出する（例えばハフ変換）。次に、二本ずつの平行な直交する直線を二組見つけ、各直線の交点を見つける。これによって、ナンバープレートの四隅を検出でき、左右画像でそれぞれ四個の交点の対応付けを行ってキャリブレーションを行う。

上述した例は、外形が四以上の頂点を持つ平面構造物であり、これらの頂点を特徴点とする場合のキャリブレーション方法であった。次に、平面構造物（ナンバープレート）上に記載されているパターン（文字・記号）の存在を認識し、予め記憶されているパターン毎特徴点を用いてキャリブレーションを行う例について説明する。

ナンバープレート上には、数字（パターン）が記載されており、その形状はほぼ一定で特徴点を抽出しやすい。このため、特徴点の検出精度を向上させ、高精度のキャリブレーションを行うことが可能となる。図４に各数字の毎に抽出しやすい特徴点（エッジ点）を示す。各数字で丸を付した頂点部分が特徴点として検出しやすい部分である（パターン毎特徴点）。これらの特徴点を対応点として左右画像で対応付けを行ってキャリブレーションすればよい。特徴点としては、角が明確であること、なるべく四隅に広がって存在していることなどが好ましい。特に、図４中ハッチングを付した部分は、ある程度の長さの直線（エッジ点の並び）の交点であり、特徴点として使用することが好ましい。交通標識であっても、やはりパターン毎特徴点を記憶しておくことができ、同様のことを行える。

なお、特徴点の抽出を行う文字または図形が記載された平面構造物は、ナンバープレートや道路標識に限定されない。例えば道路の路面に記載された文字または図形を検出して特徴点を抽出しても良いし、道路構造物であるトンネルなどの側面に記載された文字または図形を検出して特徴点を抽出する構成としても良い。

本発明の画像測距装置の構成図である。 本発明の画像測距装置によるキャリブレーションの流れ図である。 ナンバープレートの四辺（直線）及び四隅を示す説明図である。 ナンバープレート上のパターン毎特徴点の例を示す説明図である。

Claims (16)

1. 複数の前記撮像手段で撮像した画像中の共通領域に存在する複数の対応点から、複数の前記撮像手段間の位置関係を算出する画像測距装置において、
   画像中の共通領域から道路環境に存在する平面構造物を抽出する平面構造物抽出手段と、
   抽出した平面構造物の同一平面上に存在する特徴点を四点以上抽出する特徴点抽出手段と、
   抽出した前記特徴点を対応点として、撮像手段間の位置関係を算出する位置関係算出手段とを備えることを特徴とする画像測距装置。
2. 平面構造物上に記載されているパターンの存在を認識するパターン認識手段と、識別したパターンに対応するパターン毎特徴点を記憶する識別手段とをさらに備え、
   抽出した平面構造物上に認識できた前記パターンに対応するパターン毎特徴点を前記特徴点として抽出することを特徴とする請求項１に記載の画像測距装置。
3. 前記平面構造物は道路標識又はナンバープレートであり、前記パターンは道路標識又はナンバープレートに記載された文字又は図形であり、認識した文字又は図形の種類に基づいて特徴点を抽出することを特徴とする請求項２に記載の画像測距装置。
4. 前記パターンのエッジが構成する頂点を、パターン毎特徴点として記憶しておくことを特徴とする請求項２又は３に記載の画像測距装置。
5. 平面構造物上に記載されているパターンのエッジを抽出するエッジ抽出手段と、前記エッジが構成する頂点を抽出する頂点抽出手段とをさらに備え、
   抽出した平面構造物上から抽出できた前記頂点を前記特徴点として抽出することを特徴とする請求項１に記載の画像測距装置。
6. 前記平面構造物は道路標識又はナンバープレートであり、前記道路標識又はナンバープレートに記載された文字又は図形のエッジが構成する頂点を特徴点とすることを特徴とする請求項５に記載の画像測距装置。
7. 前記平面構造物は、その外形が四以上の頂点を持つ平面構造物であり、前記頂点を特徴点とすることを特徴とする請求項１に記載の画像測距装置。
8. 前記平面構造物は道路標識、ナンバープレート、又は、トラックの荷台であることを特徴とする請求項７に記載の画像測距装置。
9. 複数の前記撮像手段で撮像した画像中の共通領域に存在する複数の対応点から、複数の前記撮像手段間の位置関係を算出する画像測距方法において、
   画像中の共通領域から道路環境に存在する平面構造物を抽出する平面構造物抽出工程と、
   抽出した平面構造物の同一平面上に存在する特徴点を四点以上抽出する特徴点抽出工程と、
   抽出した前記特徴点を対応点として、撮像手段間の位置関係を算出する位置関係算出工程とを備えることを特徴とする画像測距方法。
10. 平面構造物上に記載されているパターンの存在を認識するパターン認識工程と、識別したパターンに対応するパターン毎特徴点を記憶する識別工程とをさらに備え、
    抽出した平面構造物上に認識できた前記パターンに対応するパターン毎特徴点を前記特徴点として抽出することを特徴とする請求項９に記載の画像測距方法。
11. 前記平面構造物は道路標識又はナンバープレートであり、前記パターンは道路標識又はナンバープレートに記載された文字又は図形であり、認識した文字又は図形の種類に基づいて特徴点を抽出することを特徴とする請求項１０に記載の画像測距方法。
12. 前記パターンのエッジが構成する頂点を、パターン毎特徴点として記憶しておくことを特徴とする請求項１０又は１１に記載の画像測距方法。
13. 平面構造物上に記載されているパターンのエッジを抽出するエッジ抽出工程と、前記エッジが構成する頂点を抽出する頂点抽出工程とをさらに備え、
    抽出した平面構造物上から抽出できた前記頂点を前記特徴点として抽出することを特徴とする請求項９に記載の画像測距方法。
14. 前記平面構造物は道路標識又はナンバープレートであり、前記道路標識又はナンバープレートに記載された文字又は図形のエッジが構成する頂点を特徴点とすることを特徴とする請求項１３に記載の画像測距方法。
15. 前記平面構造物は、その外形が四以上の頂点を持つ平面構造物であり、前記頂点を特徴点とすることを特徴とする請求項９に記載の画像測距方法。
16. 前記平面構造物は道路標識、ナンバープレート、又は、トラックの荷台であることを特徴とする請求項１５に記載の画像測距方法。

Images