JP3629935B2 - Speed measurement method for moving body and speed measurement device using the method - Google Patents
Speed measurement method for moving body and speed measurement device using the method Download PDFInfo
- Publication number
- JP3629935B2 JP3629935B2 JP03060798A JP3060798A JP3629935B2 JP 3629935 B2 JP3629935 B2 JP 3629935B2 JP 03060798 A JP03060798 A JP 03060798A JP 3060798 A JP3060798 A JP 3060798A JP 3629935 B2 JP3629935 B2 JP 3629935B2
- Authority
- JP
- Japan
- Prior art keywords
- speed
- point
- moving
- object point
- same
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】
この発明は、所定の通過経路を通過する移動体の速度を、画像処理の手法を用いて計測する技術に関連するもので、特に、複数の撮像手段を用いた3次元計測処理により移動体の空間位置の変化を追跡して、速度計測を行う技術に関する。
【0002】
【従来の技術】
道路の交通流を計測するための装置として、出願人は、先般、3次元認識およびパターンマッチングの手法を用いて、道路上における車輌の位置を認識し、その位置の変化により、車輌の速度や通過台数などを認識する方法を提案した(特開平9−33232号)。この方法では、複数台のテレビカメラにより道路上の観測位置を撮像し、各カメラからの画像上で抽出された車輌の特徴点を画像間で対応づけて3次元計測処理を実施した後、この3次元計測結果を道路に沿う仮想平面上に投影し、さらにこの投影部分に対し複数種の2次元モデルを用いたマッチング処理を行って、各車輌の位置を認識する。さらに各画像取り込み時毎に認識された車輌位置を時間軸上で対応づけることにより、各車輌の動きが追跡され、速度計測が行われる。
【0003】
【発明が解決しようとする課題】
この時間軸上での車輌位置の対応づけは、具体的には、前記マッチング処理により検出された車輌位置について、一段階前に得られた検出位置の中で最も近い位置にあり、かつその距離が所定のしきい値内にある検出位置に対応づけるというものである。しかしながらこの方法では、マッチング処理による車種の認識結果を考慮せずに、時間軸上における各車輌検出位置間の距離のみを用いて対応づけを行っているため、対応づけを誤る可能性があり、速度の計測値の精度が悪くなるという問題が生じている。
【0004】
この発明は上記問題点に着目してなされたもので、所定の時間間隔を隔てて得られた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の示す各3次元座標を用いて、移動体の動きを正しくとらえることにより、その移動速度を精度良く計測することを技術課題とする。
【0005】
【課題を解決するための手段】
請求項1,2の各発明は、複数の撮像手段を移動体の通過経路に向けて配備し、各撮像手段からの画像データを取り込んで、前記通過経路上の移動体の速度を計測する方法に関する。
【0006】
請求項1の発明にかかる速度計測方法は、各撮像手段より同じタイミングで取り込まれた各画像間で、移動体の同じ物点を表す特徴点を対応づけて、前記物点の3次元座標を算出するとともに、少なくともいずれか1個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で前記移動体の同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の示す各3次元座標を用いて前記移動体の速度を計測する。さらに、各物点の3次元座標と移動速度とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する。
【0007】
請求項2の発明にかかる速度計測方法では、請求項1の発明と同様の3次元の算出処理や時間軸上での特徴点の対応づけ処理を行った後、前記移動速度に代えて空間内における各物点の移動ベクトルを特定する。そして各物点の3次元座標と特定された移動ベクトルとを用いて、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度および進行方向を認識する。
【0008】
請求項3の発明は、所定の通過経路を通過する移動体上に、複数の撮像手段を、それぞれその移動体より外側の所定方向に向けて配備し、各撮像手段からの画像データを取り込んで、前記移動体の速度を計測する方法であって、各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の3次元座標を算出するとともに、少なくともいずれか1個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各3次元座標を用いて各物点の速度を計測する。さらに、各物点の3次元座標と移動速度とを用いて、各物点を、同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識する。
【0009】
請求項4の発明にかかる速度計測装置は、請求項1の方法を実施するための装置であって、移動体の通過経路に向けて配備された複数の撮像手段と、各撮像手段からの画像を入力するための画像入力手段と、前記画像入力手段より画像が入力される都度、各入力画像上の移動体を表す特徴点を抽出する特徴点抽出手段と、同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から同じ物点を表す特徴点を対応づけする対応づけ手段と、前記対応づけ手段により対応づけられた各特徴点の2次元座標を用いて、これら特徴点の表す物点の3次元座標を算出する3次元座標算出手段と、少なくともいずれか1つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第2の対応づけ手段と、第2の対応づけ手段により時間軸上で対応づけられた特徴点の各3次元座標の算出値を用いて、前記移動体の速度を算出する速度算出手段と、各物点の3次元座標と前記移動速度の算出値とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する速度認識手段とを具備している。
【0010】
請求項5の発明の装置は、請求項4の速度算出手段に代えて、第2の対応づけ手段により時間軸上で対応づけられた特徴点の各3次元座標の算出値を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定する移動ベクトル特定手段を具備する。そして速度認識手段は、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、通過経路上の各移動体の速度を認識するように構成される。
【0011】
請求項6の発明では、請求項3の方法を実施するための装置として、所定の通過経路上を移動する移動体に、それぞれこの移動体より外側の所定方向に向けて取り付けられる複数の撮像手段と、各撮像手段からの画像を入力するための画像入力手段と、前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から前記物体の同じ物点を表す特徴点を対応づけする対応づけ手段と、前記対応づけ手段により対応づけられた各特徴点の2次元座標を用いて、これら特徴点の表す物点の3次元座標を算出する3次元座標算出手段と、少なくともいずれか1つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第2の対応づけ手段と、第2の対応づけ手段により時間軸上で対応づけられた特徴点の各3次元座標の算出値を用いて、各物点の移動速度を算出する速度算出手段と、各物点の3次元座標と前記移動速度の算出値とを用いて、各物点を同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識する速度認識手段とを具備する装置を構成する。
【0012】
【作用】
請求項1および4の発明では、各撮像手段から画像を取り込む都度、これら画像上に共通に表れる物点の3次元座標が算出される。同時に、同じ撮像手段に所定の時間間隔をおいて得られた画像上で、同じ物点を表す特徴点が対応づけられ、これら対応づけられた各特徴点の示す3次元座標により、各物点の移動速度が算出される。そしてこれら物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けすることにより、通過経路上の移動体の速度を認識することができる。
同じ移動体上の物点は、所定の距離範囲内の空間を同じ速度で移動するはずであるから、この発明によれば、通過経路上に複数の移動体が存在しても、各移動体を精度良く切り分けて、その移動速度を正確に計測することができる。
【0013】
請求項2および5の発明では、時間軸上で対応づけられた各特徴点の示す3次元座標を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定した後、各物点を、所定の距離範囲内の空間を同じ方向に同じ速度で移動するもの毎にグループ分けし、各移動体の移動速度および進行方向を認識するようにしたから、通過経路が複数方向に分岐するような地点においても、各移動体を精度良く切り分けて、それぞれの移動速度を認識することが可能となる。
【0014】
請求項3および6の発明において、移動体側に配備された複数の撮像手段により移動体の外側の所定方向を撮像した場合、各画像には、移動経路近傍の静止物体や移動経路の境界ラインなど、空間内の位置が不動の物点にかかる特徴点が多数含まれると考えられる。また、これら静止物体にかかる物点は、移動体から見て同じ速度で移動するから、各物点を移動速度に基づきグループ分けすると、静止物体に対応するグループが最も構成点の多 いグループになると考えることができる。
【0015】
よって、各画像を用いた3次元座標の算出処理や、時間軸上での物点の対応づけ処理を経て、各物点の移動速度を算出し、各物点を、同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識することにより、移動体の速度を精度良く計測することができる。
【0016】
【実施例】
図1は、この発明の一実施例にかかる車輌速度計測装置の設置例を示す。
この車輌速度計測装置は、道路RDの近傍にF字形状の支柱3を配備して、この支柱2に2台のカメラ1a,1bと制御装置2とを取り付けて構成されるもので、各カメラ1a,1bにより道路RDを上方より撮像して得られた画像を制御装置2に取り込んで、道路RDの各車道毎に通過車輌の速度計測を行って、管理センターなどの外部にその計測結果を出力する。
【0017】
前記支柱3は、その横桟を道路上に突出されて配備されている。各カメラ1a,1bは、焦点距離を同じくするレンズを有しており、支柱2の各横桟間に固定配備された支持部材5により、道路1上方の所定位置に、光軸を斜め下方向に向けて縦並びに取り付けられている。なおこの実施例では、後記する対応づけ処理や3次元計測処理を簡単に行うために、各カメラ1a,1bの光軸が道路の方向に向けて平行になり、かつ各撮像面が同一平面上に位置するように、それぞれの取り付け位置を調整している。
一方、制御装置2は、保守,点検などの必要から支柱2の基部付近に取り付けられる。
【0018】
なおこの実施例では、2台のカメラ1a,1bにより道路RDを撮像しているが、これに限らず、3台以上のカメラを用いてもよい。またカメラ1a,1bの配置は縦並びに限らず横並びにしても良い。またカメラ1a,1bを取り付ける支柱も上記のF字型支柱3に限らず、既存の電信柱や照明柱などを改良して用いてもよい。
【0019】
図2は、上記の車輌速度計測装置の構成を示す。
前記制御装置2は、2個のA/D変換部6a,6b,画像メモリ7,メモリ8,装置全体を制御するCPU9のほか、エッジ抽出部10,対応づけ処理部11,3次元計測部12,車輌認識部13,追跡処理部14,速度計測部15の各処理部を、画像・データバス16を介して相互に接続して成る。
【0020】
前記A/D変換部6a,6bは、それぞれカメラ1a,1bからのアナログ量の画像信号をディジタル量の濃淡画像信号に変換する。エッジ抽出部10は、これらディジタル変換後の入力画像上で、車輌などの物体の輪郭を示すエッジ構成点を抽出し、各エッジ構成点を黒画素とする2値のエッジ画像を生成する。これら入力画像やエッジ画像は、それぞれ画像メモリ7内の個別の記憶エリア内に格納される。
【0021】
対応づけ処理部11は、前記各エッジ画像上のエッジ構成点(以下これを「特徴点」という)について、各画像上で空間内の同じ物点を表す特徴点同士を対応づけする。3次元計測部12は、対応づけられた特徴点の組毎に、各2次元座標を三角測量の原理にあてはめて、各特徴点の表す物点の3次元座標を算出する。
【0022】
前記特徴点の対応づけ処理、および3次元座標の計測処理は、後記するように、観測領域内に新たに出現した車輌を示す特徴点に対して行われる。車輌認識部13は、これら3次元座標を用いて各車輌の位置を個別に認識し、追跡処理部14は、以後の画像取り込み毎に、この認識された車輌の位置の変化を追跡する。各段階における車輌位置の認識結果は、車輌の先頭を表す物点など、所定の代表点の3次元座標により表されるもので、速度計測部15は、この車輌位置の変化を用いて各車輌の速度を算出し、その算出結果を、図示しない伝送部を介して外部へと出力する。
【0023】
つぎにこの制御装置2における詳細な処理手順について、順を追って説明する。
各カメラ1a,1bは、図示しないタイミング制御部により、撮像動作が同期するように制御されており、各フレーム毎の画像データは、A/D変換部6a,6bによりディジタル変換された後、画像メモリ7に格納される。
【0024】
エッジ抽出部10は、各カメラ1a,1bからの入力画像上にラプラシアンフィルタなどのエッジ抽出用フィルタを走査して、ゼロクロッシング点を抽出する。さらにエッジ抽出部10は、前記ゼロクロッシング点の座標を算出して、この座標位置の画素を黒画素,他の画素を白画素とした2値のエッジ画像を生成する。
【0025】
図3(1)(2)は、前記カメラ1a,1bから入力された画像の具体例であって、それぞれ道路上の車線,車輌,車輌の影などの画像を含む画像データが生成されている。
【0026】
図4(1)(2)は、前記図3(1)(2)に示した各入力画像IU,ILについて、それぞれエッジ抽出処理を施して得られたエッジ画像EU,ELを示すもので、それぞれ車輌や車輌の影の輪郭に相当するエッジ成分が抽出されている。
【0027】
上記のエッジ抽出処理が完了すると、以下、今回の入力画像IU,IL上に新たに出現した車輌の初期位置を認識する処理、および過去の処理により既に認識されている車輌の移動位置を認識する処理が実施される。
【0028】
まず新たな車輌の認識処理について説明する。この認識処理の対象となる特徴点は、各車線の車輌の進行方向に基づき定められる。車輌認識部13は、各画像IU,ILに対し、図5に示すように、それぞれカメラ1a,1bの視野が重なる領域内に入った直後の車輌が現れる位置に、所定大きさの検出エリアrU1,rU2,rL1,rL2を定め、各検出エリアrU1,rU2,rL1,rL2毎に、それぞれエリア内で抽出された各特徴点について、各画像間で空間内の同じ物点を表す特徴点同士を特定し、両者を対応づけする。
【0029】
この対応づけ処理は、具体的には、いずれか一方のエッジ画像(ここでは上側のカメラ1aに対応するエッジ画像EUとする)上の前記検出エリアrU1,rU2内にある所定の特徴点について、他方のエッジ画像EL上での対応点を抽出するもので、図6(1)〜(4)には、この対応づけ処理の具体的な方法が示されている。
【0030】
図示例は、検出エリアrU1内の特徴点Pに対応する特徴点Qを特定するもので、まず対応づけ処理部11は、エッジ画像EL上に、前記特徴点PにかかるエピポーララインLを設定し、検出エリアrL1内においてこのエピポーララインL上に位置する各特徴点Q1〜Q5を、特徴点Pの対応候補点として抽出する。
なおこの場合、カメラ1a,1bは、前記したように縦並びに配備されているので、エピポーララインLはx軸に垂直になり、対応候補点を容易に抽出することができる。
【0031】
つぎに対応づけ処理部11は、前記エッジ画像EUに対応する入力画像IU上の点Pの位置(x,yU)に、この点Pを中心点とする所定の大きさのウィンドウWUを設定する。また前記エッジ画像ELに対応する第2の入力画像ILの前記対応候補点Q1〜Q5の位置にも、それぞれ、その点Q1〜Q5を中心点とし、前記ウィンドウWUと同じ大きさを有するウィンドウW1〜W5を設定する。
【0032】
各ウィンドウが設定されると、対応づけ処理部11は、入力画像IL上の各ウィンドウW1〜W5についてそれぞれつぎの(1)式を実行し、各ウィンドウと前記ウィンドウWUとの画像データの相違度DFを算出する。
なお、次式において、gU(x,y)はウィンドウWU内の所定の画素の輝度値を、gL(x,y)はウィンドウWL(L=1〜5)内の所定の画素の輝度値を、SZはウィンドウのサイズを、それぞれ示す。またi,jは、0〜SZの範囲内で変動して、各ウィンドウ内の着目画素を特定するための変数である。
【0033】
【数1】
【0034】
対応づけ処理部11は、各ウィンドウW1〜W5について求められたウィンドウWUとの相違度DFを比較し、相違度が最も小さくなるウィンドウをウィンドウWUに対応するものとして判別する。そしてそのウィンドウの中心点QL(図示例の場合L=2)を前記特徴点Pの対応点として決定する。
【0035】
なお上記の相違度の代わりに、各ウィンドウW1〜W5毎にウィンドウWUとの間の正規化相互相関演算を行い、最も高い相関値が得られたウィンドウをウィンドウWUに対応するものと判別するようにしてもよい。
【0036】
上記の対応づけ処理が、抽出されたすべての特徴点について行われると、3次元計測部12は、対応する各特徴点P,Q毎に、これら特徴点の2次元座標を三角測量の原理にあてはめて、対応する物点の3次元座標を算出する。
【0037】
図7は、上記の三角測量の原理を示す。
図中Rは、道路上の車輌16の所定の構成点を示すもので、各カメラ1a,1bの撮像面GU,GL上にこの点Rの物点像P,Qが現れている。
なお図中、CUはカメラ1aの焦点を、CLはカメラ3bの焦点を、それぞれ示す。
【0038】
上記の物点像P,Qが前記エッジ画像EU,EL間の対応する特徴点として現れるもので、各点上に対応する3次元座標は物点Rの空間位置に相当する。したがってこの対象物の代表的な物点について、その物点の画像上の結像位置を特定し、これら結像位置の2次元座標を用いて各物点の3次元座標を算出することにより、対象物の立体形状や空間位置を把握することができる。
【0039】
図8(1)は、前記各カメラ1a,1bの位置関係により決定される空間座標系(以下これを「ステレオ座標系」という)を示し、図8(2)は、実際の空間における各物点の位置を表すための空間座標系と上記ステレオ座標系との位置関係を示す。
【0040】
図8(1)中、XUYUZU,XLYLZLで表される各空間座標系は、それぞれ各カメラ1a,1bのカメラ座標系を示し、これらカメラ座標系の原点CU,CL(前記焦点の位置)を結ぶ基線の中心点O′を原点としてステレオ座標系が設定される。なお前記したように、各カメラ1a,1bは光軸を平行に配置されているから、各カメラ座標系およびステレオ座標系の各軸XUYUZU,XLYLZL,X′Y′Z′は、互いに平行の位置関係にある。
【0041】
各撮像面GU,GL上における2次元座標は、それぞれ対応するカメラ座標系のZU,ZL軸との交点位置を原点oU,oLとし、撮像面の水平方向にxU,xL軸が、垂直方向にyU,yL軸が定められている。また実際の空間位置を表す座標系は、図8(2)に示すように、カメラ座標系の原点O′から路面上に下ろした垂線の足を原点Oとし、道路の幅方向をX軸,長さ方向をZ軸,高さ方向をY軸として、定められる。
【0042】
このような座標系の設定において、前記対応づけられた各特徴点P,Qの2次元座標を(x,yU),(x,yL),各カメラ3a,3bの俯角をθ,各カメラ座標系の原点CU,CL間の距離をB,原点O,O′間の距離をHとすると、各特徴点P,Qにより表される物点Rの3次元座標(X,Y,Z)は、つぎの(2)〜(4)式により算出される。
【0043】
【数2】
【0044】
【数3】
【0045】
【数4】
【0046】
このようにして、前記検出エリアrU1,rU2,rL1,rL2内で抽出されたすべての特徴点に対応する3次元座標が算出されると、車輌認識部13は、各検出エリアrU1,rU2,rL1,rL2毎に、算出された各3次元座標をクラスタリング処理して、各座標を車輌毎にグループ化する。そしてこのグループの中から車輌の先頭位置を示す座標を抽出し、その抽出位置をもって車輌位置とする。この車輌位置として抽出された物点の3次元座標は、メモリ8内に格納され、以後、画像入力毎に、その時点での車輌の移動位置を示す3次元座標が順次蓄積されて、車輌の軌跡データが生成される。
【0047】
なお車輌の認識処理は、クラスタリング処理に限らず、前述した特開平9−33232号公報に記載のように、各3次元座標を、それぞれ道路の長さ方向(すなわちZ軸方向)に沿う仮想垂直平面上に投影し、その投影結果を車輌の2次元モデルと照合する方法を用いてもよい。
【0048】
つぎに既に過去の処理により認識されている車輌について、その移動位置を追跡して速度を算出する処理を説明する。
いまある時点で、車輌の初期位置または移動位置が認識されると、いずれか一方の入力画像(ここではカメラ3aにより得られた入力画像IUとする)において、認識された車輌の位置に対応する特徴点(すなわち車輌の先頭位置を示す特徴点)の座標、およびこの特徴点を中心とする所定大きさの画像領域内の画像データ(以下これを「特徴画像M」という)が切り出され、追跡処理用のデータとしてメモリ8内に格納される。そして所定時間T経過後に、つぎの画像が入力されると、追跡処理部14は、この時点でのカメラ1aからの入力画像IUT上で、前記1フレーム前に認識された車輌の移動位置を特定した後、この特定された2次元上の車輌位置を3次元座標に変換する。
【0049】
図9は、入力画像UT上において車輌の移動位置を特定するための具体的な方法を示す。この入力画像IUTは、前記図3(1)の入力画像IUの入力から所定時間経過後に得られた画像であって、図中の点Aは、前記図3(1)の入力画像IU上で車輌位置として特定された位置を示す。追跡処理部14は、この点Aの座標位置を基準に所定大きさの走査領域17を設定した後、その走査領域内に前記特徴画像Mを走査して、各走査位置毎に前記対応づけ処理と同様の(1)式を実行する。この結果、相違度DFが最も小さくなる走査位置において特徴画像Mの中心点に対応する点A′が、車輌の移動位置として認識される。
【0050】
入力画像IUT上において車輌の移動位置を示す点A′が特定されると、つぎに追跡処理部14は、この点A′の2次元座標(xT,yT)を(5)〜(7)式にあてはめて、前記点A′に対応する物点の3次元座標、すなわち空間内における車輌の移動位置(XT,YT,ZT)を算出し、これをメモリ8内の軌跡データに追加する。
【0051】
なおこの(5)〜(7)式は、車輌が移動しても、空間内における車輌の高さデータは変動しない点に着目してなされるもので、(5)(7)式のαx,αyは、それぞれ、入力画像上のx,yの各軸方向における1画素分の長さを示す。また各式中のY0は、該当車輌の画像が検出エリアに入った時点、すなわちこの車輌の3次元計測が認識可能となった時点で得られた車輌初期位置のY座標値である。この方法によれば、前記点A′について、他方のカメラ1bからの入力画像IL上での対応点を抽出することなく、3次元計測処理を実施することができるので、制御装置2の処理負担が削減される。したがって処理速度の遅い安価なシステム構成であっても、車輌速度の計測処理を高速化することが可能となる。
【0052】
【数5】
【0053】
【数6】
【0054】
【数7】
【0055】
以下同様にして、画像入力の都度、カメラ1aからの入力画像を用いて、車輌の新たな移動位置が認識されるもので、速度計測部15は、各車輌毎に、1段階前の車輌位置(XT−1,YT−1,ZT−1)と今回求められた車輌位置(XT,YT,ZT)とを、つぎの(8)式にあてはめて、車輌の速度Sを算出する。
【0056】
【数8】
【0057】
このように、入力画像上の車輌位置を時間軸上で正しく対応づけすることにより、対応づけられた各点の示す3次元座標をもって実際の空間における車輌の動きを正しくとらえることができるので、各車輌の速度を精度良く算出することができる。
【0058】
なおここでは説明を簡単にするために、車輌位置として、車輌の先頭位置を示す1特徴点を抽出し、この先頭位置の変化により速度を算出しているが、認識精度を向上させるには、車輌のフロント部など所定の特徴形状を表す複数個の特徴点を認識対象とした方が良い。この場合、一方のカメラ1aからの毎時の入力画像を用いて認識対象の各特徴点の位置を時間軸上で追跡し、その移動位置を3次元座標に変換して各特徴点毎の速度を算出した後、算出された各速度の平均値などをもって車輌の移動速度とすることになる。
【0059】
また上記の方法では、まず3次元計測が可能な領域内に入った直後の車輌を認識して、その車輌の空間内の車輌位置を特定した後、順次同一車輌の移動位置を追跡するようにしているが、これに代えて、空間内を同じ速度で移動する物点を同一車輌として認識し、その共通の速度をもって車輌の移動速度とすることも可能である。
【0060】
すなわち画像入力毎に、各入力画像IU,IL上のすべての特徴点について、前記した画像間の対応づけ処理を行った後、対応する特徴点の組毎に3次元座標値を求めておく。ついで一方の入力画像IU上で、1フレーム前の入力画像上の各特徴点と今回の入力画像上の特徴点とを対応づけし、これら時間軸上で対応する特徴点の組毎に、それぞれの3次元座標の算出値を前記(8)式にあてはめて、空間内を移動する各物点の速度を算出する。この後、各物点を、それぞれの3次元座標と移動速度とを用いて、所定距離範囲内にありかつ所定の誤差範囲内の速度で移動する物点毎にグループ分けすることにより、各車輌の物点を切り分けて認識できるのである。
【0061】
なおこのように画像上の各物点の速度を求める場合にも、各入力画像上に新たに出現した物点についてのみ、各入力画像間で特徴点を対応づけした後、その結果を前記(2)〜(4)にあてはめて3次元座標を算出し、その後は、一方の画像上で特徴点の位置を追跡して、その追跡結果を前記(5)〜(7)式にあてはめることにより3次元座標を算出するようにすれば、速度計測処理を高速化することができる。
【0062】
また上記の移動速度に代えて、各物点毎に、その3次元座標の推移から空間内における移動ベクトルを特定するようにしてもよい。この場合、各物点は、各移動ベクトルの方向および長さを比較することにより、所定距離範囲内にあり、かつ空間内を同じ方向に同じ速度で移動する物点毎に切り分けて認識される。これにより交差点など、車輌の移動方向が複数方向に分岐する地点でも、各車輌の進行方向と移動速度とを、精度良く計測することができる。
なお前記したように、車輌上の各物点の高さは、移動に関わらず常に一定であるから、前記移動ベクトルの比較は、X軸方向とZ軸方向においてのみ行えばよい。
【0063】
つぎに、車輌速度計測装置の他の例を説明する。
この速度計測装置は一車輌に取り付けられて、その車輌や前方車輌の速度を算出するためのものである。
【0064】
図10は、速度計測装置の設置例を示すもので、車輌19の前面位置に、2台のカメラ20a,20bが収容されたカメラボックス21が取り付けられるとともに、車体内部にこれらカメラからの画像を処理して速度計測を実施するための制御装置22が配備される。なお図中、25は、計測結果などを送信するためのアンテナである。
【0065】
各カメラ20a,20bは、前記実施例と同様、光軸を平行かつ撮像面をカメラボックス21外の同一平面上に位置させた状態で、カメラボックス21内に固定配備されており、車輌走行中に同一タイミングで動作して、車輌19の前方位置の画像データを生成する。
【0066】
図11は、いずれか一方のカメラからの入力画像を示すもので、車輌の前方位置にある静止物体24や、前方車輌の画像23が現れている。
制御装置22は、このような画像上で、静止物体24や車輌23を表す特徴点を抽出し、これら特徴点の座標により前記した実施例と同様の3次元計測処理や速度計測処理を実施して、空間内の各物点毎に自車輌から見た移動速度を算出する。
【0067】
上記のように、道路上を走行する車輌から前方位置を撮像して、その画像上のエッジを抽出すると、図12に示すように、前記静止物体24や道路の境界ラインなど、空間内の位置が不動の物点にかかる特徴点が、多数、抽出される。また前記車輌よりこれら静止物体の特徴点を観測して得られた移動速度は、自車輌の移動速度に相当するものと考えられる。
【0068】
制御装置22は、上記原理に基づき、前記抽出された各物点をその速度に応じてクラスタリングし、最も構成点の多いクラスタの速度を、静止物体の移動速度、すなわち自車輌の速度として認識する。またその他のクラスタに分類された特徴点は、空間内の位置データに基づいてさらにグループ化され、各グループ毎の速度により、自車輌の前方にある車輌の各速度が切り分けて認識される。なおこの前方車輌の速度は、自車輌に対する相対速度として算出されるものであって、実際の速度が自車輌より遅い場合は負の値をとり、自車輌より速い速度の場合は正の値をとる。
【0069】
このような方法により、前方車輌の速度を精度良く計測することが可能となるので、車間距離や衝突の危険度の認識を正確に行うことができ、高速道路における車輌の走行速度の自動制御などに有効な速度計測装置を提供することができる。
【0070】
なお上記の各実施例は、いずれも車輌を計測対象としたが、この発明は、これに限らず、セキュリティシステムにおける人間の移動速度や、工場の製造ラインや物流システムにおける物体の移動速度を計測する際にも、適用することができる。
【0071】
【発明の効果】
請求項1,4の発明では、3次元座標の算出値を時間軸上で対応づけて物点毎の移動速度を求めた後、これら物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けすることにより、通過経路上の移動体の速度を認識するので、通過経路上に複数の移動体が存在しても、各移動体を精度良く切り分けて、その移動速度を正確に計測することができる。
【0072】
請求項2および5の発明では、各物点に対し、前記移動速度に代えて空間内における移動ベクトルを特定した後、各物点を、所定の距離範囲内の空間を同じ方向に同じ速度で移動する物点毎にグループ分けし、各移動体の移動速度および進行方向を認識するようにしたから、通過経路が複数方向に分岐するような地点においても、各移動体を精度良く切り分けて、それぞれの移動速度を認識することが可能となる。
【0073】
請求項3および6の発明では、移動体側に配備された複数の撮像手段により移動体の外側の所定方向を撮像し、3次元計測処理や時間軸上での3次元座標の対応づけ処理を経て物点毎の移動速度を求めた後、移動速度に基づくグループ分けにより静止物体に対応する物点のグループを抽出して、そのグループの移動速度を移動体の速度として認識するから、移動体の速度を精度良く計測することができる。
【図面の簡単な説明】
【図1】この発明の一実施例にかかる車輌速度計測装置の設置例を示す斜視図である。
【図2】図1の車輌速度計測装置の構成を示すブロック図である。
【図3】入力画像の一例を示す説明図である。
【図4】図3の各入力画像より生成されたエッジ画像を示す説明図である。
【図5】検出エリアの設定例を示す説明図である。
【図6】各画像間における特徴点の対応づけ処理の具体例を示す説明図である。
【図7】三角測量の原理を示す説明図である。
【図8】3次元計測処理にかかる各座標系の位置関係を示す説明図である。
【図9】入力画像上で車輌の移動位置を抽出する方法を示す説明図である。
【図10】第2の車輌速度計測装置の設置状態を示す斜視図である。
【図11】図10の車輌速度計測装置における入力画像の例を示す説明図である。
【図12】図11の入力画像から生成されたエッジ画像を示す説明図である。
【符号の説明】
1a,1b,20a,20b カメラ
2,22 制御装置
10 エッジ抽出部
11 対応づけ処理部
12 3次元計測部
13 車輌認識部
14 追跡処理部
15 速度算出部[0001]
[Industrial application fields]
The present invention relates to a technique for measuring the speed of a moving body that passes a predetermined passage route by using an image processing technique, and in particular, the three-dimensional measurement processing using a plurality of imaging means. Track changes in spatial position and measure speedTechnologyAbout.
[0002]
[Prior art]
As a device for measuring the traffic flow on the road, the applicant has recently recognized the position of the vehicle on the road using the three-dimensional recognition and pattern matching techniques, and the speed of the vehicle is A method for recognizing the number of passing vehicles was proposed (Japanese Patent Laid-Open No. 9-33232). In this method, the observation position on the road is imaged by a plurality of television cameras, the vehicle feature points extracted on the images from each camera are associated between the images, and the three-dimensional measurement process is performed. A three-dimensional measurement result is projected on a virtual plane along the road, and a matching process using a plurality of types of two-dimensional models is performed on the projected portion to recognize the position of each vehicle. Furthermore, the movement of each vehicle is tracked and the speed is measured by associating on the time axis the vehicle position recognized at each image capture time.
[0003]
[Problems to be solved by the invention]
Specifically, the correspondence of the vehicle positions on the time axis is the closest position among the detected positions obtained one step before the vehicle position detected by the matching process, and the distance. Is associated with a detection position within a predetermined threshold. However, in this method, since the association is performed using only the distance between each vehicle detection position on the time axis without considering the recognition result of the vehicle type by the matching process, there is a possibility that the association is erroneous. There is a problem that the accuracy of the measured value of the speed is deteriorated.
[0004]
The present invention has been made paying attention to the above problems, and after associating feature points representing the same object points between images obtained at predetermined time intervals, the corresponding feature points on these time axes. It is a technical subject to accurately measure the moving speed by correctly capturing the movement of the moving body using the three-dimensional coordinates indicated by
[0005]
[Means for Solving the Problems]
[0006]
The speed measurement method according to the first aspect of the present invention relates to the feature points representing the same object point of the moving body between the images captured at the same timing from the respective imaging means, and obtains the three-dimensional coordinates of the object point. In addition to calculating, at least one of the imaging means associates a feature point representing the same object point of the moving object between images captured at a predetermined time interval.AfterUsing these three-dimensional coordinates indicated by the corresponding feature points on the time axis, the speed of the moving object is determined.measure. Further, using the three-dimensional coordinates of each object point and the moving speed, each object point is grouped into objects that move in the space within a predetermined distance range at the same speed, and each movement on the passage route is performed. Recognize body speed.
[0007]
In the speed measurement method according to the invention of
[0008]
Claim 3According to the present invention, a plurality of imaging means are arranged on a moving body that passes through a predetermined passage, respectively, in a predetermined direction outside the moving body, and image data from each imaging means is captured and the movement is performed. A method for measuring the speed of the body between images captured at the same timing from each imaging means.Corresponding feature points representing the same object point,After calculating the three-dimensional coordinates of each object point and associating feature points representing the same object point between images captured at a predetermined time interval for at least one of the imaging means, these times Of the corresponding feature point on the axisEach three-dimensional coordinateUsingMeasure the speed of each object point. Furthermore, using the three-dimensional coordinates of each object point and the moving speed, each object point is grouped into those that move at the same speed, and the speed of the group with the most constituent points is recognized as the speed of the moving object. To do.
[0009]
Claim 4The speed measurement apparatus according to the invention is an apparatus for carrying out the method of
[0010]
The device of the invention of
[0011]
Claim 6In the invention ofClaim 3As an apparatus for carrying out the above method, the apparatus is attached to a moving body that moves on a predetermined passage route in a predetermined direction outside the moving body.MultipleEach time an image is input from the image input means, an image input means for inputting an image from each image pickup means, and the image input means,Feature point extraction means for extracting feature points on each input image;Correspondence means for associating feature points representing the same object point of the object among the feature points extracted by the feature point extraction means between the images input at the same timing;By the association meansA predetermined time interval is set for at least one of the three-dimensional coordinate calculating means for calculating the three-dimensional coordinates of the object point represented by the feature points and the at least one imaging means using the two-dimensional coordinates of each feature point associated with each other. Second associating means for associating feature points representing the same object points between the captured images, and the three-dimensional coordinates of the feature points associated on the time axis by the second associating means Calculate the moving speed of each object point using the calculated valueUsing the speed calculation means, the three-dimensional coordinates of each object point and the calculated value of the moving speed, each object point is grouped for each object moving at the same speed, and the speed of the group with the most constituent points is Speed recognition means for recognizing the speed of a moving objectThe apparatus which comprises is comprised.
[0012]
[Action]
In the inventions of
Object points on the same moving objectA space within a given distance range at the same speedSince it should move, according to this invention, even if there are a plurality of moving bodies on the passage route, each moving body can be accurately separated and its moving speed can be accurately measured.
[0013]
[0014]
[0015]
Therefore, the movement speed of each object point is calculated through the calculation process of three-dimensional coordinates using each image and the object point correspondence process on the time axis, and each object point is moved at the same speed. By grouping each group and recognizing the speed of the group having the most constituent points as the speed of the moving body, the speed of the moving body can be measured with high accuracy.
[0016]
【Example】
FIG. 1 shows an installation example of a vehicle speed measuring device according to an embodiment of the present invention.
This vehicle speed measuring device is configured by arranging an F-shaped
[0017]
The said support |
On the other hand, the
[0018]
In this embodiment, the road RD is imaged by the two cameras 1a and 1b. However, the present invention is not limited to this, and three or more cameras may be used. Further, the arrangement of the cameras 1a and 1b is not limited to the vertical arrangement, but may be the horizontal arrangement. Further, the column for attaching the cameras 1a and 1b is not limited to the F-shaped
[0019]
FIG. 2 shows the configuration of the vehicle speed measuring device.
The
[0020]
The A / D converters 6a and 6b convert the analog image signals from the cameras 1a and 1b into digital image signals. The
[0021]
The association processing unit 11 associates feature points representing the same object point in the space on each image with respect to edge composing points (hereinafter referred to as “feature points”) on the respective edge images. The three-
[0022]
The feature point association process and the three-dimensional coordinate measurement process are performed on a feature point indicating a vehicle that has newly appeared in the observation region, as will be described later. The
[0023]
Next, a detailed processing procedure in the
The cameras 1a and 1b are controlled so that the imaging operations are synchronized by a timing control unit (not shown), and image data for each frame is digitally converted by the A / D conversion units 6a and 6b, Stored in the memory 7.
[0024]
The
[0025]
3 (1) and 3 (2) are specific examples of images input from the cameras 1a and 1b, and image data including images such as lanes on the road, vehicles, and vehicle shadows are generated. .
[0026]
4 (1) and 4 (2) show the input images I shown in FIGS. 3 (1) and 3 (2).U, ILEdge images E obtained by performing edge extraction processingU, ELThe edge components corresponding to the contour of the vehicle and the shadow of the vehicle are extracted.
[0027]
When the above edge extraction processing is completed, the current input image IU, ILProcessing for recognizing the initial position of a vehicle that has newly appeared on the top and processing for recognizing the movement position of a vehicle that has already been recognized by past processing are performed.
[0028]
First, a new vehicle recognition process will be described. The feature points to be subjected to the recognition process are determined based on the traveling direction of the vehicle in each lane. The
[0029]
Specifically, this association processing is performed by any one of the edge images (here, the edge image E corresponding to the upper camera 1a).UThe detection area r aboveU1, RU2The other edge image E with respect to a predetermined feature point insideLThe corresponding points in the above are extracted, and FIGS. 6 (1) to 6 (4) show a specific method of the correspondence processing.
[0030]
The illustrated example shows the detection area rU1The feature point Q corresponding to the feature point P in the image is specified.LAn epipolar line L for the feature point P is set above, and a detection area rL1Each feature point Q located on this epipolar line L within1~ Q5Are extracted as corresponding candidate points of the feature point P.
In this case, since the cameras 1a and 1b are arranged vertically as described above, the epipolar line L is perpendicular to the x-axis, and the corresponding candidate points can be easily extracted.
[0031]
Next, the association processing unit 11 performs the edge image E.UInput image I corresponding toUThe position of the upper point P (x, yU), A window W having a predetermined size centered on this point P.USet. The edge image ELThe second input image I corresponding toLThe corresponding candidate point Q of1~ Q5Each point has its point Q1~ Q5And the window WUWindow W having the same size as1~ W5Set.
[0032]
When each window is set, the association processing unit 11 inputs the input image I.LEach window W above1~ W5The following equation (1) is executed for each window and each window and the window WUThe difference DF of the image data is calculated.
In the following formula, gU(X, y) is the window WUThe luminance value of a predetermined pixel inL(X, y) is the window WLThe luminance value of a predetermined pixel in (L = 1 to 5), SZ indicates the size of the window. Further, i and j are variables for specifying the pixel of interest in each window by varying within the range of 0 to SZ.
[0033]
[Expression 1]
[0034]
The association processing unit 11 displays each window W1~ W5Window W asked forUThe difference DF is compared with the window W, and the window with the smallest difference is the window W.UIt is determined that it corresponds to. And the center point Q of the windowL(L = 2 in the illustrated example) is determined as the corresponding point of the feature point P.
[0035]
Each window W instead of the above difference1~ W5Every window WUThe window where the highest correlation value is obtained is obtained by performing the normalized cross-correlation operation betweenUYou may make it discriminate | determine from what corresponds.
[0036]
When the above association processing is performed for all extracted feature points, the three-
[0037]
FIG. 7 shows the principle of triangulation described above.
In the figure, R indicates a predetermined component point of the
In the figure, CUIs the focus of the camera 1a, CLIndicates the focus of the camera 3b.
[0038]
The object image P, Q is the edge image EU, ELThe three-dimensional coordinates corresponding to each point correspond to the spatial position of the object point R. Therefore, for the representative object points of this object, the image formation position on the image of the object point is specified, and by calculating the 3D coordinates of each object point using the 2D coordinates of these image formation positions, The three-dimensional shape and spatial position of the object can be grasped.
[0039]
FIG. 8 (1) shows a spatial coordinate system (hereinafter referred to as “stereo coordinate system”) determined by the positional relationship between the cameras 1a and 1b, and FIG. 8 (2) shows each object in the actual space. The positional relationship between the spatial coordinate system for representing the position of the point and the stereo coordinate system is shown.
[0040]
In FIG. 8 (1), XUYUZU, XLYLZLEach spatial coordinate system represented by represents the camera coordinate system of each camera 1a, 1b, and the origin C of these camera coordinate systems.U, CLA stereo coordinate system is set with the center point O ′ of the base line connecting (the focal position) as the origin. As described above, since the cameras 1a and 1b have the optical axes arranged in parallel, the axes X of the camera coordinate system and the stereo coordinate system are used.UYUZU, XLYLZL, X′Y′Z ′ are parallel to each other.
[0041]
Each imaging surface GU, GLThe two-dimensional coordinates above are Z in the corresponding camera coordinate system.U, ZLThe intersection point with the axis is the origin oU, OLX in the horizontal direction of the imaging surfaceU, XLThe axis is y in the vertical directionU, YLAn axis is defined. As shown in FIG. 8 (2), the coordinate system representing the actual spatial position is defined by the origin O as the perpendicular foot drawn from the origin O 'of the camera coordinate system onto the road surface, and the width direction of the road as the X axis, The length direction is determined as the Z axis, and the height direction as the Y axis.
[0042]
In such a coordinate system setting, the two-dimensional coordinates of the associated feature points P and Q are expressed as (x, yU), (X, yL), The angle of depression of each camera 3a, 3b is θ, and the origin C of each camera coordinate systemU, CLAssuming that the distance between the points B and the distance between the origins O and O ′ is H, the three-dimensional coordinates (X, Y, Z) of the object point R represented by the feature points P and Q are given by (2) It is calculated by the formula (4).
[0043]
[Expression 2]
[0044]
[Equation 3]
[0045]
[Expression 4]
[0046]
In this way, the detection area rU1, RU2, RL1, RL2When the three-dimensional coordinates corresponding to all the feature points extracted in the vehicle are calculated, the
[0047]
The vehicle recognition process is not limited to the clustering process, and as described in Japanese Patent Laid-Open No. 9-33332 described above, each three-dimensional coordinate is assumed to be a virtual vertical along the road length direction (that is, the Z-axis direction). A method of projecting on a plane and collating the projection result with a two-dimensional model of the vehicle may be used.
[0048]
Next, a process for calculating the speed by tracking the moving position of a vehicle that has already been recognized by the past process will be described.
If the initial position or the moving position of the vehicle is recognized at a certain point in time, either one of the input images (here, the input image I obtained by the camera 3a)UAnd the coordinates of the feature point corresponding to the recognized vehicle position (that is, the feature point indicating the head position of the vehicle), and image data (hereinafter referred to as image data) in an image area having a predetermined size centered on the feature point. This is referred to as “feature image M”) and is stored in the memory 8 as data for tracking processing. When the next image is input after the elapse of the predetermined time T, the
[0049]
Figure 9 shows the input imageUTA specific method for specifying the moving position of the vehicle is shown above. This input image IUTIs the input image I in FIG.UThe point A in the figure is obtained after a predetermined time has elapsed from the input of the input image I in FIG.UThe position specified as the vehicle position above is shown. The
[0050]
Input image IUTWhen the point A ′ indicating the moving position of the vehicle is specified above, the
[0051]
The equations (5) to (7) are made by paying attention to the fact that the height data of the vehicle in the space does not fluctuate even if the vehicle moves, and α in the equations (5) and (7)x, ΑyIndicates the length of one pixel in the x and y axis directions on the input image. Y in each formula0Is the Y coordinate value of the vehicle initial position obtained when the image of the vehicle enters the detection area, that is, when the three-dimensional measurement of the vehicle can be recognized. According to this method, the input image I from the other camera 1b is obtained for the point A ′.LSince the three-dimensional measurement process can be performed without extracting the corresponding points above, the processing load on the
[0052]
[Equation 5]
[0053]
[Formula 6]
[0054]
[Expression 7]
[0055]
In the same manner, each time an image is input, a new moving position of the vehicle is recognized using the input image from the camera 1a, and the
[0056]
[Equation 8]
[0057]
Thus, by correctly associating the vehicle position on the input image on the time axis, it is possible to correctly grasp the movement of the vehicle in the actual space with the three-dimensional coordinates indicated by the associated points. The speed of the vehicle can be calculated with high accuracy.
[0058]
In order to simplify the explanation, one feature point indicating the head position of the vehicle is extracted as the vehicle position, and the speed is calculated based on the change in the head position. To improve the recognition accuracy, It is better to use a plurality of feature points representing a predetermined feature shape such as the front part of the vehicle as recognition targets. In this case, the position of each feature point to be recognized is tracked on the time axis using the hourly input image from one camera 1a, the moving position is converted into three-dimensional coordinates, and the speed for each feature point is obtained. After the calculation, the average value of the calculated speeds is used as the moving speed of the vehicle.
[0059]
In the above method, the vehicle immediately after entering the region where the three-dimensional measurement can be performed is recognized, the vehicle position in the space of the vehicle is specified, and then the movement position of the same vehicle is sequentially tracked. However, instead of this, it is also possible to recognize object points that move in the space at the same speed as the same vehicle, and use the common speed as the moving speed of the vehicle.
[0060]
That is, for each image input, each input image IU, ILAfter all the above feature points have been subjected to the above-described correlation process between images, a three-dimensional coordinate value is obtained for each set of corresponding feature points. Then one input image IUIn the above, each feature point on the input image one frame before is associated with the feature point on the current input image, and each three-dimensional coordinate is calculated for each set of corresponding feature points on the time axis. The value is applied to the equation (8) to calculate the speed of each object point moving in the space. Thereafter, each object point is grouped into object points that move within a predetermined distance range and at a speed within a predetermined error range by using the respective three-dimensional coordinates and moving speeds. It is possible to recognize the object points by separating them.
[0061]
In addition, also when calculating | requiring the speed of each object point on an image in this way, after associating the feature point between each input image only about the object point which newly appeared on each input image, the result is said (( By applying to 2) to (4) to calculate the three-dimensional coordinates, and then tracking the position of the feature point on one image and applying the tracking result to the above formulas (5) to (7) If the three-dimensional coordinates are calculated, the speed measurement process can be speeded up.
[0062]
Further, instead of the above moving speed, a moving vector in the space may be specified for each object point from the transition of the three-dimensional coordinates. In this case, by comparing the direction and length of each movement vector, each object point is recognized by being separated for each object point that is within a predetermined distance range and moves in the same direction at the same speed in the space. . As a result, the traveling direction and the moving speed of each vehicle can be accurately measured even at a point such as an intersection where the moving direction of the vehicle branches in a plurality of directions.
As described above, since the height of each object point on the vehicle is always constant regardless of the movement, the movement vectors may be compared only in the X-axis direction and the Z-axis direction.
[0063]
Next, another example of the vehicle speed measuring device will be described.
This speed measuring device is attached to one vehicle and is used for calculating the speed of the vehicle and the preceding vehicle.
[0064]
FIG. 10 shows an installation example of the speed measuring device. A
[0065]
Each
[0066]
FIG. 11 shows an input image from one of the cameras, and a
The
[0067]
As described above, when a front position is imaged from a vehicle traveling on a road and an edge on the image is extracted, a position in space such as the
[0068]
Based on the above principle, the
[0069]
Such a method makes it possible to accurately measure the speed of the vehicle ahead, so it is possible to accurately recognize the distance between vehicles and the risk of collision, and to automatically control the running speed of the vehicle on the highway. It is possible to provide an effective speed measuring device.
[0070]
In each of the above embodiments, the vehicle is the measurement target. However, the present invention is not limited to this, and the movement speed of a person in a security system and the movement speed of an object in a factory production line or a distribution system are measured. This can also be applied.
[0071]
【The invention's effect】
According to the first and fourth aspects of the present invention, after calculating the moving speed for each object point by associating the calculated values of the three-dimensional coordinates on the time axis, the object point is moved at the same speed in a space within a predetermined distance range. By grouping each moving object, the speed of the moving object on the passing route is recognized.Even if there are a plurality of moving bodies on the passage route, each moving body can be accurately separated and its moving speed can be accurately measured.
[0072]
[0073]
[Brief description of the drawings]
FIG. 1 is a perspective view showing an installation example of a vehicle speed measuring device according to an embodiment of the present invention.
2 is a block diagram showing a configuration of the vehicle speed measuring device of FIG. 1;
FIG. 3 is an explanatory diagram illustrating an example of an input image.
4 is an explanatory diagram showing edge images generated from each input image of FIG. 3; FIG.
FIG. 5 is an explanatory diagram illustrating an example of setting a detection area.
FIG. 6 is an explanatory diagram illustrating a specific example of a process for associating feature points between images.
FIG. 7 is an explanatory diagram showing the principle of triangulation.
FIG. 8 is an explanatory diagram showing a positional relationship of each coordinate system related to a three-dimensional measurement process.
FIG. 9 is an explanatory diagram showing a method for extracting a moving position of a vehicle on an input image.
FIG. 10 is a perspective view showing an installation state of the second vehicle speed measuring device.
11 is an explanatory diagram showing an example of an input image in the vehicle speed measuring device of FIG.
12 is an explanatory diagram showing an edge image generated from the input image of FIG. 11. FIG.
[Explanation of symbols]
1a, 1b, 20a, 20b camera
2,22 Control device
10 Edge extractor
11 Association processing section
12 3D measurement unit
13 Vehicle recognition unit
14 Tracking processor
15 Speed calculator
Claims (6)
各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の3次元座標を算出するとともに、
少なくともいずれか1個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各3次元座標を用いて各物点の移動速度を計測し、
各物点の3次元座標と移動速度とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識することを特徴とする移動体の速度計測方法。A method of deploying a plurality of imaging means toward a passing path of a moving body, capturing image data from each imaging means, and measuring a speed of the moving body on the passing path,
While associating feature points representing the same object point between the images captured at the same timing from each imaging means, calculating the three-dimensional coordinates of each object point,
After associating feature points representing the same object point between images captured at a predetermined time interval for at least one of the imaging means, each three-dimensional coordinate of the corresponding feature point on the time axis Measure the moving speed of each object point using
By using the three-dimensional coordinates of each object point and the moving speed, the object points are grouped into objects that move in the space within a predetermined distance range at the same speed, and each moving object on the passage route is grouped. A speed measurement method for a moving object, characterized by recognizing speed .
各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の3次元座標を算出するとともに、
少なくともいずれか1個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各3次元座標を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定し、
各物点の3次元座標と特定された移動ベクトルとを用いて、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度および進行方向を認識することを特徴とする移動体の速度計測方法。A method of deploying a plurality of imaging means toward a passing path of a moving body, capturing image data from each imaging means, and measuring a speed of the moving body on the passing path,
While associating feature points representing the same object point between the images captured at the same timing from each imaging means, calculating the three-dimensional coordinates of each object point,
After associating feature points representing the same object point between images captured at a predetermined time interval for at least one of the imaging means, each three-dimensional coordinate of the corresponding feature point on the time axis For each object point , specify the movement vector of that object point in space ,
Using the three-dimensional coordinates of each object point and the specified movement vector, each object point is grouped into items that move in the same direction at the same speed in a space within a predetermined distance range, and the passage route A speed measurement method for a moving body, characterized by recognizing a speed and a traveling direction of each of the above moving bodies.
各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の3次元座標を算出するとともに、
少なくともいずれか1個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各3次元座標を用いて各物点の移動速度を計測し、
各物点の3次元座標と移動速度とを用いて、各物点を、同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識することを特徴とする移動体の速度計測方法。A plurality of imaging means are arranged on a moving body that passes through a predetermined passing path in a predetermined direction outside the moving body, and image data from each imaging means is captured, and the speed of the moving body is set. A method of measuring,
While associating feature points representing the same object point between the images captured at the same timing from each imaging means, calculating the three-dimensional coordinates of each object point,
After associating feature points representing the same object point between images captured at a predetermined time interval for at least one of the imaging means, each three-dimensional coordinate of the corresponding feature point on the time axis Measure the moving speed of each object point using
Using the three-dimensional coordinates of each object point and the moving speed, group each object point according to what moves at the same speed, and recognize the speed of the group with the most constituent points as the speed of the moving object. A method for measuring the speed of a moving object characterized by the above .
各撮像手段からの画像を入力するための画像入力手段と、
前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、
同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から同じ物点を表す特徴点を対応づけする対応づけ手段と、
前記対応づけ手段により対応づけられた各特徴点の2次元座標を用いて、これら特徴点の表す物点の3次元座標を算出する3次元座標算出手段と、
少なくともいずれか1つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第2の対応づけ手段と、
第2の対応づけ手段により時間軸上で対応づけられた特徴点の各3次元座標の算出値を用いて、各物点の移動速度を算出する速度算出手段と、
各物点の3次元座標と前記移動速度の算出値とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する速度認識手段とを具備して成る速度計測装置。A plurality of imaging means arranged toward the passage of the moving body;
Image input means for inputting an image from each imaging means;
Feature point extracting means for extracting feature points on each input image each time an image is input from the image input means;
Correspondence means for associating feature points representing the same object points from among the feature points extracted by the feature point extraction means between the images input at the same timing;
Using the two-dimensional coordinates of each feature point associated with the association means, and a three-dimensional coordinate calculation means for calculating three-dimensional coordinates of the object point representing of these feature points,
A second associating means for associating feature points representing the same object points between images captured at a predetermined time interval with respect to at least one of the imaging means;
Speed calculating means for calculating the moving speed of each object point using the calculated value of each three-dimensional coordinate of the feature point correlated on the time axis by the second correlating means;
By using the three-dimensional coordinates of each object point and the calculated value of the moving speed, the object points are grouped for each object moving at the same speed in a space within a predetermined distance range, and on the passing route. velocity measuring device comprising; and a speed recognition means for recognizing the speed of each moving object.
各撮像手段からの画像を入力するための画像入力手段と、
前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、
同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から同じ物点を表す特徴点を対応づけする対応づけ手段と、
前記対応づけ手段により対応づけられた各特徴点の2次元座標を用いて、これら特徴点の表す物点の3次元座標を算出する3次元座標算出手段と、
少なくともいずれか1つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第2の対応づけ手段と、
第2の対応づけ手段により時間軸上で対応づけられた特徴点の各3次元座標の算出値を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定する移動ベクトル特定手段と、
各物点の3次元座標と特定された移動ベクトルとを用いて、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する速度認識手段とを具備して成る速度計測装置。A plurality of imaging means arranged toward the passage of the moving body;
Image input means for inputting an image from each imaging means;
Feature point extracting means for extracting feature points on each input image each time an image is input from the image input means;
Correspondence means for associating feature points representing the same object points from among the feature points extracted by the feature point extraction means between the images input at the same timing;
Using the two-dimensional coordinates of each feature point associated with the association means, and a three-dimensional coordinate calculation means for calculating three-dimensional coordinates of the object point representing of these feature points,
A second associating means for associating feature points representing the same object points between images captured at a predetermined time interval with respect to at least one of the imaging means;
Movement vector specifying means for specifying, for each object point, a movement vector of the object point in space using the calculated values of the three-dimensional coordinates of the feature points associated on the time axis by the second association means When,
Using the three-dimensional coordinates of each object point and the specified movement vector, each object point is grouped into items that move in the same direction at the same speed in a space within a predetermined distance range, and the passage route velocity measuring device comprising; and a speed recognition means for recognizing the speed of each moving object above.
各撮像手段からの画像を入力するための画像入力手段と、
前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、
同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から前記物体の同じ物点を表す特徴点を対応づけする対応づけ手段と、
前記対応づけ手段により対応づけられた各特徴点の2次元座標を用いて、これら特徴点の表す物点の3次元座標を算出する3次元座標算出手段と、
少なくともいずれか1つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第2の対応づけ手段と、
第2の対応づけ手段により時間軸上で対応づけられた特徴点の各3次元座標の算出値を用いて、各物点の移動速度を算出する速度算出手段と、
各物点の3次元座標と前記移動速度の算出値とを用いて、各物点を同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識する速度認識手段とを具備して成る速度計測装置。A plurality of imaging means each attached to a moving body that moves on a predetermined passing path toward a predetermined direction outside the moving body;
Image input means for inputting an image from each imaging means;
Feature point extracting means for extracting feature points on each input image each time an image is input from the image input means;
Correspondence means for associating feature points representing the same object point of the object among the feature points extracted by the feature point extraction means between the images input at the same timing;
Using the two-dimensional coordinates of each feature point associated with the association means, and a three-dimensional coordinate calculation means for calculating three-dimensional coordinates of the object point representing of these feature points,
A second associating means for associating feature points representing the same object points between images captured at a predetermined time interval with respect to at least one of the imaging means;
Speed calculating means for calculating the moving speed of each object point using the calculated value of each three-dimensional coordinate of the feature point correlated on the time axis by the second correlating means;
Using the three-dimensional coordinates of each object point and the calculated value of the moving speed, each object point is grouped for each object that moves at the same speed, and the speed of the group with the most constituent points is set as the speed of the moving object. A speed measuring device comprising speed recognition means for recognizing .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03060798A JP3629935B2 (en) | 1998-01-27 | 1998-01-27 | Speed measurement method for moving body and speed measurement device using the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03060798A JP3629935B2 (en) | 1998-01-27 | 1998-01-27 | Speed measurement method for moving body and speed measurement device using the method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11211738A JPH11211738A (en) | 1999-08-06 |
JP3629935B2 true JP3629935B2 (en) | 2005-03-16 |
Family
ID=12308573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03060798A Expired - Lifetime JP3629935B2 (en) | 1998-01-27 | 1998-01-27 | Speed measurement method for moving body and speed measurement device using the method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3629935B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200675A (en) * | 2014-08-25 | 2014-12-10 | 安徽建筑大学 | Vehicle speed measurement method based on invariant feature matching |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU4831500A (en) * | 1999-05-10 | 2000-11-21 | Andrew L. Di Rienzo | Authentication |
JP4500563B2 (en) * | 2004-03-04 | 2010-07-14 | 学校法人慶應義塾 | Vehicle detection method and vehicle detection system |
WO2006074290A2 (en) * | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Optical flow based tilt sensor |
JP4367475B2 (en) | 2006-10-06 | 2009-11-18 | アイシン精機株式会社 | Moving object recognition apparatus, moving object recognition method, and computer program |
JP5297677B2 (en) * | 2008-04-08 | 2013-09-25 | 株式会社フローベル | Detection apparatus and method, program, recording medium, and simulation system |
CN103177584B (en) * | 2013-02-05 | 2014-10-08 | 长安大学 | Vehicle speed detection method based on enumeration probe |
CN103323258A (en) * | 2013-05-31 | 2013-09-25 | 浙江工业大学 | Vehicle starting and braking performance detecting device based on speed measurement |
CN106771320B (en) * | 2016-11-23 | 2019-03-12 | 北京航天控制仪器研究所 | A kind of rocket sledge image speed measurement method |
CN110033476A (en) * | 2018-01-11 | 2019-07-19 | 富士通株式会社 | Target velocity estimation method, device and image processing equipment |
CN114280323A (en) * | 2021-12-24 | 2022-04-05 | 凌云光技术股份有限公司 | Measuring equipment, system and method for vector velocity of railway vehicle |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (en) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | On-vehicle outside monitoring device |
JPH07262375A (en) * | 1994-03-25 | 1995-10-13 | Toshiba Corp | Mobile object detector |
JPH08210815A (en) * | 1995-02-07 | 1996-08-20 | Nippon Telegr & Teleph Corp <Ntt> | Method and device for extracting three-dimensional motion information |
JP3456339B2 (en) * | 1995-05-18 | 2003-10-14 | オムロン株式会社 | Object observation method, object observation device using the method, traffic flow measurement device and parking lot observation device using the device |
JP3334451B2 (en) * | 1995-10-13 | 2002-10-15 | トヨタ自動車株式会社 | Moving object detection device |
JPH09185720A (en) * | 1995-12-28 | 1997-07-15 | Canon Inc | Picture extraction device |
-
1998
- 1998-01-27 JP JP03060798A patent/JP3629935B2/en not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104200675A (en) * | 2014-08-25 | 2014-12-10 | 安徽建筑大学 | Vehicle speed measurement method based on invariant feature matching |
CN104200675B (en) * | 2014-08-25 | 2016-11-23 | 安徽建筑大学 | Vehicle speed measurement method based on invariant feature matching |
Also Published As
Publication number | Publication date |
---|---|
JPH11211738A (en) | 1999-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7899211B2 (en) | Object detecting system and object detecting method | |
Teoh et al. | Symmetry-based monocular vehicle detection system | |
US7612800B2 (en) | Image processing apparatus and method | |
Broggi et al. | Self-calibration of a stereo vision system for automotive applications | |
JP4363295B2 (en) | Plane estimation method using stereo images | |
JP5075672B2 (en) | Object detection apparatus and method | |
KR960042482A (en) | Object observation method and object observation apparatus using the method, and traffic flow measurement apparatus and parking lot observation apparatus using the apparatus | |
GB2317066A (en) | Method of detecting objects for road vehicles using stereo images | |
JP4946175B2 (en) | Road boundary detection device and road boundary detection method | |
JP6524529B2 (en) | Building limit judging device | |
KR102491527B1 (en) | Detection of objects in camera images | |
JPH11252587A (en) | Object tracking device | |
CN110717445A (en) | Front vehicle distance tracking system and method for automatic driving | |
JP3629935B2 (en) | Speed measurement method for moving body and speed measurement device using the method | |
JP2007249257A (en) | Apparatus and method for detecting movable element | |
JP4067340B2 (en) | Object recognition device and object recognition method | |
JP5369921B2 (en) | Object detection apparatus and object detection method | |
Espino et al. | Rail and turnout detection using gradient information and template matching | |
JP3465531B2 (en) | Object recognition method and apparatus | |
JP5981284B2 (en) | Object detection device and object detection method | |
JP3879874B2 (en) | Logistics measuring device | |
JP2002008019A (en) | Railway track recognition device and rolling stock using railway track recognition device | |
JP2002002485A (en) | Track recognition device and railway rolling stock using track recognition device | |
JP4575315B2 (en) | Object detection apparatus and method | |
JP4106163B2 (en) | Obstacle detection apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041207 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |