【発明の詳細な説明】
光学的なレンジ及び速度検出システム技術分野
本発明は、レンジ測定及び速度検出用システムに関するものであり、特に、レ
ンジ及び目的を達成するためにエネルギートランスミッタを必要としない通過速
度を決定する光学的なシステムに関するものである。背景技術
大抵の速度検出システムは、受信者に反射して戻される移動ターゲットに対す
るエネルギーを伝達するトランスミッタが必要とされる。ターゲットに対するレ
ンジ及びその速度を計算するためにエネルギーが伝達し及び戻る時間を測定する
ために、種々の形態が設けられている。レーダは、この技術の代表的な例であり
、レーダガンは、交通制御を行う法律的な施行機関によって従来用いられている
。交通制御装置としてのレーダの問題は、ターゲットの獲得及び測定が曖昧であ
ることである。複数のあり得るターゲットのうちどのターゲットがある特定の速
度表示を発生させたかを責任を持って決定することができないことが頻繁にある
。他の問題は、レーダを、適切な周波数に同調したレシーバによって検出される
おそれがあることである。レーザレンジ測定システムも利用することができるが
、このようなシステムもターゲットを検出しうるおそれがあり、桁外れに値段が
高い。
純粋に光学的な速度測定システムを設計することがこれまで試みられたが、こ
れらは全て、実現の際に正確さ及びコストに関する欠点を被る。例えば、光通過
システムが利用され、この場合、二つの相違する時間に像を得るとともに時間関
数として視野中の像の相対寸法を比較することによって接近するオブジェクトの
速度を計算する。このような装置の例は、グッドリッチによる米国特許出願明細
書第4,257,703号、アベルによる米国特許出願明細書第3,788,2
01号、及びミカロポロス等による米国特許出願明細書第4,847,772号
に示されている。
他の従来の装置は、相違するときに既知のマーカ位置で像を捕らえることによ
り三角法の関係を利用する。このようなシステムは、タイセン等による米国特許
出願明細書第4,727,258号及びヤング等による米国特許出願明細書第4
,135,817号に示されている。しかしながら、これらシステムは、像を捕
らえる時間を既知のマーカ位置のターゲットオブジェクトの出現に同期させる必
要がある。これは、常に実用的ではなく、時々カメラを広く離間させるすなわち
相違する位置に配置する必要がある。
これら及び他の従来の光通過速度検出システムは、一般に著しく複雑であり、
及び/又は、実際的でなく、又は外部マーカが必要とされる、等々。したがって
、必要なものは、実際的で、コンパクトで、低コストであるとともに、最小のセ
ットアップ時間及び複雑さで任意の所望な位置で用いることができる光学的な速
度及び/又は距離検出装置である。発明の開示
本発明によれば、ターゲット方向の視野の各ラインに沿って指定されたビデオ
カメラレンズの対を含む光通過速度及び距離測定システムを設ける。これらレン
ズを、予め設定された距離離間した共通ベースラインに沿って配置する。タイマ
により、両カメラレンズは、第1の時間T1で各レンズの視野の第1ターゲット
像を獲得するとともに、その後の時間T2でもそれを獲得する。像はレンジ測定
手段に転送され、そのレンジ測定手段は、共通ベースラインから時間T1におけ
るターゲットまでの距離R1を決定するとともに、ベースラインから時間T2まで
の距離R2を決定する。計算手段は、例えば速度=(R2−R1)/(T2−T1)
の式を解くことにより、又は時間T2で決定された追加のレンジRnを用いる線形
回帰法を用いることによって、ターゲットの速度を決定する。好適には、カメラ
レンズの各々の視野のラインが平行であり、これらレンズが個別のカメラに含ま
れ、又は、ミラー及びプリズムを用いることにより、各レンズは、電荷結合素子
(CCD)に光を収束することができる。また、カメラは、一般に、光感知装置
の画素アレイ中で電子的に走査される像を発生させるタイプのものであり、この
場合、アレイ中の画素の光強度値を、コンピュータによって処理するためにデジ
タル化し及び記憶させることができる。
第1及び第2カメラレンズの各々は、画素マップ上の各視野で測定される像を
収束する。各カメラレンズの視野で測定されるターゲットの少なくとも部分的な
像は、画素マップに含まれる。レンジ測定手段は、第1画素マップ上のターゲッ
ト像の位置を第2カメラレンズの画素マップ上の対応する同一のターゲット像に
相関させる比較手段を含む。この相関を用いて、ターゲットと第1及び/又は第
2カメラレンズの視野の各ラインとの間の角度を決定する。
画素マップは、ビデオデータの単一ライン走査を具えることができ、比較手段
は、各画素マップの各画素位置のビデオデータ強度の差を決定してターゲット像
間の相関を見つける手段を含む。この相関は、画素マップ間で最小強度差を与え
る位置となる大域ヌルで生じる。この画素位置は、ターゲット像とカメラの少な
くとも一つの視野のラインとの間の関数となる。
画素マップに含まれるビデオデータを、コンピュータプログラムによって処理
するためにデジタルデータに変換することができる。コンピュータプログラムは
、二つの画素マップ間の連続的にオフセットしたシフト位置における第1及び第
2カメラからの画素マップの画素間の強度の絶対値の差を計算する。また、前処
理回路を用いて画素マップを互いにシフトし、全てのあり得る画素オフセットの
値のリストを形成する。この際、コンピュータは大域ヌルに対するリストを検索
することができる。
第1及び第2レンズを、視野及びターゲットを得る第3カメラを更に含むカメ
ラアレイに載せ置くことができる。第1及び第2カメラは、一般に、光学的な背
景の混乱を回避するために狭視野を有する必要があるが、第3カメラは、ターゲ
ットを得るために広視野を有することができる。さらに、これら三つのカメラを
機械的に接続して、第1及び第2カメラレンズを、第3(ターゲット獲得)カメ
ラによって回転させるために従動制御することができる。第3カメラは、オペレ
ータによって選択されたターゲットを獲得すると予め設定されたデータを発生さ
せるアルファニューメリックビデオ発生器も含むことができる。このようなデー
タは、例えば、ターゲットについての時間、日付及び他の上記を含むことができ
る。
視野のラインに対するターゲット像のオフセット角を決定する他の方法は、タ
ーゲットが光学的な背景に対する位置を変える際にターゲットの位置を検出する
ことを含むことができる。ターゲットが移動する際に背景は視野のほとんどに亘
って変化しないので、信号処理手段を用いて、移動エッジと静止背景ビデオデー
タとの間を識別する。
一般に、カメラ及び/又はカメラレンズを、レンズの焦点面の光感知装置のラ
イン走査に平行な水平ラインに沿って隣接して載せ置く。しかしながら、所望の
場合には、光感知素子を位置合わせして、ライン走査方向をベースラインに垂直
にする。この場合、視野のラインからのターゲット像のオフセットを決定する信
号処理は、光感知素子をベースラインに平行に走査する際に用いられるものと若
干相違する。本例では、一方のカメラのビデオライン走査は「テンプレート」と
しての役割を果たし、他方のカメラの全ライン走査は、テンプレートラインと比
較されて、画像相関を行い、その結果、オフセットを決定する。この方法は、ラ
インのオーバーラップした部分の比較によってオフセットを決定する場合に比べ
て正確であるが、より多くのメモリ及び演算時間が要求される。
ターゲットに対して指定する二つのカメラの間の角度の相違(オフセット角)
を決定することにより、このシステムに関連するコンピュータは、ターゲットに
対する距離を正確に推定することができる。コンピュータは、カメラ形態の基本
的な三角法を解くことによりこれを行う。予め決定された距離離間した共通ベー
スラインに沿って二つのカメラが載せ置かれているので、カメラレンズの各々か
らターゲットまで延在するラインは三角形を形成する。両オフセット角が既知で
あると、ターゲットからベースラインの中央までの距離を解く三角法の計算を行
うことができる。この測定は、少なくとも二つの相違する時間で行われ、時間差
の関数としてターゲットに対するレンジの差を用いて、ターゲットの速度を計算
することができる。
本発明の上記及び他の目的、形態、及び利点を、添付図面を参照することによ
り、以下の本発明の詳細な記載によって容易に理解することができる。図面の簡単な説明
図1は、本発明のシステムの簡単化したブロック図である。
図2は、図1に示したビデオカメラサブシステムのブロック図である。
図3は、図1に示した制御及び演算サブシステムのブロック図である。
図4は、移動ターゲットのレンジ及び速度を計算するために用いられるコンピ
ュータプログラムの簡単化したフローチャートである。
図4aは、ベースラインに平行なライン走査を有する個別のカメラを用いるシ
ステムの光学的な関係を線形的に説明するものである。
図5は、ターゲットの中央とカメラレンズの視野のラインとの間の角度を計算
するために用いられる画素マップの幾何学的な構成の線形的に説明するものであ
る。
図6は、本発明の光学的なレンジ及び速度検出システムの全体に亘る幾何学的
な構成の線形図である。
図7は、図6のシステムの幾何学的な構成と図5の画素マップとの間の関係を
示す線形図である。
図8は、システムがターゲットオフセットを計算する方法を説明する線形図で
ある。
図9a〜9fは、図4のシステムを用いてターゲットに対するレンジ及び速度
を計算する方法を説明するフローチャートである。
図10は、エッジ検出法と称する、カメラと視野のラインとの間のオフセット
角を決定する第2の方法を説明する波形図である。
図11a〜11cは、図10に図示したエッジ検出捕獲法を説明するフローチ
ャートである。
図12は、図7に図示したシステムに配置された右側及び左側カメラレンズの
視野の線形図である。
図13は、CCDライン走査が垂直ベースラインに対して垂直になるように配
置したカメラレンズの視野のオーバーラップの線形図である。
図14は、図13に図示したような垂直ベースラインに沿って配置したカメラ
レンズによって生じた画素フレームマップを示すものである。
図15は、垂直ベースラインに沿って位置合わせした上側及び下側カメラレン
ズを有する垂直ライン走査カメラ装置の幾何学的な構成を線形的に示すものであ
る。
図16は、図15に図示したような垂直ベースラインに沿ってカメラを配置す
る際に画素オフセットを計算する方法を説明する線形的なフローチャートである
。
図17は、ベースラインに平行にCCDを走査する二つの隣接レンズを有する
単一カメラを用いる本発明の実施の形態を示す線形的な斜視図である。
図18は、本発明の他の実施の形態で用いるべきビデオプリプロセッサのブロ
ック図である。
図19は、ベースラインに垂直にCCDを走査するために載せおかれた二つの
レンズを有する単一カメラを用いる本発明の他の実施の形態を斜視図を示す線形
図である。
図20は、速度を計算する線形回帰法を示す図4と同様なフローチャートであ
る。
図21は、レンジ及び時間データを含む2次元メモリアレイの線形図である。
図22は、図20に図示した方法の線形回帰計算を説明するフローチャートで
ある。本発明を実施するベストモード
図1を参照すると、本発明は、制御及び演算サブシステム12に接続されたビ
デオカメラサブシステム及びビデオディスプレイ10を含む。カメラサブシステ
ム10は、右側カメラの映像及び左側カメラの映像を制御サブシステム12に供
給し、制御サブシステムはアルファニューメリックな映像をビデオカメラサブシ
ステムに供給する。ビデオカメラサブシステムの拡張したブロック図を示す図2
は、光学的な像を左側カメラ16に供給する狭視野レンズ14を含む。第2の狭
視野レンズ18は、光学的な像を右側の主制御ビデオカメラ20に供給する。右
側ビデオカメラは、左側ビデオカメラ16と、右側ビデオカメラ20に対しても
従属制御される視覚ビデオカメラ22とに供給されるsyncを含む。視野ビデ
オカメラ22は、ターゲットを得る広視野レンズ24を含む。
全てのカメラ16,20及び22を、CCDのような光感知装置の画素マトリ
ックスアレイを含むタイプのものとする。したがって、画素アレイは、水平ライ
ン及び垂直ラインで電子的に走査されて、走査された画素位置の各々の光強度を
表すビデオデータを発生させる。さらに、視覚ビデオカメラ22の出力は、アル
ファニューメリックなビデオ入力を受信することができるビデオミキサ26に対
して映像を提供する。アルファニューメリックな映像に従うカメラ22の広視野
像を、ビデオディスプレイ28上に表示することができる。
図3は、制御及び演算サブシステム12の拡張した図である。サブシステム1
2は、(破線で示した)パーソナルコンピュータ30から主としてなり、このパ
の任意のタイプとすることができる。コンピュータ30は、左側カメラの映像に
対するフレームグラッバ32及び右側カメラの映像に対するフレームグラッバ3
4を含む。アルファニューメリック発生器36は、右側ビデオカメラ20から供
給されたsyncによって従属制御される。コンピュータはコンピュータバス3
8を含み、このコンピュータバス38は、フレームグラッバ32、アルファニュ
ーメリック発生器36及びフレームグラッバ34を、ディスクメモリ40、ラン
ダムアクセスメモリ42及びCPU/10ユニット44に結合する。コンピュー
タ30の外側で、コンピュータバス38を、実時間の時計及びカレンダー46、
オペレータの制御ユニット48及びプリンタ50にも結合する。
システムの幾何学的な配置を図6に示す。左側カメラレンズ14をポイント5
2に配置するとともに、右側カメラのレンズ18をポイント54に配置する。広
視野レンズ24を、ポイント52とポイント54との中間のポイント56に配置
する。ターゲットを、三つ全てのカメラの視野にあるポイント58に配置する。
好適には、ポイント52及び54に配置された狭視野カメラの視界の各ラインは
、図6に破線で示したように平行である。角φLHは、ターゲットポイント58と
52に配置されたカメラの視界のラインとの間の角度を示す。同様にφRHは、左
側カメラの視界のラインとターゲットとの間の角度を示す。二つのカメラを、長
さ“b”を有するベースライン60に沿って配置し、この場合、中央の広視野カ
メラレンズを、ベースラインに沿って距離b/2で二つの狭視野カメラ14,1
8の中間に配置する。このポイントから、ターゲットポイント58までのレンジ
をRで表す。したがって、辺“a”,“b”及び“c”を有する三角形は、ター
ゲット位置58、右側カメラ位置52、及び左側カメラ位置54の間で形成され
る。この三角形は、左側カメラ位置の内角α、右側位置の内角γ、及びターゲッ
ト位置の内角βを含む。ターゲットの速度を決定するために、それは二つの相違
するときにこの計算を行い、レンジの差を測定間の経過時間で割る。
図4は、フローチャート形態における主要なシステム作動方法を示す。「開始
」後、ブロック62において、システムは、ターゲットの線形的な立体像を捕獲
する。この像は、左側レンズ及び右側レンズによって同時に捕らえられたビデオ
データの単一ライン走査からなる。この線形的な走査を、時間T1及びT2で行う
。ブロック64において、システムは、二つの走査線間の画像オフセット位置の
あり得る総和に対して、二つの時間の各々で、右側走査線と左側走査線との間の
画素強度の差の和を計算する。ブロック66において、システムは、ヌルに対す
る差リストの和の検索を行い、ヌルリストが作成される。ブロック68において
、システムは、大域ヌルを検索し、それを見つけた画素オフセット位置を記録す
る。大域ヌルを、イメージ間の最小強度差を生じるオフセット位置とする。この
オフセット位置は、少なくとも一つのカメラの視覚のラインとターゲットとの間
の角度に比例する。ブロック70において、システムは、大域ヌルを達成するの
に要求される画像オフセットの数に基づくターゲットに対するレンジを計算する
。ブロック72において、プロセスが第2ライン対の走査に対して繰り返され、
ブロック74において、システムは、式
S=(R2−R1)/(T2−T1)
によって解かれるターゲット速度を計算する。この方法を、図4a及び図5に図
形的に示す。図4aは、(ポイントS,P,E及びMによって規定した)ターゲ
ットに対するレンジRの視野のオーバーラップ領域を示す。WRはこの領域の幅
である。幅WRは、ラインの一部であり、レンジが無限に近づくと1単位に近づ
く。WRが零に近づくポイント(M)は、大域最小作動レンジ(RMIN)である
。オーバーラップ領域の幅(ポイントEとSとの間のラインセグメント)は、検
出アレイ上で各アレイの相違する位置にイメージされる。図5は、図4aからの
二つのライン対走査を表し、この場合、上側の画素の走査76は、左側カメラレ
ンズの画素マップを表し、下側の画素の走査78は、右側カメラレンズの画素マ
ップを表す。各走査の黒い画素は、計算されたターゲットの位置を表し、距離の
シフト2dは、大域ヌルが生じた場合のオフセット位置である。本発明の実施の
形態は、ターゲットの少なくとも一部を両レンズに共通の視野内で見つけること
ができると仮定するものである。これを図4Aに図形的に示す。
図7は、図6に図示した一般的なシステムの幾何学的な構成に対する特定の場
合を示す。再び図5を参照すると、システムは、画素マップ76と78との間の
半分の画素オフセットである距離dを決定する。これを、二つのラインを相関さ
せることによって行う。相関は、図5の下側に図示したように全オフセット2d
で生じ、この場合、右側カメラレンズの画素マップ78aは、左側カメラレンズ
の画素マップ76aに対してオフセットされて、全オフセットが2dに等しくな
る。画素の強度がこのオフセットと比較されると、このオフセット位置の画素マ
ップ間の画素強度の絶対値の差の最小値を表す大域ヌルが生じる。このために、
大域ヌルでは、ターゲット像は、両カメラの視野に共通の優勢なオブジェクトと
なる。このプロセスは、二つの重なり合う視野の一つをシフトして視野を一致さ
せるのと同様である。これを行うのに必要な画素オフセットは、カメラレンズの
少なくとも一つと視野の元のラインに対するターゲット像との間の角度に正比例
する。
この方法を、図7に線図的に示す。ポイントPのターゲット58aからの光線
は、ラインcと左側カメラレンズの視野のラインとの間の角度θとなる。この光
線は、左側カメラレンズ80を通過し、レンズ80の焦点面に配置されたライン
画素マップ76の画素上に集束される。同様に、右側では、ターゲット58aの
ポイントPからの光線は、ライン“a”に沿って、右側カメラレンズ88の焦点
面86に配置されたライン画素マップ84に延在する。両画素マップは、レンズ
80及び88の同一の焦点距離“FL”の各焦点面に配置される。焦点距離FL
で、ライン“c”又はライン“a”に沿って延在するターゲットからの光線によ
り、カメラの視野のラインに対して角度θとなる。この角度は、ラインc及びa
の各々とターゲット58Aに対するレンジを表すラインRとの間の角度と同一の
角度となる。図4のブロック70に示した計算ステップは、角度θの値を最初に
決定することによりターゲットに対するレンジを計算する。角度θを、各画素と
画素マップとの間の画素強度の絶対値の差を最小にするシフトを画素数で測定す
ることによって決定する。これは、θの2倍に等しい角度φに相当する右側レン
ズ88の軸の回りの右側画素マップの回転に等しい。この仮想的な画素マップの
この回転を図7に線図的に図示し、この場合、画素84aを角度φで回転させて
各マップの黒い(ターゲット像)の画素を同一位置にする。レンズ88Aの破線
は、右側カメラレンズの逆に「回転した」位置を示す。
実際には、レンズは、視野の各ラインに沿って指定されたままである。しかし
ながら、角度φで仮想的なカメラ回転を機械的に実行することは算術的な処理で
ある。図7に図示した破線dは、像の相関が生じた画素マップの中心からの画素
オフセット距離を表す。Rがベースラインbの長さより著しく長いレンジでは、
θの正接関数は線形的であり、オフセット距離dはθに正比例する。この関係は
、後に説明するようなレンジRの計算手段を提供する。
図9a〜9fを参照すると、制御及び演算サブシステムがターゲット速度を測
定する方法を説明するフローチャートを示す。一旦、システムの始動を行うと、
コンピュータソフトウェアは、コンピュータ33のCPU/10ユニット44の
制御下で、「測定速度」コマンドを待機するループ(ブロック87,89)に入
る。このコマンドは、広各視野カメラ22に関連する簡単なプッシュボタンスイ
ッチを含むオペレータの制御ユニット48によって開始される。一旦、オペレー
タがボタンを押すことによって所望のターゲットが配置されると、「コマンド受
信」フラグがセットされ(ブロック90)、左側フレームグラッバ32及び右側
フレームグラッバ34の映像を同時に捕らえることを開始する(ブロック92)
。次いで、捕らえられたビデオラインを、各フレームグラッバ32,34からコ
ンピュータ30のRAM42に転送する(ブロック94)。次いで、両ビデオラ
インに、捕獲時間を表す時間T1を付す(ブロック96)。転送が第1の転送の
場合、プログラムはブロック92に戻って、シーケンスを繰り返す(ブロック9
8及び100)。第2のビデオライン対転送の後、時間T1及びT2を付した二つ
のビデオライン対を、コンピュータのRAMに記憶させる。図9bを参照すると
、ソフトウェアは、変数OS(オフセット)を零にセットする(ブロック102
)。他の変数ACCも零にセットする(ブロック104)。第3の変数PIXを
OS+1に等しくする(ブロック106)。その後、変数ACCを、所定のオフ
セット位置における左側画素マップと右側画素マップとの間の強度の差の絶対
値を表すものをACCに加えたものに等しくする。その後、変数PIXを1増分
し(ブロック110)、変数PIXがビデオラインの全画素数を表すNPIXに
等しくなるまで計算を繰り返して、ループを形成する(ブロック112)。この
タイプの通常のビデオカメラにおいて、単一の水平ビデオラインに511画素存
在する。
一旦ACCの全ての画素を計算すると、オフセットOSに等しくなる新たな変
数QUO1(OS,1)を規定する(ブロック114)。第2の新たな変数QU
O1(OS,2)を、ACCをNPIX−OSに等しくする(ブロック116)
。これにより、二つの画素マップの和の間の強度の差の絶対値を正規化する。そ
の理由は、オフセットをシフトさせる(図8参照)と、オーバラップ領域の画素
がより少なくなるからである。図8は、RAMに記憶されるとともに77及び7
9を付した左側画素メモリマップ及び右側画素メモリマップを表す。メモリマッ
プ77及び79の間を指定する矢印は、画素位置の強度の絶対値の差の和を表し
、その画素位置を、現在のオーバラップ領域にあるメモリマップのアドレスとし
て表す。オフセットが増大すると、オーバラップ領域が小さくなることがわかる
。変数OSは、オフセットが最大値になるまで1増分され、この最大値は、理論
的には画素数に等しくなるが、実際には、代表的な511画素/ラインカメラに
対してラインの約20%(約100画素)に制限される。この最大値に到達する
と、ソフトウェアは、変数QUO1(OS,1)及びQUO1(OS,2)で作
動する。
画素オフセットを表す距離dを最終的に表すヌル位置を見つけるために、先ず
、Xを零に等しくするとともにOSを1に等しくする(ブロック122)。Xは
ヌル計数変数となり、OSは、QUO1アレイである差リストの和の第2の和の
アドレスとなる。QUO1は、差の和及びそれらが計算されるオフセット値を含
む2次元アレイとなる。このアレイは、既に説明したブロック116のように正
規化される。ブロック124及び126を参照すると、QUO1リストの各和を
、リストの隣接する和と比較する。和がそれに隣接する和よりも小さい場合、ヌ
ルとして記録され、すなわち、Xはブロック128に示したように増分される。
次いで、(NULLを付した)このヌルを、そのオフセット値に従って2次元ア
レ
イに配置する(ブロック130)。ブロック132でリストポインタOSを増分
し、(リストの最終和に続く)最後の不明瞭なNULL候補を、ブロック134
に示したように評価する。
図9dは、大域NULLに対して検索する検索ルーチンを示す。NULLリス
トの第1のNULL値を、GLNULを付したレジスタに配置する。対応するオ
フセットを、GNOSを付したレジスタに配置する(ブロック136)。次いで
、NULLリストポインタNLを、リストの第2の値に設定する。この場合、N
Lは2に等しい(ブロック138)。このNULL値を以前のNULL重畳と比
較し(ブロック140)、NULL値が以前のNULL値未満の場合、それはG
LNULレジスタの値を置換し、そのオフセットは、GNOSレジスタの値を置
換する(ブロック142)。次いで、NLを増分し(ブロック145)、リスト
中の全てのX値が検査されるまでプロセスが繰り返される(ブロック146)。
GLNULレジスタに残っているNULL値は、NULLリストの最小値となり
、それに対応するGNOSレジスタのオフセットは、大域NULLに対する画素
オフセットとなる。
画素オフセットを既知であるので、ターゲットまでのレンジを計算することが
できる。これを行う方法を図9eに示す。第1ライン対からの大域NULLオフ
セットを選択する(ブロック148)。次いで、距離dを、大域NULLのオフ
セットを2で割ったものとして規定する(ブロック150)。次いで、角度θを
、比例定数θPIXをd倍したものに等しくする(ブロック152)。次いで、
レンジが生じる三角式を解き、この場合、レンジのRは、b/2×tan(90
°−θ)に等しくなる(ブロック154)。これを第1レンジ計算によって行い
、その後プログラムをループバックして第2レンジの計算に対してそれを行う(
ブロック156及び158)。第2レンジの計算が行われる(ブロック160)
と、レンジ値はメモリに格納される(ブロック162)。
速度計算を図9fに示す。値T1及びT2で表す第1及び第2のフレーム対の捕
獲のときを、それぞれ取り出す(ブロック164)。次いで、時間に対する差の
関数としての値R1及びR2の変化として、速度を計算する(ブロック166)。
次いで、速度が格納され、それは、カレンダーの日付及びリアルタイムの時
計及びカレンダー46によって生じた他のアルファニューメリック情報に従って
表示される。一旦これが行われると、「コマンド受信」フラグがクリアされ、プ
ログラムがスタートにリターンする(ブロック170)。
本発明の第2の実施の形態を、図10及び11a〜11cに示す。この実施の
形態のハードウェア形態は、図1,2及び3に図示したものと同一である。「エ
ッジ検出法」と称するこの実施の形態について相違する点は、コンピュータ30
に存在するソフトウェアがカメラからビデオデータを獲得するのを制御するとと
もにそのデータを処理して右側カメラ及び左側カメラとターゲットとの間の角度
を決定する点である。
図10を参照すると、エッジ検出法の基本的な理論は、移動ターゲットが二つ
の狭視野カメラのオーバーラップ領域の位置を変えるとともに背景はほぼ同一の
ままであるということである。バックグランドビデオデータを除去することによ
り、移動ターゲットの右側エッジ及び左側エッジを決定することができ、その後
、ターゲットに対する角度が決定される。図10において、LINEIと称する
ビデオデータのラインは、右側カメラ及び左側カメラの視野の像を示す。LIN
E2は、同一の視野のビデオ像であるが、後に取り出される。図示したように、
ビデオラインの像は、移動ターゲット像と推定されるオブジェクトの識別できる
移動を除いてほぼ同一である。LINEIからLINE2を引くと、背景の映像
情報が除去され、移動ターゲットのエッジを、予め決定した正及び負のしきい値
を越えるピデオパターンとして見ることができる。これは、移動ターゲットのエ
ッジに位置し、この情報を具えると、システムは、移動ターゲットの中央の位置
、したがってターゲットの角度を計算することができる。
この方法を、図11a〜11cに示すフローチャートに図示する。スタート(
ブロック172)において、カメラは、ターゲットの右側像及び左側像を獲得す
る(ブロック174)。捕獲の時間を記録し(ブロック176)、三つの対が捕
らえられるまで、プロセスを三つの相違するときに繰り返す(ブロック178及
び180)。次いで、システムは、第1の二つの像を画素ごとに取り出して、差
分ライン像を形成する(ブロック182)。次いで、各差分ラインの2乗平均平
方根(rms)値を計算する(ブロック184)。次いで、同様なプロセスを、
第2及び第3のライン像対に対して行う(ブロック186及び188)。次いで
、システムは、各差分ライン像に対する正及び負のしきい値を、rms値の関数
として設定する(ブロック190及び192)。これらの処理から、「しきい値
が設けられた」差分ラインを得る(ブロック194)。このポイントまで、シス
テムは、図10の下側の波形に相当する差分ビデオラインを表すデータを得る。
その後、システムは、左側エッジ及び右側エッジの各々の位置を計算する。これ
を、ラインの第1の画素から開始して、その画素が正のしきい値を越えるか又は
負のしきい値を越えるかを決定することによって行う(ブロック196,198
及び200)。ブロック198及び200の決定に応じて、画素値を、1の値,
−1の値、又は零の値にする(ブロック202,204及び206)。このプロ
セスを、ライン上の最後の画素に到達するまで繰り返す(ブロック208及び2
10)。図11cを参照すると、一旦、画素値が得られ、それがメモリに格納さ
れると、ソフトウェアは最初の零でない画素を検索し(ブロック212)、この
画素の番号を、ターゲット像の第1のエッジとして記録する(ブロック214)
。次いで、システムは最後の零でない画素を検索し(ブロック216)、この画
素の番号を、ターゲット像の第2のエッジとして記録する(ブロック218)。
次いで、ターゲット像の中央位置を計算する(ブロック220)。この計算によ
り、画素オフセット数が発生し、次いで、その画素オフセット数を、図9eで説
明したような角度に変換する(ブロック222)。次いで、各差分ライン対に対
するターゲットまでのレンジを計算し(ブロック224)、この情報を用いて、
システムは、図9e及び9fに図示したように速度を計算する(ブロック226
)。
エッジ検出法は、ターゲット像が左側カメラと右側カメラとの中間に位置する
ポイントを含むと仮定しない。実際、図6に図示したより一般的な幾何学的な関
係が適用される。したがって、レンジRを決定するために、φLH及びφRHの
両方が既知である必要がある。これら角度を計算するに当たり、二つのターゲッ
トエッジの中間を表す画素オフセットにφが正比例するという近似のみが行われ
る。これは、Rがbより著しく大きい場合にのみ当てはまる。
右側カメラ及び左側カメラに対する角度φは、視野のラインからターゲット像
の中心の移動を決定することによって計算される。右側カメラ及び左側カメラの
に対する視野のラインは、イメージライン走査の中心に相当する画素位置となる
。ライン走査の中心からターゲット像の中心の計算された位置までを単に計数す
ることにより、距離dを右側カメラ及び左側カメラに対して得ることができ、φ
は、比例定数に距離dを乗算したものに等しくなる。図6を参照すると、角度α
が90°からφLHを引いたものに等しくなり、角度γが90°からφRHを引
いたものに等しくなる。したがって、レンジは、以下の式
R=√(a sinγ)2+(c cosα−b/2)2
によって計算される。これらの計算は、図11cのブロック222及び224で
ソフトウェアによって実行される。その後、速度は、ブロック226で既に説明
したような方法によって計算される。
エッジ検出法は、カメラの視野の両端間のベースラインbに平行に横断するオ
ブジェクトに対して最適に行われる。しかしながら、システムは、ベースライン
に対して垂直な又は鋭角な方向の視野を有するオブジェクトに対しても作用する
。視野に対する移動ターゲットの角度の方向の相違を考慮する三角関数を含む演
算アルゴリズムの調整を行うことができる。これは、定数で表すことができる量
で既知である。その理由は、交通制御のような用途に対して、移動オブジェクト
が、視野の両端間の逸脱しない直線上を横切るからである。
さらに、本発明の第3の実施の形態を、図13,14,15及び16に示す。
図12を参照すると、本発明の好適な実施の形態において、左側カメラレンズ及
び右側カメラレンズに対するビデオ走査線はベースラインに平行である(左側カ
メラレンズ及び右側カメラレンズの視野は、図示のためにのみ垂直にオフセット
されている。)。相違する形態を図13に示し、この場合、垂直ベースラインに
沿って所定の距離離れてカメラを載せ置き、走査線はベースラインに垂直に延在
する。これらカメラを水平面上にも載せ置くことができるが、このような場合、
光感知装置の走査線を90°回転させる。パフォーマンスの相違を図14に図示
する。本実施の形態において、画素マップは、ラインの一部の代わりにビデオデ
ータの全ラインからなる。本実施の形態では解像度が高い。その理由は、ビデオ
データの全ラインが、100画素程度に少なくすることができるラインの一部の
位置を占有するからである。この技術を用いる従来のカメラシステムのラインご
とに少なくとも500画素を有する489ライン程度にすることができる。単一
ライン走査の実施の形態に関して、視野の中央からターゲット像の推定された位
置までのオフセットを表すオフセット距離dが決定される。本実施の形態に対す
る大域ヌルの解像度は良好であるが、処理時間が遅くなる。その理由は、489
ラインからなる全フレームを走査する必要があるからであり、ビデオデータを記
憶するメモリを、追加の情報を収容するために容量を大きくする必要がある。
図15は、垂直ベースライン沿いに載せ置かれるとともに距離bによって離間
した上側カメラ230及び下側カメラ232の形態のシステムを示す。上側カメ
ラ230は、L1 UPRからL489 UPRまで延在する視野を含む。下側
カメラは、L1 LWRからL489 LWRまで延在する視野を含む。各レン
ジに、図面の右側の垂直矢印間に示すオーバーラップ領域が存在する。この図は
、レンジR2のオーバーラップ領域を示す。上側カメラ230及び下側カメラ2
32からそれぞれ延在する破線は、以後「テンプレート」ラインと称する任意に
選択した走査線の位置を表す。図15において、このラインにL TEMP(L
WR)を付す。テンプレートラインを、少なくとも任意のレンジのターゲット像
の位置を含むイメージ走査線とする。上側カメラの全てのライン(全フレーム)
からの画素強度を、テンプレートラインと比較する(下側カメラのテンプレート
ラインからの画素強度のみコンピュータのメモリにマップ付けされる。)。その
後、上側カメラの出力がシフトされ、画像ライン位置が相関されるまで、ライン
ごとに下側カメラフレームマップからの単一テンプレートラインと比較する。こ
れは、2dラインの全シフトで生じる。この相関関係を図14に図示し、この場
合、上側カメラの視野の選択されたラインを2dラインの距離シフトさせて、下
側カメラの視野のテンプレート(ダーク)ラインに相関させる。本実施の形態を
実行するソフトウェアは、図9a〜9fに図示したものに比べて著しく小さい。
相違は、この場合、図9bのフローチャートを図16のフローチャートに置換す
ることである。
図16を参照すると、オフセットは、テンプレートラインに等しくなる(ブロ
ック234)。ACCは零にセットされ(ブロック236)、PIXは1にセッ
トされる(ブロック238)。その後、ACCを、上側の視野の任意のラインと
テンプレートラインとの間の絶対値の差に等しくする(ブロック240)。変数
PIXを増分し、PIXがNPIXに等しくなるまでプロセスを繰り返す(ブロ
ック242及び244)。変数PIXは、両アレイに共通のアレイポインタ変数
であり、したがって両アレイの番号を付した画素を指定する。上側マップのライ
ンポインタは変数OSであり、それに対して下側アレイのラインポインタは定数
(TEMP)である。QU01は、差の和及びそれらが計算されるオフセット値
を含む2次元アレイである。この場合の差の和を正規化する必要がない。その理
由は、全てが同一の番号の差から構成されているからである。プロセスは、最大
のあり得るオフセットに到達するとともにQU01の全ての値が計算されるまで
続けられる(ブロック246,248,250及び252)。その後、プログラ
ムは図9cに進んで、ヌルを計算するとともに大域ヌルを見つける。隣接する画
素の中央間の代わりに隣接するラインの中央間の距離の関数となる比例定数θP
IXの値のみが相違する。
捕獲されたビデオデータ上で行われる上記三つの信号処理方法に加えて、複数
のハードウェアの変形が、本発明の範囲を逸脱することなく可能である。
上記三つの方法によって処理されるライン画像を発生させるのに用いられる右
側カメラ及び左側カメラを、単一カメラに合併することができる。図17は、こ
のような装置の線形図を示す。図17において、左側レンズ260及び右側レン
ズ262は、光を収束して屈折プリズム264及び266の対にそれぞれ通過さ
せる。これらプリズムは、上側プリズム268a及び268bを有する堆積した
プリズム配置268に光を指導する。上側プリズム268a及び268bは、単
一CCDラインの相違する領域すなわちエリアカメラチップ270に反射する。
図17の形態は、図7の単一ライン走査法及び図10のエッジ検出法において特
に有用である。
多重ライン走査法に適切な形態を図19に示す。この図において、レンズを隣
接して載せ置くが、ライン走査を、図面に垂直な面に行う。オブジェクトからの
光は、左側レンズ272に入射し、ミラー274及び276で反射されてCCD
278に進行する。レンズ272の視野の上面の小区域を選択し、それを左側レ
ンズ専用とする。この区域を矢印間に示し、それはテンプレートライン走査区域
を示す。CCD278の残りを、ミラー282及びプリズム284から反射され
る右側レンズ280からの光によって走査することができる。図17及び19の
実施の形態に対して、隣接して又は共通ベースライン沿いの一方のトップに一つ
を載せ置いた二つのレンズを含む単一カメラを構成することができ、両方のレン
ズからの光を結像することができる。
「ベースライン垂直」多重ライン走査の実施の形態(図13〜16)の少なく
とも一部に対する信号処理を、図18に示すように行うこともできる。図18に
おいて、デジタルプロセッサは、図16のコンピュータによって実行された機能
に取って代わる。それに加えて、図3のコンピュータのハードウェアの補足を変
更し、したがってフレームグラッバ32及び34はもはや必要でない。このデジ
タルプロセッサを、市販の素子で構成することができ、コンピュータの演算上の
要求を著しく減少させることができる。したがって、レンジ測定をより頻繁に行
うことができ、したがって速度演算の正確さを向上させることができる。また、
コンピュータにRAMが要求されることが少なくなる。図16のフローチャート
に記載された差の和の計算は、図18のプリプロセッサによって実行され、その
結果は、コンピュータインタフェース318に転送される。テンプレートカメラ
300と称される上側カメラは、映像を8ビットアナログ対デジタルコンバータ
302に転送する。8ビットADCの出力を、8ビットメモリ304によって5
11(画素)にする。下側すなわちフレームカメラ306は、映像をその8ビッ
トADC308に転送する。両カメラを、RS 170 同期発生器によって同
期されたRS 170規格のビデオカメラとすることができる。刻時及び時限回
路312により、テンプレートラインを表すデジタルビデオデータを、メモリに
記憶させ、刻時して後に出力し、補数器/加算器/累算器314と称される差の
和演算装置でADC308の出力に加算する。演算装置314を、図16に示し
たプログラムに従って作動するようにプログラムし、この演算装置は、2次元的
な差の和のアレイを489×8ビットメモリ316に供給する。これらデータを
、コンピュータインタフェース318に転送する。コンピュータは、ヌルサーチ
ルーチン並びに図9c〜9fに記載されたレンジ及び速度計算をを実行する。
本発明の速度計算を、時間T1及びT2で行われるレンジ測定の対を参照して
説明する。しかしながら、より正確であることが要求される状況に対しては、複
数のレンジ測定Rnを複数の時間Tnに行うことができ、線形回帰アルゴリズムを
複数のレンジ測定に適用して、ターゲットの速度を決定することができる。線形
回帰法が許容され、デカルト座標でプロットされた複数のポイントを直線に適合
させる統計的な方法が広く用いられる。このシステムにおいて、レンジを縦座標
にとり、時間を横座標にとる。線形回帰法を、測定されたレンジRn及びそれに
関連する時間Tnを2次元アレイでコンピュータのメモリに記憶させることによ
って実現することができる。その後、速度を、横座標のグループに適合したライ
ンの大きさ及び勾配に基づいて決定することができる。勾配の代数的な符号は正
であり、ターゲットは後退する。勾配の代数的な符号が負の場合、ターゲットは
接近する。レンジ座標の2乗に基づく信頼レベルも計算することができる。
図21を参照すると、複数の時間に取り出されたレンジ測定のアレイを、フロ
ーチャート形態で示す。レンジ測定を列1に示し、それは、T1,T2,...Tn
の列2に示した時間に取り出されたR1,R2,...Rnを具える。測定の番号
を行番号によって示し、それは1からRCMAXまで延在する。行番号は、2次
元列アレイが記憶されるメモリのアドレスを表す。
図20は、移動ターゲットの速度を計算するために線形回帰法を用いる本発明
の処理の一般的なフローチャートを示す。このチャートは、図4のチャートと同
様である。ブロック62,64、66,68及び70は、図4に図示した処理ス
テップと同一である。図4に図示したプロセスとの相違は、ブロック330から
始まる。このポイントにおいて、ブロック62〜70を後に繰り返して、時間Tn
で複数のレンジ及び時間測定Rnを得る。少なくとも、このような三つの測定を
、所望な正確さに応じて得る(より詳細には得ることができる)。ブロック33
2,334及び336は、ターゲットの速度に関する情報を発生させる線形回帰
計算を示す。ブロック332において、線形回帰計算を行って、最適な直線を、
レンジ及び時間によって表されたデカルト座標のデータポイントに適合させる。
ブロック334において、このラインの勾配を計算する。ターゲットの速度はこ
の勾配に正比例する。ブロック336において、信頼レベルを計算する。ブロッ
ク338において、ブロック332,334及び336の計算結果を表示する。
図22を参照すると、コンピュータ30によって実行される算術的な方法を示
し、これは、ブロック332,334及び336の計算を実行する。ブロック3
40において、変数X及びYを初期化する。ブロック342において、“ROW
”と称する変数を1にセットする。変数X,Y及びROWを用いると、変数X及
びYによって表されたレンジ及び時間座標に対して適合した線形回帰直線を、ブ
ロック344において従来の方法によって計算する。ブロック346において、
変数ROWを1増分する。ブロック348において、プログラムは、変数ROW
がRCMAX+1に等しくない間ブロック344に戻る。ROWがRCMAX+
1に等しい場合、プログラムは、次に、変数X及びYの和に基づいてRを計算す
る(ブロック350)。ブロック352において、R2で表される信頼レベルを
計算する。ブロック354の計算は、デカルト座標X,Yに対する線形的な適合
を表す直線の勾配を表す。ブロック356において、速度を、勾配に定数を乗算
することによって簡単に計算する。ブロック358において、速度及び信頼レベ
ルを表示する。
ターゲットの密な解像度が要求されないデカルトアプリケーションに対する演
算時間を省略するために、画素マップ間の相関を、各画素オフセットの替わりに
オーバーラップ領域のn番目の画素ごとに行うことができる。最小オーバーラッ
プ領域は、約100画素であり、511画素まで延在することができる。相関が
n番目の画素ごとにのみ行われる場合、選択されたn番目の値は、アルゴリズム
を用いて分解することができる最大空間周波数とアルゴリズムを実行するのに要
求される時間との間のトレードオフを表す。所定のプロセッサに対して、これは
、各レンジ測定の正確さと所定の時間で行うことができるレンジ測定回数との間
のトレードオフである。したがって、ターゲットに対して2レンジ測定より多く
測定を行う時間がある場合、上記線形回帰技術を用いることができる。
この変形例を実現するために、図9bのブロック110の変数PIX+1を、
PIX+PIXSTEPに変え、この場合PIXSTEPはnに等しい。ブロッ
ク116において、式の右辺を、PIXSTEP*ACC/(NPIX−OS)
に変える。図16のブロック242において、変数PIX+1を、PIX+PI
XSTEPに変える。この技術によりターゲットの解像度がより粗くなるが、n
番目の画素ごとに相関させるだけでよいので、より迅速になる。これにより、よ
り多くのレンジ測定が許容され、これにより、線形回帰のような技術が用いられ
る場合にはレンジの正確さがより高くなる。
本発明を、移動する車両の速度を検出する検出システムについて説明したが、
ここで説明した本発明はより広い用途を有し、実際には、静止オブジェクトに対
するレンジ、任意の移動オブジェクトの速度、及び/又は移動オブジェクトと静
止オブジェクトとの間の相対移動を検出するのに用いることができる。例えば、
本発明を、アッセンブリラインに沿って移動するオブジェクトを監視し又は作動
させるロボット工学による製造又は監視システムに組み込むことができる。他の
重要な用途は、ターゲットを得るとともに追跡する攻撃システムに組み合わせて
用いられるレンジ測定装置である。さらに別の用途は、静止背景に対する移動と
なるカムフラージュされたオブジェクトを検出するのに用いられるスポッティン
グシステムである。上記実施の形態のエッジ検出は、この目的のために特に有用
である。他のあり得る使用及び用途は当業者には明らかである。
明細書中に用いられる用語及び表現は、説明の用語として用いられるものであ
って限定の用語として用いられるものではない。また、このような用語及び表現
を用いるに当たり、図示及び説明した形態の等価物及びその一部を排除すること
を意図するものではなく、本発明の範囲を、以下の請求の範囲によってのみ規定
し及び制限する。DETAILED DESCRIPTION OF THE INVENTION
Optical range and speed detection systemTechnical field
The present invention relates to a range measurement and speed detection system, and more particularly to a range measurement and speed detection system.
Transit speed that does not require an energy transmitter to achieve its purpose and purpose
It concerns an optical system for determining the degree.Background art
Most speed detection systems rely on moving targets that are reflected back to the recipient.
Transmitters that transmit energy are needed. The target
Measure the time for energy transfer and return to calculate the edge and its speed
For this purpose, various forms are provided. Radar is a prime example of this technology
, Radar guns are traditionally used by traffic enforcement legal enforcement agencies
. The problem of radar as a traffic control device is that target acquisition and measurement are ambiguous.
Is Rukoto. Which of several possible targets is at a certain speed
Often it is not possible to determine responsibly whether the indication has occurred
. Other problems are detected by the receiver tuning the radar to the appropriate frequency
There is a danger. Laser range measurement systems can also be used,
, Such systems may also be able to detect the target, and are incredibly expensive.
high.
Attempts to design a purely optical velocity measurement system have been attempted,
All of these suffer from accuracy and cost disadvantages in implementation. For example, light passing
A system is used, in which case the image is obtained at two different times and the time
By comparing the relative dimensions of the images in the field of view as numbers
Calculate speed. An example of such a device is described in U.S. Pat.
No. 4,257,703, U.S. Pat.
No. 01, and U.S. Pat. No. 4,847,772 to Micaropolos et al.
Is shown in
Other prior art devices capture images at known marker locations at different times.
Use the trigonometric relationship. Such a system is described in U.S. Pat.
Application Specification No. 4,727,258 and U.S. Patent Application No. 4
, 135,817. However, these systems capture the image.
Must be synchronized with the appearance of the target object at a known marker position.
It is necessary. This is not always practical and sometimes causes the camera to be widely separated or
They must be placed in different locations.
These and other conventional light transit speed detection systems are generally significantly more complex,
And / or is impractical or an external marker is required, and so on. Therefore
What is needed is a practical, compact, low cost, and minimal
Optical speed that can be used at any desired location with set-up time and complexity
A degree and / or distance detection device.Disclosure of the invention
According to the present invention, the video specified along each line of view in the target direction
A light transmission speed and distance measurement system including a pair of camera lenses is provided. These len
Are arranged along a common baseline separated by a predetermined distance. Timer
As a result, both camera lenses move for the first time T1Is the first target in the field of view of each lens
After acquiring the image, the subsequent time TTwoBut get it. Image is range measured
Means for measuring the range from a common baseline to time T1Smell
Distance R to target1And the time T from the baselineTwoUntil
Distance RTwoTo determine. The calculation means calculates, for example, speed = (RTwo-R1) / (TTwo-T1)
Or by solving the time TTwoAdditional range R determined bynLinear using
The speed of the target is determined by using a regression method. Preferably the camera
The lines of view of each of the lenses are parallel and these lenses are included in a separate camera
Or by using mirrors and prisms, each lens is
(CCD) can converge light. Also, cameras are generally
This type generates an image that is electronically scanned in the pixel array of
In some cases, the light intensity values of the pixels in the array are digitized for processing by a computer.
Can be tallied and stored.
Each of the first and second camera lenses provides an image measured at each field of view on the pixel map.
Converge. At least a part of the target measured in the field of view of each camera lens
The image is included in the pixel map. The range measuring means is configured to detect a target on the first pixel map.
Image position to the same corresponding target image on the pixel map of the second camera lens.
Includes a comparing means for correlating. Using this correlation, the target and the first and / or
Determine the angle between each line of the field of view of the two camera lens.
The pixel map may comprise a single line scan of the video data, the comparing means
Determines the difference in video data intensity at each pixel location in each pixel map and
Means for finding the correlation between them. This correlation gives the minimum intensity difference between pixel maps
Occurs at a global null where The location of this pixel is
It is a function between at least one line of view.
Video data contained in the pixel map is processed by a computer program
Can be converted to digital data for Computer program
, First and second at successively shifted shift positions between the two pixel maps.
The difference between the absolute values of the intensities between the pixels of the pixel map from the two cameras is calculated. Also, foreword
The pixel maps are shifted relative to each other using a logic circuit, and all possible pixel offsets are
Form a list of values. At this time, the computer searches the list for global nulls
can do.
A camera further comprising a third camera for obtaining the field of view and the target with the first and second lenses.
It can be placed on the raarray. The first and second cameras generally have an optical back.
Although it is necessary to have a narrow field of view to avoid scene disruption, the third camera
You can have a wide field of view to get a cut. In addition, these three cameras
Mechanically connect the first and second camera lenses to a third (target acquisition) camera.
It can be driven and controlled to rotate by a ra. The third camera is an operet
The preset data is generated when the target selected by the data is acquired.
An alphanumeric video generator can also be included. Such a day
Data can include, for example, time, date and other information about the target
You.
Another method for determining the offset angle of the target image with respect to the line of view is
Detects target position as target changes position relative to optical background
Can be included. As the target moves, the background covers most of the field of view.
Moving edge and still background video data using signal processing means.
To distinguish between
Generally, a camera and / or camera lens is mounted on a light-sensing device at the focal plane of the lens.
Place adjacently along a horizontal line parallel to the in-scan. However, the desired
In some cases, align the photosensitive elements and make the line scan direction perpendicular to the baseline.
To In this case, the signal that determines the offset of the target image from the line of view is
The signal processing is different from that used when scanning the photosensitive element parallel to the baseline.
Different. In this example, the video line scan of one camera is called a "template".
The other camera's full line scan is compared to the template line.
Are compared to perform image correlation and, as a result, determine the offset. This method
Compared to determining the offset by comparing the overlapping parts of the
Accurate, but requires more memory and computation time.
Difference in angle between two cameras specified for the target (offset angle)
By determining the computer associated with this system
The distance to the object can be accurately estimated. Computer is the basic of camera form
It does this by solving a general trigonometry. Common bases separated by a predetermined distance
Two cameras are placed along the line, so each of the camera lenses
The line extending from the target to the target forms a triangle. Both offset angles are known
If present, a trigonometric calculation is performed to solve the distance from the target to the center of the baseline.
I can. This measurement is made at least two different times and the time difference
Calculate target speed using range difference to target as a function of
can do.
The above and other objects, aspects and advantages of the present invention will be described with reference to the accompanying drawings.
It can be easily understood from the following detailed description of the present invention.BRIEF DESCRIPTION OF THE FIGURES
FIG. 1 is a simplified block diagram of the system of the present invention.
FIG. 2 is a block diagram of the video camera subsystem shown in FIG.
FIG. 3 is a block diagram of the control and arithmetic subsystem shown in FIG.
FIG. 4 shows a computer used to calculate the range and speed of a moving target.
6 is a simplified flowchart of a computer program.
FIG. 4a shows a system using a separate camera with a line scan parallel to the baseline.
It is for linearly explaining the optical relationship of the stem.
Figure 5 calculates the angle between the center of the target and the line of sight of the camera lens
A linear description of the geometric configuration of the pixel map used to
You.
FIG. 6 illustrates the overall geometric range of the optical range and speed detection system of the present invention.
FIG.
FIG. 7 illustrates the relationship between the geometry of the system of FIG. 6 and the pixel map of FIG.
FIG.
FIG. 8 is a linear diagram illustrating how the system calculates the target offset.
is there.
9a-9f show the range and speed for the target using the system of FIG.
5 is a flowchart illustrating a method for calculating the following equation.
FIG. 10 shows the offset between the camera and the line of view, called the edge detection method.
FIG. 9 is a waveform chart illustrating a second method for determining an angle.
11a to 11c are flowcharts illustrating the edge detection and capture method illustrated in FIG.
It is a chart.
FIG. 12 illustrates the right and left camera lenses located in the system illustrated in FIG.
It is a linear diagram of a visual field.
FIG. 13 shows that the CCD line scan is arranged perpendicular to the vertical baseline.
FIG. 4 is a linear view of the overlap of the fields of view of the placed camera lenses.
FIG. 14 shows a camera arranged along a vertical baseline as shown in FIG.
5 shows a pixel frame map generated by a lens.
FIG. 15 shows the upper and lower camera lenses aligned along the vertical baseline.
The linear configuration of the vertical line scan camera device
You.
FIG. 16 shows a camera positioned along a vertical baseline as shown in FIG.
4 is a linear flowchart illustrating a method of calculating a pixel offset when performing
.
FIG. 17 has two adjacent lenses scanning the CCD parallel to the baseline
1 is a linear perspective view showing an embodiment of the present invention using a single camera.
FIG. 18 is a block diagram of a video preprocessor to be used in another embodiment of the present invention.
FIG.
FIG. 19 shows two CCDs mounted to scan the CCD perpendicular to the baseline.
Linear perspective view showing another embodiment of the invention using a single camera with a lens
FIG.
FIG. 20 is a flowchart similar to FIG. 4 showing the linear regression method for calculating velocity.
You.
FIG. 21 is a linear diagram of a two-dimensional memory array including range and time data.
FIG. 22 is a flowchart illustrating the linear regression calculation of the method illustrated in FIG.
is there.Best mode for implementing the present invention
Referring to FIG. 1, the present invention provides a video processing system connected to a control and
It includes a video camera subsystem and a video display 10. Camera subsystem
The system 10 supplies the right camera image and the left camera image to the control subsystem 12.
Control subsystem provides alphanumeric video to the video camera subsystem.
Supply to the stem. FIG. 2 showing an expanded block diagram of the video camera subsystem
Includes a narrow field lens 14 that supplies an optical image to a left camera 16. Second narrow
The field lens 18 supplies an optical image to the right main control video camera 20. right
The side video camera is also used for the left video camera 16 and the right video camera 20.
And sync supplied to the dependently controlled visual video camera 22. Field of view bidet
The camera 22 includes a wide-field lens 24 for obtaining a target.
All cameras 16, 20 and 22 are connected to a pixel matrix of a light-sensing device such as a CCD.
And a type that includes a box array. Therefore, the pixel array is
Electronically scanned in the vertical and vertical lines to determine the light intensity at each of the scanned pixel locations.
Generate video data to represent. Further, the output of the visual video camera 22 is
For a video mixer 26 that can receive fanumeric video input,
And provide video. Wide field of view of camera 22 following alphanumeric images
The image can be displayed on video display 28.
FIG. 3 is an expanded view of the control and arithmetic subsystem 12. Subsystem 1
2 mainly consists of a personal computer 30 (indicated by broken lines).
Can be of any type. The computer 30 outputs the image from the left camera.
Frame grabber 32 and frame grabber 3 for the right camera image
4 inclusive. The alphanumeric generator 36 is provided from the right video camera 20.
It is subordinately controlled by the supplied sync. Computer is computer bus 3
The computer bus 38 includes a frame grabber 32, an alphanumeric
-The merrick generator 36 and the frame grabber 34 are
It is coupled to the dumb access memory 42 and the CPU / 10 unit 44. Computer
Outside computer 30, a computer bus 38 is connected to a real-time clock and calendar 46,
It is also coupled to an operator control unit 48 and a printer 50.
The geometry of the system is shown in FIG. Point 5 on the left camera lens 14
2 and the lens 18 of the right camera is arranged at the point 54. Wide
Field lens 24 is placed at point 56 between points 52 and 54
I do. The target is placed at a point 58 in the field of view of all three cameras.
Preferably, each line of view of the narrow field camera located at points 52 and 54 is
, As shown by the dashed lines in FIG. Angle φLH is equal to target point 58
Shows the angle between the line of sight of the camera located at 52. Similarly, φRH is
5 shows the angle between the line of sight of the side camera and the target. Two cameras, long
Placed along a baseline 60 having a height “b”, in this case a central wide-field camera.
The camera lens is moved along the baseline at a distance b / 2 by two narrow-field cameras 14,1.
8 in the middle. Range from this point to target point 58
Is represented by R. Thus, a triangle with sides "a", "b" and "c" is
Formed between the get position 58, the right camera position 52, and the left camera position 54.
You. This triangle represents the interior angle α at the left camera position, the interior angle γ at the right position, and the target angle.
The inner angle β of the position. To determine the speed of the target, it is two differences
This calculation is performed when the range difference is divided by the elapsed time between measurements.
FIG. 4 shows a main method of operating the system in the form of a flowchart. "start
Thereafter, at block 62, the system captures a linear stereo image of the target.
I do. This image is a video captured simultaneously by the left and right lenses
Consists of a single line scan of the data. This linear scan is performed at time T1And TTwoDo with
. At block 64, the system determines the position of the image offset between the two scan lines.
At each of the two times, between the right scan line and the left scan line, for the possible summation
Calculate the sum of pixel intensity differences. At block 66, the system responds to the null.
A search is performed for the sum of the difference lists to create a null list. At block 68
, The system searches for a global null and records the pixel offset location where it was found
You. Let the global null be the offset location that produces the minimum intensity difference between the images. this
The offset position is between the visual line of at least one camera and the target
Is proportional to the angle of At block 70, the system performs a global null.
The range for the target based on the number of image offsets required for the
. At block 72, the process is repeated for the scan of the second line pair,
At block 74, the system calculates the equation
S = (RTwo-R1) / (TTwo-T1)
Calculate the target velocity solved by This method is illustrated in FIGS. 4a and 5.
Formally shown. FIG. 4a shows the target (defined by points S, P, E and M).
5 shows the overlap region of the field of view of range R for the unit. WR is the width of this area
It is. The width WR is a part of the line and approaches one unit as the range approaches infinity.
Good. The point (M) at which WR approaches zero is the global minimum operating range (RMIN)
. The width of the overlap area (line segment between points E and S) is
Each array is imaged at a different location on the output array. FIG. 5 shows a diagram from FIG.
Represents a two line pair scan, where the upper pixel scan 76 is the left camera
The lower pixel scan 78 represents the pixel map of the right camera lens.
Represents the top. The black pixel in each scan represents the calculated target position and the distance
The shift 2d is an offset position when a global null occurs. Implementation of the present invention
The morphology is to find at least part of the target in the field of view common to both lenses
Is assumed to be possible. This is shown graphically in FIG. 4A.
FIG. 7 shows a specific field for the general system geometry shown in FIG.
Indicates a match. Referring again to FIG. 5, the system provides a map between pixel maps 76 and 78.
Determine the distance d, which is a half pixel offset. This correlates the two lines
By doing it. The correlation is the total offset 2d as shown in the lower part of FIG.
In this case, the pixel map 78a of the right camera lens is
Offset to the pixel map 76a, so that the total offset is equal to 2d.
You. When the pixel intensity is compared to this offset, the pixel matrix at this offset location is
A global null is generated that represents the minimum difference in absolute pixel intensity between the pixels. For this,
In global null, the target image is the dominant object common to both cameras' fields of view.
Become. This process shifts one of the two overlapping fields to match the field of view.
It is the same as making The pixel offset required to do this depends on the camera lens
Directly proportional to the angle between at least one and the target image relative to the original line of view
I do.
This method is shown diagrammatically in FIG. Ray from target 58a at point P
Is the angle θ between the line c and the line of view of the left camera lens. This light
The line passes through the left camera lens 80 and is located at the focal plane of the lens 80
Focused on the pixels of the pixel map 76. Similarly, on the right side, the target 58a
The ray from point P is the focal point of right camera lens 88 along line "a".
It extends to a line pixel map 84 located on the surface 86. Both pixel maps are lenses
80 and 88 are located at each focal plane of the same focal length "FL". Focal length FL
The light from the target extending along line "c" or line "a"
The angle θ with respect to the line of view of the camera. This angle is determined by the lines c and a
Is the same as the angle between each of
Angle. The calculation step shown in block 70 of FIG.
Calculate the range for the target by determining. Angle θ with each pixel
The shift that minimizes the difference between the absolute value of the pixel intensity and the pixel map is measured by the number of pixels.
Is determined by This is the right lens equivalent to an angle φ equal to twice θ.
Equal to the rotation of the right pixel map about the axis of the pixel 88. Of this virtual pixel map
This rotation is shown diagrammatically in FIG. 7, where the pixel 84a is rotated by an angle φ.
The black (target image) pixel of each map is set at the same position. Broken line of lens 88A
Indicates a "rotated" position opposite the right camera lens.
In effect, the lens remains specified along each line of the field of view. However
However, mechanically performing a virtual camera rotation at an angle φ is an arithmetic process
is there. A dashed line d shown in FIG. 7 indicates a pixel from the center of the pixel map where the image correlation has occurred.
Indicates the offset distance. In the range where R is significantly longer than the length of baseline b,
The tangent function of θ is linear, and the offset distance d is directly proportional to θ. This relationship is
, As described later.
Referring to FIGS. 9a-9f, the control and arithmetic subsystem measures the target speed.
3 shows a flowchart illustrating a method for determining Once you start the system,
The computer software is installed in the CPU / 10 unit 44 of the computer 33.
Under control, enter a loop (blocks 87 and 89) waiting for a "measurement speed" command.
You. This command provides a simple push button switch associated with the wide field camera 22.
Initiated by the operator's control unit 48 including the switch. Once the operation
When the desired target is placed by pressing the button,
The "Send" flag is set (block 90) and the left frame grabber 32 and the right
Start capturing images of the frame grabber 34 simultaneously (block 92).
. The captured video lines are then copied from each frame grabber 32,34.
The data is transferred to the RAM 42 of the computer 30 (block 94). Then, both video
In, the time T representing the capture time1(Block 96). Transfer is the first transfer
If so, the program returns to block 92 and repeats the sequence (block 9
8 and 100). After the second video line pair transfer, time T1And TTwoTwo marked with
Are stored in the RAM of the computer. Referring to FIG. 9b
, The software sets the variable OS (offset) to zero (block 102)
). Other variables ACC are also set to zero (block 104). The third variable PIX
It is made equal to OS + 1 (block 106). After that, the variable ACC is set to a predetermined
Absolute difference in intensity between left and right pixel maps at set position
Make the value representation equal to the ACC plus. After that, the variable PIX is incremented by 1.
(Block 110) and the variable PIX is set to NPIX representing the total number of pixels in the video line.
The calculation is repeated until they are equal, forming a loop (block 112). this
511 pixels on a single horizontal video line
Exist.
Once all pixels in ACC have been calculated, a new change equal to the offset OS
The number QUAO1 (OS, 1) is defined (block 114). The second new variable QU
Make O1 (OS, 2) ACC equal to NPIX-OS (block 116).
. This normalizes the absolute value of the difference in intensity between the sum of the two pixel maps. So
The reason is that when the offset is shifted (see FIG. 8), the pixels in the overlap area
Is less. FIG. 8 shows the data stored in the RAM and 77 and 7.
9 represents a left pixel memory map and a right pixel memory map. Memory map
The arrow designating between steps 77 and 79 represents the sum of the differences between the absolute values of the intensity at the pixel position.
And its pixel position as the address of the memory map in the current overlap area
To represent. It can be seen that as the offset increases, the overlap area decreases.
. The variable OS is incremented by one until the offset reaches a maximum, which is
In practice, this is equal to the number of pixels.
On the other hand, it is limited to about 20% (about 100 pixels) of the line. Reach this maximum
And software are created with variables QUAO1 (OS, 1) and QUAO1 (OS, 2).
Move.
To find a null position that ultimately represents the distance d representing the pixel offset, first
, X equal to zero and OS equal to one (block 122). X is
Becomes a null count variable, and the OS returns the second sum of the sums of the difference list, which is a QUA01 array.
Address. QUAO1 contains the sum of the differences and the offset value at which they are calculated.
A two-dimensional array. This array is correct as in block 116 previously described.
Is regulated. Referring to blocks 124 and 126, each sum of the QUAO1 list is
, Compared to the adjacent sum of the list. If the sum is less than its neighbor, null
, Ie, X is incremented as shown in block 128.
The null (with NULL) is then converted to a two-dimensional array according to its offset value.
Les
(Block 130). Increment list pointer OS in block 132
And the last ambiguous NULL candidate (following the final sum of the list) is
Evaluate as indicated.
FIG. 9d shows a search routine for searching for global NULL. NULL squirrel
The first NULL value is placed in a register with GLNULL. Corresponding e
The offset is placed in a register marked GNOS (block 136). Then
, NULL list pointer NL is set to the second value of the list. In this case, N
L is equal to 2 (block 138). This NULL value is compared with the previous NULL superposition.
Compare (block 140), if the NULL value is less than the previous NULL value, it is G
Replaces the value in the LNUL register and sets its offset to the value in the GNOS register.
(Block 142). The NL is then incremented (block 145) and the list
The process is repeated until all the X values in have been examined (block 146).
The NULL value remaining in the GLNULL register is the minimum value in the NULL list.
, The corresponding GNOS register offset is the pixel relative to the global NULL
Offset.
Since the pixel offset is known, calculating the range to the target
it can. A method for doing this is shown in FIG. 9e. Global NULL off from first line pair
A set is selected (block 148). Next, the distance d is set to the OFF of the global NULL.
The set is defined as divided by two (block 150). Then, the angle θ
, Equal to d times the proportionality constant θPIX (block 152). Then
Solve the triangular equation that yields the range, where the R of the range is b / 2 × tan (90
(° -θ) (block 154). This is done by the first range calculation
, Then loop back the program and do it for the second range calculation (
Blocks 156 and 158). A second range calculation is performed (block 160).
And the range value is stored in memory (block 162).
The speed calculation is shown in FIG. 9f. Value T1And TTwoCapture of the first and second pair of frames
The time of the catch is taken out (block 164). Then the difference of time
Value R as a function1And RTwoThe speed is calculated as a change in (block 166).
The speed is then stored, which is the calendar date and the real time
According to other alphanumeric information generated by the meter and calendar 46
Is displayed. Once this is done, the "command received" flag is cleared and the
The program returns to the start (block 170).
A second embodiment of the present invention is shown in FIGS. 10 and 11a to 11c. Of this implementation
The hardware configuration of the configuration is the same as that shown in FIGS. "D
The difference between this embodiment, which is called "edge detection method", is that the computer 30
Software that controls the acquisition of video data from the camera
First, process the data to determine the angle between the right camera and left camera and the target.
The point is to determine.
Referring to FIG. 10, the basic theory of the edge detection method is that two moving targets are used.
The position of the overlap area of the narrow-field camera of
That is to say. By removing background video data
The right and left edges of the moving target can be determined,
, The angle to the target is determined. In FIG. 10, it is called LINEI
The lines of video data show images of the field of view of the right and left cameras. LIN
E2 is a video image of the same field of view, but later retrieved. As shown,
The image of the video line can identify the object presumed to be the moving target image
It is almost the same except for the movement. Subtract LINE2 from LINEI to get the background image
The information is removed and the edges of the moving target are determined by predetermined positive and negative thresholds.
Can be seen as a video pattern that exceeds This is the moving target
With this information in place, the system will determine the center position of the moving target.
, And therefore the angle of the target can be calculated.
This method is illustrated in the flow charts shown in FIGS. start(
In block 172), the camera acquires right and left images of the target.
(Block 174). The time of capture is recorded (block 176) and the three pairs are captured.
The process is repeated at three different times until a new one is obtained (blocks 178 and
And 180). The system then extracts the first two images pixel by pixel and subtracts
A split line image is formed (block 182). Next, the root mean square of each difference line
A root (rms) value is calculated (block 184). Then, a similar process,
This is done for the second and third line image pairs (blocks 186 and 188). Then
, The system calculates the positive and negative threshold values for each difference line image as a function of the rms value.
(Blocks 190 and 192). From these operations, the "Threshold
Is obtained (block 194). Up to this point,
The system obtains data representing a difference video line corresponding to the lower waveform of FIG.
Thereafter, the system calculates the position of each of the left and right edges. this
Starting from the first pixel of the line, if that pixel exceeds a positive threshold or
This is done by determining if a negative threshold is exceeded (blocks 196 and 198).
And 200). In response to the decisions of blocks 198 and 200, the pixel value is set to a value of 1,
A value of -1 or a value of zero (blocks 202, 204 and 206). This professional
The process is repeated until the last pixel on the line is reached (blocks 208 and 2).
10). Referring to FIG. 11c, once the pixel value is obtained, it is stored in memory.
The software searches for the first non-zero pixel (block 212) and
Record the pixel number as the first edge of the target image (block 214).
. The system then searches for the last non-zero pixel (block 216) and
The prime number is recorded as the second edge of the target image (block 218).
Next, the center position of the target image is calculated (block 220). By this calculation
A pixel offset number is generated, and the pixel offset number is then described in FIG.
The angle is converted as described (block 222). Then, for each differential line pair
The range to the target to be calculated is calculated (block 224), and using this information,
The system calculates the velocity as illustrated in FIGS. 9e and 9f (block 226).
).
In the edge detection method, the target image is located between the left camera and the right camera.
Do not assume that it contains points. In fact, the more general geometric functions illustrated in FIG.
Entities are applied. Therefore, to determine the range R, φLH and φRH
Both need to be known. In calculating these angles, two target
Only the approximation that φ is directly proportional to the pixel offset that represents the middle of the
You. This is only true if R is significantly larger than b.
The angle φ for the right camera and the left camera is calculated from the line of sight to the target image.
Calculated by determining the center shift of Right camera and left camera
Is the pixel position corresponding to the center of the image line scan
. Simply count from the center of the line scan to the calculated position of the center of the target image
Thus, the distance d can be obtained for the right camera and the left camera, and φ
Is equal to the proportionality constant multiplied by the distance d. Referring to FIG. 6, the angle α
Is equal to 90 ° minus φLH, and the angle γ is 90 ° minus φRH.
Will be equal to what you have. Therefore, the range is
R = √ (a sinγ)Two+ (C cos α-b / 2)Two
Is calculated by These calculations are performed in blocks 222 and 224 of FIG.
Performed by software. Thereafter, the speed is already described in block 226.
It is calculated by the method as described above.
In the edge detection method, an edge traversing parallel to the base line b between both ends of the camera field of view is used.
Optimized for objects. However, the system is
Also works on objects that have a field of view that is perpendicular or acute to
. An operation including trigonometric functions that considers the difference in the direction of the angle of the moving target with respect to the visual field
Adjustment of the arithmetic algorithm can be performed. This is a quantity that can be expressed as a constant
Is known. The reason is that for applications like traffic control, moving objects
However, it crosses on a straight line that does not deviate between both ends of the visual field.
Further, a third embodiment of the present invention is shown in FIGS.
Referring to FIG. 12, in a preferred embodiment of the present invention, the left camera lens and
The video scan line for the right and left camera lenses is parallel to the baseline (left camera
The field of view of the camera lens and the right camera lens are vertically offset for illustration only
Have been. ). A different form is shown in FIG. 13 where the vertical baseline is
Along the camera at a predetermined distance along, the scan line extends perpendicular to the baseline
I do. These cameras can also be placed on a horizontal surface, but in such cases,
The scan line of the light sensing device is rotated by 90 °. Figure 14 shows the difference in performance
I do. In the present embodiment, the pixel map replaces part of the line with video data.
Data consists of all lines. In the present embodiment, the resolution is high. The reason is the video
All lines of data are part of lines that can be reduced to about 100 pixels.
This is because they occupy the position. Conventional camera system line using this technology
And about 489 lines having at least 500 pixels. single
For the line scan embodiment, the estimated position of the target image from the center of the field of view
The offset distance d representing the offset to the position is determined. For this embodiment
Global null resolution is good, but processing time is slow. The reason is 489
It is necessary to scan all frames consisting of lines,
It is necessary to increase the capacity of the memory to store the additional information.
FIG. 15 shows that they are placed along the vertical baseline and separated by distance b
Shown is a system in the form of an upper camera 230 and a lower camera 232 as described. Upper turtle
LA 230 includes a field of view extending from the L1 UPR to the L489 UPR. Lower
The camera includes a field of view extending from the L1 LWR to the L489 LWR. Each ren
There is an overlap area shown between the vertical arrows on the right side of the drawing. This figure is
, Range RTwo3 shows an overlap region of. Upper camera 230 and lower camera 2
The dashed lines, each extending from 32, are optionally referred to hereinafter as "template" lines.
Indicates the position of the selected scanning line. In FIG. 15, L TEMP (L
WR). The template line is a target image of at least any range
Is an image scanning line including the position of. All lines of the upper camera (all frames)
Pixel intensity from the template line (lower camera template
Only the pixel intensities from the lines are mapped into computer memory. ). That
Later, the output of the upper camera is shifted and the line is shifted until the image line position is correlated.
Each time with a single template line from the lower camera frame map. This
This occurs with a full shift of the 2d line. This correlation is illustrated in FIG.
If the selected line in the field of view of the upper camera is shifted by a distance of 2d line,
Correlate with the template (dark) line in the side camera's field of view. This embodiment
The software to execute is significantly smaller than that shown in FIGS.
The difference is that in this case, the flowchart of FIG. 9b is replaced with the flowchart of FIG.
Is Rukoto.
Referring to FIG. 16, the offset is equal to the template line (block
234). ACC is set to zero (block 236) and PIX is set to one.
(Block 238). Then, ACC is added to any line in the upper field of view.
Equal to the absolute value difference from the template line (block 240). variable
Increment PIX and repeat the process until PIX equals NPIX (block
242 and 244). The variable PIX is an array pointer variable common to both arrays.
Therefore, the numbered pixels of both arrays are designated. Upper map line
The pointer is a variable OS, whereas the line pointer of the lower array is a constant.
(TEMP). QUA01 is the sum of the differences and the offset value at which they are calculated
Is a two-dimensional array. There is no need to normalize the sum of the differences in this case. The reason
The reason is that all are composed of the same number difference. The process is up to
Until the possible offsets are reached and all the values of QUA01 have been calculated
Continue (blocks 246, 248, 250 and 252). Then the program
The system proceeds to FIG. 9c to calculate nulls and find global nulls. Adjacent picture
A proportional constant θP that is a function of the distance between the centers of adjacent lines instead of the centers of the elements
Only the value of IX differs.
In addition to the above three signal processing methods performed on captured video data,
Can be modified without departing from the scope of the present invention.
Right used to generate a line image that is processed by the above three methods
The side camera and left camera can be merged into a single camera. FIG.
Figure 2 shows a linear diagram of a device such as In FIG. 17, the left lens 260 and the right lens
262 converges light and passes it through a pair of refractive prisms 264 and 266, respectively.
Let These prisms were deposited with upper prisms 268a and 268b.
Guide light to prism arrangement 268. The upper prisms 268a and 268b are
The light is reflected to a different area of one CCD line, that is, the area camera chip 270.
The configuration shown in FIG. 17 is different from the single line scanning method shown in FIG. 7 and the edge detection method shown in FIG.
Useful for
FIG. 19 shows a form suitable for the multi-line scanning method. In this figure, the lens is
The line scan is performed on a plane perpendicular to the drawing. From the object
Light enters the left lens 272, is reflected by mirrors 274 and 276, and is
Proceed to 278. Select a small area on the top of the field of view of lens 272 and move it to the left
For exclusive use. This area is shown between the arrows, which is the template line scan area
Is shown. The remainder of the CCD 278 is reflected from the mirror 282 and the prism 284.
Scanning by light from the right lens 280. 17 and 19
One for adjacent embodiments or one on the top along a common baseline
A single camera can be constructed that includes two lenses with
Light from the camera can be imaged.
Less Embodiments of "Baseline Vertical" Multiple Line Scan (FIGS. 13-16)
Alternatively, the signal processing for a part can be performed as shown in FIG. In FIG.
In addition, the digital processor has the functions executed by the computer of FIG.
Replaces In addition, the computer hardware supplement of Figure 3 has been modified.
In addition, frame grabbers 32 and 34 are no longer needed. This desi
Computer can be configured with commercially available elements,
Requirements can be significantly reduced. Therefore, range measurements must be taken more frequently.
Therefore, the accuracy of the speed calculation can be improved. Also,
RAM is less required for the computer. The flowchart of FIG.
The calculation of the sum of the differences described in is performed by the preprocessor of FIG.
The result is transferred to the computer interface 318. Template camera
The upper camera, referred to as 300, converts the video to an 8-bit analog-to-digital converter.
Transfer to 302. The output of the 8-bit ADC is output by the 8-bit memory 304 to 5
11 (pixels). The lower or frame camera 306 converts the video to its 8-bit
Transfer to the ADC 308. Both cameras are synchronized by the RS 170 sync generator.
An expected video camera of the RS 170 standard can be used. Clock and timed
The path 312 stores digital video data representing the template line in the memory.
The difference is stored, clocked and output later, referred to as the complementer / adder / accumulator 314.
The sum is added to the output of the ADC 308 by the sum operation device. The arithmetic unit 314 is shown in FIG.
The arithmetic unit is programmed to operate according to the program
An array of the sum of the differences is supplied to a 489 × 8-bit memory 316. These data
, To the computer interface 318. Computer Null Search
Perform the routine and range and speed calculations described in FIGS. 9c-9f.
The speed calculation of the present invention is performed using the time T1And TTwoWith reference to the range measurement pair made in
explain. However, for situations where more accuracy is required,
Number range measurement RnFor several times TnAnd a linear regression algorithm
Applying to multiple range measurements, the speed of the target can be determined. linear
Regression method is acceptable, fits multiple points plotted in Cartesian coordinates to a straight line
Statistical methods are widely used. In this system, the range is defined by the ordinate
And the time on the abscissa. The linear regression method is applied to the measured range RnAnd it
Associated time TnIn a computer memory in a two-dimensional array.
Can be realized. The speed is then adjusted to the line that matches the abscissa group.
Can be determined based on the magnitude and gradient of the The algebraic sign of the gradient is positive
And the target retreats. If the algebraic sign of the gradient is negative, the target is
approach. A confidence level based on the square of the range coordinates can also be calculated.
Referring to FIG. 21, an array of range measurements taken at multiple times is stored in a flow chart.
-Shown in chart form. The range measurement is shown in column 1, which shows that T1, TTwo,. . . Tn
R extracted at the time shown in column 2 of1, RTwo,. . . RnEquipped. Measurement number
Is indicated by the row number, which extends from 1 to RCMAX. Line number is secondary
Represents the address of the memory where the original column array is stored.
FIG. 20 illustrates the present invention using a linear regression method to calculate the velocity of a moving target.
2 shows a general flowchart of the processing of FIG. This chart is the same as the chart in FIG.
It is like. Blocks 62, 64, 66, 68 and 70 correspond to the processing blocks shown in FIG.
Same as Tep. The difference from the process illustrated in FIG.
Begin. At this point, blocks 62-70 are repeated later, at time Tn
With multiple ranges and time measurements RnGet. At least these three measurements
(Depending on the desired accuracy). Block 33
2,334 and 336 are linear regression generating information about the speed of the target
The calculation is shown. At block 332, a linear regression calculation is performed to find the optimal straight line,
Fit to Cartesian data points represented by range and time.
At block 334, the slope of this line is calculated. The target speed is
Is directly proportional to the slope of At block 336, a confidence level is calculated. Block
In step 338, the calculation results of blocks 332, 334 and 336 are displayed.
Referring to FIG. 22, an arithmetic method performed by computer 30 is shown.
It performs the calculations of blocks 332, 334 and 336. Block 3
At 40, variables X and Y are initialized. In block 342, "ROW
Is set to 1. Using variables X, Y and ROW, variables X and
A linear regression line fitted to the range and time coordinates represented by
Calculate in lock 344 by conventional methods. At block 346,
Increment the variable ROW by one. At block 348, the program proceeds to the variable ROW.
Returns to block 344 while is not equal to RCMAX + 1. ROW is RCMAX +
If equal to one, the program then calculates R based on the sum of variables X and Y
(Block 350). At block 352, RTwoThe trust level represented by
calculate. The calculation in block 354 is a linear fit to the Cartesian coordinates X, Y
Represents the slope of a straight line representing At block 356, the speed is multiplied by the slope by a constant.
Calculate easily by doing. At block 358, the speed and reliability level
Display the file.
Performance for Cartesian applications where dense target resolution is not required
In order to save the calculation time, the correlation between pixel maps is replaced with each pixel offset.
This can be performed for each n-th pixel in the overlap area. Minimum overlap
The loop region is about 100 pixels and can extend up to 511 pixels. Correlation
If performed only every nth pixel, the selected nth value is
The maximum spatial frequency that can be resolved using
Represents the trade-off between required time. For a given processor, this is
Between the accuracy of each range measurement and the number of range measurements that can be taken in a given time
Is a trade-off. Therefore, more than two range measurements on the target
If there is time to make the measurement, the above linear regression technique can be used.
To implement this variant, the variable PIX + 1 in block 110 of FIG.
Change to PIX + PIXSTEP, where PIXSTEP is equal to n. Block
In step 116, the right side of the equation is represented by PIXSTEP * ACC / (NPIX-OS)
Change to In block 242 of FIG. 16, the variable PIX + 1 is set to PIX + PI
Change to XSTEP. Although this technique results in a coarser target resolution, n
Since it is only necessary to correlate every pixel, it becomes faster. With this,
More range measurements are allowed, and techniques such as linear regression are used.
The range will be more accurate.
Although the present invention has been described with respect to a detection system for detecting the speed of a moving vehicle,
The invention described here has a broader application and, in practice, works with stationary objects.
Range, speed of any moving objects, and / or
It can be used to detect relative movement with a stationary object. For example,
The invention can be used to monitor or act on objects moving along assembly lines.
Integrated into a robotic manufacturing or monitoring system. other
An important use is in combination with an attack system that captures and tracks targets
It is a range measuring device to be used. Still another use case is for moving against a static background.
Spotting used to detect camouflaged objects
System. The edge detection of the above embodiment is particularly useful for this purpose
It is. Other possible uses and uses will be apparent to those skilled in the art.
Terms and expressions used in the specification are words used for description.
It is not used as a limiting term. In addition, such terms and expressions
In using, exclude equivalents and some of the forms shown and described
The scope of the invention is defined only by the following claims.
And limit.
【手続補正書】特許法第184条の8
【提出日】1996年8月16日
【補正内容】
図22A及び22Bを参照すると、コンピュータ30によって実行される算術
的な方法を示し、これは、ブロック332,334及び336の計算を実行する
。ブロック340において、変数X及びYを初期化する。ブロック342におい
て、“ROW”と称する変数を1にセットする。変数X,Y及びROWを用いる
と、変数X及びYによって表されたレンジ及び時間座標に対して適合した線形回
帰直線を、ブロック344において従来の方法によって計算する。ブロック34
6において、変数ROWを1増分する。ブロック348において、プログラムは
、変数ROWがRCMAX+1に等しくない間ブロック344に戻る。ROWが
RCMAX+1に等しい場合、プログラムは、次に、変数X及びYの和に基づい
てRを計算する(ブロック350)。ブロック352において、R2で表される
信頼レベルを計算する。ブロック354の計算は、デカルト座標X,Yに対する
線形的な適合を表す直線の勾配を表す。ブロック356において、速度を、勾配
に定数を乗算することによって簡単に計算する。ブロック358において、速度
及び信頼レベルを表示する。
ターゲットの密な解像度が要求されないデカルトアプリケーションに対する演
算時間を省略するために、画素マップ間の相関を、各画素オフセットの替わりに
オーバーラップ領域のn番目の画素ごとに行うことができる。最小オーバーラッ
プ領域は、約100画素であり、511画素まで延在することができる。相関が
n番目の画素ごとにのみ行われる場合、選択されたn番目の値は、アルゴリズム
を用いて分解することができる最大空間周波数とアルゴリズムを実行するのに要
求される時間との間のトレードオフを表す。所定のプロセッサに対して、これは
、各レンジ測定の正確さと所定の時間で行うことができるレンジ測定回数との間
のトレードオフである。したがって、ターゲットに対して2レンジ測定より多く
測定を行う時間がある場合、上記線形回帰技術を用いることができる。
この変形例を実現するために、図9bのブロック110の変数PIX+1を、
PIX+PIXSTEPに変え、この場合PIXSTEPはnに等しい。ブロッ
ク116において、式の右辺を、PIXSTEP*ACC/(NPIX−OS)
に変える。図16のブロック242において、変数PIX+1を、PIX+PI
XSTEPに変える。この技術によりターゲットの解像度がより粗くなるが、n
請求の範囲
1.(a)各々をターゲット方向の視野のラインに沿って位置合わせし、共通ベ
ースラインに沿って予め設定された幅離間して配置した1対の光学レンズと、
(b)前記1対の光学レンズからの光に応答して、第1及び第2の線形画素
アレイ上に前記ターゲットの第1及び第2の1次元像を形成する少なくとも一つ
の光感知装置と、
(c)前記第1及び第2の線形画素アレイ上の前記第1及び第2の1次元像
を比較して、前記第1及び第2の線形画素アレイ上の前記第1及び第2の1次元
像間のオフセット画素シフトを測定するビデオ相関器と、
(d)前記オフセット画素シフト及び前記1対の光学レンズ間の前記予め設
定された幅の三角関数として前記ターゲットに対するレンジを決定する計算器と
を具えることを特徴とする電子−光学式レンジ測定システム。
2.前記1対の光学レンズの各光学レンズに対する個別の光感知装置が存在する
ことを特徴とする請求の範囲1記載の電子−光学式レンジ測定システム。
3.前記光感知装置をビデオカメラとし、各ビデオカメラは電荷結合素子を含む
ことを特徴とする請求の範囲2記載の電子−光学式レンジ測定システム。
4.前記ビデオ相関器は、前記第1及び第2の1次元像間の差の和の大域ヌルを
測定して前記オフセット画素シフトを決定するために相関アルゴリズムを用いて
プログラムしたコンピュータを含むことを特徴とする請求の範囲1記載の電子−
光学式レンジ測定システム。
5.(a)第1及び第2の光学レンズを、共通ベースラインに沿って予め設定さ
れた距離離間し、これら光学レンズが、オーバーラップ視野を有するステップと
、
(b)前記第1及び第2の光学レンズからの光を少なくとも一つの光学的な
感知装置に指導するステップと、
(c)前記光学的な感知装置を、前記第1の光学レンズに応答する領域で電
子的に走査して、予め設定された走査線に沿って1次元テンプレート像を確立す
るステップと、
(d)前記光学的な感知装置を、前記第2の光学レンズに応答する領域で順
次電子的に走査して、複数の1次元像を決定するステップと、
(e)前記複数の1次元像の各々と前記1次元テンプレート像とを比較して
、前記複数の1次元像のうちのいずれが前記テンプレート像に最も密に相関する
かを決定するステップと、
(f)前記テンプレート像と前記テンプレート像に最も密に相関する前記1
次元像との間のライン距離を決定するステップと、
(g)ターゲットオブジェクトに対するレンジを、前記ライン距離及び前記
予め設定された距離の関数として計算するステップとを具えることを特徴とする
、電子−光学式レンジ測定装置におけるターゲットオブジェクトに対するレンジ
の決定方法。
6.前記光学的な感知装置を、前記ベースラインに垂直な方向に電子的に走査す
ることを特徴とする、請求の範囲5記載の電子−光学式レンジ測定装置における
ターゲットオブジェクトに対するレンジの決定方法。
7.前記光学レンズを、垂直共通ラインに沿って予め設定された垂直距離離間し
て載せ置くことを特徴とする、請求の範囲6記載の電子−光学式レンジ測定装置
におけるターゲットオブジェクトに対するレンジの決定方法。
8.移動ターゲットに対するレンジを測定する電子−光学式システムであって、
(a)各々を前記ターゲットに対する視野のラインに沿って位置合わせし、
共通ベースラインに沿って予め設定された幅離間して配置した静止した1対の光
学レンズと、
(b)前記1対の光学レンズの各々からの光に応答して前記ターゲットの第
1及び第2の1次元像を形成し、その第1及び第2の1次元像を、第1及び第2
の線形画素アレイの各々の上に同時に形成する少なくとも一つの光感知装置と、
(c)前記第1及び第2の線形画素アレイ上の第1及び第2の1次元像を比
較して、前記第1及び第2の線形画素アレイ間のオフセット画素シフトを測定し
、そのオフセット画素シフトが、前記第1及び第2の1次元像間を一致させるの
に必要なオフセット距離に等しくなるビデオ相関器と、
(d)前記ターゲットに対する前記レンジを、前記オフセット距離及び前記
1対の光学レンズ間の予め設定された幅の三角関数として決定する計算器とを具
えることを特徴とする電子−光学式システム。
9.前記1対の光学レンズの各レンズを、個別の光感知装置に関連させるように
したことを特徴とする請求の範囲8記載の電子−光学式システム。
10.前記レンジを、式R=b/2TAN(90−kd)に従って計算し、Rを
前記レンジとし、bを前記予め決定された幅とし、dを前記オフセット画素シフ
トとし、kを比例定数としたことを特徴とする請求の範囲8記載の電子−光学式
システム。
11.速度決定手段を更に含み、その速度決定手段は、時間T1での第1レンジ
測定(R1)及び時間T2での第2レンジ測定(R2)を得る制御手段と、式SP
EED=(R2−R1)/(T2−T1)に基づいて前記ターゲットの速度を決定す
る計算手段とを具えることを特徴とする請求の範囲8記載の電子−光学式システ
ム。
12.前記1対の光学レンズの各々を、互いに平行な視野のラインの各々に沿っ
て位置合わせしたことを特徴とする請求の範囲8記載の電子−光学式システム。
13.前記ビデオ相関器は、前記第1及び第2の線形画素アレイのN番目の画素
ごとに比較し、Nを2以上の数としたことを特徴とする請求の範囲8記載の電子
−光学式システム。
14.前記ビデオ相関器は、前記第1及び第2の1次元像間の複数のオフセット
画素位置の光強度を差を測定することによって前記オフセット画素シフトを決定
するとともに、少なくとも光強度の差の量を発生させるオフセット位置に存在す
るようにしたことを特徴とする請求の範囲8記載の電子−光学式システム。
【図5】
【図6】
【図8】
[Procedural Amendment] Patent Act Article 184-8 [Date of Submission] August 16, 1996 [Amendment] Referring to FIGS. 22A and 22B, an arithmetic method executed by the computer 30 is described. The calculations of blocks 332, 334 and 336 are performed. At block 340, variables X and Y are initialized. At block 342, a variable called "ROW" is set to one. Using the variables X, Y and ROW, a linear regression line fitted to the range and time coordinates represented by variables X and Y is calculated in block 344 by conventional methods. At block 346, the variable ROW is incremented by one. At block 348, the program returns to block 344 while the variable ROW is not equal to RCMAX + 1. If ROW is equal to RCMAX + 1, the program then calculates R based on the sum of variables X and Y (block 350). In block 352, calculates the confidence level represented by R 2. The calculation in block 354 represents the slope of a straight line that represents a linear fit to the Cartesian coordinates X, Y. At block 356, the speed is simply calculated by multiplying the slope by a constant. At block 358, the speed and the confidence level are displayed. In order to save computation time for Cartesian applications where dense target resolution is not required, correlation between pixel maps can be performed for each nth pixel in the overlap region instead of each pixel offset. The minimum overlap area is about 100 pixels and can extend up to 511 pixels. If the correlation is performed only for every nth pixel, the selected nth value is the trade-off between the maximum spatial frequency that can be resolved using the algorithm and the time required to execute the algorithm. Represents off. For a given processor, this is a trade-off between the accuracy of each range measurement and the number of range measurements that can be made in a given time. Therefore, if there is time to perform more than two range measurements on the target, the above linear regression technique can be used. To implement this variant, the variable PIX + 1 in block 110 of FIG. 9b is changed to PIX + PIXSTEP, where PIXSTEP is equal to n. At block 116, the right side of the equation is changed to PIXSTEP * ACC / (NPIX-OS). In block 242 of FIG. 16, the variable PIX + 1 is changed to PIX + PI XSTEP. This technique results in a coarser target resolution, but n. (A) a pair of optical lenses that are each aligned along a line of view in the target direction and are spaced apart by a predetermined width along a common baseline; and (b) the pair of optical lenses. At least one light-sensing device for forming first and second one-dimensional images of the target on first and second linear pixel arrays in response to light from the first and second linear pixel arrays; Comparing the first and second one-dimensional images on the two linear pixel arrays to determine an offset pixel shift between the first and second one-dimensional images on the first and second linear pixel arrays. A video correlator for measuring; and (d) a calculator for determining a range for the target as a trigonometric function of the offset pixel shift and the preset width between the pair of optical lenses. Electronic-optical Di-measurement system. 2. 2. The electro-optical range measurement system according to claim 1, wherein there is a separate light sensing device for each optical lens of said pair of optical lenses. 3. 3. The electro-optical range measuring system according to claim 2, wherein the light sensing device is a video camera, and each video camera includes a charge-coupled device. 4. The video correlator includes a computer programmed with a correlation algorithm to measure a global null of a sum of differences between the first and second one-dimensional images to determine the offset pixel shift. The electro-optical range measurement system according to claim 1, wherein 5. (A) separating the first and second optical lenses by a predetermined distance along a common baseline, wherein the optical lenses have an overlapping field of view; and (b) the first and second optical lenses. Directing light from an optical lens to at least one optical sensing device; (c) electronically scanning the optical sensing device in an area responsive to the first optical lens, Establishing a one-dimensional template image along a set scan line; and (d) electronically scanning the optical sensing device sequentially in an area responsive to the second optical lens, and Determining a one-dimensional image; and (e) comparing each of the plurality of one-dimensional images with the one-dimensional template image to determine which of the plurality of one-dimensional images is most densely associated with the template image. Decide whether to correlate (F) determining a line distance between the template image and the one-dimensional image most closely correlated to the template image; and (g) determining a range for the target object by using the line distance and the line distance. Calculating the range as a function of the predetermined distance. A method for determining a range for a target object in an electro-optical range measuring device. 6. 6. The method of claim 5, wherein the optical sensing device electronically scans in a direction perpendicular to the baseline. 7. 7. The method for determining a range for a target object in an electro-optical range measuring device according to claim 6, wherein the optical lens is placed at a predetermined vertical distance apart along a vertical common line. 8. An electro-optical system for measuring a range relative to a moving target, comprising: (a) aligning each along a line of view with respect to the target and spaced a predetermined width apart along a common baseline. A stationary pair of optical lenses; and (b) forming first and second one-dimensional images of the target in response to light from each of the pair of optical lenses; At least one light-sensing device for simultaneously forming a one-dimensional image on each of the first and second linear pixel arrays; and (c) first and second light-sensitive devices on the first and second linear pixel arrays. To determine the offset pixel shift between the first and second linear pixel arrays, the offset pixel shift being used to match between the first and second one-dimensional images. Required offset A video correlator that is equal to the separation; and (d) a calculator that determines the range for the target as a trigonometric function of the offset distance and a preset width between the pair of optical lenses. Electro-optical system characterized. 9. 9. The electro-optical system according to claim 8, wherein each lens of said pair of optical lenses is associated with a separate light sensing device. 10. The range is calculated according to the formula R = b / 2TAN (90-kd), where R is the range, b is the predetermined width, d is the offset pixel shift, and k is a proportional constant. 9. An electro-optical system according to claim 8, wherein: 11. Further comprising a rate determination means, the speed determining means includes a control means for obtaining a first range measurement (R 1) and the second range measurement at time T 2 (R 2) at time T 1, wherein SP EED = (R 2 -R 1) / ( T 2 -T 1) , characterized in that it comprises a calculating means for determining the velocity of the target based on claims 8 according electron - optical system. 12. 9. The electro-optical system according to claim 8, wherein each of the pair of optical lenses is aligned along each of the lines of view parallel to each other. 13. 9. The electro-optical system according to claim 8, wherein the video correlator compares every N-th pixel of the first and second linear pixel arrays, and N is 2 or more. . 14. The video correlator determines the offset pixel shift by measuring a difference in light intensity at a plurality of offset pixel positions between the first and second one-dimensional images and determines at least an amount of the difference in light intensity. 9. The electro-optical system according to claim 8, wherein the system is located at an offset position to be generated. FIG. 5 FIG. 6 FIG. 8
─────────────────────────────────────────────────────
フロントページの続き
(81)指定国 EP(AT,BE,CH,DE,
DK,ES,FR,GB,GR,IE,IT,LU,M
C,NL,PT,SE),OA(BF,BJ,CF,CG
,CI,CM,GA,GN,ML,MR,NE,SN,
TD,TG),AP(KE,MW,SD,SZ),AM,
AT,AU,BB,BG,BR,BY,CA,CH,C
N,CZ,DE,DK,EE,ES,FI,GB,GE
,HU,JP,KE,KG,KP,KR,KZ,LK,
LR,LT,LU,LV,MD,MG,MN,MW,M
X,NL,NO,NZ,PL,PT,RO,RU,SD
,SE,SI,SK,TJ,TT,UA,UZ,VN────────────────────────────────────────────────── ───
Continuation of front page
(81) Designated countries EP (AT, BE, CH, DE,
DK, ES, FR, GB, GR, IE, IT, LU, M
C, NL, PT, SE), OA (BF, BJ, CF, CG
, CI, CM, GA, GN, ML, MR, NE, SN,
TD, TG), AP (KE, MW, SD, SZ), AM,
AT, AU, BB, BG, BR, BY, CA, CH, C
N, CZ, DE, DK, EE, ES, FI, GB, GE
, HU, JP, KE, KG, KP, KR, KZ, LK,
LR, LT, LU, LV, MD, MG, MN, MW, M
X, NL, NO, NZ, PL, PT, RO, RU, SD
, SE, SI, SK, TJ, TT, UA, UZ, VN