JP3925488B2 - 車両用画像処理装置 - Google Patents

Description

本発明は、カメラにより撮像した画像を処理して先方車両を含む車両周囲の状況を認識する車両用画像処理装置に関する。

カメラにより撮像した画像の中から自車の走行車線を認識し、走行車線内に限定してエッジ抽出処理を行い、自車前方の障害物を効率よく検出するようにした車両用障害物検出装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平１０−０９７６９９号公報

しかしながら、上述した従来の車両用障害物検出装置では、降雨や降雪などの走行環境下において道路上の白線を認識できない場合には、エッジ抽出処理を行う領域を限定することができないため、画像処理効率が低下してしまうという問題がある。

自車前方の撮像画像上に前車を検出するための画像処理領域を設定し、この画像処理領域における画像の特徴を導出して前車を検知する車両用画像処理装置において、自車の挙動を検出し、自車の挙動に基づいて前車との車間距離および自車の進路に関する情報を推定し、これらの情報に基づいて画像処理領域を設定する。

本発明によれば、画像処理に際して白線検知を行う必要がなく、走行中の白線検知状況に依存することなく前車検知処理を効率的に行うことができる。

《発明の第１の実施の形態》
図１に第１の実施の形態の構成を示す。レーザーレーダー１はスキャンニング式のレーザーレーダーであり、車両前部に設置されて車両前方の所定範囲をレーザー光で走査する。レーダー処理装置２は、レーザーレーダー１で走査した結果から前方車両を含む物体を抽出する。このレーダー処理装置２では、各物体に対して自車両を原点とする二次元（車間距離方向と車幅方向）座標値の算出と物体の幅（大きさ）の算出とを行う。

カメラ３はプログレッシブスキャン式３ＣＣＤカメラであり、車室内のフロントウインドウ上部中央に設置されて自車前方の状況を高速に撮像する。画像処理装置４は、カメラ３により撮像した画像の中のレーダー処理装置２で捕捉した物体の座標付近を注目領域として画像処理し、自車両のピッチング変動などによりレーダー１で検知物体を見失った場合にもカメラ画像により物体を検知し続ける。

外界認識装置５は外界の状況を認識する。外界認識装置５にはレーダー処理装置２と画像処理装置４の他に、従動車輪の回転により車速を検出する車速検出装置６、操舵角を検出する操舵角検出装置７、ヨーレイトを検出するヨーレイト検出装置１０などが接続され、レーダー処理装置２で検知した各物体位置と画像処理装置４で追跡している物体位置とを選択して自車両にとって障害物であるか否かを正確に判断し、判断結果を自動ブレーキ制御装置８へ出力する。自動ブレーキ制御装置８は負圧ブレーキブースター９に駆動信号を出力し、前後輪に制動力を発生させる。

レーダー処理装置２、画像処理装置４、外界認識装置５、自動ブレーキ制御装置８はそれぞれマイクロコンピューターと各種アクチュエーターの駆動回路を備え、互いに通信回路を介して情報の授受を行う。

図２は、外界認識装置５で実行されるカメラ画像処理による前車検知プログラムを示すフローチャートである。このフローチャートにより、第１の実施の形態の動作を説明する。外界認識装置５はこの前車検知プログラムを所定時間間隔、例えば５０msecごとに実行する。

ステップ２０１においてＣＣＤカメラ３から今回のサンプリング周期における撮像画像を読み込み、続くステップ２０２で車速検出装置６から自車速を、操舵角検出装置７から操舵角を、ヨーレイト検出装置１０からヨーレイトなどの自車両の挙動データを読み込む。

ステップ２０３で、予め設定した２つの車間時間Thw1、Thw2に基づいて前車の縦方向（車間距離方向）における存在位置obj_Y1、obj_Y2を推定する。
obj_Y1＝Vsp・Thw1 ・・・（１−１）、
obj_Y2＝Vsp・Thw2 ・・・（１−２）
ここで、Vspはステップ２０２で読み込んだ自車両の車速[ｍ／ｓ]であり、また車間時間Thw1、Thw2は０＜Thw1＜Thw2の関係がある。

例えば、自車線上の先行車に追従走行を行うときは予め設定した車速以下で車間距離が目標車間距離となるように車間距離制御を行い、自車線上に先行車がいないときには自車速が予め設定した車速となるように車速制御を行う車間距離制御システムを装備している場合には、運転者が設定する車間時間ThwACCの長、中、短に合わせて、車間時間Thw1＝（ThwACC−TermTmp）、Thw2＝（ThwACC＋TermTmp）のように設定してもよい。ここで、TermTmpは所定の正数である。このようにすると、先行車追従走行制御中に降雨や降雪などによりレーダーで先行車を見失いやすい走行環境下でも、一実施の形態のカメラ画像処理により正確に先行車を検知し続けられる。

また、例えばナビゲーション装置を装備している場合には、ナビゲーション装置で把握した自車走行路の道路種別に応じて予め設定された車間時間Thw1、Thw2を変更してもよい。例えば、一般道走行時の車間時間Thw1を高速道路走行時の車間時間Thw2より短くすることによって、背景の複雑な一般道において背景を前方車両として誤認する頻度を低減することができる。

次に、ステップ２０４において次式により将来の自車進路の曲率半径Row[ｍ]を推定する。
Row＝（１＋Ａ・Vsp^２・LWB）／Steer ・・・（２）
ここで、Ａは車両固有のスタビリティーファクターであり、車重、ホイールベース長、重心位置、タイヤの横力で決まる定数とみなせる値である。また、LWBはホイールベース長であり、Steerは操舵角[rad]（右回転を正とする）である。

ステップ２０５では次式により将来の前車の横方向位置（車幅方向位置）を推定する。
if（Row＞０） ｛obj_X1＝Row−√（Row^２−obj_Y1^２）、
obj_X2＝Row−√（Row^２−obj_Y2^２）｝
else ｛obj_X1＝Row＋√（Row^２−obj_Y1^２）、
obj_X2＝Row＋√（Row^２−obj_Y2^２）｝ ・・・（３）
（３）式において、if（expression)｛statement1｝else｛statement2｝は、expressionを満たす場合にはstatement1を実行し、expressionを満たさない場合にはstatement2を実行する関数である。つまり、右カーブの場合にはstatement1を実行し、左カーブの場合はstatement2を実行する。

ステップ２０６では道路面座標系の前車の縦方向位置（車間距離方向位置）obj_Y1、obj_Y2をカメラ３の画面座標系の鉛直方向座標に変換し、２つの画像処理領域の鉛直方向座標を決定する。
disp_obj_YA1＝y0＋（focusV・CAM_h2／obj_Y1） ・・・（４−１）
disp_obj_YB1＝y0＋（focusV・CAM_h／obj_Y1） ・・・（４−２）
disp_obj_YA2＝y0＋（focusV・CAM_h2／obj_Y2） ・・・（４−３）
disp_obj_YB2＝y0＋（focusV・CAM_h／obj_Y2） ・・・（４−４）
ここで、disp_obj_YA1は画像処理を行う領域１の上側の座標値、disp_obj_YB1は画像処理を行う領域１の下側の座標値、disp_obj_YA2は画像処理を行う領域２の上側の座標値、disp_obj_YB2は画像処理を行う領域２の下側の座標値である。また、y0は消失点の縦方向座標[pix；画素数]であり、カメラ３の取り付け位置と向きで決まる。focusVは画素換算したカメラの鉛直方向の焦点距離[pix]であり、CAM_hはカメラ３の取り付け高さ[ｍ]、CAM_h2はCAM_hから障害物候補として考慮すべき物体の高さを減算した値である。

ステップ２０７では、予め設定した２つの車間時間Thw1、Thw2（Thw1＜Thw2）に基づいて、次式によりカメラ３の画面座標系における２つの画像処理領域の水平方向座標を決定する。
disp_obj_XL1＝x0＋（obj_X1・focusH／obj_Y1）−（Width・focusH／obj_Y1）
・・・（５−１）
disp_obj_XR1＝x0＋（obj_X1・focusH／obj_Y1）＋（Width・focusH／obj_Y1）
・・・（５−２）
disp_obj_XL2＝x0＋（obj_X2・focusH／obj_Y2）−（Width・focusH／obj_Y2）
・・・（５−３）
disp_obj_XR2＝x0＋（obj_X2・focusH／obj_Y2）＋（Width・focusH／obj_Y2）
・・・（５−４）
ここで、disp_obj_XL1は画像処理を行う領域１の左側の座標値、disp_obj_XR1は画像処理を行う領域１の右側の座標値、disp_obj_XL2は画像処理を行う領域２の左側の座標値、disp_obj_XR2は画像処理を行う領域２の右側の座標値である。また、x0は消失点の横方向座標[pix]であり、カメラ３の取り付け位置と向きで決まる。focusHは画像換算したカメラ３の水平方向の焦点距離[pix]であり、カメラ３の画角と受光素子の解像度で決まる。なお、カメラ３の受光面が正方格子の場合にはfocusV＝focusHとなる。Widthは画像処理領域の幅を決めるパラメーターであって、自車幅の半分以上の値を有するものである。

図８、図９はカメラ３による撮像画面に設定した領域１と領域２を示す図である。領域１と領域２は、予め設定した２つの車間時間Thw1とThw2（０＜Thw1＜Thw2）に基づいて推定された前車の存在位置（obj_X1，obj_Y1）と（obj_X2，obj_Y2）に対応する画像処理領域である。画像処理領域１と２は、予め設定された２つの近接した車間時間Thw1とThw2とから設定されており、短い車間時間Thw1に対応する領域１は自車から近い方にあり、長い車間時間Thw2に対応する領域２は自車から遠い方にある。そして、自車から遠い領域２は自車に近い領域１よりも面積が狭い。つまり、予め設定した２つの車間時間Thw1とThw2（０＜Thw1＜Thw2）に基づいて設定されるカメラ画面上の画像処理領域１と２は、２つの時間的に近接した領域であり、一方が他方より面積が狭く、また一方が他方より時間的に先行している。

画像処理領域１と２は、上述したステップ２０３、２０６の処理から明らかなように、予め設定された２つの車間時間Thw1とThw2（０＜Thw1＜Thw2）と自車速Vspとの積に応じてカメラ３の撮像画面の上部（消失点y0付近）へ領域の中心が移動する。また、画像処理領域１と２は、予め設定された２つの車間時間Thw1とThw2（０＜Thw1＜Thw2）と自車速Vspとの積に応じて領域の面積が小さくなる。

ステップ２１３では、ステップ２０６とステップ２０７で設定した２つの画像処理領域を次の順序で１つの領域につなぎ合わせ、最終的な画像処理領域を作成する。まず、次の座標を囲む台形領域を領域３として新たに設定する。
左上座標（disp_obj_XL2，disp_obj_YA2） ・・・（６−１）
右上座標（disp_obj_XR2，disp_obj_YA2） ・・・（６−２）
左下座標（disp_obj_XL1，disp_obj_YA1） ・・・（６−３）
右下座標（disp_obj_XR1，disp_obj_YA1） ・・・（６−４）

次に、下記座標を囲む台形領域を領域４として新たに設定する。
左上座標（disp_obj_XL2，disp_obj_YB2） ・・・（７−１）
右上座標（disp_obj_XR2，disp_obj_YB2） ・・・（７−２）
左下座標（disp_obj_XL1，disp_obj_YB1） ・・・（７−３）
右下座標（disp_obj_XR1，disp_obj_YB1） ・・・（７−４）
そして、領域１〜４を足し合わせて各領域のすべてを含む最も大きい１つの領域を作成し、最終的な画像処理領域とする。

なお、理解を容易にするために領域１の座標を（８−１）〜（８−４）式に示し、領域２の座標を（９−１）〜（９−４）式に示す。また、カメラ３の撮像画面上における領域１と領域２の座標を図８に示す。
領域１；左上座標（disp_obj_XL1，disp_obj_YA1） ・・・（８−１）
右上座標（disp_obj_XR1，disp_obj_YA1） ・・・（８−２）
左下座標（disp_obj_XL1，disp_obj_YB1） ・・・（８−３）
右下座標（disp_obj_XR1，disp_obj_YB1） ・・・（８−４）
領域２；左上座標（disp_obj_XL2，disp_obj_YA2） ・・・（９−１）
右上座標（disp_obj_XR2，disp_obj_YA2） ・・・（９−２）
左下座標（disp_obj_XL2，disp_obj_YB2） ・・・（９−３）
右下座標（disp_obj_XR2，disp_obj_YB2） ・・・（９−４）

例えば直進中の場合における最終的な画像処理領域は６角形であり、次式で表される座標により構成される。カメラ３の撮像画面上における最終的な画像処理領域の座標を図９に示す。
左上座標（disp_obj_XL2，disp_obj_YA2） ・・・（１０−１）
右上座標（disp_obj_XR2，disp_obj_YA2） ・・・（１０−２）
左中座標（disp_obj_XL1，disp_obj_YA1） ・・・（１０−３）
右中座標（disp_obj_XR1，disp_obj_YA1） ・・・（１０−４）
左下座標（disp_obj_XL1，disp_obj_YB1） ・・・（１０−５）
右下座標（disp_obj_XR1，disp_obj_YB1） ・・・（１０−６）

なお、この実施の形態では２つの処理領域を設定する例を示すが、さらに多くの処理領域を設定することによってより複雑な道路形状に対応することができる。ただし、上述した設定領域を決める処理が複雑になる。

ステップ２０９では、ステップ２０８で設定した最終的な画像処理領域に対して特徴抽出のためのエッジ抽出処理を行う。以下にエッジ抽出処理の一例を示す。

まず、設定した画像処理領域についてＳｏｖｅｌフィルター演算などによりエッジ画像を求める。なお、Ｓｏｖｅｌフィルター演算は、隣接する画素間の濃淡変化を微分演算により求める演算手法であって、画像上における道路と車両の境界のように濃淡変化が大きい部分だけを集めることが可能な画像処理手法である。次に、エッジ画像の濃淡値の平均値と分散値からしきい値を設定し、エッジ画像を２値化する。つまり、エッジ画像対してしきい値を超える領域としきい値以下の領域に分類することによって、明確なエッジ部分とエッジでない部分の２つに分類する。そして、設定した画像処理領域の大きさに対して、明確なエッジとして分類されたエッジ量、あるいは全エッジの合計長が所定値Thr_EdgeNumb以上の場合には、このようなエッジの密集した小領域を前車候補領域として認識する。

所定値Thr_EdgeNumbは処理領域が大きくなるほど大きな値となるしきい値であって、（１０−１）〜（１０−６）式で設定される最終的な画像処理領域の面積A_allに基づいて所定値Thr_EdgeNumbを決めてもよい。さらに、性能向上を図るには、エッジの密集した小領域における最も下に位置するエッジ座標Edge_lowestに基づいて次式から面積A_strictを算出する。そして、面積A_strictが大きくなるほどしきい値Thr_EdgeNumbも大きな値とする。
A_strict＝A1・（disp_obj_YB1−Edge_lowest）／（disp_obj_YB1−disp_obj_YB2）＋Ａ２ ・・・（１１）
ここで、座標の関係はdisp_obj_YB1＞Edge_lowest＞disp_obj_YB2であって、disp_obj_YB1とdisp_obj_YB2に対する最も下に位置するエッジ座標から領域１の面積A1と領域２の面積A2の内分を求めることを表す。これにより、領域１と領域２の中間に位置する前車をより正確に検知することが可能になる。

このように、ステップ２０６〜２０８で設定した領域に対して上記のＳｏｖｅｌフィルター演算を行うと以下の効果が得られる。まず、エッジ画像を求めることによって、必要な領域にのみ限定して微分演算を行うため、画像処理負荷を低減することができる。また、２値化のためのしきい値を設定することによって、画面全体について微分演算を行った場合のエッジ画像から設定するしきい値と比較して、より適切なしきい値設定が可能となるため、画像上の前車が存在する領域内に明確なエッジ部分が集中し、「明確なエッジ部分＝前車を把握するための特徴量」の関係を強くすることができる。つまり、明確なエッジ部分が背景である可能性を低くすることができる。さらに、明確なエッジ量のしきい値設定を行う、すなわち設定した画像処理領域の大きさに基づいてしきい値を設定することによって、前車との車間距離（遠近）に関わらず前車を正しく検知することができる。

ステップ２１０では、ステップ２０９におけるエッジ抽出処理の結果、前車候補領域が存在するかどうかを確認し、前車候補領域が存在する場合はステップ２１１へ進み、存在しなければステップ２１２へ進む。前車候補領域が存在する場合は、ステップ２１１において、設定した画像処理領域における小領域が前車候補領域として認識され続ける期間を表すTermRecoを次式でインクリメントし、ステップ２１３へ進む。
TermReco＝TermReco＋１ ・・・（１２）

一方、前車候補領域が存在しない場合は、ステップ２１２で、設定した画像処理領域における小領域が前車候補領域として認識され続ける期間を表すTermRecoを次式でディクリメントし、ステップ２１３へ進む。
TermReco＝TermReco−１ ・・・（１３）

ステップ２１３では次の条件式から前車候補領域を前車として判断し、判断結果をフラグFlagJudgeに代入する。
if（TermReco＞ThJudge）｛FlagJudge＝１｝else｛FlagJudge＝０｝ ・・・（１４）
ここで、ThJudgeは前車を判断するまでに要する最小時間を表す正のしきい値である。このしきい値ThJudgeを大きくすれば、背景などを前車と誤認する頻度をさらに抑制できるが、実際の前車を画像処理により前車として判断するまでの時間が遅くなる。また、FlagJudgeは前車候補領域を新たに検出した場合には０にクリアされるものである。

ステップ２１４では後段へ前車の存在を知らせるためにフラグFlagJudgeを出力して終了する。

このように、自車の挙動（車速と舵角）に基づいて将来の前車の存在位置を推定し、推定した前車の存在位置に基づいて撮像画像上に前車を検出するための画像処理領域を設定するようにしたので、画像処理負荷の軽減が可能となり、さらに適切な２値化しきい値の設定、および明確なエッジ量に関する適切なしきい値設定ができるので、背景などを前車として誤検知する頻度を低減することができる。

《発明の第２の実施の形態》
上述した第１の実施の形態では予め設定した２つの車間時間Thw1、Thw2に基づいて前車の縦方向（車間距離方向）における存在位置obj_Y1、obj_Y2を推定する例を示したが、１つの車間時間Thw1のみに基づいて前車の縦方向における存在位置obj_Y1を求めるとともに、前車の横方向位置はヨーレイト検出装置１０により検出したヨーレイトに基づいて算出するようにした第２の実施の形態を説明する。なお、この第２の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。

図３は、外界認識装置５で実行されるカメラ画像処理による前車検知プログラムを示すフローチャートである。このフローチャートにより、第２の実施の形態の動作を説明する。外界認識装置５はこの前車検知プログラムを所定時間間隔、例えば５０msecごとに実行する。ステップ３０１〜３０２の処理は図２に示すステップ２０１〜２０２の処理と同様であるから説明を省略する。

ステップ３０３において、上述した図２に示すステップ２０３と同様であるが、この第２の実施の形態では前車の縦方向の存在位置を１つの車間時間Thw1のみに基づいて算出するため、上記（１−１）式のみ演算して存在位置obj_Y1のみを得る。

続くステップ３０４では、ステップ３０２で検出した自車速とヨーレイトを用いて次式により自車進路の曲率半径Row[ｍ]を算出する。
Row＝Vsp／ω ・・・（１５）
ここで、ωは自車のヨーレイトである。なお、第１の実施の形態では曲率半径Rowを自車の舵角Steerから求めたが、ヨーレイト検出装置１０と操舵角検出装置７の精度を比較して、現在の走行状況に応じて精度の高い方の曲率半径Rowを動的に選択するようにしてもよい。例えば、低μ路ではスリップにより舵角の通りに車体が移動しないため、路面μセンサー（不図示）の検出結果に基づいて低μ路を走行中であると判断した場合には、ヨーレイト検出装置１０の検出結果による曲率半径Rowを選択する。

ステップ３０５では、図２のステップ２０５と同様であるが、（３）式により前車の横方向位置obj_X1のみを算出する。続くステップ３０６では、図２に示すステップ２０６と同様であるが、（４−１）、（４−２）式によりカメラ３の画面座標系における画像処理領域１の鉛直方向座標disp_obj_YA1、disp_obj_YA2を決定する。また、ステップ３０７では、図２に示すステップ２０７と同様であるが、（５−１）、（５−２）式によりカメラ３の画面座標系における画像処理領域１の水平方向座標disp_obj_XL1、disp_obj_XL2を決定する。

ステップ３０８では、図２に示すステップ２０８と同様であるが、最終的な画像処理領域を（８−１）〜（８−４）式で設定される四角形とする。ステップ３０９〜３１４は図２に示すステップ２０９〜２１４と同様であり、説明を省略する。

このように、第２の実施の形態によれば、画像処理負荷の軽減と、２値化しきい値および明確なエッジ量のしきい値の適切な設定が上述した第１の実施の形態よりも簡略化できる。ただし、推定する前車の存在位置は第１の実施の形態のように広い範囲を考慮するものではないため、推定した位置以外の前車に対しては検知できない頻度が高くなることや、遠方まで検知できるように画像処理領域の縦方向座標disp_obj_YA1を画面の上の方に設定しても、遠方に関する絞り込みを行っていないので、遠方の背景から生じるエッジを前車と誤認する頻度が高くなる可能性がある。

《発明の第３の実施の形態》
前車の縦方向の存在位置obj_Y1を自車速に基づいて推定するようにした第３の実施の形態を説明する。なお、この第３の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。

図４は、外界認識装置５で実行されるカメラ画像処理による前車検知プログラムを示すフローチャートである。このフローチャートにより、第３の実施の形態の動作を説明する。外界認識装置５はこの前車検知プログラムを所定時間間隔、例えば５０msecごとに実行する。ステップ４０１〜４０２の処理は図２に示すステップ２０１〜２０２の処理と同様であるから説明を省略する。

ステップ４０３において次式により前車位置を推定する。
obj_Y1＝func1（Vsp） ・・・（１６）
ここで、func１は図６に示すような自車速Vspが大きくなるほど値が大きくなる特性を有する関数である。ステップ４０４〜４１４は、図３に示すステップ３０４〜３１４と同様であり、説明を省略する。

このように、第３の実施の形態によれば、上述した第２の実施の形態の効果に加え、前車の位置推定を非線形で設定できるためより細かく前車位置を推定でき、走行地点や走行時間などに応じたチューニング結果を反映し易くなり、前車をより高い確率で捕捉することが可能になる。また、第１の実施の形態と同様に、func1を２種類設定することによって、第１の実施の形態のように広い範囲の前車の存在位置を考慮することになり、さらに、遠方に関する絞り込みが行えるので、遠方の背景から生じるエッジを前車と誤認する頻度を低減することができる。

《発明の第４の実施の形態》
自車の加減速時に生じるピッチ角を考慮してカメラ３の画面座標系における画像処理領域の鉛直方向座標を決定するようにした第４の実施の形態を説明する。なお、この第４の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。

図５は、外界認識装置５で実行されるカメラ画像処理による前車検知プログラムを示すフローチャートである。このフローチャートにより、第４の実施の形態の動作を説明する。外界認識装置５はこの前車検知プログラムを所定時間間隔、例えば５０msecごとに実行する。ステップ５０１〜５０５の処理は図２に示すステップ２０１〜２０５の処理と同様であるから説明を省略する。

ステップ５０６では次式により自車のピッチ角度PitchAngle[rad]を推定し、画像処理領域の中心位置の移動量CompPitchを算出する。
PitchAngle＝func2（α） ・・・（１７）
CompPitch＝PixVert・PitchAngle／VertAngle ・・・（１８）
ここで、αは自車の加減速度であり、正のときに加速を表す。func2は図７に示すような自車の加減速度αに応じた特性を有する関数である。PixVertはステップ５０１で読み込む入力画像の鉛直方向の画素数[pix]であり、VertAngleは鉛直方向の視野角度[rad]を表す。

なお、加速度センサー（不図示）から得られる加減速度に基づいて自車のピッチ角度を推定する例を示したが、加速度センサーを装備していない場合には自車速の時間微分から加減速度を算出してもよく、また、ピッチ角センサーを装備している場合には直接読み込んでもよい。

ステップ５０７では、図２に示すステップ２０６と同様であるが、次式により２つの画像処理領域の鉛直方向座標を決定する。
disp_obj_YA1＝y0＋（focusV・CAM_h2／obj_Y1）＋CompPitch ・・・（１９−１）、
disp_obj_YB1＝y0＋（focusV・CAM_h／obj_Y1）＋CompPitch ・・・（１９−２）、
disp_obj_YA2＝y0＋（focusV・CAM_h2／obj_Y2）＋CompPitch ・・・（１９−３）、
disp_obj_YB2＝y0＋（focusV・CAM_h／obj_Y2）＋CompPitch ・・・（１９−４）
ステップ５０８〜５１４は、図２に示すステップ２０７〜２１３と同様であり、説明を省略する。

ステップ５１５においてレーダー１による前車検知結果フラグFlagJudgeを読み込む。続くステップ５１６では、レーダー１は何も捕捉していないが前車検知結果フラグFlagJudgeの値が前車の存在を表している場合には、画像処理の結果をレーダー１のバックアップとして用いるように後段の制御系や警報系に指示を出す。

ステップ５１７において、レーダー１は近距離の路側構造物を検知できるが、前車検知結果フラグFlagJudgeの値が前車の存在を表している場合には、レーダー１の検知性能低下を知らせる情報を後段の制御系や警報系に指示を出し、処理を終了する。

このように、第４の実施の形態によれば、第１の実施の形態の上述した効果に加え、自車の加減速中でも適切な２値化しきい値の設定、および明確なエッジ量に関する適切なしきい値の設定が可能となり、背景などを前車として誤検知する頻度を低減することができる。

以上説明したように一実施の形態によれば、自車の前方を撮像するとともに自車の挙動を検出し、自車の挙動に基づいて前車の位置を推定し、推定した前車の位置に基づいて撮像画像上に前車を検出するための画像処理領域を設定する。そして、設定した画像処理領域における画像の特徴を導出し、導出した特徴に基づいて前車を検知するようにしたので、画像処理に際して白線検知を行う必要がなく、走行中の白線検知状況に依存することなく前車検知処理を効率的に行うことができる。

上述した一実施の形態によれば、少なくとも２つの時間的に近接した画像処理領域を設定するようにしたので、背景などを前車と誤認する頻度を低減することができる。

上述した一実施の形態によれば、少なくとも２つの画像処理領域を設定し、一方の面積を他方の面積より狭くするようにしたので、背景などを前車と誤認する頻度を低減することができる。

上述した一実施の形態によれば、少なくとも２つの画像処理領域を設定し、一方が他方よりも時間的に先行しているようにしたので、背景などを前車と誤認する頻度を低減することができる。

上述した一実施の形態によれば、設定したすべての画像処理領域をつなぎ合わせて最終的な画像処理領域を設定するようにしたので、推定結果の前車の存在位置が広範囲になる場合でも前車を確実に検知することができる。

上述した一実施の形態によれば、自車速が高くなるほど撮像画像の上部へ画像処理領域の中心を移動するようにしたので、前車を捕捉する確率が高くなり、前車を確実に検知することができる。

上述した一実施の形態によれば、予め設定した車間時間と自車速との積が大きくなるほど撮像画像の上部へ画像処理領域の中心を移動するようにしたので、前車を捕捉する確率が高くなり、前車を確実に検知することができる。

上述した一実施の形態によれば、予め設定した車間時間と自車速との積が大きくなるほど画像処理領域の面積を小さくするようにしたので、背景などを前車と誤認する頻度を低減することができる。

上述した一実施の形態によれば、自車の操舵角に基づいて前車の横方向の位置を推定し、推定した前車の横方向の位置に基づいて画像処理領域を設定するようにしたので、前車を捕捉する確率が高くなり、前車を確実に検知することができる。

上述した一実施の形態によれば、自車のヨーレイトに基づいて前車の横方向の位置を推定し、推定した前車の横方向位置に基づいて画像処理領域を設定するようにしたので、前車を捕捉する確率が高くなり、前車を確実に検知することができる。

上述した一実施の形態によれば、自車のピッチ角度に応じて画像処理領域を画面の上下方向に移動するようにしたので、自車にピッチングが生じても前車を捕捉する確率が高くなり、前車を確実に検知することができる。

上述した一実施の形態によれば、画像処理領域の大きさに応じて画像の特徴量のしきい値を決定し、画像の特徴量をしきい値と比較して画像の特徴を導出するようにしたので、前車との車間距離（遠近）に関わらず前車を正しく検知することができる。

なお、上述した一実施の形態の画像処理結果、すなわち前車検知結果に基づいてレーダー１などの測距手段の検知性能低下を正しく判定することができ、また、一実施の形態によりレーダー１などの測距手段のバックアップを行うことによって、レーダー１とカメラ３による外界認識システムの機能および性能を向上させることができる。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ３が撮像手段を、車速検出装置６、操舵角検出装置７およびヨーレイト検出装置１０が挙動検出手段を、外界認識装置５が前車推定手段、領域設定手段および前車検知手段を、画像処理装置４が特徴導出手段を、操舵角検出装置７が操舵角検出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

第１の実施の形態の構成を示す図である。 第１の実施の形態のカメラ画像処理による前車検知プログラムを示すフローチャートである。 第２の実施の形態のカメラ画像処理による前車検知プログラムを示すフローチャートである。 第３の実施の形態のカメラ画像処理による前車検知プログラムを示すフローチャートである。 第４の実施の形態のカメラ画像処理による前車検知プログラムを示すフローチャートである。 自車速が大きくなるほど値が大きくなる特性を有する関数を示す図である。 自車の加減速度に応じた特性を有する関数を示す図である。 カメラの撮像画面上における画像処理領域の設定例を示す図である。 カメラの撮像画面上における画像処理領域の設定例を示す図である。

符号の説明

１ レーザーレーダー
２ レーダー処理装置
３ カメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースター
１０ ヨーレイト検出装置

Claims (12)

1. 自車の前方を撮像する撮像手段と、
   前記撮像手段により撮像した画像上に前車を検出するための画像処理領域を設定する領域設定手段と、
   前記領域設定手段により設定した画像処理領域における画像の特徴を導出する特徴導出手段と、
   前記特徴導出手段により導出した特徴に基づいて前車を検知する前車検知手段とを備えた車両用画像処理装置において、
   自車の挙動を検出する挙動検出手段と、
   前記挙動検出手段により検出した自車の挙動に基づいて前車との車間距離および自車の進路に関する情報を推定する前車推定手段とを有し、
   前記領域設定手段は、前記前車推定手段により推定した前車との車間距離および自車の進路に関する情報に基づいて前記画像処理領域を設定することを特徴とする車両用画像処理装置。
2. 請求項１に記載の車両用画像処理装置において、
   前記前車との車間距離に関する情報は自車と前車との車間時間を含み、前記自車の進路に関する情報は自車進路の曲率半径を含むことを特徴とする車両用画像処理装置。
3. 請求項１または請求項２に記載の車両用画像処理装置において、
   前車との車間距離が運転者が設定可能な目標車間距離となるように自車の車速を制御する車速制御手段をさらに有し、
   前記前車推定手段は、前記自車の挙動と前記運転者が設定した目標車間距離とに基づいて、前記前車との車間距離に関する情報を推定することを特徴とする車両用画像処理装置。
4. 請求項１〜３のいずれか１項に記載の車両用画像処理装置において、
   前記領域設定手段は、前記前車との車間距離および自車の進路に関する情報に基づいて、自車の進路方向で自車に近い領域と遠い領域の少なくとも２つの画像処理領域を設定し、前記近い領域の面積は前記遠い領域の面積よりも広く設定されていることを特徴とする車両用画像処理装置。
5. 請求項４のいずれかの項に記載の車両用画像処理装置において、
   前記領域設定手段はすべての画像処理領域をつなぎ合わせて最終的な画像処理領域を設定することを特徴とする車両用画像処理装置。
6. 請求項１に記載の車両用画像処理装置において、
   前記挙動検出手段は自車速を検出し、
   前記領域設定手段は自車速が高くなるほど撮像画像の上部へ画像処理領域の中心を移動することを特徴とする車両用画像処理装置。
7. 請求項１〜４のいずれかの項に記載の車両用画像処理装置において、
   前記挙動検出手段は自車速を検出し、
   前記領域設定手段は、予め設定した車間時間と自車速との積が大きくなるほど撮像画像の上部へ画像処理領域の中心を移動することを特徴とする車両用画像処理装置。
8. 請求項１〜４のいずれかの項に記載の車両用画像処理装置において、
   前記挙動検出手段は自車速を検出し、
   前記領域設定手段は、予め設定した車間時間と自車速との積が大きくなるほど画像処理領域の面積を小さくすることを特徴とする車両用画像処理装置。
9. 請求項１に記載の車両用画像処理装置において、
   前記挙動検出手段は自車の操舵角を検出し、
   前記前車推定手段は、前記挙動検出手段により検出した自車の操舵角に基づいて前車の横方向の位置を推定し、
   前記領域設定手段は、前記前車推定手段により推定した前車の横方向の位置に基づいて画像処理領域を設定することを特徴とする車両用画像処理装置。
10. 請求項１に記載の車両用画像処理装置において、
    前記挙動検出手段は自車のヨーレイトを検出し、
    前記前車推定手段は、前記挙動検出手段により検出した自車のヨーレイトに基づいて前車の横方向の位置を推定し、
    前記領域設定手段は、前記前車推定手段により推定した前車の横方向の位置に基づいて画像処理領域を設定することを特徴とする車両用画像処理装置。
11. 請求項１に記載の車両用画像処理装置において、
    前記挙動検出手段は自車のピッチ角度を検出し、
    前記領域設定手段は、前記挙動検出手段により検出した自車のピッチ角度に応じて画像処理領域を画面の上下方向に移動することを特徴とする車両用画像処理装置。
12. 請求項１に記載の車両用画像処理装置において、
    前記特徴導出手段は、画像処理領域の大きさに応じて画像の特徴量のしきい値を決定し、画像の特徴量をしきい値と比較して画像の特徴を導出することを特徴とする車両用画像処理装置。

Images