JP6085522B2 - 画像処理装置 - Google Patents

Description

本発明は、自車両の前方を撮像して得られる撮像画像についての画像処理を行う画像処理装置の技術分野に関する。

特許第４６６６０４９号公報

ヘッドライト配光制御として、いわゆるＡＨＢ（Auto High Beam）やＡＤＢ（Adaptive Driving Beam）が知られている。これらのヘッドライト配光制御を行うにあたっては、自車両の前方に存在する先行車、対向車を認識することが要求される。仮に、先行車、対向車に対してハイビームが照射されてしまうと、先行車、対向車の運転者が眩惑されて運転に支障を来す虞があり、これを防止するためである。
先行車の検出のためには、自車両の前方を撮像して得られる撮像画像上で先行車のテールランプを検出することが考えられる。
なお、上記特許文献１には、車両のヘッドライト等の発光体と反射物を識別する技術が開示されている。

先行車検出に関しては撮像画像上でテールランプとしての発光体を検出することが有効である。例えば撮像画像上の高輝度領域を発光体として検出する。しかし撮像画像上で検出される高輝度領域としては、実際にはヘッドライト等の光が反射した標識等の場合もある。
発光体と、反射体を切り分ける技術として上記特許文献１では、発光体と反射体の映り方の違いを元に、対象の輝度の頻度分布の傾向（低輝度から高輝度になるほど頻度が減少しているか）により切り分けを行っている。この手法では、対象に充分な画素数がある（つまり距離が近い）場面では有効ではあるが、画素数が少ない場合では頻度分布が信頼できる頻度の数とならずうまくいかない。また、対象ごと頻度分布処理を行っているため、処理量も課題となる。

そこで本発明は、テールランプの検出・識別を精度よく、また処理負担を少なくして実現することを目的とする。

第１に、本発明に係る画像処理装置は、自車両の前方を撮像した撮像画像を得る撮像部と、前記撮像画像内で赤色領域を検出する赤色領域検出処理と、前記赤色領域検出処理で検出された赤色領域に含まれる複数の画素の輝度値のうちの高輝度代表値と低輝度代表値との乖離値を求め、前記乖離値と閾値との大小関係を判定する判定処理とを行い、前記判定処理の結果を、当該赤色領域が先行車両のテールランプ画像であるか否かの識別処理に用いる画像処理部と、を備えるものである。
この場合、先行車検出は、まず撮像画像の赤色領域を抽出する。赤色領域を対象とすることで、赤色以外の発光体の影響を排除するとともに画像上での処理範囲や、赤色検出の範囲となる輝度範囲を限定する。
但し、検出される赤色領域はすべてが先行車のテールランプとは限らず、自車両のヘッドライトが制限速度など赤色を有する標識に反射しているものが撮像された領域も存在する。
ここで車両のテールランプなどの自発光の光源では、光が拡散するため輝度分布が広くなる傾向があり、一方、自車両のヘッドライトなどが標識等に反射した光は、輝度分布が狭くなる傾向にある。このため赤色領域における高輝度代表値と低輝度代表値の乖離値はテールランプ光と反射光で異なる。これを利用してテールランプ検出を行う。

第２に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記高輝度代表値の値に応じて、前記閾値を変更することが望ましい。
即ち高輝度代表値と低輝度代表値の乖離値は、輝度値の影響を受けて増減することを考慮して、高輝度代表値の値に応じて、乖離値と比較する閾値を変更する。

第３に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記識別処理を、自車両のヘッドライトがハイビーム状態である期間に実行することが望ましい。
標識灯の反射光は、ハイビームの期間に主に画像上に現れるためである。

第４に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記撮像画像内でテールランプ検出範囲を設定し、該テールランプ検出範囲内で赤色領域を検出することが望ましい。
即ちテールランプとして存在し得る検出範囲を限定して赤色領域検出を行う。

第５に、上記した本発明に係る画像処理装置においては、前記画像処理部は、前記識別処理において、赤色領域が先行車両のテールランプ画像であることの信頼度を各種条件に応じて加減算し、前記信頼度の値に応じて当該赤色領域が先行車両のテールランプ画像であるか否かを識別するとともに、前記判定処理の結果に応じて前記信頼度の値を減算又は加算することが望ましい。
各種条件により信頼度の値を加減することで、テールランプ識別の信頼性を高める。この場合に、乖離値についての閾値との比較結果を信頼度の値に反映させる。

本発明によれば、負担の少ない処理で画像上での先行車のテールランプ識別を適切に行うことができる。

実施の形態の車両制御システムの構成を示した図である。 実施の形態で実行される画像処理について説明するための図である。 明画像、暗画像の例を示した図である。 テールランプ検出範囲、ヘッドライト検出範囲、及び街灯検出範囲についての説明図である。 実施の形態に係る各処理の全体的な流れを示したフローチャートである。 テールランプ検出処理を説明するためのフローチャートである。 要素グループと対象グループの説明図である。 対象認識・識別処理の全体的な流れを説明するためのフローチャートである。 対象領域算出処理の流れを示したフローチャートである。 対象グループトラッキング処理の流れを示したフローチャートである。 対象識別処理の流れを示したフローチャートである。 制御情報算出処理の内容を示したフローチャートである。 対象以外ハイビームＯＮを表す制御情報に応じて実現されるハイビームの照射態様についての説明図である。 近接時における対向車とヘッドライト検出範囲との関係の説明図である。

＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての画像処理装置を備えた車両制御システム１の構成を示している。なお、図１では、車両制御システム１の構成のうち主に本発明に係る要部の構成のみを抽出して示している。
車両制御システム１は、自車両に対して設けられた撮像部２、画像処理部３、メモリ４、運転支援制御部５、表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、ライト制御部１０、表示部１１、エンジン関連アクチュエータ１２、トランスミッション関連アクチュエータ１３、ブレーキ関連アクチュエータ１４、ヘッドライト１５、ＡＤＢ（Adaptive Driving Beam）アクチュエータ１６、センサ・操作子類１７、及びバス１８を備えている。

撮像部２は、車両において進行方向（前方）を撮像可能に設置された第１カメラ部２Ａ、第２カメラ部２Ｂを備えている。第１カメラ部２Ａ、第２カメラ部２Ｂは、いわゆるステレオ法による測距が可能となるように、例えば自車両のフロントガラスの上部付近において車幅方向に所定間隔を空けて配置されている。第１カメラ部２Ａ、第２カメラ部２Ｂの光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。撮像素子の画素数は例えば６４０×４８０程度である。

第１カメラ部２Ａ，第２カメラ部２Ｂの各撮像素子で得られた電気信号（撮像画像信号）はそれぞれＡ／Ｄ変換され、画素単位で所定階調による輝度値を表すデジタル画像信号（撮像画像データ）とされる。本実施の形態の場合、これらの撮像画像データはカラー画像データとされ、従って１画素につきＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのデータ（輝度値）が得られる。輝度値の階調は、例えば２５６階調とされる。
以下、第１カメラ部２Ａで得られた撮像画像データを「第１撮像画像データ」、第２カメラ部２Ｂで得られた撮像画像データを「第２撮像画像データ」と表記する。

本例における撮像部２は、第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲイン（ＩＳＯ感度）についての自動調整機能を有している。また、撮像部２は、画像処理部３からの指示に基づき第１カメラ部２Ａ、第２カメラ部２Ｂのシャッタースピードやゲインを調整することも可能とされている。

画像処理部３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。
画像処理部３は、撮像部２が自車両の前方を撮像して得た第１撮像画像データ、第２撮像画像データとしての各フレーム画像データをメモリ部４に格納していく。そして各フレームの第１撮像画像データ、第２撮像画像データに基づき、外部環境として車両前方に存在する物体を認識・識別するための各種処理を実行する。
なお、画像処理部３が実行する具体的な処理の詳細については後述する。

運転支援制御部５は、例えばマイクロコンピュータで構成され、画像処理部３による画像処理の結果やセンサ・操作子類１７で得られる検出情報や操作入力情報等に基づき、運転支援のための各種の制御処理を実行する。
運転支援制御部５は、同じくマイクロコンピュータで構成された表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、及びライト制御部１０の各制御部とバス１８を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部５は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。
本実施の形態の場合、運転支援制御部５は、ヘッドライト１５についての配光制御を行う。図中では、運転支援制御部５が有する配光制御のための処理機能を、「配光制御処理部５Ａ」としての機能ブロックにより表している。配光制御処理部５Ａは、画像処理部３が対向車や先行車、街灯等の認識・識別結果から生成した制御情報に基づき、ライト制御部１０にＡＤＢ制御のための指示を行う。

センサ・操作子類１７は、自車両に設けられた各種のセンサや操作子を包括的に表している。センサ・操作子類１７が有するセンサとしては、例えばエンジン回転数センサ、吸入空気量を検出する吸入空気量センサ、アクセルペダルの踏込み量からアクセル開度を検出するアクセル開度センサ、吸気通路に介装されてエンジンの各気筒に供給する吸入空気量を調整するスロットル弁の開度を検出するスロットル開度センサ、エンジン温度を示す冷却水温を検出する水温センサ、車外の気温を検出する外気温センサ等がある。
また、操作子としては、エンジンの始動／停止を指示するためのイグニッションスイッチや、ＡＴ（オートマティックトランスミッション）車における自動変速モード／手動変速モードの選択や手動変速モード時におけるシフトアップ／ダウンの指示を行うためのセレクトレバーや、後述する表示部１１に設けられたＭＦＤ（Multi Function Display）における表示情報の切り換えを行うための表示切換スイッチなどがある。
特に本実施の形態の場合、センサ・操作子類１７においては、車速センサ１７Ａ、舵角センサ１７Ｂ、アクセル開度センサ１７Ｃ、ヘッドライトスイッチ１７Ｄ、ウィンカースイッチ１７Ｅが設けられている。ヘッドライトスイッチ１７Ｄは、ヘッドライト１５のロービームのＯＮ／ＯＦＦやハイビームのＯＮ／ＯＦＦの指示を行うための操作子を表す。ここで、本例の場合、ハイビームのＯＮ／ＯＦＦ操作に応じてＡＤＢ機能もＯＮ／ＯＦＦされる。

表示部１１は、運転者の前方に設置されたメータパネル内に設けられるスピードメータやタコメータ等の各種メータやＭＦＤ、及びその他運転者に情報提示を行うための表示デバイスを包括的に表す。ＭＦＤには、自車両の総走行距離や外気温、瞬間燃費等といった各種の情報を同時又は切り換えて表示可能とされる。

表示制御部６は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、表示部１１による表示動作を制御する。

エンジン制御部７は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、エンジン関連アクチュエータ１２として設けられた各種アクチュエータを制御する。エンジン関連アクチュエータ１２としては、例えばスロットル弁を駆動するスロットルアクチュエータや燃料噴射を行うインジェクタ等のエンジン駆動に係る各種のアクチュエータが設けられる。
例えばエンジン制御部７は、前述したイグニッションスイッチの操作に応じてエンジンの始動／停止制御を行う。また、エンジン制御部７は、エンジン回転数センサやアクセル開度センサ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。

トランスミッション制御部８は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、トランスミッション関連アクチュエータ１３として設けられた各種のアクチュエータを制御する。トランスミッション関連アクチュエータ１３としては、例えば自動変速機の変速制御を行うコントロールバルブや、ロックアップクラッチをロックアップ動作させるロックアップアクチュエータ等のトランスミッション関連の各種アクチュエータが設けられる。
例えばトランスミッション制御部８は、前述したセレクトレバーによって自動変速モードが選択されている際には、所定の変速パターンに従い変速信号をコントロールバルブに出力して変速制御を行う。また、トランスミッション制御部８は、手動変速モードの設定時には、セレクトレバーによるシフトアップ／ダウン指示に従った変速信号をコントロールバルブに出力して変速制御を行う。

ブレーキ制御部９は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ブレーキ関連アクチュエータ１４として設けられた各種のアクチュエータを制御する。ブレーキ関連アクチュエータ１４としては、例えばブレーキブースターからマスターシリンダへの出力液圧やブレーキ液配管内の液圧をコントロールするための液圧制御アクチュエータ等、ブレーキ関連の各種のアクチュエータが設けられる。
例えばブレーキ制御部９は、運転支援制御部５よりブレーキをＯＮする指示が為された場合に上記の液圧制御アクチュエータを制御して自車両を制動させる。またブレーキ制御部９は、所定のセンサ（例えば車軸の回転速度センサや車速センサ）の検出情報から車輪のスリップ率を計算し、スリップ率に応じて上記の液圧制御アクチュエータにより液圧を加減圧させることで、所謂ＡＢＳ（Antilock Brake System）制御を実現する。

ライト制御部１０は、センサ・操作子類１７における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ヘッドライト１５の点消灯制御やＡＤＢアクチュエータ１６の制御を行う。
具体的に、ライト制御部１０は、照度センサ等の所定のセンサによる検出信号に基づきヘッドライト１５の点消灯を行うオートヘッドライト制御等を行う。また、ライト制御部１０は、前述したヘッドライトスイッチ１７Ｄによる操作入力情報に基づきヘッドライト１５のロービーム、ハイビームのＯＮ／ＯＦＦ制御も行う。また、特に本実施の形態のライト制御部１０は、運転支援制御部５における配光制御処理部５Ａからの指示に基づきＡＤＢアクチュエータ１６を制御することで、ＡＤＢ機能を実現する。本例におけるＡＤＢアクチュエータ１６は、例えば遮光板を駆動するアクチュエータとされ、ライト制御部１０からの制御に基づき遮光板を駆動することで、ハイビームの配光領域の一部に遮光領域を形成するか、或いは遮光領域を非形成（つまりハイビームを全照状態）とする。

＜２．本実施の形態で実行される処理の概要＞
図２により、本実施の形態で実行される各種処理の概要について説明する。
なお、図２においては、画像処理部３が第１撮像画像データ、第２撮像画像データに基づき実行する各種の画像処理を機能ごとに分けてブロック化して示している。また、図２では、運転支援制御部５が有する配光制御処理部５Ａ、及びメモリ４も併せて示している。

図のように画像処理部３は、機能ごとに大別すると、距離画像生成処理部３Ａ、車線検出処理部３Ｂ、車線モデル形成処理部３Ｃ、テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉを有していると表すことができる。

画像処理部３において、距離画像生成処理部３Ａが実行する距離画像生成処理は、メモリ４に保持された第１撮像画像データ、第２撮像画像データに基づき距離画像を生成する処理となる。具体的に、距離画像生成処理は、第１撮像画像データと第２撮像画像データ（つまりステレオ撮像された一対の画像データ）の間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差Ｍとして算出し、該視差Ｍを用いて三角測量の原理により実空間上における対応点までの距離を画像上に表した距離画像データを生成する処理である。

車線検出処理部３Ｂが実行する車線検出処理は、基準画像（つまり第１撮像画像データ又は第２撮像画像データのうち予め設定された方の画像データ）と、上記の距離画像生成処理で生成された距離画像データ（対応点としての画素ごとの距離情報）とに基づき、自車両が走行する路面上に形成された車線を検出する処理となる。具体的に、車線検出処理では、先ず基準画像の各画素の輝度値と各画素の実空間における距離とに基づいて基準画像上に車線候補点を検出し、検出した車線候補点に基づいて自車両の左右の車線位置を検出する。例えば、基準画像上の１画素幅の水平ライン上を左右方向に１画素ずつオフセットしながら探索し、基準画像の各画素の輝度値に基づいて各画素の輝度微分値（＝エッジ強度）が閾値以上に大きく変化する条件を満たす画素を車線候補点として検出する。この処理を、上記探索の対象とする水平ラインを基準画像の例えば下側から上向きに１画素幅ずつオフセットさせながら順次行う。これにより、自車両の右側領域及び左側領域のそれぞれに車線候補点を検出する。

車線モデル形成処理部３Ｃが実行する車線モデル形成処理は、上記の車線検出で検出された左右の車線候補点の情報に基づき、Ｘ，Ｙ，Ｚの各軸（Ｘ軸は左右方向、Ｙ軸は高さ方向、Ｚ軸は車両進行方向）で定義される三次元空間上における車線モデルを形成する処理である。具体的には、車線検出部で検出された車線候補点の実空間上の位置（Ｘ，Ｙ，Ｚ）を例えば最小二乗法等で直線近似して、三次元空間上における車線モデルを形成する。
このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。
なお、上記の距離画像生成処理、車線検出処理、及び車線モデル形成処理の手法は、特開２００８−３３７５０号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。

テールランプ検出処理部３Ｄ、ヘッドライト検出処理部３Ｅ、街灯検出処理部３Ｆ、対象認識・識別処理部３Ｇ、シーン判定処理部３Ｈ、及び制御情報算出処理部３Ｉがそれぞれ実行するテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、及び制御情報算出処理は、特に本実施の形態に係る処理となる。これら実施の形態に係る各処理については後に改めて説明する。

ここで、メモリ４には、ロービーム時距離閾値関係情報４Ａ、及びハイビーム時距離閾値関係情報４Ｂが記憶されている。これらの情報は、対象認識・識別処理において用いられるものであるが、その詳細については後述する。

＜３．明画像・暗画像及び検出範囲について＞
先ず、実施の形態に係る各処理の説明に先立ち、各処理で扱う２種の撮像画像（フレーム画像）、及び各対象の検出範囲について説明しておく。

後述するように、本実施の形態では、ハイビームを照射すべきではない対象として先行車と対向車とを認識・識別する。先行車の認識・識別は、テールランプの検出結果に基づき行い、対向車の認識・識別はヘッドライトの検出結果に基づき行う。
ここで、ヘッドライトとテールランプはそれぞれ光量が大きく異なるため、同一のシャッタースピードで撮像された画像を用いてしまうと両者とも鮮明な像を検出できないという問題がある。例えば、テールランプに合わせたシャッタースピードで撮像された画像では、ヘッドライトの輝度が飽和して適正な検出ができなくなる。

そこで、本実施の形態では、シャッタースピードをフレームごとに変更し、テールランプに合わせたシャッタースピード、ヘッドライトに合わせたシャッタースピードでそれぞれ撮像した画像によって各対象の検出処理を行う。以下、テールランプ用のシャッタースピード（ヘッドライト用よりも遅いシャッタースピード）で撮像して得られた撮像画像データを「明画像Ｇ１」、ヘッドライト用のシャッタースピード（テールランプ用よりも速いシャッタースピード）で撮像して得られた撮像画像データを「暗画像Ｇ２」と表記する。
同一シーンについて撮像された明画像Ｇ１、暗画像Ｇ２の例を図３Ａ、図３Ｂにそれぞれに示す。

画像処理部３は、第１カメラ部２Ａ、第２カメラ部２Ｂがそれぞれ明画像Ｇ１、暗画像Ｇ２を交互に出力するように撮像部２に指示を行う。これにより、第１カメラ部２Ａにより得られる第１撮像画像データ、及び第２カメラ部２Ｂにより得られる第２撮像画像データとしては、それぞれ明画像Ｇ１、暗画像Ｇ２が１フレーム期間ごとに交互に切り替わることになる。このとき、明画像Ｇ１については、前述した自動調整機能で設定されたシャッタースピードで撮像させる。また、暗画像Ｇ２については、明画像Ｇ１のシャッタースピードに所定のオフセットを与えたシャッタースピードで撮像させる。
なお、前述した距離画像は、明画像Ｇ１に基づき生成される。

ここで、本例の場合、暗画像Ｇ２は、ヘッドライト検出に用いられると共に、街灯検出処理部３Ｆによる街灯検出処理にも用いられる。この点を考慮し、本例における暗画像Ｇ２は明画像Ｇ１よりも上方向にオフセットされた画像とされている。
なお、撮像画像上での街灯の輝度は、テールランプとヘッドライトとの中間程度である場合が多いので、街灯検出処理は必ずしも暗画像Ｇ２に基づき行うことに限定されず、明画像Ｇ１に基づき行うこともできる。

また、本実施の形態では、テールランプ（先行車）、ヘッドライト（対向車）、街灯の各対象について検出範囲が定められている。すなわち、これらの各対象についての検出処理は明画像Ｇ１や暗画像Ｇ２の全画素を対象として行われるのではなく、テールランプ検出処理の対象範囲としてのテールランプ検出範囲Ａｓ、ヘッドライト検出処理の対象範囲としてのヘッドライト検出範囲Ａｔ、及び街灯検出処理の対象範囲としての街灯検出範囲Ａｇに対してそれぞれ行われる。

図４Ａは、明画像Ｇ１に対して定められたテールランプ検出範囲Ａｓの例を、図４Ｂは暗画像Ｇ２に対して定められたヘッドライト検出範囲Ａｔ及び街灯検出範囲Ａｇの例を示している。これら各検出範囲は、それぞれ矩形範囲として設定されている。各検出範囲の位置は、画像内で対象が存在する領域がカバーされるようにそれぞれ設定されている。

上記のようなテールランプ検出範囲Ａｓ、ヘッドライト検出範囲Ａｔ、及び街灯検出範囲Ａｇの各検出範囲を設定しておくことで、対象を検出する範囲が限定されて、処理時間の短縮化や処理負担の低減が図られると共に、本来検出対象が存在しない場所での誤検出を防止することができる。

＜４．処理の全体的な流れ＞
図５は、実施の形態に係る各処理の全体的な流れを示したフローチャートである。
なお、図５に示す一連の処理は、画像処理部３が１フレーム期間ごとに繰り返し実行するものである。

先ず、画像処理部３は、ステップＳ１０１で夜間であるか否かを判別する。夜間でない場合はそもそも各対象を検出・認識する必要性はないことから、当該ステップＳ１０１の判別処理により各対象を検出・認識する必要性があるか否かを判別している。
なお、夜間であるか否かは、撮像画像データのシャッタースピード及びゲイン値に基づき行う。或いは、夜間であるか否かの判別は、ハイビームがＯＮであるか否かを判別した結果に基づき行うこともできる。
ステップＳ１０１において、夜間ではないとの否定結果が得られた場合は現フレーム期間での処理を終了し、夜間であるとの肯定結果が得られた場合はステップＳ１０２に進む。

ステップＳ１０２では画像タイプを判別する。すなわち、現フレーム期間において撮像部２から取り込んだ撮像画像データが明画像Ｇ１か暗画像Ｇ２かを判別する。
画像タイプが明画像Ｇ１であれば、ステップＳ１０３でテールランプ検出処理を実行した後、現フレーム期間での処理を終了する。

一方、画像タイプが暗画像Ｇ２であるとされた場合は、ステップＳ１０４でヘッドライト検出処理を行った後、ステップＳ１０５で街灯検出処理を行う。

続くステップＳ１０６では、対象認識・識別処理を実行する。詳細は後述するが、対象認識・識別処理は、ステップＳ１０３で実行したテールランプ検出処理の結果と、ステップＳ１０４、Ｓ１０５でそれぞれ実行したヘッドライト検出処理、街灯検出処理の各結果とに基づき、先行車、対向車、街灯の各対象を認識・識別する処理となる。

対象認識・識別処理を実行した後は、ステップＳ１０７でシーン判定処理、ステップＳ１０８で制御情報算出処理をそれぞれ実行し、処理を終了する。

以下に、ステップＳ１０３〜Ｓ１０８として実行されるテールランプ検出処理、ヘッドライト検出処理、街灯検出処理、対象認識・識別処理、シーン判定処理、制御情報算出処理の各処理の内容を説明する。

＜５．テールランプ検出処理＞
テールランプ検出処理は、先行車のテールランプ部分と推測される領域（テールランプ領域）を検出する処理である。大まかな処理の流れは次の通りである。
先ず、テールランプ検出処理では、明画像Ｇ１に対してテールランプ検出範囲Ａｓを設定し、当該テールランプ検出範囲Ａｓ内の画素を対象として赤色の画素を検出する。そして、検出した赤色の画素をグループ化し、要素グループを作成する。

その上で、要素グループの基本特徴量を求める。基本特徴量としては、
・要素グループの上下左右座標（要素グループを矩形で囲った場合の各辺の位置）
・要素グループ内画素数
・要素グループ内最大輝度値、最小輝度値
・要素グループの平均視差（要素グループ内の各画素の視差Ｍの平均値）
なお、視差Ｍは、前述した距離画像生成処理で得られる値を用いる。

そして、要素グループの基本特徴量の情報に基づき、要素グループの選別を行う。つまり、基本特徴量が後述の設定条件外の要素グループを削除する。

以上を踏まえて、図６のフローチャートによりテールランプ検出処理として実行される具体的な処理内容を説明する。
図６において、画像処理部３は、ステップＳ２０１で明画像Ｇ１に対するテールランプ検出範囲Ａｓの設定を行い、続くステップＳ２０２で対象画素識別子Ｐ＝０とする。対象画素識別子Ｐは、テールランプ検出範囲Ａｓ内の画素のうち当該テールランプ検出処理の対象とする画素を特定するための識別子であり、上限値はテールランプ検出範囲Ａｓを構成する画素数−１である。

次いで、ステップＳ２０３で画素識別子Ｐで特定される画素（現在対象としている画素）が赤色か否かを判別する。
画素が赤色であるとの肯定結果が得られた場合は、ステップＳ２０４で既存グループと隣接しているか否かを判別する。すなわち、現在対象としている画素が現フレーム期間での処理において既に作成済みの何れかの要素グループに隣接しているか否かを判別する。
ここで、現在対象としている画素が作成済みの要素グループに隣接しているか否かは、それらの画像上での距離がＡ１ピクセル以下であるか否かにより判別する。例えばＡ１＝１．５ピクセルとする。

ステップＳ２０４において、既存グループと隣接していないとの否定結果が得られた場合は、ステップＳ２０５に進んで新グループ作成処理を実行する。すなわち、新たな要素グループを作成し、該要素グループの構成画素として現在対象としている画素（識別子Ｐで特定される画素）を追加する。このとき、当該要素グループについての基本特徴量の情報も新たに作成する。

一方、ステップＳ２０４において既存グループと隣接しているとの肯定結果が得られた場合は、ステップＳ２０６で基本特徴量の更新処理を実行する。すなわち、該当する要素グループについての基本特徴量の情報を更新する。なお、基本特徴量の情報うち、要素グループ内最大輝度値、最小輝度値の情報については必要に応じて更新する。

ステップＳ２０５の作成処理又はステップＳ２０６の更新処理を実行した後は、ステップＳ２２０７に進む。

また、先のステップＳ２０３において、画素が赤色ではないとの否定結果が得られた場合は、上記によるステップＳ２０４〜Ｓ２０６のグループ化のための処理は経ずにステップＳ２０７に進む。これにより、赤色以外の画素が除外される。

ステップＳ２０７では、処理範囲が終了したか否か、すなわち対象画素識別子Ｐの値が前述した上限値（テールランプ検出範囲Ａｓを構成する画素数−１）に達したか否かを判別する。処理範囲が終了していないとの否定結果が得られた場合は、ステップＳ２０８で対象画素識別子Ｐの値をインクリメント（Ｐ←Ｐ＋１）した後、ステップＳ２０３に戻る。これにより、テールランプ検出範囲Ａｓ内の新たな画素について、上述したステップＳ２０３〜Ｓ２０６の処理が実行される。

一方、処理範囲が終了したとの肯定結果が得られた場合は、ステップＳ２０９でグループ選別処理を実行する。すなわち、基本特徴量が以下の設定条件外とされる要素グループを削除する。
条件１）：要素グループの縦・横サイズがＢ１ピクセル以下。Ｂ１は例えば２ピクセル。
条件２）：要素グループ内画素数がＣ１ピクセル以下。Ｃ１は例えば２ピクセル。
その他、要素グループのサイズが大きすぎる場合に削除を行ってもよい。但し、その場合の閾値は距離（視差Ｍ）により変化させる。

ステップＳ２０９のグループ選別処理を以て、画像処理部３はテールランプ検出処理を終了する。

上記のようなテールランプ検出処理で検出された（最終的に選別された）要素グループの模式図を図７Ａに示す。
図中の灰色で示した領域が、テールランプ検出範囲Ａｓ内における先行車に相当する領域（先行車領域）を表し、黒色で示した領域が赤色画素として検出された領域を表す。上記のテールランプ検出処理によれば、図中の破線で示す矩形状の領域が要素グループとしてグループ化される。

このようにテールランプ検出処理によれば、先行車のテールランプ部分に相当する領域が要素グループとして検出される。

なお、上記の説明から理解されるように、要素グループとは、認識すべき対象に含まれる特徴部分をグループ化したものと定義できる。後述する対象認識・識別処理では、これらの要素グループの検出結果を基に、認識すべき対象に対応する範囲が対象グループとしてグループ化される（図７Ｂを参照）。

＜６．ヘッドライト検出処理＞
ヘッドライト検出処理は、対向車のヘッドライト部分と推測される領域（ヘッドライト領域）を検出する処理である。
ヘッドライト検出処理では、先ず、暗画像Ｇ２に対しヘッドライト検出範囲Ａｔを設定した上で、当該ヘッドライト検出範囲Ａｔ内の各画素ごとに、輝度値についての閾値Ｄ２を用いた二値化処理を行う。そして、二値化処理で抽出された画素について、テールランプ検出処理と同様に要素グループのグループ化及び要素グループの選別を行う。
処理の基本的な流れは
ｉ）輝度値が閾値Ｄ２以上である画素を検出する
ii）検出した画素をグループ化し、要素グループを作成する
iii）要素グループの基本特徴量を求める
iv）要素グループ選別
である。なお、本例の場合、ii）〜iv）の処理はテールランプ検出処理の場合と同様の処理となるため、説明は省略する。

ここで、ｉ）の処理において用いる閾値Ｄ２は、撮像条件に応じて適応的に変化させることもできる。これにより、検出のロバスト性を向上できる。

＜７．街灯検出処理＞
街灯検出処理は、街灯と推測される領域（街灯領域）を検出する処理である。
本例の場合、街灯検出処理は、処理対象とする画素が街灯検出範囲Ａｇ内の画素となる以外はヘッドライト検出処理と同様となるため、説明は省略する。

＜８．対象認識・識別処理＞
対象認識・識別処理は、少なくとも上記のテールランプ検出処理、ヘッドライト検出処理の各処理結果に基づいて、対象（先行車、対向車）の認識・識別を行う処理である。
ここで言う「認識」とは、対象の範囲を認識することを意味する。「識別」とは、「認識」された範囲内に存在する物体が対象であるかどうかの確からしさ（例えば後述する信頼度α）を算出し、その確からしさに基づいて対象であるか否かの切り分けを行うことを意味する。

［8-1．対象認識・識別処理の全体的な流れ］
図８は、対象認識・識別処理の全体的な流れを説明するためのフローチャートである。
図８に示すように、対象認識・識別処理では、ステップＳ３０１の対象領域算出処理、ステップＳ３０２の対象グループ３次元位置算出処理、ステップＳ３０３の対象グループトラッキング処理、ステップＳ３０４の対象識別処理、及びステップＳ３０５の前回結果受け継ぎ処理が順に行われる。
これらのうち、ステップＳ３０１の対象領域算出処理が上記の「認識」の処理に相当し、ステップＳ３０４の対象識別処理が上記の「識別」の処理に相当する。

［8-2．対象領域算出処理］
先ず、ステップＳ３０１の対象領域算出処理について説明する。
対象領域算出処理は、テールランプ検出処理、ヘッドライト検出処理で求まった各要素グループを、基本特徴量の情報に基づいてそれぞれ対象グループとしてグループ化する処理である。対象領域算出処理は、テールランプ検出処理の結果に基づく処理（つまり先行車の「認識」処理）とヘッドライト検出処理の結果に基づく処理（対向車の「認識」処理）とが個別に行われるが、本例ではそれらの具体的な処理内容は共通とされることから、以下では纏めて説明を行う。

なお、街灯については、１つの発光体としての要素グループそのものが認識されるべき対象であることから、本例では街灯についての対象領域算出処理は実行せず、要素グループをそのまま対象グループとして扱う。

図９は、対象領域算出処理の流れを示したフローチャートである。
図９において、画像処理部３はステップＳ４０１で、要素グループ識別子Ｅ＝０に設定する。要素グループ識別子Ｅは、テールランプ検出処理、ヘッドライト検出処理でそれぞれ検出されて対象領域算出処理で処理対象とされる個々の要素グループを特定するための識別子である。要素グループ識別子Ｅは、テールランプ検出処理の結果に基づく対象領域算出処理とヘッドライト検出処理の結果に基づく対象領域算出処理とで個別に用いられる。

ステップＳ４０２では、グループ化条件を満たす他の要素グループがあるか否かについて判別処理を行う。すなわち、要素グループ識別子Ｅで特定される要素グループについて、対象グループのグループ化のための条件を満たす他の要素グループが存在するか否かについて判別処理を行う。
ステップＳ４０２において、グループ化条件を満たす他の要素グループが存在しないとされた場合には、ステップＳ４０３で新グループを作成する。すなわち、要素グループ識別子Ｅで特定される要素グループを含む新たな対象グループを作成する。
一方、グループ化条件を満たす他の要素グループが存在するとされた場合は、ステップＳ４０４でグループ統合処理を行う。すなわち、要素グループ識別子Ｅで特定される要素グループとグループ化条件を満たす他の要素グループとを対象グループとして統合する。

ここで、ステップＳ４０２の判別処理は、対象としての先行車又は対向車の範囲の「認識」に係る処理である。
本例では、或る要素グループと他の要素グループとが同じ対象を構成するものであるか否かを、各要素グループの上下左右方向の座標情報や平均視差の値を用いて判別する。
ここで、要素グループの平均視差の値がほぼ同値であれば、それらの要素グループは同一の対象を構成している可能性が高いと言える。また、同一の対象を構成しているのであれば、それらの要素グループの画像内での上下左右方向の離間距離は所定の範囲内にあると言える。
ステップＳ４０２の判別処理は、平均視差の値が同じであるとみなされる要素グループであって、それら要素グループの画像内での上下左右方向の離間距離が所定範囲内であるものを、対象グループとしてグループ化するための処理となる。なお、上記離間距離についての「所定範囲」は、撮像画像内での対象のサイズが自車両からの距離に応じて変わる点を考慮し、平均視差の値に応じて可変とする。

この点を踏まえて、ステップＳ４０２の判別処理について説明する。
ステップＳ４０２の判別処理では、各要素グループ間の画像上の距離、平均視差の差、最大輝度値の関係が下記条件を全て満たすか否かを判別する。

条件１）：画像上距離
実世界上での横方向、縦方向の距離が同一物体に含まれるか否かを判別する。
閾値は縦方向、横方向について個別に設定し、それぞれを縦方向閾値ＫＨ、横方向閾値ＫＷとする。縦方向閾値ＫＨ、横方向閾値ＫＷは、対象の実世界上の縦方向、横方向の大きさにそれぞれマージンを加えた値（それぞれ縦：ＬＨ、横：ＬＷとする）、視差Ｍ（どちらかのグループの平均視差を使ってもよいし、その平均を用いてもよい）、ステレオカメラの基線長をｂとすると
ＫＨ＝ＬＨ＊Ｍ／ｂ
ＫＷ＝ＬＷ＊Ｍ／ｂ
で求められる値である。当該条件１）では、各要素グループの縦方向、横方向の離間距離がそれぞれ縦方向閾値ＫＨ以下、横方向閾値ＫＷ以下であるか否かを判別する。

なお、本例の対象認識・識別処理は、撮像画像内に存在する発光体の検出結果に基づき行われるものである。
先行車や対向車としての車両における発光部分は、テールランプやハイマウントストップランプなど車両後面に配された灯具、或いはヘッドライトやフォグランプなど車両前面に配された灯具である。これらの灯具は、小型車、大型車であっても概ね或る範囲内に収まるものである。従って、ＫＨやＫＷの値は、上記のように対象の大きさに関わらず共通の値としても、対象認識・識別処理の精度に関して特に問題が生じることはない。

条件２）：平均視差の差
実世界上の奥行き方向距離が同一物体に含まれるか否かを判別する。
閾値はＫＺとする。この閾値ＫＺは、実世界上での奥行き方向の条件をＬＺ（例えば１ｍ）、処理対象とされた各要素グループの視差をＭ１、Ｍ２、カメラの１画素の横方向サイズをλｉ、焦点距離をｆとすると
ＫＺ＝λｉＭ１＊Ｍ２＊ＫＺ／（ｂ＊ｆ）
で求められる値である。当該条件２）では、視差の差の絶対値（｜Ｍ１−Ｍ２｜）が閾値ＫＺ未満であるか否かを判別する。但し、実用上は視差誤差等の影響を考慮し、閾値ＫＺにはマージンを付加することが望ましい。

条件３）：最大輝度値の関係
ここでの処理は主に同一車両の左右ランプについてのグルーピングを想定しているので、輝度が似ているか否かも判別する。処理対象とされた各要素グループの最大輝度値をＮ１、Ｎ２（但しＮ１≧Ｎ２）としたとき、
Ｎ１／Ｎ２＜Ｏ１
であるか否かを判別する。すなわち、Ｎ１とＮ２の比が一定範囲内であるか否かの判別である。このとき、Ｏ１は例えば３とする。

以上の条件１）〜条件３）の全てを満たす他の要素グループがあるとされた場合は、前述したステップＳ４０４のグループ統合処理により、各要素グループのグループ化が行われる。
これにより、先に参照した図７Ｂに示すような対象グループのグループ化が実現される。

なお、図７Ｂを参照して分かるように、本例の手法では先行車、対向車としての対象の縦方向を適切に囲うことができない。これはテールランプ、ヘッドライトの各検出処理で、先行車や対向車における発光部分のみを対象とした検出を行っているためである。
しかしながら、ＡＤＢは縦方向の配光制御ではなく横方向の配光制御であるため、最終的な配光制御に問題が生じることはない。

ここで、ステップＳ４０４で各要素グループを対象グループとして統合する際には、要素グループの基本特徴量を受け継ぐ。具体的には
・対象グループの上下左右座標
左、下の位置は各要素グループの最小値を受け継ぐ
右、上の位置は各要素グループの最大値を受け継ぐ
・対象グループ内画素数
各要素グループの和を受け継ぐ
・対象グループ内最大輝度値、最小輝度値
最大輝度値は各要素グループの最大値を受け継ぐ
最小輝度値は各要素グループの最小値を受け継ぐ
・対象グループの平均視差（距離）
平均視差は各要素グループの最大値（距離が近い方）を受け継ぐ
また、併せて、対象グループを構成する要素グループ数もカウントする。

図９において、画像処理部３は、ステップＳ４０３の作成処理又はステップＳ４０４の統合処理の何れかを実行した後、ステップＳ４０５で全要素グループについての処理が終了したか否かを判別する。すなわち、当該対象領域算出処理が先行車についての処理である場合には、テールランプ検出処理で検出された全要素グループについての処理が終了したか否かを判別する。或いは、当該対象領域算出処理が対向車についての処理である場合には、ヘッドライト検出処理で検出された全要素グループについての処理が終了したか否かを判別する。

ステップＳ４０５において、全要素グループについての処理が終了していないとの否定結果が得られた場合は、ステップＳ４０６で要素グループ識別子Ｅの値をインクリメント（Ｅ←Ｅ＋１）した後、ステップＳ４０２に戻る。これにより、次の要素グループについてステップＳ４０２〜Ｓ４０４の処理が実行される。
一方、全要素グループについての処理が終了したとの肯定結果が得られた場合は、対象領域算出処理を終了する。

［8-3．対象グループ３次元位置算出処理］
ステップＳ３０２の対象グループ３次元位置算出処理は、対象グループの実空間３次元位置を算出する処理である。
対象グループの平均視差をＰｄ、上下、左右位置の平均（対象グループを囲う矩形の中心点の座標）をＰｊ、Ｐｉ（但し、光軸中心位置の座標は（０，０）である）とおく。対象グループの奥行き方向、横方向、縦方向の各位置（それぞれＱｚ、Ｑｘ、Ｑｙとする）は、基線長ｂ、画素サイズの縦をλｊ、横をλｉ、焦点距離ｆとすると、
Ｑｚ＝ｂ＊ｆ／（λｉ＊Ｐｄ）
Ｑｘ＝λｉ＊Ｐｉ＊Ｑｚ／ｆ
Ｑｙ＝λｊ＊Ｐｊ＊Ｑｚ／ｆ
で求められる。なお、カメラが自車両に対してピッチ（前傾又は後傾）がついて設置されている場合は、上記結果にピッチに対する補正を行う。
さらに、縦方向に対しては、前述した車線検出モデル形成処理で算出される距離Ｑｚ地点での路面高さを減算し、路面からの高さとなるように変換する。

［8-4．対象グループトラッキング処理］
ステップＳ３０３の対象グループトラッキング処理は、対象グループが過去何フレームの間認識できていたか（存在回数）をカウントする処理である。なお、対象グループトラッキング処理は、前回結果受け継ぎ処理（Ｓ３０５）のために実行されるものである。

図１０は、対象グループトラッキング処理の流れを示したフローチャートである。
当該対象グループトラッキング処理としても先行車、対向車の各対象について個別に行われるものであるが、処理内容は共通であるため図１０により纏めて説明する。
図１０において、画像処理部３はステップＳ５０１で、対象グループ識別子Ｔ＝０に設定する。対象グループ識別子Ｔは、前述した対象領域算出処理で認識された個々の対象グループを特定するための識別子である。

ステップＳ５０２では、１フレーム前に条件を満たす対象グループがあるか否かを判別する。すなわち、対象グループ識別子Ｔで特定される現フレームの対象グループに関して、１フレーム前に以下の条件を満たす対象グループがあるか否かを判別する。なお、「１フレーム前」とは、当該対象グループトラッキング処理が先行車についての処理である場合には１つ前の明画像Ｇ１を意味する。同様に、対向車についての処理である場合は１つ前の暗画像Ｇ２を意味する。
ステップＳ５０２の判別処理で用いる条件は、先のステップＳ４０２の判別処理で用いた条件と同じである。各条件で用いるパラメータについても基本的に同じ値とする。但し、自車両の走行状態（例えば旋回中であるとか走行速度）によってはトラッキングが外れてしまう虞がある点を考慮して、画像上の距離（ＫＨ、ＫＷ）については自車両のヨーレートによりマージンを調整する。また、平均視差の差については自車両の速度によりマージンを調整する。

ステップＳ５０２において、１フレーム前に条件を満たす対象グループがないとの否定結果が得られた場合は、ステップＳ５０３で存在回数＝１とした後、ステップＳ５０５に進む。一方、１フレーム前に条件を満たす対象グループがあるとの肯定結果が得られた場合は、ステップＳ５０４で存在回数を加算（＋１）した後、ステップＳ５０５に進む。

ステップＳ５０５では、全対象グループについての処理が終了したか否かを判別する。全対象グループについての処理が終了していないとの否定結果が得られた場合は、ステップＳ５０６で対象グループ識別子Ｔの値をインクリメント（Ｔ←Ｔ＋１）した後、ステップＳ５０２に戻る。
一方、全対象グループについての処理が終了したとの肯定結果が得られた場合は、対象グループトラッキング処理を終了する。

［8-5．対象識別処理］
ステップＳ３０４の対象識別処理は、各対象グループについての信頼度αを算出し、信頼度αが所定閾値以上の対象グループを抽出する処理である。
本例の場合、信頼度αはフレームごとに算出する。本例の対象識別処理では、フレームごとに信頼度αと上記所定閾値との比較を行って対象グループの抽出を行う。

図１１は、対象識別処理の流れを示したフローチャートである。
なお、当該対象識別処理についても、先行車と対向車とについて個別に行われるものである。先行車についての対象識別処理の流れと対向車についての対象識別処理の流れは共通しているため、図１１では纏めて示している。
但し、信頼度αを加算するための処理（後述する信頼度加算側処理）、及び減算するための処理（信頼度減算側処理）の内容は異なるため、この点については個別に説明を行う。

図１１において、画像処理部３は、ステップＳ６０１で対象グループ識別子Ｔ＝０に設定すると共に、ステップＳ６０２で信頼度α＝０に設定する。
そして、ステップＳ６０３で信頼度加算側処理を実行し、ステップＳ６０４で信頼度減算側処理を実行する。

続くステップＳ６０５では、識別判定処理を行う。すなわち、対象グループ識別子Ｔで特定される対象グループについて、その信頼度αの値が所定閾値以上であるとの条件を満たすか否かを判別し、該条件を満たす場合は当該対象グループが対象（先行車又は対向車）であるとの識別結果を得、満たさない場合は当該対象グループは対象以外であるとの識別結果を得る。

次のステップＳ６０６では、全対象グループについての処理が終了したか否かを判別する。全対象グループについての処理が終了していないとの否定結果が得られた場合は、ステップＳ６０７で対象グループ識別子Ｔの値をインクリメント（Ｔ←Ｔ＋１）した後、ステップＳ６０２に戻る。一方、全対象グループについての処理が終了したとの肯定結果が得られた場合は、対象識別処理を終了する。

ステップＳ６０３の信頼度加算側処理、ステップＳ６０４の信頼度減算側処理について説明する。前述のようにこれらの処理の内容は先行車、対向車の場合で異なるため、以下で個別に説明する。

なお、以下の説明における前提として、先行車の類似物体としては、主に看板などの赤色の発光体、遠方の街の明かり、自車両のライトによって反射される標識（赤色標識）が挙げられる。また、対向車の類似物体としては、主に街灯、路面に設けられたリフレクター、標識の反射が挙げられる。

（先行車についての信頼度加算側処理）
先行車についての信頼度加算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを加算する。
条件１）
対象グループを構成する要素グループ数が閾値（例えば４）以下の場合。このとき、要素グループ数がそれぞれ２（テールランプが２つ）の場合、３（テールランプ２つとハイマウントストップランプ）の場合は、より先行車である可能性が高いのでさらに信頼度αを加算する
条件２）
対象グループの横サイズが一定範囲内（例えば１ｍ〜６ｍ以内でこれを画素サイズに換算）の場合。
条件３）
対象グループの縦サイズが一定範囲内（例えば０．５ｍ〜４ｍ以内でこれを画素サイズに換算）の場合。
条件４）
対象グループの縦横サイズ比が一定範囲内（例えば横が縦の０．５倍以上）の場合。

（先行車についての信頼度減算側処理）
先行車の信頼度減算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを減算する。
条件１）
対象グループの路面からの高さが一定範囲外（範囲は例えば０ｍ〜４ｍ）の場合。このとき、路面からの高さは車線モデル形成処理により算出される値を用いる。但し、車線モデル形成処理による路面からの高さの値の算出精度は遠距離側で悪化する（ステレオ法による測距では遠方の距離精度が悪化する傾向を持つことに起因）ので、上記の範囲は遠方で大きくなるように距離Ｑｚに応じて可変とする。
条件２）
対象グループの横方向における位置が、画像中心を基準とした一定範囲内（範囲は例えば−３０ｍ〜３０ｍ）でない場合。これは、主に遠方の街の明かりとの識別を意図している。
条件３）
自車両がハイビームを照射している状態において、対象グループの最大輝度値と最小輝度値の差が閾値Ｔｓ以上である場合。これは、自車両のライトによる赤色標識の反射と識別することを意図している。テールランプは自発光であるため光は拡散し、輝度分布が広くなる傾向があり、一方で標識の反射は輝度分布が狭くなる傾向になるという性質を利用したものである。当該条件３）を設けることで、テールランプ（先行車）と赤色標識などの赤色類似物体との識別の精度を向上できる。
ここで、閾値Ｔｓは最大輝度値により可変とし、例えば最大輝度値が２００以上では閾値Ｔｓ＝５０、２００未満では閾値Ｔｓ＝３０というように設定する。このように範囲を可変とするのは、輝度値の差は輝度値の影響を受けるためである（高輝度と低輝度では最大値と最小値との差が変わる）。
条件４）
対象グループの存在回数が設定値以下（例えば３）である場合。

（対向車についての信頼度加算側処理）
対向車の信頼度加算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを加算する。
条件１）
対象グループを構成する要素グループ数が閾値（例えば４）以下の場合。このとき、グループ数が２（ヘッドライトが２つ）の場合はより対向車である可能性が高いのでさらに信頼度αを加算する。
条件２）
対象グループの横サイズが一定範囲内（例えば１ｍ〜６ｍ以内でこれを画素サイズに換算）の場合。
条件３）
対象グループの縦サイズが一定範囲内（例えば０．５ｍ〜４ｍ以内でこれを画素サイズに換算）の場合。
条件４）
対象グループの縦横サイズ比が一定範囲内（例えば横が縦の０．５倍以上）の場合。

（対向車についての信頼度減算側処理）
対向車の信頼度減算側処理では、以下の条件を満たす場合にそれぞれ信頼度αを減算する。
条件１）
対象グループの路面からの高さが一定範囲外（範囲は例えば０ｍ〜４ｍ）の場合。このとき、先の先行車についての信頼度減算側処理の場合と同様に、路面からの高さの値は斜線モデル形成処理の結果を用い、上記の範囲は遠方で大きくなるように距離Ｑｚにより可変とする。
条件２）
対象グループの横方向における位置が、画像中心を基準とした一定範囲内（範囲は例えば−３０ｍ〜３０ｍ）でない場合（主に遠方の街の明かりとの識別を意図）。
条件３）
対象グループの最大輝度値が輝度閾値以下である場合。
このとき、遠方ほど対向車のヘッドライトを撮像した場合の輝度値が小さくなる点を考慮し、上記の輝度閾値は対象グループの距離Ｑｚに応じて可変とし、距離が遠くなるほど小さくなるようにする。また、輝度閾値は、カメラのシャッタースピード、ゲインなどの撮像条件に応じた補正を加える。例えば、シャッタースピードが長ければ輝度閾値を上げるといった補正を加える。
条件４）
対象グループの存在回数が設定値以下（例えば３）である場合。
条件５）
対象グループの存在回数が設定値以上（設定値は例えば２０秒をフレーム数に換算した値）である場合。先行車の場合とは異なり１台の対向車が過剰に長い時間にわたって自車両の前方に存在する可能性は非常に低い。従って、そのような場合に信頼度αを減算して対向車との識別結果が覆るように制御を行う。

［8-6．前回結果の受け継ぎ処理］
ステップＳ３０５の前回結果の受け継ぎ処理では、現フレームについて行われた要素グループの検出や対象グループの識別によって誤って未検出とされてしまった場合の対策として、前フレームでの結果の受け継ぎを行う。処理の手順は以下の通りである。
ｉ）ステップＳ３０３の対象グループトラッキング処理の結果から、前フレームでは存在したが現フレームでは存在しないとされた対象グループ（前フレームにおけるどの対象グループとも一致しないとされた対象グループ）を抽出する
ii）上記ｉ）で抽出された対象グループについて、前フレームまでの存在回数が一定値（例えば１０）以上の対象グループを抽出する
iii）上記ii）で抽出された対象グループを存在回数を減らして（例えば１／２倍）対象として存続させる。
このような受け継ぎ処理により、それまで対象として安定して存在していた対象グループは或る一定回数検出されなくても対象として存続されるようになる。すなわち、何らかの一時的な要因で対象が誤って未検出のままとされてしまうことを防止でき、この点で識別精度の向上が図られる。

＜９．シーン判定処理＞
シーン判定処理は、現在の走行シーンがそもそもハイビームが必要なシーンであるか否かを判定する処理である。本例では、ハイビームが不要なシーンとして、市街地（充分明るいため）、低速時（遠方までライトを照射する必要がないため）、右左折時（遠方までライトを照射する必要がないため）であるか否かをそれぞれ判別し、何れかが該当した場合はハイビーム不要シーンであるとの判定結果を得る。
ここで、市街地であるか否かの判別は、街灯の検出数等に基づき行う。例えば、街灯の検出数が所定の閾値以上であるか否かの判別結果に基づき行う。
また、低速時であるか否かの判別は、車速センサ１７Ａにより検出される車速が一定以下（例えば２０ｋｍ／ｈ）であるか否かを判別して行う。但し、ハンチングを防止するためヒステリシスを設ける。
右左折時であるか否かの判別は、ウィンカーが動作状態にあるか否かを判別することで行う。例えばウィンカースイッチ１７ＥがＯＮ状態であるか否かを判別する。

＜１０．制御情報算出処理＞
制御情報算出処理は、対象認識・識別処理による先行車・対向車の認識・識別結果とシーン判定処理の結果とに基づき、ＡＤＢの制御情報を算出する処理である。
具体的な処理内容を図１２のフローチャートを参照して説明する。
図１２において、画像処理部３は、ステップＳ７０１でハイビーム不要シーンか否かを上記のシーン判定処理の結果に基づき判別する。ハイビーム不要シーンであるとの肯定結果が得られた場合は、ステップＳ７０５でハイビームＯＦＦを表す制御情報を生成し、ステップＳ７０６で当該制御情報を運転支援制御部５（配光制御処理部５Ａ）に対して出力した後、処理を終了する。

一方、ハイビーム不要シーンではないとの否定結果が得られた場合は、ステップＳ７０２で先行車又は対向車が存在するか否かを判別する。すなわち、上記した対象認識・識別処理の結果に基づき、先行車又は対向車の何れかが存在するか否かを判別する。
先行車又は対向車が存在しないとの否定結果が得られた場合は、ステップＳ７０３で全面ハイビームＯＮを表す制御情報を生成し、ステップＳ７０６で当該制御情報を運転支援制御部５に出力した後、処理を終了する。

また、先行車又は対向車が存在するとの肯定結果が得られた場合は、ステップＳ７０４で対象以外ハイビームＯＮを表す制御情報を生成する。このとき、画像処理部３は、対象認識・識別処理の結果に基づき、ハイビームを照射可能な範囲を計算する（当該範囲の情報を以下「照射範囲情報」と表記する）。ハイビームの照射可能な範囲は、先行車、対向車の左右の座標情報を基準に算出する。
画像処理部３は、ステップＳ７０４で生成した制御情報（照射範囲情報を含む）をステップＳ７０６で運転支援制御部５に出力し、処理を終了する。

＜１１．制御情報に基づく配光制御＞
運転支援制御部５（配光制御処理部５Ａ）では、配光制御処理として、上記の制御情報に基づく配光制御を実行する。具体的に、配光制御処理では、ハイビームＯＦＦを表す制御情報に応じてはライト制御部１０に対しハイビームをＯＦＦとする指示を行う。また、全面ハイビームＯＮを表す制御情報に応じてはライト制御部１０に対しハイビームを全面ＯＮとする指示を行う。さらに、対象以外ハイビームＯＮを表す制御情報に応じては、当該制御情報に含まれる照射範囲情報に従った範囲のみハイビームが照射されるようにライト制御部１０に対する指示を行う。

図１３は、対象以外ハイビームＯＮを表す制御情報に応じて実現されるハイビームの照射態様についての説明図である。なお、図中では紙面上方向が自車両の前方方向を表す。
図１３Ａに示すように、この場合のハイビームの照射は、先行車、対向車が存在する範囲（図中斜線部）以外の範囲に対して行う。

なお、ＡＤＢとしては、ハイビームの遮光を１カ所しかできない仕様のものも考えられる。その場合において、図１３Ａと同様にハイビームを照射すべきでない対象が複数存在し且つそれらの間に対象が存在しない範囲が形成されているときは、図１３Ｂに示すように、ハイビームを照射すべきでない対象（先行車、対向車）の間の範囲もハイビームの非照射範囲とされるように配光制御を行う。このためには、例えば前述した制御情報算出処理において、ハイビームを照射すべきでない対象が複数存在する場合はそれらをグループ化し、当該グループの左右方向の最大座標を基準に照射範囲情報を計算すればよい。

ここで、ハイビームを照射すべきでない対象として、対向車は、自車に対して或る程度近接した際にはヘッドライト検出範囲Ａｔから外れる（図１４を参照）。そのため、対向車がある程度の距離まで近接（例えば５０ｍ：但しヘッドライト検出範囲Ａｔで検出できる距離内であることが条件）したことが確認された場合は、すれ違いが予想される方向へのハイビームの照射を一定期間（例えば１秒）ＯＦＦとする制御を行う。

＜１２．実施の形態のまとめ＞
以上のように本実施の形態では、自車両の前方を撮像した撮像画像を得る撮像部２と画像処理部３を有する画像処理装置を備えている。画像処理部３は撮像画像内で赤色領域（テールランプ検出範囲Ａｓにおける要素グループ）を検出する赤色領域検出処理をテールランプ検出処理部３Ｄで行う。また検出された赤色領域に含まれる複数の画素の輝度値のうちの高輝度代表値（最大輝度値）と低輝度代表値（最小輝度値）との乖離値を求め、乖離値（差分）と閾値Ｔｓとの大小関係を判定する判定処理を対象認識・識別処理部３Ｇで行い、さらに対象認識・識別処理部３Ｇがその判定処理の結果を、当該赤色領域が先行車両のテールランプ画像であるか否かの識別処理に用いている。
このように先行車のテールランプ検出では、まず撮像画像の赤色領域を抽出している。赤色領域を対象とすることで、赤色以外の発光体や反射体の影響を排除するとともに画像上での処理範囲や、赤色検出の範囲となる輝度範囲を限定する。
さらに、赤色の発光体と反射体の切り分けのため、高輝度代表値と低輝度代表値の乖離値（差分）と閾値Ｔｓとの大小関係を判定する判定処理を行う。発光体と反射体では、輝度分布に異なる特徴が現れるためである。即ち、車両のテールランプなどの自発光の光源では、光が拡散するため輝度分布が広くなる傾向があり、一方、自車両のヘッドライトなどが標識等に反射した光は、輝度分布が狭くなる傾向にある。このため赤色領域における高輝度代表値と低輝度代表値の乖離値はテールランプ光と反射光で異なり、乖離値を所定の閾値Ｔｓと比較すれば、発光体（テールランプ）と反射体を識別できる。
このように本実施の形態では、まず赤色領域のみを対象とすることで、テールランプ等の赤色以外の発光体や反射体の影響を排除するとともに画像上での処理範囲や、赤色検出の範囲となる輝度範囲を限定する。そしてこのために、頻度分布まで用いずに輝度最大値、輝度最小値などのみで判定できる。そのため、対象の画素数が少ない場合でも処理を行うことができる。また合わせて、頻度分布の処理は行う必要がないため、処理時間も短縮される。
また反射物としての赤色標識は、大きさや路面からの高さである程度判別可能ではあるが、対象の距離が充分遠い場合（例えば１００ｍ以上）など、距離精度が充分でない場合は、大きさでの比較は誤検出（もしくは誤検出を抑えようとしての未検出）が発生することも多い。路面に勾配があるなどにより遠方では路面位置が充分精度でない場合も同様である。本実施の形態によれば、このような大きさや高さによっては識別精度が不十分な場合にも対応して精度のよいテールランプ識別が可能となる。
以上により本実施の形態によれば、精度のよいテールランプ識別を少ない処理負担で実現できる。

なお、高輝度代表値と低輝度代表値として最大輝度値、最小輝度値を用いることで、各代表値を求める処理は容易となり処理負担を軽減できる。また高輝度代表値と低輝度代表値の乖離値として、差分値を用いることでも処理負担は軽減される。

また実施の形態では、画像処理部３は、高輝度代表値の値に応じて、乖離値である差分を比較する閾値Ｔｓを変更する。高輝度代表値（最大輝度値）と低輝度代表値（最小輝度値）の乖離値（差分）は、輝度値の影響を受けて増減する。これを考慮して、高輝度代表値の値に応じて、乖離値と比較する閾値Ｔｓを変更することで、テールランプとそれ以外の反射物の識別精度を向上させることができる。

また画像処理部３は、高輝度代表値と低輝度代表値の乖離値と閾値Ｔｓとの大小関係を判定する判定処理の結果を用いた識別処理を、自車両のヘッドライトがハイビーム状態である期間に実行する。標識等の反射光は、ハイビームの期間に主に画像上に現れるためである。ハイビームをオフにしているときには赤色反射物の撮像画像上への影響は殆どない。つまり検出される赤色領域としての要素グループ、対象グループは殆どテールランプであると考えることができる。
従って少なくともハイビーム期間に上記の識別処理を行うことが適切となる。

また画像処理部３は、撮像画像のフレーム内におけるテールランプ検出範囲Ａｓを設定し、テールランプ検出範囲Ａｓ内で赤色領域としての要素グループ、対象グループを検出している。つまりテールランプとして存在し得る検出範囲を限定して赤色領域検出を行う。これにより、周囲の赤色物体の影響を排除し、識別精度を向上させ、かつ画像上の一部の領域を対象とすることで処理負担軽減を実現している。

また画像処理部３は、識別処理において、赤色領域が先行車両のテールランプ画像であることの信頼度αを各種条件に応じて加減算し、信頼度αの値に応じて当該赤色領域としての対象グループが先行車両のテールランプ画像であるか否かを識別するようにしている。各種条件とは、上述のように要素グループ数、対象グループの横サイズ、縦サイズ、縦横サイズ比、路面からの高さ、横方向距離などである。そして高輝度代表値と低輝度代表値の乖離値と閾値Ｔｓとの大小関係を判定する判定処理の結果に応じて、信頼度αの値を減算又は加算する。このように乖離値による判定結果を含め、各種条件により信頼度αの値を加減して最終的な識別を行うことで、テールランプ識別の信頼性を高めることができる。
なお、先の説明では、高輝度代表値と低輝度代表値の乖離値が閾値Ｔｓ以上であるかを判定し、乖離値が閾値Ｔｓ以上である場合に信頼度αの値を減算する例を挙げたが、逆に、乖離値が閾値Ｔｓ以下であるか否かを判定し、乖離値が閾値Ｔｓ以下である場合に信頼度αの値を加算することもできる。

＜１３．変形例＞
以上、本発明に係る実施の形態について説明したが、本発明は上記で例示した具体例に限定されるべきものではなく、多様な変形例が考えられる。
例えば、これまでの説明では、高輝度代表値、低輝度代表値は赤色領域における最大輝度値、最小輝度値とする例を述べたが、これに限らない。例えば赤色領域の全画素において輝度値が上位１０％の高輝度画素の平均値を高輝度代表値、下位１０％の低輝度画素の平均値を低輝度代表値などとしてもよい。
乖離値とは、高輝度代表値と低輝度代表値の差分値としたが、比の値でもよい。その場合、閾値Ｔｓも比の値で分布幅を判定する場合に応じた値とする。

また、運転支援制御としてプリクラッシュ（ＰＣＳ）やアダプティブクルーズコントロール（ＡＣＣ）の制御を行う場合には、これらＰＣＳやＡＣＣ用の先行車認識・識別処理（配光制御用の認識・識別処理より高精度で行われる）を実行する場合もある。そのような場合には、先に説明した配光制御用の先行車の認識・識別処理においては所定距離以上の遠方領域（例えば２００ｍ以上）に存在する物体についてのみ識別結果が得られるようにし、所定距離未満の領域についてはＰＣＳやＡＣＣでの高精度な先行車認識・識別結果を流用（統合）することもできる。
なお、上記のように遠方領域に存在する物体のみの識別結果が得られるようにするためには、「認識」された対象グループについての信頼度αの減算条件として、「距離Ｑｚが所定値未満である」という条件を追加すればよい。

また、これまでの説明では、街灯については対象識別処理を実行しない例を挙げたが、制御仕様によっては街灯とそれ以外の物体との識別を要する場合がある。例えば、街灯検出範囲Ａｇ内で検出される街灯以外の発光体としては信号機などがあり、その切り分けが必要とされる場合には街灯／信号機の識別処理を行う。その場合には、対象グループに色情報を持たせ、色が赤、青、緑の何れかである場合は信号機、それ以外の色の場合は街灯と識別すればよい。

また、これまでの説明では、対象識別処理においてステレオ法による測距で得た距離の情報を用いる例を挙げたが、距離の情報については他の手法で測定することもできる。例えば、ミリ波レーダーを用いた手法などを採用することができる。

また、これまでの説明では、対象認識・識別処理の結果に基づきＡＤＢとしての配光制御を行う場合を例示したが、これに代えてＡＨＢ（Auto High Beam）としての配光制御を行うこともできる。その場合は、先行車又は対向車が１つでも存在する場合にはハイビームをＯＦＦとし、先行車及び対向車が存在しない場合に全面ハイビームＯＮとする制御を行えばよい。

また、これまでの説明では、カラー画像の形式としてＲＧＢ形式を例示したが、例えばＹＵＶ等別の表現形式を用いることも勿論可能である。

１…車両制御システム、２…撮像部、３…画像処理部、３Ｄ…テールランプ検出処理部、３Ｇ…対象認識・識別処理部、Ａｓ…テールランプ検出範囲

Claims (5)

1. 自車両の前方を撮像した撮像画像を得る撮像部と、
   前記撮像画像内で赤色領域を検出する赤色領域検出処理と、前記赤色領域検出処理で検出された赤色領域に含まれる複数の画素の輝度値のうちの高輝度代表値と低輝度代表値との乖離値を求め、前記乖離値と閾値との大小関係を判定する判定処理とを行い、前記判定処理の結果を、当該赤色領域が先行車両のテールランプ画像であるか否かの識別処理に用いる画像処理部と、を備える
   画像処理装置。
2. 前記画像処理部は、
   前記高輝度代表値の値に応じて、前記閾値を変更する
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記識別処理を、自車両のヘッドライトがハイビーム状態である期間に実行する
   請求項１又は請求項２に記載の画像処理装置。
4. 前記画像処理部は、前記撮像画像内でテールランプ検出範囲を設定し、該テールランプ検出範囲内で赤色領域を検出する
   請求項１乃至請求項３の何れかに記載の画像処理装置。
5. 前記画像処理部は、前記識別処理において、赤色領域が先行車両のテールランプ画像であることの信頼度を各種条件に応じて加減算し、前記信頼度の値に応じて当該赤色領域が先行車両のテールランプ画像であるか否かを識別するとともに、
   前記判定処理の結果に応じて前記信頼度の値を減算又は加算する
   請求項１乃至請求項４の何れかに記載の画像処理装置。

Images