JP2012252501A - 走行路認識装置及び走行路認識用プログラム - Google Patents

Abstract

【課題】高度な計算処理能力を有しない低廉な装置であっても走行車線上の標示線を遠方まで高精度で検出する。
【解決手段】領域解像度設定部１６が、外界撮像部１１が撮像した画像に対して、移動体の前方かつ近傍に第１画像処理領域を設定すると共に、移動体運動情報取得部１４が取得した移動体の速度情報が示す移動体の速度が所定値以上の場合に、移動体の速度が速くなるに従って位置が第１画像処理領域より徐々に遠方となり、かつ移動体の速度が速くなるに従って大きさが第１画像処理領域より徐々に小さくなる第２画像処理領域を少なくとも１つ設定し、領域解像度設定部１６で設定された画像処理領域から標示線を検出する。
【選択図】図１

Description

本発明は、走行路認識装置及び走行路認識用プログラムに関する。

走行車線上を車両又はロボット等の移動体が走行している場合に、移動体の走行方向前方を移動体側から撮像した画像から走行車線の通行区分を標示する標示線を検出することにより、移動体が現在位置より走行する走行車線を認識する装置及びプログラムが知られている。この装置が認識した走行車線に関する情報は、移動体の走行車線維持動作を実現する運転支援システムに用いられる他、走行車線の情報に基づいて移動体の横変位を検出し、検出された横変位に基づいて移動体が走行車線を逸脱する傾向にあるか否かを判定する場合等に用いられる。

上記の走行車線を認識するには、移動体の近傍から遠方まで出来るだけ高解像度の画像を使用して前述の標示線を検出することが望ましい。しかしながら、高解像度の画像を処理するには高度な計算処理能力を有する画像処理装置が必要であり、かかる高度な計算処理能力を有する画像処理装置はコストが高く、かつ信頼性にも不安がある。そのため、高度な画像処理能力を有する画像処理装置を量産車に車載することは困難である、という問題があった。

特許文献１には、移動体前方近傍だけでなく、遠方を高精細に撮影すべく、移動体近傍を撮像する低倍率の光学系と遠方を撮像する高倍率の光学系の２系統の撮像素子を備え、各々の光学系で得られた画像から走行車線を認識する走行路認識装置が開示されている。

また、特許文献２には、広い視野を確保した１系統の光学系において、画像拡大処理手段により遠方の車線を含む画像を拡大した上で計算処理を行い、移動体近傍のみならず遠方も含む走行車線を推定する走行車線認識装置が開示されている。

特開平６−２２９７６０号公報 特開平９−２３１３７９号公報

しかしながら、特許文献１に開示されている走行路認識装置は、低倍率の光学系と高倍率の光学系との２系統の撮像素子を要するために、装置自体が大きくなり車載が困難であることと、装置のコストが高いという問題があった。

また、特許文献２に開示されている走行車線認識装置は、撮像した画像の遠方部分を拡大し、拡大した遠方部分に係る画像に基づいて走行車線を推定しているが、画像の一部分を拡大しても、画像の解像度自体は向上しないので、結局は走行車線の精密な推定は困難であるという問題があった。

さらには、特許文献２には、撮像した画像と、当該画像の遠方部分を拡大した画像とを各々どのような場合に使い分けるのかが明確に記載されておらず、特許文献２に記載のままでは、２種類の画像を常時計算処理の対象とすることとなり、無駄な計算処理が実行されてしまうというおそれもあった。

本発明は上記に鑑みてなされてもので、高度な計算処理能力を有しない低廉な装置であっても走行車線上の標示線を遠方まで高精度で検出できる走行路認識装置及び走行路認識用プログラムを提供することを目的とする。

上記目的を達成するために、本発明の走行路認識装置は、移動体が走行する走行路を含む移動体の前方の領域を撮像する撮像手段と、前記移動体の速度を示す速度情報を取得する速度情報取得手段と、前記撮像手段が撮像した画像に対して、移動体の前方かつ近傍に第１画像処理領域を設定すると共に、前記速度情報で示される前記移動体の速度が所定値以上の場合に、前記速度が速くなるに従って位置が前記第１画像処理領域より徐々に遠方となり、かつ前記速度が速くなるに従って大きさが前記第１画像処理領域より徐々に小さくなる第２画像処理領域を少なくとも１つ設定する領域設定手段と、前記領域設定手段で設定された画像処理領域から前記標示線を検出する標示線検出手段と、含んで構成されている。

本発明の走行路認識装置によれば、移動体に搭載された撮像手段が移動体の走行する走行路を含む移動体の前方の領域を撮像し、速度情報取得手段が移動体の速度を示す速度情報を取得する。そして、領域設定手段が、撮像手段が撮像した画像に対して、移動体の前方かつ近傍に第１画像処理領域を設定すると共に、速度情報で示される移動体の速度が所定値以上の場合に、速度が速くなるに従って位置が第１画像処理領域より徐々に遠方となり、かつ速度が速くなるに従って大きさが第１画像処理領域より徐々に小さくなる第２画像処理領域を少なくとも１つ設定する。さらに、標示線検出手段が領域設定手段で設定された画像処理領域から標示線を検出する。

このように、移動体の速度が大きくなるにつれて、標示線を検出するための画像処理領域を、移動体近傍から遠方に向かって設定し、かつ遠方の画像処理領域ほど領域を小さく設定することにより、高度な計算処理能力を有しない低廉な装置であっても走行車線上の標示線を遠方まで高精度で検出することができる。

また、本発明の走行路認識装置は、移動体に近い画像処理領域ほど解像度を低下させることができる。

このように、移動体に近い画像処理領域ほど解像度を低下させることにより、高度な計算処理能力を有しない低廉な装置であっても走行車線上の標示線を検出することができる。

また、本発明の走行路認識装置は、前記領域設定手段は、前記第１画像処理領域から検出された標示線に基づいて前記走行路及び前記走行路を定める標示線が収束する消失点の座標を算出し、該消失点の座標と前記第１画像処理領域の位置とに基づいて前記第２画像処理領域の位置を決定し、前記第２画像処理領域を設定することができる。

このように、第１画像処理領域から検出された標示線に基づいて走行路及び走行路を定める標示線が収束する消失点の座標を算出し、当該消失点を移動体の速度に応じて第２画像処理領域の位置を設定する際に用いることができる。

また、本発明の走行路認識プログラムは、コンピュータを、移動体が走行する走行路を含む移動体の前方の領域を撮像した画像に対して、移動体の前方かつ近傍に第１画像処理領域を設定すると共に、前記移動体の速度が所定値以上の場合に、前記速度が速くなるに従って位置が前記第１画像処理領域より徐々に遠方となり、かつ前記速度が速くなるに従って大きさが前記第１画像処理領域より徐々に小さくなる第２画像処理領域を少なくとも１つ設定する領域設定手段、及び前記領域設定手段で設定された画像処理領域から前記標示線を検出する標示線検出手段として機能させるためのプログラムである。

以上説明したように、本発明の走行路認識装置及び走行路認識用プログラムによれば、高度な計算処理能力を有しない低廉な装置であっても走行車線上の標示線を遠方まで高精度で検出できるという効果が得られる。

本発明の第１の実施の形態に係る走行路認識装置の要部構成を示すブロック図である。 本発明の第１の実施の形態における外界撮像部が取得した画像の一例を示す図である。 本発明の第１の実施の形態に係る走行路認識装置におけるプログラムの処理のフローチャートである。 本発明の第１の実施の形態に係る走行路認識装置による画像処理領域の設定の一例を示す図である。 推定する走行車線パラメータを模式的に示した図である。 本発明の第２の実施の形態に係る走行路認識装置の要部構成を示すブロック図である。 本発明の第２の実施の形態における外界撮像部が取得した画像の一例を示す図である。 本発明の第２の実施の形態に係る走行路認識装置におけるプログラムの処理のフローチャートである。 本発明の第２の実施の形態に係る走行路認識装置による画像処理領域の設定の一例を示す図である。 本発明の第３の実施の形態に係る走行路認識装置におけるプログラムの処理のフローチャートである。

［第１の実施の形態］
以下、図面を参照して本発明の第１の実施の形態を詳細に説明する。図１は、本発明の第１の実施の形態に係る走行路認識装置の要部構成を示すブロック図である。

図１に示すように、本実施の形態の走行路認識装置１は、移動体が走行していく方向、すなわち前方を、当該移動体側から連続的に撮像する外界撮像部１１を備えている。外界撮像部１１は、外界撮像部１１が撮像して得た画像信号をデジタル信号であるデジタル画像に変換する画像入力部１２に接続されている。

画像入力部１２は、デジタル画像の解像度を所定の解像度まで低解像度化し、当該低解像度化されたデジタル画像の画像データを用いて、移動体の前方かつ近傍に係る領域における標示線を検出する基準標示線検出部１３に接続されている。

また、本実施の形態に係る走行路認識装置は、移動体の図示していない制御装置（ＥＣＵ）等に接続され、当該移動体の速度を示す速度情報を取得する移動体運動情報取得部１４を備えている。

移動体運動情報取得部１４から速度情報を取得し、移動体の速度が所定の閾値を超えた場合に、当該閾値に応じてデジタル画像の解像度を変更し、解像度を変更したデジタル画像上に移動体の前方かつ近傍に係る領域よりも遠方に係る領域を設定する領域解像度選択部１６が、画面入力部１２、基準標示線検出部１３及び移動体運動情報取得部１４に接続されている。

さらには、領域解像度選択部１６に接続され、領域解像度選択部１６が設定した領域において標示線を検出し、当該検出した標示線と基準標示線検出部１３が検出した標示線とに基づいて走行車線の幅である車線幅、移動体の姿勢角、走行車線の曲率である横断曲率及び走行車線における移動体の左右方向の位置を示す横変位等の走行車線パラメータを推定する走行車線パラメータ検出部１７を有している。

図２は、外界撮像部１１が取得した画像の一例を示す図である。図２には、左走行車線２１の左端部を区切る左標示線２３、右走行車線２２の右端部を区切る右標示線２４及び左走行車線２１と右走行車線２２とを区切る破線状の中央標示線２５が示されており、図２において最も遠方を示す領域は、左走行車線２１、左標示線２３、中央標示線２５、右走行車線２２及び右標示線２４が一点に収束する消失点２６となっている。

図２は、走行車線が直線状を呈する場合を示しており、外界撮像部１１を搭載した移動体は右走行車線２２上を消失点２６に向かって走行している状態での画像を示している。

図２のような画像を取得するために、本実施の形態に係る外界撮像部１１は、移動体の前方を広範囲に撮像できる装置であることが望ましく、例えば、ＣＣＤカメラ又はＣＭＯＳカメラ等が特に好ましい。

画像入力部１２は、外界撮像部１１が撮像によって生成したアナログ信号である画像信号をデジタル信号に変換し、このデジタル信号に対しガンマ補正、画像濃度の調整及びノイズ除去等の所定の画像処理を施してデジタル画像である原画像を生成する。

原画像の解像度は、外界撮像部１１の光学系の性能及び撮像素子の画素数等によって左右されるが、本実施の形態では遠方の標示線まで高精細に記録することが必要であることから、できるだけ高解像度であることが好ましい。

本実施の形態では、一例として、原画像の解像度を横１２８０画素及び縦１０２４画素としたが、かかる解像度に限定されるわけではなく、原画像の解像度をより高解像度に設定してもよいし、横１２８０画素未満又は縦１０２４画素未満の解像度であってもよい。

なお、本実施の形態では、画像入力部１２、基準標示線検出部１３、領域解像度選択部１６及び走行車線パラメータ検出部１７を、外界撮像部１１から取得した画像信号と移動体運動情報取得部１４から取得した移動体の速度情報とから、走行車線パラメータを推定するコンピュータとしてもよい。

当該コンピュータは、本実施の形態に係る走行路認識装置全体の制御を司るＣＰＵ、走行車線パラメータを推定するプログラム等を記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

次に図３を用いて本実施の形態におけるプログラムに基づいてＣＰＵによって行われる一連の処理を説明する。図３は、本実施の形態に係る走行路認識装置におけるプログラムの処理のフローチャートである。

まずステップ３００１において、画像入力部１２が、外界撮像部１１が撮像した画像信号を、外界撮像部１１から取得する。

上述のように、取得した画像信号はアナログ信号であるので、画像入力部１２は、ステップ３００２において、当該画像信号をデジタル信号に変換し、さらに当該デジタル信号に対しガンマ補正、画像濃度の調整及びノイズ除去等の所定の画像処理を施して原画像を生成する。

ステップ３００３では、基準標示線検出部１３が画像入力部１２から原画像を取得し、当該取得した原画像の画素を間引いて、原画像を所定の解像度まで低解像度化する。原画像を低解像度化するのは画像処理を簡易迅速に行うためである。前述のようにコスト及び信頼性の面から無制限に高性能な画像処理装置を車載することはできないため、画像処理の能力がそれほど高度ではない装置であっても迅速に処理できるように原画像の解像度を低下させる。

原画像を低解像度化すると、原画像の情報量も低下する。しかしながら、後述するように基準標示線検出部１３では、移動体の前方かつ近傍に係る領域、すなわち外界撮像部１１に最も近い領域を第１の画像処理領域とし、この第１の画像処理領域から標示線を検出する。外界撮像部１１に最も近い領域には走行車線の状態が大きく明りょうに写っているので、画像の解像度が多少低下していても、標示線を検出することは可能であり、低解像度化によって画素が間引かれているので、画像処理を簡易迅速に行うことが可能となる。

このステップ３００３において、本実施の形態では、例えば、並列した４本の画素のラインから３本のラインを間引き、さらに間引かれなかった画素のラインにおいて、連続している４つの画素から３つの画素を間引く処理によって、原画像の画素数を縦横各々で１／４に減らし、原画像に対して総画素数が１／１６となるように画像を低解像度化している。

本実施の形態のように縦横の画素数を原画像に対して各々１／４とする以外にも１／２、１／３又は１／８等、標示線を検出可能な程度に原画像の解像度を変更してもよい。

続くステップ３００４では、ステップ３００３で低解像度化した画像において、標示線を検出する第１の画像処理領域を設定する。第１の画像処理領域の設定は、具体的には図４に示したように行う。図４は、本発明の第１の実施の形態に係る走行路認識装置による画像処理領域の設定の一例を示す図である。

本実施の形態では、ステップ３００３において原画像は縦横の画素数が原画像に対して各々１／４となるように低解像度化されている。しかしながら、後述する第２の画像処理領域４３及び第３の画像処理領域４４との関係を把握しやすいように、図４では低解像度化しない原画像上で、第１の画像処理領域４２の設定について説明する。

図４は、原画像の解像度が横１２８０画素及び縦１０２４画素である場合に、原画像の左上を原点として横方向にｘ軸、縦方向にｙ軸を設定し、原画像の各画素の位置をｘ座標は０〜１２７９、ｙ座標は０〜１０２３の範囲で表したものである。なお、図４の下部を占める黒い領域は、外界撮像部１１を搭載した移動体４１が撮影された部分である。

ステップ３００４において設定される第１の画像処理領域４２は、図４では、左上の座標値を（１０、５１２）、右下の座標値を（１２６９、７６８）とした矩形の領域としている。これら左上の座標値（１０、５１２）及び右下の座標値（１２６９、７６８）は任意の値である。標示線が検出できるように、走行路の左の標示線及び前記走行路の右の標示線が含まれる移動体の前方かつ近傍に係る領域であれば、左上の座標値及び右下の座標値は適宜変更してよい。

なお、前述のように、第１の画像処理領域４２における左上の座標値（１０、５１２）及び右下の座標値（１２６９、７６８）は、解像度を低下させていない原画像における座標値である。本実施の形態では、ステップ３００３において、原画像の解像度を縦横の画素数が原画像に対して各々１／４となるように低下させているので、当該解像度を低下させた画像では、実際には各画素の位置がｘ座標は０〜３１９、ｙ座標は０〜２５５の範囲で表わされ、第１の画像処理領域４２における左上の座標値は（２、１２８）及び右下の座標値は（３１７、１９７）となる。

ステップ３００５では、第１の画像処理領域４２から走行車線の標示線を検出する。本実施の形態では、第１の画像処理領域４２の特徴量を抽出することによって、走行車線の標示線を検出している。本実施の形態での特徴量とは標示線の輪郭（エッジ）を示す輪郭情報等であり、当該輪郭情報は、例えば第１の画像処理領域４２を構成する画素の輝度値が急激に変化している位置を検出することによって抽出できる。

第１の画像処理領域４２において、標示線の部分を構成する画素は白色に近い色を呈するので輝度値が高いが、走行車線の部分を構成する画素は灰色を呈し、標示線の部分を構成する画素に比して輝度値が低い。そのため、標示線の輪郭を示す部分では、画素の輝度値が大きく変化している。

この輪郭情報を抽出するには、上記のように画素の輝度値が大きく変化している位置を検出するエッジフィルタの１つであるSobelフィルタを用いればよい。又は、輪郭情報を抽出するその他の公知の画像処理手法を用いてもよい。

なお、ステップ３００５では、図２のように左走行車線２１の左端部を区切る左標示線２３、右走行車線２２の右端部を区切る右標示線２４及び左走行車線２１と右走行車線２２とを区切る破線状の中央標示線２５が存在する場合、左標示線２３、右標示線２４又は中央標示線２５に相当する複数の標示線が検出される。また、走行車線が１つのみの場合であっても、左標示線と右標示線とを有している場合が多く、これら複数の標示線が検出される。

ステップ３００６では、ステップ３００５において第１の画像処理領域４２で検出した複数の標示線を原画像上の対応する座標にプロットし、さらに各々の標示線を遠方の領域に向けて延長し、一点に収束する消失点ｐ０の座標値（ｘｖ、ｙｖ）を算出する。

前述のように第１の画像処理領域４２は、ステップ３００３において縦横の画素数が原画像に対して各々１／４となるように解像度を低下させた画像で設定されているので、以下の式（１）及び（２）を用いて当該解像度を低下させた画像上での座標値を原画像上での座標値に補正できる。
（ステップ３００３で解像度を低下させた画像上でのｘ座標値）＊４
＝（原画像上でのｘ座標値）・・・（１）
（ステップ３００３で解像度を低下させた画像上でのｙ座標値）＊４
＝（原画像上でのｙ座標値）・・・（２）

ステップ３００７では、領域解像度選択部１６が、移動体運動情報取得部１４から移動体の現在の速度を示す速度情報を取得し、当該速度が予め定められた第１の速度閾値ｖ１以上か否かを判断する。この第１の速度閾値ｖ１は、例えば、３０〜４０ｋｍ／ｈ程度の、一般道を走行する場合を想定した速度域としてよい。

移動体の現在の速度が第１の速度閾値ｖ１以上の場合は、ステップ３００８において、領域解像度選択部１６が、原画像の低解像度化を行う。ただし、後述するステップ３０１０では、ステップ３００５の場合よりも遠方に係る領域で標示線を検出する必要があるため、解像度は原画像よりも低下させるが、ステップ３００３の場合よりも高解像度であるようにする。

本実施の形態では、ステップ３００８において、原画像の画素の縦横各々のラインにおいて、画素を１画素間隔で間引く処理により、原画像の画素数を縦横各々で１／２に減らし、原画像に対して総画素数が１／４となるように画像を低解像度化している。

本実施の形態のように縦横各々１／２以外にも１／３又は１／４等、標示線を検出可能な程度に原画像の解像度を変更してもよい。

続くステップ３００９では、ステップ３００８で低解像度化した画像において、標示線を検出する第２の画像処理領域４３を設定する。画像処理領域の設定は、具体的には図４に示したように行う。

図４では、第１の画像処理領域４２に近接した矩形状の第２の画像処理領域４３が設定されている。この第２の画像処理領域４３は、左上の頂点であるｐ２と右下の頂点であるｑ２とで定義される。

第２の画像処理領域４３を定義するｐ２及びｑ２を決定する方法は種々考えられるが、本実施の形態では、ステップ３００６で算出した消失点ｐ０の座標値ｘｖ及びｙｖと、以下の式（３）及び（４）を用いて決定する。
ｐ２＝（ｘｖ−１２８０／４、ｙｖ＋（５１２−ｙｖ）／５） ・・・（３）
ｑ２＝（ｘｖ＋１２８０／４、５１２） ・・・（４）

ｐ２のｘ座標値を示す「ｘｖ−１２８０／４」は、消失点ｐ０のｘ座標値であるｘｖから原画像のｘ軸（左右）方向の画素数である１２８０の１／４に相当する画素の分だけｘ座標値を左方向にシフトさせることを意味する。

その反対に、ｑ２のｘ座標値を示す「ｘｖ＋１２８０／４」は、消失点ｐ０のｘ座標値であるｘｖから原画像のｘ軸方向の画素数である１２８０の１／４に相当する画素の分だけｘ座標値を右方向にシフトさせることを意味する。

すなわち、上記の式（３）及び（４）では、第２の画像処理領域４３の横幅は、第２の画像処理領域４３の各画素を原画像の各画素に対応させた場合、原画像の横幅の１／２になるように、第２の画像処理領域４３の左上の頂点であるｐ２のｘ座標値と右下の頂点であるｑ２のｘ座標値とを定義している。

また、ｑ２のｙ座標値を示す「５１２」は、第１の画像処理領域４２の上部の辺のｙ座標値と同一である。第２の画像処理領域４３は第１の画像処理領域４２と近接していることが好ましいので、本実施の形態では、第２の画像処理領域４３の右下の頂点であるｑ２のｙ座標値は、第１の画像処理領域４２の上部の辺のｙ座標値に一致させている。

ｐ２のｙ座標値を示す「ｙｖ＋（５１２−ｙｖ）／５」は、消失点ｐ０から第１の画像処理領域４２の上部の辺までの距離の１／５に相当する距離で、消失点ｐ０のｙ座標値を下方向にシフトさせることを意味する。

以上、第２の画像処理領域４３の左上の頂点であるｐ２と右下の頂点であるｑ２とを定義する式（３）及び（４）について述べたが、上記の式（３）及び（４）のように、第２の画像処理領域４３の原画像における横幅を原画像の横幅の１／２とすること、及びｐ２のｙ座標値を、消失点ｐ０から第１の画像処理領域４２の上部の辺までの距離の１／５に相当する距離で、消失点ｐ０のｙ座標値を下方向にシフトさせて定義することは一例であり、外界撮像部のレンズの画角、外界撮像部を移動体に設置したときのピッチ角等の外界撮像部の設置角度に係るパラメータ、外界撮像部の解像度等の性能又は原画像のアスペクト比によって適宜変更し得るものである。

標示線が検出できるように、走行路の左の標示線及び前記走行路の右の標示線が含まれる領域であって、かつ第１の画像処理領域４２よりも遠方の領域になれば、上記の式（３）及び（４）を用いる方法以外によって第２の画像処理領域４３を決定してもよい。

なお、上記の式（３）及び（４）で算出される座標値は原画像上のものである。従って、原画像の画素数を縦横各々で１／２に減らした画像では、上記の式（３）及び（４）で算出された座標値の１／２の値が、当該画像での画素の位置に対応した座標値となる。

ステップ３０１０では、第２の画像処理領域４３から走行車線の標示線を検出する。ステップ３０１０では、ステップ３００５と同様に、第２の画像処理領域４３を構成する画素の輝度値が急激に変化している位置を検出するエッジフィルタの１つであるSobelフィルタ、又は、輪郭情報を抽出するその他の公知の画像処理手法を用いることによって、標示線を検出する。

ステップ３０１１では、領域解像度選択部１６が、移動体運動情報取得部１４から移動体の現在の速度を示す速度情報を取得し、当該速度が予め定められた第２の速度閾値ｖ２以上か否かを判断する。この第２の速度閾値ｖ２は、第１の速度閾値ｖ１より大きな値であり（ｖ２＞ｖ１）、例えば、６０〜１００ｋｍ／ｈ程度の、自動車専用道を走行する場合を想定した速度域としてよい。

移動体の現在の速度が第２の速度閾値ｖ２以上の場合は、ステップ３０１２において、標示線を検出する第３の画像処理領域４４を設定する。この第３の画像処理領域４４は、走行車線の最も遠方に係る領域であるため、前述の第１の画像処理領域４２及び第２の画像処理領域４３のように、原画像の解像度を低下させず、解像度を変更しない原画像において画像処理の対象となる領域を設定する。

ステップ３０１２における画像処理領域の設定は、具体的には図４に示したように行う。図４では、第２の画像処理領域４３に近接した矩形状の第３の画像処理領域４４が設定されている。この第３の画像処理領域４４は、左上の頂点であるｐ３と右下の頂点であるｑ３とで定義される。

第３の画像処理領域４４を定義するｐ３及びｑ３を決定する方法は種々考えられるが、本実施の形態では、ステップ３００６で算出した消失点ｐ０の座標値ｘｖ及びｙｖと、以下の式（５）及び（６）を用いて決定する。
ｐ３＝（ｘｖ−６４０／４、ｙｖ−（５１２−ｙｖ）／５） ・・・（５）
ｑ３＝（ｘｖ＋６４０／４、ｙｖ＋（５１２−ｙｖ）／５） ・・・（６）

ｐ３のｘ座標値を示す「ｘｖ−６４０／４」は、消失点ｐ０のｘ座標値であるｘｖから原画像のｘ軸（左右）方向の画素数である１２８０の１／８に相当する画素の分だけｘ座標値を左方向にシフトさせることを意味する。

その反対に、ｑ３のｘ座標値を示す「ｘｖ＋６４０／４」は、消失点ｐ０のｘ座標値であるｘｖから原画像のｘ軸方向の画素数である１２８０の１／８に相当する画素の分だけｘ座標値を右方向にシフトさせることを意味する。

すなわち、上記の式（５）及び（６）では、第３の画像処理領域４４の横幅は、原画像の横幅の１／４になるように、第３の画像処理領域４４の左上の頂点であるｐ３のｘ座標値と右下の頂点であるｑ３のｘ座標値とを定義している。

また、ｑ３のｙ座標値を示す「ｙｖ＋（５１２−ｙｖ）／５」は、第２の画像処理領域４３の上部の辺のｙ座標値と同一である。第３の画像処理領域４４は、第２の画像処理領域４３に近接していることが好ましいので、本実施の形態では、第３の画像処理領域４４の右下の頂点であるｑ３のｙ座標値は、第２の画像処理領域４３の上部の辺のｙ座標値に一致させている。

ｐ３のｙ座標値を示す「ｙｖ−（５１２−ｙｖ）／５」は、消失点ｐ０から第１の画像処理領域４２の上部の辺までの距離の１／５に相当する距離で、消失点ｐ０のｙ座標値を上方向にシフトさせることを意味する。

以上、第３の画像処理領域４４の左上の頂点であるｐ３と右下の頂点であるｑ３とを定義する式（５）及び（６）について述べたが、上記の式（５）及び（６）のように、第３の画像処理領域４４の横幅を原画像の横幅の１／４とすること、及びｐ３のｙ座標値を、消失点ｐ０から第１の画像処理領域４２の上部の辺までの距離の１／５に相当する距離で、消失点ｐ０のｙ座標値を上方向にシフトさせて定義することは一例であり、外界撮像部のレンズの画角、外界撮像部を移動体に設置したときのピッチ角等の外界撮像部の設置角度に係るパラメータ、外界撮像部の解像度等の性能又は原画像のアスペクト比によって適宜変更し得るものである。

標示線が検出できるように、走行路の左の標示線及び前記走行路の右の標示線が含まれる領域であって、かつ第２の画像処理領域４３よりも遠方の領域になれば、上記の式（５）及び（６）を用いる方法以外によって第３の画像処理領域４４を決定してもよい。

ステップ３０１３では、第３の画像処理領域４４から走行車線の標示線を検出する。ステップ３０１３では、ステップ３００５と同様に、第３の画像処理領域４４を構成する画素の輝度値が急激に変化している位置を検出するエッジフィルタの１つであるSobelフィルタ、又は、輪郭情報を抽出するその他の公知の画像処理手法を用いることによって、標示線を検出する。

ステップ３０１４では、ステップ３００５、ステップ３０１０及びステップ３０１３で検出した標示線に基づいて走行車線パラメータを推定する。本実施の形態で推定する走行車線パラメータは、図５に示すように、走行車線の幅である車線幅、移動体の姿勢角、走行車線の曲率である横断曲率及び走行車線における移動体の左右方向の位置を示す横変位等である。

また、ステップ３００７において移動体の現在の速度が第１の速度閾値ｖ１未満の場合は、ステップ３００５で検出した標示線に基づいて、ステップ３０１１において移動体の現在の速度が第２の速度閾値ｖ２未満の場合は、ステップ３００５及びステップ３０１０で検出した標示線に基づいて、ステップ３０１４において各々の走行車線パラメータを推定する。

前述のように、ステップ３００５で検出した標示線は、原画像の縦横の画素数を１／４に低下させた画像における第１の画像処理領域４２において検出したものであり、ステップ３０１０で検出した標示線は、原画像の縦横の画素数を１／２に低下させた画像における第２の画像処理領域４３において検出したものである。

従って、ステップ３００５、ステップ３０１０及びステップ３０１３で検出した標示線に基づいて走行車線パラメータを推定する場合は、以下の式（７）〜（１０）を用いてステップ３００５で検出した標示線の座標値と、ステップ３０１０で検出した標示線の座標値とを補正をした上で、ステップ３０１３で検出した標示線と共に走行車線パラメータの推定に用いる。
（ステップ３００５で検出した標示線のｘ座標値）＊４
＝（原画像上でのｘ座標値）・・・（７）
（ステップ３００５で検出した標示線のｙ座標値）＊４
＝（原画像上でのｙ座標値）・・・（８）
（ステップ３０１０で検出した標示線のｘ座標値）＊２
＝（原画像上でのｘ座標値）・・・（９）
（ステップ３０１０で検出した標示線のｙ座標値）＊２
＝（原画像上でのｙ座標値）・・・（10）

ステップ３０１４における走行車線パラメータの推定に係る処理については種々の方法が考えられるが、本実施の形態では、特許第４２６３６６０号公報に開示されている技術によるものとし、その説明を省略する。

本実施の形態では、移動体の現在の速度に応じて第１の画像処理領域４２、第２の画像処理領域４３及び第３の画像処理領域４４というように、３段階で標示線を検出する画像処理領域を設定したが、原画像の解像度、移動体の速度又は走行車線の制限速度等に応じて、標示線を検出する画像処理領域を２段階で設定してもよいし、４段階以上で標示線を検出する画像処理領域を設定してもよい。

本実施の形態では、ステップ３００３及びステップ３００４、並びにステップ３００８及びステップ３００９において、原画像の解像度を低下させてから第１の画像処理領域４２及び第２の画像処理領域４３を設定したが、原画像上において第１の画像処理領域４２及び第２の画像処理領域４３を設定し、設定した各々の領域において解像度を低下させてもよい。

なお、本実施の形態では、第１の画像処理領域４２、第２の画像処理領域４３及び第３の画像処理領域４４を矩形領域として設定したが、上底に比して下底が長い台形上の領域として設定してもよい。

以上説明したように、本実施の形態によれば、移動体の現在の速度が第１の速度閾値ｖ１未満となる低速の場合は、解像度を低下させた画像上に移動体近傍の領域を設定し、当該領域おいて標示線を検出することから、画像処理能力が限られている車載の装置でも標示線を簡易迅速に検出でき、当該移動体の現在の速度が増大した場合は、移動体近傍の領域のさらに遠方に相当する画像の部分に、当該移動体近傍の領域よりも狭い領域であって、解像度が当該移動体近傍の領域よりも高い領域を設定し、当該領域において標示線を検出するので、画像処理能力が限られた車載の装置でも標示線を遠方まで高精度で検出することが可能となる。

［第２の実施の形態］
以下、図面を参照して本発明の第２の実施の形態を詳細に説明する。図６は、本発明の第２の実施の形態に係る走行路認識装置の要部構成を示すブロック図である。

図６に示すように、本実施の形態の走行路認識装置２は、第１の実施の形態に係る走行路認識装置１に対して、移動体自身の前方を走行中の他の移動体の存在を検出する移動体検出部１５を有する点が相違するが、その他の構成は第１の実施の形態に係る走行路認識装置１と同一であるので説明を省略する。

図７は、本発明の第２の実施の形態における外界撮像部が取得した画像の一例を示す図である。

本実施の形態では、移動体検出部１５によって前方に他の移動体７１が検出された場合には、移動体の現在の速度から、移動体近傍よりも遠方に相当する画像の領域において標示線を検出することを要する場合であっても、走行車線パラメータ検出部１７は当該遠方に相当する画像の領域においては標示線の検出を行わない。

次に図８を用いて本実施の形態におけるプログラムの処理を説明する。図８は、本実施の形態に係る走行路認識装置におけるプログラムの処理のフローチャートである。

図８は、第１の実施の形態に係る図３とは、「前方に他の移動体が存在するか否か」を判断するステップ８００１及びステップ８００２が存在する点において相違する。しかしながら、その他のステップについては第１の実施の形態と同様であるので、かかる第１の実施の形態と同様のステップに関しては図８においても図３と同一の符号を付し、それらの説明は省略する。

本実施の形態において、ステップ８００１では、移動体検出部１５が、原画像において先行する他の移動体７１を検出し、かつ他の移動体７１が第２の画像処理領域と干渉すると判断した場合は、第２の画像処理領域での標示線の検出を行わないようにする。

その結果、ステップ８００１で、原画像において先行する他の移動体７１が検出され、かつ他の移動体７１が第２の画像処理領域と干渉すると判断された場合は、ステップ３００５で検出した標示線に基づいて、ステップ３０１４において走行車線パラメータを推定する。

また、ステップ８００２で、移動体検出部１５が、原画像において先行する他の移動体７１を検出し、かつ他の移動体７１が第３の画像処理領域と干渉すると判断した場合は、第３の画像処理領域での標示線の検出を行わないようにする。

その結果、ステップ８００２で、原画像において先行する他の移動体７１が検出され、かつ他の移動体７１が第３の画像処理領域と干渉すると判断された場合は、ステップ３００５及びステップ３０１０で検出した標示線に基づいて、ステップ３０１４において走行車線パラメータを推定する。

図９は、本実施の形態に係る走行路認識装置による画像処理領域の設定の一例を示す図であり、第３の画像処理領域９３と先行する他の移動体７１とが干渉する場合を示している。図９のように、第３の画像処理領域９３と他の移動体７１とが干渉する場合は、第３の画像処理領域９３から標示線を検出しない。

この図９のように、第３の画像処理領域９３と他の移動体７１とが干渉する場合は、第１の画像処理領域９１から検出された標示線と、第２の画像処理領域９２から検出された標示線とに基づいて、走行車線パラメータを推定する。

また、他の移動体７１が、第２の画像処理領域９２及び第３の画像処理領域９３と干渉する場合は、第２の画像処理領域９２及び第３の画像処理領域９３からは標示線の検出を行わず、第１の画像処理領域９１から検出された標示線に基づいて、走行車線パラメータを推定する。

ステップ８００１及びステップ８００２において、前方に他の移動体を検出しなかった場合は、第２の画像処理領域９２及び第３の画像処理領域９３において標示線を検出し、各々検出した標示線とステップ３００５において第１の画像処理領域９１で検出した標示線とに基づいて、ステップ３０１４において走行車線パラメータを推定する。

なお、ステップ８００１及びステップ８００２において、原画像から前方の他の移動体７１を検出するには種々の方法が考えられるが、サポート・ベクトル・マシン（ＳＶＭ）若しくはニューラル・ネットワーク（ＮＮ）等のパターン識別の方法又は原画像のエッジヒストグラムの分布から判断する方法等の公知の手法を用いればよい。

以上説明したように、本実施の形態によれば、前方に先行する他の移動体を検出した場合は、当該他の移動体が検出された領域では標示線の検出を行わないので、当該他の移動体から検出されたエッジによる標示線の誤検出を防止でき、かつ実態にそぐわない走行車線パラメータを推定するという無駄な演算を防止することができる。

例えば、図７に示したように、移動体の前方に他の移動体７１が走行している場合、他の移動体の前方の標示線は画像から取得できない。このように走行車線が他の移動体によって隠蔽されているような場合であっても、前方の移動体から抽出されるエッジ等の画像特徴を用いて標示線を検出するようにすると、実際の走行車線の状況とは乖離した走行車線パラメータを推定するおそれがある。

しかしながら、本実施の形態では、他の移動体７１とは干渉しない画像処理領域から検出した標示線に基づいて走行車線パラメータを推定するので、先行する他の移動体７１から検出されるエッジに影響されない走行車線パラメータの推定が可能となる。

また、実態にそぐわない走行車線パラメータを推定するという無駄な演算を回避することができる。

［第３の実施の形態］
続いて、本発明の第３の実施の形態について説明する。本実施の形態に係る走行路認識装置は、第１の実施の形態の走行路認識装置と同様の構成であるため、その説明は省略する。

本実施の形態においても、第１の実施の形態と同様に、図４に示すように移動体の走行速度に応じて車線パラメータを算出するための画像処理領域及び画像の解像度を設定する。ただし、本実施の形態では移動体の現在の走行速度のみならず、移動体の加速度を考慮して画像処理領域及び解像度を設定することが、第１の実施の形態とは異なる。

移動体の現在の速度をｖ（ｋｍ／ｈ)、移動体の加速度をａ（ｋｍ／ｓ^２）（ただしａ＞０）とすると、予め定められた時間Δｔ秒後の速度ｖ’は、以下の式（11）で求められる。
ｖ’＝ｖ ＋ ａ ＊ Δｔ ・・・（11）

本実施の形態では、Δｔ秒後の移動体の速度ｖ’が、予め定められた第１の速度閾値ｖ１より低速であれば、領域解像度選択部１６では新たに画像処理領域を設定しない。

したがって、Δｔ秒後の移動体の速度ｖ’が第１の速度閾値ｖ１未満の場合は、図４における第１の画像処理領域４２で検出した標示線を用いて走行車線パラメータを算出する。

なお、Δｔは３秒、第１の速度閾値ｖ１は第１の実施の形態と同様に３０〜４０ｋｍ／ｈ程度の値を設定しておけばよい。ただし、Δｔは適宜変更してもよい。

一方、Δｔ秒後の速度ｖ’が第１の速度閾値ｖ１以上であって、予め定められた第２の速度閾値ｖ２（ｖ２＞ｖ１）未満と推定された場合は、第１の画像処理領域４２のみならず、第１の画像処理領域よりも解像度を向上させた第２の画像処理領域４３の画像を用いて車線パラメータを算出する。ここで第２の速度閾値ｖ２は、第１の実施の形態と同様に６０〜１００ｋｍ程度の値を設定しておけばよい。

また、移動体が非常に大きな加速度で走行していることから、Δｔ秒後の速度ｖ’が第２の速度閾値ｖ２以上と推定される場合には、第１の画像処理領域４２及び第２の画像処理領域４３のみならず、原画像と同じ解像度の第３の画像処理領域４４も用いて車線パラメータを算出する。

次に図１０を用いて本実施の形態におけるプログラムの処理を説明する。図１０は、本実施の形態に係る走行路認識装置におけるプログラムの処理のフローチャートである。

図１０は、第１の実施の形態に係る図３とは、ステップ１００１〜１０１０が存在する点において相違する。しかしながら、その他のステップについては第１の実施の形態と同様であるので、かかる第１の実施の形態と同様のステップに関しては図１０においても図３と同一の符号を付し、それらの説明は省略する。

本実施の形態では、ステップ３００７において、移動体の現在の速度が第１の速度閾値ｖ１未満であると判断された場合、ステップ１００１に移行する。

ステップ１００１では、領域解像度選択部１６が、移動体運動情報取得部１４から取得した、移動体の現在の速度を示す速度情報と、移動体の加速度ａの情報と、上記の式（11）とを用いて、Δｔ秒後の移動体の速度ｖ’を算出する。

次いで、ステップ１００２では、Δｔ秒後の移動体の速度ｖ’が第１の速度閾値ｖ１以上か否かが判断され、Δｔ秒後の移動体の速度ｖ’が第１の速度閾値ｖ１以上の場合は、ステップ１００３においてΔｔ秒後の移動体の速度ｖ’が第２の速度閾値ｖ２以上か否かが判断される。

ステップ１００３においてΔｔ秒後の移動体の速度ｖ’が第２の速度閾値ｖ２以上の場合は、ステップ１００４〜１００６で第２の画像処理領域４３を設定し、当該第２の画像処理領域４３から走行車線の標示線を検出する。

さらに、ステップ１００７及びステップ１００８で第３の画像処理領域４４を設定し、当該第３の画像処理領域４４から走行車線の標示線を検出する。

ステップ３０１４では、ステップ３００５、ステップ１００６及びステップ１００８で検出した標示線に基づいて走行車線パラメータを推定する。本実施の形態で推定する走行車線パラメータは、第１の実施の形態と同様に、走行車線の幅である車線幅、移動体の姿勢角、走行車線の曲率である横断曲率及び走行車線における移動体の左右方向の位置を示す横変位等である。

なお、ステップ１００４〜１００６における処理は、第１の実施の形態のステップ３００８〜３０１０における処理と同じなので、詳細な説明は省略する。

ステップ１００７及びステップ１００８における処理も、第１の実施の形態のステップ３０１２及びステップ３０１３における処理と同じなので、こちらも詳細な説明は省略する。

また、ステップ１００２において、Δｔ秒後の移動体の速度ｖ’が第１の速度閾値ｖ１未満の場合は、ステップ３００５で検出した標示線に基づいて、ステップ３０１４において各々の走行車線パラメータを推定する。

ステップ１００３において、Δｔ秒後の移動体の速度ｖ’が第２の速度閾値ｖ２未満の場合は、手順をステップ３００８に移行させ、第１の実施の形態と同様に、ステップ３００８〜３０１０で第２の画像処理領域４３を設定し、当該第２の画像処理領域４３から走行車線の標示線を検出する。

また、本実施の形態では、ステップ３０１１において、移動体の現在の速度が第２の速度閾値ｖ２未満であると判断された場合、ステップ１００９に移行する。

ステップ１００９では、領域解像度選択部１６が、移動体運動情報取得部１４から取得した、移動体の現在の速度を示す速度情報と、移動体の加速度ａの情報と、上記の式（11）とを用いて、Δｔ秒後の移動体の速度ｖ’を算出する。ステップ３０１１において、移動体の現在の速度が第２の速度閾値ｖ２未満である場合であっても、加速度ａが大きければ、Δｔ秒後の移動体の速度ｖ’が、第２の速度閾値以上となる場合が考えられるからである。

続くステップ１０１０では、ステップ１００９で算出されたΔｔ秒後の移動体の速度ｖ’が第２の速度閾値以上か否かが判断され、Δｔ秒後の移動体の速度ｖ’が第２の速度閾値以上の場合は、ステップ３０１２に移行する。

Δｔ秒後の移動体の速度ｖ’が第２の速度閾値未満の場合は、ステップ３０１４に移行し、ステップ３００５及びステップ３０１０で検出した標示線に基づいて、ステップ３０１４において各々の走行車線パラメータを推定する。

以上説明したように、本実施の形態によれば、移動体の現在の速度が第１の速度閾値ｖ１未満となる低速の場合は、解像度を低下させた画像上に移動体近傍の領域を設定し、当該領域おいて標示線を検出することから、画像処理能力が限られている車載の装置でも標示線を簡易迅速に検出でき、さらに移動体の現在の速度と当該移動体の加速度に基づいた所定時間後の速度とに応じて、移動体近傍の領域のさらに遠方に相当する画像の部分に、当該移動体近傍の領域よりも狭い領域であって、解像度が当該移動体近傍の領域よりも高い領域を設定し、当該領域において標示線を検出するので、画像処理能力が限られた車載の装置でも標示線を遠方まで高精度で検出することが可能となる。

本発明のプログラムは、記録媒体に格納して提供したり、有線または無線による通信手段を介して提供したりする形態としてもよい。また、ソフトウエア構成による実現に限られるものではなく、ハードウエア構成や、ハードウエア構成とソフトウエア構成の組み合わせによって実現してもよい。

１ 走行路認識装置
２ 走行路認識装置
１１ 外界撮像部
１２ 画像入力部
１３ 基準標示線検出部
１４ 移動体運動情報取得部
１５ 移動体検出部
１６ 領域解像度選択部
１７ 走行車線パラメータ検出部
２１ 左走行車線
２２ 右走行車線
２３ 左標示線
２４ 右標示線
２５ 中央標示線
２６ 消失点
４１ 移動体
４２ 第１の画像処理領域
４３ 第２の画像処理領域
４４ 第３の画像処理領域
７１ 他の移動体
９１ 第１の画像処理領域
９２ 第２の画像処理領域
９３ 第３の画像処理領域

Claims (7)

1. 移動体が走行する走行路を含む移動体の前方の領域を撮像する撮像手段と、
   前記移動体の速度を示す速度情報を取得する速度情報取得手段と、
   前記撮像手段が撮像した画像に対して、移動体の前方かつ近傍に第１画像処理領域を設定すると共に、前記速度情報で示される前記移動体の速度が所定値以上の場合に、前記速度が速くなるに従って位置が前記第１画像処理領域より徐々に遠方となり、かつ前記速度が速くなるに従って大きさが前記第１画像処理領域より徐々に小さくなる第２画像処理領域を少なくとも１つ設定する領域設定手段と、
   前記領域設定手段で設定された画像処理領域から前記標示線を検出する標示線検出手段と、
   を含む走行路認識装置。
2. 前記領域設定手段は、前記移動体に近い画像処理領域ほど解像度を低下させる請求項１に記載の走行路認識装置。
3. 前記領域設定手段は、前記第１画像処理領域から検出された標示線に基づいて前記走行路及び前記走行路を定める標示線が収束する消失点の座標を算出し、該消失点の座標と前記第１画像処理領域の位置とに基づいて前記第２画像処理領域の位置を決定し、前記第２画像処理領域を設定する請求項１又は２に記載の走行路認識装置。
4. 前記画像から前記走行路上の前方における他の移動体を検出する移動体検出手段をさらに含み、
   前記領域設定手段は、前記移動体検出手段が検出した前記他の移動体が、前記第２画像処理領域と干渉する場合は、前記他の移動体と干渉する第２画像処理領域では標示線の検出を中止する請求項１乃至３のいずれか１項に記載の走行路認識装置。
5. 前記領域設定手段は、前記速度情報取得手段が取得した前記移動体の速度情報が示す前記移動体の速度が、前記所定値以上の第１の速度閾値以上となった場合、及び第１の速度閾値より大きい第２の速度閾値以上となった場合に、前記第２画像処理領域を各々設定する請求項１乃至４のいずれか１項に記載の走行路認識装置。
6. 前記速度情報取得手段は、前記移動体の加速度の情報をさらに取得し、
   前記領域設定手段は、前記速度情報取得手段が取得した前記移動体の速度情報及び前記移動体の加速度の情報から、予め定められた時間後の前記移動体の速度を算出し、かつ、前記速度情報取得手段が取得した前記移動体の速度情報が示す前記移動体の速度又は前記予め定められた時間後の前記移動体の速度が、前記所定値以上の第１の速度閾値以上となった場合、及び第１の速度閾値より大きい第２の速度閾値以上となった場合に、前記第２画像処理領域を各々設定する請求項１乃至４のいずれか１項に記載の走行路認識装置。
7. コンピュータを、
   移動体が走行する走行路を含む移動体の前方の領域を撮像した画像に対して、移動体の前方かつ近傍に第１画像処理領域を設定すると共に、前記移動体の速度が所定値以上の場合に、前記速度が速くなるに従って位置が前記第１画像処理領域より徐々に遠方となり、かつ前記速度が速くなるに従って大きさが前記第１画像処理領域より徐々に小さくなる第２画像処理領域を少なくとも１つ設定する領域設定手段、及び前記領域設定手段で設定された画像処理領域から前記標示線を検出する標示線検出手段
   として機能させるためのプログラム。

Images