JP3589293B2

JP3589293B2 - 道路の白線検出方法

Info

Publication number: JP3589293B2
Application number: JP2000371645A
Authority: JP
Inventors: 敏寺久保
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2000-12-06
Filing date: 2000-12-06
Publication date: 2004-11-17
Anticipated expiration: 2020-12-06
Also published as: JP2002175534A

Description

【０００１】
【発明の属する技術分野】
本発明は、車載カメラで撮影された前方映像を解析し、道路の走行車線の境界線（白い線、黄色い線、実線、破線など種々のものが存在するが、本明細書では一括して「白線」という）を認識するための道路の白線検出方法に関するものである。
【０００２】
【従来の技術】
自動車への運転支援システムを実現するにあたり、画像による道路環境認識に期待が寄せられている。
道路環境認識の一つとして、走行車線の白線自動認識があり、その手法が各種開発されている。
大池「モデルベースの認識手法による道路白線認識」（信学技報ＰＲＭＵ９９−２１１（２０００年１月））では、２値化処理を必要としないストリングモデルを利用した白線認識を提案している。
【０００３】
二宮、高橋、太田「高速パターン照合手法とレーン検出への応用」（第３回次世代走路表示／認識技術研究会資料、認研３−４−１，１９９９年１１月）では、テンプレートを当てはめることにより、道路構造照合を行う手法を提案している。
【０００４】
【発明が解決しようとする課題】
前者の「モデルベースの‥‥」は、２値化が不要でハードウェアがシンプルとなるものの、連続の動的輪郭モデルを利用しているため、実線・破線の区別ができず、モデルが２本でそれぞれ左右白線に収束するよう定義されており、白線をまたぐような想定をしていないため、車線変更に対応できない、という問題がある。
【０００５】
後者の「高速パターン照合手法‥‥」は、白線のかすれや悪天候に強く、計算コストも低いが、多くの道路形状テンプレートを持っておく必要があり、膨大なメモリを必要とするという難点がある。
そこで、本発明は、可能な限りシンプルなアルゴリズムと、安価な機器構成とにより実現でき、白線が実際に存在する位置を確実に検出でき、将来の高度な車両制御にも応用できる道路の白線検出方法を実現することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の道路の白線検出方法は、車載カメラで撮影された画像中の画素の輝度空間微分値を算出し、その極値を示す位置に基づいて、白線のエッジを抽出し、検出されたエッジの輝度値が近いものを白線候補としてまとめ、前記まとめられた白線候補を、それらの位置関係に基づいて左右別々にグループ化し、左グループ化及び右グループ化された白線候補の中から、それぞれ Hough 変換パラメータをもとに、時間的に連続する前後の画像間で前記白線候補同士の類似度を求め、類似度の高い白線グループを抽出し、前記抽出された結果に基づいて、左右別々に、１本の白線を検出する方法である（請求項１）。
【０００７】
前記の方法によれば、エッジの検出には、一般的に利用されている２値化手法を用いずに、輝度空間微分値（隣接輝度値の差分）が極値を示している画素位置を採用するので、輝度値やコントラストに左右されずに、安定的にエッジが検出できるようになる。
そして、検出されたエッジの輝度値が近いものを白線候補としてまとめることにより、影やかすれ等の影響で輝度が異なってしまった部分を無理に一緒に検出せずに、細切れの白線候補として検出する。
【０００８】
さらに、それら白線候補の位置関係（方向や位置）に基づいて統合するため、外乱の影響を受けずに、破線やかすれた白線でも白線検出が行える。
特に、テンプレートに当てはめて白線検出する手法と異なり、実際の白線位置をもとにして検出するので、白線位置の認識が正しくできる。
最後に、左右別々に１本ずつ白線を抽出する。左右別々に１本の白線を検出する手順は、 Hough 変換パラメータをもとに、時間的に連続する前後の画像間で白線グループの位置類似度を求め、類似度の大きい白線グループをそれぞれ１本抽出する。これにより、１本の連続した白線を決定することができる。なお類似度が小さければ、白線を見失ったと判断することができる。
また、 Hough 変換パラメータを採用したので、白線の見え方によらずに、単純な同一評価式が利用でき、パラメータ感度の一様性が確保できる。（例えば、一次式 y=ax+b のａ及びｂをパラメータとして採用すれば、 a= ∞付近と、 a=0 付近ではパラメータの重みをかえないといけない。）
極値を求めるとき、輝度空間微分値の平均値と標準偏差とを利用して、エッジ抽出範囲を決定することが好ましい（請求項２）。
【０００９】
これにより、エッジ抽出範囲を固定しておくのでなく、画像ごとに動的に決められるため、主に路面上に存在する外乱（路面のしみ、轍）等の影響を極力排除することができる。また、明るさの変化に強く（ロバストに）なる。
白線候補をグループ化するときの基準として、白線候補間の横ずれ方向、結合角度を使用することが好ましい（請求項３）。
白線の路面に描かれた形状特徴（画像平面での情報）を利用して統合するので、路面や背景の外乱の影響を受けにくい。
【００１０】
左右白線候補となる線を求める画像上の範囲の中央に、オーバーラップ領域を設定することが好ましい（請求項４）。
【００１１】
これにより、車線変更のときに左白線から右白線への移行、あるいはその逆の移行がスムーズにできる。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
１．画像データの定義（図１参照）
車載カメラで撮影された画像の座標系を、左上を原点（０，０）、右方向にｘ軸、下方向にｙ軸をとる。画像サイズは、横（ｘ方向）６４０画素、縦（ｙ方向）４８０画素である。
【００１３】
画素値は、８ビット、０から２５５までの２５６段階で表す。０が黒、２５５が白となる。位置（ｘ，ｙ）の画素値をＩｍ［ｙ］［ｘ］と記述する。
図２は、白線検出処理を示す全体フローチャートである。この処理は、１枚の画像の取り込みごとに行う。画像の取り込みは、毎秒３０枚行う（ステップＳ１）。以下、各ステップを分説する。
２．前処理
２．１縮小
ｘ方向ｙ方向ともに、１画素おきにサンプリングする。これにより処理量が減り、処理時間を短縮することができる。
【００１４】
２．２スムージング
画像全体にわたり、画素値と下記オペレータとを畳み込むことにより、スムージングをする。
【００１５】
【数１】

【００１６】
３．エッジ検出
白線が存在する範囲を、画面の下半分の領域に限定する。以下の処理は、画面の下半分の領域に対してのみ実行する。
３．１画素エッジ強度を計算
空間微分（差分）をもとに、位置（ｘ，ｙ）のエッジ強度（Ｉｎｔｅｎｓｉｔｙ）を下記の通り定義し、これを用いてエッジ検出を行う。
【００１７】
エッジ強度＝（Ｉｍ［ｙ］［ｘ＋３］＋Ｉｍ［ｙ］［ｘ＋２］―Ｉｍ［ｙ］［ｘ−２］―Ｉｍ［ｙ］［ｘ−３］）／１０
エッジ強度を表す空間を「エッジ空間」という。
なお、この式は、一次元Ｐｒｅｗｉｔｔ型空間微分（−１０１）の注目点周辺５画素分の平均値をとったものと等価な式となっている。
３．２エッジ検出
エッジ空間上で、極値を示す画素を選択することにより、エッジを検出する。選択されたエッジは、各々±の符号付き値を持ち、これに基づいて、以後の処理でグループ分けされる（後述）。
【００１８】
ただし、路面ノイズなどの影響を排除するため、極値探索対象範囲を限定できるように工夫している。具体的には、画面下半分のエッジ強度の平均値と、標準偏差を計算し、下記範囲の外を極値探索対象範囲としている。
上限：エッジ強度の平均値＋１．５×標準偏差
下限：エッジ強度の平均値−１．５×標準偏差
エッジ空間上のエッジ強度分布が正規分布に従うとすると、前記範囲には、全画素の約８６．６％が含まれ、結果として、上部の極値探索対象範囲と下部の極値探索対象範囲に含まれる、それぞれ約６．７％の画素から、極値となる画素を抽出することになる。これにより、処理のスピードアップを図れる。
【００１９】
４．白線候補の抽出
前項で抽出されたエッジを下記の手順に従いグループ分けして白線候補（ひと塊の白線の部分）を抽出する。
（１）画像最下段のエッジを白線候補の始点Ｇ０として登録する。
（２）白線候補始点Ｇ０の近傍画素であって、白線候補始点Ｇ０の強度と類似する強度のエッジを新たな白線候補Ｇとして登録する。以下、この処理を繰り返す。
このようにして、白線候補始点Ｇ０及びこれに関連して登録された白線候補Ｇにより、白線候補を構成する。
【００２０】
近傍画素は、最大３段上までのラインから探索する。３ラインを超えたときは、別の白線始点として登録する。
横方向の探索範囲は、（探索ラインまでの距離）×（±３画素）とする。例えば、１ライン上にエッジがなく、２ライン目を探索する場合、±６画素を探索する。式で書くと、（ｘ，ｙ）位置を基準として、２ライン上なら、（ｘ−６，ｙ−２）から（ｘ＋６，ｙ−２）までを探索する。
【００２１】
前記強度の類似判定は、白線候補始点Ｇ０のエッジ強度の±５０％以内かどうかで行う。
５．白線候補のグループ化
前項で抽出された白線候補を、下記の手順に従いグループ化する。
（１）構成画素数が一定以上の白線候補について、左側白線、右側白線の選別をする。なお、左右白線の存在位置が入れ替わる車線変更時でも極力追従できるよう、左右白線の探索領域はオーバーラップさせている。
【００２２】
具体的には、白線候補の構成画素数の下限は３とする。
白線候補始点Ｇ０のｘ座標が１６０＋α以下、かつ、エッジ強度が負であれば、左側白線の右端と判断し、白線候補始点Ｇ０のｘ座標が１６１−α以上、かつ、エッジ強度が正であれば、右側白線の左端と判断する。ここで、「１６０」という座標は、ｘ方向の縮小後の画像サイズが６４０／２＝３２０画素あるという前提で、半分の位置に設定している。
【００２３】
αは、オーバーラップを考慮したもので、ｘ方向の画像サイズの約１０％（３２画素）としている。
（２）下（ｙ座標の大きいもの）から順に、白線候補をグループ化していく。その条件は、（ａ）下にある基準となる白線候補を延ばした直線と、検査対象となっている白線候補の始点との関係が結合範囲にあること、（ｂ）両直線の傾きの差θが所定角度範囲以内であること、である。
【００２４】
前記「結合範囲」とは、図３（ａ）に示すように、検査対象となっている白線候補２の始点Ｇ０から水平方向に引いた線分Ｌと、下にある基準となる白線候補を延ばした直線とが交わる点をＰとすると、長さＧ０Ｐが、±所定数の画素の範囲とする。ただし、ＰがＧ０より右側にあるときは正、ＰがＧ０より左側にあるときは負とする。図３（ａ）では所定数を１０としている。
前記「所定角度範囲」とは、図３（ｂ）に示すように、前記点Ｐが、始点Ｇ０の右にある場合、−５°〜＋２０°とし、図３（ｃ）に示すように、左にある場合は、−２０°〜＋５°とする。
【００２５】
６．三次元座標変換
画面を下記の式を用いて、白線グループの始点Ｇ０を実空間座標に３次元座標変換する。
Ｚ（車両進行方向距離）＝Ｄｉｖｉｄｅｎｄ（η，ｓｉｎψ，ｃｏｓψ）／Ｄｉｖｉｄｅｒ（η，ｓｉｎψ，ｃｏｓψ）
Ｘ（車両横方向距離）＝Ｃｏｎｖ２Ｘ（ξ，Ｚ）
Ｃｏｎｖ２Ｘ（ξ，Ｚ）＝（ξ／Ｆ）［（Ｚｃｏｓψ）＋（Ｈｓｉｎψ）］
Ｄｉｖｉｄｅｒ（η，ｓｉｎψ，ｃｏｓψ）＝ｓｉｎψ−（η／Ｆ）ｃｏｓψ
Ｄｉｖｉｄｅｎｄ（η，ｓｉｎψ，ｃｏｓψ）＝Ｈ［ｃｏｓψ＋（η／Ｆ）ｓｉｎψ］
Ｈ：カメラの設置高さ（ｍ）
Ｆ：レンズ焦点距離（ｍ）
ψ：カメラ光軸の俯角（ｒａｄ）
ξ，ηは、撮像面中心（原点）からの距離（ｍ）を表す（ｙ軸は上方が正、ｘ軸は右向きが正）。
【００２６】
図４は、３次元座標変換前後の画像を示す図であり、（ａ）はカメラで撮像したエッジ画像を示す図、（ｂ）は３次元座標変換後の画像を示す図である。
７．最も信頼性の高い左右白線の抽出
グループ化された白線候補の中から、左右白線を１本ずつ抽出する。図５は、実空間における複数の白線グループを示す図である。図６は、本項の手順を説明するためのフローチャートである。
【００２７】
（１）３次元座標変換した場合の白線候補始点Ｇ０が、横方向±４ｍ以内、前方３０ｍ以内（図５の太線枠参照）にあるもののうち、３次元座標変換した場合の白線候補の長さＬ１，Ｌ２，‥‥が最大のものを抽出する（ステップＳ６６）。
（２）３次元座標変換前の画面について、構成画素数が一定数（例えば５とする）以上の白線候補を選択して、ハフ（Ｈｏｕｇｈ）変換パラメータを算出する（ステップＳ６７）。
【００２８】
ここでハフ変換とは、ｘｙ直交座標系で表した直線
ｘｃｏｓθ＋ｙｓｉｎθ＝ｒ
を（ｒ，θ）平面に変換することをいう。極座標の原点は、左側白線候補の場合図７（ａ）に示すように画面の左上とし、右側白線候補の場合図７（ｂ）に示すように画面の右上とする。ハフ変換パラメータをｒ，θとする。点線は前回撮影した画面から抽出した白線、実線は今回撮影した画面から抽出した白線であり、図７では、取得時刻の異なる２つの白線を同時に描いている。
【００２９】
（３）ハフ変換パラメータをもとにして、前回検出した白線候補との類似度を求め、類似度が最も高いものを今回の白線候補として左右別々に抽出する（ステップＳ６２）。
類似度を判断するのに、判定値
１００｜θ０−θ１｜＋｜ｒ０−ｒ１｜
を採用する。ｒ０，θ０は前回の白線候補のハフ変換パラメータであり、ｒ１，θ１は今回の白線候補のハフ変換パラメータである。「１００」は重み係数（一定とする）である。この判定値が小さい方が類似度が高い。
【００３０】
前記判定値が３０を超えた場合は、白線位置を見失ったと判断する（ステップＳ６３のＮＯ）。このときは、ステップＳ６６に飛び、改めて（１）の方式で最適候補を探索し直す。
なお、図６で白線位置を見失ったときには、ステップＳ６６に進まず、ハフ変換パラメータを捨てて、次のサイクルでステップＳ６６からスタートしてもよい。
【００３１】
このようにして抽出された左右白線の、ハフ変換パラメータを更新し（ステップＳ６４）、左右白線を特定する（ステップＳ６５）。
８．道路形状・白線位置推定
以下は、白線位置情報をデータ化する手順である。図８を参照しながら説明する。
（１）左右白線を表す各々の左右白線を円とみなしてその中心及び半径Ｒを計算する。
【００３２】
（２）左右白線位置の推定
左右白線の手前側の２点の座標を直線的に延ばし、カメラ直下の左右白線位置Ｓを推定する。
【００３３】
【発明の効果】
以上のように本発明の道路の白線検出方法によれば、可能な限りシンプルなアルゴリズムと、安価な機器構成で、白線が実際に存在する位置を確実に検出できる。したがって、将来の高度な車両走行制御に最適な道路の白線検出方法とすることができる。
【図面の簡単な説明】
【図１】画像データの定義図である。
【図２】白線検出処理を示す全体フローチャートである。
【図３】白線候補の統合条件を説明するための図であり、（ａ）は、下にある基準となる白線候補と検査対象となっている白線候補との位置関係を示す図、（ｂ）及び（ｃ）は、両直線の角度関係を示す図である。
【図４】３次元座標変換前後の画像を示す図であり、（ａ）はカメラで撮像したエッジ画像を示す図、（ｂ）は３次元座標変換後の画像を示す図である。
【図５】３次元座標変換した場合の白線候補の初期値を抽出する枠を示す図である。
【図６】左右白線を１本ずつ抽出する手順を説明するためのフローチャートである。
【図７】ハフ変換パラメータｒ，θを解説するための図であり、（ａ）は左側白線候補の場合、（ｂ）は右側白線候補の場合を示す。
【図８】白線位置情報をデータ化する手順を示す図である。
【符号の説明】
Ｓカメラ直下の左右白線位置
Ｒ左右白線の半径
ｒ，θ ハフ変換パラメータ
Ｌ１，Ｌ２３次元座標変換した場合の白線候補の長さ

Claims

車載カメラで撮影された画像中の画素の輝度空間微分値を算出し、
その極値を示す位置に基づいて、白線のエッジを抽出し、
検出されたエッジの輝度値が近いものを白線候補としてまとめ、
前記まとめられた白線候補を、それらの位置関係に基づいて左右別々にグループ化し、
左グループ化及び右グループ化された白線候補の中から、それぞれ Hough 変換パラメータをもとに、時間的に連続する前後の画像間で前記白線候補同士の類似度を求め、類似度の高い白線グループを抽出し、
前記抽出された結果に基づいて、左右別々に、１本の白線を検出することを特徴とする道路の白線検出方法。
極値を求めるとき、輝度空間微分値の平均値と標準偏差とを利用して、エッジ抽出範囲を決定することを特徴とする請求項１記載の道路の白線検出方法。
白線をグループ化するときの基準として、白線候補間の横ずれ方向、結合角度を使用することを特徴とする請求項１記載の道路の白線検出方法。
左右白線候補となる線を求める画像上の範囲の中央に、オーバーラップ領域を設定したことを特徴とする請求項１記載の道路の白線検出方法。