JP4762698B2 - 車両周辺画像表示装置 - Google Patents

Description

本発明は、車両周辺のようすを表す画像を運転者に対して提示する技術に関するものである。

運転者に対して自動車周辺を撮影した画像を提示する技術としては、車両左右のバックミラーと車両後部中央との３カ所に設置した３つのカメラによって自動車後方を撮影した画像を１つの画像に合成して表示する技術が知られている（たとえば、特許文献１）。

ここで、この技術では、図５ａに示すように、画像Ｒが車両右のバックミラーに設置したカメラで撮影され、画像Ｂが車両後部中央に設置したカメラで撮影され、画像Ｌが車両左のバックミラーに設置したカメラで撮影された場合、まず、図５ｂに示すように、各画像に写り込む被写体の縮尺が略同一となるように、各画像の拡大率を調整する。図示した例では、車両後部に設置したカメラで撮影した画像Ｂを、各画像の写り込む被写体の縮尺が同一となるように、他の画像Ｒ、Ｌに対し相対的に縮小している。そして、次に、図５ｃに示すように、相対的に縮小した画像Ｂと、画像Ｒと画像Ｌとを、各画像の無限遠点が一致するように組み合わせることにより、一つの仮想的な視点から自車後方を観察したようすを模擬する１つの画像を生成する。または、図５ｄに示すように、縮小した画像Ｂを下部が水平方向に圧縮されるように変形して、画像ＲやＬと組み合わせることにより、同じ一つの仮想的な視点から自車後方を観察したようすを模擬する１つの画像を生成する。
特開平10-257482号公報

前記特許文献１記載の技術によれば、図５ｃに示されるように、各カメラで撮影した画像の無限遠点が一致するように組み合わせるだけでは、被写体に対する各カメラの視差より、路面の白線などが各画像の境界で滑らかに連続せずにずれてしまうことになる。また、このずれは、被写体に対する視差が大きくなる自車に近い部分、すなわち、より目立つ部分でより大きくなる。一方、図５ｄに示すように、車両後部中央に設置したカメラが撮影した画像を下部が水平方向に圧縮されるように変形して、車両左右のバックミラーに配置したカメラが撮影した画像と組み合わせれば、圧縮の程度を調整することにより、少なくとも自車に近い位置における各画像の境界では、路面の白線などをある程度滑らかに連続させることができるが、このようにすると、自車の真後ろに存在する他車（車両後部中央に設置したカメラで撮影された他車）の画像が大きく歪んでしまうことになる。なお、逆に、図５ｅに示すように、車両左右のバックミラーに配置したカメラが撮影した画像を、当該画像の中央よりの垂直な辺が、上部が中央よりとなる斜めの傾きを持つように変形しても、車自車に近い位置における各画像の境界で、路面の白線などをある程度滑らかに連続させることができる。しかし、この場合には、自車の真後ろに存在する他車の画像が大きく歪んでしまうことは抑制されるが、今度は、自車の左右斜め後方にいる他車（車両左右のバックミラーに配置したカメラで撮影された他車）の画像が大きく歪んでしまうことになる。

すなわち、この技術によれば、一つの仮想的な視点から自車後方を観察したようすを、充分にリアリティある形態で模擬した画像を生成することができない。
そこで、本発明は、複数のカメラによって自動車後方を撮影した画像に基づいて、一つの仮想的な視点から自車後方を観察したようすを、できるだけリアリティある形態で模擬した画像を生成し、ユーザに提示することを課題とする。

前記課題達成のために、本発明は、自動車に搭載される車両周辺画像表示装置に、前記自動車の車幅方向についての中央の位置から当該自動車後方を撮影する第１のカメラと、前記自動車の車幅方向について中央からずれた位置から当該自動車後方を撮影する第２のカメラと、前記第２のカメラが撮影した画像である第２の画像を、当該第２の画像の車幅方向内側の辺の少なくとも当該第２の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも車幅方向外側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形する画像変形手段と、前記画像変形手段が変形した前記第２の画像と、前記第１のカメラが撮影した画像である第１の画像とを、画像中の被写体の縮尺が揃うように大きさを調整し、第１の画像中の地平と第２の画像中の地平が連続するように組み合わせた合成画像を生成する画像合成手段と、前記画像合成手段が生成した合成画像を表示する表示装置とを備えたものである。

ここで、このような車両周辺画像表示装置は、より具体的には、前記画像変形手段において、前記合成画像中において、当該合成画像に組み合わされた第１の画像中に仮想的に設定した前記自動車の車幅方向の境界を当該自動車の進行方向に延長した線と、当該合成画像に組み合わされた前記第２の画像中に仮想的に設定した前記自動車の車幅方向の境界を当該自動車の進行方向に延長した線とが、前記第１の画像下端の前記第１の画像と第２の画像との境界において接続するように、前記第２の画像を変形するものとしてよい。

これらの車両周辺画像表示装置によれば、前記自動車の車幅方向について中央からずれた位置から当該自動車後方を撮影する第２のカメラで撮影した第２の画像を当該画像の車幅方向内側の辺の少なくとも当該第２の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも車幅方向外側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形した画像を、前記自動車の車幅方向についての中央の位置から当該自動車後方を撮影する第１のカメラで撮影した第１の画像と合成して、一つの仮想的な視点から自車後方を観察したようすを模擬する１つの合成画像を生成し、表示装置に表示する。ここで、このように第２のカメラが撮影した第２の画像を変形して組み合わせることにより、自車近くの各画像の境界での路面の白線等のずれ、すなわち、顕著に目立つ路面の白線等のずれの発生を抑制しつつ、自車の真後ろや左右斜め後方の他車等が映り込む範囲の画像の変形の度合いを小さくして、これら他車等についての画像の歪みを小さく抑制することができる。したがって、一つの仮想的な視点から自車後方を観察したようすを、よりリアリティある形態で模擬した合成画像を表示することができるようになる。

ここで、以上の車両周辺画像表示装置は、前記第２のカメラを前記自動車の車幅方向について左端の位置から当該自動車後方を撮影するものとすると共に、さらに、前記自動車の車幅方向について右端の位置から当該自動車後方を撮影する第３のカメラを備えるように構成してもよい。ただし、この場合には、前記画像変形手段において、前記第２のカメラが撮影した画像である第２の画像を、当該第２の画像の車幅方向右側の辺の少なくとも当該第２の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも車幅方向左側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形すると共に、前記第３のカメラが撮影した画像である第３の画像を、当該第３の画像の車幅方向左側の辺の少なくとも当該第３の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも車幅方向右側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形し、画像合成手段において、前記画像変形手段が変形した前記第２の画像と、前記画像変形手段が変形した前記第３の画像と、前記第１のカメラが撮影した画像である第１の画像とを、画像中の被写体の縮尺が揃うように大きさを調整し、第２の画像中の地平と第１の画像中の地平と第３の画像中の地平とが連続するように組み合わせた合成画像を生成するようにする。

このようにすることにより、より左右方向に広い範囲の後方のようすを表す合成画像を表示することができるようになる。
なお、この場合も、前記画像変形手段において、前記合成画像中において、当該合成画像に組み合わされた第１の画像中に仮想的に設定した前記自動車の車幅方向左側の境界を当該自動車の進行方向に延長した線と、当該合成画像に組み合わされた前記第２の画像中に仮想的に設定した前記自動車の車幅方向左側の境界を当該自動車の進行方向に延長した線とが、前記第１の画像下端の前記第１の画像と第２の画像との境界において接続するように、前記第２の画像を変形すると共に、前記合成画像中において、当該合成画像に組み合わされた第１の画像中に仮想的に設定した前記自動車の車幅方向右側の境界を当該自動車の進行方向に延長した線と、当該合成画像に組み合わされた前記第３の画像中に仮想的に設定した前記自動車の車幅方向右側の境界を当該自動車の進行方向に延長した線とが、前記第１の画像下端の前記第１の画像と第３の画像との境界において接続するように、前記第３の画像を変形するようにしてよい。

以上のように、本発明によれば、複数のカメラによって自動車後方を撮影した画像に基づいて、一つの仮想的な視点から自車後方を観察したようすを、できるだけリアリティある形態で模擬した画像を生成し、ユーザに提示することができる。

以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る車両周辺画像表示装置の構成を示す。
図示するように、車両周辺画像表示装置は、図１ｂに示すように車両後部中央に設置され車両後方向を撮影するリアカメラ１０１、図１ｂに示すように車両左のバックミラーに設置され車両左後方を撮影するレフトサイドカメラ１０２、図１ｂに示すように車両右のバックミラーに設置され車両右後方を撮影するライトサイドカメラ１０３、各カメラの撮影画像を保持する画像記憶部１０４、画像変形部１０５、画像合成部１０６、表示装置１０７、表示装置１０７への表示を制御する表示処理部１０８、以上各部を制御する制御部１０９とを備えている。

さて、このような構成において、図２ａに示すように、画像Ｒが車両右のバックミラーに設置したカメラで撮影され、画像Ｂが車両後部中央に設置したカメラで撮影され、画像Ｌが車両左のバックミラーのバックミラーに設置したカメラで撮影された場合、これらの各画像が画像記憶部に格納される。

そして、画像変形部１０５は、画像記憶部に格納された各画像Ｒ、Ｂ、Ｌを読み出し、これを変形する。
すなわち、図２ｂに示すように、まず、画像Ｂにおいて地平線上の両端に写り込む物体（図中に白丸で示す）が、各画像に写り込む縮尺が同一となるように、車両後部中央に設置したリアカメラ１０１で撮影した画像Ｂを他の画像Ｒ、Ｌに対し相対的に縮小し画像Ｂ１とする。この相対的な縮小の縮小率は、各カメラの配置や画角などに応じて予め設定しておく。次に、図２ｃに示すように、車両左右のバックミラーに設置したカメラで撮影された画像Ｒ、Ｌを変形し、画像Ｒ１、Ｌ１とする。この画像Ｒ、Ｌから画像Ｒ１、Ｌ１への変形を行う処理の詳細については後述する。

そして、画像合成部１０６は、画像変形部１０５が変形した各画像Ｂ１、Ｒ１、Ｌ１を図２ｄに示すように組み合わせて、一つの仮想的な視点から自車後方を観察したようすを模擬する１つの画像Ｇを生成し、生成した画像Ｇを、表示処理部１０８を介して表示装置１０７に表示する。ここで、この画像合成部１０６における画像Ｂ１、Ｒ１、Ｌ１の合成は、各画像の地平線が連続し、画像Ｂ１における地平線上の左端の位置と、当該左端の位置に写り込む物体と同じ物体が写り込む画像Ｒ１上の位置とが重なり、画像Ｂ１における地平線上の右端の位置と、当該右端の位置に写り込む物体と同じ物体が写り込む画像Ｌ１上の位置とが重なるように各画像を配置することにより行う。なお、当該配置において、画像Ｂ１と画像Ｒ１の重なる部分、画像Ｂ１と画像Ｌ１の重なる部分については、画像Ｂ１の画像を、合成後の画像の当該部分を構成する画像として用いる。

以下、図２ａの画像変形部１０５が行う画像Ｒ、Ｌから図２ｃの画像Ｒ１、Ｌ１への変形を行う処理の詳細について説明する。
まず、図２ａの画像Ｒから図２ｃの画像Ｒ１への変形を行う処理について説明する。
この処理では、まず、図３ａに示すように、画像Ｒを、ＲＵ、ＲＭ、ＲＤの三つの画像に分割する。ここで、画像ＲＵは、画像Ｒの地平線より上の領域の画像である。また、画像ＲＤは、ａ-１に示すように、図２ｂのリアカメラ１０１で撮影した画像Ｂを縮小して生成した画像Ｂ１における地平線上の左端の位置に、当該左端の位置に写り込んでいる物体と同物体が写り込んでいる画像Ｒ上の位置が重なるように、画像Ｒを画像Ｂ１に対して配置したときに、画像Ｂ１の下端より下となる画像Ｒの領域の画像である。そして、画像ＲＭは画像Ｒ１の残りの領域の画像である。

そして、このように分割した三つの画像のうち、画像ＲＤを次のように変形する。
すなわち、図３ｂのように、画像Ｒを図３ａ-１に示したように画像Ｂ１に対して配置したときと同じ関係となるように、画像ＲＤを画像Ｂ１に対して配置する。次に、画像Ｂ１上に、自車の車幅の右側の境界を車両の進行方向に延長した線３０１を仮想的に設定する。また、画像ＲＤ上に自車の車幅の右端の位置を車両の進行方向に延長した線３０２を仮想的に設定する。

次に、図３ｃに示すように、画像ＲＤを、画像ＲＤ上の自車の車幅の右端を示す線３０２の上端が、画像Ｂ１上の自車の車幅の右端を示す線３０１の下端に接続するように、画像ＲＤの左端を中心として水平方向に縮小する。
そして、図３ｄに示すように、線３０２の上端と線３０１の下端との接続を保ったまま、画像ＲＤ上の自車の車幅の右端を示す線３０２の傾きが、画像Ｂ１上の自車の車幅の右端を示す線３０１の傾きに一致するように、画像ＲＤを変形し画像ＲＤ１を生成する。この変形は、画像ＲＤの各水平ラインを、画像ＲＤの左端を中心として、より下の水平ラインほどより大きい縮小率で水平方向に縮小することにより行う。ただし、最上部の水平ラインの縮小率は１：１とする。

次に、図３ａに示したように分割した三つの画像のうち、画像ＲＭを次のように変形する。
すなわち、図４ａに示すように画像ＲＭを垂直方向に等間隔にｎ個の領域に分割する。ここで、ａ-1は、画像ＲＭを垂直方向に等間隔に４個の領域に分割した場合を示している。
そして、次に、図４ｂに示すように、分割した各領域を変形し、画像ＲＭ１を生成する。すなわち、画像ＲＭを分割した最も上の領域については、その上辺の長さが、画像ＲＭの上辺の長さＬと等しく、その右辺の垂直方法に対する傾きの時計廻りに測った角度がθとなるように変形する。そして、その他の画像ＲＭを分割した領域については、その領域が上からi番目の領域であるとして、その上辺の長さが、一つ上の（ｉ-１）番目の領域の下辺の長さと一致し、その右辺の垂直方法に対する傾きの時計廻りに測った角度がiθとなるように変形する。なお、このような各領域の変形は、領域中の各水平ラインを、領域の左端を中心として、より下の水平ラインほどより大きい縮小率で水平方向に縮小することにより行う。ここで、θは、分割したｎ個の領域の一番下の領域の下辺の長さが、図３ｄのように生成した画像ＲＤ１の上辺の長さＬＢと一致するように定める。

すなわち、θは、画像ＲＭを垂直方向の長さをxとして、分割数Ｎに応じて式（１）を満足するように定める。

さて、ここで、ｂ-１は、画像ＲＭを垂直方向に等間隔に４個の領域に分割した場合を示しており、この場合には、図示するように各領域の右辺の傾きが、θから４θまで領域毎に漸次的に増加する形状を有する画像ＲＭ１が得られることになる。
また、図示するように、この画像ＲＭ１上に仮想的に設定した自車の車幅の右側の境界を車両の進行方向に延長した線３０３は、画像ＲＭ１の下に左揃えで配置した画像ＲＤ１上に仮想的に設定した自車の車幅の右側の境界を車両の進行方向に延長した線３０２と滑らかに連続するものとなる。

さて、このようにして画像ＲＭ１が生成されたならば、これを、図３ｄに示すように生成した画像ＲＤ１と、画像Ｒの地平線上の部分である画像ＲＵと、図４ｃに示すように左揃えで組み合わせ画像Ｒ１を完成させる。結果、この画像Ｒ１は、右辺が上から下に向かって漸次的に傾きが増加するものとなる。

以上、画像変形部１０５において行う画像Ｒから画像Ｒ１への変形を行う処理について説明した。
なお、以上の画像Ｒから画像Ｒ１への変形を行う処理は、実際には、以上の処理と等価な固定的な変形を、画像Ｒ全体に対して施す処理として実現するようにしてよい。すなわち、たとえば、各カメラの配置や画角に応じて予め定めた、図４ｄに示すような右辺の傾きを上から下に向かって漸次的に大きくする固定的な変形を、画像Ｒ全体に対して施す処理として実現するようにしてよい。

さて、次に、画像変形部１０５において行う図２ａ画像Ｌから図２ｃの画像Ｌ１への変形を行う処理は、以上の画像Ｒから画像Ｒ１への変形を行う処理と、左右方向について対称な処理となる。
以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、車両後部中央に設置したリアカメラ１０１で撮影された画像Ｂを縮小した画像Ｂ１と、車両左右のバックミラーに設置したカメラで撮影された画像Ｒ、Ｌを、内側の辺の外側への傾きが下方にいくほど漸次的に大きくなるように変形した画像Ｒ１、Ｌ１とを、組み合わせて、一つの仮想的な視点から自車後方を観察したようすを模擬する１つの画像Ｇを生成し、表示装置１０７に表示する。図２ｄより理解されるように、このように各カメラが撮影した画像を変形して組み合わせることにより、自車近くの各画像の境界での路面の白線等のずれ、すなわち、顕著に目立つ路面の白線等のずれの発生を抑制しつつ、自車の真後ろや左右斜め後方の他車等が映り込む範囲の画像の変形の度合いを小さくして、これら他車等についての画像の歪みを小さく抑制することができる。

したがって、一つの仮想的な視点から自車後方を観察したようすを、よりリアリティある形態で模擬した画像を表示することができるようになる。

本発明の実施形態に係る車両周辺画像表示装置の構成を示すブロック図である。 本発明の実施形態に係る車両周辺画像表示装置の表示画像の生成動作例を示す図である。 本発明の実施形態に係る車両周辺画像表示装置の表示画像の生成動作例を示す図である。 本発明の実施形態に係る車両周辺画像表示装置の表示画像の生成動作例を示す図である。 従来の車両周辺画像表示装置の表示画像の例を示す図である。

符号の説明

１０１…リアカメラ、１０２…レフトサイドカメラ、１０３…ライトサイドカメラ、１０４…画像メモリ、１０５…画像変形部、１０６…画像合成部、１０７…表示装置、１０８…表示処理部、１０９…制御部。

Claims (5)

1. 自動車に搭載される車両周辺画像表示装置であって、
   前記自動車の車幅方向についての中央の位置から当該自動車後方を撮影する第１のカメラと、
   前記自動車の車幅方向について中央からずれた位置から当該自動車後方を撮影する第２のカメラと、
   前記第２のカメラが撮影した画像である第２の画像を、当該第２の画像の車幅方向内側の辺の少なくとも当該第２の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも車幅方向外側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形する画像変形手段と、
   前記画像変形手段が変形した前記第２の画像と、前記第１のカメラが撮影した画像である第１の画像とを、画像中の被写体の縮尺が揃うように大きさを調整し、第１の画像中の地平と第２の画像中の地平が連続するように組み合わせた合成画像を生成する画像合成手段と、
   前記画像合成手段が生成した合成画像を表示する表示装置とを備えたことを特徴とする車両周辺画像表示装置。
2. 請求項１記載の車両周辺画像表示装置であって、
   前記画像変形手段は、前記合成画像中において、当該合成画像に組み合わされた第１の画像中に仮想的に設定した前記自動車の車幅方向の境界を当該自動車の進行方向に延長した線と、当該合成画像に組み合わされた前記第２の画像中に仮想的に設定した前記自動車の車幅方向の境界を当該自動車の進行方向に延長した線とが、前記第１の画像下端の前記第１の画像と第２の画像との境界において接続するように、前記第２の画像を変形することを特徴とする車両周辺画像表示装置。
3. 自動車に搭載される車両周辺画像表示装置であって、
   前記自動車の車幅方向についての中央の位置から当該自動車後方を撮影する第１のカメラと、
   前記自動車の車幅方向について左端の位置から当該自動車後方を撮影する第２のカメラと、
   前記自動車の車幅方向について右端の位置から当該自動車後方を撮影する第３のカメラと、
   前記第２のカメラが撮影した画像である第２の画像を、当該第２の画像の前記車幅方向内側の辺の少なくとも当該第２の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも前記車幅方向外側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形すると共に、前記第３のカメラが撮影した画像である第３の画像を、当該第３の画像の前記車幅方向内側の辺の少なくとも当該第３の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも前記車幅方向外側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形する画像変形手段と、
   前記画像変形手段が変形した前記第２の画像と、前記画像変形手段が変形した前記第３の画像と、前記第１のカメラが撮影した画像である第１の画像とを、画像中の被写体の縮尺が揃うように大きさを調整し、第２の画像中の地平と第１の画像中の地平と第３の画像中の地平とが連続するように組み合わせた合成画像を生成する画像合成手段と、
   前記画像合成手段が生成した合成画像を表示する表示装置とを備えたことを特徴とする車両周辺画像表示装置。
4. 請求項３記載の車両周辺画像表示装置であって、
   前記画像変形手段は、前記合成画像中において、当該合成画像に組み合わされた第１の画像中に仮想的に設定した前記自動車の車幅の左側の境界を当該自動車の進行方向に延長した線と、当該合成画像に組み合わされた前記第２の画像中に仮想的に設定した前記自動車の車幅の左側の境界を当該自動車の進行方向に延長した線とが、前記第１の画像下端の前記第１の画像と第２の画像との境界において接続するように、前記第２の画像を変形すると共に、前記合成画像中において、当該合成画像に組み合わされた第１の画像中に仮想的に設定した前記自動車の車幅の右側の境界を当該自動車の進行方向に延長した線と、当該合成画像に組み合わされた前記第３の画像中に仮想的に設定した前記自動車の車幅の右側の境界を当該自動車の進行方向に延長した線とが、前記第１の画像下端の前記第１の画像と第３の画像との境界において接続するように、前記第３の画像を変形することを特徴とする車両周辺画像表示装置。
5. 自動車の車幅方向についての中央の位置から当該自動車後方を撮影する第１のカメラと、前記自動車の車幅方向について中央からずれた位置から当該自動車後方を撮影する第２のカメラとを備えた、前記自動車に搭載される車両周辺画像表示装置において、自動車後方の状況を表す画像を表示する車両後方画像表示方法であって、
   前記車両周辺画像表示装置が、前記第２のカメラが撮影した画像である第２の画像を、当該第２の画像の車幅方向内側の辺の少なくとも当該第２の画像上の地平よりも下方の部分が当該辺の下部が当該辺の上部よりも車幅方向外側へ位置するように傾き、かつ、当該傾きが当該辺の下方にいくほど漸増するように変形するステップと、
   前記車両周辺画像表示装置が、変形した前記第２の画像と、前記第１のカメラが撮影した画像である第１の画像とを、画像中の被写体の縮尺が揃うように大きさを調整し、第１の画像中の地平と第２の画像中の地平が連続するように組み合わせた合成画像を生成するステップと、
   前記車両周辺画像表示装置が、生成した合成画像を表示するステップとを有することを特徴とする車両後方画像表示方法。