JP2006163792A - 車両用画像生成装置および方法 - Google Patents

Abstract

【課題】車両に設けられた複数のカメラの画像を処理して視点変換した一つの画像を生成する車両用画像生成装置において、画像処理時に飛ばされたピクセルが生じることによる画像情報の欠落を低減する。
【解決手段】再配置テーブル２０７の再配置データ内容に基づいて入力ピクセルデータに対する出力ピクセルデータを演算する際に、再配置テーブル上の、連続した２つの再配置データに対応する入力用フレームバッファ２０３上の２つのピクセルデータ、つまり処理時間軸で隣接する２つのピクセルデータの位置から、所定の処理領域を決定し、該処理領域内の複数のピクセルデータから一つの出力ピクセルデータを求め、それを当該入力ピクセルデータに対する出力ピクセルデータとする車両用画像生成装置。
【選択図】図１

Description

本発明は、車両の運転者に自車両周辺の状況を分かりやすく表示する車両用画像生成装置および方法に関する。

従来の制御装置としては下記特許文献１に記載のものがある。このような従来装置においては、車両周辺の状況を判りやすく表示するために、自車両に周辺の光景を撮像する複数のカメラを設け、それらのカメラで撮像した複数の画像を処理することにより、あたかも自車両の上方に設けた仮想カメラで撮像したような周辺画像を合成して表示するように構成されている（後記図６参照）。
上記のような画像表示を行うと、運転者から直接には見ることの出来ない死角になる位置の画像も含めて、自車両と周辺の物体（周辺の建造物、他車両、歩行者、道路上の白線等）との関係を一目で確認することが出来るので、運転操作が容易、かつ安全になる。

特開２００１−３３９７１６号公報

上記従来例のような画像処理においては、複数のカメラから入力した入力用フレームバッファ上のピクセルデータを、再配置用テーブル上の再配置データに基づき、出力用フレームバッファ上に置き換えて出力画像を生成するが、その際、入力用フレームバッファ上のピクセルデータを全て用いるのではなく、飛び飛びに用いて出力用フレームバッファ上に配置する場合がある。
例えば、後記図６、図７に示したような、複数のカメラ映像を縮退させて合成画像を作る場合には、車両の近傍位置において上記のような状況が発生する。このような状況は、入力用フレームバッファの解像度が高い（単位面積当たりの画素が多い）ほど、出力用フレームバッファの解像度が低い（単位面積当たりの画素が少ない）ほど、顕著に発生する。このような場合には、使用されていないピクセルのデータは出力用フレームバッファに全く反映されないため、出力画像の有効性が低下する、つまり入力画像の情報を十分に反映していない映像となるおそれがある、という問題があった。
本発明は、上記のごとき問題を解決するためになされたものであり、飛ばされたピクセルの情報を取り込み、それを提示画像に反映させることで、情報の欠落を低減させ、より有効な提示画像を生成できる車両用画像生成装置を提供することを目的とする。

上記の問題を解決するため、本発明においては、提示画像を生成する過程において、最小限の計算を行って飛ばされたピクセルの情報を取り込み、それを提示画像に反映させることで、情報の欠落を低減させ、より有効な提示画像を生成出来るようにしている。すなわち、本発明においては、再配置テーブルの再配置データ内容に基づいて入力ピクセルデータに対する出力ピクセルデータを演算する際に、当該入力ピクセルの入力用フレームバッファ上の位置に基づいて所定の処理領域を決定し、該処理領域内の複数のピクセルデータから一つの出力ピクセルデータを求め、それを当該入力ピクセルに対する出力ピクセルデータとして前記出力用フレームバッファに送るように構成している。

上記のように、本発明においては、再配置テーブルの内容に対応した入力フレームバッファ上のピクセル位置に基づいて処理領域を決定し、処理領域内のピクセルデータを用いて当該ピクセル位置の出力用ピクセルデータを計算し、出力画像を生成するので、特別な追加データなしに、従来使用されなかったピクセルデータを出力画像に反映されることが出来る。そのため、出力画像の有効性が向上し、出力画像を利用する運転者の利便性が向上する、という効果がある。

以下、本発明を実施例に基づいて説明する。
図１は、本発明における処理装置の構成を示すブロック図、図６は車両におけるカメラの取付け位置と合成画像の概念図、図７は各カメラの撮像画像と合成画像の一例を示す図である。

まず、図６、図７を用いて画像生成の概念を説明する。
図６（ａ）は車両の上面図であり、丸印はカメラの取付け位置を示す。図示のごとく、自車両１の前後（例えばバンパーの中央付近）および左右（例えばサイドミラー）にそれぞれ広角のカメラ２、３、４、５が設けられており、車両１の前後左右を撮像するように配置されている。
上記のように配置された複数のカメラの画像を処理して合成することにより、図６（ｂ）に示すように、あたかも車両の中心位置上方に配置された仮想カメラ６から撮像したような画像を得ることが出来る。
図６（ｃ）は合成画像の概略図であり、自車両１と後続の他車両８および道路の白線９と横断歩道１０を上面から見た図が示されている。このような画像を表示すれば、運転者の死角となる車両近傍や斜め後方等を容易に確認することが出来る。

図７は、図６に示した各カメラの撮像画像と合成画像の実例を示す図であり、図６（ａ）に示したような自車両の前後左右に設けた４個のカメラの画像を視点変換して合成することにより、中央に示した自車両の画像（上面図）を合成した例を示す。

図６に示した画像合成方法は、前記特許文献１にも記載のように公知である。なお、図６、図７においては、仮想カメラが車両の中心位置上方にあるように画像処理した場合を例示したが、前記特許文献１にも記載のように、視点位置（仮想カメラの位置）は変更可能である。

次に、図１に基づいて本発明の構成を説明する。
図１において、カメラ２０２は車両の周囲を撮像するように複数個設けられている。このカメラ２０２としては、少ない個数で車両の周囲をできるだけ残すところなしに撮像するため、広角のカメラが望ましい。一般には車両の前後左右に各１個の４個設けられる。

処理装置２０１は、入力用フレームバッファ２０３、演算装置２０４（例えばマイクロコンピュータ等）、出力用フレームバッファ２０５および再配置テーブル２０７から構成され、複数のカメラ２０２の各撮像画像を処理（視点変換）して一つの画像に合成し、表示装置２０６で表示する。

入力用フレームバッファ２０３は、各カメラごとに設けられ、カメラ２０２で撮像した各ピクセル（画素）毎の画像信号を映像信号取得回路（図示せず）を介して入力し、一時保存する。この部分の処理は画像処理の分野で公知である。
入力用フレームバッファ２０３は、図２に示すように縦ｘ横ｙのピクセルの集合体となっている。各ピクセルにはインデックスナンバーが振られ、１次元のデータとしてアクセスできる。入力用フレームバッファが複数ある場合には、オフセット値を設けて、ピクセルのインデックスが重複しないようにする。ピクセルはデータを持つ。データの種類は、通常は色情報であるが、カメラが白黒の場合は、明るさ情報だけになる。出力用フレームバッファ２０５も同様の構成である。

演算装置２０４は、入力用フレームバッファ２０３上のデータを出力用フレームバッファ２０５上に並べ替えながらコピーを行う。この再配置ポリシーは、再配置テーブル２０７に記述されている。再配置テーブル２０７は、出力用フレームバッファ２０５のインデックスサイズと同じサイズの再配置データを持ち、出力用フレームバッファ２０５のそれぞれのピクセルと１対１で対応している。再配置テーブル上の再配置データは、出力用フレームバッファ上のピクセルにアクセスするのと同じインデックスナンバーでアクセスできる。再配置データには、入力用フレームバッファ上のピクセルのインデックスナンバーが格納されている。この再配置テーブル２０７に格納されている再配置データに基づいて視点変換等の画像処理がなされる。
出力用フレームバッファ２０５上に生成された画像データは、表示装置２０６を介して、運転者に提示される。

ここで、本発明と比較するため、従来の画像生成装置での演算装置の動作を説明する。従来は、出力用フレームバッファ２０５のピクセル（例えばインデックス０）の元データを取得するために、再配置テーブル２０７の再配置データ（例えばインデックス０）を読み出す。再配置データには、入力用フレームバッファ２０３上のピクセルにアクセスするためのインデックスナンバーが記述されているので、これを利用して、入力用フレームバッファ２０３上のピクセルデータ（色情報または明るさ情報）を取得する。このデータを出力用フレームバッファ２０５のピクセル（例えばインデックス０）の値とする。この操作をインデックス０〜インデックスｘ^＊ｙ−１まで行うと、出力用フレームバッファ２０５のデータが完成する。

次に、本発明の演算装置２０４の動作を説明する。
従来の画像生成装置の場合と同様、出力用フレームバッファのインデックス０からインデックスｘ^＊ｙ−１まで順に処理していく。現在処理しているインデックスナンバーをａとすると、出力用フレームバッファ２０５のピクセル（インデックスａ）の元データを取得するために、再配置テーブル２０７の再配置データ（インデックスａ）を読み出す。再配置データには、入力用フレームバッファ２０３上のピクセルにアクセスするためのインデックスナンバーが記述されている。これを利用することで、入力用フレームバッファ２０３上のピクセルを特定することが出来る。演算装置２０４は同様の処理でインデックスａ−１で処理した入力用フレームバッファ２０３上のピクセルを記憶している。

図３は上記演算の一例を示す図であり、入力用フレームバッファ２０３の一部を示す。入力用フレームバッファ２０３上に、インデックスａの処理で求めたピクセル４０１と、インデックスａ−１の処理で求めたピクセル４０２がある。つまり、ピクセル４０１とピクセル４０２とは、再配置テーブル上で、連続した２つの再配置データで示されている。ただし、図３から判るように、ピクセル４０１とピクセル４０２とは入力フレームバッファ上では連続しておらず離れた位置にある。つまり、再配置テーブル上では連続した２つの再配置データ（時間軸上では隣接したデータ）であるが、再配置データの内容によっては入力フレームバッファ上の位置は離れており、その間のピクセルのデータは従来方法では読み出されない。

図３の場合は、インデックスａとインデックスａ−１の並びに対応する入力用フレームバッファ上のピクセル４０１とピクセル４０２の並びが斜めになっているが、これは、入力画像から出力画像をどのように再配置させるかによって決まる。例えば、図７の中央の俯瞰画像（上方から見た図）が出力画像である場合、俯瞰画像の画素の横の並びに対して、右側の入力画像（車両の右側に設けたカメラの画像）の画素は斜めに対応するので、図３に示したピクセル位置はこのような場合の一例を示している。

演算装置２０４は、ピクセル４０１とピクセル４０２から、処理領域４０３を計算する。この場合、処理領域４０３は、ピクセル４０１とピクセル４０２の２点から決定される矩形領域である。また、処理領域４０３は、図４に示すように、ピクセル４０１とピクセル４０２を線分で繋ぎ、その線分が通過するピクセルの集合５０１で置き換えても良い。

なお、図３の例では再配置する元の画素の並びが斜めになっているため、２つの画素を対角線とする矩形領域または対角線上に存在する画素を処理領域としたが、処理領域の取りかたはこの限りではない。例えば、ピクセル４０２の位置を基準として、その周囲の他ピクセルを少なくとも一つ以上含む所定の領域４０４を処理領域としてもよい。または、再配置テーブル上の、連続した２つの再配置データで示される入力用フレームバッファ上の２つのピクセルデータの位置から、処理領域を決定すればよい。再配置テーブル上の、連続した２つの再配置データとは、処理中のピクセルと、その直前に処理したピクセルとを意味し、このように処理時間軸で隣接する２つのピクセルを対象とすることで、簡単なハードウエアで処理が可能になり、かつ、高速に処理出来る。処理領域は、２点を対角に持つエリアでも良いし、２点をつなぐパスでも良い。このように処理領域を簡単な形状とすることで、処理の高速化が図れる。この際、後記のように、ピクセル情報の重み付けを行い、例えば突出した色情報を大きく反映するなどの処理を行うことで、処理領域内の特殊情報を提示画像に反映させることが出来る。

演算装置２０４は、処理領域４０３に含まれる全てのピクセルのデータと、ピクセル４０１のデータを演算対象ピクセルデータ群とし、演算対象ピクセルデータ群を用いて、出力ピクセルデータを算出する。すなわち、処理中のピクセルの情報と、処理領域内の全てのピクセルの情報を合わせて、当該ピクセルの情報とする。もっとも単純な算出方法は、演算対象ピクセルデータ群の平均値を取る方法である。ピクセルのデータは色情報であるので、色情報をＲＧＢもしくはＨＳＢ、ＣＭＹＫなどの各要素に分解し、それぞれの数値を操作すればよい。なお、ピクセルデータが明るさ情報（白黒カメラ）の場合には、単純に明るさの平均値を求めれば良い。このように従来は全く読みだされなかった処理領域内のピクセルデータをピクセル４０２のデータに反映させることにより、飛ばされたピクセルのデータを生成画像に反映させることが出来る。

また、再配置テーブル２０７のインデックスａに記述されていたピクセルは４０２であり、演算対象ピクセルデータ群の中でも重要度が高いと考えることが出来る。この考え方を優先する場合は、ピクセル４０２のデータの重要度を高くし、ピクセル４０２を除いた演算対象ピクセルデータ群の重要度を低くして、出力ピクセルデータを算出する。例えば、まずピクセル４０２を除いた演算対象ピクセルデータ群の平均を求め、その結果と、ピクセル４０２のピクセルデータとの平均を取り、出力ピクセルデータとする。これにより、ピクセル４０２のピクセルデータはより強く出力ピクセルデータに反映される。

また、演算対象ピクセルデータ群の中に、特別な色データが認められる場合は、その領域内の特殊な点と考えることが出来る。この特殊点を優先する考え方を採用する場合には、以下の手法でデータに重み付けをして出力ピクセルデータを算出する。
まず演算対象ピクセルデータ群の平均を求める。例えば２５６段階の色がある場合には、色データを１〜２５６の数値データとして、演算対象ピクセルの数値データの平均値を求める。次に、演算対象ピクセルデータ群の各ピクセルデータ（各ピクセルの色の数値データ）と、求めた平均との数値上の距離を計算する。平均に近いデータとの距離は小さく、平均から離れた特殊なデータとの距離は大きくなる。この距離をデータの重みとして、演算対象ピクセルデータ群の重み付きの平均（加重平均）をとり、出力ピクセルデータとする。この処理により、たとえば道路上の白線などの情報が単にピクセルデータを平均した場合よりも出力画像によく反映される。

道路上の白線などの情報を出力映像によりよく反映させる方法として、以下の方法もある。
例えば、図５の４０６と４０３と４０５のように連続する処理領域において、情報量の突出した色情報（白色）が連続して存在する場合に、その連続した色情報の重みつけを大きくする。例えば、連続する処理領域に突出する色情報が存在する場合に、前述の実施例の重み付けに対して所定の数値（１より大きい数値で例えば１.１倍）を掛けるといった具合にして重み付けを大きくする。図５に示した場合では、突出した色情報のある処理領域が３回連続して存在するので、前述の実施例の重みつけに対して１.１を３回掛ける。このようにすることで、突出した色情報が連続して存在する処理領域の数が多いほど、重み付けを大きくすることができ、道路上の白線のように色が連続して存在する場合に、その色情報を出力映像により強く反映させることができる。

以上のような方法により、図５において実際には白線（破線で示した範囲）から外れてはいるが白線に近い位置にある画素４０１、４０４の色を白により近づけることができ、表示すべき重要な情報である白線をより映像に反映させることができる。

なお、最初のインデックス０の処理を行なう場合には、その直前に処理しているインデックスがないため、従来の画像生成装置と同じ動作とする。また、入力用フレームバッファが複数有り、ピクセル４０１とピクセル４０２が異なる入力用フレームバッファの上にある場合には、処理領域４０３が求められないため、この場合も、従来の画像生成装置と同じ動作とする。

以上のようにして求めた出力ピクセルデータを、出力用フレームバッファ２０５のインデックスａに書き込む。
インデックス０〜インデックスｘ^＊ｙ−１まで処理を繰り返すことにより、出力用フレームバッファが完成し、表示装置２０６を介して運転者に画像として提示される。

上記のように、本発明においては、再配置テーブルの内容に対応した入力フレームバッファ上のピクセル位置に基づいて処理領域を決定し、処理領域内のピクセルデータを用いて当該ピクセル位置の出力用ピクセルデータを計算し、出力画像を生成するので、特別な追加データなしに、従来使用されなかったピクセルデータを出力画像に反映されることが出来る。そのため、出力画像の有効性が向上し、出力画像を利用する運転者の利便性が向上する。

また、再配置テーブル上の、連続した２つの再配置データの示す入力用フレームバッファの２つのピクセルデータから、処理領域を決定するので、より簡便な処理手順で処理領域が決定され、演算を高速化することができる。

また、２つのピクセルデータで示される矩形領域を処理領域とするので、より簡単なロジックで処理領域を扱うことができ、演算を高速化することができる。

また、２つのピクセルデータをつなぐ線分が通過するピクセルデータの集合を処理領域とすることで、より簡単なロジックで処理領域を扱うことができ、演算を高速化することができる。

また、再配置データの示す入力用フレームバッファのピクセルデータと、処理領域内のピクセルデータを重み付けして扱い、出力用ピクセルデータを計算するので、適切な割合で、従来使用されなかったピクセルの情報を出力画像に反映させることが出来る。

また、処理領域内のピクセルデータで突出したデータをピックアップして扱い、出力用ピクセルデータを計算するので、従来使用されなかった領域内の特別な情報を出力画像に反映させることが出来る。

また、連続する処理領域について突出したピクセルデータが存在する場合には、その突出したピクセルデータの重み付けを大きくすることにより、道路上の白線のように色が連続して存在する場合に、その色情報を出力映像により強く反映させることができる。

本発明の一実施例の構成を示すブロック図。 フレームバッファの構成を示す図。 処理領域を説明するためのフレームバッファの一部を示す図。 処理領域を説明するためのフレームバッファの一部を示す図。 他の処理方法を説明するためのフレームバッファの一部を示す図。 車両におけるカメラの取付け位置と合成画像の概念図。 各カメラの撮像画像と合成画像の一例を示す図。

符号の説明

１…自車両 ２、３、４、５…カメラ
６…仮想カメラ ８…他車両
９…道路の白線 １０…横断歩道
２０１…処理装置 ２０２…カメラ
２０３…入力用フレームバッファ ２０４…演算装置
２０５…出力用フレームバッファ ２０６…表示装置
２０７…再配置テーブル
４０１…インデックスａで指定されたピクセル
４０２…インデックスａ−１で指定されたピクセル
４０３、４０５、４０６…処理領域の例
５０１…他の処理領域の例

Claims (9)

1. 車両に設けられた複数のカメラで撮像した画像を入力し一時保存する入力用フレームバッファと、
   出力する生成画像を一時保存する出力用フレームバッファと、
   入力用フレームバッファの各ピクセルについての再配置データを記憶している再配置テーブルと、
   前記入力用フレームバッファのデータを前記再配置データに基づいて処理した後、前記出力用フレームバッファに格納する演算手段と、
   前記出力用フレームバッファの画像を表示する表示手段と、
   を備え、車両に設けられた複数のカメラの画像を処理して視点変換した一つの画像を生成する車両用画像生成装置において、
   前記演算手段は、前記再配置テーブルの再配置データ内容に基づいて入力ピクセルデータに対する出力ピクセルデータを演算する際に、当該入力ピクセルの入力用フレームバッファ上の位置に基づいて所定の処理領域を決定し、該処理領域内の複数のピクセルデータから一つの出力ピクセルデータを求め、それを当該入力ピクセルに対する出力ピクセルデータとして前記出力用フレームバッファに送出することを特徴とする車両用画像生成装置。
2. 再配置テーブル上の、連続した２つの再配置データで示される入力用フレームバッファ上の２つのピクセルデータの位置から、前記処理領域を決定することを特徴とする請求項１に記載の車両用画像生成装置。
3. 前記２つのピクセルデータで示される矩形領域を前記処理領域とすることを特徴とする請求項２に記載の車両用画像生成装置。
4. 前記２つのピクセルデータをつなぐ線分が通過するピクセルデータの集合を前記処理領域とすることを特徴とする請求項２に記載の車両用画像生成装置。
5. 再配置データで示される入力用フレームバッファ上のピクセルデータと、前記処理領域内に存在する他のピクセルデータとにそれぞれ重み付けをして出力ピクセルデータを演算することを特徴とする請求項１乃至請求項４の何れかに記載の車両用画像生成装置。
6. 再配置データで示される入力用フレームバッファ上のピクセルデータについての重み付けを処理領域内の他のピクセルデータの重み付けよりも大きくすることを特徴とする請求項５に記載の車両用画像生成装置。
7. 前記処理領域内のピクセルデータのうちで、情報量の突出したデータについての重み付けを大きくすることを特徴とする請求項５に記載の車両用画像生成装置。
8. 連続する処理領域について情報量の突出したピクセルデータが存在する場合には、その突出したピクセルデータの重み付けを大きくすることを特徴とする請求項５に記載の車両用画像生成装置。
9. 車両に設けられた複数のカメラで撮像した画像を入力し一時保存する入力用フレームバッファと、
   出力する生成画像を一時保存する出力用フレームバッファと、
   入力用フレームバッファの各ピクセルについての再配置データを記憶している再配置テーブルと、
   前記入力用フレームバッファのデータを前記再配置データに基づいて処理した後、前記出力用フレームバッファに格納する演算手段と、
   前記出力用フレームバッファの画像を表示する表示手段と、
   を備え、車両に設けられた複数のカメラの画像を処理して視点変換した一つの画像を生成する車両用画像生成方法であって、
   前記演算手段は、前記再配置テーブルの再配置データ内容に基づいて入力ピクセルデータに対する出力ピクセルデータを演算する際に、当該入力ピクセルの入力用フレームバッファ上の位置に基づいて所定の処理領域を決定し、該処理領域内の複数のピクセルデータから一つの出力ピクセルデータを求め、それを当該入力ピクセルに対する出力ピクセルデータとして前記出力用フレームバッファに送出することを特徴とする車両用画像生成方法。

Images