JP6747176B2 - 画像処理装置、撮影装置、プログラム、機器制御システム及び機器 - Google Patents

Description

本発明は、画像処理装置、撮影装置、プログラム、機器制御システム及び機器に関する。

撮影装置の経時的な位置ずれに起因する撮影画像における座標のずれを補正する技術が知られている。このような技術は、例えば、撮像装置であるステレオカメラにより撮影された撮影画像における座標のずれを補正する場合などに用いられる。

ステレオカメラでは、２台の撮影ユニットで同時に同じ被写体を撮影することで、各撮影画像内の被写体像の差分から、被写体に含まれる障害物等の特定物までの距離を算出することができる。このようなステレオカメラは、例えば、車両に搭載され、車両制御システムに利用される。車両制御システムでは、一定のフレーム間隔で撮影と測距を繰り返し、撮影画像内の被写体に含まれる特定物までの距離に関する情報を含む視差画像を動画として生成する。車両制御システムは、当該視差画像を利用して路線逸脱や障害物などを検知し、回避制御等に利用している。

このようなステレオカメラによって、正確に距離を計測するには、各撮影ユニットが備えるカメラの歪曲特性や、撮影素子などの構成部材の相対位置が既知でなければならない。しかしながら、現実には、経時変化や温度特性等に起因する撮影装置の微小な変形は避けられない。そのため、ステレオカメラでは、周期的な測距動作と並行して、撮影画像における座標のずれを補正する自動キャリブレーションが行われている。自動キャリブレーションでは、撮影画像やその他のセンサ等の情報を利用して、２台の撮影ユニット間の相対位置や方向等のカメラ特性のずれを計測し、撮影画像の座標のずれを補正している。

ここで、例えば、撮影画像の座標のずれを補正する際に、補正量が大きい場合でも、補正された撮影画像を利用する制御システムにおいて、障害物等の特定物の誤認識を発生させない撮影装置が知られている（特許文献１参照）。この特許文献１の撮影装置では、撮影画像の座標のずれを補正する補正式の係数を定期的に更新する際に、補正式の各項について、更新前の係数と更新後の係数の差分を算出し、更新前の係数に差分を複数に分割した値を順次加算することによって係数を複数回に分けて更新するものである。

しかしながら、上述した特許文献１の撮影装置では、撮影画像の座標のずれを補正する際に、撮影画像を利用する制御システムにおいて障害物等の特定物を認識中であった場合に当該特定物を誤認識してしまうという問題があった。

本発明は、上記に鑑みてなされたものであって、補正された撮影画像を利用して特定物を認識する際に、誤認識を抑制する画像処理装置、撮影装置、プログラム、機器制御システム及び機器を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、撮影部において撮影された撮影画像に生ずる座標のずれを、記憶部において記憶された補正パラメータにより補正する補正部と、前記撮影画像に基づいて前記補正パラメータを生成し、前記記憶部に記憶されている前記補正パラメータを更新する更新部と、前記補正パラメータが更新された場合、前記撮影画像に含まれる特定物の参照状態を未参照状態に更新する参照処理部と、を備え、前記参照処理部は、前記特定物の前記参照状態を前記未参照状態に更新した場合、前記撮影画像を更新された前記補正パラメータにより補正された補正画像を用いて前記特定物に対する参照処理を行い、前記特定物の前記参照状態を維持した場合、前回の前記参照処理の結果を用いて前記特定物に対する前記参照処理を行う。

本発明によれば、補正された撮影画像を利用して特定物を認識する際に、誤認識を抑制するという効果を奏する。

図１は、実施形態にかかるステレオカメラの斜視図である。 図２は、実施形態にかかる車両の一例を示す正面図である。 図３は、実施形態にかかる車両制御システムの一例を示す全体構成図である。 図４は、実施形態にかかるステレオカメラのハードウェア構成図である。 図５は、実施形態にかかるステレオカメラを用いた距離の計測原理の説明図である。 図６は、実施形態にかかるステレオカメラの機能ブロック図である。 図７は、実施形態にかかるステレオカメラで実行される撮影画像の座標のずれの補正例を模式的に示す図である。 図８は、実施形態にかかるステレオカメラによる参照処理の流れの一例を示すフローチャートである。

以下に添付図面を参照して、画像処理装置、撮影装置、プログラム、機器制御システム及び機器の実施の形態を詳細に説明する。まず、撮影装置の一例であるステレオカメラと、ステレオカメラを備える車両（機器の一例）について説明する。図１は、本実施形態にかかるステレオカメラの斜視図である。図２は、実施形態にかかるステレオカメラを搭載した車両の一例を示す正面図である。

図１に示すようにステレオカメラ１０は、筐体１１０から１対の撮影レンズ１２ａ、１２ｂが外部に露出している。ステレオカメラ１０は、図２に示すように車両５００のフロントガラス５１１の内側（車室５１０側）の上部に取り付けられる。具体的には、車両５００のインナーリアビューミラー５２０の設置位置付近に取り付けられる。

なお、ステレオカメラ１０の取付位置は、上記の位置に限るものではなく、車両５００の進行方向の前方の状況を認識するための情報を取得できる位置であればよい。本実施形態において、車両５００の幅方向（紙面左右方向）を車幅方向、紙面を貫く方向を車両の進行方向とする。

ステレオカメラ１０は、測定対象との距離が変化する機器に設置される。ステレオカメラ１０を設置する機器は、本実施形態のような車両５００に限定されるものではない。例えば、船舶や鉄道等の移動体などに設置することもできる。また、ＦＡ（Factory Automation）に用いることもでき、この場合に建物などの固定物にステレオカメラ１０を設置すればよい。ステレオカメラ１０は、後述するように被写体を撮影した画像データから、被写体に含まれる障害物等の特定物（測定対象）までの距離を求める（距離情報を取得する）。ステレオカメラ１０の測定対象は、他の移動体や人物や動物などである。

次に、機器制御システムの実施形態である車両制御システムについて説明する。図３は、実施形態にかかる車両制御システムの一例を示す全体構成図である。図３示すように、ステレオカメラ１０は、車両５００の進行方向を撮影できるように設置される。そのため、撮影レンズ１２ａ、１２ｂは所定の方向に向けられている。車両制御システム３００は、ステレオカメラ１０と連動して、車両５００の進行方向に存在する特定物（測定対象）を撮影する。なお、車両制御システム３００が機器制御システムの一例である。

車両制御システム３００は、ステレオカメラ１０と、制御装置３０１と、ステアリングホイール３０２と、ブレーキペダル３０３と、を備えている。

次に、ステレオカメラのハードウェア構成について説明する。図４は、実施形態にかかるステレオカメラのハードウェア構成図である。図４に示すように、ステレオカメラ１０は、２つの単体カメラである、第１カメラ１と第２カメラ２とを有している。第１カメラ１とは、例えば、撮影レンズ１２ａに対応する撮影素子を備える単体カメラである。また、第２カメラ２とは、例えば、撮影レンズ１２ｂに対応する撮影素子を備える単体カメラである。

さらに、ステレオカメラ１０は、制御部３、主記憶部４、補助記憶部５、および通信Ｉ／Ｆ部６、を有している。第１カメラ１と第２カメラ２、制御部３、主記憶部４、補助記憶部５、通信Ｉ／Ｆ部６は、バス７を介して互いに接続されている。

ここで、ステレオカメラ１０と車両制御システム３００との関係について説明する。図３に示す車両制御システム３００の制御装置３０１は、ステレオカメラ１０から受信した視差画像１１５（図６参照）に基づいて算出される情報により、車両５００の各種の制御を実行する。なお、視差画像１１５の詳細については後述する。

制御装置３０１において実行される制御は、例えば、ステレオカメラ１０から受信した視差画像１１５に基づき算出される特定物までの距離に応じて、ステアリングホイール３０２を含むステアリング系統（制御対象）を動作させる制御である。このステアリング制御によって、車両５００の進行方向に存在する障害物等の特定物を回避するように車両５００を動作させることができる。

また、ステレオカメラ１０から受信した視差画像１１５に基づき算出される特定物までの距離に応じて、ブレーキペダル３０３を含むブレーキ系統（制御対象）を動作せる制御である。このブレーキ制御により、車両５００を自動的に減速または停止させることができる。

以上例示したように、車両制御システム３００は、車両５００のステアリング制御やブレーキ制御をステレオカメラ１０から受信した視差画像１１５に基づいて実行させることができる。これによって、車両５００の運転時の安全性を向上させることができる。

なお、上記の説明では、ステレオカメラ１０の撮影対象を車両５００の前方にしたが、これに限定されるものではない。すなわち、車両５００にステレオカメラ１０を設置するときに、車両５００の後方または側方を撮影するように設置してもよい。この場合、ステレオカメラ１０は、車両５００の後方の後続車、または側方を並進する他の車両等の距離を検出することができる。そして、制御装置３０１は、車両５００の車線変更時または車線合流時等における危険を検知して、上記の制御を実行することができる。

また、制御装置３０１は、車両５００の駐車時等におけるバック動作において、ステレオカメラ１０によって検出された車両５００の後方の障害物などの特定物の視差画像１１５に基づいて、衝突の危険があると判断した場合に、上記の制御を実行することができる。

図４に戻り、制御部３は、補助記憶部５から主記憶部４に読み出されたプログラムを実行するＣＰＵ（Central Processing Unit）である。主記憶部４は、不揮発性記憶部であるＲＯＭ（Read Only Memory）や揮発性記憶部であるＲＡＭ（Random Access Memory）等を備える記憶部である。補助記憶部５は、メモリカード等である。通信Ｉ／Ｆ部６は、ネットワークを介して、他の装置と通信するためのインタフェースである。

ステレオカメラ１０において実行されるプログラムは、主記憶部４に含まれるＲＯＭに予め組み込まれているものとする。プログラムの詳細な説明は後述する。

なお、プログラムは、上記のように予め主記憶部４に組み込まれる「組み込みタイプ」以外のものでもよい。例えば、プログラムをステレオカメラ１０に対して後にインストールできる形式にして、コンピュータで読み取り可能な記録媒体に記録されてコンピュータ・プログラム・プロダクトとして提供してもよい。コンピュータで読み取り可能な記録媒体とは、例えば、ＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等である。

また、プログラムをインターネット等のネットワークに接続されたコンピュータ上に格納し、ステレオカメラ１０にプログラムをネットワーク経由でダウンロードさせて、これをインストールする方式で提供するように構成してもよい。

ステレオカメラ１０の場合、制御部３がＲＯＭからプログラムを読み出して実行することで、後述する各機能を実行することができる。

なお、各機能の一部、又は全部を、ソフトウェアにより実現せずに、ＩＣ（Integrated Circuit）等のハードウェアにより実現してもよい。また、本実施形態のステレオカメラ１０では、２つの単体カメラを備えるものを例にしている。しかしながら、撮影部の数は２つに限られず、１以上の撮影部であればよい。例えば、１つの撮影部を備える単眼カメラにおいても同様の構成とすることができる。

次に、ステレオカメラ１０を用いた距離の計測原理について説明する。図５は、実施形態にかかるステレオカメラを用いた距離の計測原理の説明図である。図５では、ステレオカメラ１０が有する第１カメラ１および第２カメラ２の配置と、第１カメラ１および第２カメラ２によって撮影される被写体に含まれる特定物Ａとの関係を示している。図５において、第１カメラ１と第２カメラ２の並び方向をＸ軸方向、Ｘ軸方向に直交し特定物Ａのある方向すなわち第１カメラ１と第２カメラ２の光軸方向をＺ軸方向、Ｘ軸方向とＺ軸方向に直交する方向をＹ軸方向として表している。

第１カメラ１の焦点距離をｆ、光学中心をＯ_０、第１カメラ１が備える撮影素子において特定物Ａの像が結像する撮影面をＳ_０とする。同様に、第２カメラ２の焦点距離をｆ、光学中心をＯ_１、第２カメラ２が備える撮影素子において特定物Ａの像が結像する撮影面をＳ_１とする。撮影面Ｓ_０と撮影面Ｓ_１は、それぞれ、Ｚ軸方向を向いていて、第１カメラ１と第２カメラ２の光軸方向に直交している。また、第１カメラ１と第２カメラ２は、Ｘ軸方向に基線長Ｂだけ離れた位置に配置されている。

第１カメラ１の光学中心Ｏ_０からＺ軸方向に距離ｄだけ離れた位置にある特定物Ａの像は、直線Ａ−Ｏ_０と撮影面Ｓ_０の交点である位置Ｐ_０に結ばれる。一方、同じ特定物Ａの像が第２カメラ２の撮影面Ｓ_１では、位置Ｐ_１に結ばれる。

ここで、第２カメラ２の光学中心Ｏ_１を通る直線であって直線Ａ−Ｏ_０と平行な直線と撮影面Ｓ_１との交点を位置Ｐ_０'とする。また、位置Ｐ_０'と位置Ｐ_１の差を視差ｐとする。視差ｐは、同じ特定物Ａを第１カメラ１と第２カメラ２で撮影したときの各画像における特定物Ａの結像位置のずれ量に相当する。以下において、この結像位置のずれ量を視差ｐと表記する。

図５に示すように、上記の条件において規定される三角形Ａ−Ｏ_０−Ｏ_１と、三角形Ｏ_１−Ｐ_０'−Ｐ_１は相似形である。したがって、特定物Ａまでの距離ｄはＢ×ｆ／ｐという式によって得ることができる。以上のとおり、ステレオカメラ１０を用いて特定物Ａまでの距離ｄを算出するには、第１カメラ１と第２カメラ２の乖離距離である基線長Ｂと、各カメラの焦点距離ｆと、特定物Ａの結像位置のずれ量である視差ｐを明らかにすればよい。

次に、本実施形態に係るステレオカメラ１０が備える画像処理装置１１について図を用いて説明する。図６は、実施形態にかかるステレオカメラの機能ブロック図である。図６に示すように、ステレオカメラ１０は、第１撮影部１０１と、第２撮影部１０２と、画像処理装置１１と、記憶部１０３と、を有している。画像処理装置１１は、すでに説明をしたステレオカメラ１０のハードウェア資源（図４参照）を用いて実行するプログラムにより実現される。

ステレオカメラ１０が有する画像処理装置１１は、更新部１０４と、補正部１０６と、視差算出部１０７と、認識部１０８および追跡部１０９を有する参照処理部１０５と、を有している。画像処理装置１１の各機能ブロックは、すでに説明をしたステレオカメラ１０のハードウェア資源（図４参照）を用いて実行されるプログラムにより実現される。なお、視差算出部１０７や、認識部１０８、追跡部１０９は、画像処理装置１１とは分離して、ステレオカメラ１０とは異なる別のハードウェア上で実行されてもよい。

認識部１０８は、第１撮影部１０１および第２撮影部１０２において取得された撮影画像に含まれる特定物を認識する認識処理を実行する。認識処理としては、テンプレートマッチングやＨｏｇ特徴量の利用等による公知の処理方法を利用できる。

追跡部１０９は、第１撮影部１０１および第２撮影部１０２において取得された撮影画像中の前フレームにおいて認識された特定物を現フレームにおいて追跡する追跡処理を実行する。追跡処理としては、オプティカルフローを用いる等の公知の処理方法を利用できる。

第１撮影部１０１は、第１カメラ１の撮影動作の制御と、第１カメラ１の撮影素子から出力される信号に基づいて第１撮影画像を生成する処理を実行する。第２撮影部１０２は、第２カメラ２の撮影動作の制御と、第２カメラ２の撮影素子から出力される信号に基づいて第２撮影画像を生成する処理を実行する。第１撮影部１０１と第２撮影部１０２によって、第１カメラ１と第２カメラ２は互いの撮影タイミングを同期して撮影することができる。従って、第１撮影画像と第２撮影画像は、同じ方向を同時に撮影して得られた画像である。

第１撮影画像と第２撮影画像は、記憶部１０３によって主記憶部４に含まれるＲＡＭに撮影画像１１１として記憶される。以下の説明において、第１撮影画像と第２撮影画像を区別しないときは、単に、撮影画像１１１と表記する。また、第１撮影部１０１および第２撮影部１０２は、撮影部に相当する。

記憶部１０３は、第１撮影部１０１、第２撮影部１０２、更新部１０４、補正部１０６、視差算出部１０７、からの各種情報を主記憶部４に含まれるＲＡＭまたはＲＯＭへ記憶・保存する処理を実行する。また、記憶部１０３は、ＲＡＭまたはＲＯＭに記憶・保存されている各種情報を読み出す処理を実行する。記憶部１０３によってＲＡＭまたはＲＯＭに記憶される各種情報は、図６に示すように、撮影画像１１１、補正パラメータ１１２、補正画像１１４、および視差画像１１５などである。

更新部１０４は、ＲＡＭまたはＲＯＭに記憶されている撮影画像１１１を読み出し、この撮影画像１１１に基づいて、補正パラメータ１１２を生成する処理を実行する。また、更新部１０４は、生成された補正パラメータ１１２をＲＡＭまたはＲＯＭに記憶する。

補正パラメータ１１２は、第１カメラ１および第２カメラ２の経時的な位置ずれに起因する第１撮影画像と第２撮影画像の座標のずれを補正するためのパラメータである。更新部１０４は、定期的に補正パラメータ１１２を生成し、生成した補正パラメータ１１２をＲＡＭまたはＲＯＭに記憶する。補正パラメータ１１２が生成されたとき、すでにＲＡＭに補正パラメータ１１２が記憶されている場合には、更新部１０４は、新たに生成した補正パラメータ１１２を用いて古い補正パラメータ１１２を定期的に上書きする。この上書き処理を「補正パラメータ１１２の更新処理」という。

なお、補正パラメータ１１２の更新処理を実行する前に、一旦、新たに生成された補正パラメータ１１２をＲＯＭに書き込んで記憶するように処理すれば、更新処理の前段でステレオカメラ１０の電源がオフになったとしても、最新の補正パラメータ１１２を保護することができる。この場合、ステレオカメラ１０の電源がオンになったとき、ＲＯＭに補正パラメータ１１２が記憶されていれば、この最新の補正パラメータ１１２を用いてＲＡＭを初期化すればよい。

なお、補正パラメータ１１２の更新処理は、種々の方法のうち、適宜選択して用いればよい。例えば、補正パラメータ１１２を、変換前の座標と変換後の座標の組から、最小二乗法等によって近似することにより更新してもよい。

補正部１０６は、記憶部１０３によってＲＡＭに記憶された補正パラメータ１１２を読み出し、これを用いて撮影画像１１１に対する補正処理を実行する。この補正処理によって撮影画像１１１から補正画像１１４が生成される。生成された補正画像１１４は、記憶部１０３によってＲＡＭに記憶される。

ここで、補正部１０６において実行される補正処理について説明する。ＲＡＭに記憶されている撮影画像１１１は、すでに述べたとおり、第１撮影画像と第２撮影画像である。補正パラメータ１１２は、第１カメラ１および第２カメラ２の経時的な位置ずれに起因する第１撮影画像と第２撮影画像の座標のずれを補正する補正式に用いられる補正係数である。例えば、補正パラメータ１１２を用いる補正式は以下の式（１）のようになる。

式（１）
ｘ'＝ａ_０＋ａ_１ｘ＋ａ_２ｙ＋ａ_３ｘ^２＋ａ_４ｘｙ＋ａ_５ｙ^２
ｙ'＝ｂ_０＋ｂ_１ｘ＋ｂ_２ｙ＋ｂ_３ｘ^２＋ｂ_４ｘｙ＋ｂ_５ｙ^２

上記の補正式において、ｘとｙは変換元の座標であって、ｘ'とｙ'は変換後の座標で
ある。補正パラメータ１１２は、式（１）の補正式の係数であるａ_０〜ａ_５及びｂ_０〜ｂ_５である。すなわち、記憶部１０３によってＲＡＭには、このａ_００〜ａ_５及びｂ_０〜ｂ_５が記憶されている。

なお、上記の補正式において、補正後の画像である補正画像１１４の座標をｘとｙとし、補正前の画像である撮影画像１１１の座標をｘ'とｙ'として補正処理を実行してもよい。すなわち、上記の補正式を用いた補正処理では、座標変換後の座標を基準にしてもよいし、座標変換前の座標を基準にしてもよい。

また、補正パラメータ１１２は、上記の多項式の係数だけでなく、ルックアップテーブルのようなものでもよい。例えば、画素あるいは画素群ごとに補正値（ｘ方向の画素ずれ量とｙ方向の画素ずれ量）を記憶しておき、それらを補正パラメータ１１２としてもよい。なお、多項式を用いる方が、記憶する補正パラメータ１１２の量を削減できるので好ましい。

以上のとおり、記憶部１０３によって主記憶部４のＲＡＭに記憶される補正画像１１４は、補正部１０６によって、上記の式（１）と補正パラメータ１１２を用いた補正処理を撮影画像１１１に対して行って得られた画像である。

ここで、補正部１０６において実行される撮影画像１１１の座標のずれの補正について説明する。図７は、実施形態にかかるステレオカメラで実行される撮影画像の座標のずれの補正例を模式的に示す図である。補正部１０６において実行される座標のずれの補正は、座標変換処理である。補正部１０６は、すでに説明をした補正式と補正パラメータ１１２を用いて、補正後画像である補正画像１１４の座標と補正前画像である撮影画像１１１の座標を変換する処理を実行する。

なお、補正画像１１４の画素値を決定するために、補正式により対応する撮影画像１１１の画素値を参照する。このとき、変換後の座標の値が整数にならないことがある。そこで、補正部１０６は、図７において点線で示すように、座標の値が整数にならない座標の画素値を撮影画像１１１上の周囲の画素値から補間する画素値補間処理を実行する。

補正部１０６は、例えば、双１次補間すなわちバイリニア補間により画素値補間処理を行う。補正部１０６は、全画素について、上記の補正式による座標変換と画素値補間処理とを実行し、撮影画像１１１の幾何補正を行って補正画像１１４を生成する。

図６に戻り、視差算出部１０７は、補正された撮影画像１１１である補正画像１１４を用いて、すでに説明をした測距原理に基づいて視差ｐを算出する処理を実行する。また、視差算出部１０７は、視差ｐを用いて、撮影画像１１１の座標の視差情報を含む視差画像１１５を生成する。生成された視差画像１１５は、記憶部１０３によってＲＡＭに記憶される。

視差算出部１０７における視差算出方法は、周知の平行等位ステレオカメラにおける視差算出方法と同である。例えば、第１撮影画像を基準画像にした場合、第１撮影画像から抽出される特徴点周辺の画像領域と、比較対象の画像となる第２撮影画像上の対象候補となる画像領域を、１画素単位でずらしながら、両画像領域の相関の指標となる値を算出する。相関の指標となる値は、例えば、両画像領域内の画素の輝度値の総和を比較した値である。また、相関の指標となる値としてＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross Correlation）が利用できる。算出された値の最大値付近を、放物線などを用いて補完することにより、画素単位以下の精度で視差ｐを算出する。

なお、１画素以下の視差ｐは信頼性が低くなるため、視差算出部１０７は１画素以下の視差ｐは１画素に切り上げる。すなわち、ステレオカメラ１０における最小の視差画素は１画素になる。

ステレオカメラ１０において、上記のプログラムが有する各部の処理は、周期的に実行される。これによって、撮影画像１１１の撮影、補正パラメータ１１２の算出と更新、補正画像１１４の生成と記憶、視差画像１１５の生成と記憶は、周期的に繰り返し実行される。すなわち、ステレオカメラ１０において、視差画像１１５は繰り返し生成されて、主記憶部４に含まれるＲＡＭに記憶される。

このように、ステレオカメラ１０は、撮影画像１１１の撮影処理から補正パラメータ１１２の更新処理を実行して、その後、視差画像１１５を生成する処理までを周期的に実行する。

ここで、車両制御システム３００が障害物等の特定物の認識や追跡を行っている最中に、ステレオカメラ１０側で、補正パラメータ１１２の更新処理が行われた場合に生じる車両制御システム３００における特定物の誤認識について説明する。更新された補正パラメータ１１２に基づいて視差画像１１５が生成されると、同じ撮影画像１１１に基づく視差画像１１５であっても、車両制御システム３００における障害物等の特定物の認識結果が異なる可能性がある。

例えば、車両５００からの実際の距離が１００ｍの障害物等をステレオカメラ１０が撮影した場合に生成される視差画像１１５において、障害物等の視差ｐが１画素になると仮定する。また、ステレオカメラ１０における、上記の障害物等を含む撮影画像１１１に対する視差の誤差が−０．５画素であると仮定する。このステレオカメラ１０を用いて、あるフレームで得られた撮影画像１１１に基づき視差画像１１５を生成すると、上記の障害物等に関する視差ｐは１画素になるべきところ、誤差の影響によって０．５画素になる。この結果に基づく車両制御システム３００の認識処理では、０．５画素に対応する距離を認識することになるので、当該障害物等との距離は２００ｍとして認識する。

車両制御システム３００が障害物等の認識や追跡をする処理を実行中に、ステレオカメラ１０側では、次のフレームにおいて、補正パラメータ１１２が更新されることがある。そうすると、上記のような視差の誤差が正しく補正された補正画像１１４に基づいて視差画像１１５が生成されることになる。この場合、誤差−０．５画素の影響を受けないから、このフレームにおける障害物等に関する視差ｐは１画素になる。つまり、車両制御システム３００は、前のフレームでは２００ｍにあると認識した障害物等が、このフレームでは１００ｍにあると認識する結果になる。これらの結果から車両制御システム３００が次のフレームにおける障害物等の距離を予測すると、その距離は０ｍになる。そうすると、車両制御システム３００は、障害物等への衝突を予想して、この障害物等を回避するような緊急制動などを実行する可能性がある。

通常の車両制御システム３００では、上記のような制御を開始するまでに複数回の衝突判定を行う等のマージンを設けている。すなわち、数フレームにわたって衝突する可能性があると判定された場合に、車両５００に対するステアリング制御やブレーキ制御を実行するようにし、車両制御の安定性を確保する構成を備える。そのため、上記のような状況において必ずしも不要な制御が発生するとは限らない。しかし、ステレオカメラ１０単体の信頼性は高い方が望ましい。

通常は、ステレオカメラ１０における補正処理が有効に働いていれば、座標のずれが生じても即補正される。そのため、上に説明したような視差の誤差の影響は生じないことが多い。しかし、ステレオカメラ１０の起動後や、最初の自動キャリブレーション更新時、短時間でカメラ特性が大きく変化する場合などでは、ある程度大きな座標のずれが一度に計測される可能性がある。補正部１０６がこの座標のずれを補正すると、計測結果の距離が大きく変化してしまう可能性がある。

なお、短時間でステレオカメラ１０の特性が大きく変化する場合として、例えば、日影から日向へ車両５００を移動させた場合や、車内冷暖房を稼働させた場合に起きる温度変化等があげられる。本実施形態においては、経時変化や上記の温度変化等に対応するため、車両５００の走行時において自動キャリブレーションを行う。自動キャリブレーションの方法は、公知の方法を取り得る。

本実施形態では、上述のような車両制御システム３００における障害物等の特定物の誤認識を抑制するため、参照処理部１０５（認識部１０８および追跡部１０９）は、以下のような処理を行う。

認識部１０８および追跡部１０９を有する参照処理部１０５は、補正部１０６により補正パラメータ１１２が更新された場合、撮影画像１１１に含まれる障害物等の特定物の参照状態を未参照状態に更新する。ここで、参照状態とは、認識部１０８により特定物を認識している状態、または、特定物を認識して追跡部１０９により特定物を追跡している状態をいう。また、未参照状態とは、認識部１０８により特定物を認識している状態、および追跡部１０９により特定物を追跡している状態を初期化（リセット）した状態をいう。

ここで、例えば、認識部１０８により特定物が認識された場合は、撮影画像１１１中において当該特定物に相当する画素群に対して認識フラグＲが立てられる。ここで「認識フラグＲが立つ」とは、認識フラグＲに値「１」を設定することをいう。したがって、認識フラグＲの値が「１」になっている画素群が、認識部１０８により認識され、追跡部１０９による追跡処理の対象とされる。本実施形態においては、認識フラグＲが立てられた画素が存在する場合、すなわち認識フラグＲの値が「１」の場合、認識部１０８により認識され、追跡部１０９が追跡状態である参照状態となる。また、認識フラグＲの値を「１」から「０」にすることで、上述した初期化を行うことになる。

認識部１０８および追跡部１０９は、補正パラメータ１１２が更新されたことにより、特定物の参照状態を未参照状態に更新した場合（認識フラグＲの値を「１」から「０」にした場合）、更新された補正パラメータ１１２により撮影画像１１１を補正した補正画像１１４を用いて、特定物に対する参照処理である認識処理あるいは追跡処理を行う。

一方、認識部１０８および追跡部１０９は、補正パラメータ１１２が更新されていないことにより、特定物の参照状態を維持した場合（認識フラグＲの値を「１」のままにした場合）、前回の参照処理の結果（認識結果あるいは追跡結果）を用いて特定物に対する参照処理である認識処理あるいは追跡処理を行う。

認識部１０８および追跡部１０９は、特定物が予め定めた所定距離以上離れている場合に、特定物の参照状態を未参照状態に更新する構成としてもよい。これにより、車両制御において重要な近距離の特定物を続けて参照し続けることができる。一方で、遠距離にある特定物を未参照状態にして、当該特定物を初期状態から改めて認識し直すことで、特定物の誤認識を防止し、車両制御システム３００の安全性を高めることができる。

次に、本実施形態に係るステレオカメラ１０において実行される参照処理の流れについて説明する。図８は、実施形態にかかるステレオカメラによる参照処理の流れを示すフローチャートである。

図８に示すように、まず、第１撮影部１０１および第２撮影部１０２は、被写体を撮影した撮影画像１１１（第１撮影画像および第２撮影画像）を取得する（ステップＳ１０）。そして、更新部１０４は、撮影画像１１１に基づいて、第１撮影部１０１または第２撮影部１０２、あるいは両方の撮影部の経時的な位置ずれに起因する撮影画像１１１における座標ずれを補正する補正式の係数（補正パラメータ１１２）を生成する（ステップＳ１１）。

次に、更新部１０４は、生成した補正パラメータ１１２を記憶部１０３に記憶して、補正パラメータ１１２を更新する（ステップＳ１２）。そして、補正部１０６は、補正パラメータ１１２を用いて、撮影画像１１１を補正して補正画像１１４を生成し、記憶する（ステップＳ１３）。視差算出部１０７は、補正画像１１４を用いて視差を算出して、視差画像１１５を生成する（ステップＳ１４）。

そして、認識部１０８および追跡部１０９は、更新部１０４により補正パラメータ１１２が更新されているか否かを判断する（ステップＳ１５）。補正パラメータ１１２が更新されている場合（ステップＳ１５：Ｙｅｓ）、認識部１０８または追跡部１０９は、認識状態あるいは追跡状態である参照状態を初期化（リセット）する（ステップＳ１６）。すなわち、例えば、認識フラグＲの値を、「１」から「０」にする。そして、視差算出部１０７は、補正画像１１４により視差画像１１５を生成し、生成された視差画像１１５を用いて認識部１０８が認識処理を行い、追跡部１０９が追跡処理を行う（ステップＳ１７）。

一方、補正パラメータ１１２が更新されていない場合（ステップＳ１５：Ｎｏ）、認識部１０８または追跡部１０９は、認識状態あるいは追跡状態である参照状態を維持する。すなわち、例えば、認識フラグＲの値を「１」のままにする。そして、前回の認識処理の結果を用いて、追跡部１０９が追跡処理を行う（ステップＳ１７）。

なお、補正パラメータ１１２が更新された場合、認識中あるいは追跡中の全ての特定物等を全て初期化（リセット）しなくてもよい。例えば、車両５００から所定距離以上離れた遠距離にある特定物のみ追跡状態を初期化し、近距離にある特定物は補正パラメータ１１２が更新されても追跡状態を初期化することなく処理を行ってもよい。これは、近距離の特定物は、遠距離の特定物と比較して撮影画像中で比較的大きく写るため、補正パラメータ１１２の更新処理により補正画像１１４が変化してもある程度追従可能であるが、遠距離の特定物は、撮影画像中で小さく写るため、特定物を誤認識してしまう可能性が高いためである。

このように、本実施形態のステレオカメラ１０では、被写体を撮影した撮影画像に基づいて生成された補正パラメータにより撮像画像を補正して補正画像を生成し、当該補正画像を用いて視差を算出して視差画像を生成する。そして、ステレオカメラ１０は、補正パラメータが更新されている場合は、参照状態（認識状態あるいは追跡状態）を初期化し、更新されていない場合は、参照状態を維持する。これにより、補正された撮影画像を利用して特定物を認識する際に、誤認識を抑制することができる。

１ 第１カメラ
２ 第２カメラ
３ 制御部
４ 主記憶部
５ 補助記憶部
６ 通信Ｉ／Ｆ部
７ バス
１０ ステレオカメラ
１１ 画像処理装置
１２ａ、１２ｂ 撮影レンズ
１０１ 第１撮影部
１０２ 第２撮影部
１０３ 記憶部
１０４ 更新部
１０５ 参照処理部
１０６ 補正部
１０７ 視差算出部
１０８ 認識部
１０９ 追跡部
１１０ 筐体
１１１ 撮影画像
１１２ 補正パラメータ
１１４ 補正画像
１１５ 視差画像
３００ 車両制御システム
３０１ 制御装置
３０２ ステアリングホイール
３０３ ブレーキペダル
５００ 車両
５１０ 車室
５１１ フロントガラス
５２０ インナーリアビューミラー

特開２０１４−１３８３３１号公報

Claims (8)

1. 撮影部において撮影された撮影画像に生ずる座標のずれを、記憶部において記憶された補正パラメータにより補正する補正部と、
   前記撮影画像に基づいて前記補正パラメータを生成し、前記記憶部に記憶されている前記補正パラメータを更新する更新部と、
   前記補正パラメータが更新された場合、前記撮影画像に含まれる特定物の参照状態を未参照状態に更新する参照処理部と、
   を備え、
   前記参照処理部は、前記特定物の前記参照状態を前記未参照状態に更新した場合、前記撮影画像を更新された前記補正パラメータにより補正された補正画像を用いて前記特定物に対する参照処理を行い、前記特定物の前記参照状態を維持した場合、前回の前記参照処理の結果を用いて前記特定物に対する前記参照処理を行う、
   画像処理装置。
2. 前記参照処理部は、前記特定物が所定距離以上離れている場合、前記特定物の前記参照状態を前記未参照状態に更新する請求項１に記載の画像処理装置。
3. 前記参照処理部は、前記特定物を認識する認識部および前記特定物を追跡する追跡部であって、
   前記参照状態は、前記認識部により前記特定物を認識している状態、または前記追跡部により前記特定物を追跡している状態であり、
   前記未参照状態は、前記参照状態を初期化した状態である、請求項１または２に記載の画像処理装置。
4. 請求項１〜３のいずれか一つに記載の画像処理装置と、
   前記特定物を含む画像を撮影する前記撮影部と、
   前記補正パラメータを記憶する前記記憶部と、を備える、
   ことを特徴とする撮影装置。
5. 前記撮影部を少なくとも２つ備え、
   前記撮影部のそれぞれが撮影した前記特定物を含む前記撮影画像を前記補正パラメータにより補正した補正画像に基づいて、前記特定物における視差を算出する視差算出部と、を備える請求項４に記載の撮影装置。
6. コンピュータに、請求項１〜３のいずれか一つに記載の画像処理装置の各機能を実現させるプログラム。
7. 請求項４または５に記載の撮影装置と、
   当該撮影装置を用いて取得した情報に基づいて機器の動作を制御する制御部と、
   を備えることを特徴とする機器制御システム。
8. 請求項７に記載の機器制御システムを備えることを特徴とする機器。

Images