JP7258632B2

JP7258632B2 - 物体検出装置

Info

Publication number: JP7258632B2
Application number: JP2019074628A
Authority: JP
Inventors: 都堀田; 郭介牛場
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-04-10
Filing date: 2019-04-10
Publication date: 2023-04-17
Anticipated expiration: 2039-04-10
Also published as: EP3955207A1; WO2020209046A1; EP3955207A4; JP2020173584A

Description

本発明は、物体検出装置に関する。

自動車の安全支援や、自動運転の実現のため、画像センサにより特定の物体を識別する機能が求められている。物体識別には、大量の特定物体の画像を学習させて作成した識別器を用いて、画像中に特定物体があるか否かを判定する方法が一般に用いられる。

識別器を用いた物体識別の実施のためには、撮影画像中のどこに対象物がいるかが既知でない場合には、画面全体を、識別器の位置と大きさを変更しながら走査するラスタスキャンという方式を使うことが知られている。ラスタスキャン方式は処理コストが膨大であり、実時間処理が求められる車載の画像センサにおいては現実的でない。そのため、ステレオカメラにより物体の存在する領域を候補領域として抽出し、その領域に対して識別を実施する方式が従来用いられている。

ステレオカメラにより取得できる視差に基づき候補領域を抽出する方法が開示されている（例えば、特許文献1参照）。

特許文献１には、「撮像領域についての視差画像情報を生成する視差画像情報生成手段と、前記視差画像情報生成手段が生成した視差画像情報に基づいて、前記撮像画像を左右方向に複数分割して得られる各列領域内における視差値の頻度分布を示す視差ヒストグラム情報を生成する視差ヒストグラム情報生成手段と、前記視差ヒストグラム情報生成手段が生成した視差ヒストグラム情報に基づいて、前記撮像画像の左右方向で近接していて、かつ、所定値以上の頻度をもつ視差値の値が近接している画像領域を、検出対象物を映し出す検出対象物画像領域の候補領域として選別し、選別した候補領域の中から所定の特定条件に従って検出対象物画像領域を特定する検出対象物画像領域特定手段とを有し」との記載がある。

特開2016-206801号公報

しかし、識別対象物体が遠方にある場合、視差の値が小さくなるために、計測誤差の影響を受けやすくなり、候補領域が正確に求まらず、特に候補領域が対象物領域より小さい領域しか求まらずに検知対象物領域全体を包括しない場合に、候補領域に対して実施する識別処理が良好に働かない問題があった。

特許文献1には、検出対象が遠方にある場合の対策については言及がない。

本発明の目的は、検知対象が遠方にある場合でも、検知対象の識別精度を向上することができる物体検出装置を提供することにある。

上記目的を達成するために、本発明の物体検出装置は、画素に関連付けられる視差若しくはそれに対応する距離によってグルーピングすることで、物体が存在する領域を示す候補領域を画像から抽出する抽出部と、検知対象の実サイズと前記距離から前記距離に前記検知対象が存在すると仮定した場合の前記検知対象の前記画像上のサイズを示す画像サイズを算出し、前記候補領域のサイズを前記画像サイズより大きいサイズに変更する変更部と、サイズが変更された前記候補領域内の前記物体が前記検知対象であるかを識別する識別部と、を備え、前記画像サイズは、前記距離に前記検知対象であるバイク又は人が存在すると仮定した場合の前記検知対象の前記画像上の縦軸方向と横軸方向のサイズであり、前記変更部は、前記検知対象の前記距離がしきい値以上となる遠距離の場合のみ、前記画像の横軸の正方向、負方向のそれぞれについて、前記バイク又は人の前記画像サイズの横幅と前記候補領域の横幅との差分だけ前記候補領域の横幅が大きくなるように前記候補領域のサイズを変更し、かつ前記画像の縦軸の正方向、負方向のそれぞれについて、前記バイク又は人の前記画像サイズの縦幅と前記候補領域の縦幅との差分だけ前記候補領域の縦幅が大きくなるように前記候補領域のサイズを変更する。

本発明によれば、検知対象が遠方にある場合でも、検知対象の識別精度を向上することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一の実施例による物体検出装置の構成を示すブロック図である。ステレオカメラで撮影される画像の例を示す図である。立体物候補領域抽出手段の処理を説明するための図である。遠方にあるバイクに対して立体物候補領域抽出処理を実施した例を示す図である。立体物候補領域抽出手段の処理の流れを説明するための図である。立体物候補抽出をする入力の視差画像を示す図である。立体物候補領域抽出手段の処理により抽出された立体物候補領域の例を示す図である。検知対象候補領域拡大手段の処理の流れを示す図である。立体物候補抽出手段で抽出した立体物候補領域を検知対象候補領域拡大手段で拡大した結果の例を示す図である。検知対象候補領域拡大手段で領域を拡大する前後の検知対象候補領域の例を示す図である。本発明の第二の実施例による物体検出装置の検知対象候補領域拡大手段の処理の流れを示す図である。本発明の第二の実施例による物体検出装置の検知対象候補領域拡大方法を説明するための図である。物体検出装置のハードウェア構成図の一例である。

以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体的な例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。

（第一の実施例）
図1は、本発明の第一の実施例による物体検出装置の構成を示すブロック図である。なお、物体検出装置は、ステレオカメラ（カメラ）によって撮像された画像から特定の物体（例えば、バイク、歩行者等）を検出する装置である。

図1の物体検出装置は、カメラから取得した画像を入力する画像入力手段1と、画像入力手段1で入力された画像中の立体物候補領域抽出手段2と、抽出された立体物候補領域の距離情報から、検知対象の大きさを網羅する大きさに領域を拡大する検知対象候補領域拡大手段3と、検知対象候補領域拡大手段3で決定した領域に、特定対象であるか否かの識別をする検知対象識別手段4からなる。

なお、図13に示すように、物体検出装置は、例えば、マイコン131であり、CPU132（Central Processing Unit）等のプロセッサ、メモリ133等の記憶装置、通信I/F134等の入出力回路から構成される。本実施例では、CPU132は、メモリ133に記憶されたプログラムを実行することにより、立体物候補領域抽出手段2、検知対象候補領域拡大手段3、検知対象識別手段4として機能する。また、CPU132は、通信I/F134を介してステレオカメラから画像を受信することにより、画像入力手段1として機能する。

換言すれば、立体物候補領域抽出手段2（抽出部）、検知対象候補領域拡大手段3、及び検知対象識別手段4（識別部）は、CPU132（プロセッサ）で構成される。ここで、画素と、視差若しくはそれに対応する距離とは、対応付けてメモリ133に記憶される（視差画像又は距離画像）。これにより、CPU132（プロセッサ）を用いてソフトウェア的に種々の機能を実現することができる。

続いて、第一の実施例の構成要素について順に説明する。

画像入力手段1は、車両前方に設置したカメラから、画像を取得する手段である。

立体物候補領域抽出手段2は、画像入力手段１から入力した画像中で、立体物が存在する候補領域を抽出する手段である。

立体物候補領域抽出手段2の処理につき、具体的に説明する。立体物候補領域抽出手段2の実現手段には様々な方法があるが、本実施例ではステレオカメラを用いて立体物候補領域を抽出する例につき説明する。

ステレオカメラは、左右２台のカメラを持ち、これらの視差を用いて、被写体との距離を測定する装置である。画像入力手段では、ステレオカメラ1の左右二台のカメラで撮影した画像と、複数の画像から求まる視差画像もしくは距離画像の二種類を入力する。図2に、ステレオカメラで撮影される画像の例を示す。

図2中、21と22は、それぞれ同時刻にステレオカメラで撮影した画像であり、21はカメラで撮影された原画像（以降、「画像」とする）であり、22は左右のカメラそれぞれで撮影された原画像よりステレオマッチング処理を用いて算出した視差画像とする。視差画像中の濃淡の色で、画像中の各画素の視差の値を表す。23のチャートに示すように、視差の値の大小を濃淡で示している。

立体物候補領域抽出手段2では、22に示す視差（距離）画像から、視差の値が一定である領域をグルーピングすることにより立体物候補領域を抽出する。具体的な抽出手段として、例えば、視差画像から一定の幅で区切った短冊状の列ごとの視差値でヒストグラムを作成し、ピークが立つ視差の位置に立体物（人を含む生物又は物体）があるとし、当該視差値付近の値を採る画素の、画面上の縦横方向のグルーピングにより、立体物候補領域を抽出する手段が知られている。

すなわち、立体物候補領域抽出手段2（抽出部）は、画素に関連付けられる視差若しくはそれに対応する距離によってグルーピングすることで、物体が存在する領域を示す立体物候補領域（候補領域）を画像から抽出する。

本手段の処理の流れを図3に模式的に示す。尚、検知対象としてバイクを例に取る。図中、31はステレオカメラから入力された画像であり、39がバイクである。32は視差の値を画素ごとに濃淡で表した視差画像である。視差画像に対し33に示すように一定幅の列に短冊状に区切る。列ごとにその列に含まれる画素の視差値を横軸を視差としたヒストグラムに投票する。

視差ヒストグラムの例を34に示す。当該列内に立体物がある場合には特定の視差値に35に示すようなピークが立つ。視差を求める際の誤差も考慮するため、視差値の大きさごとに比例するしきい値を設定し、そのしきい値に含まれる区間36の視差の範囲の値を採る画素を、当該列中と、隣接する左右の列内でグルーピングする。グルーピングした結果を32の視差画像上の37に示す。また同じグルーピングした領域を入力画像31上に38で示す。これら37、38で示す領域が立体物候補領域として抽出した領域である。

＜立体物候補領域抽出＞
立体物候補領域抽出手段2の詳細な処理を図5と図6を用いて説明する。図5は立体物候補領域抽出手段2（CPU132）の処理の流れ、図6は、立体物候補抽出をする入力の視差画像である。

図5のS51でCPU132は、図3の33で示す列を参照するカウンタを0クリアする。

S52でCPU132は列iの視差の分布から、視差ヒストグラムを作成する。

S53はS52で作成した視差ヒストグラムから、ピークの視差値を取得し、当該列から、その視差値を採る画素の領域を抽出し、グループ化する処理である。ピークの視差値を採る領域を包括する矩形としてグループ化される。ここで、（xs，ys）と(xe，ye)はそれぞれ、矩形の始点と終点の座標である。始点と終点を結ぶ線分は矩形の対角線となる。

S54でCPU132は、隣接し、且つ当該処理を実施済の列i-１を参照し、列iで作成したグループに接したグループ領域があるか否かを判定する。ある場合はS55の処理に進み、ない場合はS56の処理に進む。

S55でCPU132は、グループ領域の更新処理で、列iと列i-1の分割されたグループ領域を統合する。

S56でCPU132は、列の参照カウンタiが、列の最大値を超えていないかを判定する。超えていない場合はS57に進み、超えている場合はすべての列の処理が完了したとし、CPU132は処理を終了する。

S57でCPU132は、列の参照カウンタiをインクリメントし、次の列の処理に移る。

以上が立体物候補領域抽出手段2の処理の流れである。この処理の流れを、図6の視差画像の例を用いて具体的に説明する。簡単のため、x（横）方向9画素、y（縦）方向8画素の画像で、列は幅3画素ずつに3列で区切って処理する例で説明する。

図中に示した矩形全体が画像領域であり、61，62、63は図3の33に相当する短冊状の列である。64，65に例示する正方形が画像を構成する画素である。65に示すように画素中に示した数値は視差値の例である。64のように空欄の場合は距離が遠い等で視差が取得できなかったとする。

図5の処理の流れに従い立体物候補領域抽出処理の具体例を説明する。

S51の処理で、CPU132は、図6の列0に当たる列61の列を参照する。

S52の処理で、CPU132は、列61の視差ヒストグラムを作成し、最頻値をピーク視差として取得する。列61の場合、ピーク視差値は最頻値の3となる。

S53の処理で、CPU132は、ピーク視差範囲を取得し、グループ化する。列61の場合ピーク視差値の存在する範囲の矩形領域は、（x始点座標，y始点座標）（x終点座標，y終点座標）=（1，3）(2，6)となる。

S54の判定は、列61は開始列のため、スキップする。

S56の判定で、列61は列最大値でないので、CPU132は、S57に進み列参照カウンタを1とする。

S52の処理で、CPU132は、列62の視差ヒストグラムを作成し、最頻値をピーク視差として取得する。列62の場合、ピーク視差値は最頻値の3となる。

S53の処理で、CPU132は、ピーク視差範囲を取得し、グループ化する。列62の場合ピーク視差値の存在する範囲の矩形領域は、（x始点座標，y始点座標）（x終点座標，y終点座標）=（3，3）(4，6)となる。

S54の判定で、CPU132は、列i-1に、列iのグループに接したグループ領域があるか否かを判定する。当該列62と列61のグループを比較すると、（1，3）(2，6)と（3，3）(4，6)の領域は接しているため、S55の処理に進む。

S55の処理で、CPU132は、グループ領域を更新する。S54の判定でグループ領域が接していると判定したとき、列のグループ領域を統合する。この例の場合、統合後のグループ領域は（１，3）(4，6)となる。

S56の判定で、列62は列最大値でないので、CPU132は、S57に進み列参照カウンタを2とする。

S52の判定で、CPU132は、列63の視差ヒストグラムを作成し、最頻値をピーク視差として取得する。列63の場合、ピーク視差値は最頻値の4となる。

S53の処理で、CPU132は、ピーク視差範囲を取得し、グループ化する。列61の場合ピーク視差値の存在する範囲の矩形領域は、（x始点座標，y始点座標）（x終点座標、y終点座標）=（6，3）(6，5)となる。

S54の判定で、CPU132は、列i-1に、列iのグループに接したグループ領域があるか否かを判定する。当該列63と列62のグループを比較すると、（1，3）(4，6)と（6，3）(6，5)の領域は接していないため、S56の処理に進む。

S56の判定で、列62は列最大値なので、CPU132は、本処理を終了とする。

以上の処理中で作成されたグループが立体物候補領域である。

以上の立体物候補領域抽出手段2の処理により抽出された立体物候補領域を図7の71、72の太い矩形で囲んだ領域で示す。尚、簡単のためピーク視差値は単一の値としたが、ピークの前後の値（ピーク視差値+1及びピーク視差値-1）も採るとし2以上4以下等のピークを含む範囲としても良い。

以上が、立体物候補領域抽出手段2の実現手段の一例である。立体物候補領域抽出手段2で抽出した領域は、検知対象識別手段４で、その領域が検知対象らしい物体（検知対象に対する類似度が所定値以上となる物体）であるかを判定する領域となるため、図3の37、38に示すように、立体物の領域全体を包括した領域である必要がある。

＜検知対象候補領域拡大＞
次に、検知対象候補領域拡大手段3につき説明する。検知対象候補領域拡大手段3は、立体物候補領域抽出手段2で抽出した立体物候補領域を、その領域の視差から算出できる距離を用いて、検知対象物相当の大きさに拡大する処理である。

検知対象候補領域拡大手段3の処理につき、図4を用いて説明する。

図4は、図3と同様に、遠方にあるバイクに対して同様の処理を実施した例を図4に示す。41が入力画像であり、画像中42がバイクである。43は入力画像41から算出した視差画像であり、図3の例と同様に短冊状の列44毎に、47に示すような視差ヒストグラムを作成し、視差のピーク46と、しきい値区間45を設定した上で区間45の視差の値の範囲を採る画素をグルーピングした領域を視差画像43上の48の矩形に示す。同様に入力画像41上にグルーピング領域を示す。

図3と図4の例を比較すると、図3では検知対象のバイクが近距離にあるため、視差ヒストグラム34に示すように検知対象物領域（視差ピーク）の視差の絶対値が大きく、図4では検知対象が遠距離にあるため視差ヒストグラム47に示すように検知対象物領域（視差ピーク）の視差の絶対値が小さい。図3のように近傍で視差の絶対値が大きい場合は、視差の絶対値に対する計測誤差の値が小さいため、一定しきい値でグルーピング範囲を決定することで、図3の38に示すように立体物領域全体を検出することができる。

一方、遠方で視差の絶対値が小さい場合は、視差の絶対値に対する計測誤差の割合が高くなるため、視差頻度ピークに対する一定しきい値でグルーピング範囲を決めると、49に示すように、グルーピング範囲が立体物全体を包括しない場合がある。

検知対象候補領域拡大手段3は、このように遠方で視差の絶対値が小さく、精度が低い場合に、立体物の領域全体を包括する領域になるよう領域を拡大する手段である。

本処理は、立体物候補領域抽出手段2で抽出された複数の立体物候補領域（グループ）を順に参照し、それぞれのグループの視差から推定される、検知対象の高さ、幅と、実際のグループの高さと幅を比較し、グループの高さもしくは幅が、推定値より小さい場合に、グループ化する視差の値のしきい値を変更することでグループ化領域を拡大し、推定領域相当以上に領域を拡大することである。

検知対象候補領域拡大手段3（CPU132）の処理の流れを図8を用いて説明する。

S81でCPU132は、立体物候補領域抽出手段2で作成された複数の立体物候補（グループ）を順に参照するための参照カウンタkを0クリアする。

S82でCPU132は、グループkの視差値を取得する。視差値は、複数の視差が含まれる領域の場合、平均値を採る、最大値を採るなどの方法で代表値を取得する。

S83でCPU132は、S82で取得した視差から、画像上の対象物の推定サイズである高さheight_k、幅width_kを算出する。

ここでは、対象物（例えば、バイク）の実際の高さ（例えば、160cm）と幅（例えば、100cm）をあらかじめ仮定しておき、その対象物が、視差から得られる距離の位置にいた場合の画像上の大きさを算出する。height_k（画素）とwidth_k（画素）の算出式はカメラパラメータを用いて下記の式により求められる。

height_k = (Height_Obj * f)/(Z×w) …（1）
width_k = (Width_Obj * f)/(Z×w) …（2）
ただし、
Height_Obj: 検知対象の仮定した高さ（mm）
Width_Obj: 検知対象の仮定した幅（mm）
f:焦点距離（mm）
Z:距離（mm）
w:画素ピッチ（mm）
である。

換言すれば、検知対象候補領域拡大手段3（変更部）は、検知対象の実サイズ（Height_Obj，Width_Obj）と距離Zから距離Zに検知対象（例えば、バイク）が存在すると仮定した場合の検知対象（例えば、バイク）の画像上のサイズを示す画像サイズ（height_k，width_k）を算出する。

検知対象の仮定した高さ（代表的な高さ）と幅（代表的な幅）は、その物体の実際の大きさにより設定する。対象を包括する領域に拡大するのが目的であるので、検知対象がたとえば歩行者など、年齢や個体差などにより大きさにばらつきがある場合には、最大値を設定することで適切な効果を得ることができる。

S84でCPU132は、グループkの実際の幅と高さを、S83の処理で求めたwidth_kとheight_kと比較し、実際の幅がwidth_kより小さいか若しくは実際の高さがheight_kより小さいか否かを判定する。幅と高さのいずれかがそれぞれの比較値より小さければS85の処理に進み、どちらも大きければS87に進む。

S85でCPU132は、グループkのグループ化した視差のしきい値を変更する処理である。グループkに含まれる視差値を参照し、グループとして抽出する視差のしきい値を拡大し、グループ化する視差値の許容範囲を広げる。

S86でCPU132は、S85で拡大したしきい値を用いて、立体物候補領域抽出手段2の処理を再度実施する。視差しきい値を変更し許容範囲を広げるため、グループ化領域が広くなって更新される。更新した後はS84の処理に戻り、グループの大きさの判定を実施する。

S84でnoの場合、S87の処理に進む。

S87でCPU132は、グループ数のカウンタkをインクリメントする。

S88でCPU132は、kがグループ数の最大値を超えているか否かを判定する。超えていなければS82にすすみ次のグループの処理を実施する。超えていればすべてのグループの処理が終了したとしCPU132は本処理を終了する。

このようにして、検知対象候補領域拡大手段3（変更部）は、立体物候補領域（候補領域）のサイズを画像サイズ（height_k，width_k）以上に変更する。

本実施例では、検知対象候補領域拡大手段3（変更部）は、立体物候補領域（候補領域）のサイズが画像サイズ（height_k，width_k）を超えるまで、グルーピングにおける視差若しくは距離の範囲を広くして、立体物候補領域抽出手段2（抽出部）に立体物候補領域を再抽出させる。また、検知対象識別手段4（識別部）は、再抽出された立体物候補領域（候補領域）内の物体が検知対象（例えば、バイク）であるかを識別する。

これにより、距離がほぼ等しい隣接するグループをまとめて立体物候補領域（候補領域）のサイズを画像サイズ以上とすることができる。その結果、処理負荷を抑えつつ検知対象の識別精度を向上することができる。

以上が検知対象候補領域拡大手段3の処理である。S84からS86までの処理を繰り返すことで、グループ化する視差値の値の範囲を広げ、領域を拡大し、width_kとheight_kより大きくなるまで領域を広げる処理である。

遠方は、視差の絶対値が小さいため、物体の視差の誤差範囲と、背景の視差との境界が明確でない。このため、ピーク視差値によってグルーピングされる領域を開始領域とし、検知対象の大きさに到達するまでの視差範囲を拡大することで、適切な視差範囲に調整する処理である。

図9に、図7に示す立体物候補領域抽出手段2で抽出した立体物候補領域を検知対象候補領域拡大手段3で拡大した結果を示す。図7でグループ71とグループ72に分かれていたものが、図9ではグループ91に統合されサイズの大きいグループになっていることがわかる。

検知対象候補領域拡大手段3で領域を拡大する前後の検知対象候補領域の例を図10に示す。101が拡大前、102は拡大後の例である。拡大する前は、検知対象候補領域103は、検知対象（バイクと運転者）の領域をカバーしていないが、拡大後は、検知対象候補領域104は検知対象の領域を包括している。

以上のように、検知対象候補領域拡大手段3の処理により、立体物の候補領域が検知対象領域全体を包括していない場合も、検知対象を包括する大きさに適切に拡大することができる。

＜検知対象識別＞
検知対象識別手段4は、パタンマッチング、機械学習による識別器などにより、特定の領域が検知対象であるか否かを検出する手段である。本発明では、立体物候補領域抽出手段2で抽出し、検知対象候補領域拡大手段3で拡大した領域に対して識別処理をする。図10で説明したように、遠方で視差の絶対値が小さく、背景との区別がしにくい場合には、立体物候補領域抽出手段2で視差のグルーピングにより103に示すような領域が抽出されるケースが発生する。この場合、103の領域に対して識別処理を実施すると、検知対象物領域全体を包括していないために、対象物を識別する特徴が領域に含まれないために、識別処理が良好に働かない。これに対して、検知対象候補領域拡大手段3で拡大した結果、想定する検知対象相当の大きさに拡大しているために、104に示すように検知対象の領域を包括するサイズの領域に拡大できており、識別処理も良好に処理できる効果がある。

換言すれば、検知対象識別手段4（識別部）は、サイズが変更された立体物候補領域（候補領域）内の物体が検知対象（例えば、バイク）であるかを識別する。これにより、立体物候補領域（候補領域）に検知対象が包括されるため検知対象の識別精度を向上することができる。

以上が、本発明による物体検出装置の第一の実施形態である。遠方の物体が視差のグルーピングにより領域全体が良好に抽出できない場合に、検知対象候補領域拡大手段3で立体物候補領域（候補領域）を検出対象物相当の大きさに拡大することにより、後段の検知対象識別手段4での識別処理を良好に実行できる効果がある、また、視差から推定できる距離に基づき領域を拡大するため、必要以上の大きさに拡大することがなく処理負荷を増やさない効果もある。

以上説明したように、本実施例によれば、検知対象が遠方にある場合でも、検知対象の識別精度を向上することができる。

（第二の実施例）
図11は、本発明の第二の実施例による物体検出装置の検知対象候補領域拡大手段3の第二の実現形態を説明する処理の流れを示す図である。本実施例では、画像内に、立体物候補領域抽出手段2で検知した複数の立体物候補領域が存在し、それぞれにつき順に処理をする。

S111でCPU132は、立体物候補領域の参照カウンタｌを初期値の0とする。

S112でCPU132は、立体物候補領域lの視差（代表値）を取得する。

S113でCPU132は、S112で取得した視差から、画像上の対象物のサイズwidth_l，height_lを算出する。この算出方法は、図8のS83の処理と同じであり、式(1)および式(2)を用いて算出する。

S114でCPU132は、S113で算出したheight_lとwidth_lを用いて、立体物候補領域の上下にheight_l，左右にwidth_lの領域を拡大する。拡大方法を図12を用いて説明する。図12の画像121中に検知対象122（バイク及び運転者）が存在しており、立体物候補領域抽出手段2で、頂点126，127，128，129からなる領域123が検出されている。この領域に対して、S113で算出したwidth_l，height_lを、頂点126，127，128，129を起点としてそれぞれ上下左右に拡大した結果が領域12aである。

換言すれば、検知対象候補領域拡大手段3（変更部）は、画像の横軸の正方向、負方向のそれぞれについて、画像サイズ（width_l，height_l）の横幅width_lと立体物候補領域（候補領域）の横幅との差分ΔWだけ立体物候補領域の横幅が大きくなるように立体物候補領域のサイズを変更し、画像の縦軸の正方向、負方向のそれぞれについて、画像サイズ（width_l，height_l）の縦幅height_lと立体物候補領域（候補領域）の縦幅との差分ΔHだけ立体物候補領域の縦幅が大きくなるように立体物候補領域のサイズを変更する。

これにより、距離がほぼ等しく且つ隣接するグループがなくても立体物候補領域（候補領域）のサイズを式（1）、（2）によって算出される画像サイズ（width_l，height_l）以上とすることができる。その結果、距離がほぼ等しく且つ隣接するグループの有無にかかわらず、検知対象の識別精度を向上することができる。

S115でCPU132は、立体物候補領域の参照カウンタlをインクリメントする。

S116でCPU132は、参照カウンタlが立体物候補領域数最大値（参照カウンタの最大値）を超えたか否かを判定する。超えていない場合は未処理の立体物候補領域があるとし、S112の処理に進む。超えている場合、CPU132は本処理を終了する。

以上が検知対象候補領域拡大手段3の第二の実施形態である。第一の実施形態のように、視差が多く得られない場合に、立体物候補領域を中心に検知対象の想定される大きさwidth_l，height_lを拡大する。上下左右に拡大することで、拡大前の立体物候補領域が、実際の検知対象のどこについていても、検知対象全体を包括可能である。

以上が、本発明による物体検出装置の実施形態である。

第一の実施形態と第二の実施形態を別の実施例として説明したが、両方を同時に実施しても良い。すなわち、第一の実施形態により視差によるグループ化の段階での拡大を実施し、グループ化して立体物候補領域を作成した後に、第二の実施例を用いて、領域が検知対象物のサイズより小さい場合には領域を適切に拡大する。以上の形態をとることにより、視差が得にくい領域の立体物についても適切に検知対象領域を、後段の識別処理に適した大きさに拡大可能である。

また、検知対象候補領域拡大手段3は、すべての立体物候補領域に対して実施するのでなく、視差のグループ化で適切な立体物領域が取得しにくい遠方のみ実施してもよい。例えば、検知対象候補領域拡大手段3（変更部）は、距離Zがしきい値以上となる遠距離の場合、立体物候補領域（候補領域）のサイズを式（1）、（2）によって算出される画像サイズ（height_k，width_k）以上に変更する。視差及び距離の誤差が発生しやすい遠方に対応する立体物候補領域（候補領域）でのみ立体物候補領域のサイズを変更することで、検知対象候補領域拡大手段3（変更部）と検知対象識別手段4（識別部）の処理の負荷を低減することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

上記実施例では、物体検出装置の機能は、マイコンのCPU132により実現されるが、ステレオカメラに搭載されるCPU、又は回路により実現してもよい。また、立体物候補領域抽出手段2（抽出部）、検知対象候補領域拡大手段3（変更部）、及び検知対象識別手段4（識別部）は、FPGA（Field-Programmable Gate Array）等の論理回路で構成されてもよい。これにより、論理回路を用いてハードウェア的に種々の機能を実現することができる。

上記実施例では、検知対象は、バイク又は人であるが、その他の物体であってもよい。

また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記憶装置、または、ICカード、SDカード、DVD等の記憶媒体に置くことができる。

なお、本発明の実施例は、以下の態様であってもよい。

（1）．画像から特定物体を識別する物体検出装置において、ステレオカメラで撮影した画像を入力する画像入力手段と、画像上の距離情報から立体物候補領域を抽出する立体物候補領域抽出手段と、検知対象のサイズ情報、立体物候補領域の距離情報から、画面上の検知対象想定サイズを算出し、対象候補領域を拡大する検知対象候補領域拡大手段と、検知対象候補領域の画像情報から、検知対象らしさを判定する検知対象識別手段とを備えることを特徴とする物体検出装置。

（2）．（1）に記載の物体検出装置において、立体物候補領域の距離が一定しきい値より小さい場合、検知対象候補拡大手段の処理をスキップする物体検出装置。

（3）．（1）に記載の物体検出装置において、検知対象候補領域拡大手段は、当該立体物候補領域周辺に距離の近い他の立体物候補領域がある場合に、それらを一つの立体物候補領域とすることで拡大する物体検出装置。

（4）．（1）に記載の物体検出装置において、検知対象候補領域拡大手段は、当該立体物候補領域の矩形の4頂点をそれぞれ始点として、画像上の検知対象物想定サイズに拡大した4領域の総和領域とする物体検出装置。

（1）～（4）によれば、距離計測精度の悪い遠方でも、物体候補領域を適切に設定することができ、後段の識別処理の性能を改善できるとともに処理負荷を小さく抑えることができる。

1…画像入力手段
2…立体物候補領域抽出手段
3…検知対象候補領域拡大手段
4…検知対象識別手段
21…ステレオカメラで撮影した画像
22…視差画像
31…入力画像
32…視差画像
33…短冊状の列
34…視差ヒストグラム
39…バイク
41…入力画像
42…バイク
43…視差画像
44…短冊状の列
47…視差ヒストグラム
103、104…検知対象候補領域
131…マイコン
132…CPU
133…メモリ
134…通信I/F

Claims

画素に関連付けられる視差若しくはそれに対応する距離によってグルーピングすることで、物体が存在する領域を示す候補領域を画像から抽出する抽出部と、
検知対象の実サイズと前記距離から前記距離に前記検知対象が存在すると仮定した場合の前記検知対象の前記画像上のサイズを示す画像サイズを算出し、前記候補領域のサイズを前記画像サイズより大きいサイズに変更する変更部と、
サイズが変更された前記候補領域内の前記物体が前記検知対象であるかを識別する識別部と、を備え、
前記画像サイズは、前記距離に前記検知対象であるバイク又は人が存在すると仮定した場合の前記検知対象の前記画像上の縦軸方向と横軸方向のサイズであり、
前記変更部は、
前記検知対象の前記距離がしきい値以上となる遠距離の場合のみ、前記画像の横軸の正方向、負方向のそれぞれについて、前記バイク又は人の前記画像サイズの横幅と前記候補領域の横幅との差分だけ前記候補領域の横幅が大きくなるように前記候補領域のサイズを変更し、かつ
前記画像の縦軸の正方向、負方向のそれぞれについて、前記バイク又は人の前記画像サイズの縦幅と前記候補領域の縦幅との差分だけ前記候補領域の縦幅が大きくなるように前記候補領域のサイズを変更する
ことを特徴とする物体検出装置。
請求項１に記載の物体検出装置であって、
前記画素と、前記視差若しくはそれに対応する前記距離とは、
対応付けてメモリに記憶され、
前記抽出部、前記変更部、及び前記識別部は、
プロセッサで構成される
ことを特徴とする物体検出装置。
請求項１に記載の物体検出装置であって、
前記画素と、前記視差若しくはそれに対応する前記距離とは、
対応付けてメモリに記憶され、
前記抽出部、前記変更部、及び前記識別部は、
論理回路で構成される
ことを特徴とする物体検出装置。
請求項１に記載の物体検出装置であって、
前記変更部は、
グルーピングにおける前記視差若しくは前記距離の範囲を広くして、前記抽出部に前記候補領域を再抽出させることで、前記候補領域のサイズを大きくし、
再抽出後の前記候補領域のサイズが前記画像サイズより小さい場合に、前記画像の横軸の正方向、負方向のそれぞれについて、前記画像サイズの横幅と前記候補領域の横幅との差分だけ前記候補領域の横幅が大きくなるように前記候補領域のサイズを変更し、かつ前記画像の縦軸の正方向、負方向のそれぞれについて、前記画像サイズの縦幅と前記候補領域の縦幅との差分だけ前記候補領域の縦幅が大きくなるように前記候補領域のサイズを変更することを特徴とする物体検出装置。