JPH1096607A

JPH1096607A - 物体検出装置および平面推定方法

Info

Publication number: JPH1096607A
Application number: JP8253423A
Authority: JP
Inventors: Yasuyuki Domoto; 泰之道本; Masato Nishizawa; 眞人西澤; Katsumasa Onda; 勝政恩田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-09-25
Filing date: 1996-09-25
Publication date: 1998-04-14

Abstract

(57)【要約】【課題】平面物体以外の物体に影響されずに、平面物
体の３次元的位置を正確に推定することによって、物体
検出の精度を向上させる。【解決手段】複数の撮像装置１，２によって撮影した
ステレオ画像を用いて、対応付け処理部５によって撮影
された物体の３次元データの一種である視差データを獲
得する。処理の開始時には視差データを平面推定部50に
入力し、部分的に計測されている視差データから、ハフ
変換を利用して道路や床などの平面物体の位置を推定す
る。処理の開始時以降には、推定された平面物体の位置
を基準として視差変化検出部８により、新たに平面物体
上に置かれた物体を検出する。また、処理開始時刻以降
の時刻では対応付け処理部５に既に推定されている平面
物体の位置情報を入力し、この位置情報を利用して視差
等の３次元データの計測範囲を限定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、監視，計測などに
適用されるステレオ画像処理を用いた物体検出装置、お
よび平面推定方法に関するものである。

【０００２】

【従来の技術】従来の物体検出装置は図11のフローチャ
ートに示すような動作機能を備えているものである。そ
の動作の流れを図11に基づいて以下に説明する。

【０００３】図11において、１，２は光軸が平行になる
ように配置された左右２台の撮像装置、３，４は各撮像
装置１，２からの画像データを格納する画像メモリ、５
は後述するように視差の計測を行う対応付け処理部、６
は対応付け処理部５からの視差画像データを格納する視
差画像メモリ、７は処理開始時の視差画像データを格納
する初期視差画像メモリ、８は、視差画像メモリ６と初
期視差画像メモリ７とに格納されている視差画像データ
に基づき、後述するように画像中の物体の存否を判断す
る視差変化検出部、９は視差変化検出部８により検出さ
れた物体の画像データを格納する物体検出画像メモリで
ある。

【０００４】前記装置においては、光軸が平行になるよ
うに配置された左右２台の撮像装置１，２によって撮影
された画像のうち、左画像を基準とする。左画像を図12
のように水平方向Ｍと垂直方向Ｎとの矩形領域に分割
し、対応付け処理部５によって両画像における同一物体
の像位置のズレすなわち視差を計測する。視差とは物体
までの距離に反比例するものである。

【０００５】ステレオ画像処理法と対応付け方法の一例
として、実吉敬二他著「３次元画像認識技術を用いた
運転支援システム」(自動車技術学会学術講演会前刷
集9241992−10)に記載の方法を用いて説明する。

【０００６】以下では、図12(a)における左画像におけ
る矩形領域をブロック11ということにし、図12(b)に示
すように、１ブロックあたりｍ×ｎ個の画素で構成され
ている。ブロック11内部におけるｉ番目の画素の明るさ
をＬiとする。

【０００７】また、図13において、右画像20にも前記と
同様にｍ×ｎ画素の矩形領域22を設定し、矩形領域22内
部におけるｉ番目の画素の明るさをＲiとする。

【０００８】これら左右画像間の矩形領域の類似度評価
値Ｃは(数１)で与えられる。

【０００９】

【数１】

【００１０】対応領域が存在する可能性のある右画像20
中の視差探索範囲21において、矩形領域22を水平方向に
１画素ずつ移動させて類似度評価値Ｃを計算し、この値
が最小になる領域を対応領域とする。この方法では、対
応領域を左画像におけるブロック11ごとに決定すること
ができ、また対応領域が決まれば、その対応領域の座標
位置から即座に(数２)を用いて視差Ｓを求めることがで
きる。

【００１１】

【数２】Ｓ＝Ｘ−Ｘ_R 但し、Ｘ_Rは右画像における矩形領域のＸ座標Ｘは左画像における矩形領域のＸ座標基準とする左画像においてブロック11ごとに得られた視
差Ｓから、一般的に知られる下記の公式(数３)を用いて
物体までの距離Ｋを求めることもできる。

【００１２】

【数３】

【００１３】但し、２ａ：左右カメラ間距離ｆ：レンズ焦点距離各ブロック11の位置ごとの視差を区別するため、各ブロ
ック11ごとに計測される物体までの視差を(数４)のよう
に、

【００１４】

【数４】視差：Ｓ(Ｘ，Ｙ) １≦Ｘ≦Ｍ，１≦Ｙ≦Ｎと表記し、視差情報を持った画像を視差画像ということ
にする。特に、処理開始時刻ｔ_startの視差画像を初期
視差画像と呼び、時刻ｔ(t＞ｔ_start)の場合と区別す
る。初期視差画像が初期視差画像メモリ７に記憶される
ことになり、また現時刻の視差画像が視差画像メモリ６
に記憶される。

【００１５】視差変化検出部８では、時刻ｔ(現在)の視
差画像と時刻ｔ_start(過去)の初期視差画像中の同一ブ
ロック間で視差を比較して、一定閾値以上の視差の変化
が生じている矩形領域には新たな物体の存在、あるいは
消失したものと判断する。

【００１６】次に図14に基づいてハフ変換について説明
する。ｘ−ｙ平面上の直線30において、座標原点からお
ろした垂線31の長さをρ₀、垂線31がｘ軸となす角度を
θ₀とすると直線30は(数５)のように示される。

【００１７】

【数５】ρ₀＝ｘcosθ₀＋ｙsinθ₀ そして、ｘ−ｙ平面上の点列(ｘ_i，ｙ_i)｛ｉ＝0，1，
2｝に対して(数６)で求める、

【００１８】

【数６】ρ＝ｘ_icosθ₀＋ｙ_isinθ₀ をρ−θ平面上で表すと図14のように合成３角関数とな
る。この正弦曲線をハフ曲線ということにする。このハ
フ曲線は点(ｘ_i，ｙ_i)を通るすべての直線を示してい
る。ｘ−ｙ平面上の点列(ｘ_i，ｙ_i)が直線上にある場
合、点列(ｘ_i，ｙ_i)｛ｉ＝0，1，2｝を順次ρ−θ平面
でのハフ曲線にすると、図15のようにハフ曲線が１点35
で交差するようになる。最も多くの曲線が交差する点35
(ρ₀，θ₀)でｘ−ｙ平面における直線30((数５)に示さ
れる)が決定される。

【００１９】以上の操作をハフ変換による直線当てはめ
という。ハフ変換による直線当てはめは、データ点列の
大局的状況を把握する直線検出法であるため、直線上に
はない点が混在していても、この影響を受けず直線検出
が行える。

【００２０】

【発明が解決しようとする課題】前記従来の物体検出装
置において、検出判断の基準となる道路，床，壁等の比
較的大きい平面物体に対する３次元空間での位置を正確
に推定することが望まれている。

【００２１】そこで、本発明では平面の位置推定を行う
際に、大局的直線近似手法であるハフ変換を用いること
により、平面物体以外の物体に影響されずに平面物体の
３次元位置を正確に推定することを第１の目的とする。

【００２２】また、従来の物体検出装置は対応付け処理
部では、左右画像間の矩形領域を対応付ける際に、前記
類似度評価値Ｃが最小となる位置を対応領域としていた
が、平面上の矩形領域の中には特徴が少ないために類似
度評価値Ｃの最小点が明確に得られず、そのため視差デ
ータが求められない場合がある。

【００２３】このことは、初期視差画像と現在時刻の視
差画像中の視差データが、ほとんどすべて得られている
ことを前提としている前記従来の物体検出装置では正確
な検出が行えないことになる。

【００２４】そこで、本発明では平面物体の位置を推定
し、同一平面内の未確定の視差データを演算で補間し、
物体の検出を精度良く行えるようにすることを第２の目
的とする。

【００２５】また、従来の対応付け処理において、図16
に示すように、視差の距離計測範囲40は撮像装置である
カメラ42から最も遠い物体と最も近い物体に合わせて設
定されており、画像中の位置によらず同一であった。し
かし、検出すべき物体はほとんどの場合、道路，床，壁
等の平面物体41よりもカメラ42側に存在し、しかも平面
物体41はカメラ42の光軸Ｌに対して直角以外の角度をと
る場合がほとんどであるので、これまでの手法では距離
計測すべき物体のない無駄な範囲についても視差を探索
していたため演算量が大きいといえる。

【００２６】そこで、本発明では推定された平面の位置
情報をもとに視差の探索範囲を画像のブロック位置によ
って最適化し、対応付けの演算量を削減することを第３
の目的としている。

【００２７】

【課題を解決するための手段】前記目的を達成するた
め、本発明の物体検出装置は、所定間隔で配置した複数
の撮像手段と、これらの撮像手段から出力される複数画
像を用いて３角測量の原理に基づき物体の３次元データ
を計測する対応付け処理部と、計測された３次元データ
に対してハフ変換処理を行うことにより平面物体の３次
元空間内における位置を推定する平面位置推定部とを備
えたものであり、この構成により、計測できた３次元デ
ータを基に画像中において大部分を占める道路，床，壁
等の平面物体の位置をハフ変換処理によって大局的に推
定することによって、平面物体以外の物体のもつ３次元
データに影響を与えず、平面物体の位置を精度よく推定
することができる。

【００２８】また、前記物体検出装置において、前記平
面位置推定部が、画像中の平面物体の３次元空間内にお
ける位置を推定すると共に、同一平面内で３次元データ
が得られなかった矩形領域の３次元データを、すでに推
定した平面物体の位置から計算して補間し、撮像手段を
基準として平面物体とは異なる位置にある物体を検出す
るように構成したことにより、道路，床，壁等の平面物
体の位置を推定し、同一平面内の未計測の３次元データ
を推定した平面の位置から演算によって補間することに
よって、視差データが未計測であることによる検出漏れ
を防ぐことができる。この結果、平面物体とは離れた位
置にある物体を検出する場合の検出精度を向上すること
ができる。

【００２９】また、前記物体検出装置において、前記平
面位置推定部が画像中の平面物体の３次元空間内におけ
る位置を推定し、撮像手段を基準として平面物体より遠
方にある物体については、前記対応付け処理部による３
次元データの計測を行わないように構成したことによ
り、撮像装置からみて推定した道路，床，壁等の平面よ
り遠方については３次元データの計測を行わないように
することで対応付け処理の演算量を削減することができ
る。

【００３０】さらに、本発明の平面推定方法は、所定間
隔で配置された複数の撮像手段から出力される複数画像
を用いて、画像を水平方向と垂直方向とに分割して得ら
れる矩形小領域ごとに３次元データを求め、前記矩形小
領域を水平方向にグループ化した大領域ごとに、大領域
中に含まれる複数の３次元データからハフ変換により平
面通過直線を当てはめ、前記の演算処理をすべての前記
大領域に対して行うことによって３次元空間に存在する
平面物体の位置を推定する方法であり、この方法によ
り、平面内を通過する平面通過直線を近似する際にはハ
フ変換処理を用いるため、平面物体以外の物体に影響さ
れずに平面位置を大局的に推定することができる。

【００３１】また、前記平面推定方法において、大領域
ごとに当てはめられた前記平面通過直線の直線パラメー
タの１つである直線の傾きを用い、各平面通過直線の合
計本数の傾きを大きさでソートすることによって傾きの
中央値を求め、すべての平面通過直線の傾きを前記中央
値で置き換えることによって得られる、傾きが補正され
た平面通過直線を用いて、３次元空間に存在する平面物
体の位置を推定することにより、直線パラメータの１つ
である傾きは本来すべての平面通過直線で同一となるべ
きであることから、各平面通過直線の傾きを最も信頼性
の高い傾きに置き換えることによって、全平面通過直線
の傾きに関する信頼性を向上することができる。

【００３２】また、前記平面推定方法において、前記傾
きが補正された平面通過直線における直線パラメータで
ある原点からの距離を用い、ハフ変換により距離補正直
線を当てはめ、この距離補正直線に交わるように傾きが
補正された直線を平行移動することによって得られる直
線群を用いて、３次元空間に存在する平面物体の位置を
推定することにより、平面通過直線が同一平面内にある
べきであるという条件を用いて、各平面通過直線が有す
るもう１つの直線パラメータである原点からの距離に対
して、ハフ変換を行うことによって距離補正直線を獲得
して、各平面通過直線が距離補正直線に交わるように各
平面通過直線の原点からの距離を補正するので、各平面
通過直線の原点からの距離に関する信頼性を向上するこ
とができる。

【００３３】

【発明の実施の形態】以下、本発明の好適な実施形態に
ついて図面に基づき説明する。なお、図11〜図16におい
て説明した部材に対応する部材には同一符号を付して詳
しい説明は省略する。

【００３４】図１は本発明の一実施形態を説明するため
の物体検出装置の構成を示すブロック図であり、撮像装
置１，２のうち左画像を水平方向Ｍ、垂直方向Ｎのブロ
ック分割し、対応付け処理部５で各ブロックごとに物体
の３次元データとして視差Ｓ(Ｘ，Ｙ)を獲得し、平面推
定部50では計測した視差を用いて平面位置を推定する。
視差変化検出部８は、処理開始時刻ｔ_startにおける初
期視差画像メモリ７に画像データとして記憶されている
視差画像に対して、時刻ｔ(ｔ＞ｔ_start)における視差
画像メモリ６に画像データとして記憶されている視差画
像中の視差が、閾値ＴＨ以上変化したブロックを抽出
し、このブロックが示す位置に新たな物体が存在すると
判断するものである。

【００３５】以上のように構成された物体検出装置の動
作を図１を参照して説明する。時刻ｔ_startを処理の開
始時刻とし、時刻ｔ_startに画像が入力される場合と、
時刻ｔ(ｔ＞ｔ_start)に画像が入力される場合に分けて
動作説明する。

【００３６】まず時刻ｔ_startに撮像された画像は、対
応付け処理部５により左右画像間で対応付けが行われ、
画像上の位置のズレ情報すなわち視差Ｓを出力する。視
差とは３次元データの一種である。左画像メモリ３に記
憶されている左画像を分割してできる各ブロックごとの
視差Ｓ(Ｘ，Ｙ)は平面推定部50に入力され、計測された
視差を用いて実空間上の平面の位置を推定する。平面推
定部50から出力されるのは各ブロックに視差Ｓ(Ｘ，Ｙ)
が格納された初期視差画像である。

【００３７】次に時刻ｔ(ｔ＞ｔ_start)の場合の処理の
流れについて説明する。対応付け処理部５までの動作は
前記した時刻ｔ_startの場合と同じである。視差変化検
出部８では時刻ｔ_startの初期視差画像と時刻ｔ(ｔ＞ｔ
_start)の視差画像の各ブロックごとの視差Ｓ(Ｘ，Ｙ)を
比較し、閾値ＴＨ以上の視差変化を検出する。時間的に
視差が変化するということは、物体の出入りがあったと
いうことになるため、視差に変化のあったブロックはマ
ーキングする等して物体検出画像として物体検出画像メ
モリ９へ出力されて格納される。

【００３８】以下に基準画像とした左画像を水平方向Ｍ
個と垂直方向Ｎ個とのブロックに分割し、視差が決定で
きたブロックでは３次元データである視差データＳ
(Ｘ，Ｙ）が得られているものとして、平面推定方式に
ついて説明する。

【００３９】図２は平面推定を行うため動作に係るフロ
ーチャートであり、まず、ステップ（Ｓ１)において、
次のような平面通過直線の当てはめが行われる。

【００４０】ここでは図12に示すように、説明の便宜
上、ブロックを(数７)のように表記する。

【００４１】

【数７】ブロック：ＢＬ（Ｘ，Ｙ）、１≦Ｘ≦Ｍ、１≦Ｙ≦Ｎまた、平面推定方式の説明においては、インデックス
Ｘ，Ｙに視差データＳ(Ｘ，Ｙ)を加えた図３のような３
次元のＳ−Ｘ−Ｙ基準座標系を用いる。

【００４２】図12中、太線で囲まれた領域12はブロック
ＢＬ(Ｘ，Ｙ)のインデックスＹを固定し、インデックス
Ｘのみを変化させることによって生成される領域であ
る。この領域12をＧＬと呼び、各ＧＬを(数８)のように
表記する。

【００４３】

【数８】領域：ＧＬ（Ｙ）、１≦Ｙ≦ＮＧＬ中には最大でＭ個の視差データＳが含まれる。ＧＬ
中に含まれる各ブロックごとに図４のように縦軸をブロ
ックの視差データＳ(Ｘ，Ｙ)、横軸をブロックのインデ
ックスＸとして視差データＳをプロットする。平面通過
直線を当てはめる際に、インデックスＹは固定してある
ので、Ｓ−Ｘ−Ｙ基準座標空間上の点をＳ−Ｘ平面に投
写して説明する。プロットした各点(Ｓ(Ｘ，Ｙ)，Ｘ)に
対応する１本のハフ曲線が得られる。各点(Ｓ(Ｘ，
Ｙ)，Ｘ)すべてに対応するハフ曲線をρ−θ平面にプロ
ットすると図５のようになる。

【００４４】

【数９】 ρ＝Ｘcosθ＋Ｓ(Ｘ，Ｙ)sinθ、θ_start≦θ≦θ
_ｅｎｄ ρ−θ平面においてハフ曲線が最も多く交差する点（ρ
_K(Ｙ)、θ_K(Ｙ))と(数９)からＳ−Ｘ平面での直線70が
(数10)のように決定される。

【００４５】

【数１０】

【００４６】ρ−θ平面において、ハフ曲線が最も多く
交差する点を検索する方法として、ρ−θ平面上の各点
を図５のように２次元配列ＨＧ(ρ_j，θ_j)とみなし、点
(ρ_j，θ_j)をハフ曲線が通過するごとに２次元配列ＨＧ
(ρ_j，θ_j)をインクリメントする。これにより最も度数
の大きい２次元配列ＨＧ(ρ_j，θ_j)を探索することによ
って、ハフ曲線が最も多く通過するρ−θ平面上の点
(ρ_K(Ｙ)、θ_K(Ｙ))が求められる。

【００４７】すべての領域ＧＬ(Ｙ)、１≦Ｙ≦Ｎに含ま
れる視差データについて同様の処理を行い、合計Ｎ本の
平面通過直線を得る。各平面通過直線をＳ−Ｘ−Ｙ基準
座標で示すと、図６のようになる。垂線の傾きθ_K(Ｙ)
やＹ軸からの距離ρ_K(Ｙ)にそれぞれ誤分θ_E(Ｙ)、ρ
_E(Ｙ)が含まれるので、それぞれの信頼性の高い値θ_R，
ρ_R(Ｙ)に対して(数11)のようになる。

【００４８】

【数１１】θ_K(Ｙ)＝θ_R＋θ_E(Ｙ)、 ρ_K(Ｙ)＝ρ_R(Ｙ)＋ρ_E(Ｙ) そのため、ここまでの処理では平面通過直線は必ずしも
同一平面内にはないが、以降の処理で補正する。

【００４９】平面通過直線の傾き補正(ステップ(Ｓ２))
の説明。

【００５０】すなわち、平面通過直線群がすべて同一平
面内にあるとすれば、すべての平面通過直線のＹ軸への
垂線とＸ軸がなす角θ_K(Ｙ)は同じになるはずである。
そこで各平面通過直線のＸ軸からの傾きとして置き換え
る。これにより、各平面通過直線がもつ垂線のＸ軸から
の傾きを、より信頼性の高い傾きθ_Rで統一することが
できる。

【００５１】この操作を式で示すと、(数12)のように垂
線のＸ軸からの傾きθ_K(Ｙ)には各平面通過直線ごとに
それぞれ誤差成分が含まれていたが、前記した処理によ
り(数13)のようにすべての平面通過直線の傾きから誤差
成分θ_E(Ｙ)を除去できるとともに、最も信頼性の高い
傾きθ_Rに置き換えることができる。

【００５２】

【数１２】

【００５３】

【数１３】

【００５４】この操作により、平面のＹ軸回りの傾きと
は異なる傾きを示していた平面通過直線を、傾きについ
ては補正することができる。現ステップでの各平面通過
直線をＳ−Ｘ−Ｙ基準座標で示すと図７のように、すべ
ての平面通過直線の傾きが同一になっている。

【００５５】平面通過直線の距離補正(ステップ(Ｓ３))
の説明。

【００５６】３次元空間上に２つの平面があるとし、互
いの平面が平行ではない場合、２つの平面が交わる部分
は直線になるはずである。このことを利用して図８に示
した推定する平面物体100とＹ−ρ_K平面102が交わる直
線103をハフ変換を用いて当てはめる。なおρ_K軸はＸ軸
に対してθ_R傾いた軸である。

【００５７】各平面通過直線のＹ軸からの距離、すなわ
ちρ_K(Ｙ)を、図９のようにＹ−ρ_K平面にプロットす
る。Ｙ−ρ_K平面102上でプロットした点(Ｙ，ρ_K(Ｙ))
に(数14)を用いてハフ変換を施す。

【００５８】

【数１４】 ρ′＝Ｙcosθ′＋ρ_K(Ｙ)sinθ′、θ_start≦θ′≦θ′_end ρ′−θ′平面でハフ曲線が最も多く交差した点
(ρ′_S，θ′_S)を得て、(数９)により図９の直線110を
当てはめる。この直線110は各平面直線の最もふさわし
いと思われるＹ軸からの距離を示すことから、距離補正
直線と呼ぶことにする。距離補正直線110は、Ｓ−Ｘ−
Ｙ座標において図８中の距離補正直線103のように存在
する。また、この距離補正直線103は(数15)のように示
される。

【００５９】

【数１５】

【００６０】距離補正直線110を利用して各平面通過直
線のＹ軸からの距離を最適値ρ_R(Ｙ)に補正すると(数1
5)は(数16)となり、

【００６１】

【数１６】

【００６２】完全に誤差成分が除去される。各平面通過
直線をＳ−Ｘ−Ｙ基準座標で示すと図10に示すとおりす
べて同一平面図上に存在するようになる。

【００６３】平面の確定(ステップ(Ｓ４))の説明。

【００６４】以上のフェーズによって各平面通過直線が
すべて同一平面内に存在するようになり、平面は平面通
過直線群で近似される。平面上の視差データＳ(Ｘ，Ｙ)
が未決定であれば、ＧＬ(Ｙ)に対応する平面通過直線
(数16)を用いて補間することができる。

【００６５】ところで、推定されている平面物体は、道
路や床、壁など物理的にそれより遠距離は撮像できない
ものであり、そのため平面物体より遠距離に存在する見
えない物体に対して対応付け処理を行っても無駄であ
る。

【００６６】これに対応するため、前記した時刻ｔ
_startにおいて、視差の計測範囲の最大値ｄ_maxと最小値
ｄ_minとを物体までの距離に応じた適当な値に設定して
おき、最大値ｄ_maxと最小値ｄ_minとの間で視差を探索す
るようにする(ここで、視差の最大値ｄ_maxと最小値ｄ
_minの間を視差の探索範囲と呼ぶ)。そして、時刻ｔ(ｔ
＞ｔ_start)においてｔ_startで推定した平面物体の位置
と視差を基に、各ブロックごとに最大値ｄ_maxと最小値
ｄ_minの最適化を行うようにすることが考えられる。

【００６７】そして、対応付け処理において、視差の探
索範囲の最小値ｄ_minを平面物体の視差とする。言い換
えれば距離計測範囲の最大値ｄ_maxを平面物体までの距
離と最適化し、時刻ｔ(ｔ＞ｔ_start)の最適化された視
差探索範囲において対応付け処理を行うようにする。

【００６８】従来、視差の探索範囲は撮影した実空間に
おいて、計測したい物体までの距離の最大値と最小値か
ら設定されており、画像のすべてのブロックで一様であ
った。しかし本発明によれば、図16のようなカメラ42と
平面物体41の位置関係の場合、カメラ42を基準として推
定した平面物体41より奥の物体に対しては距離計測を行
わないようにすることになるため、演算量が大幅に削減
できる効果がある。

【００６９】なお、本実施形態においては、３次元デー
タとして物体の視差を用いた例を説明したが、物体まで
の距離に置き換えても同様に行うことができる。

【００７０】前記したように本実施形態によって説明し
た物体検出装置および平面推定方法は、計測できた視差
データからハフ変換処理を用いて平面物体の位置を推定
するものである。

【００７１】したがって、大局的直線近似手法であるハ
フ変換を用いることにより、平面物体以外の物体に影響
されずに、平面物体の３次元位置を正確に推定すること
ができる。

【００７２】また、同一平面内の未確定の視差データを
推定した平面の位置から演算で補間することにより、物
体の検出を精度よく行えるようにすることができる。

【００７３】また、推定された平面の位置情報を基に視
差の探索範囲を画像の位置によって最適化するため、対
応付けの演算量を削減することができる。

【００７４】

【発明の効果】以上説明したように、本発明に係る物体
検出装置および平面推定方法によれば、ハフ変換処理に
よって大局的かつ精度よく道路，床などの平面物体の３
次元空間での位置が推定できる。

【００７５】また、推定された平面物体の位置から、未
計測の領域の視差データを推定することができるため、
平面物体の位置を比較基準とした物体検出が精度よく行
えるようになる。

【００７６】また、平面物体の位置を利用して対応付け
処理の視差探索範囲を最適化することができるため、演
算量を削減することができる。

【図面の簡単な説明】

【図１】本発明に係る物体検出装置および平面推定方法
の一実施形態を説明するための物体認識装置の構成を示
すブロック図である。

【図２】本発明の実施形態における平面推定の処理のフ
ローチャートである。

【図３】本発明の実施形態における基準とする３次元座
標系を説明するための説明図である。

【図４】本発明の実施形態における平面通過直線の当て
はめを説明する説明図である。

【図５】本発明の実施形態におけるハフ変換による直線
近似を説明するための説明図である。

【図６】本発明の実施形態における平面推定方式の処理
過程(図２のステップＳ１)の結果を示す説明図である。

【図７】本発明の実施形態における平面推定方式の処理
過程(図２のステップＳ２)の結果を示す説明図である。

【図８】本発明の実施形態における距離補正直線を示す
説明図である。

【図９】本発明の実施形態における距離補正直線の当て
はめの状態を示す説明図である。

【図１０】本発明の実施形態における平面推定方式の処
理過程(図２のステップＳ３)の結果を示す説明図であ
る。

【図１１】従来の物体認識装置の構成を示すブロック図
である。

【図１２】基準とする左画像内のブロック配置を示すた
めの説明図である。

【図１３】従来の技術における右画像の視差探索範囲を
示す説明図である。

【図１４】従来の技術におけるハフ変換に用いる直線パ
ラメータを説明する説明図である。

【図１５】従来の技術におけるハフ変換を説明する説明
図である。

【図１６】撮像装置と平面物体の一般的な位置関係を示
す説明図である。

【符号の説明】

１，２…撮像装置、３，４…画像メモリ、５…対応
付け処理部、６…視差画像メモリ、７…初期視差画
像メモリ、８…視差変化検出部、９…物体検出画像
メモリ、 50…平面推定部、 60，81，91，100，121…
平面物体、 82，92，122…平面通過直線、 102…Ｙ−
ρ_K平面、 103，110…距離補正直線。

Claims

【特許請求の範囲】

【請求項１】所定間隔で配置した複数の撮像手段と、
これらの撮像手段から出力される複数画像を用いて３角
測量の原理に基づき物体の３次元データを計測する対応
付け処理部と、計測された３次元データに対してハフ変
換処理を行うことにより平面物体の３次元空間内におけ
る位置を推定する平面位置推定部とを備えたことを特徴
とする物体検出装置。
【請求項２】前記平面位置推定部が、画像中の平面物
体の３次元空間内における位置を推定すると共に、同一
平面内で３次元データが得られなかった矩形領域の３次
元データを、すでに推定した平面物体の位置から計算し
て補間し、撮像手段を基準として平面物体とは異なる位
置にある物体を検出するように構成したことを特徴とす
る請求項１記載の物体検出装置。
【請求項３】前記平面位置推定部が画像中の平面物体
の３次元空間内における位置を推定し、撮像手段を基準
として平面物体より遠方にある物体については、前記対
応付け処理部による３次元データの計測を行わないよう
に構成したことを特徴とする請求項１記載の物体検出装
置。
【請求項４】所定間隔で配置された複数の撮像手段か
ら出力される複数画像を用いて、画像を水平方向と垂直
方向とに分割して得られる矩形小領域ごとに３次元デー
タを求め、前記矩形小領域を水平方向にグループ化した
大領域ごとに、大領域中に含まれる複数の３次元データ
からハフ変換により平面通過直線を当てはめ、前記の演
算処理をすべての前記大領域に対して行うことによって
３次元空間に存在する平面物体の位置を推定することを
特徴とする平面推定方法。
【請求項５】前記大領域ごとに当てはめられた前記平
面通過直線の直線パラメータの１つである直線の傾きを
用い、各平面通過直線の合計本数の傾きを大きさでソー
トすることによって傾きの中央値を求め、すべての平面
通過直線の傾きを前記中央値で置き換えることによって
得られる、傾きが補正された平面通過直線を用いて、３
次元空間に存在する平面物体の位置を推定することを特
徴とする請求項４記載の平面推定方法。
【請求項６】前記傾きが補正された平面通過直線にお
ける直線パラメータである原点からの距離を用い、ハフ
変換により距離補正直線を当てはめ、この距離補正直線
に交わるように傾きが補正された直線を平行移動するこ
とによって得られる直線群を用いて、３次元空間に存在
する平面物体の位置を推定することを特徴とする請求項
４または５記載の平面推定方法。