JP7003972B2 - 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム - Google Patents

距離推定装置、距離推定方法及び距離推定用コンピュータプログラム Download PDF

Info

Publication number
JP7003972B2
JP7003972B2 JP2019108602A JP2019108602A JP7003972B2 JP 7003972 B2 JP7003972 B2 JP 7003972B2 JP 2019108602 A JP2019108602 A JP 2019108602A JP 2019108602 A JP2019108602 A JP 2019108602A JP 7003972 B2 JP7003972 B2 JP 7003972B2
Authority
JP
Japan
Prior art keywords
size
image
distance
vehicle
certainty
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019108602A
Other languages
English (en)
Other versions
JP2020201746A (ja
Inventor
聡 武安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019108602A priority Critical patent/JP7003972B2/ja
Priority to US16/896,799 priority patent/US11120292B2/en
Publication of JP2020201746A publication Critical patent/JP2020201746A/ja
Application granted granted Critical
Publication of JP7003972B2 publication Critical patent/JP7003972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像に表された物体までの距離を推定する距離推定装置、距離推定方法及び距離推定用コンピュータプログラムに関する。
画像に表された物体までの距離を推定する技術が研究されている（例えば、特許文献１を参照）。例えば、特許文献１には、画像に表された前方の車両の水平または垂直のエッジ幅と、水平または垂直の実幅推定値とに基づいて、車間距離を推定することが提案されている。
特開２００２－３２７６３５号公報
特許文献１に記載された技術では、距離推定の対象となる物体の実空間での実際の幅の誤差が大きくなるほど、推定された距離の誤差も大きくなる。
そこで、本発明は、画像に表された物体までの距離の推定精度を向上できる距離推定装置を提供することを目的とする。
一つの実施形態によれば、距離推定装置が提供される。この距離推定装置は、所定の物体についての複数の種類のそれぞれについて、その種類の実空間における基準サイズを記憶する記憶部と、撮像部により得られた画像に表された所定の物体を検出するとともに、複数の種類のそれぞれについて検出されたその物体がその種類の物体である確からしさを表す確信度を算出する識別器に画像を入力することで、検出された物体のサイズ及び複数の種類のそれぞれについて確信度を算出する物体検出部と、複数の種類のそれぞれの基準サイズを、その種類の確信度で加重平均することで物体の実空間でのサイズを推定し、推定した物体の実空間でのサイズに相当する、物体までの距離が所定の基準距離である場合の画像上での物体の推定サイズと、画像上での検出された物体のサイズとの比に基づいて、物体までの距離を推定する距離推定部とを有する。
この距離推定装置において、所定の物体は、車両であることが好ましい。
またこの距離推定装置において、所定の物体は、人、または、人が露出した状態で乗車する車両であり、複数の種類のそれぞれの基準サイズ、及び、画像上での物体のサイズは、路面に垂直な方向の長さであることが好ましい。
本発明の他の形態によれば、距離推定方法が提供される。この距離推定方法は、撮像部により得られた画像に表された所定の物体を検出するとともに、所定の物体についての複数の種類のそれぞれについて、検出されたその物体がその種類の物体である確からしさを表す確信度を算出する識別器に画像を入力することで、検出された物体のサイズ及び複数の種類のそれぞれについて確信度を算出し、複数の種類のそれぞれについて、記憶部に記憶されたその種類の実空間における基準サイズを、その種類の確信度で加重平均することで物体の実空間でのサイズを推定し、推定した物体の実空間でのサイズに相当する、物体までの距離が所定の基準距離である場合の画像上での物体の推定サイズと、画像上での検出された物体のサイズとの比に基づいて、物体までの距離を推定する、ことを含む。
本発明のさらに他の形態によれば、距離推定用コンピュータプログラムが提供される。この距離推定用コンピュータプログラムは、撮像部により得られた画像に表された所定の物体を検出するとともに、所定の物体についての複数の種類のそれぞれについて、検出されたその物体がその種類の物体である確からしさを表す確信度を算出する識別器に画像を入力することで、検出された物体のサイズ及び複数の種類のそれぞれについて確信度を算出し、複数の種類のそれぞれについて、記憶部に記憶されたその種類の実空間における基準サイズを、その種類の確信度で加重平均することで物体の実空間でのサイズを推定し、推定した物体の実空間でのサイズに相当する、物体までの距離が所定の基準距離である場合の画像上での物体の推定サイズと、画像上での検出された物体のサイズとの比に基づいて、物体までの距離を推定する、ことをコンピュータに実行させるための命令を含む。
本発明に係る距離推定装置は、画像に表された物体までの距離の推定精度を向上できるという効果を奏する。
距離推定装置が実装される車両制御システムの概略構成図である。 距離推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。 距離推定処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 距離推定処理の概要の説明図である。 距離推定処理を含む、車両制御処理の動作フローチャートである。
以下、図を参照しつつ、距離推定装置について説明する。この距離推定装置は、撮像部により得られた画像に表された、検出対象となる物体を検出し、撮像部からその物体までの距離を推定する。そしてこの距離推定装置は、物体の種類ごとに、その物体の実空間における基準となるサイズを表す基準サイズを予め規定し、その基準サイズと、画像上でのその物体のサイズとを用いて、その物体までの距離を推定する。
検出対象となる物体の基準サイズは、物体の種類ごとに設定されるので、同じ種類の物体であっても、その物体の実際のサイズは、基準サイズと異なることがある。例えば、検出対象となる物体の種類がバスである場合、様々なバスが存在するため、基準サイズと異なるサイズのバスも存在する。例えば、マイクロバスのように小型のバスのサイズは、基準サイズよりも小さくなることが想定される。そして、基準サイズがそのまま検出対象となる物体のサイズとして距離の推定に利用される場合、その物体の実際のサイズと基準サイズとの差が大きくなるほど、その物体までの距離の推定結果の誤差も大きくなる。
また、ある物体の実際のサイズが、その物体の種類についての基準サイズよりも小さい場合、その物体の外観は、基準サイズがより小さい他の種類の物体と類似することがある。そのため、画像上に表されたその物体は、基準サイズがより小さい他の種類の物体と誤認識され易い。例えば、マイクロバスの外観は、基準サイズがバスよりも小さい普通乗用車のうちの大型のものとの外観の違いが小さくなる。そのため、検出対象である物体がマイクロバスである場合、画像に表されたマイクロバスは、基準サイズがより小さい普通乗用車であると誤認識され易くなる。同様に、ある物体の実際のサイズが、その物体の種類の基準サイズよりも小さい場合、その物体の外観は、基準サイズがより小さい他の種類の物体と類似することがある。そのため、画像上に表されたその物体は、基準サイズがより大きい他の種類の物体と誤認識され易い。このように、基準サイズと実際のサイズとの差が大きい物体ほど、その実際のサイズに近い、異なる基準サイズを持つ種類の物体と誤認識され易くなる。したがって、画像に表された物体について想定される種類ごとに、その物体がその種類である確からしさで、その種類の基準サイズを加重平均することで、その物体の実際のサイズをより精度良く推定することができると考えられる。
そこで、この距離推定装置は、撮像部により得られた画像を識別器に入力することで、画像上で検出対象となる物体が表された領域を検出するとともに、その物体の種類と推定される複数の種類のそれぞれについて、その物体がその種類であることの確からしさを表す確信度を算出する。そしてこの距離推定装置は、複数の種類のそれぞれについて、その種類の物体の基準サイズをその種類の確信度で加重平均することで画像から検出された物体の実空間におけるサイズを推定する。そしてこの距離推定装置は、推定したその物体の実空間でのサイズを用いて、撮像部からその物体までの距離を推定する。
以下では、距離推定装置を、車両制御システムに適用した例について説明する。この例では、距離推定装置は、車両に搭載されたカメラにより得られた画像に対して距離推定処理を実行することで、車両の周囲に存在する、検出対象となる物体を検出するとともに、検出された物体までの距離を推定し、物体の検出結果及び検出された物体までの距離の推定値を、車両の運転制御に利用する。
また、この例では、検出対象となる物体は、例えば、「車両」、「人」、「路上静止物体」といった、同一の属性を持つ物体の種類の集合を表すクラスの何れかに分類される。また、「車両」クラスに属する種類には、例えば、「普通乗用車」、「バス」、及び、「トラック」などが含まれる。さらに、「人」クラスに属する種類には、例えば、「歩行者」、及び、「自転車に乗る人」などが含まれる。さらにまた、「路上静止物体」クラスに属する種類には、例えば、「道路標識」、及び、「信号機」などが含まれる。
図１は、距離推定装置が実装される車両制御システムの概略構成図である。また図２は、距離推定装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、距離推定装置の一例である電子制御装置（ＥＣＵ）３とを有する。カメラ２とＥＣＵ３とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク４を介して通信可能に接続される。
カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ２により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。
カメラ２は、画像を生成する度に、その生成した画像を、車内ネットワーク４を介してＥＣＵ３へ出力する。
ＥＣＵ３は、車両１０を制御する。本実施形態では、ＥＣＵ３は、カメラ２により得られた時系列の一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ３は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。
通信インターフェース２１は、車内通信部の一例であり、ＥＣＵ３を車内ネットワーク４に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク４を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。
メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。なお、メモリ２２は、後述するようにプロセッサ２３が複数の演算ユニットを有する場合に、演算ユニットごとに専用のメモリ回路を有していてもよい。そしてメモリ２２は、ＥＣＵ３のプロセッサ２３により実行される距離推定処理及び車両制御処理において使用される各種のデータを記憶する。例えば、メモリ２２は、カメラ２から受信した画像、距離推定処理で利用される識別器（例えば、物体検出用の第１の識別器及び種類ごとの確信度算出用の第２の識別器）を特定するための各種パラメータ、カメラ２の内部パラメータ、基準距離、及び、検出対象となる物体の種類ごとの基準サイズなどを記憶する。さらに、メモリ２２は、地図情報などを記憶してもよい。さらにまた、メモリ２２は、距離推定処理及び車両制御処理の途中で生成される各種のデータを一時的に記憶する。
プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して距離推定処理を実行する。さらに、プロセッサ２３は、受信した画像から検出された車両１０の周囲の物体に基づいて、車両１０を自動運転するよう、車両１０を制御する。
図３は、距離推定処理を含む車両制御処理に関する、ＥＣＵ３のプロセッサ２３の機能ブロック図である。プロセッサ２３は、物体検出部３１と、距離推定部３２と、運転計画部３３と、車両制御部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、物体検出部３１及び距離推定部３２が、カメラ２により得られた画像に基づいて距離推定処理を実行する。なお、車両１０に複数のカメラが設けられる場合には、プロセッサ２３は、カメラごとに、そのカメラにより得られた画像に基づいて距離推定処理を実行してもよい。
物体検出部３１は、カメラ２により生成された、時系列の一連の画像のそれぞれにおいて、その画像に写っている検出対象となる物体を検出して、その物体が表された領域（例えば、検出対象となる物体の外接矩形、以下、物体領域と呼ぶ）を特定する。さらに、物体検出部３１は、検出された物体について、その物体のクラスに属する複数の種類のそれぞれについて確信度を算出する。
例えば、物体検出部３１は、カメラ２から画像を取得する度に、その画像をメモリ２２に記憶するとともに、その画像を、物体検出用の第１の識別器に入力することで、入力された画像に表された検出対象となる物体を検出する。物体検出部３１は、第１の識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。物体検出部３１は、そのようなDNNとして、例えば、Single Shot MultiBox Detector(SSD)(Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年を参照)、または、Faster R-CNN(Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年)といった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNNを用いることができる。この場合、物体検出部３１が画像をDNNタイプの第１の識別器に入力することで、第１の識別器は、入力された画像上の様々な領域において、検出対象となる物体のクラス（例えば、車両、人、路上静止物体）ごとに、その物体がその領域に表されている確からしさを表す確信度を算出する。そして、物体検出部３１は、何れかのクラスについての確信度が所定の検出閾値以上となる領域に、そのクラスの物体が表されていると判定する。例えば、画像上の或る領域について、「車両」について算出された確信度が確信度閾値以上となる場合、第１の識別器は、その領域に「車両」が表されていると判定する。そして第１の識別器は、入力された画像上での物体領域を表す情報、及び、物体領域に表された物体のクラスを表す情報を出力する。
あるいは、物体検出部３１は、第１の識別器として、DNN以外の識別器を用いてもよい。例えば、物体検出部３１は、第１の識別器として、画像上に設定されるウィンドウから算出される特徴量(例えば、Histograms of Oriented Gradients, HOG)を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン(SVM)を用いてもよい。物体検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をSVMへ入力することで、そのウィンドウについて確信度を求める。そして物体検出部３１は、確信度が所定の検出閾値以上である場合、そのウィンドウを、検出対象となる物体が表された物体領域とする。
画像上において検出対象となる物体が表された物体領域が特定されると、物体検出部３１は、特定された物体領域を第２の識別器に入力することで、その物体のクラスに属する種類ごとの確信度を算出する。例えば、物体領域において「車両」が検出されていると、第２の識別器は、「車両」のクラスに属する種類である「普通乗用車」、「バス」及び「トラック」のそれぞれについて確信度を算出する。物体検出部３１は、第２の識別器として、例えば、入力された物体領域から、その物体領域に表された物体の種類ごとの確信度を算出するように予め学習されたCNNを用いることができる。また、物体検出部３１は、第２の識別器として、CNN以外の識別器、例えば、物体領域に表された物体の種類ごとの確信度を算出するように予め学習されたSVMを用いてもよい。なお、詳細は後述するように、距離推定部３２が確信度をそのまま基準サイズの加重平均における重み係数として利用可能なように、物体の種類ごとの確信度の合計が1となることが好ましい。そのため、第２の識別器として用いられるCNNの出力層は、例えば、softmax層とすることができる。
なお、第２の識別器は、物体のクラスごとに用意され、クラスと対応付けてメモリ２２に予め記憶されてもよい。そして物体検出部３１は、第１の識別器により検出された物体のクラスに応じて対応する第２の識別器をメモリ２２から読み込んで、その識別器を種類ごとの確信度の算出に用いればよい。これにより、個々の第２の識別器について、学習対象となる物体の種類の数が少なくなるので、第２の識別器として比較的演算量の少ない識別器を利用しても、物体検出部３１は、種類ごとの確信度の算出精度を向上することができる。
あるいは、物体検出部３１は、一つの識別器を用いて、画像上に表された検出対象となる物体を検出し、その物体のクラスに属する種類ごとの確信度を算出してもよい。この場合には、識別器は、例えば、第１の識別器に関して上述したように、SSDあるいはFaster-RCNNといった、検出対象となる物体が表された物体領域を検出し、物体領域に表された物体について、その物体の種類ごとの確信度を算出するように学習されたDNNとすることができる。この場合、識別器は、上記の第１の識別器と同様に物体領域を検出できる。ただし、この例では、識別器は、物体領域ごとに、検出対象となる物体のクラスだけでなく、他のクラスに属する種類のそれぞれについて確信度を算出する。そこで、物体検出部３１は、物体領域ごとに、その物体領域について算出された確信度が最大となる種類が属するクラスを選択し、選択したクラスの物体がその物体領域に表されていると判定する。そして物体検出部３１は、物体領域ごとに、その物体領域に表された物体のクラスに属する種類ごとの確信度の合計で、そのクラスに属する種類のそれぞれの確信度を正規化する。物体検出部３１は、そのクラスに属する種類のそれぞれについて、正規化された確信度を、その種類の確信度とすればよい。これにより、物体領域に表された物体のクラスに属する種類ごとの確信度の合計が1となる。例えば、着目する物体領域について、「車両」のクラスに属する「バス」について算出された確信度が他の種類について算出された確信度よりも高いとする。この場合、物体検出部３１は、着目する物体領域に、「車両」クラスの物体が表されていると判定する。そして物体検出部３１は、「車両」クラスに属する「普通自動車」、「バス」、「トラック」のそれぞれについて識別器により算出された確信度を、その確信度の合計で割ることで、「普通自動車」、「バス」、「トラック」のそれぞれの確信度を正規化すればよい。例えば、「普通自動車」について算出された確信度が0.3、「バス」について算出された確信度が0.5、「トラック」について算出された確信度が0.4であったとする。この場合、「普通自動車」についての正規化された確信度は0.25(=0.3/(0.3+0.4+0.5))となり、「バス」についての正規化された確信度は0.42(=0.5/(0.3+0.4+0.5))となり、「トラック」についての正規化された確信度は0.33(=0.4/(0.3+0.4+0.5))となる。
物体検出部３１は、画像から検出された物体領域の位置及び範囲と、検出された物体のクラスに属する種類ごとの確信度を、距離推定部３２及び運転計画部３３へ出力する。
距離推定部３２は、カメラ２から画像から検出された物体までの距離を推定する。本実施形態では、距離推定部３２は、物体検出部３１により検出された物体領域ごとに、以下の処理を実行することで、その物体領域に表された物体までの距離を推定する。
距離推定部３２は、着目する物体領域に表された物体のクラスに属する種類ごとに、その種類の基準サイズSrj(j=1,2,..m|mは種類の数)と、基準距離drとをメモリ２２から読み込む。そして距離推定部３２は、着目する物体領域に表された物体のクラスに属する複数の種類のそれぞれについて、その種類の基準サイズをその種類の確信度で加重平均することで、その物体領域に表された物体の実空間におけるサイズSrpを推定する。すなわち、実空間における、推定された物体のサイズSrpは次式で算出される。
Figure 0007003972000001
 ただし、重み係数wj(j=1,2,..,m)は、種類jについて算出された確信度である。例えば、着目する物体領域に表された物体のクラスが「車両」であり、「バス」について算出された確信度が0.1、「普通乗用車」及び「トラック」について算出された確信度がそれぞれ0.45であったとする。また、「バス」の基準サイズが2.5mであり、「普通乗用車」の基準サイズが1.8mであり、「トラック」の基準サイズが2.2mであるとする。この場合、実空間における、推定された物体のサイズSrpは、0.1x2.5+0.45x1.8+0.45x2.2=2.05mとなる。
距離推定部３２は、着目する物体領域に表された物体について、推定したその物体の実空間でのサイズSrpに相当する、その物体までの距離が所定の基準距離drである場合の画像上でのその物体の推定基準サイズSipを算出する。そして距離推定部３２は、着目する物体領域に表された物体のサイズSiに対する、推定基準サイズSipの比(Sip/Si)を基準距離drに乗じて得られる値を、カメラ２からその物体までの距離として推定する。
なお、距離推定部３２は、カメラ２から見えると想定される方向から見た物体の水平方向または垂直方向のサイズを基準サイズとすることができる。本実施形態では、カメラ２は、車両１０の前方を撮影するように取り付けられているので、「車両」クラスに属する種類の物体は、車両１０の前方を走行しているか、あるいは、対向車線を車両１０に向かって走行していることが想定される。そのため、「車両」クラスに属する種類の物体についての基準サイズは、例えば、その物体を前方または後方から見た水平方向の長さ（すなわち、横幅）または垂直方向の長さ（すなわち、路面からの高さ）とすることができる。また、「路面静止物体」クラスに属する種類の物体は、走行中の車両１０からその物体の正面が見えるように設置されている。そのため、「路面静止物体」クラスに属する種類の物体についての基準サイズは、その物体を正面方向から見た水平方向の長さまたは垂直方向の長さとすることができる。さらに、「人」クラスに属する種類の物体は、その物体を見る向きによって水平方向の長さは変化するものの、垂直方向の長さは、見る向きによらずほぼ一定となる。さらに、「人」クラスに属する種類の物体は、水平方向よりも垂直方向の方が、種類による長さの差が顕著となる。そのため、「人」クラスに属する物体の実際のサイズを正確に推定することができるように、「人」クラスに属する種類の物体についての基準サイズは、路面に対して垂直な方向におけるその物体の長さ（すなわち、高さ）とすることが好ましい。
また、基準距離は、例えば、カメラ２により得られる画像上で、物体のサイズに応じて画像上におけるその物体のサイズが変化する程度にその物体が表される距離、例えば、10～30mとすることができる。さらに、距離推定に利用される、画像に表された物体のサイズは、例えば、基準サイズが規定される、実空間における方向に対応する画像上の方向における物体領域の幅とすることができる。例えば、物体の基準サイズがその物体の水平方向における長さである場合、画像に表されたその物体のサイズは、その物体が表された物体領域の水平方向の幅とすることができる。また、物体の基準サイズがその物体の垂直方向における長さである場合、画像に表されたその物体のサイズは、その物体が表された物体領域の垂直方向の高さとすることができる。
さらに、距離推定部３２は、推定したその物体の実空間でのサイズSrpに相当する、その物体までの距離が所定の基準距離drである場合の画像上でのその物体の推定基準サイズSipを、カメラ２の内部パラメータを用いて算出できる。カメラ２の内部パラメータには、例えば、カメラ２の焦点距離、画角、各画素の水平方向サイズ及び垂直方向サイズ、及び、画像中心からの距離と歪曲収差の量との関係等が含まれる。
図４は、距離推定処理の概要の説明図である。図４に示されるように、カメラ２により得られた画像４００上の物体領域４０１において車両４１０が検出されており、車両４１０に関して、「バス」について算出された確信度が0.5、「トラック」について算出された確信度が0.3、「普通乗用車」について算出された確信度が0.2であったとする。また、「バス」の基準サイズが2.5mであり、「普通乗用車」の基準サイズが1.8mであり、「トラック」の基準サイズが2.2mであるとする。この場合、車両４１０の実空間での推定サイズSrpは、2.27mとなる。そして、例えば、カメラ２の内部パラメータと、その推定サイズSrpから算出される、基準距離drが20mである場合の画像４００上での車両４１０の推定基準サイズSipが75画素であったとする。また、画像４００上での車両４１０のサイズ（この例では、物体領域４０１の水平方向の幅）Siが50画素であったとする。この場合、カメラ２から車両４１０までの距離dは、brx(Sip/Si)=20x(75/50)=30mと推定される。
距離推定部３２は、物体領域ごとに、その物体領域に表される物体までの推定距離を運転計画部３３へ通知する。
運転計画部３３は、各画像について検出された、車両１０の周囲に存在する物体と車両１０とが衝突しないように車両１０の走行予定経路（トラジェクトリ）を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。例えば、運転計画部３３は、カメラ２から得られた一連の画像から検出された物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。その際、運転計画部３３は、各画像の取得時における、車両１０の現在位置及び姿勢と、距離推定部３２による、検出された物体までの推定距離と、車両１０からその物体へ向かう方向とにより、各画像の取得時における、検出された物体の位置を推定できる。なお、車両１０の位置及び姿勢は、車両１０に搭載されたGPS受信機（図示せず）により受信されたGPS信号などを用いて推定される。あるいは、車両１０の位置及び姿勢は、ローカライズ処理部（図示せず）が、カメラ２により画像が得られる度に、その画像から車両１０の左右の車線区画線を検出し、検出された車線区画線とメモリ２２に記憶されている地図情報とをマッチングすることで推定されてもよい。また、車両１０からその物体へ向かう方向は、画像上のその物体の位置、及び、車両１０に対するカメラ２の設置位置及び向きから求められる。そして運転計画部３３は、各画像の取得時における、検出された物体の推定位置に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、その検出された物体を追跡することができる。
運転計画部３３は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。その際、運転計画部３３は、例えば、車両１０の現在位置と、メモリ２２に記憶されている地図情報とを参照して、車両１０が走行可能な車線の数を確認してもよい。そして運転計画部３３は、車両１０が走行可能な車線が複数存在する場合には、車両１０が走行する車線を変更するように走行予定経路を生成してもよい。
なお、運転計画部３３は、複数の走行予定経路を生成してもよい。この場合、運転計画部３３は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。
運転計画部３３は、生成した走行予定経路を車両制御部３４へ通知する。
車両制御部３４は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３４は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３４は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３４は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。
さらに、車両制御部３４は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。
図５は、プロセッサ２３により実行される、距離推定処理を含む、車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像を受信する度に、図５に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１～Ｓ１０５の処理が距離推定処理に対応する。
プロセッサ２３の物体検出部３１は、カメラ２から得られた最新の画像を第１の識別器に入力することで、その画像に表された検出対象の物体が表された物体領域を求めるとともに、その物体のクラスを識別する（ステップＳ１０１）。そして物体検出部３１は、物体領域を第２の識別器に入力することで、物体領域に表された物体のクラスに属する物体の種類ごとの確信度を算出する（ステップＳ１０２）。
プロセッサ２３の距離推定部３２は、物体領域に表された物体について、その物体のクラスに属する複数の種類のそれぞれについて、その種類の基準サイズをその種類の確信度で加重平均することで、その物体の実空間におけるサイズSrpを推定する（ステップＳ１０３）。また、距離推定部３２は、推定したその物体の実空間でのサイズSrpに相当する、その物体までの距離が所定の基準距離drである場合の画像上でのその物体の推定基準サイズSipを、カメラ２の内部パラメータを用いて算出する（ステップＳ１０４）。そして距離推定部３２は、物体領域に表された物体のサイズSiに対する、推定基準サイズSipの比(Sip/Si)を基準距離drに乗じて得られる値を、カメラ２からその物体までの距離dとして推定する（ステップＳ１０５）。
プロセッサ２３の運転計画部３３は、最新の画像から検出された物体を過去の画像から検出された物体と対応付けることで追跡し、各画像における推定距離dに基づいて、その追跡結果に基づいて推定されるその物体の予測軌跡と所定の距離以上となるように、車両１０の走行予定経路を生成する（ステップＳ１０６）。そしてプロセッサ２３の車両制御部３４は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０７）。そしてプロセッサ２３は、車両制御処理を終了する。
以上に説明してきたように、この距離推定装置は、撮像部により得られた画像を識別器に入力することで、画像上で検出対象となる物体が表された領域を検出するとともに、その物体のクラスに属する複数の種類のそれぞれについて、その物体がその種類であることの確信度を算出する。この距離推定装置は、複数の種類のそれぞれについて、その種類の物体の実空間での基準サイズをその種類の確信度で加重平均することで画像から検出された物体の実空間におけるサイズを推定する。そのため、この距離推定装置は、実空間におけるその物体のサイズの推定精度を向上できる。そしてこの距離推定装置は、推定したその物体の実空間でのサイズに基づいてその物体までの距離を推定するので、その物体までの距離の推定精度も向上できる。
上記の実施形態または変形例による距離推定装置は、車載機器以外に実装されてもよい。例えば、上記の実施形態または変形例による距離推定装置は、屋外または屋内の所定の領域を所定周期ごとに撮影するように設置された監視カメラにより生成された画像から物体を検出し、検出した物体までの距離を推定するように構成されてもよい。
また、上記の実施形態または変形例による、距離推定装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
１ 車両制御システム
２ カメラ
３ 電子制御装置（距離推定装置）
４ 車内ネットワーク
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 物体検出部
３２ 距離推定部
３３ 運転計画部
３４ 車両制御部
１０ 車両

Claims (5)

  1. 所定の物体についての複数の種類のそれぞれについて、当該種類の実空間における基準サイズを記憶する記憶部と、
    撮像部により得られた画像に表された前記物体を検出するとともに、前記複数の種類のそれぞれについて検出された前記物体が当該種類の物体である確からしさを表す確信度を算出する識別器に前記画像を入力することで、検出された前記物体のサイズ及び前記複数の種類のそれぞれについて前記確信度を算出する物体検出部と、
    前記複数の種類のそれぞれの前記基準サイズを、当該種類の前記確信度で加重平均することで前記物体の実空間でのサイズを推定し、推定した前記物体の実空間でのサイズに相当する、前記物体までの距離が所定の基準距離である場合の前記画像上での前記物体の推定サイズと、前記画像上での検出された前記物体のサイズとの比に基づいて、前記物体までの距離を推定する距離推定部と、
    を有する距離推定装置。
  2. 前記所定の物体は、車両である、請求項１に記載の距離推定装置。
  3. 前記所定の物体は、人、または、人が露出した状態で乗車する車両であり、前記複数の種類のそれぞれの前記基準サイズ、及び、前記画像上での前記物体のサイズは、路面に垂直な方向の長さである、請求項１に記載の距離推定装置。
  4. 撮像部により得られた画像に表された所定の物体を検出するとともに、前記所定の物体についての複数の種類のそれぞれについて、検出された前記物体が当該種類の物体である確からしさを表す確信度を算出する識別器に前記画像を入力することで、検出された前記物体のサイズ及び前記複数の種類のそれぞれについて前記確信度を算出し、
    前記複数の種類のそれぞれについて、記憶部に記憶された当該種類の実空間における基準サイズを、当該種類の前記確信度で加重平均することで前記物体の実空間でのサイズを推定し、推定した前記物体の実空間でのサイズに相当する、前記物体までの距離が所定の基準距離である場合の前記画像上での前記物体の推定サイズと、前記画像上での検出された前記物体のサイズとの比に基づいて、前記物体までの距離を推定する、
    距離推定方法。
  5. 撮像部により得られた画像に表された所定の物体を検出するとともに、前記所定の物体についての複数の種類のそれぞれについて、検出された前記物体が当該種類の物体である確からしさを表す確信度を算出する識別器に前記画像を入力することで、検出された前記物体のサイズ及び前記複数の種類のそれぞれについて前記確信度を算出し、
    前記複数の種類のそれぞれについて、記憶部に記憶された当該種類の実空間における基準サイズを、当該種類の前記確信度で加重平均することで前記物体の実空間でのサイズを推定し、推定した前記物体の実空間でのサイズに相当する、前記物体までの距離が所定の基準距離である場合の前記画像上での前記物体の推定サイズと、前記画像上での検出された前記物体のサイズとの比に基づいて、前記物体までの距離を推定する、
    ことをコンピュータに実行させるための距離推定用コンピュータプログラム。
JP2019108602A 2019-06-11 2019-06-11 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム Active JP7003972B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019108602A JP7003972B2 (ja) 2019-06-11 2019-06-11 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
US16/896,799 US11120292B2 (en) 2019-06-11 2020-06-09 Distance estimation device, distance estimation method, and distance estimation computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019108602A JP7003972B2 (ja) 2019-06-11 2019-06-11 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2020201746A JP2020201746A (ja) 2020-12-17
JP7003972B2 true JP7003972B2 (ja) 2022-01-21

Family

ID=73742048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019108602A Active JP7003972B2 (ja) 2019-06-11 2019-06-11 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム

Country Status (2)

Country Link
US (1) US11120292B2 (ja)
JP (1) JP7003972B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240078908A1 (en) * 2021-01-26 2024-03-07 Kyocera Corporation Observation device and observation method
CN118266004A (zh) * 2021-12-16 2024-06-28 古野电气株式会社 目标监测装置、目标监测方法以及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011065149A1 (ja) 2009-11-25 2011-06-03 本田技研工業株式会社 対象物距離測定装置及び当該装置が搭載された車両
WO2014171052A1 (ja) 2013-04-16 2014-10-23 コニカミノルタ株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
WO2016157499A1 (ja) 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3718747B2 (ja) 2001-04-27 2005-11-24 日産自動車株式会社 車両用走行制御装置
US9058524B2 (en) * 2013-06-28 2015-06-16 Bendix Commercial Vehicle Systems Llc Measuring the range to an object, in an image, using size categorization
JP6351238B2 (ja) 2013-11-15 2018-07-04 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
KR102622169B1 (ko) * 2018-12-06 2024-01-08 팅크웨어(주) 주행 영상을 이용하여 차간 거리를 측정하는 차간 거리 측정 방법, 차간 거리 측정 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
US11222219B2 (en) * 2019-04-15 2022-01-11 Qualcomm Incorporated Proximate vehicle localization and identification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011065149A1 (ja) 2009-11-25 2011-06-03 本田技研工業株式会社 対象物距離測定装置及び当該装置が搭載された車両
WO2014171052A1 (ja) 2013-04-16 2014-10-23 コニカミノルタ株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
WO2016157499A1 (ja) 2015-04-02 2016-10-06 株式会社日立製作所 画像処理装置、物体検知装置、画像処理方法

Also Published As

Publication number Publication date
JP2020201746A (ja) 2020-12-17
US11120292B2 (en) 2021-09-14
US20200394435A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US11308717B2 (en) Object detection device and object detection method
CN113492851B (zh) 车辆控制装置、车辆控制方法以及车辆控制用计算机程序
JP7078021B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
EP3594902B1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
US11829153B2 (en) Apparatus, method, and computer program for identifying state of object, and controller
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP7115502B2 (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP7226368B2 (ja) 物体状態識別装置
JP2021120255A (ja) 距離推定装置及び距離推定用コンピュータプログラム
JP7003972B2 (ja) 距離推定装置、距離推定方法及び距離推定用コンピュータプログラム
JP2021163432A (ja) 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置
JP2021026683A (ja) 距離推定装置
US20230177844A1 (en) Apparatus, method, and computer program for identifying state of lighting
JP2020076714A (ja) 位置姿勢推定装置
CN113492850B (zh) 倾斜角检测装置及控制装置
JP7528915B2 (ja) 追跡装置、追跡方法及び追跡用コンピュータプログラム
JP2022146384A (ja) 物体検出装置
JP2023053681A (ja) 距離推定装置
JP2024024422A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP2022079954A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213