JP4830604B2 - Object detection method and object detection apparatus - Google Patents

Object detection method and object detection apparatus Download PDF

Info

Publication number
JP4830604B2
JP4830604B2 JP2006112877A JP2006112877A JP4830604B2 JP 4830604 B2 JP4830604 B2 JP 4830604B2 JP 2006112877 A JP2006112877 A JP 2006112877A JP 2006112877 A JP2006112877 A JP 2006112877A JP 4830604 B2 JP4830604 B2 JP 4830604B2
Authority
JP
Japan
Prior art keywords
direction vector
preset threshold
equal
edge
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006112877A
Other languages
Japanese (ja)
Other versions
JP2007288460A (en
Inventor
倫子 下村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2006112877A priority Critical patent/JP4830604B2/en
Publication of JP2007288460A publication Critical patent/JP2007288460A/en
Application granted granted Critical
Publication of JP4830604B2 publication Critical patent/JP4830604B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P20/00Technologies relating to chemical industry
    • Y02P20/50Improvements relating to the production of bulk chemicals
    • Y02P20/52Improvements relating to the production of bulk chemicals using catalysts, e.g. selective catalysts

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Description

本発明は、レーダやカメラなどのセンサを用いて物体を検出する物体検出装置に関する。   The present invention relates to an object detection apparatus that detects an object using a sensor such as a radar or a camera.

従来、車両において衝突防止装置、車間距離制御装置、追従走行装置などの運転支援装置が提案されている。これらの運転支援装置では、自車両の前方を走行する車両などの物体(障害物)を検出する物体検出装置が用いられている。   2. Description of the Related Art Conventionally, driving support devices such as a collision prevention device, an inter-vehicle distance control device, and a following traveling device have been proposed for vehicles. In these driving support devices, an object detection device that detects an object (obstacle) such as a vehicle traveling in front of the host vehicle is used.

このような物体検出装置として、例えば、検出センサとしてカメラとレーダとを備え、カメラ画像で抽出した物体のエッジと、レーザレーダによる物体の検出情報とに基づいて車両であることを正確に検出および判定する技術が提案されている(例えば、特許文献1参照)。
特開2005−157875号公報
As such an object detection device, for example, a camera and a radar are provided as detection sensors, and the vehicle is accurately detected based on the object edge extracted from the camera image and the object detection information by the laser radar. A technique for determining has been proposed (see, for example, Patent Document 1).
JP 2005-157875 A

しかしながら、上述の従来技術は、左右対称のリフレクタに基づいて「4輪車両」の特徴のみを検出対象としているため、4輪車両以外の種類の物体検出には適用できず、車両以外の物体も検出したいという要望に対応することができないという問題があった。   However, since the above-described prior art is based on the symmetrical reflector and only the feature of “four-wheel vehicle” is detected, it cannot be applied to detection of an object other than a four-wheel vehicle. There was a problem that it was not possible to respond to the desire to detect.

そこで、本発明は、車両以外の物体の検出を高い精度で行うことが可能な物体検出方法および物体検出装置を提供することを目的とする。   Accordingly, an object of the present invention is to provide an object detection method and an object detection apparatus that can detect an object other than a vehicle with high accuracy.

本発明は、上述事情に鑑みなされたもので、物体を判定する情報として、エッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度、エッジ強度分散のうちの少なくとも一つと、検出対象物の実速度と、を用い、これらに基づいて対象物の種類を判定する物体検出方法とした。   The present invention has been made in view of the above circumstances. As information for determining an object, at least one of an edge direction vector, an edge direction vector variance, an edge strength, and an edge strength variance, and an actual speed of a detection target And an object detection method for determining the type of the object based on these.

物体はその種類の違いにより、その形状の特性や動きの特性や実速度が異なる。そこで、本発明では、エッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度、エッジ強度分散のうちの少なくとも一つと、検出対象物の実速度とを用いることで、物体の種類の違いを高い精度で判定することができる。   Depending on the type of object, its shape characteristics, movement characteristics, and actual speed differ. Therefore, in the present invention, by using at least one of the edge direction vector, the edge direction vector variance, the edge strength, and the edge strength variance, and the actual velocity of the detection target, the difference in the type of the object is highly accurate. Can be determined.

以下、本発明の実施の形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

この実施の形態の物体検出装置は、外界に存在する物体に関する情報を得る入力手段(10)と、この入力手段(10)から得られる前記情報に基づいて物体の検出を行う物体検出処理手段(CU)と、を備えた物体検出装置であって、前記入力手段(10)に、少なくとも検出対象物体を撮像した画像情報を入力する手段(1)と、検出対象物体との距離情報を入力する手段(2)とが含まれ、前記物体検出処理手段(CU)が、検出対象物体との距離と、前記画像情報から算出したエッジの方向ベクトル、エッジの方向ベクトル分散、エッジ強度、エッジ強度分散のうちの少なくとも1つと、に基づいて対象物の種類を判定する物体種類判定処理を行うことを特徴とする。   The object detection apparatus of this embodiment includes an input means (10) for obtaining information relating to an object existing in the outside world, and an object detection processing means (10) for detecting an object based on the information obtained from the input means (10). CU), and the distance information between the detection target object and the means (1) for inputting at least image information obtained by imaging the detection target object is input to the input means (10). Means (2), and the object detection processing means (CU) includes the distance to the detection target object, the edge direction vector calculated from the image information, the edge direction vector variance, the edge strength, and the edge strength variance. An object type determination process for determining the type of the object based on at least one of the above is performed.

図1〜図12に基づいて本発明の最良の実施の形態の実施例1の物体検出装置について説明する。   An object detection apparatus according to Example 1 of the best mode of the present invention will be described with reference to FIGS.

実施例1の物体検出装置は、図1に示すように、車両MBに搭載されており、入力手段としてカメラ1、レーダ2、車速センサ3と、物体検出処理手段としてのコントロールユニットCUとを備えている。   As shown in FIG. 1, the object detection apparatus according to the first embodiment is mounted on a vehicle MB, and includes a camera 1, a radar 2, a vehicle speed sensor 3 as input means, and a control unit CU as object detection processing means. ing.

カメラ1は、例えば、車室内の図示を省略したルームミラーの近傍位置に搭載されている。このカメラ1としては、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)のカメラなどの輝度画像を撮像する輝度カメラと赤外線画像を撮像する赤外カメラとの少なくとも一方を用いることができるが、本実施例1では、輝度カメラを用いている。   For example, the camera 1 is mounted in the vicinity of a room mirror (not shown) in the passenger compartment. As the camera 1, at least one of a luminance camera that captures a luminance image such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) camera and an infrared camera that captures an infrared image can be used. In the first embodiment, a luminance camera is used.

レーダ2としては、ミリ波レーダやレーザレーダや超音波レーダを用いることができるが、本実施例1では、レーザレーダを使用している。なお、レーザレーダの場合、検出物体の情報として、距離とレーザ光の反射強度とを得ることができる。また、ミリ波レーダの場合、検出物体の情報として、距離・電波の反射強度・車両MBと検出物体との相対速度を得ることができる。   As the radar 2, a millimeter wave radar, a laser radar, or an ultrasonic radar can be used. In the first embodiment, a laser radar is used. In the case of laser radar, the distance and the reflection intensity of the laser beam can be obtained as information on the detected object. In the case of millimeter wave radar, distance, radio wave reflection intensity, and relative speed between the vehicle MB and the detected object can be obtained as detected object information.

また、車速センサ3は、周知のセンサであり、車輪の回転速度に応じた信号を出力する。   The vehicle speed sensor 3 is a known sensor and outputs a signal corresponding to the rotational speed of the wheel.

コントロールユニットCUは、図2に示すように、カメラ1、レーダ2、車速センサ3を含む車載のセンサ群10から信号を入力して、物体を検出し、さらにその種類を判定する物体検出処理を行うもので、RAM(Random Access Memory),ROM(Read Only Memory),CPU(Central Processing Unit)などを備えた周知のものである。   As shown in FIG. 2, the control unit CU inputs a signal from an in-vehicle sensor group 10 including a camera 1, a radar 2, and a vehicle speed sensor 3, detects an object, and further performs an object detection process for determining the type. This is a well-known device including a RAM (Random Access Memory), a ROM (Read Only Memory), a CPU (Central Processing Unit), and the like.

図2は、このコントロールユニットCUにおいて物体検出処理を行う構成を機能的に表したもので、コントロールユニットCUは、メモリ11と、物体存在判定処理部12と、物体速度算出処理部13と、物体種類判定処理部14と、を備えている。   FIG. 2 functionally represents a configuration for performing object detection processing in the control unit CU. The control unit CU includes a memory 11, an object presence determination processing unit 12, an object speed calculation processing unit 13, and an object. A type determination processing unit 14.

メモリ11には、カメラ1が撮像した輝度画像情報と、レーダ2が検知した検波情報として、レーダ2の水平方向のスキャン分解能(角度)ごとに、各角度におけるレーダ2から物体までの距離とレーザ光の反射強度とが保存される。
なお、カメラ1で得られる輝度画像情報の一例を図3により説明する。
図3は、車両(自車両)MBの前方に車両(他車両)ABと人物(歩行者)PEと道路構造物としての壁WOとが存在する場合の画像の一例を示しており、これらがカメラ1の撮像面1aにおいて同図(d)に示す輝度画像情報として投影される。なお、図3において(a)は、横から見た状態を示し、(b)は上から見た状態を示し、(c)はカメラ1として赤外線カメラを用いた場合の赤外画像を示しており、他車両ABにおいて図中MPは高温として捉えられている部分(マフラ部分)を示している。
The memory 11 stores the distance from the radar 2 to the object at each angle and the laser for each horizontal scan resolution (angle) of the radar 2 as luminance image information captured by the camera 1 and detection information detected by the radar 2. The reflection intensity of light is preserved.
An example of luminance image information obtained by the camera 1 will be described with reference to FIG.
FIG. 3 shows an example of an image when a vehicle (other vehicle) AB, a person (pedestrian) PE, and a wall WO as a road structure exist in front of the vehicle (own vehicle) MB. The image is projected on the imaging surface 1a of the camera 1 as luminance image information shown in FIG. 3A shows a state viewed from the side, FIG. 3B shows a state viewed from above, and FIG. 3C shows an infrared image when an infrared camera is used as the camera 1. In the other vehicle AB, MP in the drawing indicates a portion (muffler portion) that is captured as a high temperature.

また、以下の説明において、検出対象物体としての車両ABは、実施例1の物体検出装置が搭載された車両MBと区別するために、他車両ABと称し、かつ、車両MBは自車両と称する。   In the following description, the vehicle AB as the detection target object is referred to as another vehicle AB in order to distinguish it from the vehicle MB on which the object detection device of the first embodiment is mounted, and the vehicle MB is referred to as the own vehicle. .

図3では、カメラ1の路面への垂直投影点PAから人物(歩行者)PEの路面への垂直投影像における自車両MB側の端点PFまでの距離をz、同様の他車両ABまでの距離をzc、点PAと点PFとのx軸方向の間隔をxsとしている。   In FIG. 3, the distance from the vertical projection point PA on the road surface of the camera 1 to the end point PF on the own vehicle MB side in the vertical projection image on the road surface of the person (pedestrian) PE is z, and the distance to the other similar vehicle AB. Is zc, and the distance between the point PA and the point PF in the x-axis direction is xs.

そこで、基準座標をカメラ1のレンズ1bの中心を原点とすると、基準座標系における点PFの位置は、(xs,−H,z)と表され、撮像面1aの画像上において点PFが位置する座標(xc,yc)は、焦点距離fを用いて、下記の式(1)および式(2)の関係で表される。
xc=xs・f/z ・・・(1)
yc=−H・f/z ・・・(2)
輝度画像情報は、このようなx、y、z軸の座標ごとに、保存される。
Therefore, when the reference coordinate is the origin of the center of the lens 1b of the camera 1, the position of the point PF in the reference coordinate system is represented as (xs, -H, z), and the point PF is located on the image on the imaging surface 1a. The coordinates (xc, yc) to be expressed are expressed by the relationship of the following expressions (1) and (2) using the focal length f.
xc = xs · f / z (1)
yc = −H · f / z (2)
Luminance image information is stored for each such x-, y-, and z-axis coordinate.

次に、レーダ2による検波情報の一例を図4に示す。
図4は、図3で説明した検知例から時間が経過した後の検知例を示しており、(a)はその検知例の輝度画像情報を示し、(b)はその検知例を上方から見た状態を示している。この図に示すように、自車両MBの前方に存在する他車両ABと人物(歩行者)PEと壁(道路構造物)WOとにおいて反射したレーザ光を検出することで、物体が存在することを検出できる。なお、図4(b)において丸印で示したqP,qA,qWが、それぞれ各物体の計測点を示している。また、これら計測点qP,qA,qWは、その丸印の大きさが後述する反射強度を表している。
Next, an example of detection information by the radar 2 is shown in FIG.
FIG. 4 shows a detection example after a lapse of time from the detection example described in FIG. 3, (a) shows luminance image information of the detection example, and (b) shows the detection example from above. Shows the state. As shown in this figure, an object exists by detecting laser light reflected by another vehicle AB, a person (pedestrian) PE, and a wall (road structure) WO existing in front of the host vehicle MB. Can be detected. Note that qP, qA, and qW indicated by circles in FIG. 4B indicate measurement points of the respective objects. Further, these measurement points qP, qA, and qW represent the reflection intensity described later with the size of the circles.

そこで、メモリ11では、反射波が観測された方位ごとに、計測点までの距離とその反射強度とが保存される。   Therefore, the memory 11 stores the distance to the measurement point and the reflection intensity thereof for each direction in which the reflected wave is observed.

次に、物体存在判定処理部12について説明するが、まず、この物体存在判定処理部12の判定に用いるエッジの検出方法と、エッジの方向、エッジの方向ベクトルの分散の求め方と、オプティカルフローの求め方を説明する。   Next, the object presence determination processing unit 12 will be described. First, the edge detection method used for the determination by the object presence determination processing unit 12, the method of obtaining the edge direction, the edge direction vector variance, and the optical flow are described. Explain how to find out.

すなわち、本実施例1では、カメラ1から得られる輝度画像情報に対して、縦エッジ、横エッジ、エッジ強度を抽出するエッジ検出処理と、方向ベクトルを抽出する方向ベクトル算出処理と、オプティカルフローを算出するオプティカルフロー処理と、が成される。   That is, in the first embodiment, edge detection processing for extracting vertical edges, horizontal edges, and edge strength, direction vector calculation processing for extracting direction vectors, and optical flow are performed on luminance image information obtained from the camera 1. An optical flow process to be calculated is performed.

まず、エッジ検出処理と、エッジの方向の求め方を図5と図6を用いて説明する。
図5において(a)(b)は縦エッジ検出用フィルタを示し、同図(c)(d)は横エッジ検出用フィルタを示している。なお、図5(a)〜(d)に示すエッジ検出用フィルタは、黒がマイナス、白がプラスの値を持つものとし、詳細には、図5(e)(f)に示すように、エッジ検出用フィルタ内の数値合計値が0になるように値が設定されている。
First, edge detection processing and how to determine the edge direction will be described with reference to FIGS.
5A and 5B show vertical edge detection filters, and FIGS. 5C and 5D show horizontal edge detection filters. Note that the edge detection filters shown in FIGS. 5A to 5D are assumed to have a negative value for black and a positive value for white. Specifically, as shown in FIGS. The value is set so that the total numerical value in the edge detection filter becomes zero.

エッジの検出は、これらのエッジ検出用フィルタを利用し、例えば検出領域内を1画素ずつ縦横にずらしてコンボリューション(たたみこみ(掛け合わせ))をとることで検出領域の全ての画素位置における縦エッジおよび横エッジの強さを算出する。   Edge detection uses these edge detection filters. For example, vertical edges at all pixel positions in the detection region are obtained by shifting the detection region vertically and horizontally by one pixel and performing convolution (convolution). And the strength of the lateral edge is calculated.

これらのエッジ検出用フィルタを用いたエッジ検出をさらに説明すると、図7の(a)は、他車両ABが撮像された領域Rabのエッジ検出の様子を概念的に示している。この図において(e)は横エッジ検出用フィルタを適用した例であり、同様に縦エッジ検出用フィルタを用いて同様の処理を行う。また、図7(b)は壁WOが撮像された領域のエッジの算出原理の説明図である。
例えば、画像上において縦エッジが存在する図7(g)と(h)の位置において、縦エッジ検出用フィルタと横エッジ検出用フィルタとでコンボリューションをとると、(g)のの位置での縦エッジ検出用フィルタの値が大きくなるが、(h)の位置での横エッジ検出用フィルタの値は0に近い値となる。また、(j)のエッジのない位置では、縦横いずれのエッジ検出用フィルタを適用した場合も値は0に近い値となり。また、(i)のような斜めのエッジを持つ部分では、縦エッジ検出用フィルタと横エッジ検出用フィルタとのいずれも値を持つが、(g)の位置ほど大きくない値(絶対値でほぼ半分程度の値)となる。
The edge detection using these edge detection filters will be further described. FIG. 7A conceptually shows the state of edge detection in the region Rab where the other vehicle AB is imaged. In this figure, (e) is an example in which a horizontal edge detection filter is applied, and the same processing is similarly performed using the vertical edge detection filter. FIG. 7B is an explanatory diagram of the calculation principle of the edge of the region where the wall WO is imaged.
For example, when convolution is performed between the vertical edge detection filter and the horizontal edge detection filter at the positions shown in FIGS. 7G and 7H where the vertical edges exist on the image, the position at the position (g) is obtained. Although the value of the vertical edge detection filter increases, the value of the horizontal edge detection filter at the position (h) is close to zero. Further, at the position where there is no edge in (j), the value is close to 0 regardless of which of the edge detection filters is applied. Further, in the portion having an oblique edge as in (i), both the vertical edge detection filter and the horizontal edge detection filter have values, but the values are not as large as the positions of (g) (absolute values are almost the same). Half of the value).

このように、エッジ検出用フィルタを用いたエッジ検出では、エッジが存在しない位置では、縦横どちらのエッジ検出用フィルタのコンボリューション値も小さく、エッジが存在する位置では、そのエッジの傾きに近い方のエッジ検出用フィルタとのコンボリューション値が高くなる。そして、その縦横エッジ検出用フィルタとのコンボリューション値の絶対値の和がそのエッジの強さを示すことになる。   As described above, in edge detection using an edge detection filter, the convolution value of either the vertical or horizontal edge detection filter is small at a position where no edge exists, and at the position where an edge exists, the one closer to the slope of the edge. The convolution value with the edge detection filter increases. The sum of the absolute values of the convolution values with the vertical / horizontal edge detection filter indicates the strength of the edge.

次に、画像上のエッジが存在する部分において、そのエッジの方向ベクトルを算出する方法の具体例を説明する。   Next, a specific example of a method for calculating a direction vector of an edge in a portion where an edge exists on the image will be described.

前述したように、縦エッジでは縦エッジ検出用フィルタが高い値を示し、横エッジ部分では横エッジ検出用フィルタが高い値を示す。一方、斜めエッジの場合には、縦横両エッジ検出用フィルタとのコンボリューションが値を持つが、エッジが縦向きに近い傾きであれば、縦エッジ検出用フィルタの値の方が、横エッジ検出用フィルタの値よりも大きな値となる。   As described above, the vertical edge detection filter shows a high value at the vertical edge, and the horizontal edge detection filter shows a high value at the horizontal edge portion. On the other hand, in the case of an oblique edge, the convolution with the vertical and horizontal edge detection filter has a value, but if the edge is inclined closer to the vertical direction, the value of the vertical edge detection filter is the horizontal edge detection. The value is larger than the value of the filter for use.

また、図7の(k)の位置と(g)の位置とにおけるコンボリューションを比較した場合、両者はプラスマイナスが逆になり、絶対値はほぼ同じ値となる。   Further, when the convolutions at the position (k) and the position (g) in FIG. 7 are compared, the plus and minus are reversed, and the absolute values are almost the same.

図6は、このようなエッジの方向と、コンボリューション値のプラスマイナスおよび絶対値との関係を表している。例えば、図5の(a)(b)に示した縦エッジ検出用フィルタと横エッジ検出用フィルタを用いて求めたコンボリューション値をDx、Dyとすると、エッジの角度は、atan(Dx/Dy)で算出可能である。すなわち、この計算を検出領域の各画素において行うことで、検出領域の細かなエッジの方向ベクトルを算出することができる。
また、上述したエッジ強度は、|Dx+Dy|で求めることができる。
なお、後述する物体種類判定処理に用いるエッジの方向ベクトルの分散は、上述した方法で得られた各方向ベクトルについて、分散を算出することで得ることができる。
FIG. 6 shows the relationship between the edge direction, the convolution value plus / minus, and the absolute value. For example, assuming that the convolution values obtained using the vertical edge detection filter and the horizontal edge detection filter shown in FIGS. 5A and 5B are Dx and Dy, the angle of the edge is atan (Dx / Dy ). That is, by performing this calculation for each pixel in the detection region, it is possible to calculate a direction vector of a fine edge in the detection region.
Further, the above-described edge strength can be obtained by | Dx + Dy |.
Note that the variance of the edge direction vector used in the object type determination process described later can be obtained by calculating the variance for each direction vector obtained by the above-described method.

次に、オプティカルフローについて説明する。
オプティカルフローとは、ある時刻の画像上において、画像上のある点(xc、yc)に表示された映像と、その映像がΔt秒後に位置する画像上の点を結んだ矢印のことであり、一般的に画像上に撮像されたある物体上のある点の動きを示すこととなる。このようなオプティカルフローは、ブロックマッチングや勾配法など、従来提案されているいずれかの手法を適用して求めることができる。
Next, the optical flow will be described.
The optical flow is an arrow connecting a video displayed at a certain point (xc, yc) on the image at a certain time and a point on the image where the video is located after Δt seconds, In general, the movement of a certain point on a certain object captured on the image is shown. Such an optical flow can be obtained by applying any conventionally proposed method such as block matching or gradient method.

このオプティカルフローについて、図4および図8を用いて具体的に説明する。
これらの図4および図8では、人物PEが止まっている一方、他車両ABが自車両MBと同方向に前進している場合を示しており、図8は図4に示す時点からΔt秒後の状態を示している。また、両図において、(a)はカメラ1の画像であり、(b)はレーダ2による検出領域を上方から見た状態を示している。
This optical flow will be specifically described with reference to FIGS.
4 and 8 show a case where the person PE is stopped and the other vehicle AB is moving forward in the same direction as the host vehicle MB. FIG. 8 is Δt seconds after the time shown in FIG. Shows the state. Moreover, in both figures, (a) is an image of the camera 1, and (b) shows a state where a detection area by the radar 2 is viewed from above.

ここで図4において人物PEを示す値xc1,yc1,hc1は、図8に示すΔt秒後には、前述した式(1)(2)において、分母となるzの値だけが小さくなるため、自車両MBの前進に伴って大きくなる。そこで、オプティカルフローの矢印は消失点VP(画像上の前方の無限遠点が撮像される点のことであり、カメラ1の光軸LZを路面RSと平行にした場合は、画像中心が消失点VPとなる)から遠ざかる方向に長くなる。   Here, the values xc1, yc1, and hc1 indicating the person PE in FIG. 4 become smaller since only the value of z serving as the denominator decreases in Δt seconds shown in FIG. 8 in the above-described equations (1) and (2). It becomes larger as the vehicle MB moves forward. Therefore, the arrow of the optical flow is the vanishing point VP (the point at which the forward infinity point on the image is imaged. When the optical axis LZ of the camera 1 is parallel to the road surface RS, the center of the image is the vanishing point. It becomes longer in the direction away from VP.

同様に、壁WOの上にある点なども、止まっているため、オプティカルフローは長くなる。また、これらのオプティカルフローは、消失点VPを中心としてそこから画像の外側に向く矢印となる。   Similarly, since the points on the wall WO are also stopped, the optical flow becomes long. Also, these optical flows become arrows with the vanishing point VP as the center and from there toward the outside of the image.

そこで、図8の(a)に示す人物PEのオプティカルフローは、足元では右下向きとなり、画像の中心近くの頭部付近では右向きとなる。   Therefore, the optical flow of the person PE shown in FIG. 8A is directed downward to the right at the feet, and directed to the right near the head near the center of the image.

一方、他車両ABは、自車両MBと等速運動をしていると仮定すると、距離関係が略一定で前述の式(1)(2)においてzの値が変化しないため、オプティカルフローの長さは短くなる。   On the other hand, assuming that the other vehicle AB is moving at a constant speed with the host vehicle MB, the distance relationship is substantially constant and the value of z does not change in the above formulas (1) and (2). It gets shorter.

また、物体存在判定処理部12では、レーダ2からの検波情報により物体の存在を判定するのにあたり、反射強度などを求める処理も行う。   In addition, the object presence determination processing unit 12 also performs processing for obtaining reflection intensity and the like when determining the presence of an object based on detection information from the radar 2.

この処理について説明すると、前述したように図8に示す計測点qP,qA,qWの丸印の大きさは、反射強度の強さを示している。   This process will be described. As described above, the sizes of the circles at the measurement points qP, qA, and qW shown in FIG. 8 indicate the strength of the reflection intensity.

一般にレーザレーダの場合は、表面が光を反射する物体(金板製看板や反射板)を検出すると強い反射強度が観測される。一般に車両(他車両AB)には、その後部に2個以上のリフレクタ(夜、光を照らすと光を効率よく反射するための反射板であり、夜間の視認性を助けるために取り付けられている)が設けられている。また、二輪車MSにも、1個以上のリフレクタが必ず取り付けられている。また、路上でもカーブ上の側壁やセンターポールなどには、反射板が設けられている場合も多い。さらに、路上の道路標識や看板は、金板製であり、一般にレーザレーダの照射光をよく反射する。   In general, in the case of a laser radar, a strong reflection intensity is observed when an object whose surface reflects light (a signboard or a reflector made of a metal plate) is detected. In general, a vehicle (other vehicle AB) has two or more reflectors (a reflecting plate for efficiently reflecting light when illuminated by light at night, and is attached to assist nighttime visibility. ) Is provided. In addition, at least one reflector is always attached to the motorcycle MS. In many cases, a reflector is provided on a side wall or a center pole on a curve even on the road. Furthermore, road signs and signboards on the road are made of metal plates, and generally reflect the irradiation light of the laser radar well.

それに対して、人物PEや動物などの自然物は、反射効率は低い。そのため、図8(b)に示す他車両ABの計測点qAにおいては、リフレクタに相当する位置から強い反射強度の計測点が観測されるため、丸印が大きく表示されている。それに対して、壁WOや人物PEの計測点qP,qWでは、比較的低い反射強度で丸印も小さく表示されている。   On the other hand, natural objects such as people PE and animals have low reflection efficiency. Therefore, at the measurement point qA of the other vehicle AB shown in FIG. 8B, a measurement point of strong reflection intensity is observed from a position corresponding to the reflector, so that a circle is displayed in a large size. On the other hand, at the measurement points qP and qW of the wall WO and the person PE, the circles are also displayed small with a relatively low reflection intensity.

そこで、レーダ2の強度分布を求める処理を行う。なお、1つの物体上の計測点は、図8に示すように、検出対象物ごとに塊となったグループ化が行われる。これらの計測点は強度情報をもっているので、グループ毎に、その物体の特徴を示す特徴量を求める。この特徴量としては、同じグループに属する計測点の反射強度についてその平均、分散、最大値を求めるとともに、計測点個数を求めるもので、これらは、後述する物体種類判定処理に用いられる。   Therefore, processing for obtaining the intensity distribution of the radar 2 is performed. In addition, as shown in FIG. 8, the measurement points on one object are grouped as a lump for each detection target. Since these measurement points have intensity information, a feature amount indicating the feature of the object is obtained for each group. As the feature amount, the average, variance, and maximum value of the reflection intensity of the measurement points belonging to the same group are obtained, and the number of measurement points is obtained, and these are used for an object type determination process described later.

なお、通常、同一の物体の反射強度は、距離が長くなるほど弱くなる。そこで、本実施例1では、反射強度値は、距離に応じた強度値として保存される。この手法としては、反射強度を距離ごとに求めるか、あるいは、あらかじめ基準となる距離を求めておき、(計測した距離/基準の距離)の4乗を乗算した値を保存する。ちなみに、反射強度は、ほぼ距離の4乗に比例して弱くなるという特徴を有していることから、このような値として保存する。   Normally, the reflection intensity of the same object becomes weaker as the distance becomes longer. Thus, in the first embodiment, the reflection intensity value is stored as an intensity value corresponding to the distance. As this method, the reflection intensity is obtained for each distance, or a reference distance is obtained in advance, and a value obtained by multiplying the fourth power of (measured distance / reference distance) is stored. Incidentally, since the reflection intensity has a characteristic that it becomes weak in proportion to the fourth power of the distance, it is stored as such a value.

図2の物体存在判定処理部12の説明に戻る。
この物体存在判定処理部12では、カメラ1による輝度画像上方およびレーダ2による検波情報を利用して物体の存在を判定する。すなわち、輝度画像情報と検波情報との両方で物体の存在が確認された場合に、物体が存在すると判定する。また、輝度画像情報と検波情報とのいずれか一方のみの判定であっても、例えば、時系列的に連続して物体が検出される場合や、その物体を示すエッジ強度や反射強度の絶対値が大きい場合などには、物体が存在すると判定する。
具体的には、画像を用いた物体存在判定は、従来から提案されている処理を行う。本実施例1では、車両(他車両AB)、人物PE、二輪車MS、道路構造物(WO)を検出対象としており、これらの物体の存在を画像の上述のようにして得られた各エッジおよびオプティカルフローに基づいて判定する。
Returning to the description of the object presence determination processing unit 12 in FIG.
The object presence determination processing unit 12 determines the presence of an object using the luminance image above by the camera 1 and the detection information by the radar 2. That is, when the presence of an object is confirmed by both luminance image information and detection information, it is determined that the object is present. In addition, even when only one of luminance image information and detection information is determined, for example, when an object is detected continuously in time series, or the absolute value of edge intensity or reflection intensity indicating the object When is large, it is determined that an object exists.
Specifically, the object presence determination using an image performs a conventionally proposed process. In the first embodiment, a vehicle (another vehicle AB), a person PE, a two-wheeled vehicle MS, and a road structure (WO) are set as detection targets, and the presence of these objects is obtained as described above in the image Judgment based on optical flow.

例えば、車両(他車両AB)は、ナンバプレート31や屋根部32に相当する横エッジに特徴を有する。そこで、それらの横エッジが時間的に連続して検出される領域を、物体が存在する領域と判定する。   For example, the vehicle (other vehicle AB) is characterized by a lateral edge corresponding to the number plate 31 and the roof portion 32. Therefore, an area where these lateral edges are detected in time is determined as an area where an object exists.

また、人物(歩行者)PEは、人物PEの特徴である手足に相当する斜めもしくは縦向きの縦エッジが検出され、かつ、人物PEの手足の運動周期でそれらが動くことが観測される領域を物体が存在する領域と判定する。   Further, in the person (pedestrian) PE, an area in which oblique or vertical vertical edges corresponding to the limbs that are characteristic of the person PE are detected, and that they are observed to move in the movement period of the limbs of the person PE is observed. Is determined as a region where an object exists.

このように、物体存在判定処理部12では、検出対象の特徴を有する領域を物体が存在する領域と判定する。   As described above, the object presence determination processing unit 12 determines the area having the detection target feature as the area where the object exists.

一方、レーダを用いた物体存在判定は、以下のように行う。
例えば、図4(b)に示すように、物体が存在する場合、物体はある程度の大きさを有することから、各計測点qP,qA,qWは、複数個が固まって検出される。そこで、同じ固まりとして検出される計測点qP,qA,qWをグループ化することで、各物体(人物PE,他車両AB,壁WO)として捉えることができる。
On the other hand, the object presence determination using the radar is performed as follows.
For example, as shown in FIG. 4B, when an object is present, the object has a certain size, so that a plurality of measurement points qP, qA, qW are detected together. Therefore, by grouping the measurement points qP, qA, qW detected as the same mass, each object (person PE, other vehicle AB, wall WO) can be grasped.

さらに、本実施例1では、ノイズ成分を除去して物体の検出精度を向上させるために、これらの計測点qP,qA,qWのグループを時系列的に観測し、ある一定時間以上、連続して同程度の大きさの物体が観測され続けた場合に、物体が存在すると判定する。   Further, in the first embodiment, in order to remove the noise component and improve the object detection accuracy, the group of these measurement points qP, qA, qW is observed in time series and continuously for a certain time or more. If an object of the same size continues to be observed, it is determined that the object exists.

ここで、本実施例1では、ある一定時間として、時系列的にn回連続して観測される場合に、物体が存在すると判定するものとする。なお、n回とは、n=2〜4回程度であり、これは、レーダ2がスキャンを行う周期をΔt秒とすると、2×Δt〜4×Δt秒間連続して検出され続けることを意味する。   Here, in the first embodiment, it is determined that an object is present when the observation is continuously performed n times in a time series as a certain fixed time. Note that n times is about n = 2 to 4 times, and this means that detection is continuously performed for 2 × Δt to 4 × Δt seconds if the scanning period of the radar 2 is Δt seconds. To do.

さらに、上述の連続して計測される回数nは、条件により変化させてもよい。すなわち、上述の連続して計測される回数であるnは、1つの計測点グループに含まれる計測点の個数が多い場合や、その強度が強い場合には、小さな値(例えば、n=2)に設定し、グループの計測点の個数が少ない場合や、強度が弱い場合には、大きな値(例えば、n=4〜6など)に設定することで、物体の存在判定精度をより確実にすることができる。   Furthermore, the above-described number n of consecutive measurements may be changed depending on conditions. That is, n, which is the number of times of continuous measurement, is a small value (for example, n = 2) when the number of measurement points included in one measurement point group is large or when the intensity is strong. If the number of measurement points in the group is small or the intensity is weak, a larger value (for example, n = 4 to 6) is set to make the object presence determination accuracy more reliable. be able to.

以上説明したように、物体存在判定処理部12では、カメラ1からの輝度画像情報に基づく物体存在判定と、レーダ2からの検波情報に基づく物体存在判定が成され、輝度画像情報と検波情報との両方で、同じ方位に物体の存在判定が成された場合に、その方位に物体が存在すると判定される。   As described above, the object presence determination processing unit 12 performs object presence determination based on the luminance image information from the camera 1 and object presence determination based on the detection information from the radar 2. In both cases, when the presence determination of the object is made in the same direction, it is determined that the object exists in the direction.

さらに、本実施例1では、輝度画像情報で存在すると判定された物体の相対速度と、検波情報で存在すると判定された物体の相対速度と、に基づいて互いの検出対象物が同じものであることを確認している。   Further, in the first embodiment, the detection objects are the same based on the relative speed of the object determined to be present in the luminance image information and the relative speed of the object determined to be present in the detection information. I have confirmed that.

すなわち、レーダ2では、物体までの距離が計測できていることから、その物体の相対速度は、その計測点との距離を時系列的に観測し、この距離の変化から求めることができる。例えば、図9は、ある物体を検出したときのその物体までの距離をプロットした図である。したがって、相対速度はこれらのプロットを結んだ線の傾き、つまり、同じ位置の計測点における、ある一定時間の距離変化/観測時間で求めることができる。   That is, since the radar 2 can measure the distance to the object, the relative speed of the object can be obtained from the change in the distance by observing the distance to the measurement point in time series. For example, FIG. 9 is a diagram plotting the distance to an object when the object is detected. Therefore, the relative velocity can be obtained by the slope of the line connecting these plots, that is, the distance change / observation time for a certain time at the measurement point at the same position.

一方、輝度画像情報では、以下に説明するような算出を行う。
画像上に撮像されたある物体の大きさは、実際の距離に半比例するという関係がある。例えば、図3に示すように、実際の他車両ABの幅をWc、画像上の他車両ABの幅をWc0、カメラ1の焦点距離をf、カメラ1から他車両ABまでの水平距離をzcとすると、下記の式(3)の関係が成り立つ。
Wc0=Wc×f/zc ・・・・(3)
On the other hand, the luminance image information is calculated as described below.
There is a relationship that the size of an object imaged on an image is half proportional to the actual distance. For example, as shown in FIG. 3, the actual width of the other vehicle AB is Wc, the width of the other vehicle AB on the image is Wc0, the focal length of the camera 1 is f, and the horizontal distance from the camera 1 to the other vehicle AB is zc. Then, the relationship of the following formula (3) is established.
Wc0 = Wc × f / zc (3)

ここで、検出対象との距離である他車両ABとの距離zcは、レーダ2により得ることができる。また、画像上の幅Wc0も画像上の処理により得ることができる。   Here, the distance zc to the other vehicle AB, which is the distance to the detection target, can be obtained by the radar 2. The width Wc0 on the image can also be obtained by processing on the image.

したがって、他車両ABの幅Wcは、下記の式(4)で得ることができる。
Wc=Wc0×zc/f ・・・・(4)
Therefore, the width Wc of the other vehicle AB can be obtained by the following equation (4).
Wc = Wc0 × zc / f (4)

そこで、本実施例1では、輝度画像情報に基づいて相対速度を求める場合には、物体が存在する領域から矩形の領域を抽出し、この抽出した矩形の領域に存在するエッジ間の距離に基づいて相対速度を算出する。   Therefore, in the first embodiment, when the relative velocity is obtained based on the luminance image information, a rectangular area is extracted from the area where the object exists, and based on the distance between the edges existing in the extracted rectangular area. To calculate the relative speed.

すなわち、検出対象が略平行なエッジを有している場合には、このエッジの間隔の変化に基づいて、相対速度を求める。また、エッジを有していない場合でも、検出対象に繰り返し模様やテクスチャなどが観測される場合には、観測される繰り返し模様やテクスチャの周波数成分により大きさ変化が求められる。   That is, when the detection target has substantially parallel edges, the relative speed is obtained based on the change in the interval between the edges. In addition, even when there is no edge, if a repeated pattern or texture is observed in the detection target, a change in size is obtained depending on the frequency component of the observed repeated pattern or texture.

これを図10〜図12により説明する。
まず、エッジの間隔に基づいて相対速度を求める場合について説明する。
例えば、図10に示す他車両ABを例にとると、この場合、他車両ABとして、画像上でエッジを有する領域である、ナンバプレート31を含む領域Rnpを抽出する。この抽出した領域Rnpにおいて、エッジの間隔として、図11に示すように、ナンバプレート31の縦エッジの間隔寸法wh1やナンバプレート31の下端とトランクリッド33とで形成される横エッジの間隔ww1およびww2が観測される。
This will be described with reference to FIGS.
First, a case where the relative speed is obtained based on the edge interval will be described.
For example, taking the other vehicle AB shown in FIG. 10 as an example, in this case, as the other vehicle AB, a region Rnp including the number plate 31 that is a region having an edge on the image is extracted. In this extracted region Rnp, as shown in FIG. 11, as the edge interval, the vertical edge interval dimension wh1 of the number plate 31, the horizontal edge interval ww1 formed by the lower end of the number plate 31 and the trunk lid 33, and ww2 is observed.

これらの間隔wh1,ww1,ww2は、上述したように、カメラ1との距離に反比例する。すなわち、図11では、他車両ABとの距離が(a)に示している状態から(b)に示している状態へ近付いた状態を示している。このように、距離が変化すると、上記の各間隔wh1,ww1,ww2は、それぞれafwh1,afww1,afww2に変化する。そこで、これらの間隔wh1,ww1,ww2の変化に基づいて距離の変化を求め、その変化に要した時間に基づいて、相対速度を求めることができる。   These intervals wh1, ww1, and ww2 are inversely proportional to the distance from the camera 1 as described above. That is, FIG. 11 shows a state in which the distance from the other vehicle AB approaches the state shown in (b) from the state shown in (a). As described above, when the distance changes, the intervals wh1, ww1, and www2 change to afwh1, afww1, and afww2, respectively. Therefore, a change in distance can be obtained based on changes in these intervals wh1, ww1, and ww2, and a relative speed can be obtained based on the time required for the change.

次に、周波数成分で相対速度を求める方法について説明する。
例えば、図10の壁WOのように、斜めのエッジの繰り返しが観測される場合、この壁WOの一部を抽出した領域Rwでは、図11と同様に、(a)に示す状態から(b)に示す状態へ近付いた場合、(a)の距離では繰り返しパターンの間隔が狭く観測されるのに対し、(b)に示す距離が近付いた状態では繰り返しパターンの間隔が拡がる。
Next, a method for obtaining a relative speed using frequency components will be described.
For example, when repeated diagonal edges are observed as in the wall WO of FIG. 10, in the region Rw from which a part of the wall WO is extracted, the state shown in FIG. ), The interval between the repeated patterns is observed to be narrow at the distance (a), whereas the interval between the repeated patterns is increased when the distance shown in (b) is approached.

このような繰り返しパターンの間隔の変化は、領域Rwにおけるエッジの周波数変化として得られる。そこで、エッジの繰り返しパターンの周波数成分を、ウエーブレット変換や画像のFFT変換(高速フーリエ変換)などにより求める。   Such a change in the interval between the repeated patterns is obtained as a change in the frequency of the edge in the region Rw. Therefore, the frequency component of the repetitive edge pattern is obtained by wavelet transform, image FFT transform (fast Fourier transform), or the like.

一般に繰り返しパターンのようにエッジが多く存在する場合、何本も同じ種類のエッジがあると、エッジの組み合わせを間違える可能性が有り、前述したエッジ間隔の変化に基づく物体の大きさ変化を信頼性高く算出することが難しい。そこで、本実施例1では、エッジ間距離の短い繰り返しパターンについては、周波数fの変化を求め、その周波数がピークになる値の変化の逆数を観測することで、画像上の物体の大きさ変化、つまり、速度変化を観測することが可能となる。   In general, when there are many edges like a repetitive pattern, there is a possibility that the combination of edges may be mistaken if there are many edges of the same type, and the object size change based on the change in the edge interval described above is reliable. It is difficult to calculate high. Therefore, in the first embodiment, for a repetitive pattern with a short edge-to-edge distance, the change in the frequency f is obtained, and the reciprocal of the change in the value at which the frequency reaches the peak is observed, thereby changing the size of the object on the image. In other words, it becomes possible to observe the speed change.

次に、図2に戻り、物体速度算出処理部13では、レーダ2からの検波情報と車速センサ3から得られる自車速度とに基づいて検出対象となる物体の速度を求める。すなわち、レーダ2の検波情報から物体との相対速度が得られている。そこで、この相対速度と自車速度とを加算することで、物体の実速度が算出される。   Next, returning to FIG. 2, the object speed calculation processing unit 13 obtains the speed of the object to be detected based on the detection information from the radar 2 and the own vehicle speed obtained from the vehicle speed sensor 3. That is, the relative velocity with respect to the object is obtained from the detection information of the radar 2. Therefore, the actual speed of the object is calculated by adding the relative speed and the own vehicle speed.

次に、物体種類判定処理部14において行われる物体種類判定処理について説明する。
この物体種類判定処理では、物体の実速度Vnと、エッジの方向ベクトル分散Evと、反射強度分散Brおよび反射強度と、に基づいて物体の種類の判定を行う。
Next, the object type determination process performed in the object type determination processing unit 14 will be described.
In this object type determination process, the object type is determined based on the actual velocity Vn of the object, the edge direction vector variance Ev, the reflection intensity variance Br, and the reflection intensity.

すなわち、以下の(a1)〜(a4)に列挙する条件が満たされる場合には、走行中の他車両ABと判定する。
(a1)物体の実速度Vnが、あらかじめ設定された実速度しきい値Vs以上。
(a2)エッジの方向ベクトル分散Evが、あらかじめ設定されたベクトル分散しきい値Evs未満。
(a3)反射強度分散Brが、あらかじめ設定された強度分散しきい値Brs以上。
(a4)距離に応じた反射強度の最大値Rmaxがあらかじめ設定された最大反射強度しきい値Rs以上。
また、以下の(b1)〜(b5)の条件を満たす場合には、走行中の二輪車MSと判定する。
(b1)物体の実速度Vnが、実速度しきい値Vs以上。
(b2)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
(b3)反射強度分散Brが、強度分散しきい値Brs以上。
(b4)距離に応じた反射強度の最大値Rmaxが、最大反射強度しきい値MRs以上。
(b5)距離に応じた反射強度があらかじめ設定された反射強度しきい値Rs以上である計測点の個数Knが、あらかじめ設定された反射強計測点しきい値KPs未満。
That is, when the conditions listed in the following (a1) to (a4) are satisfied, it is determined that the vehicle is traveling other vehicle AB.
(A1) The actual speed Vn of the object is greater than or equal to a preset actual speed threshold Vs.
(A2) The edge direction vector variance Ev is less than a preset vector variance threshold Evs.
(A3) The reflection intensity dispersion Br is not less than a preset intensity dispersion threshold Brs.
(A4) The maximum value Rmax of the reflection intensity according to the distance is equal to or greater than a preset maximum reflection intensity threshold value Rs.
Moreover, when satisfy | filling the conditions of the following (b1)-(b5), it determines with the moving motorcycle MS.
(B1) The actual speed Vn of the object is greater than or equal to the actual speed threshold value Vs.
(B2) The edge direction vector variance Ev is equal to or greater than the vector variance threshold value Evs.
(B3) The reflection intensity dispersion Br is greater than or equal to the intensity dispersion threshold Brs.
(B4) The maximum value Rmax of the reflection intensity according to the distance is not less than the maximum reflection intensity threshold MRs.
(B5) The number Kn of measurement points whose reflection intensity according to the distance is greater than or equal to a preset reflection intensity threshold value Rs is less than the preset reflection intensity measurement point threshold value KPs.

また、以下の(c1)〜(c3)の条件を満たす場合には、道路構造物(壁WOなど)と判定する。
(c1)物体の実速度が0。
(c2)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs未満。
(c3)距離に応じた反射強度があらかじめ設定された反射強度しきい値Rs以上である計測点の個数Knが、あらかじめ設定された反射強計測点しきい値KKs以上であるか、あるいは個数Kn=0。なお、KKs>KPsである。
Moreover, when satisfy | filling the conditions of the following (c1)-(c3), it determines with a road structure (wall WO etc.).
(C1) The actual speed of the object is zero.
(C2) The edge direction vector variance Ev is less than the vector variance threshold Evs.
(C3) The number Kn of measurement points whose reflection intensity according to the distance is greater than or equal to a preset reflection intensity threshold value Rs is greater than or equal to a preset reflection intensity measurement point threshold value KKs, or the number Kn = 0. Note that KKs> KPs.

また、以下の(d1)〜(d4)条件を満たす場合には、人物(歩行者)PEと判定する。
(d1)物体の実速度Vnが、実速度しきい値Vs未満。
(d2)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
(d3)距離に応じた反射強度の最大値Rmaxが、最大反射強度しきい値MRs未満。
(d4)距離に応じた反射強度が反射強度しきい値Rs以上である計測点の個数Knが0。
Further, when the following conditions (d1) to (d4) are satisfied, it is determined as a person (pedestrian) PE.
(D1) The actual speed Vn of the object is less than the actual speed threshold value Vs.
(D2) The edge direction vector variance Ev is equal to or greater than the vector variance threshold Evs.
(D3) The maximum value Rmax of the reflection intensity according to the distance is less than the maximum reflection intensity threshold MRs.
(D4) The number Kn of measurement points whose reflection intensity according to the distance is equal to or greater than the reflection intensity threshold value Rs is 0.

また、以上の条件を満たさないが、カメラ1の輝度画像情報とレーダ2の検波情報とにより物体が存在すると判定されたものは、その他の物体として処理する。   Further, although not satisfying the above conditions, if it is determined that an object exists by the luminance image information of the camera 1 and the detection information of the radar 2, it is processed as another object.

なお、以上の物体種類判定処理部における物体種類判定処理の流れを図13のフローチャートに示している。このフローチャートにおいて、実速度しきい値Vsは、人物PEの歩行速度よりも速い速度(例えば、8km/h程度の速度)に設定されている。また、他のしきい値Evs,Brs,Rs,KPsは、それぞれ、実際の計測に基づいて最適値に設定されている。   The flow of the object type determination process in the above object type determination processing unit is shown in the flowchart of FIG. In this flowchart, the actual speed threshold value Vs is set to a speed higher than the walking speed of the person PE (for example, a speed of about 8 km / h). The other threshold values Evs, Brs, Rs, and KPs are set to optimum values based on actual measurements.

以上説明したように、実施例1の物体検出装置では、まず、物体存在判定処理部12において、カメラ1から得られた輝度画像情報に基づいて、物体の存在の有無を判定し、それと並列にレーダ2から得られた検波情報でも、物体の存在の有無が判定される。   As described above, in the object detection apparatus according to the first embodiment, first, the object presence determination processing unit 12 determines the presence / absence of an object based on the luminance image information obtained from the camera 1, and in parallel therewith. The presence / absence of an object is also determined by detection information obtained from the radar 2.

そして、両判定において、同じ方位に物体が存在した場合、さらに、輝度画像情報上存在すると判定された物体の画像から算出された相対速度と、検波情報上存在すると判定された物体の検波情報から算出された相対速度と、に基づいて、同一物を検出していることが確認される。   In both determinations, if an object is present in the same direction, the relative velocity calculated from the image of the object determined to be present on the luminance image information and the detection information of the object determined to be present on the detection information are further calculated. It is confirmed that the same object is detected based on the calculated relative speed.

その後、物体速度算出処理部13では、存在すると確認された物体の実速度Vnが算出される。   Thereafter, the object speed calculation processing unit 13 calculates the actual speed Vn of the object confirmed to exist.

そして、物体種類判定処理部14において、存在すると判定された物体の実速度Vnと、この物体の、エッジの方向ベクトル分散Evと、反射強度ならびに反射強度分散Brと、に基づいて、物体の種類、すなわち、走行中の他車両ABと、走行中の二輪車MS、と人物PEと、道路構造物と、その他の物体とのいずれかが判定される。なお、物体種類判定処理部14の判定結果は、運転支援装置などに出力される。   Then, the object type determination processing unit 14 determines the object type based on the actual speed Vn of the object determined to exist, the edge direction vector dispersion Ev, the reflection intensity and the reflection intensity dispersion Br of the object. That is, any one of the other vehicle AB that is traveling, the two-wheeled vehicle MS that is traveling, the person PE, the road structure, and other objects is determined. The determination result of the object type determination processing unit 14 is output to a driving support device or the like.

以上のように実施例1の物体検出装置では、物体の検出にあたり、物体存在判定処理部12において、物体の存在判定を輝度画像情報と検波情報とのそれぞれで行い、両者で同方位に物体が存在すると判定した場合に、物体が存在すると判定するようにしたため、物体の検出精度を向上させることができる。しかも、この存在判定において、時系列的に観測して、ある時間以上連続して計測された場合に、物体が存在すると判定するようにしているため、ノイズによる誤検出を排除することができる。   As described above, in the object detection apparatus according to the first embodiment, when detecting an object, the object presence determination processing unit 12 performs the object presence determination on each of the luminance image information and the detection information. Since it is determined that an object exists when it is determined that the object exists, the detection accuracy of the object can be improved. In addition, in this presence determination, when it is observed in time series and measured continuously for a certain time or more, it is determined that an object is present, so that erroneous detection due to noise can be eliminated.

加えて、本実施例1では、カメラ1の画像上存在すると判定された物体の相対速度と、レーダ2の検波情報により存在すると判定された物体の相対速度とを求め、両者が一致していることで、検出対象物が同一であることを確認するようにした。このため、画像上の物体の背景や、物体の隣に存在する他の物体を誤検出することがなく、検出精度をより高めることができる。   In addition, in the first embodiment, the relative speed of the object determined to be present on the image of the camera 1 and the relative speed of the object determined to be present based on the detection information of the radar 2 are obtained, and the two match. In this way, it is confirmed that the detection objects are the same. For this reason, the detection accuracy can be further improved without erroneously detecting the background of the object on the image and other objects existing next to the object.

さらに、実施例1では、存在すると判定された物体について、物体種類判定処理部14において、その種類を、「走行中の他車両AB」と「走行中の二輪車MS」と「人物PE」と「道路構造物(壁WO)」と「その他の物体」とに判定することができる。このため、「車両」のみを検出する物体検出装置と比較して、物体検出装置による検出データの利用の可能性や用途が拡がる。   Further, in the first embodiment, for the object determined to exist, the object type determination processing unit 14 sets the types as “other vehicle AB during traveling”, “two-wheeled vehicle MS during traveling”, “person PE”, “ It can be determined as “road structure (wall WO)” and “other objects”. For this reason, compared with the object detection device that detects only the “vehicle”, the possibility and application of the use of the detection data by the object detection device are expanded.

しかも、物体種類判定処理部14では、物体の種類の判定において、物体の実速度Vnと、エッジの方向ベクトル分散Evと、反射強度分散Brと、反射強度と、を用いるようにした。これらは、上述の「走行中の車両(他車両AB)」と「走行中の二輪車MS」と「人物PE」と「道路構造物」の特徴を表しており、これらの種類の判別を高い精度で行うことができる。   In addition, the object type determination processing unit 14 uses the actual velocity Vn of the object, the edge direction vector dispersion Ev, the reflection intensity dispersion Br, and the reflection intensity in the object type determination. These represent the characteristics of the above-mentioned “traveling vehicle (other vehicle AB)”, “traveling motorcycle MS”, “person PE”, and “road structure”, and distinguishing these types with high accuracy. Can be done.

すなわち、物体の実速度Vnは、「走行中の車両(AB)」と「走行中の二輪車MS」が高いのに対して、「人物PE」と「道路構造物(WO)」は、低いか0であり、これらを区別するのに有効である。   In other words, the actual speed Vn of the object is high for “traveling vehicle (AB)” and “traveling motorcycle MS”, whereas “person PE” and “road structure (WO)” are low. 0, which is effective in distinguishing these.

また、エッジの方向ベクトル分散Evは、他車両ABや道路構造物などの人工物は、形状の特徴として直線を多く有し、かつ、これらは一定形状を維持することが多いため、低い値となる傾向がある。一方、人物PEは、自然物であり、形状の特徴として曲線が含まれ、かつ、手足が動いて形状が変更することから、エッジの方向ベクトル分散Evが、高い値となる傾向がある。なお、二輪車MSは、人物PEが乗車した場合、人物PEの特徴を有しているので、エッジの方向ベクトル分散Evが、高い値になる傾向を有する。   Further, the edge direction vector variance Ev has a low value because artifacts such as other vehicles AB and road structures have many straight lines as their shape characteristics, and these often maintain a constant shape. Tend to be. On the other hand, the person PE is a natural object, includes a curve as a feature of the shape, and changes its shape due to movement of the limbs. Therefore, the edge direction vector variance Ev tends to be a high value. Note that when the person PE gets on the motorcycle MS, the two-wheeled vehicle MS has the characteristics of the person PE, and therefore the edge direction vector variance Ev tends to be high.

また、反射強度および分散については、前述したように他車両ABや二輪車MSは、リフレクタを有するため、反射強度が高くなる傾向にあり、また、反射強度にバラツキが有ることから、反射強度分散も高くなる傾向にある。それに対し、人物PEは、反射物が少なく、反射強度が低くなる傾向にある。道路構造物の場合、反射強度は、素材により異なり、例えば、金属製の看板などは、反射強度が高いが、コンクリートの壁や樹木などは、反射強度は低くなる。さらに、道路構造物は、壁WOなどのように、面積が大きく、反射強度が高い計測点の数が多いか、あるいは逆に、反射強度が高い計測点の数が0となる。   As for the reflection intensity and dispersion, as described above, the other vehicles AB and the two-wheeled vehicle MS have reflectors, so that the reflection intensity tends to be high, and the reflection intensity varies. It tends to be higher. On the other hand, the person PE has few reflectors and tends to have low reflection intensity. In the case of a road structure, the reflection intensity varies depending on the material. For example, a metal signboard has a high reflection intensity, but a concrete wall or a tree has a low reflection intensity. Furthermore, the road structure has a large area and a large number of measurement points with a high reflection intensity, such as a wall WO, or conversely, the number of measurement points with a high reflection intensity is zero.

以上のように、物体の種類により特徴が異なるもので、この種類の判定に、上述のように、物体の実速度Vnと、エッジの方向ベクトル分散Evと、反射強度分散Brと、反射強度と、を用いることで、種類に応じた特徴を捉えて、高精度に物体の種類を判定することができる。   As described above, the characteristics differ depending on the type of the object. For this type of determination, as described above, the actual velocity Vn of the object, the edge direction vector dispersion Ev, the reflection intensity dispersion Br, and the reflection intensity By using, it is possible to capture the feature according to the type and determine the type of the object with high accuracy.

さらに、本実施例1では、物体種類判定処理部14において物体の種類の判定に用いられるデータは、輝度画像情報上と検波情報上とで相対速度が一致した領域の情報が用いられている。このため、この種類判定に、判定対象の物体以外の、例えば背景や隣り合う物体などの情報が混入することを防止でき、精度の高い物体の種類の判定が可能となる。   Further, in the first embodiment, the data used for the determination of the type of the object in the object type determination processing unit 14 uses information on a region where the relative velocities are the same on the luminance image information and the detection information. For this reason, it is possible to prevent information such as the background and adjacent objects other than the object to be determined from being mixed in the type determination, and it is possible to determine the type of the object with high accuracy.

次に、本発明の実施の形態の実施例2の物体検出装置について説明する。なお、この実施例2を説明するにあたり、前記実施例1と同一ないし均等な部分については、図示を省略するかあるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。   Next, an object detection apparatus according to Example 2 of the embodiment of the present invention will be described. In the description of the second embodiment, the same or equivalent parts as those in the first embodiment are not shown in the drawing or are denoted by the same reference numerals and the description thereof is omitted. To do.

この実施例2は、物体存在判定処理部12における輝度画像情報の処理と、物体種類判定処理部14における物体種類判定処理との内容が実施例1と異なる。   The second embodiment is different from the first embodiment in the contents of luminance image information processing in the object presence determination processing unit 12 and object type determination processing in the object type determination processing unit 14.

この実施例2では、物体存在判定処理部12の物体存在に先立つエッジの方向ベクトル分散の算出において、2通りのエッジの方向ベクトル分散(第1の方向ベクトル分散)VAおよびエッジの方向ベクトル分散(第2の方向ベクトル分散)VBが算出される。   In the second embodiment, in the calculation of the edge direction vector variance prior to the object presence in the object presence determination processing unit 12, two types of edge direction vector variance (first direction vector variance) VA and edge direction vector variance ( (Second direction vector variance) VB is calculated.

前者のエッジの方向ベクトル分散VAは、エッジ強度が、あらかじめ設定されたしきい値以上のエッジのみに基づいて算出されたものである。すなわち、エッジ強度が、しきい値を越えるエッジの個数NAを算出するとともに、これらのしきい値を越えたエッジのみに基づいてエッジの方向ベクトル分散VAが算出される。   The former edge direction vector variance VA is calculated based only on edges whose edge strength is equal to or greater than a preset threshold value. That is, the number NA of edges whose edge strength exceeds a threshold value is calculated, and the edge direction vector variance VA is calculated based only on the edges exceeding the threshold value.

一方、後者のエッジの方向ベクトル分散VBは、エッジ強度が、上記のしきい値未満のエッジのみに基づいて算出されたものであり、同時に、しきい値未満のエッジ個数NBも算出される。   On the other hand, the direction vector variance VB of the latter edge is calculated based on only edges whose edge strength is less than the above threshold value, and at the same time, the number of edges NB less than the threshold value is also calculated.

なお、上記しきい値は、人工物である車両において観測されるエッジ強度よりも低く、人物PEを含む自然物において観測されるエッジ強度よりも高い値となるよう、実験結果に基づいて設定されている。   The threshold value is set based on experimental results so that the threshold value is lower than the edge strength observed in a vehicle that is an artifact and higher than the edge strength observed in a natural object including a person PE. Yes.

そして、物体種類判定処理では、車両(他車両AB)の判定には、エッジの方向ベクトル分散VAを用い、人物PE(歩行者)の判定にはエッジの方向ベクトル分散VBを用いる。具体的には、図13の車両判定用のステップS2において、上記しきい値を越えるエッジの方向ベクトル分散VAとエッジ分散しきい値Evsとを比較する。また、人物判定用のステップS10において、上記しきい値未満のエッジの方向ベクトル分散VBとエッジ分散しきい値Evsとを比較する。   In the object type determination process, the edge direction vector variance VA is used to determine the vehicle (other vehicle AB), and the edge direction vector variance VB is used to determine the person PE (pedestrian). Specifically, in step S2 for vehicle determination shown in FIG. 13, the edge direction vector variance VA exceeding the threshold value is compared with the edge variance threshold value Evs. In step S10 for person determination, the direction vector variance VB of the edge less than the threshold value is compared with the edge variance threshold value Evs.

これにより、他車両ABや道路構造物の判定では、この他車両ABや道路構造物の表面などにあるノイズなど、を取り除き、物体の輪郭や形状や内部が持つ(例えば、他車両ABのバンパなど)その種類の物体全てが持つ特徴的なエッジの方向成分だけをノイズの影響を取り除いて抽出することができる。   As a result, in the determination of the other vehicle AB or road structure, noise on the surface of the other vehicle AB or road structure is removed, and the contour, shape, or interior of the object (for example, the bumper of the other vehicle AB) For example, it is possible to extract only the characteristic edge component of all the types of objects by removing the influence of noise.

このように、物体の種類を特徴づける方向成分だけを抽出可能となるため、より確実な種類判定が可能となる。   In this way, since only the direction component that characterizes the type of the object can be extracted, more reliable type determination is possible.

また、人物PEや、人物PEが乗車した二輪車MSの場合、通常、形状が複雑であり、かつ、他車両ABと比べると大きさが小さいため、人物PEの周囲や、2本の手足の間から、その人物PEの後方に存在する別の物体のエッジが画像での検出領域に含まれてしまう可能性が大きい。このため、人物PEの全体が含まれる領域でエッジの方向ベクトルを求めると、その背景に存在する物体のエッジを含んでエッジの方向ベクトルを抽出してしまうおそれがある。そこで、しきい値未満のエッジのみを抽出することで、その背景に存在する人工物の可能性の強いエッジを排除して、人物PEや二輪車MSに乗車中の人物PEの部分のエッジだけを抽出することが可能となる。   In addition, in the case of the person PE or the two-wheeled vehicle MS on which the person PE is riding, the shape is usually complicated and the size is smaller than that of the other vehicle AB. Therefore, there is a high possibility that the edge of another object existing behind the person PE is included in the detection region in the image. For this reason, when the edge direction vector is obtained in the region including the entire person PE, the edge direction vector may be extracted including the edge of the object existing in the background. Therefore, by extracting only the edges below the threshold, the edges that are likely to be artifacts existing in the background are excluded, and only the edges of the portion of the person PE that is on the person PE or the motorcycle MS are removed. It becomes possible to extract.

以上のように、実施例2では、エッジの方向ベクトル分散に基づく物体の種類の判定において、ノイズ成分を除去することができ、物体の種類判定精度を向上させることができる。   As described above, in the second embodiment, the noise component can be removed in the determination of the object type based on the edge direction vector variance, and the object type determination accuracy can be improved.

次に、本発明の実施の形態の実施例3の物体検出装置について説明する。なお、この実施例3を説明するにあたり、前記実施例1と同一ないし均等な部分については、図示を省略するかあるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。   Next, an object detection apparatus according to Example 3 of the embodiment of the present invention will be described. In the description of the third embodiment, the same or equivalent parts as those in the first embodiment are not shown in the drawing or are denoted by the same reference numerals and the description thereof is omitted. To do.

この実施例3は、物体種類判定処理部14における物体の物体種類判定処理が実施例1と異なる。この実施例3の物体種類判定処理では、実速度Vnを用いずに、輝度画像情報から得たエッジの方向ベクトル分散Evと、レーダ2の検波情報から得られた計測点の反射強度および距離を用いて、物体の種類の判別を行うようにした。   The third embodiment is different from the first embodiment in the object type determination processing of the object in the object type determination processing unit 14. In the object type determination processing of the third embodiment, the edge direction vector dispersion Ev obtained from the luminance image information and the reflection intensity and distance of the measurement point obtained from the radar 2 detection information are used without using the actual velocity Vn. Used to determine the type of object.

すなわち、実施例3では、以下の(a31)〜(a33)の条件が成立した場合に、他車両ABと判定する。
(a31)エッジの方向ベクトル分散Evが、あらかじめ設定されたベクトル分散しきい値Evs未満。
(a32)反射強度分散Brが、あらかじめ設定された強度分散しきい値Brs以上。
(a33)距離に応じた反射強度の最大値Rmaxがあらかじめ設定された最大反射強度しきい値Rs以上。
That is, in Example 3, when the following conditions (a31) to (a33) are satisfied, the vehicle is determined to be the other vehicle AB.
(A31) The edge direction vector variance Ev is less than a preset vector variance threshold Evs.
(A32) The reflection intensity dispersion Br is not less than a preset intensity dispersion threshold Brs.
(A33) The maximum value Rmax of the reflection intensity corresponding to the distance is greater than or equal to a preset maximum reflection intensity threshold value Rs.

また、以下の(b31)〜(b34)の条件が成立した場合に、二輪車MSと判定する。
(b31)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
(b32)反射強度分散Brが、強度分散しきい値Brs以上。
(b33)距離に応じた反射強度の最大値Rmaxが、最大反射強度しきい値MRs以上。
(b34)距離に応じた反射強度があらかじめ設定された反射強度しきい値Rs以上である計測点の個数Knが、あらかじめ設定された反射強計測点しきい値KPs未満。
Further, when the following conditions (b31) to (b34) are satisfied, the motorcycle is determined to be a motorcycle MS.
(B31) The edge direction vector variance Ev is greater than or equal to the vector variance threshold Evs.
(B32) The reflection intensity dispersion Br is greater than or equal to the intensity dispersion threshold Brs.
(B33) The maximum value Rmax of the reflection intensity according to the distance is not less than the maximum reflection intensity threshold MRs.
(B34) The number Kn of measurement points whose reflection intensity according to the distance is greater than or equal to a preset reflection intensity threshold value Rs is less than the preset reflection intensity measurement point threshold value KPs.

また、以下の(c31)(c32)の条件を満たす場合には、道路構造物(壁WOなど)と判定する。
(c31)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs未満。
(c32)距離に応じた反射強度があらかじめ設定された反射強度しきい値Rs以上である計測点の個数Knが、あらかじめ設定された反射強度計測点しきい値KKs以上であるか、あるいは個数Kn=0。なお、KKs>KPsである。
Moreover, when satisfy | filling the conditions of the following (c31) (c32), it determines with a road structure (wall WO etc.).
(C31) The edge direction vector variance Ev is less than the vector variance threshold Evs.
(C32) The number Kn of measurement points whose reflection intensity according to the distance is greater than or equal to a preset reflection intensity threshold value Rs is greater than or equal to a preset reflection intensity measurement point threshold value KKs, or the number Kn. = 0. Note that KKs> KPs.

また、以下の(d31)〜(d33)条件を満たす場合には、人物(歩行者)PEと判定する。
(d31)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
(d32)距離に応じた反射強度の最大値Rmaxが、最大反射強度しきい値MRs未満。
(d33)距離に応じた反射強度が反射強度しきい値Rs以上である計測点の個数Knが0。
Further, when the following conditions (d31) to (d33) are satisfied, it is determined as a person (pedestrian) PE.
(D31) The edge direction vector variance Ev is equal to or greater than the vector variance threshold value Evs.
(D32) The maximum value Rmax of the reflection intensity according to the distance is less than the maximum reflection intensity threshold MRs.
(D33) The number Kn of measurement points whose reflection intensity according to the distance is equal to or greater than the reflection intensity threshold value Rs is 0.

また、以上の条件を満たさないが、カメラ1の輝度画像情報とレーダ2の検波情報とにより物体が存在すると判定されたものは、その他の物体として処理する。   Further, although not satisfying the above conditions, if it is determined that an object exists by the luminance image information of the camera 1 and the detection information of the radar 2, it is processed as another object.

なお、以上の物体種類判定処理部14における物体種類判定処理の流れを図14のフローチャートに示している。   The flow of the object type determination process in the object type determination processing unit 14 is shown in the flowchart of FIG.

この実施例3では、実速度Vnを算出しないようにしたことから、処理における演算量を減らして、判定速度を短縮できるとともに、構成を簡略化して、コストダウンを図ることができる。   In the third embodiment, since the actual speed Vn is not calculated, the calculation amount in the processing can be reduced, the determination speed can be shortened, the configuration can be simplified, and the cost can be reduced.

また、他車両ABおよび二輪車MSについては、走行中か停止中かに関わらず検出することができる。   The other vehicle AB and the two-wheeled vehicle MS can be detected regardless of whether the vehicle is traveling or stopped.

次に、図15〜図17により本発明の実施の形態の実施例4の物体検出装置について説明する。なお、この実施例4を説明するにあたり、前記実施例1と同一ないし均等な部分については、図示を省略するかあるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。   Next, an object detection apparatus according to Example 4 of the embodiment of the present invention will be described with reference to FIGS. In the description of the fourth embodiment, the same or equivalent parts as those in the first embodiment are not shown in the drawing or are denoted by the same reference numerals and the description thereof is omitted. To do.

実施例4は、図15に示すように、検出対象物体を検出する手段としてカメラ1のみを用いた例である。   The fourth embodiment is an example in which only the camera 1 is used as means for detecting a detection target object, as shown in FIG.

この実施例4では、コントロールユニットCUを機能的に表すと、図16に示すように、メモリ411、物体存在判定処理部412、物体速度算出処理部413、物体種類判定処理部414を備えている。   In the fourth embodiment, when the control unit CU is functionally represented, as shown in FIG. 16, a memory 411, an object presence determination processing unit 412, an object speed calculation processing unit 413, and an object type determination processing unit 414 are provided. .

メモリ411は、実施例1と同様に、カメラ1からの輝度画像情報が保存される。   The memory 411 stores luminance image information from the camera 1 as in the first embodiment.

物体存在判定処理部412は、実施例4では、カメラ1からの輝度画像情報のみに基づいて、物体の存在を判定する。この輝度画像情報による物体の存在の判定は、実施例1と同様に、エッジとオプティカルフローに基づいて行う。また、実施例1と同様に、このときエッジの方向ベクトル分散も算出される。   In the fourth embodiment, the object presence determination processing unit 412 determines the presence of an object based only on luminance image information from the camera 1. The determination of the presence of the object based on the luminance image information is performed based on the edge and the optical flow as in the first embodiment. As in the first embodiment, the edge direction vector variance is also calculated at this time.

物体速度算出処理部413は、実施例4では、外部通信機器415からの速度情報を入力することで、物体の実速度Vnを算出する。なお、外部通信機器415からの速度情報とは、例えば、車両間通信のような通信技術を利用して、他車両ABや二輪車MSから得る速度情報や、路上の速度検出機器から、路車間通信のような通信技術を利用して得られる速度情報などを指している。   In the fourth embodiment, the object speed calculation processing unit 413 calculates the actual speed Vn of the object by inputting speed information from the external communication device 415. The speed information from the external communication device 415 is, for example, speed information obtained from the other vehicle AB or the two-wheeled vehicle MS using a communication technology such as inter-vehicle communication, or road-to-vehicle communication from a speed detection device on the road. This refers to speed information obtained using communication technologies such as

さらに、実施例4では、外部からの速度の入力と並列に、他車両ABと二輪車MSについて、実施例1で示したエッジ間隔に基づいて実速度を算出している。そして、これら2種類の物体(他車両ABおよび二輪車MS)に関しては、算出された実速度Vnと外部通信機器415から得られた実速度Vnとの照合による確認を行っている。   Further, in the fourth embodiment, the actual speed is calculated for the other vehicle AB and the two-wheeled vehicle MS based on the edge interval shown in the first embodiment in parallel with the input of the speed from the outside. For these two types of objects (other vehicle AB and two-wheeled vehicle MS), confirmation is performed by comparing the calculated actual speed Vn with the actual speed Vn obtained from the external communication device 415.

なお、輝度画像情報により実速度を求める物体の種類を限定しているのは、以下に述べる理由による。すなわち、エッジ間隔により速度を求める場合、実施例1では、レーダ2で計測された物体までの距離と、このエッジ間隔とに基づいて物体の実速度を算出している。それに対して、本実施例4では、レーダ2を有していないため、この距離を得ることができない。   Note that the types of objects for which the actual speed is determined by the luminance image information are limited for the reasons described below. That is, when the speed is obtained from the edge interval, in the first embodiment, the actual speed of the object is calculated based on the distance to the object measured by the radar 2 and the edge interval. On the other hand, in the fourth embodiment, since the radar 2 is not provided, this distance cannot be obtained.

そこで、実施例4では、既存の寸法が、画像上どのような寸法になっているかに基づいて、物体との距離を算出している。すなわち、本実施例4では、この既存の寸法として、他車両ABおよび二輪車MSのナンバプレート31の寸法を用いている。   Therefore, in the fourth embodiment, the distance to the object is calculated based on what size the existing dimension is on the image. That is, in the present Example 4, the dimension of the number plate 31 of the other vehicle AB and the two-wheeled vehicle MS is used as this existing dimension.

なお、ナンバプレート31の検出は、例えば、他車両ABでは、前述の図10で説明したナンバプレート31を含む領域Rnpの中から、ナンバプレート31の縦横比である1:2と同一の縦横比の長方形を検出することで行う。ここで、縦横比が1:2の長方形の検出は、例えば、縦横エッジだけを検出するHough変換により多数エッジを検出し、2本の縦エッジの組み合わせ間の距離と2本の横エッジの組み合わせ間の距離の比が一定して1:2である組み合わせを求めることで検出する。 なお、他の種類の物体の実速度Vnについては、外部通信機器415から得られたもののみを用いる。   For example, in the other vehicle AB, the number plate 31 is detected from the region Rnp including the number plate 31 described with reference to FIG. 10 described above, the same aspect ratio as 1: 2 that is the aspect ratio of the number plate 31. This is done by detecting the rectangle. Here, detection of a rectangle having an aspect ratio of 1: 2 is performed by, for example, detecting a large number of edges by Hough transform that detects only vertical and horizontal edges, and combining a distance between a combination of two vertical edges and a combination of two horizontal edges. Detection is performed by obtaining a combination having a constant distance ratio of 1: 2. As for the actual speed Vn of other types of objects, only those obtained from the external communication device 415 are used.

次に、物体種類判定処理部414では、物体の種類として、走行中の他車両AB、走行中の二輪車MS、道路構造物、人物PEを判定する。   Next, the object type determination processing unit 414 determines the other vehicle AB that is traveling, the two-wheeled vehicle MS that is traveling, the road structure, and the person PE as the types of objects.

すなわち、実施例4では、以下の(a41)(a42)の条件が成立した場合に、他車両ABと判定する。
(a41)実速度Vnが、あらかじめ設定された速度しきい値Vs以上。
(a42)エッジの方向ベクトル分散Evが、あらかじめ設定されたベクトル分散しきい値Evs未満。
That is, in Example 4, when the following conditions (a41) and (a42) are satisfied, it is determined as the other vehicle AB.
(A41) The actual speed Vn is equal to or higher than a preset speed threshold value Vs.
(A42) The edge direction vector variance Ev is less than a preset vector variance threshold Evs.

また、以下の(b41)(b42)の条件が成立した場合に、走行中の二輪車MSと判定する。
(b41)実速度Vnが、速度しきい値Vs以上。
(b42)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
Further, when the following conditions (b41) and (b42) are satisfied, it is determined that the motorcycle is traveling.
(B41) The actual speed Vn is equal to or greater than the speed threshold value Vs.
(B42) The edge direction vector variance Ev is equal to or greater than the vector variance threshold value Evs.

また、以下の(c41)(c42)の条件が成立した場合に、道路構造物と判定する。
(c41)実速度Vnが、速度しきい値Vs未満。
(c42)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs未満。
Further, when the following conditions (c41) and (c42) are satisfied, the road structure is determined.
(C41) The actual speed Vn is less than the speed threshold Vs.
(C42) The edge direction vector variance Ev is less than the vector variance threshold Evs.

また、以下の(d41)(d42)の条件が成立した場合に、人物PEと判定する。
(d41)実速度Vnが、速度しきい値Vs未満。
(d42)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
Further, when the following conditions (d41) and (d42) are satisfied, the person PE is determined.
(D41) The actual speed Vn is less than the speed threshold value Vs.
(D42) The edge direction vector variance Ev is equal to or greater than the vector variance threshold value Evs.

なお、以上の物体種類判定処理部414における物体種類判定処理の流れを図17のフローチャートに示している。   The flow of the object type determination processing in the object type determination processing unit 414 is shown in the flowchart of FIG.

このように、他車両AB、二輪車MS、道路構造物、人物PEは、実速度Vnとエッジの方向ベクトル分散Evとの特徴の組み合わせが異なることから、これら2つの要素のみで精度高く物体の種類の判別を行うことができる。   As described above, the other vehicle AB, the two-wheeled vehicle MS, the road structure, and the person PE have different combinations of features of the actual speed Vn and the edge direction vector dispersion Ev. Can be determined.

以上のように、実施例4では、物体に関する情報を得る入力手段として、カメラ1のみとしたため、全体構成の簡略化を図り、製造コストおよび車載重量を抑えることができる。また、物体の物体種類判定処理において、実速度Vnとエッジの方向ベクトル分散Evとの2要素のみに基づいて物体の種類判定を行うため、処理の簡略化を図ることができ、これによっても、製造コストの抑制を図ることができ、かつ、処理時間の短縮化を図ることができる。   As described above, in the fourth embodiment, only the camera 1 is used as an input unit for obtaining information about an object. Therefore, the overall configuration can be simplified, and the manufacturing cost and the vehicle weight can be suppressed. Further, in the object type determination process of the object, since the object type determination is performed based on only two elements of the actual speed Vn and the edge direction vector variance Ev, the process can be simplified. The manufacturing cost can be suppressed and the processing time can be shortened.

次に、図18および図19により本発明の実施の形態の実施例5の物体検出装置について説明する。なお、この実施例5を説明するにあたり、前記実施例1と同一ないし均等な部分については、図示を省略し、あるいは同一符号を付して説明を省略し、構成が相違する部分を中心として説明する。   Next, an object detection apparatus according to Example 5 of the embodiment of the present invention will be described with reference to FIGS. In the description of the fifth embodiment, the same or equivalent parts as those of the first embodiment are not shown, or the same reference numerals are used and the description thereof is omitted. To do.

実施例5は、実施例4の変形例であり、物体の物体種類判定処理における判定要素にエッジ強度、ならびにエッジの方向ベクトルのヒストグラムを加えるようにした例である。   The fifth embodiment is a modification of the fourth embodiment, and is an example in which the edge strength and the histogram of the edge direction vector are added to the determination element in the object type determination processing of the object.

ここで、エッジ強度は、実施例1で説明したように、|Dx+Dy|で求めることができるもので、以下に、エッジの方向ベクトルのヒストグラムについて説明する。   Here, as described in the first embodiment, the edge strength can be obtained by | Dx + Dy |, and a histogram of edge direction vectors will be described below.

物体を時系列的に追跡する場合、他車両ABや道路構造物などの人工物体は形状を変化させないが、人物PEのような非人工物体は、それ自体の形状を変化させる。   When tracking an object in time series, an artificial object such as another vehicle AB or a road structure does not change its shape, but a non-artificial object such as a person PE changes its own shape.

そこで、エッジの方向ベクトルのヒストグラムを求めると、図18(a)において他車両ABが含まれる領域Rabの時系列的なヒストグラムの分布は、同図(b)に示すように分布の範囲が狭い。それに対して、同図(a)において非人工物である人物PEが含まれる領域Rpeの時系列的なヒストグラムは、同図(c)に示すように分布の範囲が広い。   Accordingly, when the histogram of the edge direction vector is obtained, the distribution of the time-series histogram of the region Rab including the other vehicle AB in FIG. 18A is narrow as shown in FIG. 18B. . On the other hand, the time-series histogram of the region Rpe including the person PE, which is a non-artifact in FIG. 10A, has a wide distribution range as shown in FIG.

このことから、実施例5では、物体の種類の判定を、エッジの強度と、エッジの方向ベクトル分散と、エッジの時系列的な変化度合いであるヒストグラム分布と、物体の実速度と、に基づいて行うようにしている。   Therefore, in the fifth embodiment, the type of the object is determined based on the edge strength, the edge direction vector dispersion, the histogram distribution that is the degree of time-series change of the edge, and the actual speed of the object. To do.

すなわち、以下の(a51)〜(a54)の条件が成立した問いには、他車両ABと判定する。
(a51)実速度Vnが、あらかじめ設定された速度しきい値Vs以上。
(a52)エッジの方向ベクトル分散Evが、あらかじめ設定されたベクトル分散しきい値Evs未満。
(a53)エッジ強度EPnが、あらかじめ設定された強度しきい値EPs以上。
(a54)エッジの方向ベクトルのヒストグラムの分布の範囲が設定値よりも狭い。
That is, it is determined that the vehicle is an other vehicle AB when the following conditions (a51) to (a54) are satisfied.
(A51) The actual speed Vn is equal to or higher than a preset speed threshold value Vs.
(A52) The edge direction vector variance Ev is less than a preset vector variance threshold Evs.
(A53) The edge strength EPn is greater than or equal to a preset strength threshold value EPs.
(A54) The distribution range of the edge direction vector histogram is narrower than the set value.

また、以下の(b51)〜(b53)の条件が成立した場合に、走行中の二輪車MSと判定する。
(b51)実速度Vnが、速度しきい値Vs以上。
(b52)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
Further, when the following conditions (b51) to (b53) are satisfied, it is determined that the motorcycle is traveling.
(B51) The actual speed Vn is equal to or higher than the speed threshold value Vs.
(B52) The direction vector variance Ev of the edge is equal to or greater than the vector variance threshold value Evs .

また、以下の(c51)〜(c53)の条件が成立した場合に、道路構造物と判定する。
(c51)実速度Vnが、速度しきい値Vs未満。
(c52)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs未満。
(c53)エッジの方向ベクトルのヒストグラムの分布の範囲が設定値よりも狭い。
Further, when the following conditions (c51) to (c53) are satisfied, the road structure is determined.
(C51) The actual speed Vn is less than the speed threshold Vs.
(C52) The edge direction vector variance Ev is less than the vector variance threshold Evs.
(C53) The distribution range of the edge direction vector histogram is narrower than the set value.

また、以下の(d51)〜(d53)の条件が成立した場合に、人物PEと判定する。
(d51)実速度Vnが、速度しきい値Vs未満。
(d52)エッジ強度EPnが、あらかじめ設定された強度しきい値EPs未満。
(d53)エッジの方向ベクトル分散Evが、ベクトル分散しきい値Evs以上。
(d54)エッジの方向ベクトルのヒストグラムの分布の範囲が設定値よりも広い。
Further, when the following conditions (d51) to (d53) are satisfied, the person PE is determined.
(D51) The actual speed Vn is less than the speed threshold Vs.
(D52) The edge strength EPn is less than a preset strength threshold value EPs.
(D53) The edge direction vector variance Ev is equal to or greater than the vector variance threshold value Evs.
(D54) The distribution range of the edge direction vector histogram is wider than the set value.

なお、以上の判定条件が成立しないものは、その他の物体と判定する。また、以上の物体種類判定処理部における物体種類判定処理の流れを図19のフローチャートに示している。   If the above determination condition is not satisfied, it is determined as another object. Moreover, the flow of the object type determination process in the above object type determination processing part is shown in the flowchart of FIG.

以上のように、実施例5では、物体の種類判定において、実施例4の判定条件に、さらにエッジ強度EPvおよびエッジの方向ベクトルのヒストグラムを加えた。このため、人工物か否かがより明確になり、種類の判定精度を向上させることができる。すなわち、人工物は、形状が直線的であることが多いため、エッジ強度EPnが高いのに対し、人物PEなどの自然物は、形状が曲線的で、エッジ強度EPnが弱くなる傾向がある。また、人工物は、一定の形状を保持していることが多いため、ヒストグラムの分布の範囲が狭いのに対し、人物PEなどの自然物は、形状が変化するため、ヒストグラムの分布の範囲が広くなる傾向がある。したがって、物体の種類の判定要素に、エッジ強度EPnおよびエッジの方向ベクトルのヒストグラムを加えることにより、上述の人工物と自然物との違いを明確に判定することができ、種類の判定精度を向上させることができる。   As described above, in the fifth embodiment, in the object type determination, the edge strength EPv and the histogram of the edge direction vector are added to the determination conditions of the fourth embodiment. For this reason, it becomes clearer whether it is an artificial object, and the determination accuracy of a kind can be improved. That is, since an artificial object often has a linear shape, the edge strength EPn is high, whereas a natural object such as a person PE tends to have a curved shape and a weak edge strength EPn. In addition, since artifacts often have a certain shape, the histogram distribution range is narrow, whereas natural objects such as the person PE have a wide histogram distribution range because the shape changes. Tend to be. Therefore, by adding the histogram of the edge strength EPn and the edge direction vector to the determination element of the object type, the difference between the above-described artificial object and the natural object can be clearly determined, and the determination accuracy of the type is improved. be able to.

以上、図面を参照して、本発明の実施の形態および実施例1ないし実施例5を詳述してきたが、具体的な構成は、この実施の形態および実施例1ないし実施例5に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。   As described above, the embodiment of the present invention and Examples 1 to 5 have been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment and Examples 1 to 5. Design changes that do not depart from the gist of the present invention are included in the present invention.

例えば、実施例1〜5では、本発明の物体検出方法および物体検出装置として、車両に搭載して実行するものを示したが、これに限定されず、産業ロボットなど車両以外にも適用することができる。   For example, in the first to fifth embodiments, the object detection method and the object detection apparatus of the present invention are implemented by being mounted on a vehicle. However, the present invention is not limited to this, and the present invention is applicable to other than industrial vehicles such as industrial robots. Can do.

また、実施例1では、物体存在判定処理部12において、輝度画像情報に基づいて物体の存在の判定を行う場合に、エッジとオプティカルフローにより物体を検出する例を示したが、これに限定されず、例えば、検出対象物が決まっている場合は、その対象物を示すテンプレートマッチングで検出してもよい。あるいは、検出対象物の特徴をあらかじめ学習しておき、ニューラルネットワークなどの学習に基づいた検出手法を適用してもよい。   In the first embodiment, the object presence determination processing unit 12 detects the object based on the edge and the optical flow when determining the presence of the object based on the luminance image information. However, the present invention is not limited thereto. For example, when the detection target is determined, it may be detected by template matching indicating the target. Alternatively, a feature of the detection target may be learned in advance, and a detection method based on learning such as a neural network may be applied.

また、実施例1では、物体存在判定処理部12において、検波情報に基づいて物体の存在を判定するのにあたり、ノイズ成分を除去して物体の検出精度を向上させるために、計測点qP,qA,qWのグループを時系列的に観測し、ある一定時間以上、連続して同程度の大きさの物体が観測され続けた場合に、物体が存在すると判定する例を示した。このようにすることで、物体の存在判定精度を向上させることができるが、このような判定方法に限定されるものではなく、反射強度がしきい値以上の計測点は、即、物体が存在すると判定するようにしてもよい。この場合、判定に要する時間を短縮することができる。   Further, in the first embodiment, when the object presence determination processing unit 12 determines the presence of an object based on detection information, the measurement points qP and qA are used in order to remove the noise component and improve the object detection accuracy. , QW group is observed in time series, and when an object of the same size is continuously observed for a certain period of time or more, an example in which it is determined that an object exists is shown. By doing so, it is possible to improve the accuracy of determining the presence of an object, but it is not limited to such a determination method, and an object immediately exists at a measurement point whose reflection intensity is equal to or greater than a threshold value. Then, it may be determined. In this case, the time required for determination can be shortened.

また、実施例1では、物体存在判定処理部12において、輝度画像情報と検波情報とのそれぞれで同方位に物体が存在すると判定された場合に、物体が存在すると判定するのに加え、輝度画像情報で存在すると判定された物体の相対速度と、検波情報で存在すると判定された物体の相対速度と、が一致するか否かで互いに存在すると判定された物体が同一物体であるか否かを確認している。このようにすることで、物体の存在の判定精度が極めて高くなるが、この確認は、必須ではなく、省略することができる。   In the first embodiment, when the object presence determination processing unit 12 determines that an object exists in the same direction in each of the luminance image information and the detection information, in addition to determining that the object exists, the luminance image It is determined whether or not the objects determined to exist are the same object based on whether or not the relative speed of the object determined to exist by the information matches the relative speed of the object determined to exist by the detection information. I have confirmed. By doing so, the accuracy of determining the presence of an object is extremely high, but this confirmation is not essential and can be omitted.

さらに、物体存在判定処理部12では、輝度画像情報と検波情報とのそれぞれで同方位に物体が存在すると判定された場合に、物体が存在すると判定するようにして、物体の検出精度を高めた例を示したが、これに限定されず、いずれか一方で所定以上の確実性を有して存在が認められた場合に、物体が存在すると判定するようにしてもよい。なお、確実性は、エッジ強度や反射強度の平均値あるいは最大値が所定値以上であることや、前述のように所定時間観測されることなどで判定することができる。   Furthermore, the object presence determination processing unit 12 increases the object detection accuracy by determining that an object exists when it is determined that the object exists in the same direction in both the luminance image information and the detection information. Although an example is shown, the present invention is not limited to this, and it may be determined that an object is present when the presence is confirmed with a certain degree of certainty or more. The certainty can be determined by whether the average value or the maximum value of the edge intensity and the reflection intensity is equal to or greater than a predetermined value, or is observed for a predetermined time as described above.

このようにいずれか一方で存在判定を行う場合、カメラ1により物体の検出精度が低下する濃霧時や豪雨時などにおいてもレーダ2により物体を検出することができ、このような外部環境の影響による検出精度の低下を抑制することができる。   As described above, when the presence determination is performed on either side, the object can be detected by the radar 2 even during heavy fog or heavy rain in which the detection accuracy of the object is lowered by the camera 1, and the influence of such an external environment. A decrease in detection accuracy can be suppressed.

本発明の実施の形態の実施例1の物体検出装置を搭載した車両MBを示す概略図であり、(a)は側方から見た図、(b)は上方から見た図である。It is the schematic which shows vehicle MB carrying the object detection apparatus of Example 1 of embodiment of this invention, (a) is the figure seen from the side, (b) is the figure seen from upper direction. 本発明の実施の形態の実施例1の物体検出装置のコントロールユニットCUを機能的に表したブロック図である。It is the block diagram functionally showing control unit CU of the object detection apparatus of Example 1 of an embodiment of the invention. 前記実施例1の物体検出装置におけるカメラ1の画像情報を説明する図であって、(a)は横から見た状態を示し、(b)は上方から見た状態を示し、(c)はカメラ1として赤外線カメラを用いた場合の赤外画像を示し(d)カメラ1の撮像面1aに投影された輝度画像を示している。It is a figure explaining the image information of the camera 1 in the object detection apparatus of the said Example 1, Comprising: (a) shows the state seen from the side, (b) shows the state seen from upper direction, (c). An infrared image when an infrared camera is used as the camera 1 is shown. (D) A luminance image projected on the imaging surface 1a of the camera 1 is shown. 前記実施例1の物体検出装置における輝度画像情報と検波情報との比較例で、(a)は画像情報を示し、(b)は検波情報による計測点を示している。In the comparative example of luminance image information and detection information in the object detection apparatus of the first embodiment, (a) shows image information and (b) shows a measurement point based on detection information. 前記実施例1の物体検出装置におけるカメラ1の画像情報の情報変換処理で用いるソーベルフィルタを示す概略図である。It is the schematic which shows the Sobel filter used by the information conversion process of the image information of the camera 1 in the object detection apparatus of the said Example 1. FIG. 前記実施例1の物体検出装置におけるカメラ1の画像情報の情報変換処理において、エッジの方向ベクトルの求め方の説明図であり、(a)は垂直エッジ成分算出用のフィルタを示し、(b)は水平エッジ成分算出用のフィルタを示し、(c)はエッジ強度とエッジ方向ベクトルとの関係を示している。In the information conversion process of the image information of the camera 1 in the object detection apparatus of the first embodiment, it is an explanatory diagram of how to obtain an edge direction vector, (a) shows a filter for calculating a vertical edge component, (b) Represents a filter for calculating a horizontal edge component, and (c) represents a relationship between the edge strength and the edge direction vector. 本発明の実施の形態の実施例1の物体検出装置によるエッジ検出の説明図で、(a)は他車両ABの横エッジの検出例を示し、(b)はエッジの算出原理を示している。BRIEF DESCRIPTION OF THE DRAWINGS It is explanatory drawing of the edge detection by the object detection apparatus of Example 1 of embodiment of this invention, (a) shows the example of a horizontal edge detection of the other vehicle AB, (b) has shown the calculation principle of edge. . 本発明の実施の形態の実施例1の物体検出装置によるオプティカルフローの説明図であり、(a)は図4の状態から時間が経過したときのオプティカルフローを示し、(b)はそのレーダの距離検出の状態を示している。It is explanatory drawing of the optical flow by the object detection apparatus of Example 1 of embodiment of this invention, (a) shows the optical flow when time passes from the state of FIG. 4, (b) is the radar of the radar. The state of distance detection is shown. 本発明の実施の形態の実施例1の物体検出装置におけるレーダ2により相対速度を求める説明図である。It is explanatory drawing which calculates | requires a relative speed with the radar 2 in the object detection apparatus of Example 1 of embodiment of this invention. 本発明の実施の形態の実施例1の物体検出装置において輝度画像情報により相対速度を求める場合の説明図である。It is explanatory drawing in the case of calculating | requiring a relative speed by luminance image information in the object detection apparatus of Example 1 of an embodiment of the invention. 本発明の実施の形態の実施例1の物体検出装置においてエッジの間隔変化に基づいて相対速度を求める場合の説明図で、(a)は(b)よりも距離が遠い場合を示している。In the object detection apparatus of Example 1 of embodiment of this invention, it is explanatory drawing in the case of calculating | requiring a relative speed based on the space | interval change of an edge, (a) has shown the case where distance is farther than (b). 本発明の実施の形態の実施例1の物体検出装置において周波数成分の変化に基づいて相対速度を求める場合の説明図で、(a)は(b)よりも距離が遠い場合を示している。In the object detection apparatus of Example 1 of embodiment of this invention, it is explanatory drawing at the time of calculating | requiring a relative speed based on the change of a frequency component, (a) has shown the case where distance is farther than (b). 本発明の実施の形態の実施例1の物体検出装置の物体種類判定処理部14における物体種類判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the object type determination process in the object type determination process part 14 of the object detection apparatus of Example 1 of embodiment of this invention. 本発明の実施の形態の実施例3の物体検出装置の物体種類判定処理部14における物体種類判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the object type determination process in the object type determination process part 14 of the object detection apparatus of Example 3 of embodiment of this invention. 本発明の実施の形態の実施例4の物体検出装置を搭載した車両MBを示す概略図であり、(a)は側方から見た図、(b)は上方から見た図である。It is the schematic which shows vehicle MB carrying the object detection apparatus of Example 4 of embodiment of this invention, (a) is the figure seen from the side, (b) is the figure seen from upper direction. 本発明の実施の形態の実施例4の物体検出装置のコントロールユニットCUを機能的に表したブロック図である。It is the block diagram which functionally represented control unit CU of the object detection apparatus of Example 4 of an embodiment of the invention. 本発明の実施の形態の実施例3の物体検出装置の物体種類判定処理部414における物体種類判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the object type determination process in the object type determination process part 414 of the object detection apparatus of Example 3 of embodiment of this invention. 本発明の実施の形態の実施例5の物体検出装置におけるエッジの方向ベクトルのヒストグラムの説明図であり、(a)は輝度画像情報を示し、(b)は(a)における領域Rabの時系列的なヒストグラムを表し、(c)は(a)における領域Rpeの時系列的なヒスとグラムを表している。It is explanatory drawing of the histogram of the direction vector of the edge in the object detection apparatus of Example 5 of embodiment of this invention, (a) shows luminance image information, (b) is a time series of area | region Rab in (a). (C) shows the time-series hiss and gram of the region Rpe in (a). 本発明の実施の形態の実施例5の物体検出装置の物体種類判定処理部414における物体種類判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the object type determination process in the object type determination process part 414 of the object detection apparatus of Example 5 of embodiment of this invention.

符号の説明Explanation of symbols

1 カメラ(画像情報を入力する手段)
2 レーダ(距離情報を入力する手段)
14 物体種類判定処理部
414 物体種類判定処理部
AB 車両(他車両)
CU コントロールユニット(物体検出処理手段)
MS 二輪車(物体)
PE 人物(物体)
WO 壁(物体)
1 Camera (means to input image information)
2 Radar (means to input distance information)
14 Object type determination processing unit 414 Object type determination processing unit AB Vehicle (other vehicle)
CU control unit (object detection processing means)
MS motorcycle (object)
PE person (object)
WO wall (object)

Claims (12)

外界に存在する物体に関する情報を用いて物体の検出を行う物体検出方法であって、
検出対象物の実速度と、画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、に基づいて対象物の種類を判定するとともに、
物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、走行中の車両と判定する車両判定、
物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上の場合、乗車中の二輪車と判定する二輪車判定、
物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、道路構造物と判定する道路構造物判定、
物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトルの分散があらかじめ設定されたしきい値以上の場合、人物と判定する人物判定、
の少なくとも一つの判定を用いて物体の種類を判定することを特徴とする物体検出方法。
An object detection method for detecting an object using information related to an object existing in the outside world,
And actual speed of the detection object, time-series frequency distribution of a change in the direction vector of the edge calculated from the image information, the direction vector variance of the edge, and at least the edge direction vector variance of the edge strength of, on the basis While determining the type of object ,
Vehicle determination that determines that the vehicle is running when the actual speed of the object is greater than or equal to a preset threshold and the edge direction vector variance is less than the preset threshold;
Two-wheeled vehicle determination that determines that the object is a two-wheeled vehicle when the actual speed of the object is greater than or equal to a predetermined threshold and the edge direction vector variance is greater than or equal to a predetermined threshold.
A road structure determination that determines that the actual speed of the object is less than a preset threshold and the edge direction vector variance is less than a preset threshold;
A person determination that determines that the object is a person when the actual speed of the object is less than a preset threshold and the variance of the edge direction vector is greater than or equal to a preset threshold;
An object detection method comprising determining an object type by using at least one determination .
前記車両判定の条件に、前記エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
前記道路構造物判定の条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
前記人物判定の条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも広いことが含まれていることを特徴とする請求項1に記載の物体検出方法。
The vehicle determination condition includes that the range of the frequency distribution of the time-series change in the direction vector of the edge is narrower than a preset setting value,
The road structure determination condition includes that the range of the frequency distribution of the time-series change of the direction vector of the edge is narrower than a preset setting value,
2. The object according to claim 1, wherein the person determination condition includes that the frequency distribution range of the time-series change of the edge direction vector is wider than a preset value. Detection method.
外界に存在する物体に関する情報を用いて物体の検出を行う物体検出方法であって、
検出対象物までの距離と、画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、検出波で走査した反射で得られる検波情報から算出した反射強度、反射強度分散のうちの少なくとも反射強度と、に基づいて対象物の種類を判定するとともに、
エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上である場合、車両と判定する車両判定と、
エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上であり、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数があらかじめ設定されたしきい値未満である場合、二輪車と判定する二輪車判定と、
エッジの方向ベクトル分散がしきい値未満で、距離に応じた反射強度の最大値がしきい値以上である計測点の個数が車両の場合のしきい値よりも多く設定されたしきい値以上または0個である場合、道路構造物と判定する道路構造物判定と、
エッジの方向ベクトル分散があらかじめ設定されたしきい値以上であり、距離に応じた反射強度の最大値があらかじめ設定されたしきい値未満で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数が0個である場合、人物と判定する人物判定と、
の少なくとも1つの判定を用いて物体の種類を判定することを特徴とする物体検出方法。
An object detection method for detecting an object using information related to an object existing in the outside world,
Scanning with detection wave, distance to detection object, frequency distribution of time-series change of edge direction vector calculated from image information, edge direction vector dispersion, edge direction vector dispersion of edge intensity, and detection wave And determining the type of the object based on the reflection intensity calculated from the detection information obtained by the reflected reflection, at least the reflection intensity of the reflection intensity dispersion,
The edge direction vector variance is less than a preset threshold value, the reflection intensity variance is greater than or equal to a preset threshold value, and the maximum value of reflection intensity according to distance is greater than or equal to a preset threshold value A vehicle determination for determining a vehicle,
Edge direction vector variance is greater than or equal to a preset threshold, reflection intensity variance is greater than or equal to a preset threshold, and the maximum value of reflection intensity according to distance is greater than or equal to a preset threshold If the number of measurement points whose reflection intensity according to distance is equal to or greater than a preset threshold value is less than a preset threshold value, a motorcycle determination that determines that the motorcycle is a motorcycle,
The number of measurement points whose edge direction vector variance is less than the threshold and the maximum reflection intensity according to the distance is greater than or equal to the threshold is greater than or equal to the threshold set for the vehicle. Or when it is zero, the road structure determination to be determined as a road structure,
Edge direction vector dispersion is greater than or equal to a preset threshold, the maximum reflection intensity according to distance is less than the preset threshold, and the reflection intensity according to distance is preset. When the number of measurement points equal to or greater than 0 is 0,
An object detection method comprising determining an object type by using at least one determination .
前記エッジ方向ベクトル分散として、エッジ強度があらかじめ設定されたしきい値以上の部分で求められた第1の方向ベクトル分散と、エッジ強度があらかじめ設定されたしきい値未満の部分で求められた第2の方向ベクトル分散とが算出され、
前記車両判定および道路構造物判定に、第1の方向ベクトル分散が用いられ、
前記人物判定に、第2の方向ベクトル分散が用いられることを特徴とする請求項1〜3のいずれか1項に記載の物体検出方法。
As the edge direction vector variance, a first direction vector variance obtained in a portion where the edge strength is equal to or greater than a preset threshold value and a first direction vector variance obtained in a portion where the edge strength is less than the preset threshold value. 2 direction vector variances are calculated,
The first direction vector dispersion is used for the vehicle determination and the road structure determination,
The object detection method according to claim 1, wherein second direction vector dispersion is used for the person determination .
外界に存在する物体に関する情報を得る入力手段と、An input means for obtaining information about an object existing in the outside world;
この入力手段から得られる前記情報に基づいて物体の検出を行う物体検出処理手段と、Object detection processing means for detecting an object based on the information obtained from the input means;
を備え、With
前記入力手段に、少なくとも検出対象物体を撮像した画像情報を入力する手段と、検出対象物体の速度情報を入力する手段とが含まれ、The input means includes at least means for inputting image information obtained by imaging the detection target object, and means for inputting speed information of the detection target object.
前記物体検出処理手段が、前記画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、速度情報から得られた検出対象物の実速度と、に基づいて対象物の種類を判定する物体種類判定処理を行う物体検出装置であって、The object detection processing means obtains at least the edge direction vector dispersion of the time direction change of the edge direction vector calculated from the image information, the edge direction vector dispersion, the edge intensity, and the velocity information. An object detection device that performs an object type determination process for determining the type of the object based on the actual speed of the detected object,
前記物体種類判定処理に、In the object type determination process,
物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、走行中の車両と判定する車両判定処理と、A vehicle determination process for determining that the vehicle is running when the actual speed of the object is equal to or greater than a preset threshold and the edge direction vector variance is less than the preset threshold;
物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上の場合、乗車中の二輪車と判定する二輪車判定処理と、A two-wheeled vehicle determination process for determining a two-wheeled vehicle when the actual speed of the object is equal to or higher than a predetermined threshold and the direction vector variance of the edge is equal to or higher than a predetermined threshold;
物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満の場合、道路構造物と判定する道路構造物判定処理と、When the actual speed of the object is less than a preset threshold value and the edge direction vector variance is less than the preset threshold value, a road structure determination process for determining a road structure,
物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトルの分散があらかじめ設定されたしきい値以上の場合、人物と判定する人物判定処理と、If the actual speed of the object is less than a preset threshold and the variance of the edge direction vector is greater than or equal to the preset threshold,
のうちの少なくとも1つの判定処理が含まれることを特徴とする物体検出装置。An object detection apparatus including at least one of the determination processes.
前記車両判定処理における車両判定条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
前記道路構造物判定処理における道路構造物判定条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも狭いことが含まれ、
前記人物判定処理における人物判定条件に、エッジの方向ベクトルの時系列的な変化の度数分布の範囲があらかじめ設定された設定値よりも広いことが含まれていることを特徴とする請求項5に記載の物体検出装置。
The vehicle determination condition in the vehicle determination process includes that the range of the frequency distribution of the time-series change of the direction vector of the edge is narrower than a preset setting value,
The road structure determination condition in the road structure determination process includes that the range of the frequency distribution of the time-series change of the direction vector of the edge is narrower than a preset setting value,
6. The person determination condition in the person determination process includes that the range of a frequency distribution of time-series changes in edge direction vectors is wider than a preset value. The object detection apparatus described .
外界に存在する物体に関する情報を得る入力手段と、An input means for obtaining information about an object existing in the outside world;
この入力手段から得られる前記情報に基づいて物体の検出を行う物体検出処理手段と、Object detection processing means for detecting an object based on the information obtained from the input means;
を備え、With
前記入力手段に、少なくとも検出対象物体を撮像した画像情報を入力する手段と、検出対象物体との距離情報を入力する手段とが含まれ、The input means includes at least means for inputting image information obtained by imaging the detection target object, and means for inputting distance information on the detection target object.
前記距離情報を入力する手段として、物体検出対象領域を検出波で走査して取得された検出波の反射に基づく物体に関する検波情報が含まれ、As the means for inputting the distance information, detection information on the object based on the reflection of the detection wave obtained by scanning the object detection target region with the detection wave is included,
前記物体検出処理手段が、検出対象物体との距離と、前記画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、前記検波情報から算出した反射強度、反射強度分散のうちの少なくとも反射強度と、に基づいて対象物の種類を判定する物体種類判定処理を行う物体検出装置であって、At least the edge direction of the distance from the object to be detected by the object detection processing unit, the frequency distribution of the time-series change of the edge direction vector calculated from the image information, the edge direction vector variance, and the edge strength. An object detection device that performs an object type determination process that determines the type of an object based on vector dispersion, the reflection intensity calculated from the detection information, and at least the reflection intensity of the reflection intensity dispersion,
前記物体種類判定処理に、In the object type determination process,
エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上である場合、車両と判定する車両判定処理と、The edge direction vector variance is less than a preset threshold value, the reflection intensity variance is greater than or equal to a preset threshold value, and the maximum value of reflection intensity according to distance is greater than or equal to a preset threshold value A vehicle determination process for determining a vehicle,
エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上であり、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数があらかじめ設定されたしきい値未満である場合、二輪車と判定する二輪車判定処理と、Edge direction vector variance is greater than or equal to a preset threshold, reflection intensity variance is greater than or equal to a preset threshold, and the maximum value of reflection intensity according to distance is greater than or equal to a preset threshold A two-wheeled vehicle determination process for determining a two-wheeled vehicle when the number of measurement points whose reflection intensity according to the distance is equal to or greater than a predetermined threshold value is less than a predetermined threshold value;
エッジの方向ベクトル分散がしきい値未満で、距離に応じた反射強度の最大値がしきい値以上である計測点の個数が車両の場合のしきい値よりも多く設定されたしきい値以上または0個である場合、道路構造物と判定する道路構造物判定処理と、The number of measurement points whose edge direction vector variance is less than the threshold and the maximum reflection intensity according to the distance is greater than or equal to the threshold is greater than or equal to the threshold set for the vehicle. Or, when it is zero, road structure determination processing for determining a road structure,
エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値未満で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数が0個である場合、人物と判定する人物判定処理と、Edge direction vector variance is greater than or equal to a preset threshold, the maximum reflection intensity according to distance is less than a preset threshold, and the reflection intensity according to distance is preset When the number of measurement points is 0, the person determination process for determining a person,
の少なくとも1つが含まれていることを特徴とする物体検出装置。An object detection apparatus including at least one of the following.
外界に存在する物体に関する情報を得る入力手段と、
この入力手段から得られる前記情報に基づいて物体の検出を行う物体検出処理手段と、
を備え、
前記入力手段に、少なくとも検出対象物体を撮像した画像情報を入力する手段と、検出対象物体との距離情報を入力する手段とが含まれ、
前記距離情報を入力する手段として、物体検出対象領域を検出波で走査して取得された検出波の反射に基づく物体に関する検波情報が含まれ、
前記物体検出処理手段が、検出対象物体との距離と、対象物との距離変化または画像上における物体の大きさ変化に基づいて算出した対象物の実速度と、前記画像情報から算出したエッジの方向ベクトルの時系列的な変化の度数分布、エッジの方向ベクトル分散、エッジ強度のうちの少なくともエッジの方向ベクトル分散と、前記検波情報から算出した反射強度、反射強度分散のうちの少なくとも反射強度と、に基づいて対象物の種類を判定する物体種類判定処理を行う物体検出装置であって、
前記物体種類判定処理に、
物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値がしきい値以上である場合、走行中の車両と判定する車両判定処理と、
物体の実速度があらかじめ設定されたしきい値以上で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、反射強度分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数があらかじめ設定されたしきい値未満である場合、走行中の二輪車と判定する二輪車判定処理と、
物体の実速度が0で、エッジの方向ベクトル分散があらかじめ設定されたしきい値未満で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値以上である計測点の個数が、車両の場合より多く設定されたしきい値以上または0個である場合、道路構造物と判定する道路構造物判定処理と、
物体の実速度があらかじめ設定されたしきい値未満で、エッジの方向ベクトル分散があらかじめ設定されたしきい値以上で、距離に応じた反射強度の最大値があらかじめ設定されたしきい値未満で、距離に応じた反射強度があらかじめ設定されたしきい値以上である計測点の個数が0個である場合、人物と判定する人物判定処理と、
の少なくとも1つが含まれていることを特徴とする物体検出装置。
An input means for obtaining information about an object existing in the outside world;
Object detection processing means for detecting an object based on the information obtained from the input means;
With
The input means includes at least means for inputting image information obtained by imaging the detection target object, and means for inputting distance information on the detection target object.
As the means for inputting the distance information, detection information on the object based on the reflection of the detection wave obtained by scanning the object detection target region with the detection wave is included,
The object detection processing means calculates the distance from the detection target object, the actual speed of the target calculated based on the change in the distance to the target or the size of the object on the image, and the edge calculated from the image information. Frequency distribution of time-series change of direction vector, edge direction vector dispersion, edge direction vector dispersion of at least edge intensity, reflection intensity calculated from detection information, and at least reflection intensity of reflection intensity dispersion , An object detection device for performing an object type determination process for determining the type of an object based on
In the object type determination process,
Reflection according to distance when the actual velocity of the object is greater than or equal to a preset threshold, the edge direction vector variance is less than the preset threshold, and the reflection intensity variance is greater than or equal to the preset threshold A vehicle determination process for determining that the vehicle is running when the maximum intensity value is equal to or greater than a threshold;
Reflection according to distance when the actual speed of the object is greater than or equal to a preset threshold, the edge direction vector variance is greater than or equal to a preset threshold, and the reflection intensity variance is greater than or equal to a preset threshold When the maximum intensity value is greater than or equal to a preset threshold and the number of measurement points whose reflection intensity according to distance is greater than or equal to a preset threshold is less than the preset threshold A motorcycle determination process for determining that the vehicle is a middle motorcycle,
The number of measurement points where the actual velocity of the object is 0, the edge direction vector variance is less than a preset threshold, and the maximum value of the reflection intensity according to the distance is greater than or equal to the preset threshold, A road structure determination process for determining a road structure when the threshold value is greater than or equal to zero or more than that of a vehicle;
The actual velocity of the object is less than a preset threshold, the edge direction vector variance is greater than or equal to the preset threshold, and the maximum reflection intensity according to the distance is less than the preset threshold. A person determination process for determining a person when the number of measurement points whose reflection intensity according to distance is equal to or greater than a preset threshold value is zero;
An object detection apparatus including at least one of the following .
前記物体種類判定処理において、エッジ方向ベクトル分散として、エッジ強度があらかじめ設定されたしきい値以上の部分で求められた第1の方向ベクトル分散と、エッジ強度があらかじめ設定されたしきい値未満の部分で求められた第2の方向ベクトル分散とが算出され、
前記車両判定処理および道路構造物判定処理に、第1の方向ベクトル分散が用いられ、
前記人物判定処理に、第2の方向ベクトル分散が用いられることを特徴とする請求項5〜8のいずれか1項に記載の物体検出装置。
In the object type determination process, as the edge direction vector variance, the first direction vector variance obtained in a portion where the edge strength is equal to or greater than a preset threshold value and the edge strength is less than the preset threshold value. A second directional vector variance determined in part is calculated;
A first direction vector variance is used for the vehicle determination process and the road structure determination process,
The object detection apparatus according to claim 5, wherein second direction vector dispersion is used for the person determination process .
前記物体検出処理手段は、前記物体種類判定処理を行う前に、物体が存在するか否かを判定する物体存在判定処理部を備え、
この物体存在判定処理部は、画像情報に基づく第1の物体存在判定と、検波情報に基づく第2の物体存在判定を行い、それぞれの物体存在判定結果において同方位に物体が存在すると判定された場合に、最終的に物体が存在すると判定する物体判定処理を行うことを特徴とする請求項5〜9のいずれか1項に記載の物体検出装置。
The object detection processing means includes an object presence determination processing unit that determines whether or not an object exists before performing the object type determination processing,
This object presence determination processing unit performs a first object presence determination based on image information and a second object presence determination based on detection information, and it is determined that an object exists in the same direction in each object presence determination result. 10. The object detection apparatus according to claim 5, wherein an object determination process for determining that an object is finally present is performed .
前記物体存在判定処理部は、第1の物体存在判定処理および第2の物体存在判定処理において、時系列的に観測を行い、あらかじめ設定された時間を超えて連続して物体が計測された場合に、物体が存在すると判定することを特徴とする請求項10に記載の物体検出装置。 In the first object presence determination process and the second object presence determination process, the object presence determination processing unit performs observation in time series, and the object is continuously measured over a preset time. The object detection apparatus according to claim 10 , wherein it is determined that an object exists . 前記物体存在判定処理部は、前記第1の物体存在判定処理および第2の物体存在判定処理において、画像情報と検波情報のそれぞれについて相対速度を求め、前記最終的な物体存在判定に、両者の相対速度が一致すると認められることが含まれ、
前記物体種類判定処理部は、画像情報と検波情報とで相対速度が一致した領域の情報に基づいて物体種類判定処理を行うことを特徴とする請求項10または請求項11に記載の物体検出装置。
In the first object presence determination process and the second object presence determination process, the object presence determination processing unit obtains a relative speed for each of the image information and the detection information, and in the final object presence determination, Including that the relative velocities match,
The object detection apparatus according to claim 10 or 11 , wherein the object type determination processing unit performs an object type determination process based on information on a region where the relative speeds of the image information and the detection information coincide with each other. .
JP2006112877A 2006-04-17 2006-04-17 Object detection method and object detection apparatus Expired - Fee Related JP4830604B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006112877A JP4830604B2 (en) 2006-04-17 2006-04-17 Object detection method and object detection apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006112877A JP4830604B2 (en) 2006-04-17 2006-04-17 Object detection method and object detection apparatus

Publications (2)

Publication Number Publication Date
JP2007288460A JP2007288460A (en) 2007-11-01
JP4830604B2 true JP4830604B2 (en) 2011-12-07

Family

ID=38759823

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006112877A Expired - Fee Related JP4830604B2 (en) 2006-04-17 2006-04-17 Object detection method and object detection apparatus

Country Status (1)

Country Link
JP (1) JP4830604B2 (en)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4857909B2 (en) * 2006-05-23 2012-01-18 日産自動車株式会社 Object detection method and object detection apparatus
JP5145986B2 (en) * 2008-02-05 2013-02-20 日産自動車株式会社 Object detection apparatus and distance measuring method
JP4842301B2 (en) * 2008-07-01 2011-12-21 株式会社豊田中央研究所 Pedestrian detection device and program
JP5278776B2 (en) * 2008-12-09 2013-09-04 トヨタ自動車株式会社 Object detection apparatus and object detection method
KR100972041B1 (en) 2009-01-15 2010-07-22 한민홍 Method for recognizing obstacle using cameras
JP5136504B2 (en) * 2009-04-02 2013-02-06 トヨタ自動車株式会社 Object identification device
JP5379543B2 (en) * 2009-04-09 2013-12-25 日立オートモティブシステムズ株式会社 Automobile external recognition device
JP5493601B2 (en) * 2009-08-31 2014-05-14 日産自動車株式会社 Driving support device and driving support method
CN102696060B (en) 2009-12-08 2015-01-07 丰田自动车株式会社 Object detection apparatus and object detection method
CN104251993B (en) 2010-03-17 2017-04-12 本田技研工业株式会社 Vehicle surroundings monitoring device
KR101080730B1 (en) 2010-03-18 2011-11-07 서강대학교산학협력단 Radar reflector for vehicle
JP2011243154A (en) * 2010-05-21 2011-12-01 Mitsubishi Electric Corp Device and method for detecting vehicle
DE102015101292A1 (en) * 2015-01-29 2016-08-04 Valeo Schalter Und Sensoren Gmbh Method for detecting an object in an environmental region of a motor vehicle by checking a spatial deviation of measuring points, control device, driver assistance system and motor vehicle
JP2016142661A (en) 2015-02-03 2016-08-08 オプテックス株式会社 Vehicle detection device, vehicle gate system, object detection device, control method for vehicle detection device, and vehicle detection program
JP2017054311A (en) * 2015-09-09 2017-03-16 株式会社デンソー Object detection apparatus
JP2018036067A (en) * 2016-08-29 2018-03-08 株式会社Soken Own vehicle position recognition device
JP6885721B2 (en) * 2016-12-27 2021-06-16 株式会社デンソー Object detection device, object detection method
JP7062878B2 (en) * 2017-03-27 2022-05-09 沖電気工業株式会社 Information processing method and information processing equipment
JP7146370B2 (en) * 2017-05-19 2022-10-04 新明和工業株式会社 Specially equipped vehicle
JP7071102B2 (en) * 2017-11-28 2022-05-18 株式会社Subaru External environment recognition device
EP3779880A4 (en) 2018-03-30 2021-05-26 NEC Solution Innovators, Ltd. Object identification device, object identification method, and non-temporary computer readable medium storing control program
JP7147292B2 (en) 2018-06-29 2022-10-05 株式会社デンソー Gradient direction calculator
CN111182149A (en) * 2019-12-30 2020-05-19 上海摩软通讯技术有限公司 Terminal screen on-off control method and device, terminal and storage medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (en) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd On-vehicle outside monitoring device
JP3377743B2 (en) * 1998-01-20 2003-02-17 三菱重工業株式会社 Mobile object identification device
JPH11271441A (en) * 1998-03-23 1999-10-08 Hino Motors Ltd On-vehicle radar apparatus
JP3450189B2 (en) * 1998-06-16 2003-09-22 ダイハツ工業株式会社 Pedestrian detection system and control method thereof
JP3669205B2 (en) * 1999-05-17 2005-07-06 日産自動車株式会社 Obstacle recognition device
JP3649166B2 (en) * 2001-07-26 2005-05-18 日産自動車株式会社 Object type discrimination device and object type discrimination method

Also Published As

Publication number Publication date
JP2007288460A (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4830604B2 (en) Object detection method and object detection apparatus
EP2924653B1 (en) Image processing apparatus and image processing method
EP1671216B1 (en) Moving object detection using low illumination depth capable computer vision
JP4857839B2 (en) Object detection device
JP3630100B2 (en) Lane detection device
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
JP5283967B2 (en) In-vehicle object detection device
US7103213B2 (en) Method and apparatus for classifying an object
CN113192091B (en) Long-distance target sensing method based on laser radar and camera fusion
EP1860594A2 (en) Pedestrian detector and pedestrian detecting method
JP2007255977A (en) Object detection method and object detector
EP2889641A1 (en) Image processing apparatus, image processing method, program and image processing system
JP2003296736A (en) Device for detecting obstacle and method thereof
JP6458651B2 (en) Road marking detection device and road marking detection method
JP2007255979A (en) Object detection method and object detector
JP2007300181A (en) Periphery monitoring apparatus and periphery monitoring method and program thereof
JP2006184276A (en) All-weather obstacle collision preventing device by visual detection, and method therefor
JP6315308B2 (en) Control object identification device, mobile device control system, and control object recognition program
JP5482672B2 (en) Moving object detection device
US20050232491A1 (en) Method and apparatus for differentiating pedestrians, vehicles, and other objects
JP2008117073A (en) Interruption vehicle detection device
JP2009245042A (en) Traffic flow measurement device and program
WO2017047282A1 (en) Image processing device, object recognition device, device control system, image processing method, and program
US7466860B2 (en) Method and apparatus for classifying an object
JP3651419B2 (en) Environment recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110823

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees