JP2010116036A - Headlight device for vehicle - Google Patents

Headlight device for vehicle Download PDF

Info

Publication number
JP2010116036A
JP2010116036A JP2008290261A JP2008290261A JP2010116036A JP 2010116036 A JP2010116036 A JP 2010116036A JP 2008290261 A JP2008290261 A JP 2008290261A JP 2008290261 A JP2008290261 A JP 2008290261A JP 2010116036 A JP2010116036 A JP 2010116036A
Authority
JP
Japan
Prior art keywords
vehicle
vehicle speed
attribute
magnification
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008290261A
Other languages
Japanese (ja)
Other versions
JP5313638B2 (en
Inventor
Masaji Kobayashi
正自 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koito Manufacturing Co Ltd
Original Assignee
Koito Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koito Manufacturing Co Ltd filed Critical Koito Manufacturing Co Ltd
Priority to JP2008290261A priority Critical patent/JP5313638B2/en
Publication of JP2010116036A publication Critical patent/JP2010116036A/en
Application granted granted Critical
Publication of JP5313638B2 publication Critical patent/JP5313638B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technique for accurately discriminating a road condition and an existing object over the wide range in the front of one's own vehicle. <P>SOLUTION: In a headlight device 110 for a vehicle, a front monitoring camera 16 has a zoom lens. An image processing ECU 32 fetches image information in the front of a vehicle taken by the front monitoring camera 16, and discriminates an attribute of an object existing in the front of the vehicle based on the image information. Camera control means 63 controls an optical magnification of a zoom lens based on a fetched vehicle speed information of the own vehicle. Headlight units 12R, 12L illuminate the front of the vehicle. A luminous intensity distribution control ECU 34 controls light distribution of the headlight units 12R, 12L according to the attribute of the object. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、自動車などに用いられる車両用前照灯装置に関する。   The present invention relates to a vehicle headlamp device used in an automobile or the like.

近年、車両に搭載されたカメラやセンサにより取得された周囲の情報に基づいて周囲の環境や物体を判別し、その環境や物体に応じた車両制御を行うことが種々試みられている。そのようなセンサとして、例えば、特許文献1には、受光素子により受光した光の方向や色に基づいて対向車や先行車、信号灯などを判別するセンサが開示されている。また、特許文献2には、より遠方の光源を識別するためのズーム式レンズ系を備えた自動車用眩光センサが開示されている。
実開平5−93981号公報 特開平6−321007号公報
In recent years, various attempts have been made to discriminate surrounding environments and objects based on surrounding information acquired by cameras and sensors mounted on the vehicle, and to perform vehicle control in accordance with the surroundings and objects. As such a sensor, for example, Patent Document 1 discloses a sensor that discriminates an oncoming vehicle, a preceding vehicle, a signal light, and the like based on the direction and color of light received by a light receiving element. Further, Patent Document 2 discloses an automobile glare sensor provided with a zoom lens system for identifying a distant light source.
Japanese Utility Model Publication No. 5-93981 JP-A-6-321007

ところで、上述のようなセンサを始め車載カメラに近年求められる要求は多岐にわたる。例えば、事故回避や予防安全の観点からはより遠方にある物体の識別が求められている。また、識別された物体に応じた適切な前照灯ユニットによる配光制御も求められている。しかしながら、遠方における物体は、見かけ上サイズが非常に小さくなり識別が困難である。特に、画像センサの画素数が少ない場合に識別がより困難となる。そのため、車両前方の広い範囲にわたって精度良く物体を識別する技術が求められている。   By the way, in recent years, there are various demands for in-vehicle cameras including the above-described sensors. For example, from the viewpoint of accident avoidance and preventive safety, identification of an object located further away is required. There is also a need for light distribution control by an appropriate headlamp unit according to the identified object. However, the object in the distance is apparently very small and difficult to identify. In particular, identification becomes more difficult when the number of pixels of the image sensor is small. Therefore, a technique for accurately identifying an object over a wide range in front of the vehicle is required.

本発明はこうした状況に鑑みてなされたものであり、その目的は、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別する技術を提供することにある。   This invention is made | formed in view of such a condition, The objective is to provide the technique which discriminate | determines a road surface condition and an existing object accurately over the wide range ahead of the own vehicle.

上記課題を解決するために、本発明のある態様の車両用前照灯装置は、ズームレンズを有するビデオカメラと、ビデオカメラによって撮影された車両前方の画像情報を取得し、その画像情報に基づいて車両前方に存在する物体の属性を判別する画像処理手段と、取得した自車両の車速情報に基づいてズームレンズの光学倍率を制御する倍率制御手段と、車両前方を照明する前照灯ユニットと、物体の属性に応じて前照灯ユニットの配光を制御する配光制御手段と、を備える。   In order to solve the above-described problems, a vehicle headlamp device according to an aspect of the present invention acquires a video camera having a zoom lens and image information in front of the vehicle taken by the video camera, and based on the image information. Image processing means for discriminating attributes of an object existing in front of the vehicle, magnification control means for controlling the optical magnification of the zoom lens based on the acquired vehicle speed information of the own vehicle, a headlamp unit for illuminating the front of the vehicle, And a light distribution control means for controlling the light distribution of the headlamp unit according to the attribute of the object.

この態様によると、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別することができる。例えば、自車両前方の遠方に存在する物体に対しても、ビデオカメラの光学倍率を制御することで、物体の属性の判別精度を向上することができる。   According to this aspect, it is possible to accurately determine road surface conditions and existing objects over a wide range in front of the host vehicle. For example, it is possible to improve the discrimination accuracy of an object attribute by controlling the optical magnification of the video camera even for an object that exists in front of the host vehicle.

配光制御手段は、ズームレンズの光学倍率の増加に応じて、ビデオカメラの撮影範囲を明るくするように前照灯ユニットの配光を制御してもよい。これにより、光学倍率の増加に伴う撮影範囲の光量不足が補われ、遠方における物体の属性の判別精度が低下することが抑制される。   The light distribution control means may control the light distribution of the headlamp unit so as to brighten the shooting range of the video camera in accordance with an increase in the optical magnification of the zoom lens. As a result, the shortage of the light amount in the photographing range accompanying the increase in the optical magnification is compensated, and it is suppressed that the accuracy of determining the attribute of the object in the distance is lowered.

倍率制御手段は、車速が所定の第1の車速より低い場合にはズームレンズを低倍率に制御し、車速が所定の第1の車速以上であって所定の第1の車速より速い所定の第2の車速より低い場合には車速に応じてズームレンズの倍率を変化させ、車速が所定の第2の車速以上の場合にはズームレンズを高倍率に制御してもよい。これにより、車速に応じた適切な光学倍率の選択を簡易な制御で実現することができる。   The magnification control means controls the zoom lens to a low magnification when the vehicle speed is lower than a predetermined first vehicle speed, and the vehicle speed is equal to or higher than a predetermined first vehicle speed and higher than a predetermined first vehicle speed. When the vehicle speed is lower than 2, the magnification of the zoom lens may be changed according to the vehicle speed, and when the vehicle speed is equal to or higher than the predetermined second vehicle speed, the zoom lens may be controlled at a high magnification. Thereby, selection of an appropriate optical magnification according to the vehicle speed can be realized by simple control.

倍率制御手段は、画像処理手段により判別された物体に前走車が含まれていない場合には、第2の車速より低速な第3の車速以上のときにズームレンズを高倍率に制御してもよい。これにより、判別された物体に前走車が含まれておらず自車両の近距離の物体の識別が重要でない状況では、車速がより低い段階からズームレンズを高倍率にすることで、自車両から遠方に存在する物体の属性の判別精度を高めることができる。   The magnification control means controls the zoom lens to a high magnification when the object determined by the image processing means does not include a preceding vehicle, at a speed higher than a third vehicle speed lower than the second vehicle speed. Also good. As a result, in a situation where the identified object does not include a preceding vehicle and it is not important to identify an object at a short distance from the host vehicle, the zoom lens is set to a higher magnification from a lower vehicle speed to It is possible to improve the discrimination accuracy of the attribute of an object existing far away from the object.

倍率制御手段は、車両前方の明るさが所定値以上の場合、車速にかかわらずズームレンズを低倍率に制御してもよい。これにより、例えば、車両前方の明るさが所定値以上である市街地を走行しているような場合、自車両に近い範囲に存在する物体の識別が重要となるため、車速にかかわらずズームレンズを低倍率にすることで、ビデオカメラの撮影範囲を広範囲にすることができる。   The magnification control means may control the zoom lens to a low magnification regardless of the vehicle speed when the brightness in front of the vehicle is a predetermined value or more. As a result, for example, when driving in an urban area where the brightness in front of the vehicle is equal to or greater than a predetermined value, it is important to identify an object existing in a range close to the host vehicle. By using a low magnification, the shooting range of the video camera can be widened.

画像処理手段は、ビデオカメラが備える撮像素子の出力のうちG出力に基づいて車両前方の明るさを算出してもよい。これにより、簡単な演算処理により車両前方の明るさを算出することができる。   The image processing means may calculate the brightness in front of the vehicle based on the G output among the outputs of the image sensor included in the video camera. Thereby, the brightness ahead of the vehicle can be calculated by a simple calculation process.

倍率制御手段は、車速に応じた所定の予見時間後に車両が到達する範囲に、視野範囲が合うようにズームレンズの倍率を制御してもよい。これにより、予見時間後に車両が到達する範囲に存在する物体の属性の判別精度が向上し、事故回避や予防安全等の観点から運転者の操作の補助が可能となる。   The magnification control means may control the magnification of the zoom lens so that the field-of-view range matches the range that the vehicle reaches after a predetermined prediction time corresponding to the vehicle speed. As a result, the accuracy of determining the attributes of objects existing in the range reached by the vehicle after the prediction time is improved, and the driver's operation can be assisted from the viewpoints of accident avoidance and preventive safety.

配光制御手段は、車両近傍の路面から所定の予見時間後に車両が到達する路面までの範囲を照射するように前照灯ユニットの配光を制御してもよい。これにより、予見時間後に車両が到達する範囲までに存在する物体の識別が容易となる。   The light distribution control means may control the light distribution of the headlamp unit so as to irradiate a range from a road surface in the vicinity of the vehicle to a road surface reached by the vehicle after a predetermined prediction time. Thereby, it becomes easy to identify an object existing in a range where the vehicle reaches after the prediction time.

画像処理手段は、取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出するオプティカルフロー算出手段と、オプティカルフローに基づいて物体の属性を判別する属性判別手段と、を有してもよい。これにより、取得した撮像画像に基づいて物体を判別することができるため、ドライバに特段の操作負担をかけることなく物体の属性に応じた適切な配光制御が可能となる。   The image processing means includes an optical flow calculation means for calculating an optical flow of an object existing in front of the vehicle as a light emitter or a light reflector based on the acquired luminance information of a captured image in front of the vehicle, and an object based on the optical flow. Attribute determination means for determining the attribute of Thereby, since an object can be discriminated based on the acquired captured image, appropriate light distribution control according to the attribute of the object can be performed without imposing a special operation burden on the driver.

属性判別手段は、オプティカルフローに基づいて物体の属性が移動体であると判別した場合、ビデオカメラが備える撮像素子のうち撮像画像中の移動体に対応する撮像素子のR出力およびB出力に基づいて対向車であるか先行車であるか判別してもよい。これにより、移動体である物体の属性の判別精度を更に向上することができる。   When the attribute determining unit determines that the attribute of the object is a moving object based on the optical flow, the attribute determining unit is based on the R output and B output of the imaging element corresponding to the moving object in the captured image among the imaging elements included in the video camera. It may be determined whether the vehicle is an oncoming vehicle or a preceding vehicle. Thereby, the discrimination accuracy of the attribute of the object which is a moving body can be further improved.

本発明によれば、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別することができる。また、車両前方に存在する物体の属性に応じた適切な配光制御が可能となる。   According to the present invention, it is possible to accurately determine road surface conditions and existing objects over a wide range in front of the host vehicle. Moreover, appropriate light distribution control according to the attribute of the object existing in front of the vehicle is possible.

車載画像センサは、車線維持、事故回避、予防安全などの機能要求から設計される。加えて、このセンサを、前照灯ユニット(ヘッドライト)の配光制御として用いるためには、前述の機能のほかに夜間において車両前方の物体の識別が可能なことも要求される。しかしながら、車両前方に存在する物体は様々であり、対向車や先行車のようにグレアを考慮した配光制御が必要な物体や、道路照明やデリニエータ(視線誘導標)のようにグレアを考慮せずに自車両にとって最適な配光制御を行えばよい物体もある。   In-vehicle image sensors are designed for functional requirements such as lane keeping, accident avoidance, and preventive safety. In addition, in order to use this sensor for light distribution control of a headlight unit (headlight), it is required that an object ahead of the vehicle can be identified at night in addition to the above-described functions. However, there are various objects in front of the vehicle, such as oncoming vehicles and preceding vehicles that require light distribution control that considers glare, and glare such as road lighting and delineators (gaze guidance signs). Some objects need only perform light distribution control that is optimal for the vehicle.

このような前照灯ユニットの配光制御を実現するためには、自車両の前方を走行する前走車(対向車や先行車)や道路照明のような発光体や、デリニエータのような光反射体を検知するセンサを用いることが好ましい。加えて、物体として検知した発光体や光反射体の属性を特定する機能があることがより好ましい。ここで、属性とは、例えば、前方の発光体や光反射体が前走車であるか道路附属施設等であるかを区別するものである。より詳細には、発光体等が車両であれば先行車であるか対向車であるか、発光体等が道路附属施設等であれば道路照明であるか、デリニエータであるか、その他の発光施設(例えば、店舗照明、広告等)であるか、交通信号であるかを区別するものである。   In order to realize such light distribution control of the headlamp unit, a light-emitting body such as a preceding vehicle (an oncoming vehicle or a preceding vehicle) traveling on the front of the host vehicle or road lighting, or a light such as a delineator is used. It is preferable to use a sensor that detects the reflector. In addition, it is more preferable to have a function of specifying the attribute of the light emitter or light reflector detected as an object. Here, the attribute distinguishes, for example, whether the front light emitter or light reflector is a forward vehicle or a road facility. More specifically, if the illuminant is a vehicle, it is a preceding vehicle or an oncoming vehicle, and if the illuminant is a road ancillary facility, etc., it is road lighting, a delineator, or other light emitting facility. (For example, store lighting, advertisement, etc.) or a traffic signal.

そこで、はじめに上述のような機能を実現するために必要なセンサ(カメラ)の性能について、視野範囲と分解能の観点から乗用車の車載カメラ(設置高;1.2m)を具体例として説明する。   Therefore, first, the performance of the sensor (camera) necessary for realizing the above-described functions will be described using a vehicle-mounted camera (installation height; 1.2 m) of a passenger car as a specific example from the viewpoint of the field of view range and resolution.

(1)車線維持;走行する車両において自動で車線維持を行うためには、レーンマークを検出することが行われる。このようなレーンマークの検出は、夜間雨天時のように認識しづらい場合もあるので、近距離での認識が必要である。そのため、カメラには斜め側方をカバーする広い視野が望まれる。図1は、直線路(一車線幅3.5m)における路上配置の模式図である。車載カメラ(地上高1.2m)では、ヘッドランプの前方5m(カメラから約7m)の自車線両側のレーンマークL1を検出する必要がある。カメラの光軸からの角度は、H(Horizontal)=Atan(1.75/7)≒14°、V(Vertical)=Atan(1.2/7)≒10°、となり、カメラには14°以上の視野範囲が要求される。なお、センサの分解能については、近距離のため特段の問題は生じない。   (1) Lane maintenance: In order to automatically maintain a lane in a traveling vehicle, a lane mark is detected. Such lane mark detection may be difficult to recognize, such as during night rain, and therefore needs to be recognized at a short distance. Therefore, a wide field of view that covers the oblique side is desired for the camera. FIG. 1 is a schematic diagram of a road arrangement in a straight road (one lane width 3.5 m). In the in-vehicle camera (1.2m above ground), it is necessary to detect the lane mark L1 on both sides of the own lane 5m ahead of the headlamp (about 7m from the camera). The angles from the optical axis of the camera are H (Horizontal) = Atan (1.75 / 7) ≈14 °, V (Vertical) = Atan (1.2 / 7) ≈10 °, and 14 ° to the camera. The above visual field range is required. As for the resolution of the sensor, no particular problem occurs because of the short distance.

(2)事故回避;ハンドリングによる衝突回避を条件として、比較的近距離の車両、歩行者や障害物が対象となる。そのためには、カメラ(センサ)としてそれらをカバーする視野範囲が望まれる。そこで、前方車両や障害物は自車線+両側1車線の範囲でそれらが存在するものとして考える(図1)。これは側方範囲で±5.25mとなる。これらの衝突防止(ハンドリングによる回避)のために必要な検出距離はドライバの認知反応時間以上とする必要がある。一般的に認知反応時間は1.0秒と記述されている。車両の走行速度を60km/hとすれば、1秒間に16.7mの距離となる。この範囲の検出に必要な水平角度範囲をHとすると、H=Atan(5.25/(16.7+2))≒16°となる。   (2) Accident avoidance: Vehicles, pedestrians and obstacles in relatively short distances are subject to collision avoidance by handling. For this purpose, a field of view that covers them as a camera (sensor) is desired. Therefore, the vehicles ahead and obstacles are considered to exist in the range of own lane + one lane on both sides (Fig. 1). This is ± 5.25 m in the lateral range. The detection distance necessary for preventing these collisions (avoidance by handling) needs to be longer than the driver's cognitive reaction time. Generally, the cognitive reaction time is described as 1.0 second. If the traveling speed of the vehicle is 60 km / h, the distance is 16.7 m per second. Assuming that the horizontal angle range necessary for detection of this range is H, H = Atan (5.25 / (16.7 + 2)) ≈16 °.

(3)予防安全;前方車両や障害物の検出距離を車両の停止距離以上とする。こうすることにより安全走行が確実になる。また、停止距離より遠方の道路形状などを検出できれば、快適走行の支援ともなる。快適走行の観点からは、Preview Distance(PD:予見時間)、すなわち何秒先の視覚情報が得られるかが重要である。   (3) Preventive safety: The detection distance of the preceding vehicle or obstacle is set to be equal to or greater than the stopping distance of the vehicle. This ensures safe driving. In addition, if a road shape or the like far from the stop distance can be detected, it can also support comfortable driving. From the viewpoint of comfortable driving, it is important to provide Preview Distance (PD), that is, how many seconds ahead of visual information can be obtained.

表1に車速、道路の設計上の曲線半径、停止距離、予見時間(PD)の関係を示す。図2は、曲線半径150mの曲路(車速60km/hにおける道路設計上の旋回半径)における路上配置図である。

Figure 2010116036
Table 1 shows the relationship between the vehicle speed, the curve radius on the road design, the stopping distance, and the prediction time (PD). FIG. 2 is a layout diagram on the road in a curved road having a curved radius of 150 m (turning radius in road design at a vehicle speed of 60 km / h).
Figure 2010116036

なお、表1内の3.5sの視野範囲は、曲路上3.5s先の隣車線(5.25m側方)におけるレーンマーク位置の角度(W=Atan(Curve5.25/PD3.5))を求めたものである。予見時間3.5s先の情報をドライバに与えれば、警告後、ドライバは確実に停車および回避ができ、予防安全に役立つ。また、快適走行を保証するためには、予見時間は極力大きい方がよいが、3.5sはほぼ満足できるレベルである。したがって、車速60km/h以上で予防安全と快適性を考慮する場合における画像センサの視野範囲は16°以上確保されているとよい。 The viewing range of 3.5s in Table 1 is the angle of the lane mark position (W = Atan (Curve 5.25 / PD 3.5 ) in the adjacent lane (5.25m side) 3.5s ahead on the curved road. )). If the driver is provided with information about a prediction time of 3.5 s ahead, the driver can be surely stopped and avoided after the warning, which is useful for preventive safety. Moreover, in order to guarantee comfortable driving, it is better that the foreseeing time is as long as possible, but 3.5 s is a satisfactory level. Therefore, the visual field range of the image sensor when the vehicle speed is 60 km / h or higher and preventive safety and comfort are taken into consideration is preferably secured at 16 ° or more.

(4)遠方物体の弁別
図3は、画像センサから見た夜間直線路における発光物体の位置を示した図である。なお図中の対向車ヘッドライトHLおよび先行車テールライトTLは、自車両から60m前方の位置で示している。このような遠近透視図において、道路照明70はH線(Horizontal)より上方に位置し、デリニエータ72はH線のやや下に位置する。これらの固定物体は、走行中には図中の軌跡L2,L3に沿って画面内を移動する。所定時間経過後の画像を比較すると、この線上に沿ってオプティカルフロー{OF(Optical Flow);視覚表現(通常、時間的に連続するデジタル画像)の中で物体の動きをベクトルで表したもの}が発生する。
(4) Distant Object Discrimination FIG. 3 is a diagram showing the position of a light emitting object on a night straight road viewed from an image sensor. In addition, the oncoming vehicle headlight HL and the preceding vehicle taillight TL in the figure are shown at positions 60 m ahead of the host vehicle. In such a perspective view, the road illumination 70 is located above the H line (Horizontal), and the delineator 72 is located slightly below the H line. These fixed objects move in the screen along the trajectories L2 and L3 in the figure while traveling. Comparing images after a lapse of a predetermined time, along this line, an optical flow {OF (Optical Flow); a representation of the motion of an object as a vector in a visual expression (usually a temporally continuous digital image)} Will occur.

このオプティカルフロー量(ベクトル量)は画像センサより近距離の物体の方が大きくなる。また相対速度差が大きいものほど大きくなる。すなわち、走行中の車両は、対向車OF量>固定物OF量>先行車のOF量となる。このOF量と路上での物体位置から物体の属性(先行車、対向車、道路照明、デリニエータ、ほか)が判定できる。また、道路照明やデリニエータは高速道路などでは光点列で存在するので、この点を加味することで更に物体の判別精度を向上することが可能となる。またリアライトやヘッドライトはペアライトであり、ペアライトのOF量は同一であるため、この点を加味することで更に物体の判別精度を向上することができる。   This optical flow amount (vector amount) is larger for an object at a short distance than for an image sensor. Also, the larger the relative speed difference, the larger. In other words, the on-going vehicle OF amount> the fixed object OF amount> the preceding vehicle OF amount of the traveling vehicle. Object attributes (preceding vehicle, oncoming vehicle, road lighting, delineator, etc.) can be determined from the OF amount and the object position on the road. In addition, since road illumination and delineators exist in a light spot sequence on an expressway or the like, the object discrimination accuracy can be further improved by taking this point into consideration. Further, since the rear light and the headlight are pair lights and the pair lights have the same amount of OF, the object discrimination accuracy can be further improved by taking this point into consideration.

そして、以下で述べる実施の形態では、上述した物体の属性の判別をより簡易な構成の装置、具体的には単眼カメラの画像センサにより実現している。また、このような簡易な装置構成に加えて、以下の手法(詳細は後述)を採用することで物体の属性の判別精度を向上している。具体的には、(a)オプティカルフローの活用による移動物体の属性判別、(b)(a)に加えて道路区域設定および光点列の活用による路上物体(固定物)の属性判別、(c)道路の消失点の活用による路上物体の属性判別精度の向上、である。   In the embodiment described below, the above-described object attribute discrimination is realized by an apparatus having a simpler configuration, specifically, an image sensor of a monocular camera. Further, in addition to such a simple device configuration, the following method (details will be described later) is adopted to improve the object attribute discrimination accuracy. Specifically, (a) attribute determination of a moving object by using an optical flow, (b) attribute determination of an object on the road (fixed object) by using a road area setting and a light spot sequence in addition to (a), (c ) Improvement of attribute discrimination accuracy of objects on the road by utilizing the vanishing point of the road.

また、発光体や光反射体(以下、適宜「発光体等」と称する)の属性のほかに、自車両から発光体等までのおおよその距離と、その発光体等の輝度(明るさ)の情報を算出し利用することで更に物体の属性の判別精度を向上することもできる。この場合、自車両と発光体等との距離の測定には、レーザレーダやミリ波レーダを用いてもよい。また、輝度の測定に照度計を用いてもよい。   In addition to the attributes of the light emitter and light reflector (hereinafter referred to as “light emitter etc.” as appropriate), the approximate distance from the vehicle to the light emitter and the brightness (brightness) of the light emitter, etc. By calculating and using the information, it is possible to further improve the object attribute discrimination accuracy. In this case, laser radar or millimeter wave radar may be used to measure the distance between the vehicle and the light emitter. An illuminometer may be used for measuring the luminance.

(オプティカルフローの活用)
画像センサ(カメラ)と路上物体の相対位置関係が変化する場合、連続した撮像画像において物体の像は流れる。このような現象をオプティカルフロー(以下、適宜「OF」と称する)という。OFは、自車両と物体との相対距離が近いほど、また、相対速度差が大きいほど、大きくなる。例えば、自車両が停車中の場合、移動物体に応じたOFが発生する。また、自車両が走行中の場合、道路照明やデリニエータ等の路上固定物に応じたOFが発生するとともに、自車両と速度の異なる前走車に応じたOFが発生する。そこで、OFの大きさに基づいて自車両前方の物体の属性が道路に対する移動物体か固定物かを判別することができる。
(Utilization of optical flow)
When the relative positional relationship between the image sensor (camera) and the object on the road changes, the image of the object flows in consecutive captured images. Such a phenomenon is referred to as an optical flow (hereinafter referred to as “OF” as appropriate). The OF increases as the relative distance between the host vehicle and the object is shorter and the relative speed difference is larger. For example, when the host vehicle is stopped, OF corresponding to the moving object is generated. In addition, when the host vehicle is traveling, OF is generated according to road fixed objects such as road lighting and a delineator, and OF is generated according to a preceding vehicle having a speed different from that of the host vehicle. Therefore, it is possible to determine whether the attribute of the object ahead of the host vehicle is a moving object or a fixed object with respect to the road based on the size of the OF.

(道路消失点の活用)
図4は、高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。図4に示すように、直線路においては消失点が存在する。ここで、消失点とは、絵画の遠近法における収束点として定義することができる。消失点は、レーンマーク、路側帯、中央分離帯、規則的な配置で設置された道路附属施設(道路照明、デリニエータ)等の無限遠点となる。なお、道路形状(例えばカーブ)や前走車の存在などで無限遠点が求められない場合、それらの物体の近景における配置を無限遠まで延長し、それらの交点を画面上で推測することにより仮の消失点とすることも可能である。なお、消失点は曲路(左右カーブだけではなく、道路のアップダウン)では算出することが困難であるが、左右方向の屈折路では算出可能である。また、自車両が車線変更などで道路の幅方向に移動する場合、それに伴って消失点も移動する。
(Utilization of road vanishing points)
FIG. 4 is a diagram schematically showing the relationship between the vanishing point and the optical flow on the straight road on the expressway. As shown in FIG. 4, a vanishing point exists on a straight road. Here, the vanishing point can be defined as a convergence point in the perspective of painting. The vanishing point is an infinite point such as a lane mark, a roadside zone, a median strip, or a road facility (road lighting, delineator) installed in a regular arrangement. If the infinity point cannot be obtained due to the road shape (for example, a curve) or the presence of a preceding vehicle, the arrangement of those objects in the foreground is extended to infinity and the intersection point is estimated on the screen. It can also be a temporary vanishing point. The vanishing point is difficult to calculate on a curved road (not only a left / right curve but also an up / down road), but can be calculated on a left / right refraction path. Further, when the host vehicle moves in the width direction of the road due to a lane change or the like, the vanishing point moves accordingly.

(道路区域の設定と交点列の活用)
車両前方のレーンマーク、路側帯、中央分離帯などの画像データを解析することで、自車線や対向車線等の道路区域を決定できる。道路照明やデリニエータ等の道路附属施設は道路上に規則的に設置されているため、道路区域が決定されることで、夜間において発光体等がどのような物体かがより精度良く判別できる。具体的には、夜間において発光体等の光輝点や光点列が道路区域に対してどの位置(例えば、自車線か対向車線か路肩か)に存在するか、および前述のOFがどうなっているか、を考慮することで発光体等の属性が道路照明か、デリニエータか、先行車か、対向車かが判別可能となる。
(Road area setting and intersection sequence)
By analyzing image data such as lane marks, roadside zones, and median strips in front of the vehicle, road areas such as the own lane and the oncoming lane can be determined. Since road ancillary facilities such as road lighting and a delineator are regularly installed on the road, the road area is determined, so that it is possible to more accurately determine what kind of object is a light emitter or the like at night. Specifically, at night, the position of a bright spot such as a illuminant or a light spot sequence with respect to a road area (for example, own lane, oncoming lane, or shoulder), and the above-mentioned OF. It is possible to determine whether the attribute of the light emitter or the like is road illumination, delineator, preceding vehicle, or oncoming vehicle.

本発明者は上述したオプティカルフローを用いることで物体の属性を判別できることに想到したが、更に検討を進めたところ、以下の課題が生じ得る点にも想到した。つまり、直線道路上に存在する物体は、より遠方に存在するほど視覚サイズは小さくなり、無限遠では図3に示すH線とV線の交点(HV点)、すなわち消失点に収束する。そのため、遠方に存在する物体の判別が問題となる。以下、明るさと分解能の観点からセンサを含むカメラに求められる性能を検討する。   The present inventor has come up with the idea that the attribute of an object can be determined by using the optical flow described above. However, as a result of further investigation, the inventors have also found that the following problems may arise. That is, the visual size of an object existing on a straight road becomes smaller as it is farther away, and converges to the intersection (HV point) of the H line and V line shown in FIG. For this reason, discrimination of an object existing in the distance is a problem. Below, the performance required for a camera including a sensor is examined from the viewpoint of brightness and resolution.

ヘッドライトの検出距離;現状のすれ違いビームのグレアの照度規格は1灯あたり1[lx]である。これ以上の照度を受けるとドライバは眩しさを感じる。したがって、ハイビームで走行している車両は、前走車に届く前照灯の照度が1[lx]程度の距離においてその前走車を検出できることが必要である。現状のハイビームの1灯あたりのMAX光度は112500[cd]である。照度は距離の二乗に反比例するため、1[lx]の照度となる自車両前方の物体までの距離は335.4mに相当する。   Headlight detection distance: The current illuminance standard for passing beam glare is 1 [lx] per lamp. The driver feels dazzling when receiving more illuminance. Therefore, a vehicle traveling with a high beam needs to be able to detect the preceding vehicle at a distance where the illuminance of the headlight reaching the preceding vehicle is about 1 [lx]. The current MAX light intensity per high beam is 112500 [cd]. Since the illuminance is inversely proportional to the square of the distance, the distance to the object ahead of the host vehicle having an illuminance of 1 [lx] corresponds to 335.4 m.

以下では計算を簡便化するため、ハイビームで走行している場合に要求される前方物体の検出距離を500mとし、そのときの画像センサに必要な分解能について検討する。左右のペアライトの取付け間隔は通常1.2〜1.5mであり、仮に1.2mとすればペアライトの視覚サイズは0.1375°(8.25′)となる。一対のペアライトとして識別するには、走行時における車両振動による画像の補整も考慮すると、この5倍程度の分解能、すなわち0.0275°(1.65′)の分解能を有するカメラが好ましい。   In the following, in order to simplify the calculation, the detection distance of the front object required when traveling with a high beam is assumed to be 500 m, and the resolution necessary for the image sensor at that time is examined. The interval between the left and right pair lights is normally 1.2 to 1.5 m. If the distance is 1.2 m, the visual size of the pair lights is 0.1375 ° (8.25 ′). In order to identify as a pair of pair lights, a camera having a resolution of about 5 times, that is, a resolution of 0.0275 ° (1.65 ′) is preferable in consideration of image correction due to vehicle vibration during traveling.

また、500mの車間距離、相対速度200km/hですれ違う際には1秒間に約55m接近する。画像処理装置の処理を10回/秒(カメラのフレームレートを30枚/秒)とすれば約5.5m接近する。この場合における側方方向へのOF量はAtan(3.5/494.5)−Atan(3.5/500)=0.00446°となる。これについても前述と同じ理由で5倍程度の分解能、すなわち0.0009°(0.054′)の分解能を有するカメラが好ましい。   Also, when passing each other at a distance of 500 m and a relative speed of 200 km / h, it approaches about 55 m per second. If the processing of the image processing apparatus is 10 times / second (camera frame rate is 30 frames / second), the distance is approximately 5.5 m. In this case, the amount of OF in the lateral direction is Atan (3.5 / 494.5) −Atan (3.5 / 500) = 0.00446 °. Also for this reason, a camera having a resolution of about 5 times, that is, a resolution of 0.0009 ° (0.054 ′) is preferable for the same reason as described above.

サイズが1/3(4.8mm(W)×3.6mm(H))インチ、210万画素(1920W×1080H)の撮像素子の場合、この素子で左右±16°の視野をカバーしているとすれば、1画素あたりの視野角は32/1920=0.017°(1′)となり、上述の分解能の要求を満たせない。そのため、500m前方のヘッドライトの識別に必要な0.0009°の分解能を確保するには210万画素では20倍程度の光学ズームレンズを備えたカメラが好ましい。これにより画素数の多い撮像素子を用いることなく、所望の分解能を得ることができるとともに、処理能力の高い画像処理装置を用いずにすむため、装置全体のコスト低減が期待できる。   In the case of an image sensor having a size of 1/3 (4.8 mm (W) × 3.6 mm (H)) inches and 2.1 million pixels (1920 W × 1080H), this device covers a field of view of ± 16 ° on the left and right. As a result, the viewing angle per pixel is 32/1920 = 0.171 ° (1 ′), which does not satisfy the above-described resolution requirement. Therefore, in order to ensure the 0.0009 ° resolution necessary for identifying the headlight ahead of 500 m, a camera having an optical zoom lens of about 20 times with 2.1 million pixels is preferable. As a result, a desired resolution can be obtained without using an image pickup device having a large number of pixels, and an image processing apparatus having a high processing capability can be eliminated, so that the cost of the entire apparatus can be expected to be reduced.

このような検討に基づいて、本発明者は、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別する技術を簡易な構成で実現すべく本願発明に想到した。   Based on such studies, the present inventor has conceived the present invention to realize a technique for accurately discriminating road surface conditions and existing objects over a wide range in front of the host vehicle with a simple configuration.

以下、図面を参照しながら、本発明を実施するための最良の形態について詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and repeated descriptions are omitted as appropriate.

図5は、本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。図5に示すように、本実施の形態に係る車両10は、前照灯装置12と、前照灯装置12による光の照射を制御する前照灯制御装置としての制御システム14と、車両10の走行状況を示す情報を検出してその検出信号を制御システム14へ出力する各種センサと、車両前方を監視する前方監視カメラ16と、GPS衛星からの軌道信号を受信して制御システム14へ出力するアンテナ18と、を備える。   FIG. 5 is a schematic view showing the appearance of a vehicle to which the vehicle headlamp device according to the present embodiment is applied. As shown in FIG. 5, the vehicle 10 according to the present embodiment includes a headlamp device 12, a control system 14 as a headlamp control device that controls light irradiation by the headlamp device 12, and the vehicle 10. Various sensors that detect information indicating the driving situation of the vehicle and output detection signals to the control system 14, a front monitoring camera 16 that monitors the front of the vehicle, and orbit signals from GPS satellites are received and output to the control system 14. And an antenna 18 to be connected.

各種センサとしては、例えば、ステアリングホイール20の操舵角を検出するステアリングセンサ22と、車両10の車速を検出する車速センサ24と、自車両の周囲の照度を検出する照度センサ26とが設けられており、これらのセンサ22、24、26が前述の制御システム14に接続されている。   As various sensors, for example, a steering sensor 22 that detects the steering angle of the steering wheel 20, a vehicle speed sensor 24 that detects the vehicle speed of the vehicle 10, and an illuminance sensor 26 that detects the illuminance around the host vehicle are provided. These sensors 22, 24, 26 are connected to the control system 14 described above.

本発明に適用できる前照灯装置としては、照射する光の配光を前方に存在する物体の属性に応じて変化させることができる構成であれば特に限定されない。例えば、ハロゲンランプやガスディスチャージヘッドランプ、LEDを用いたヘッドランプを採用することができる。本実施の形態では、ランプをスイブルできる方式を例として説明する。   The headlamp device applicable to the present invention is not particularly limited as long as it can change the light distribution of the irradiated light according to the attribute of the object existing in front. For example, a halogen lamp, a gas discharge headlamp, or a headlamp using an LED can be employed. In the present embodiment, a system capable of swiveling the lamp will be described as an example.

前照灯装置12は、左右一対の前照灯ユニット12R、12Lを有する。前照灯ユニット12R、12Lは、内部構造が左右対称であるほかは互いに同じ構成であり、右側のランプハウジング内にロービーム用灯具ユニット28Rおよびハイビーム用灯具ユニット30Rが、左側のランプハウジング内にロービーム用灯具ユニット28Lおよびハイビーム用灯具ユニット30Lがそれぞれ配置されている。   The headlamp device 12 has a pair of left and right headlamp units 12R and 12L. The headlamp units 12R and 12L have the same structure except that the internal structure is symmetrical. The low beam lamp unit 28R and the high beam lamp unit 30R are disposed in the right lamp housing, and the low beam is disposed in the left lamp housing. A lamp unit 28L and a high beam lamp unit 30L are respectively arranged.

制御システム14は、入力された各種センサの各出力に基づいて車両の前部の左右にそれぞれ装備されたスイブル可能な前照灯ユニット12R、12L、すなわち照射方向を左右上下方向に偏向制御してその配光特性を変化することが可能な前照灯装置12を制御する。このようなスイブル可能な前照灯ユニット12R、12Lとしては、例えば前照灯ユニット内に設けられているリフレクタやプロジェクタランプを水平方向に回動可能な構成として駆動モータ等の駆動力源によって回転駆動する回転駆動手段を備えたものがある。この種のAFS(Adaptive Front-Lighting System)によれば、自動車がカーブした道路を走行する際には、自動車の走行速度に対応してカーブ先の道路を照明することが可能になり、走行安全性を高める上で有効である。   The control system 14 controls the swivelable headlamp units 12R and 12L mounted on the left and right of the front portion of the vehicle, that is, the deflection direction of the irradiation direction in the left and right and up and down directions, based on the outputs of the various sensors. The headlamp device 12 capable of changing the light distribution characteristic is controlled. As such swivelable headlamp units 12R and 12L, for example, a reflector or a projector lamp provided in the headlamp unit is rotated by a driving force source such as a driving motor so as to be rotatable in a horizontal direction. Some have rotational drive means for driving. According to this type of AFS (Adaptive Front-Lighting System), when a car runs on a curved road, it becomes possible to illuminate the road ahead of the curve according to the running speed of the car. It is effective in enhancing sex.

(車両用前照灯装置)
次に、本実施の形態に係る車両用前照灯装置について説明する。図6は、本実施の形態に係る車両用前照灯装置110の概略構成を示すブロック図である。車両用前照灯装置110は、前照灯ユニット12R、12Lと、前照灯ユニット12R、12Lによる光の照射を制御する制御システム14とを備える。そして、車両用前照灯装置110は、制御システム14において車両前方に存在する物体の属性を判別し、その物体の属性に基づいて配光制御条件を決定し、決定された配光制御条件に基づいて前照灯ユニット12R、12Lによる光の照射を制御する。
(Vehicle headlamp device)
Next, the vehicle headlamp device according to the present embodiment will be described. FIG. 6 is a block diagram showing a schematic configuration of the vehicle headlamp device 110 according to the present embodiment. The vehicular headlamp device 110 includes headlamp units 12R and 12L, and a control system 14 that controls light irradiation by the headlamp units 12R and 12L. Then, the vehicle headlamp device 110 determines the attribute of the object existing in front of the vehicle in the control system 14, determines the light distribution control condition based on the attribute of the object, and sets the determined light distribution control condition. Based on this, the light irradiation by the headlamp units 12R and 12L is controlled.

そこで、本実施の形態に係る制御システム14には、ドライバの視対象を含む車両前方の撮像画像を取得するための前方監視カメラ16が接続されている。また、車両の走行状態を判断する際に参照される、操舵情報や車速を検出するためのステアリングセンサ22や車速センサ24、照度センサ26が接続されている。照度センサ26としては、例えば、対向車や人工光源(道路照明や店舗照明)から受けた光の鉛直面照度(人工光源によるグレア量)を計測できるように受光面を鉛直に設置したものや、走行環境や車両上方から受けた光の水平面照度を計測できるように受光面を水平に設置したものが用いられる。   Therefore, the control system 14 according to the present embodiment is connected to a front monitoring camera 16 for acquiring a captured image in front of the vehicle including the driver's view target. Further, a steering sensor 22, a vehicle speed sensor 24, and an illuminance sensor 26 for detecting steering information and vehicle speed, which are referred to when determining the traveling state of the vehicle, are connected. As the illuminance sensor 26, for example, a light receiving surface installed vertically so that the vertical surface illuminance (glare amount by the artificial light source) of light received from an oncoming vehicle or an artificial light source (road lighting or store lighting) can be measured, A light receiving surface installed horizontally is used so that the horizontal illuminance of the light received from the traveling environment or from above the vehicle can be measured.

(前方監視カメラ)
本実施の形態に係る前方監視カメラ16は、ズームレンズを有するビデオカメラであり、遠方に存在する物体の属性の判別精度を向上することができる。ここで、ズームレンズとは、レンズ群の所定の一群を移動させることにより、焦点距離を変化させることができるものである。その際、通常は焦点面の位置が変化するため、その補正を行うために主に下記の三つの方式があり、所望の性能に応じて適宜選択・組み合わせればよい。
(1)機械補正式(Mechanical compensation);焦点面移動をカムによるレンズ群の非直線移動で補正
(2)光学補正式(Optical compensation);屈折力のバランスを計算してズーミングしても焦点面を一定に保つように設計段階から考慮
(3)電子補正式(Electronic compensation);焦点面移動の補正をカメラ側の自動焦点機能に依存
(Front surveillance camera)
The front monitoring camera 16 according to the present embodiment is a video camera having a zoom lens, and can improve the discrimination accuracy of an attribute of an object existing far away. Here, the zoom lens is a lens that can change a focal length by moving a predetermined group of lens groups. At that time, since the position of the focal plane usually changes, there are mainly the following three methods for performing the correction, and these may be appropriately selected and combined according to the desired performance.
(1) Mechanical compensation (Mechanical compensation); focal plane movement is compensated by non-linear movement of lens group by cam (2) Optical compensation (Optical compensation); focal plane even if zooming is performed by calculating the balance of refractive power (3) Electronic compensation; depends on the auto-focus function on the camera side to compensate for focal plane movement

(制御システム)
制御システム14は、画像処理ECU32と、配光制御ECU34と、GPSナビゲーションECU36と、車内LAN制御ECU38とを備える。各種ECUおよび各種車載センサは、車内LANバス40により接続されデータの送受信が可能になっている。画像処理ECU32は、前方監視カメラ16により取得された撮像画像のデータや各種車載センサに基づいて前方に存在する物体の属性を判別する。なお、画像処理ECU32内部は各部が高速バス42で接続されている。配光制御ECU34は、画像処理ECU32および各種車載センサの情報に基づいて、車両が置かれている走行環境に適した配光制御条件を決定し、その制御信号を前照灯ユニット12R,12Lに出力する。
(Control system)
The control system 14 includes an image processing ECU 32, a light distribution control ECU 34, a GPS navigation ECU 36, and an in-vehicle LAN control ECU 38. Various ECUs and various in-vehicle sensors are connected by an in-vehicle LAN bus 40 and can transmit and receive data. The image processing ECU 32 determines the attribute of the object existing ahead based on the data of the captured image acquired by the front monitoring camera 16 and various in-vehicle sensors. Note that the inside of the image processing ECU 32 is connected to each other by a high-speed bus 42. The light distribution control ECU 34 determines light distribution control conditions suitable for the traveling environment in which the vehicle is placed based on information from the image processing ECU 32 and various on-vehicle sensors, and sends the control signal to the headlamp units 12R and 12L. Output.

前照灯ユニット12R,12Lは、配光制御ECU34から出力された制御信号が光学部品の駆動装置や光源の点灯制御回路に入力されることで、配光が制御される。前方監視カメラ16は、CCDやCMOSなどの画像センサを備えた単眼ズームカメラであり、その画像データから運転に必要な道路線形情報、道路附属施設、対向車・先行車の存在状況や位置の情報などを、必要であれば他のレーダセンサなどと協調して取得する。   The headlamp units 12R and 12L are controlled in light distribution by the control signal output from the light distribution control ECU 34 being input to the optical device driving device and the lighting control circuit of the light source. The front monitoring camera 16 is a monocular zoom camera equipped with an image sensor such as a CCD or a CMOS, and information on road alignment information necessary for driving, information on road facilities, oncoming / preceding vehicles, and information on the position and position of the vehicle from the image data. Are obtained in cooperation with other radar sensors if necessary.

図7は、本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。物体属性の判別は、主に図6に示す画像処理ECU32で実行され、配光制御は、主に配光制御ECU34で実行される。   FIG. 7 is a flowchart showing a light distribution control method including object attribute discrimination processing according to the present embodiment. The discrimination of the object attribute is mainly executed by the image processing ECU 32 shown in FIG. 6, and the light distribution control is mainly executed by the light distribution control ECU 34.

所定のタイミングで処理が開始されると、各種車載センサ(ステアリングセンサ22、車速センサ24、照度センサ26)から出力されたデータが車内LANバス40を介して外部データ入力手段44で取得される(S10)。また、前方監視カメラ16で撮像した撮像画像の画像データが画像データ取得手段46で取得される(S12)。なお、前方監視カメラ16から出力される画像データは、モノクロ画像に対応していてもよいしカラー画像に対応していてもよい。   When the process is started at a predetermined timing, data output from various in-vehicle sensors (the steering sensor 22, the vehicle speed sensor 24, and the illuminance sensor 26) is acquired by the external data input unit 44 via the in-vehicle LAN bus 40 ( S10). Further, the image data of the captured image captured by the front monitoring camera 16 is acquired by the image data acquisition means 46 (S12). Note that the image data output from the front monitoring camera 16 may correspond to a monochrome image or a color image.

取得された画像データは、画像データ蓄積手段48においてRAMなどの記憶手段に一時的に記憶される(S14)。画像解析手段50は、画像データに含まれている濃度データに対して差分や微分、さらにはSOBEL演算を施すことにより周辺と濃度の異なる物体(例えば、ヘッドライトや道路照明などの発光体や、レーンマークやデリニエータなどの光反射体)の輪郭を抽出する、エッジ処理を行う(S18)。なお、エッジ処理の方法はこれらに限られず、公知の方法を適宜変形させて用いてもよい。   The acquired image data is temporarily stored in storage means such as RAM in the image data storage means 48 (S14). The image analysis means 50 performs difference or differentiation on the density data included in the image data, and further an object having a density different from that of the surroundings (for example, a light emitter such as a headlight or road lighting, Edge processing is performed to extract the contours of light reflectors such as lane marks and delineators (S18). Note that the edge processing method is not limited thereto, and a known method may be appropriately modified and used.

次に、濃度輝度変換手段52において画像の濃度データが輝度(明るさ)データに変換される(S20)。画像データの輝度への変換は、露光条件(撮像条件)下における画像濃度と車両前方の範囲の輝度との関係を求めておけば、露光条件を勘案して求めることができる。図8は、輝度と画像濃度Dとの関係を示すグラフの一例を示す図である。   Next, the density / luminance conversion means 52 converts the density data of the image into luminance (brightness) data (S20). The conversion of the image data into luminance can be obtained in consideration of the exposure conditions if the relationship between the image density under the exposure conditions (imaging conditions) and the luminance in the range ahead of the vehicle is obtained. FIG. 8 is a diagram showing an example of a graph showing the relationship between the luminance and the image density D. As shown in FIG.

画像解析手段50は、エッジ処理により輪郭が抽出された物体にレーンマーク(区画線)が存在しているか判定する(S22)。区画線がない場合、そのままでは路肩位置が求められない。そこで、区画線がないと判定された場合(S22のNo)、画像データに基づいてテクスチャ解析が行われる(S24)。テクスチャ解析とは、例えば規則的な濃淡変化を表す模様を数値化することであり、通常、路面と路肩の画像データを周波数(FFT)解析すると異なる周波数特性が得られる。   The image analysis means 50 determines whether a lane mark (partition line) exists in the object whose contour has been extracted by edge processing (S22). If there is no lane marking, the shoulder position cannot be obtained as it is. Therefore, when it is determined that there is no lane marking (No in S22), texture analysis is performed based on the image data (S24). Texture analysis is, for example, digitizing a pattern representing regular shading changes, and different frequency characteristics are usually obtained by frequency (FFT) analysis of road surface and shoulder image data.

図9は、路肩および路面の模様を模式的に示すとともに、両者の画像をテクスチャ解析した結果を示す図である。図に示すように、路面の画像は肌理が細かいため周波数の高い成分が多いが、草木や道路構築物の存在する路肩の画像は周波数成分が幅広く存在する。そこで、画像データの所定の領域の解析結果を、例えば、あらかじめ記憶されている路面の画像の周波数成分の分布と比較することで、区画線が存在しない場合であっても路肩位置が検出可能となる。つまり、路面に対応する周波数特性から異なる周波数特性に変化する位置が路肩位置として推定される。   FIG. 9 is a diagram schematically showing a road shoulder and a road surface pattern, and a result of texture analysis of both images. As shown in the figure, the road surface image has many fine components because of its fine texture, but the road shoulder image in which plants and road structures are present has a wide range of frequency components. Therefore, by comparing the analysis result of the predetermined area of the image data with, for example, the distribution of the frequency components of the road surface image stored in advance, the road shoulder position can be detected even when there is no lane marking. Become. That is, the position where the frequency characteristic corresponding to the road surface changes to a different frequency characteristic is estimated as the road shoulder position.

画像解析手段50は、上述の区画線の検出あるいはテクスチャ解析を含む画像解析結果から、道路の車線幅、路肩位置、道路の形状、消失点の位置など道路の形状と相関のある情報を算出し、道路形状を推定する(S26)。図10(a)は、直線路(実線)に対して左右にカーブしている曲路(点線)を示す図であり、図10(b)は、直線路(実線)に対して上り下りしている曲路(点線)を示す図であり、図10(c)は、図10(b)の曲路を車両が走行中の様子を側方から見た模式図である。なお、雨天のように区画線が検出不能な場合や、道路の形状が曲路(左右カーブや上り下り)の場合には、図10に示すように、消失点を算出することができない。そこで、このような場合には、舵角データやGPSからのデータに基づいて、仮想の消失点を算出してもよい。なお、本実施の形態では、画像解析手段50が道路形状推定手段として機能する。   The image analysis means 50 calculates information correlated with the road shape such as the road lane width, the shoulder position, the road shape, and the vanishing point position from the image analysis result including the lane marking detection or the texture analysis described above. The road shape is estimated (S26). FIG. 10A is a diagram showing a curved path (dotted line) that is curved to the left and right with respect to the straight road (solid line), and FIG. FIG. 10C is a schematic view of the vehicle traveling along the curved path in FIG. 10B as viewed from the side. In addition, when the lane marking cannot be detected as in rainy weather, or when the road shape is a curved road (left / right curve or up / down), the vanishing point cannot be calculated as shown in FIG. Therefore, in such a case, a virtual vanishing point may be calculated based on the steering angle data or the data from the GPS. In the present embodiment, the image analysis unit 50 functions as a road shape estimation unit.

道路形状が推定された後、光輝物体、例えば発光体や光反射体の位置を検出する。具体的には、光輝物体検出手段54は、S20の処理における濃度輝度変換で所定の輝度(例えば、レーンマークに対応する輝度)以上の物体を光輝物体として抽出し、その位置を検出する(S28)。   After the road shape is estimated, the position of a bright object such as a light emitter or a light reflector is detected. Specifically, the bright object detection means 54 extracts an object having a predetermined luminance (for example, luminance corresponding to the lane mark) or higher as the bright object by the density luminance conversion in the process of S20, and detects its position (S28). ).

次に、動画のように時系列で連続的に取得される画像データの解析により光輝物体の属性を判定する。はじめに、前回の画像解析処理において内部メモリ56に記憶された光輝物体の位置や物体の候補などの画像特性のデータと、現在の画像特性のデータとがOF算出手段58により取得される(S30)。   Next, the attribute of the bright object is determined by analyzing image data that is continuously acquired in time series like a moving image. First, the OF calculation means 58 acquires image characteristic data such as the position of a bright object and object candidates stored in the internal memory 56 in the previous image analysis process, and the current image characteristic data (S30). .

OF算出手段58は、異なる時間に取得した複数の撮像画像の画像特性データに基づいて、各光輝物体にOFが発生しているか否かを検出する(S32)。具体的には、OF算出手段58は、取得した車両前方の撮像画像の輝度データに基づいて、発光体又は光反射体として車両前方に存在する光輝物体のOFを算出する。そして、物体属性判別手段60は、OF算出手段58により算出されたOFに基づいて物体の属性を判別する(S34)。なお、S34における物体属性判別方法については後述する。   The OF calculation means 58 detects whether OF has occurred in each bright object based on the image characteristic data of a plurality of captured images acquired at different times (S32). Specifically, the OF calculation unit 58 calculates the OF of the bright object existing in front of the vehicle as a light emitter or light reflector based on the acquired luminance data of the captured image in front of the vehicle. Then, the object attribute determination unit 60 determines the attribute of the object based on the OF calculated by the OF calculation unit 58 (S34). The object attribute discrimination method in S34 will be described later.

物体の属性が判別されると、現在の画像特性データが内部メモリ56に記憶される(S36)。具体的には、OF検出のために必要な光輝物体の位置、属性、OFのベクトルなどである。このデータは次回の画像処理におけるOFの算出に用いられる。   When the attribute of the object is determined, the current image characteristic data is stored in the internal memory 56 (S36). Specifically, the position and attribute of the bright object necessary for the OF detection, the OF vector, and the like. This data is used for calculation of OF in the next image processing.

物体属性判別手段60により判別された各物体の属性データや道路形状などのデータが内部データ出力手段62から出力される(S38)。また、倍率制御手段として機能するカメラ制御手段63は、各物体の属性や道路形状などのデータ、車速センサ24から取得した車速情報に基づいて、前方監視カメラ16のズームレンズの焦点距離の調整を行い、光学倍率を制御する(S39)。出力されたデータは車内LANバス40を介して配光制御ECU34に入力され、そのデータに含まれる物体の属性や自車両の走行状態、天候条件などに基づいて配光制御条件が決定される(S40)。そして、配光制御ECU34は、決定された配光制御条件に基づいて前照灯ユニット12R,12L内に設けられている光源や駆動源へ制御信号を出力し配光を制御する(S42)。   The attribute data and road shape data of each object determined by the object attribute determining means 60 are output from the internal data output means 62 (S38). The camera control means 63 functioning as a magnification control means adjusts the focal length of the zoom lens of the front monitoring camera 16 based on data such as the attributes and road shapes of each object and vehicle speed information acquired from the vehicle speed sensor 24. The optical magnification is controlled (S39). The output data is input to the light distribution control ECU 34 via the in-vehicle LAN bus 40, and the light distribution control conditions are determined based on the attribute of the object, the traveling state of the host vehicle, the weather conditions, and the like included in the data ( S40). Then, the light distribution control ECU 34 controls the light distribution by outputting a control signal to the light sources and drive sources provided in the headlamp units 12R and 12L based on the determined light distribution control condition (S42).

したがって、本実施の形態に係る車両用前照灯装置110は、自車両前方の広い範囲にわたって路面状況や存在する物体を精度良く判別することができる。例えば、自車両前方の遠方に存在する物体に対しても、前方監視カメラ16のズームレンズの光学倍率を制御することで、物体の属性の判別精度を向上することができる。また、車速によって事故回避や予防安全の観点から運転者が注視する前方距離や予見時間は異なる。そこで、車両用前照灯装置110は、車速に応じてズームレンズの光学倍率が制御されるので、運転者に特段の操作負担をかけることなく、運転者が注視する視野範囲に存在する物体の属性の判別精度を向上することができる。   Therefore, the vehicle headlamp device 110 according to the present embodiment can accurately determine road surface conditions and existing objects over a wide range in front of the host vehicle. For example, it is possible to improve the accuracy of determining the attribute of an object by controlling the optical magnification of the zoom lens of the front monitoring camera 16 even for an object that exists far in front of the host vehicle. Further, the forward distance and foreseeing time that the driver pays attention to from the viewpoints of accident avoidance and preventive safety differ depending on the vehicle speed. Therefore, the vehicle headlamp device 110 controls the optical magnification of the zoom lens in accordance with the vehicle speed, so that an object existing in the visual field range that the driver gazes without placing a special operation burden on the driver. Attribute discrimination accuracy can be improved.

また、配光制御ECU34は、ズームレンズの光学倍率の増加に応じて、前方監視カメラ16の撮影範囲を明るくするように前照灯ユニット12R,12Lの配光を制御する。これにより、光学倍率の増加に伴う撮影範囲の光量不足が補われ、遠方における物体の属性の判別精度が低下することが抑制される。   Further, the light distribution control ECU 34 controls the light distribution of the headlamp units 12R and 12L so that the photographing range of the front monitoring camera 16 is brightened according to the increase in the optical magnification of the zoom lens. As a result, the shortage of the light amount in the photographing range accompanying the increase in the optical magnification is compensated, and it is suppressed that the accuracy of determining the attribute of the object in the distance is lowered.

ここで、カメラ制御手段63は、車速が60km/hより低い場合にはズームレンズを低倍率(等倍)に制御し、車速が60km/h以上であって120km/hより低い場合には車速に応じてズームレンズの倍率を変化させ、車速が120km/h以上の場合にはズームレンズを高倍率(10倍程度)に制御する。これにより、車速に応じた適切な光学倍率の選択を簡易な制御で実現することができる。また、高速走行時のように事故回避や予防安全の観点から遠方の物体や状況を検出する必要がある場合には、このような制御により、自車両より500m遠方に存在する前走車を検出することができる。   Here, the camera control means 63 controls the zoom lens at a low magnification (equal magnification) when the vehicle speed is lower than 60 km / h, and the vehicle speed when the vehicle speed is 60 km / h or higher and lower than 120 km / h. The zoom lens magnification is changed according to the above, and when the vehicle speed is 120 km / h or higher, the zoom lens is controlled to a high magnification (about 10 times). Thereby, selection of an appropriate optical magnification according to the vehicle speed can be realized by simple control. In addition, when it is necessary to detect distant objects and situations from the viewpoint of accident avoidance and preventive safety, such as when driving at high speeds, it is possible to detect a preceding vehicle that is 500 meters away from the host vehicle by such control. can do.

また、カメラ制御手段63は、車速に応じた所定の予見時間後に車両が到達する範囲に、視野範囲(焦点)が合うようにズームレンズの倍率を制御してもよい。具体的には、時速60km/hにおける予見時間PD1を1秒(16.6m)とし、時速120km/hにおける予見時間PD2を5秒(166m)とする。その間の車速はこの予見時間PDに応じた距離と車速の線形関数から決定するとよい。つまり、自車両が60km/hで走行している場合には、カメラ制御手段63は、自車両の前方16.6m近傍に視野範囲(焦点)があうようにズームレンズの光学倍率を制御する。これにより、予見時間後に車両が到達する範囲に存在する物体の属性の判別精度が向上し、事故回避や予防安全等の観点から運転者の操作の補助が可能となる。   Further, the camera control means 63 may control the magnification of the zoom lens so that the visual field range (focus) is in a range where the vehicle reaches after a predetermined prediction time corresponding to the vehicle speed. Specifically, the prediction time PD1 at 60 km / h is 1 second (16.6 m), and the prediction time PD2 at 120 km / h is 5 seconds (166 m). The vehicle speed during that time may be determined from a linear function of the distance and the vehicle speed according to the prediction time PD. That is, when the host vehicle is traveling at 60 km / h, the camera control means 63 controls the optical magnification of the zoom lens so that the visual field range (focus) is in the vicinity of 16.6 m ahead of the host vehicle. As a result, the accuracy of determining the attributes of objects existing in the range reached by the vehicle after the prediction time is improved, and the driver's operation can be assisted from the viewpoints of accident avoidance and preventive safety.

また、車線維持制御においては、近距離の位置におけるレーンマークの検出が最も重要である。これを確実にするためには、視野画面内下側(近距離)のレーンマークを明るく照明する必要がある。そこで、配光制御ECU34は、車両近傍の路面から所定の予見時間後に車両が到達する路面までの範囲を照射するように前照灯ユニット12R,12Lの配光を制御してもよい。これにより、前方監視カメラ16による撮像画像の画面視野の下側位置を含む範囲を明るく照らすことができ、予見時間後に車両が到達する範囲までに存在する物体、特にレーンマークの識別が容易となる。   In lane keeping control, detection of lane marks at a short distance is the most important. In order to ensure this, it is necessary to brightly illuminate the lane mark on the lower side (near distance) in the visual field screen. Therefore, the light distribution control ECU 34 may control the light distribution of the headlamp units 12R and 12L so as to irradiate the range from the road surface near the vehicle to the road surface reached by the vehicle after a predetermined prediction time. This makes it possible to brightly illuminate a range including the lower position of the screen field of the image captured by the front monitoring camera 16, and it becomes easy to identify an object, particularly a lane mark, existing up to a range reached by the vehicle after the preview time. .

(物体属性判別方法)
次に、物体属性判別処理を行うステップS34について図3を参照して詳述する。図3に示すように、道路上を走行中の車両の前方には様々な物体が存在する。そのような状況下において夜間を走行中の車両の前方監視カメラ16が光輝物体として識別する物体としては、以下のものがある。
(Object attribute discrimination method)
Next, step S34 for performing object attribute discrimination processing will be described in detail with reference to FIG. As shown in FIG. 3, there are various objects ahead of the vehicle traveling on the road. Under such circumstances, there are the following objects that the front monitoring camera 16 of the vehicle traveling at night identifies as a bright object.

はじめに、夜間において走行中の対向車のHL(ヘッドライト)、先行車のTL(テールライト)が挙げられる。このようなライトは通常左右一対のペアライトとして存在するとともに、図3に示す水平線Hより下方に位置する。また、OFの大きさは物体が先行車の場合に小さくなり、対向車の場合に大きくなる。   First, HL (headlight) of an oncoming vehicle traveling at night and TL (taillight) of a preceding vehicle may be mentioned. Such lights normally exist as a pair of left and right pair lights and are positioned below the horizontal line H shown in FIG. In addition, the size of OF decreases when the object is a preceding vehicle, and increases when the object is an oncoming vehicle.

次に、道路照明70やデリニエータ72が挙げられる。これらの固定物は、通常設置基準が規定されており、例えば道路照明は路面より10m以上、つまり水平線Hより上方に存在する(図3参照)。一方、デリニエータ72は、ガードレール上端部に設置されており、水平線Hより下方に存在する。また、OFの大きさは物体が固定物であれば自車両の車速および物体と自車両との距離に応じた値となる。   Next, the road lighting 70 and the delineator 72 are mentioned. For these fixed objects, a normal installation standard is defined. For example, road illumination is 10 m or more from the road surface, that is, above the horizontal line H (see FIG. 3). On the other hand, the delineator 72 is installed at the upper end of the guardrail and is present below the horizontal line H. Further, if the object is a fixed object, the size of OF is a value corresponding to the vehicle speed of the host vehicle and the distance between the object and the host vehicle.

上述の物体以外にも、店舗照明、広告ネオンサイン、カーブサインなどが光輝物体として検出されうる。店舗照明や広告ネオンサインは、ランダムに存在する固定物体であり、道路照明やデリニエータのように配置されている位置に規則性がないため、この点を考慮した画像解析をすることで道路照明等の固定物と判別することができる。また、カーブサインは、その設置位置がデリニエータとほぼ同じ高さであるためデリニエータとの弁別は困難であるが、カーブサインをデリニエータと誤認しても配光制御に与える影響はないため、画像解析において特段の考慮は必要とされない。   In addition to the objects described above, store lighting, advertisement neon signs, curve signs, and the like can be detected as bright objects. Store lighting and advertising neon signs are fixed objects that exist at random, and there is no regularity in the positions of road lights and delineators, so road lighting etc. Can be identified as a fixed object. In addition, it is difficult to discriminate the curve sign from the delineator because the installation position is almost the same height as the delineator. However, misidentification of the curve sign as a delineator has no effect on the light distribution control. However, no special consideration is required.

本実施の形態に係る物体判別方法は、以上のような物体の存在を前提に行われる。図11は、本実施の形態に係る物体判別方法を示すフローチャートである。まず、物体属性判別手段60は、検出されたOFに基づいて光輝物体の位置やOFのベクトルを算出する(S100)。次に、物体属性判別手段60は、OFベクトルや前述の消失点の情報に基づいて物体の相対速度V1を算出する(S102)とともに、車速センサからその時の自車両速度V2を検出する(S104)。   The object discrimination method according to the present embodiment is performed on the premise of the existence of the object as described above. FIG. 11 is a flowchart showing the object discrimination method according to the present embodiment. First, the object attribute discrimination means 60 calculates the position of the bright object and the OF vector based on the detected OF (S100). Next, the object attribute discriminating means 60 calculates the relative speed V1 of the object based on the OF vector and the vanishing point information (S102) and detects the current vehicle speed V2 from the vehicle speed sensor (S104). .

相対速度V1と自車両速度V2とが画像解析における算出誤差やセンサの検出誤差を考慮しても実質的に等しい場合(S106のYes)、物体は固定物と判別される(S108)。物体属性判別手段60は、更に物体が存在する位置が水平線より上方か否かを判定(S110)し、物体の位置が水平線より上方の場合(S110のYes)はその物体は道路照明であると判別し(S112)、物体の位置が水平線より下方の場合(S110のNo)はその物体はデリニエータであると判別する(S114)。   If the relative speed V1 and the host vehicle speed V2 are substantially equal even if the calculation error in the image analysis and the detection error of the sensor are taken into consideration (Yes in S106), the object is determined as a fixed object (S108). The object attribute determination means 60 further determines whether or not the position where the object exists is above the horizon (S110). If the position of the object is above the horizon (Yes in S110), the object is road illumination. If it is determined (S112) and the position of the object is below the horizontal line (No in S110), it is determined that the object is a delineator (S114).

物体に対する相対速度V1と自車両速度V2とが異なる場合(S106のNo)、物体は固定物ではなく移動体であると推測される。そこで、物体が自車両に近付く場合の相対速度V1を正として、相対速度V1が自車両速度V2より大きいか否かが判定される(S116)。物体属性判別手段60は、相対速度V1が自車両速度V2より大きい場合(S116のYes)はその物体は対向車であると判別し(S118)、相対速度V1が自車両速度V2より小さい場合(S118のNo)はその物体は先行車であると判別する(S120)。   When the relative speed V1 with respect to the object and the host vehicle speed V2 are different (No in S106), it is estimated that the object is not a fixed object but a moving body. Therefore, it is determined whether the relative speed V1 when the object approaches the host vehicle is positive and the relative speed V1 is higher than the host vehicle speed V2 (S116). The object attribute determination means 60 determines that the object is an oncoming vehicle if the relative speed V1 is greater than the host vehicle speed V2 (Yes in S116) (S118), and if the relative speed V1 is less than the host vehicle speed V2 ( In S118, it is determined that the object is a preceding vehicle (S120).

その後、判別された物体の属性は物体ごとに記憶され(S122)、画像データにおけるすべての物体の判別が終了しているかが判定される(S124)。全(すべ)ての物体が判別されていない場合(S124のNo)、S100の処理に戻る。全(すべ)ての物体が判別されている場合(S124のYes)、一連の処理を一度終了する。   Thereafter, the attribute of the determined object is stored for each object (S122), and it is determined whether the determination of all objects in the image data has been completed (S124). When all (all) objects have not been determined (No in S124), the process returns to S100. When all (all) objects have been determined (Yes in S124), the series of processes is once ended.

なお、OFベクトルや物体の位置の情報に基づく上述の物体判別処理において、ステップS26で算出された道路形状の情報や、GPSナビゲーションECU36から取得した現在走行している道路の特性情報(高速道路などの道路種別、車線数、市街地か郊外か、など)を加味することで、店舗照明、広告ネオンサイン、カーブサインなどの判別精度が向上する。   In the above-described object discrimination processing based on the OF vector and the object position information, the road shape information calculated in step S26 and the characteristic information (highway, etc.) of the currently traveling road acquired from the GPS navigation ECU 36 are used. The road type, the number of lanes, whether it is an urban area or a suburb, etc.), the discrimination accuracy of store lighting, advertisement neon signs, curve signs, etc. is improved.

また、前方監視カメラ16は、光輝物体の色の判別が可能なカラーカメラであるとよい。このようなカラーカメラであれば、センサの光輝物体の位置に対応するR(赤)素子とB(青)素子の出力比を算出することで、ノイズ光の多い市街地における先行車、対向車、交通信号、道路照明、店舗照明などの判別がしやすくなる。   The front monitoring camera 16 may be a color camera that can determine the color of a bright object. In such a color camera, by calculating the output ratio of the R (red) element and B (blue) element corresponding to the position of the bright object of the sensor, the preceding vehicle, oncoming vehicle, It becomes easy to distinguish traffic signals, road lighting, store lighting, and the like.

また、画像データのうち、テールライトTL(先行車、赤色)の位置に対応するセンサのR素子とB素子の出力比R/B(TL)と、ヘッドライトHL(対向車、白色)の位置に対応するセンサR素子とB素子の出力比R/B(HL)とを比較すると、R/B(TL)>>R/B(HL)の関係がある。そこで、各色の光に対するR/Bを実験やシミュレーションで事前に求めておくことで、先行車と対向車との判別精度の向上が可能となる。特に、先行車と対向車の位置が交錯しやすい曲路においての判別精度の向上に寄与する。   In the image data, the output ratio R / B (TL) of the R element and B element of the sensor corresponding to the position of the taillight TL (leading vehicle, red), and the position of the headlight HL (oncoming vehicle, white) When the output ratio R / B (HL) of the sensor R element and the B element corresponding to is compared, there is a relationship of R / B (TL) >> R / B (HL). Therefore, by determining the R / B for each color light in advance through experiments and simulations, it is possible to improve the discrimination accuracy between the preceding vehicle and the oncoming vehicle. In particular, this contributes to an improvement in discrimination accuracy on a curved road where the positions of the preceding vehicle and the oncoming vehicle easily cross.

上述したように、本実施の形態に係る制御システム14は、取得した撮像画像に基づいて物体を判別することができるため、ドライバに特段の操作負担をかけることなく物体の属性に応じた適切な配光制御が可能となる。配光制御ECU34は、画像処理ECU32から取得したデータに基づいて、例えば、車両前方に光輝物体が存在していないと判断する場合には自動的に前照灯ユニットの配光をハイビームにするとともに、光輝物体として対向車や先行車が存在していると判断する場合には自動的に前照灯ユニットの配光をロービームにするというような配光制御が可能となる。   As described above, the control system 14 according to the present embodiment can discriminate an object based on the acquired captured image. Therefore, an appropriate operation according to the attribute of the object can be performed without imposing a special operation burden on the driver. Light distribution control is possible. Based on the data acquired from the image processing ECU 32, for example, the light distribution control ECU 34 automatically sets the light distribution of the headlamp unit to a high beam when determining that there is no bright object in front of the vehicle. When it is determined that an oncoming vehicle or a preceding vehicle exists as a bright object, it is possible to perform light distribution control such that the light distribution of the headlamp unit is automatically changed to a low beam.

また、配光制御ECU34は、従来では対向車や先行車と判別できなかった道路照明やデリニエータしか存在しないと判断した場合には、前照灯ユニットの配光をハイビームの状態に維持することで、前照灯ユニットの照明能力をより有効に活用することができる。   Also, if the light distribution control ECU 34 determines that there are only road illuminations and delineators that could not be identified as oncoming vehicles or preceding vehicles, the light distribution control ECU 34 maintains the light distribution of the headlamp unit in a high beam state. Thus, the lighting capacity of the headlamp unit can be utilized more effectively.

また、画像処理ECU32は、車両前方の道路形状を推定する画像解析手段50を備えているため、物体のOFおよび道路形状に基づいて、物体の属性を判別することが可能となり、道路形状が曲線路や屈曲路であっても物体の属性を精度良く判別することができる。   Further, since the image processing ECU 32 includes the image analysis means 50 for estimating the road shape in front of the vehicle, the attribute of the object can be determined based on the OF and the road shape of the object, and the road shape is curved. Even on a road or a curved road, it is possible to accurately determine the attribute of the object.

また、物体属性判別手段60は、物体のOFから推定される自車両と物体との相対速度V1と、自車両速度V2とを比較することでその物体の属性を判別することができるため、物体の属性を更に詳細に判別することができるため、より適切な配光制御が可能となる。   The object attribute determining means 60 can determine the attribute of the object by comparing the relative speed V1 between the host vehicle and the object estimated from the OF of the object and the host vehicle speed V2. Therefore, more appropriate light distribution control can be performed.

具体的には、相対速度V1と自車両速度V2とを比較することで、物体の属性が道路に対する固定物であるか移動体であるかが判別される。これにより、物体属性判別手段60は、例えば、物体との相対速度V1がほぼ自車両速度V2とほぼ等しい場合には、その物体が道路照明やデリニエータなどの固定物であると判別し、物体との相対速度V1が自車両速度V2と異なる場合には、その物体が対向車や先行車などの移動体であると判別することができる。   Specifically, by comparing the relative speed V1 and the host vehicle speed V2, it is determined whether the attribute of the object is a fixed object or a moving object with respect to the road. Thereby, for example, when the relative speed V1 with respect to the object is substantially equal to the own vehicle speed V2, the object attribute determination means 60 determines that the object is a fixed object such as road illumination or a delineator, When the relative speed V1 of the vehicle is different from the own vehicle speed V2, it can be determined that the object is a moving body such as an oncoming vehicle or a preceding vehicle.

また、物体属性判別手段60は、物体の位置やOFが撮像画像の上下方向のどこに存在するかによって、その物体の属性が道路照明であるかデリニエータであるかを判別することができる。   Further, the object attribute determination means 60 can determine whether the attribute of the object is road illumination or a delineator depending on the position of the object or where the OF is in the vertical direction of the captured image.

また、画像解析手段50は、車両前方の撮像画像に対する高速フーリエ変換によるテクスチャ解析によって道路の路肩位置を推定することができるため、例えば、レーンマークがない路面であっても、路面と路肩部との判別が可能となり、このような路面を走行中の車両が備える制御システム14であっても物体の属性を精度良く判別することができる。   Further, since the image analysis means 50 can estimate the road shoulder position of the road by texture analysis by fast Fourier transform with respect to the captured image in front of the vehicle, for example, even if the road surface has no lane mark, the road surface and the road shoulder portion. Even if the control system 14 is provided in a vehicle traveling on such a road surface, it is possible to accurately determine the attribute of the object.

本実施の形態に係る前照灯制御装置としての制御システム14およびそれを備えた車両用前照灯装置110によれば、特に夜間の交通視環境(照明状況、対向車状況)に応じて詳細な配光制御が可能となり、交通事故防止に貢献できる。また、本実施の形態に係る制御システム14は、複数のカメラを用いたり複雑な機構のカメラを用いたりせずに、単眼カメラを用いることで光輝物体の属性を判別することができるため、システム全体のコストの低減が可能となる。   According to the control system 14 as the headlight control device and the vehicle headlight device 110 having the headlight control device according to the present embodiment, the details are particularly according to the nighttime traffic viewing environment (lighting conditions, oncoming vehicle conditions). Light distribution control is possible, contributing to the prevention of traffic accidents. In addition, the control system 14 according to the present embodiment can determine the attribute of a bright object by using a monocular camera without using a plurality of cameras or a camera having a complicated mechanism. The overall cost can be reduced.

本実施の形態に係る車両用前照灯装置110は、上述の手法により判別された物体の属性に基づいて以下の制御を行うことができる。例えば、カメラ制御手段63は、画像処理ECU32により判別された物体に前走車が含まれていない場合には、車速が120km/h(通常は光学倍率が高倍率に設定される第1の車速)より低速な所定の車速以上のときにズームレンズを高倍率に制御する。これにより、判別された物体に前走車が含まれておらず自車両の近距離の物体の識別が重要でない状況では、車速がより低い段階からズームレンズを高倍率にすることで、自車両から遠方に存在する物体の属性の判別精度を高めることができる。   The vehicle headlamp device 110 according to the present embodiment can perform the following control based on the attribute of the object determined by the above-described method. For example, when the object determined by the image processing ECU 32 does not include a preceding vehicle, the camera control unit 63 sets the vehicle speed to 120 km / h (usually the first vehicle speed at which the optical magnification is set to a high magnification). ) Control the zoom lens at a high magnification when the vehicle speed is higher than a predetermined vehicle speed. As a result, in a situation where the identified object does not include a preceding vehicle and it is not important to identify an object at a short distance from the host vehicle, the zoom lens is set to a higher magnification from a lower vehicle speed to It is possible to improve the discrimination accuracy of the attribute of an object existing far away from the object.

一方、車両前方の明るさが所定値以上の場合、カメラ制御手段63は、車速にかかわらずズームレンズを低倍率に制御してもよい。これにより、例えば、車両前方の明るさが所定値以上である市街地を走行しているような場合、自車両に近い範囲に存在する物体の識別が重要となるため、車速にかかわらずズームレンズを低倍率にすることで、前方監視カメラ16の撮影範囲を広範囲にすることができる。この際、画像処理ECU32は、前方監視カメラ16が備える撮像素子の出力のうちG素子の出力に基づいて車両前方の明るさを算出してもよい。これにより、簡単な演算処理により車両前方の明るさを算出することができる。   On the other hand, when the brightness in front of the vehicle is greater than or equal to a predetermined value, the camera control means 63 may control the zoom lens to a low magnification regardless of the vehicle speed. As a result, for example, when driving in an urban area where the brightness in front of the vehicle is equal to or greater than a predetermined value, it is important to identify an object existing in a range close to the host vehicle. By making the magnification low, the photographing range of the front monitoring camera 16 can be widened. At this time, the image processing ECU 32 may calculate the brightness in front of the vehicle based on the output of the G element among the outputs of the imaging element included in the front monitoring camera 16. Thereby, the brightness ahead of the vehicle can be calculated by a simple calculation process.

以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、実施の形態の構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。また、当業者の知識に基づいて実施の形態における組合せや処理の順番を適宜組み替えることや各種の設計変更等の変形を実施の形態に対して加えることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。   As described above, the present invention has been described with reference to the above-described embodiment. However, the present invention is not limited to the above-described embodiment, and the present invention can be appropriately combined or replaced with the configuration of the embodiment. It is included in the present invention. In addition, it is possible to appropriately change the combination and processing order in the embodiment based on the knowledge of those skilled in the art and to add various modifications such as various design changes to the embodiment. The described embodiments can also be included in the scope of the present invention.

直線路(一車線幅3.5m)における路上配置の模式図である。It is a schematic diagram of arrangement | positioning on a road in a straight road (one lane width 3.5m). 曲線半径150mの曲路(車速60km/hにおける道路設計上の旋回半径)における路上配置図である。It is a road arrangement | positioning figure in the curved road (turning radius on the road design in the vehicle speed of 60 km / h) of the curve radius 150m. 画像センサから見た夜間直線路における発光物体の位置を示した図である。It is the figure which showed the position of the light emission object in the night straight road seen from the image sensor. 高速道路の直線路における消失点とオプティカルフローの関係を模式的に示した図である。It is the figure which showed typically the relationship between the vanishing point in the straight road of an expressway, and an optical flow. 本実施の形態に係る車両用前照灯装置を適用した車両の外観を示す概略図である。It is the schematic which shows the external appearance of the vehicle to which the vehicle headlamp apparatus which concerns on this Embodiment is applied. 本実施の形態に係る車両用前照灯装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the vehicle headlamp apparatus which concerns on this Embodiment. 本実施の形態に係る物体属性判別処理を含む配光制御方法を示すフローチャートである。It is a flowchart which shows the light distribution control method containing the object attribute discrimination | determination process based on this Embodiment. 輝度と画像濃度Dとの関係を示すグラフの一例を示す図である。It is a figure which shows an example of the graph which shows the relationship between a brightness | luminance and the image density D. FIG. 路肩および路面の模様を模式的に示すとともに、両者の画像をテクスチャ解析した結果を示す図である。It is a figure which shows the result of having analyzed the texture of both images typically while showing the pattern of a road shoulder and a road surface. 図10(a)は、直線路(実線)に対して左右にカーブしている曲路(点線)を示す図であり、図10(b)は、直線路(実線)に対して上り下りしている曲路(点線)を示す図であり、図10(c)は、図10(b)の曲路を車両が走行中の様子を側方から見た模式図である。FIG. 10A is a diagram showing a curved road (dotted line) that is curved to the left and right with respect to the straight road (solid line), and FIG. 10B is an ascending / descending direction with respect to the straight road (solid line). FIG. 10C is a schematic view of the vehicle traveling along the curved path in FIG. 10B as viewed from the side. 本実施の形態に係る物体判別方法を示すフローチャートである。It is a flowchart which shows the object discrimination method which concerns on this Embodiment.

符号の説明Explanation of symbols

10 車両、 12 前照灯装置、 12R 前照灯ユニット、 14 制御システム、 16 前方監視カメラ、 18 アンテナ、 20 ステアリングホイール、 22 ステアリングセンサ、 24 車速センサ、 26 照度センサ、 32 画像処理ECU、 34 配光制御ECU、 36 GPSナビゲーションECU、 38 車内LAN制御ECU、 40 車内LANバス、 42 高速バス、 44 外部データ入力手段、 46 画像データ取得手段、 48 画像データ蓄積手段、 50 画像解析手段、 52 濃度輝度変換手段、 54 光輝物体検出手段、 56 内部メモリ、 58 OF算出手段、 60 物体属性判別手段、 62 内部データ出力手段、 63 カメラ制御手段、 70 道路照明、 72 デリニエータ、 110 車両用前照灯装置。   DESCRIPTION OF SYMBOLS 10 Vehicle, 12 Headlamp device, 12R Headlamp unit, 14 Control system, 16 Front monitoring camera, 18 Antenna, 20 Steering wheel, 22 Steering sensor, 24 Vehicle speed sensor, 26 Illuminance sensor, 32 Image processing ECU, 34 Arrangement Light control ECU, 36 GPS navigation ECU, 38 In-vehicle LAN control ECU, 40 In-vehicle LAN bus, 42 High-speed bus, 44 External data input means, 46 Image data acquisition means, 48 Image data storage means, 50 Image analysis means, 52 Density luminance Conversion means 54 Bright object detection means 56 Internal memory 58 OF calculation means 60 Object attribute determination means 62 Internal data output means 63 Camera control means 70 Road illumination 72 Delineator 110 Car Dual-use headlamp device.

Claims (10)

ズームレンズを有するビデオカメラと、
前記ビデオカメラによって撮影された車両前方の画像情報を取得し、その画像情報に基づいて車両前方に存在する物体の属性を判別する画像処理手段と、
取得した自車両の車速情報に基づいて前記ズームレンズの光学倍率を制御する倍率制御手段と、
車両前方を照明する前照灯ユニットと、
前記物体の属性に応じて前記前照灯ユニットの配光を制御する配光制御手段と、
を備えることを特徴とする車両用前照灯装置。
A video camera having a zoom lens;
Image processing means for acquiring image information in front of the vehicle photographed by the video camera, and determining an attribute of an object existing in front of the vehicle based on the image information;
Magnification control means for controlling the optical magnification of the zoom lens based on the acquired vehicle speed information of the host vehicle;
A headlamp unit that illuminates the front of the vehicle;
Light distribution control means for controlling the light distribution of the headlamp unit according to the attribute of the object;
A vehicle headlamp device comprising:
前記配光制御手段は、前記ズームレンズの光学倍率の増加に応じて、前記ビデオカメラの撮影範囲を明るくするように前記前照灯ユニットの配光を制御することを特徴とする請求項1に記載の車両用前照灯装置。   The light distribution control means controls the light distribution of the headlight unit so as to brighten the photographing range of the video camera in accordance with an increase in optical magnification of the zoom lens. The vehicle headlamp device described. 前記倍率制御手段は、
車速が所定の第1の車速より低い場合には前記ズームレンズを低倍率に制御し、
車速が所定の第1の車速以上であって所定の第1の車速より速い所定の第2の車速より低い場合には車速に応じて前記ズームレンズの倍率を変化させ、
車速が所定の第2の車速以上の場合には前記ズームレンズを高倍率に制御する、
ことを特徴とする請求項1または2に記載の車両用前照灯装置。
The magnification control means includes
When the vehicle speed is lower than a predetermined first vehicle speed, the zoom lens is controlled to a low magnification,
When the vehicle speed is lower than a predetermined second vehicle speed that is higher than the predetermined first vehicle speed and higher than the predetermined first vehicle speed, the magnification of the zoom lens is changed according to the vehicle speed,
When the vehicle speed is equal to or higher than a predetermined second vehicle speed, the zoom lens is controlled at a high magnification.
The vehicle headlamp device according to claim 1 or 2, wherein
前記倍率制御手段は、前記画像処理手段により判別された物体に前走車が含まれていない場合には、前記第2の車速より低速な第3の車速以上のときに前記ズームレンズを高倍率に制御することを特徴とする請求項3に記載の車両用前照灯装置。   When the object determined by the image processing unit does not include a preceding vehicle, the magnification control unit sets the zoom lens to a high magnification when the vehicle speed is equal to or higher than a third vehicle speed that is lower than the second vehicle speed. The vehicle headlamp device according to claim 3, wherein the vehicle headlamp device is controlled as follows. 前記倍率制御手段は、車両前方の明るさが所定値以上の場合、車速にかかわらず前記ズームレンズを低倍率に制御することを特徴とする請求項3または4に記載の車両用前照灯装置。   5. The vehicle headlamp device according to claim 3, wherein the magnification control unit controls the zoom lens to a low magnification regardless of a vehicle speed when the brightness in front of the vehicle is equal to or greater than a predetermined value. . 前記画像処理手段は、前記ビデオカメラが備える撮像素子の出力のうちG出力に基づいて車両前方の明るさを算出することを特徴とする請求項5に記載の車両用前照灯装置。   The vehicle headlamp device according to claim 5, wherein the image processing unit calculates a brightness in front of the vehicle based on a G output among outputs of an image sensor provided in the video camera. 前記倍率制御手段は、前記車速に応じた所定の予見時間後に車両が到達する範囲に、視野範囲が合うように前記ズームレンズの倍率を制御することを特徴とする請求項3乃至6のいずれかに記載の車両用前照灯装置。   7. The magnification control unit controls the magnification of the zoom lens so that a field of view range matches a range that the vehicle reaches after a predetermined prediction time corresponding to the vehicle speed. The vehicle headlamp device described in 1. 前記配光制御手段は、車両近傍の路面から前記所定の予見時間後に車両が到達する路面までの範囲を照射するように前記前照灯ユニットの配光を制御することを特徴とする請求項7に記載の車両用前照灯装置。   The light distribution control means controls the light distribution of the headlamp unit so as to irradiate a range from a road surface in the vicinity of the vehicle to a road surface reached by the vehicle after the predetermined prediction time. The vehicle headlamp device described in 1. 前記画像処理手段は、
取得した車両前方の撮像画像の輝度情報に基づいて、発光体又は光反射体として車両前方に存在する物体のオプティカルフローを算出するオプティカルフロー算出手段と、
前記オプティカルフローに基づいて前記物体の属性を判別する属性判別手段と、
を有することを特徴とする請求項1乃至7のいずれかに記載の車両用前照灯装置。
The image processing means includes
Optical flow calculation means for calculating an optical flow of an object existing in front of the vehicle as a light emitter or light reflector based on the luminance information of the captured image in front of the vehicle;
Attribute determination means for determining the attribute of the object based on the optical flow;
The vehicle headlamp device according to claim 1, comprising:
前記属性判別手段は、前記オプティカルフローに基づいて前記物体の属性が移動体であると判別した場合、前記ビデオカメラが備える撮像素子のうち撮像画像中の移動体に対応する撮像素子のR出力およびB出力に基づいて対向車であるか先行車であるか判別することを特徴とする請求項9に記載の車両用前照灯装置。   When the attribute determining unit determines that the attribute of the object is a moving object based on the optical flow, the R output of the image sensor corresponding to the moving object in the captured image among the image sensors included in the video camera and The vehicle headlamp device according to claim 9, wherein it is determined whether the vehicle is an oncoming vehicle or a preceding vehicle based on the B output.
JP2008290261A 2008-11-12 2008-11-12 Vehicle headlamp device Expired - Fee Related JP5313638B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008290261A JP5313638B2 (en) 2008-11-12 2008-11-12 Vehicle headlamp device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008290261A JP5313638B2 (en) 2008-11-12 2008-11-12 Vehicle headlamp device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013111176A Division JP5643877B2 (en) 2013-05-27 2013-05-27 Vehicle headlamp device

Publications (2)

Publication Number Publication Date
JP2010116036A true JP2010116036A (en) 2010-05-27
JP5313638B2 JP5313638B2 (en) 2013-10-09

Family

ID=42303970

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008290261A Expired - Fee Related JP5313638B2 (en) 2008-11-12 2008-11-12 Vehicle headlamp device

Country Status (1)

Country Link
JP (1) JP5313638B2 (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011143822A (en) * 2010-01-14 2011-07-28 Koito Mfg Co Ltd Light distribution control system of vehicle headlamp
JP2012020663A (en) * 2010-07-15 2012-02-02 Koito Mfg Co Ltd Vehicle detector
JP2012048643A (en) * 2010-08-30 2012-03-08 Denso Corp Object detector
WO2012036587A1 (en) * 2010-09-14 2012-03-22 Miroshnichenko Vladimir Vitalievich Method for illuminating a space with the front headlights of a vehicle (alternatives)
JP2012240530A (en) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd Image processing apparatus
JP2012250618A (en) * 2011-06-02 2012-12-20 Koito Mfg Co Ltd Image processing apparatus and light distribution control method
JP2013061787A (en) * 2011-09-13 2013-04-04 Denso Corp Turning prediction device for vehicle
US20140214270A1 (en) * 2013-01-25 2014-07-31 Shenzhen Protruly Electronics Co., Ltd. Automotive camera system and the data processing method based on its shooting angle changing synchronously with the automotive speed
CN104024049A (en) * 2012-01-03 2014-09-03 罗伯特·博世有限公司 Method and control device for adapting an upper boundary of a headlight beam
CN104220301A (en) * 2012-01-03 2014-12-17 罗伯特·博世有限公司 Method and control device for adapting upper boundary of headlight beam
US9123251B2 (en) 2013-08-20 2015-09-01 Ford Global Technologies, Llc. Image system for automotive safety applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62131837A (en) * 1985-12-05 1987-06-15 Nippon Denso Co Ltd Recognition device for driven vehicle
JPH0858470A (en) * 1994-08-24 1996-03-05 Alpine Electron Inc Rear view confirmation device
JPH11312300A (en) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd On-vehicle camera
JP2006270175A (en) * 2005-03-22 2006-10-05 Megachips System Solutions Inc System for recording vehicle mounted image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62131837A (en) * 1985-12-05 1987-06-15 Nippon Denso Co Ltd Recognition device for driven vehicle
JPH0858470A (en) * 1994-08-24 1996-03-05 Alpine Electron Inc Rear view confirmation device
JPH11312300A (en) * 1998-04-27 1999-11-09 Matsushita Electric Ind Co Ltd On-vehicle camera
JP2006270175A (en) * 2005-03-22 2006-10-05 Megachips System Solutions Inc System for recording vehicle mounted image

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011143822A (en) * 2010-01-14 2011-07-28 Koito Mfg Co Ltd Light distribution control system of vehicle headlamp
JP2012020663A (en) * 2010-07-15 2012-02-02 Koito Mfg Co Ltd Vehicle detector
JP2012048643A (en) * 2010-08-30 2012-03-08 Denso Corp Object detector
WO2012036587A1 (en) * 2010-09-14 2012-03-22 Miroshnichenko Vladimir Vitalievich Method for illuminating a space with the front headlights of a vehicle (alternatives)
JP2012240530A (en) * 2011-05-18 2012-12-10 Koito Mfg Co Ltd Image processing apparatus
JP2012250618A (en) * 2011-06-02 2012-12-20 Koito Mfg Co Ltd Image processing apparatus and light distribution control method
JP2013061787A (en) * 2011-09-13 2013-04-04 Denso Corp Turning prediction device for vehicle
CN104024049A (en) * 2012-01-03 2014-09-03 罗伯特·博世有限公司 Method and control device for adapting an upper boundary of a headlight beam
CN104220301A (en) * 2012-01-03 2014-12-17 罗伯特·博世有限公司 Method and control device for adapting upper boundary of headlight beam
JP2015506305A (en) * 2012-01-03 2015-03-02 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method and controller for adapting headlight beam upper limit of headlight cone
US9637047B2 (en) 2012-01-03 2017-05-02 Robert Bosch Gmbh Method and control unit for adapting an upper headlight beam boundary of a light cone
CN104024049B (en) * 2012-01-03 2017-11-21 罗伯特·博世有限公司 For the method and control device of the headlight beam coboundary for matching headlight light cone
US20140214270A1 (en) * 2013-01-25 2014-07-31 Shenzhen Protruly Electronics Co., Ltd. Automotive camera system and the data processing method based on its shooting angle changing synchronously with the automotive speed
US9399433B2 (en) * 2013-01-25 2016-07-26 Shenzhen Protruly Electronics Co., Ltd Automotive camera system and the data processing method based on its shooting angle changing synchronously with the automotive speed
US9123251B2 (en) 2013-08-20 2015-09-01 Ford Global Technologies, Llc. Image system for automotive safety applications

Also Published As

Publication number Publication date
JP5313638B2 (en) 2013-10-09

Similar Documents

Publication Publication Date Title
JP5313638B2 (en) Vehicle headlamp device
CN113998034B (en) Rider assistance system and method
JP5952532B2 (en) Image processing apparatus and light distribution control method
JP5097648B2 (en) Headlamp control device and vehicle headlamp device
EP1513103B1 (en) Image processing system and vehicle control system
JP5680573B2 (en) Vehicle driving environment recognition device
JP4473232B2 (en) Vehicle front environment detecting device for vehicle and lighting device for vehicle
JP4253275B2 (en) Vehicle control system
JP5361901B2 (en) Headlight control device
US20200062168A1 (en) Vehicle headlight control device
US9616805B2 (en) Method and device for controlling a headlamp of a vehicle
EP2525302A1 (en) Image processing system
EP2399777B1 (en) Control device, vehicle headlamp, and vehicle headlamp system
JP4980970B2 (en) Image pickup means adjustment device and object detection device
CN108536134B (en) Automatic control method and device for vehicle running
CN112896035A (en) Vehicle light projection control device and method, and vehicle light projection system
JP5643877B2 (en) Vehicle headlamp device
US20230278485A1 (en) Method for operating an illuminating device, and motor vehicle
JP7084223B2 (en) Image processing equipment and vehicle lighting equipment
JP2012185669A (en) Vehicle detecting device and vehicle light distribution controlling device using the same
WO2022244085A1 (en) Headlight control device, headlight control system, and headlight control method
WO2021039577A1 (en) Vehicle lighting

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5313638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees