JP5760523B2 - Runway estimation apparatus and program - Google Patents
Runway estimation apparatus and program Download PDFInfo
- Publication number
- JP5760523B2 JP5760523B2 JP2011050253A JP2011050253A JP5760523B2 JP 5760523 B2 JP5760523 B2 JP 5760523B2 JP 2011050253 A JP2011050253 A JP 2011050253A JP 2011050253 A JP2011050253 A JP 2011050253A JP 5760523 B2 JP5760523 B2 JP 5760523B2
- Authority
- JP
- Japan
- Prior art keywords
- lane
- estimation
- runway
- parameter
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、走路推定装置及びプログラムに係り、特に、車両に搭載された撮像装置により撮像された画像に基づいて、走路パラメータを推定する走路推定装置及びプログラムに関する。 The present invention relates to a travel path estimation apparatus and program, and more particularly to a travel path estimation apparatus and program for estimating a travel path parameter based on an image captured by an imaging apparatus mounted on a vehicle.
従来、カメラで撮像された画像から道路上の白線等の平行線が検出された場合には、平行線の交点から消失点位置を算出し、この消失点位置に基づいてカメラの俯角を算出する俯角算出装置が提案されている(例えば、特許文献1参照)。特許文献1に記載の俯角算出装置では、画像から平行線が検出できない場合には、画像中の物体位置を異なる時間に撮像した画像間で比較し、そのずれ量から俯角の変動量を推定し、現時刻の俯角を算出している。 Conventionally, when a parallel line such as a white line on a road is detected from an image captured by a camera, the vanishing point position is calculated from the intersection of the parallel lines, and the depression angle of the camera is calculated based on the vanishing point position. A depression angle calculation device has been proposed (see, for example, Patent Document 1). In the depression angle calculation device described in Patent Document 1, when parallel lines cannot be detected from an image, the object positions in the image are compared between images taken at different times, and the variation amount of the depression angle is estimated from the deviation amount. The depression angle at the current time is calculated.
また、1次元カメラで撮像された過去複数枚の撮像データに基づいて、白線位置を検出し、検出した白線位置と車両姿勢挙動とに基づいて、道路曲率、ヨー角、及び偏位を求める道路形状及び自車両姿勢の計測装置が提案されている(例えば、特許文献2参照)。 A road that detects a white line position based on a plurality of past image data captured by a one-dimensional camera, and calculates a road curvature, a yaw angle, and a deviation based on the detected white line position and vehicle posture behavior. A measuring device for a shape and a vehicle posture has been proposed (see, for example, Patent Document 2).
また、車速と所定の逸脱予測時間とを掛け算して前方注視点位置を算出し、ヨー角及び前方注視点位置に基づいて、前方注視点位置での前方注視点横変位を算出し、自車両が車線逸脱傾向になるか否かを判定する車線逸脱警報装置が提案されている(例えば、特許文献3参照)。特許文献3に記載の車線逸脱警報装置では、片方の車線しか検出できない場合には、前方注視点横変位の算出においてヨー角が及ぼす影響が小さくなるように予測逸脱時間を変更している。 In addition, the front gaze position is calculated by multiplying the vehicle speed and the predetermined deviation prediction time, and the front gaze lateral displacement at the front gaze position is calculated based on the yaw angle and the front gaze position, A lane departure warning device that determines whether or not the vehicle tends to depart from the lane has been proposed (see, for example, Patent Document 3). In the lane departure warning device described in Patent Document 3, when only one lane can be detected, the predicted departure time is changed so that the influence of the yaw angle is reduced in the calculation of the forward gaze lateral displacement.
また、CCDカメラにて撮像された映像から仕切線候補線を検出し、仕切線候補線上にて設定される代表点の画像座標を算出し、各代表点における仕切線候補線の傾きを求め、道路パラメータを含む方程式、各代表点の画像座標、及び仕切線候補線の傾きに基づいて、道路パラメータを推定する道路の仕切線認識装置が提案されている(例えば、特許文献4参照)。 Further, the partition line candidate line is detected from the image captured by the CCD camera, the image coordinates of the representative point set on the partition line candidate line are calculated, the inclination of the partition line candidate line at each representative point is obtained, A road partition line recognition device that estimates road parameters based on equations including road parameters, image coordinates of representative points, and inclinations of candidate partition lines has been proposed (see, for example, Patent Document 4).
しかしながら、特許文献1の技術のように、単眼移動ステレオ視など異なる時刻に撮像した画像を用いてカメラ姿勢の変化を推定して現時刻の路面に対する絶対的なカメラの姿勢を推定する手法は、ある時刻に両側白線など平行線を用いてカメラ姿勢の絶対的な値を算出する必要があるため、全く両側白線が存在しない場合には、絶対的なカメラ姿勢を推定することができない、という問題がある。 However, as in the technique of Patent Document 1, a method for estimating a change in camera posture using images taken at different times such as monocular moving stereo vision and estimating an absolute camera posture with respect to the road surface at the current time is as follows: Since it is necessary to calculate the absolute value of the camera posture using parallel lines such as white lines on both sides at a certain time, the absolute camera posture cannot be estimated if there are no white lines on both sides. There is.
また、特許文献2の技術では、カメラレンズ中心からカメラ光軸とXZ平面との交点までの距離及びカメラ高さを既知としていることから、カメラの光軸と路面平面(XZ平面)とのなす角である俯角は既知パラメータとなっており、俯角の変動が考慮されていないため、精度良くカメラの姿勢角を推定することができない、という問題がある。 In the technique of Patent Document 2, since the distance from the camera lens center to the intersection of the camera optical axis and the XZ plane and the camera height are known, the camera optical axis and the road surface plane (XZ plane) form. Since the depression angle, which is an angle, is a known parameter and fluctuation of the depression angle is not taken into account, there is a problem that the posture angle of the camera cannot be estimated with high accuracy.
また、片側車線しか検出されていない場合に、俯角を固定するとヨー角に誤差が生じ、逸脱判断の精度が低下する。特許文献3の技術では、逸脱予測時間が長いほどヨー角誤差が逸脱判断に与える影響が大きくなることを考慮して、ヨー角が低下するシーンでは、逸脱予測時間を短く設定して、煩わしさを低減しているが、俯角やヨー角の推定精度を改善するものではない。 In addition, when only one side lane is detected, fixing the depression angle causes an error in the yaw angle, which decreases the accuracy of departure determination. In the technique of Patent Document 3, in consideration of the fact that the longer the deviation prediction time, the greater the influence of the yaw angle error on the deviation judgment, in the scene where the yaw angle decreases, the deviation prediction time is set short, which is bothersome. However, it does not improve the estimation accuracy of the depression angle and yaw angle.
また、特許文献4の技術では、白線候補点群からウインドウ内の白線候補線を検出し、「候補線は真の白線に平行であるとみなして良い」という仮定を用いてパラメータを推定しているが、これは本質的に両側白線を検出する場合と同様、ある時刻に撮像した画像中の平行線群から、俯角を含むパラメータを推定するものである。 Further, in the technique of Patent Document 4, a white line candidate line in a window is detected from a white line candidate point group, and parameters are estimated using an assumption that “the candidate line may be considered to be parallel to a true white line”. However, this essentially estimates the parameters including the depression angle from the group of parallel lines in the image taken at a certain time, as in the case of detecting the white lines on both sides.
本発明は、上記の問題点を解決するためになされたもので、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる走路推定装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problem, and even when only one side lane is detected, it is possible to estimate the road parameter including the attitude angle of the imaging unit with respect to the road without fixing the depression angle. It aims at providing a runway estimation apparatus and a program.
上記目的を達成するために、本発明の走路推定装置は、自車両周辺を撮像する該自車両に搭載された撮像手段と、前記自車両の速度を検出する検出手段と、前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表すことにより前記二時刻間の走路パラメータを関係付け、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、を含んで構成されている。 In order to achieve the above object, a runway estimation apparatus according to the present invention includes an imaging unit mounted on the host vehicle that images the periphery of the host vehicle, a detection unit that detects a speed of the host vehicle, and an imaging of the imaging unit. Extraction means for extracting a feature point indicating a lane from the captured image obtained by the above, and a value representing the shape of the travel path on which the host vehicle travels based on the feature point extracted by the extraction means, The value representing the shape and the yaw angle change between two different times when estimating the road parameters including the depression angle, yaw angle, and lateral position of the imaging means and determining the lane position on the captured image. under the assumption that no relationship with the track parameters between the amount of change in lateral position at a rate and the yaw angle detected by the detecting means the two time by Table Succoth between the two time, the two Each of the time In the optimization of the traffic lane position determined by the extracted feature points with the track parameters, and is configured to include a secondary time estimating means for estimating a 該走 path parameter, a.
本発明の走路推定装置によれば、自車両に搭載された撮像手段が、自車両周辺を撮像し、検出手段が、自車両の速度を検出する。そして、抽出手段が、撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する。そして、二時刻推定手段が、抽出手段により抽出された異なる二時刻の特徴点を用いて、走路パラメータを推定する。走路パラメータは、自車両が走行する走路の形状を表す値、走路に対する撮像手段の俯角、ヨー角、及び横位置を含み、かつ撮像画像上での車線位置を定めるものである。この走路パラメータは、走路の形状を表す値及びヨー角が、異なる二時刻間で変化しないとの仮定の下で、二時刻間の横位置の変化量を検出手段により検出された速度及びヨー角で表すことにより前記二時刻間の走路パラメータを関係付け、二時刻の各々で抽出された特徴点と走路パラメータにより定まる車線位置との最適化により推定される。 According to the runway estimation apparatus of the present invention, the imaging means mounted on the host vehicle images the vicinity of the host vehicle, and the detection unit detects the speed of the host vehicle. And an extraction means extracts the feature point which shows a lane from the captured image obtained by the imaging of the imaging means. Then, the two-time estimation means estimates the road parameter using the different two-time feature points extracted by the extraction means. The lane parameter includes a value representing the shape of the lane on which the host vehicle is traveling, a depression angle, a yaw angle, and a lateral position of the imaging unit with respect to the lane, and determines the lane position on the captured image. This road parameter is based on the assumption that the value representing the shape of the road and the yaw angle do not change between two different times. in relation with the track parameters between the two time by Table Succoth it is estimated by optimization of the lane position determined by the two time each in the extracted feature points and track parameters.
このように、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、車両に搭載された撮像装置の姿勢角を推定することができる。 In this way, by using the feature points indicating the lanes extracted at two different times by associating the road parameters between two times under a predetermined condition, even if only one lane is detected, the depression angle is not fixed. The attitude angle of the imaging device mounted on the vehicle can be estimated.
また、本発明の走路推定装置は、前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段と、前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、を含んで構成することもできる。これにより、状況に応じて最適な走路パラメータを推定することができる。 Further, the runway estimation apparatus of the present invention is configured to estimate the runway parameter by optimizing the feature points indicating the left and right lanes at one time extracted by the extraction unit and the lane position determined by the runway parameter. An estimation unit and a final estimation unit that estimates a final lane parameter using at least one of the estimation result of the one-time estimation unit and the estimation result of the two-time estimation unit may be included. Thereby, the optimal runway parameter can be estimated according to the situation.
その場合、前記二時刻推定手段は、前記特徴点として、左の車線の特徴点及び右の車線の特徴点の各々を用いて、前記走路パラメータを推定し、前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定するようにすることができる。これにより、増加走路などのように左右の車線の平行性が失われているような場合でも、安定して走路パラメータを推定することができる。 In that case, the two-time estimation means estimates the runway parameter using the feature points of the left lane and the right lane as the feature points, and the final estimation means The difference between the estimation result based on the feature point of the left lane and the estimation result based on the feature point of the right lane by the estimation means is within a predetermined range, and one of the estimation results by the two-time estimation means and the one When the difference from the estimation result by the time estimation means is greater than or equal to a predetermined value, the final runway parameter can be estimated using at least one of the estimation results by the two-time estimation means. As a result, even when the parallelism between the left and right lanes is lost, such as on an increased runway, the runway parameters can be estimated stably.
また、前記走路の形状を表す値を、前記走路の曲率、または前記走路の曲率及び曲率の変化率とすることができる。 The value representing the shape of the runway can be the curvature of the runway, or the curvature of the runway and the rate of change of the curvature.
また、本発明の走路推定プログラムは、コンピュータを、自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表して、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段として機能させるためのプログラムである。 In the running path estimation program of the present invention, a computer is detected by a captured image obtained by an imaging unit mounted on the own vehicle that images the periphery of the own vehicle, and a detection unit that detects a speed of the own vehicle. An acquisition unit that acquires the speed of the host vehicle, an extraction unit that extracts a feature point indicating a lane from a captured image acquired by the acquisition unit, and the host vehicle based on the feature point extracted by the extraction unit When estimating a road parameter that includes a value representing the shape of the road on which the vehicle travels, a depression angle, a yaw angle, and a lateral position of the imaging means with respect to the road, and that determines a lane position on the captured image, Under the assumption that the value to be represented and the yaw angle do not change between two different times, the speed and yaw angle acquired by the acquisition means for the amount of change in the lateral position between the two times Represents, by optimal estimation of the lane position determined the two time feature points extracted in each and of the said runway parameters, a program for functioning as a two-time estimating means for estimating a 該走 path parameters.
以上説明したように、本発明の走路推定装置及びプログラムによれば、所定の条件で二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線を示す特徴点を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像手段の姿勢角を含む走路パラメータを推定することができる、という効果が得られる。 As described above, according to the track estimation device and the program of the present invention, by using the feature points indicating the lanes extracted at two different times by relating the track parameters between the two times under a predetermined condition, Even when only one side lane is detected, it is possible to estimate the road parameter including the attitude angle of the imaging means with respect to the road without fixing the depression angle.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1に示すように、第1の実施の形態の走路推定装置10は、車両に搭載され、車両前方領域を連続的に撮像する撮像装置12と、車両の速度を検出する車速センサ14と、走路パラメータを推定する処理を実行するコンピュータ16と、を備えている。
As shown in FIG. 1, the travel
撮像装置12は、車両前方の対象領域を撮影し、画像信号を生成する撮像部(図示省略)、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するA/D変換部(図示省略)、及びA/D変換された画像信号を一時的に格納するための画像メモリ(図示省略)を備えている。
The
コンピュータ16は、CPU、後述する走路推定処理ルーチンを実行するためのプログラム等各種プログラム及び各種データを記憶したROM、データ等を一時的に記憶するRAM、各種情報が記憶されたメモリ、及びこれらを接続するバスを含んで構成されている。
The
このコンピュータ16をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図1に示すように、撮像装置12で撮像された撮像画像を取得して、撮像画像から特徴点を抽出する特徴点抽出部20と、抽出された特徴点から車線を示す車線境界点を選択する車線境界点選択部22と、車線境界点選択部22で選択された車線境界点が記憶される車線境界点記憶部24と、異なる二時刻の車線境界点に基づいて、走路パラメータを推定する走路パラメータ推定部26と、を含んだ構成で表すことができる。
If the
なお、特徴点抽出部20及び車線境界点選択部22が、本発明の抽出手段の一例であり、走路パラメータ推定部26が、本発明の二時刻推定手段の一例である。
The feature
特徴点抽出部20は、例えば、図2(a)に示すような撮像画像に対して、同図(b)に示すように、水平方向に走査して画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。同図(c)に、抽出された特徴点を模式的に表した一例を示す。
For example, the feature
車線境界点選択部22は、特徴点抽出部20で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。車線が複数存在する場合には、最も内側の左右1対の車線を示す車線境界点を選択する。図3に、選択された車線境界点を模式的に表した一例を示す。車線境界点選択部22は、選択した車線境界点を車線境界点記憶部24に記憶すると共に、走路パラメータ推定部26へ出力する。
The lane boundary
走路パラメータ推定部26は、走路パラメータとして、自車両が走行する走路の曲率ρ、走路に対する撮像装置12の俯角φ、ヨー角Ψ、及び横位置eを、車線境界点に基づいて推定する。図4に、走路パラメータの各々を模式的に示す。より具体的には、時刻tにおける走路パラメータxt=(φt,ρt,et,Ψt)に対応する撮像画像上の車線境界点の座標をPt i(ut i,vt i)(i=1,2,・・・N、Nは選択された車線境界点の総数)とすると、ut iはxt及びvt iを用いて、ut i=h(xt,vt i)として算出することができる。h(xt,vt i)は、既知の走路パラメータ、及び車線境界点の画像上の垂直位置から、画像上の水平位置を算出する関数である。走路パラメータの推定は、関数h及び複数の車線境界点群の座標からxtを推定する問題である。
The lane parameter estimation unit 26 estimates, as the lane parameters, the curvature ρ of the lane on which the host vehicle travels, the depression angle φ, the yaw angle Ψ, and the lateral position e of the
ここで、走路の両側の白線が検出できる場合には、左の車線境界に対する撮像装置の横位置をet l、右の車線境界線に対する横位置をet rとして、従来既知の技術により、一時刻の画像上の車線境界点を用いて走路パラメータx’t=(φt,ρt,et l,et r,Ψt)を推定することができる。しかし、片側車線しか検出できない場合には、図5(a)に示すように、ヨー角Ψt=0の場合、及び同図(b)に示すように、ヨー角Ψt≠0の場合のように、ヨー角が異なる場合であっても、撮像画像上での車線境界線の位置が同位置となる場合がある。このように、片側車線しか検出できない場合、従来の一時刻の車線境界線の特徴点を用いた走路パラメータの推定では、ヨー角及び俯角が不定性を有するため、走路パラメータを一意に決定することができない。 Here, if both sides of the white line of the runway can be detected, the horizontal position e t l of the imaging device relative to the left lane boundary, the lateral position relative to the right of the lane boundary line as e t r, by conventional known techniques, The lane boundary point on the image at one time can be used to estimate the road parameter x ′ t = (φ t , ρ t , e t l , e t r , Ψ t ). However, when only one side lane can be detected, the yaw angle Ψ t = 0 as shown in FIG. 5A and the yaw angle Ψ t ≠ 0 as shown in FIG. 5B. Thus, even if the yaw angles are different, the position of the lane boundary line on the captured image may be the same position. In this way, when only one side lane can be detected, in the estimation of the lane parameter using the characteristic points of the lane boundary line at the time of the past, the yaw angle and the depression angle are indefinite, so the lane parameter is uniquely determined. I can't.
そこで、走路パラメータ推定部26では、下記の原理に基づいて、二時刻における車線境界点群を用いて走路パラメータを推定する。 Therefore, the road parameter estimation unit 26 estimates the road parameter using the lane boundary points at two times based on the following principle.
図6を参照して、右側の車線境界線のみが検出された場合について説明する。t=t0及びt=t1(t1>t0)におけるヨー角Ψが0の場合、時刻t0における横位置et0と時刻t1における横位置et1との間には変化がなく、撮像画像上も同じ位置に車線境界線が現れる。一方、t=t0及びt=t1におけるヨー角ΨがΨ>0の場合、et0<et1となり、撮像画像上の車線境界線は、二時刻間(t0〜t1)で回転した状態(左回り)で表れる。同様に、Ψ<0の場合はet0>et1となり、撮像画像上の車線境界線は、二時刻間(t0〜t1)で回転した状態(右回り)で表れる。さらに、二時刻間でピッチ変動が生じた場合には、車線境界線は撮像画像の上下方向に移動した状態で表れる。 A case where only the right lane boundary line is detected will be described with reference to FIG. t = t 0 and t = t 1 (t 1> t 0) when the yaw angle Ψ is zero in, there is no change between the lateral position e t1 in the horizontal position e t0 and time t 1 at time t 0 A lane boundary appears at the same position on the captured image. On the other hand, when the yaw angle Ψ at t = t 0 and t = t 1 is Ψ> 0, e t0 <e t1 , and the lane boundary on the captured image rotates between two times (t 0 to t 1 ). Appears in a counterclockwise state. Similarly, in the case of Ψ <0, e t0 > e t1 , and the lane boundary line on the captured image appears in a state (clockwise) rotated between two times (t 0 to t 1 ). Furthermore, when a pitch variation occurs between two times, the lane boundary line appears in a state of moving in the vertical direction of the captured image.
このことから、二時刻間の走路パラメータを関係付けることにより、二時刻の各々で選択された車線境界点群を用いて、走路パラメータを一意に推定することができる。 From this, by correlating the road parameter between two times, the road parameter can be uniquely estimated using the lane boundary point group selected at each of the two times.
より具体的には、時刻t0における走路パラメータxt0=(φt0,ρt0,et0,Ψt0)、及び時刻t1における走路パラメータxt1=(φt1,ρt1,et1,Ψt1)について、二時刻間で曲率ρ及びヨー角Ψの変化が小さいと仮定すると、近似的に下記(1)式の関係が成立する。ここで、Vは、車速センサ14で検出された自車両の速度である。
More specifically, track parameters x t0 = at time t 0 (φ t0, ρ t0 , e t0, Ψ t0), and track parameters x t1 = (φ t1 at time t 1, ρ t1, e t1 , Ψ Assuming that the change in curvature ρ and yaw angle Ψ between two times is small for t1 ), the relationship of the following equation (1) is approximately established. Here, V is the speed of the host vehicle detected by the
これにより、推定すべきパラメータは、俯角φt0、φt1、曲率ρt1、横位置et1、ヨー角Ψt1の5つとなり、(1)式の条件の下、走路パラメータxt0により定まる車線境界線と車線境界点の座標Pt0 i、及び走路パラメータxt1により定まる車線境界線と車線境界点の座標Pt1 iとについて、最小二乗法等の従来既知の手法により最適化して、走路パラメータを推定することができる。 As a result, there are five parameters to be estimated: depression angle φ t0 , φ t1 , curvature ρ t1 , lateral position e t1 , and yaw angle ψ t1 , which is determined by the lane parameter x t0 under the condition of equation (1). The lane boundary line and the lane boundary point coordinates P t1 i determined by the boundary line and the lane boundary point coordinates P t0 i and the lane boundary point x t1 are optimized by a conventionally known method such as the least square method, and the lane parameter Can be estimated.
なお、二時刻の間隔(t1−t0)は、上記条件の成立が維持される時間間隔であって、二時刻間の観測値の変化を把握できるだけの長さを有する時間間隔を適切に定める。 The two-time interval (t 1 -t 0 ) is a time interval in which the above condition is maintained, and a time interval having a length sufficient to grasp the change in the observed value between the two times is appropriately set. Determine.
次に、図7を参照して、本実施の形態に係る走路推定装置10のコンピュータ16において実行される走路推定処理ルーチンについて説明する。ここでは、t=t1における処理について説明するものとし、車線境界点記憶部24には、t=t0における処理で選択された車線境界点が記憶されているものとする。
Next, with reference to FIG. 7, a runway estimation process routine executed by the
ステップ100で、撮像装置12で撮像された撮像画像を取得し、次に、ステップ102で、撮像画像の画素毎の輝度の変化点であるエッジ点を特徴点として抽出する。
In
次に、ステップ104で、上記ステップ102で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択する。選択された車線境界点の座標Pt1 i(ut1 i,vt1 i)を車線境界点記憶部24へ記憶する。
Next, in
次に、ステップ106で、車線境界点記憶部24から、t=t0の処理において記憶された車線境界点の座標Pt0 i(ut0 i,vt0 i)を読み出す。次に、ステップ108で、車速センサ14で検出された自車両の速度Vを取得する。
Next, in
次に、ステップ110で、上記(1)式の関係、及び上記ステップ108で取得した速度Vを用いて、走路パラメータxt0により定まる車線境界線と上記ステップ106で読み出した車線境界点の座標Pt0 i、及び走路パラメータxt1により定まる車線境界線と上記ステップ104で選択した車線境界点の座標Pt1 iとについて、最小二乗法等の従来既知の手法により最適化することにより、走路パラメータを推定し、推定結果を出力して、処理を終了する。
Next, in step 110, using the relationship of the above equation (1) and the speed V acquired in
以上説明したように、第1の実施の形態の走路推定装置によれば、横位置及び俯角の異なりによる撮像画像上の車線境界点の異なる二時刻間での変化に基づいて、二時刻間の走路パラメータを関係付けて、異なる二時刻で抽出された車線境界点群を用いることにより、片側車線しか検出されない場合でも、俯角を固定することなく、走路に対する撮像装置の姿勢角を含む走路パラメータを推定することができる。 As described above, according to the runway estimation apparatus of the first embodiment, based on the change between two different lane boundary points on the captured image due to the difference in lateral position and depression angle, By connecting lane parameters and using lane boundary points extracted at two different times, even if only one lane is detected, the lane parameters including the attitude angle of the imaging device with respect to the lane are fixed without fixing the depression angle. Can be estimated.
次に、第2の実施の形態について説明する。第2の実施の形態では、左車線、右車線、及び両側車線の各々に基づいて走路パラメータを推定する場合について説明する。なお、第1の実施の形態の走路推定装置10と同様の構成については、同一または対応する符号を付して、詳細な説明は省略する。
Next, a second embodiment will be described. In the second embodiment, a case will be described in which the road parameter is estimated based on each of the left lane, the right lane, and the both side lanes. In addition, about the structure similar to the
図8に示すように、第2の実施の形態の走路推定装置210のコンピュータ216をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、特徴点抽出部20と、抽出された特徴点から左車線を示す車線境界点を選択する左車線境界点選択部22Lと、抽出された特徴点から右車線を示す車線境界点を選択する右車線境界点選択部22Rと、左車線境界点選択部22Lで選択された車線境界点が記憶される左車線境界点記憶部24Lと、右車線境界点選択部22Rで選択された車線境界点が記憶される右車線境界点記憶部24Rと、異なる二時刻の左車線境界点に基づいて、走路パラメータを推定する左側走路パラメータ推定部26Lと、異なる二時刻の右車線境界点に基づいて、走路パラメータを推定する右側走路パラメータ推定部26Rと、一時刻の左車線境界点及び右車線境界点に基づいて、走路パラメータを推定する左右走路パラメータ推定部28と、最終的な推定結果を出力する最終推定部30と、を含んだ構成で表すことができる。
As illustrated in FIG. 8, the feature
なお、左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの各々が、本発明の二時刻推定手段の一例であり、左右走路パラメータ推定部28が、本発明の一時刻推定手段の一例である。
Each of the left lane
左車線境界点選択部22Lは、特徴点抽出部20で抽出された特徴点から、第1の実施の形態の車線境界点選択部22と同様の処理により車線境界点を選択し、さらに、選択された車線境界点の座標や車線境界点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。左車線境界点選択部22Lは、選択した左車線境界点を左車線境界点記憶部24Lに記憶すると共に、左側走路パラメータ推定部26Lへ出力する。
The left lane boundary
右車線境界点選択部22Rも、左車線境界点選択部22Lと同様の処理により、右側の車線を示す右車線境界点を選択し、選択した左車線境界点を右車線境界点記憶部24Rに記憶すると共に、右側走路パラメータ推定部26Rへ出力する。
The right lane boundary
左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rは、第1の実施の形態の走路パラメータ推定部26と同様に、異なる二時刻において選択された車線境界点を用いて、走路パラメータを推定する。上述したように、本実施の形態では、片側車線しか検出されない場合でも、走路パラメータを推定することができるため、左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの各々において、走路パラメータを推定することができる。
The left-side lane
左右走路パラメータ推定部28は、従来技術と同様に、一時刻における左車線境界点及び右車線境界点の双方に基づいて、両車線の平行性を利用して、走路パラメータを推定する。
The left and right lane
最終推定部30は、左側走路パラメータ推定部26L、右側走路パラメータ推定部26R、及び左右走路パラメータ推定部28各々の推定結果に基づいて、最終的な走路パラメータを推定して出力する。例えば、3つの推定結果の平均や重み付き平均により、最終的な走路パラメータを算出することができる。また、予め定めた条件に従って、いずれか1つの推定結果を最終的な推定結果として選択するようにしてもよい。
The
また、左側走路パラメータ推定部26Lの推定結果と右側走路パラメータ推定部26Rの推定結果との差が所定範囲内(推定結果が略一致)であり、かつ左側走路パラメータ推定部26Lの推定結果及び右側走路パラメータ推定部26Rの推定結果のいずれかと、左右走路パラメータ推定部28の推定結果とが所定値以上の(推定結果が大きく異なる)場合には、左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの推定結果の少なくとも一方を用い、左右走路パラメータ推定部28の推定結果は用いないで最終的な推定結果を算出するようにするとよい。このような場合には、例えば、増加走路などのように、左右両側の車線は検出されているが、左右の車線の平行性が失われているような場面が想定される。従って、左右の車線の平行性に影響を受けることなく走路パラメータを推定することが可能な左側走路パラメータ推定部26L及び右側走路パラメータ推定部26Rの推定結果を用い、左右の車線の平行性に影響を受ける左右走路パラメータ推定部28の推定結果は用いないようにすることで、適切に走路パラメータを推定することができる。
In addition, the difference between the estimation result of the left lane
次に、図9を参照して、本実施の形態に係る走路推定装置210のコンピュータ216において実行される走路推定処理ルーチンについて説明する。ここでは、t=t1における処理について説明するものとし、左車線境界点記憶部24L及び右車線境界点記憶部24Rには、t=t0における処理で選択された左車線境界点及び右車線境界点が記憶されているものとする。なお、第1の実施の形態の走路推定処理ルーチンと同一の処理については、同一の符号を付して詳細な説明は省略する。
Next, with reference to FIG. 9, a runway estimation process routine executed by
ステップ100で、撮像画像を取得し、次に、ステップ102で、撮像画像から特徴点を抽出する。
In
次に、ステップ200で、上記ステップ102で抽出された特徴点から、連続的に並ぶエッジ点の形状や幅、色などを判別することにより、車線を示す車線境界点を選択し、さらに、選択された車線境界点の座標や車線点群が示す車線境界線の傾き等に基づいて、左側の車線を示す左車線境界点を選択する。選択された左車線境界点の座標Pt1 Li(ut1 Li,vt1 Li)を車線境界点記憶部24へ記憶する。
Next, in
次に、ステップ202で、左車線境界点記憶部24Lから、t=t0の処理において記憶された左車線境界点の座標Pt0 Li(ut0 Li,vt0 Li)を読み出す。次に、ステップ108で、車速センサ14で検出された自車両の速度Vを取得する。
Next, in
次に、ステップ204で、上記(1)式の関係、及び上記ステップ108で取得した速度Vを用いて、走路パラメータxt0により定まる車線境界線と上記ステップ202で読み出した左車線境界点の座標Pt0 Li、及び走路パラメータxt1により定まる車線境界線と上記ステップ200で選択した車線境界点の座標Pt1 Liとについて、最小二乗法等の従来既知の手法により最適化して、左側走路パラメータを推定する。
Next, at
次に、ステップ206〜209で、上記ステップ200〜204と同様に、右車線境界点の座標Pt0 Riに基づく右側走路パラメータを推定する。
Next, in
次に、ステップ212で、一時刻における左車線境界点及び右車線境界点の双方を用いて、左右走路パラメータを推定する。
Next, in
次に、ステップ214で、上記ステップ204で推定された左側走路パラメータ、上記ステップ209で推定された右側走路パラメータ、及び上記ステップ212で推定された左右走路パラメータに基づいて、最終的な走路パラメータを推定し、推定結果を出力して、処理を終了する。
Next, in
なお、上記ステップ200〜204の左側走路パラメータの推定処理、ステップ206〜209の右側走路パラメータの推定処理、及びステップ212の左右走路パラメータの推定処理は、上記の順番で処理する場合に限らず、いずれを先に実行してもよいし、3つの処理を並行して実行してもよい。
Note that the left lane parameter estimation process in
以上説明したように、第2の実施の形態の走路推定装置によれば、従来の一時刻における車線境界点を用いた走路パラメータの推定もあわせて用いることで、状況に応じて適切な走路パラメータを推定することができる。 As described above, according to the runway estimation apparatus of the second embodiment, the runway parameter estimation using the lane boundary point at a conventional time is also used, so that an appropriate runway parameter according to the situation is used. Can be estimated.
なお、上記実施の形態では、走路パラメータの1つとして、走路の曲率ρを用いる場合について説明したが、このパラメータは、走路の形状を示すパラメータであればよく、例えばクロソイド曲線などの形状を表す曲率の変化率ρ’をあわせて用いてもよい。この場合、上記(1)式の第1式は、ρ’t1=ρ’t0+V(t1−t0)として、二時刻間の走路パラメータを関係付けるとよい。 In the above embodiment, the case where the curvature ρ of the road is used as one of the road parameters has been described. However, this parameter may be a parameter indicating the shape of the road, and represents a shape such as a clothoid curve, for example. The change rate ρ ′ of the curvature may be used together. In this case, the first equation of the above equation (1) may be related to the lane parameter between two times as ρ ′ t1 = ρ ′ t0 + V (t 1 −t 0 ).
また、本発明のプログラムは、記録媒体に格納して提供したり、有線または無線による通信手段を介して提供したりする形態としてもよい。また、ソフトウエア構成による実現に限られるものではなく、ハードウエア構成や、ハードウエア構成とソフトウエア構成の組み合わせによって実現してもよい。 The program of the present invention may be provided by being stored in a recording medium or provided via a wired or wireless communication means. Further, the present invention is not limited to implementation by software configuration, and may be implemented by hardware configuration or a combination of hardware configuration and software configuration.
10、210 走路推定装置
12 撮像装置
14 車速センサ
16、216 コンピュータ
20 特徴点抽出部
22 車線境界点選択部
22R 右車線境界点選択部
22L 左車線境界点選択部
24 車線境界点記憶部
24L 左車線境界点記憶部
24R 右車線境界点記憶部
26 走路パラメータ推定部
26L 左側走路パラメータ推定部
26R 右側走路パラメータ推定部
28 左右走路パラメータ推定部
30 最終推定部
DESCRIPTION OF SYMBOLS 10,210
Claims (8)
前記自車両の速度を検出する検出手段と、
前記撮像手段の撮像により得られた撮像画像から、車線を示す特徴点を抽出する抽出手段と、
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記検出手段により検出された速度及び前記ヨー角で表すことにより前記二時刻間の走路パラメータを関係付け、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適化により、該走路パラメータを推定する二時刻推定手段と、
を含む走路推定装置。 Imaging means mounted on the host vehicle for imaging the periphery of the host vehicle;
Detecting means for detecting the speed of the host vehicle;
Extraction means for extracting a feature point indicating a lane from a captured image obtained by imaging by the imaging means;
Based on the feature points extracted by the extracting means, the value representing the shape of the traveling road on which the host vehicle travels, the depression angle, the yaw angle, and the lateral position of the imaging means with respect to the traveling road, and on the captured image When estimating the lane parameters that determine the lane position of the vehicle, the amount of change in the lateral position between the two times is calculated under the assumption that the value representing the shape and the yaw angle do not change between two different times. optimum of the relationship with the track parameters between the two times at a rate and the yaw angle detected by the detecting means according to Table Succoth, the lane position determined by the two-time each feature point extracted by the said runway parameters Two-time estimation means for estimating the lane parameter by
Runway estimation device including
前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段と、
を含む請求項1記載の走路推定装置。 One-time estimation means for estimating the road parameter by optimizing the characteristic points indicating the left and right lanes at one time extracted by the extraction means and the lane position determined by the road parameter;
Final estimation means for estimating a final lane parameter using at least one of the estimation result of the one-time estimation means and the estimation result of the two-time estimation means;
The runway estimation apparatus according to claim 1, comprising:
前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定する
請求項2記載の走路推定装置。 The two-time estimation means estimates the lane parameter using the feature point of the left lane and the feature point of the right lane as the feature points,
The final estimation means has a difference between the estimation result based on the feature point of the left lane and the estimation result based on the feature point of the right lane by the two-time estimation means, and the two-time estimation means When the difference between any one of the estimation results and the estimation result by the one-time estimation means is equal to or greater than a predetermined value, the final runway parameter is estimated using at least one of the estimation results by the two-time estimation means The runway estimation device according to claim 2.
自車両周辺を撮像する該自車両に搭載された撮像手段により得られた撮像画像、及び前記自車両の速度を検出する検出手段により検出された該自車両の速度を取得する取得手段、
前記取得手段により取得された撮像画像から、車線を示す特徴点を抽出する抽出手段、及び
前記抽出手段により抽出された特徴点に基づいて、前記自車両が走行する走路の形状を表す値、前記走路に対する前記撮像手段の俯角、ヨー角、及び横位置を含み、かつ前記撮像画像上での車線位置を定める走路パラメータを推定する際に、前記形状を表す値及び前記ヨー角が、異なる二時刻間で変化しないとの仮定の下で、前記二時刻間の前記横位置の変化量を前記取得手段により取得された速度及び前記ヨー角で表すことにより前記二時刻間の走路パラメータを関係付け、前記二時刻の各々で抽出された特徴点と前記走路パラメータにより定まる車線位置との最適推定により、該走路パラメータを推定する二時刻推定手段
として機能させるための走路推定プログラム。 Computer
An acquisition means for acquiring a captured image obtained by an imaging means mounted on the own vehicle for imaging the periphery of the own vehicle, and a speed of the own vehicle detected by a detection means for detecting the speed of the own vehicle;
An extraction unit that extracts a feature point indicating a lane from the captured image acquired by the acquisition unit; and a value that represents a shape of a traveling path on which the host vehicle travels based on the feature point extracted by the extraction unit, Two times at which the value representing the shape and the yaw angle are different when estimating the road parameter including the depression angle, the yaw angle, and the lateral position of the imaging unit with respect to the road and determining the lane position on the captured image. under the assumption that does not change between, associating the runway parameters between the two times at a rate and the yaw angle acquired by Table Succoth by the acquisition unit amount of change in the lateral position between the two time In order to function as a two-time estimation means for estimating the road parameter by optimal estimation of the feature point extracted at each of the two times and the lane position determined by the road parameter Runway estimation program.
前記抽出手段、
前記二時刻推定手段、
前記抽出手段により抽出された一時刻における左右の車線を示す特徴点と、前記走路パラメータにより定まる車線位置との最適化により、前記走路パラメータを推定する一時刻推定手段、及び
前記一時刻推定手段の推定結果、及び前記二時刻推定手段の推定結果の少なくとも一方を用いて最終的な走路パラメータを推定する最終推定手段
として機能させるための請求項5記載の走路推定プログラム。 The computer,
The extraction means;
The two-time estimation means,
One-time estimation means for estimating the road parameter by optimizing the feature points indicating the left and right lanes at one time extracted by the extraction means and the lane position determined by the road parameter; and
The runway estimation program according to claim 5, which functions as a final estimation unit that estimates a final runway parameter using at least one of the estimation result of the one-time estimation unit and the estimation result of the two-time estimation unit .
前記最終推定手段は、前記二時刻推定手段による左の車線の特徴点に基づく推定結果と右の車線の特徴点に基づく推定結果との差が所定範囲内であり、かつ前記二時刻推定手段による推定結果のいずれか一方と前記一時刻推定手段による推定結果との差が所定値以上の場合には、前記二時刻推定手段による推定結果の少なくとも一方を用いて、前記最終的な走路パラメータを推定するThe final estimation means has a difference between the estimation result based on the feature point of the left lane and the estimation result based on the feature point of the right lane by the two-time estimation means, and the two-time estimation means When the difference between any one of the estimation results and the estimation result by the one-time estimation means is equal to or greater than a predetermined value, the final runway parameter is estimated using at least one of the estimation results by the two-time estimation means Do
請求項6記載の走路推定プログラム。The runway estimation program according to claim 6.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050253A JP5760523B2 (en) | 2011-03-08 | 2011-03-08 | Runway estimation apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050253A JP5760523B2 (en) | 2011-03-08 | 2011-03-08 | Runway estimation apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012185134A JP2012185134A (en) | 2012-09-27 |
JP5760523B2 true JP5760523B2 (en) | 2015-08-12 |
Family
ID=47015330
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050253A Expired - Fee Related JP5760523B2 (en) | 2011-03-08 | 2011-03-08 | Runway estimation apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5760523B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9026299B2 (en) * | 2012-07-09 | 2015-05-05 | Deere & Company | Navigation system and method for autonomous mower |
JP6372314B2 (en) * | 2014-11-10 | 2018-08-15 | 株式会社豊田中央研究所 | Target locus calculation apparatus and program |
JP7020324B2 (en) * | 2018-07-10 | 2022-02-16 | 株式会社明電舎 | Line curvature estimation device and method |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2917681B2 (en) * | 1992-06-29 | 1999-07-12 | 日産自動車株式会社 | Road shape measurement device |
JPH1139464A (en) * | 1997-07-18 | 1999-02-12 | Nissan Motor Co Ltd | Image processor for vehicle |
JP2002236912A (en) * | 2001-02-13 | 2002-08-23 | Nissan Motor Co Ltd | Road partition line recognizing device |
JP3624867B2 (en) * | 2001-08-28 | 2005-03-02 | 日産自動車株式会社 | Road white line recognition device |
JP2009037541A (en) * | 2007-08-03 | 2009-02-19 | Nissan Motor Co Ltd | Lane marker recognition apparatus and method, and lane departure prevention apparatus |
JP5034985B2 (en) * | 2008-01-30 | 2012-09-26 | 株式会社豊田中央研究所 | Parameter estimation device |
-
2011
- 2011-03-08 JP JP2011050253A patent/JP5760523B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012185134A (en) | 2012-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5804185B2 (en) | Moving object position / orientation estimation apparatus and moving object position / orientation estimation method | |
JP5966747B2 (en) | Vehicle travel control apparatus and method | |
JP2020064046A (en) | Vehicle position determining method and vehicle position determining device | |
US8655023B2 (en) | Road profile defining apparatus, road profile defining method, and road profile defining program | |
JP4962581B2 (en) | Lane marking detector | |
US10030969B2 (en) | Road curvature detection device | |
US20150332100A1 (en) | Moving Object Location/Attitude Angle Estimation Device and Moving Object Location/Attitude Angle Estimation Method | |
US9886773B2 (en) | Object detection apparatus and object detection method | |
JP6139465B2 (en) | Object detection device, driving support device, object detection method, and object detection program | |
JP5834933B2 (en) | Vehicle position calculation device | |
US20170084048A1 (en) | Measurement device and measurement method | |
JP2020067698A (en) | Partition line detector and partition line detection method | |
KR102372296B1 (en) | Apparatus and method for recognize driving lane on image | |
JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
JP5760523B2 (en) | Runway estimation apparatus and program | |
US20200193184A1 (en) | Image processing device and image processing method | |
JP6044084B2 (en) | Moving object position and orientation estimation apparatus and method | |
JP2010107435A (en) | Feature position recognition device | |
JP2012159470A (en) | Vehicle image recognition device | |
JP5903901B2 (en) | Vehicle position calculation device | |
JP5891802B2 (en) | Vehicle position calculation device | |
JP7043787B2 (en) | Object detection system | |
JP2007011490A (en) | Device and method for detecting road parameter | |
JP2014067320A (en) | Stereo camera device | |
JP2005301892A (en) | Lane recognition device by a plurality of cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5760523 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |