JP2019023794A - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP2019023794A
JP2019023794A JP2017142617A JP2017142617A JP2019023794A JP 2019023794 A JP2019023794 A JP 2019023794A JP 2017142617 A JP2017142617 A JP 2017142617A JP 2017142617 A JP2017142617 A JP 2017142617A JP 2019023794 A JP2019023794 A JP 2019023794A
Authority
JP
Japan
Prior art keywords
unit
obstacle
road marking
image
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017142617A
Other languages
Japanese (ja)
Other versions
JP6947566B2 (en
Inventor
山本　幸一
Koichi Yamamoto
幸一 山本
文武 中村
Fumitake Nakamura
文武 中村
聡 武藤
Satoshi Muto
聡 武藤
茂人 竹内
Shigeto Takeuchi
茂人 竹内
山下　忠将
Tadamasa Yamashita
忠将 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2017142617A priority Critical patent/JP6947566B2/en
Publication of JP2019023794A publication Critical patent/JP2019023794A/en
Application granted granted Critical
Publication of JP6947566B2 publication Critical patent/JP6947566B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide an image processing technique relating to recognition of a road mark that can recognize an obstacle and properly complement a road mark with low visibility.SOLUTION: A road mark recognition device comprises: a detection unit that detects a road mark and a discontinuous part of the road mark from an image obtained by a camera imaging the periphery of a vehicle; a discrimination unit that discriminates whether an obstacle on a road surface exists in the discontinuous part in the image; and a complement unit that performs complement processing of the discontinuous part of the road mark. The complement unit prohibits the complement processing of the discontinuous part of the road mark when the obstacle exists in the discontinuous part.SELECTED DRAWING: Figure 1

Description

本発明は、道路標示の認識に係る画像処理装置及び道路標示の認識に係る画像処理方法に関する。   The present invention relates to an image processing apparatus related to recognition of road markings and an image processing method related to recognition of road markings.

車両を所定の駐車領域に駐車する際、駐車を支援するために駐車領域を表す駐車枠等を車両の周辺を撮像したモニタ画像に表示する技術が知られている。また、車両が道路を走行する際、車線を認識させることで走行中の安全性を高めることができる。駐車枠や車道の区画線の検出に係る従来技術の例が特許文献１及び２に開示されている。   2. Description of the Related Art When parking a vehicle in a predetermined parking area, a technique for displaying a parking frame or the like representing a parking area on a monitor image obtained by imaging the periphery of the vehicle in order to assist parking is known. Further, when the vehicle travels on the road, it is possible to improve safety during traveling by recognizing the lane. Patent Documents 1 and 2 disclose examples of conventional techniques related to detection of parking frames and road marking lines.

特許文献１に記載された従来の白線検出装置はカメラで撮像した画像を変換して得た俯瞰画像を複数の区画に区分し、その区画の画像において認識した白線とのパターンマッチングによって画像全体の白線を検出する。これにより、この従来の白線検出装置は、例えば駐車エリアの消えかけた白線を推定し、表示部に表示することができる。   The conventional white line detection device described in Patent Document 1 divides an overhead image obtained by converting an image captured by a camera into a plurality of sections, and performs pattern matching with the white lines recognized in the images of the sections, thereby performing image matching on the entire image. Detect white lines. Thereby, this conventional white line detection apparatus can estimate the white line that has disappeared in the parking area, for example, and display it on the display unit.

特許文献２に記載された従来の車載カメラレンズ用異物付着判定装置は車載カメラの撮影映像の長尺状の検出対象物（例えば車道の白線）の長さ若しくは形成間隔についての所定の一定性に基づいて、レンズへの異物の有無を判定する。これにより、この従来の車載カメラレンズ用異物付着判定装置は車載カメラのレンズへの異物の付着の有無の判断を簡便、低コスト且つ適正に行うことができる。さらに、車道の白線の検出結果を車線逸脱防止用の警報の出力に活用することができる。   The conventional foreign matter adhesion determination device for an in-vehicle camera lens described in Patent Document 2 has a predetermined constancy with respect to the length or formation interval of a long detection object (for example, a white line on a roadway) of a captured image of the in-vehicle camera. Based on this, the presence / absence of foreign matter on the lens is determined. As a result, the conventional foreign matter adhesion determining apparatus for an in-vehicle camera lens can easily, inexpensively and appropriately determine whether foreign matter has adhered to the lens of the in-vehicle camera. Further, the detection result of the white line on the roadway can be used for outputting an alarm for preventing lane departure.

特開２０１０−１６５２９９号公報JP 2010-165299 A 特開２０１２−１６６７０５号公報JP 2012-166705 A

しかしながら、特許文献１及び２に記載の従来技術はカメラが撮像した画像上において、駐車枠や車道の白線が障害物で隠れている場合、障害物をカメラレンズに付着した汚れと判断する虞がある。これにより、障害物の箇所を白線で補完してしまう虞があることが課題であった。したがって、モニタの画面において、運転者が障害物を認識できなくなることが懸念された。また、障害物を検知して報知する駐車支援が実施できなくなることが懸念された。   However, in the conventional techniques described in Patent Documents 1 and 2, when the parking frame or the white line of the roadway is hidden by an obstacle on the image captured by the camera, there is a possibility that the obstacle is determined as dirt attached to the camera lens. is there. As a result, there is a problem that there is a possibility that the location of the obstacle may be complemented with a white line. Therefore, there is a concern that the driver cannot recognize the obstacle on the monitor screen. Moreover, there was a concern that parking assistance for detecting and notifying obstacles could not be implemented.

本発明は、上記の課題に鑑みなされたものであり、障害物を認識し、視認性の低い道路標示に対して適正に補完処理を実施することが可能な道路標示の認識に係る画像処理技術を提供することを目的とする。   The present invention has been made in view of the above problems, and is an image processing technique for recognizing road markings that recognizes obstacles and can appropriately perform complementary processing on road markings with low visibility. The purpose is to provide.

本発明に係る画像処理装置は、車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する検出部と、前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する判別部と、前記道路標示の前記中断部に対する補完処理を実施する補完部と、を備え、前記補完部は、前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する前記補完処理を禁止する構成（第１の構成）である。   An image processing apparatus according to the present invention includes a detection unit that detects a road marking and an interruption in the road marking from an image acquired from a camera that captures the periphery of the vehicle, and an obstacle on a road surface at the interruption in the image. A discriminating unit that discriminates whether or not the road marking is present, and a complementing unit that performs a complementing process on the interrupting unit of the road marking, and the complementing unit is provided when the obstacle is present in the interrupting unit. A configuration (first configuration) that prohibits the complementary processing for the interrupting portion of the road marking.

また、上記第１の構成の画像処理装置において、前記判別部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像に基づき前記中断部に路面上の障害物が存在するか否かを判別する構成（第２の構成）であっても良い。   Further, in the image processing device having the first configuration, the determination unit is configured to provide an obstacle on a road surface to the interruption unit based on the plurality of images captured in time series at different positions in the moving process of the vehicle. It may be a configuration (second configuration) for determining whether or not there exists.

また、上記第１または第２の構成の画像処理装置において、前記補完部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像各々の前記道路標示の画素情報を利用して前記道路標示の前記中断部に対する補完処理を実施する構成（第３の構成）であっても良い。   In the image processing device having the first or second configuration, the complementing unit may include pixel information of the road marking of each of the plurality of images captured in time series at different positions in the moving process of the vehicle. The structure (3rd structure) which implements the complementary process with respect to the said interruption part of the said road marking using may be sufficient.

また、上記第１または第２の構成の画像処理装置において、道路標示に係る道路標示情報を記憶する記憶部を備え、前記補完部は、前記道路標示情報に基づき前記道路標示の前記中断部に対する補完処理を実施する構成（第４の構成）であっても良い。   The image processing apparatus having the first or second configuration may further include a storage unit that stores road marking information related to road markings, and the complementing unit is configured to perform the road marking information on the interruption unit based on the road marking information. A configuration (fourth configuration) for performing the complementing process may be used.

また、上記第１から第４の構成の画像処理装置において、前記判別部が、前記障害物の高さを認識し、前記補完部は、前記障害物の高さが予め定めた所定値以上の場合に、前記道路標示の前記中断部に対する補完処理を禁止し、前記障害物の高さが前記所定値未満の場合に、前記道路標示の前記中断部に対する補完処理を実施する構成（第５の構成）であっても良い。   In the image processing apparatus having the first to fourth configurations, the determination unit recognizes a height of the obstacle, and the complement unit has a height of the obstacle equal to or greater than a predetermined value. In this case, the supplement processing for the interruption portion of the road marking is prohibited, and when the height of the obstacle is less than the predetermined value, the supplement processing for the interruption portion of the road marking is performed (fifth configuration) Configuration).

また、上記第１から第４の構成の画像処理装置において、前記判別部が、前記障害物が移動体であるか否かを判別するとともに、前記移動体の予測移動経路及び当該予測移動経路と重畳する前記道路標示の重畳部を推定し、前記補完部は、前記重畳部における前記補完処理を禁止する構成（第６の構成）であっても良い。   In the image processing apparatus having the first to fourth configurations, the determination unit determines whether or not the obstacle is a moving body, and includes the predicted moving path of the moving body and the predicted moving path. The superimposition part of the road sign to be superimposed may be estimated, and the complementing unit may be configured to prohibit the supplementing process in the superimposition unit (sixth configuration).

また、本発明に係る画像処理方法は、車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する工程と、前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する工程と、前記道路標示の前記中断部に対する補完処理を実施する工程と、を含み、前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する補完処理を禁止する構成（第７の構成）である。   The image processing method according to the present invention includes a step of detecting a road marking and an interruption portion in the road marking from an image acquired from a camera that captures the periphery of the vehicle, and an obstacle on a road surface at the interruption portion in the image. A step of determining whether or not an object is present, and a step of performing a complementary process for the interrupting portion of the road marking, and when the obstacle exists in the interrupting portion, the road marking This is a configuration (seventh configuration) for prohibiting the complementary processing for the interrupting portion.

本発明の構成によれば、カメラから得た画像から、道路標示の中断部と、その中断部における障害物の有無とを認識することができる。そして、中断部における障害物の有無に基づいて、道路標示の中断部に対する補完処理の必要性を判別することができる。したがって、障害物を認識し、視認性の低い道路標示に対して適正に補完処理を実施することが可能になる。   According to the configuration of the present invention, it is possible to recognize a road marking interruption part and the presence or absence of an obstacle in the interruption part from an image obtained from a camera. Then, based on the presence or absence of an obstacle in the interrupting portion, it is possible to determine the necessity of the supplement processing for the interrupting portion of the road marking. Therefore, it is possible to recognize an obstacle and appropriately perform a complementing process on a low-visibility road sign.

第１実施形態の道路標示認識装置の構成を示す図The figure which shows the structure of the road marking recognition apparatus of 1st Embodiment. 第１実施形態の道路標示認識装置が用いるカメラの画像の第一例を示す図The figure which shows the 1st example of the image of the camera which the road marking recognition apparatus of 1st Embodiment uses. 第１実施形態の道路標示認識装置が用いるカメラの画像の第二例を示す図The figure which shows the 2nd example of the image of the camera which the road marking recognition apparatus of 1st Embodiment uses. 図３の所定時間後のカメラの画像を示す図The figure which shows the image of the camera after the predetermined time of FIG. 第１実施形態の道路標示認識装置が用いるカメラの画像の第三例を示す図The figure which shows the 3rd example of the image of the camera which the road marking recognition apparatus of 1st Embodiment uses. 図５の所定時間後のカメラの画像を示す図The figure which shows the image of the camera after the predetermined time of FIG. 第１実施形態の道路標示認識装置が用いるカメラの画像の第四例を示す図The figure which shows the 4th example of the image of the camera which the road marking recognition apparatus of 1st Embodiment uses. 図７の所定時間後のカメラの画像を示す図The figure which shows the image of the camera after the predetermined time of FIG. 第１実施形態の道路標示認識装置が用いるカメラの画像の第五例を示す図The figure which shows the 5th example of the image of the camera which the road marking recognition apparatus of 1st Embodiment uses. 図９の所定時間後のカメラの画像を示す図The figure which shows the image of the camera after the predetermined time of FIG. 第１実施形態の道路標示認識装置の動作例を示すフローチャートThe flowchart which shows the operation example of the road marking recognition apparatus of 1st Embodiment. 第２実施形態の道路標示認識装置が用いるカメラの画像の第六例を示す図The figure which shows the 6th example of the image of the camera which the road marking recognition apparatus of 2nd Embodiment uses. 図１２の所定時間後のカメラの画像を示す図The figure which shows the image of the camera after the predetermined time of FIG. 第２実施形態の道路標示認識装置の動作例を示すフローチャートThe flowchart which shows the operation example of the road marking recognition apparatus of 2nd Embodiment.

以下、本発明に係る画像処理装置の例示的な実施形態である道路標示認識装置について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」と呼び、ハンドルから運転席に向かう方向を「後方向（後方）」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、車両の左右横方向を「幅方向」と呼ぶことがある。   Hereinafter, a road marking recognition apparatus which is an exemplary embodiment of an image processing apparatus according to the present invention will be described in detail with reference to the drawings. The present invention is not limited to the following contents. Further, in the following description, the direction in which the vehicle is traveling straight and going from the driver's seat to the steering wheel is referred to as “front direction (front)”, and the direction from the steering wheel to the driver's seat is referred to as “rear direction (rear)”. Call. In addition, the vehicle traveling direction and the direction perpendicular to the vertical line may be referred to as the “width direction”.

＜１．第１実施形態＞
＜１−１．道路標示認識装置の全体構成＞
図１は、第１実施形態の道路標示認識装置１の構成を示す図である。図１に示すように、道路標示認識装置１は例えば道路標示認識ＥＣＵ（Electronic Control Unit）であって、カメラ１１０及び表示装置１２０が接続され、車両制御ＥＣＵ１３０等とともに車両のＣＡＮ（Controller Area Network）２００に接続される。カメラ１１０及び表示装置１２０は道路標示認識装置１が搭載される車両と同一の車両に搭載される。道路標示認識装置１、カメラ１１０及び表示装置１２０によって道路標示認識システムが構築される。 <1. First Embodiment>
<1-1. Overall configuration of road marking recognition device>
FIG. 1 is a diagram illustrating a configuration of a road marking recognition apparatus 1 according to the first embodiment. As shown in FIG. 1, a road sign recognition device 1 is, for example, a road sign recognition ECU (Electronic Control Unit), to which a camera 110 and a display device 120 are connected, together with the vehicle control ECU 130 and the like, a CAN (Controller Area Network) of the vehicle. 200. The camera 110 and the display device 120 are mounted on the same vehicle as the vehicle on which the road sign recognition device 1 is mounted. A road marking recognition system is constructed by the road marking recognition apparatus 1, the camera 110, and the display apparatus 120.

カメラ１１０は道路標示認識装置１が搭載される車両の周辺を撮像する。カメラ１１０は例えばバックカメラである。バックカメラは例えば車両の後端部に配置され、車両の後方を撮像する。カメラ１１０は有線または無線で道路標示認識装置１に接続され、撮像した画像に係る信号を道路標示認識装置１に送信する。   The camera 110 captures the periphery of the vehicle on which the road sign recognition device 1 is mounted. The camera 110 is a back camera, for example. A back camera is arrange | positioned at the rear-end part of a vehicle, for example, and images the back of a vehicle. The camera 110 is connected to the road sign recognition apparatus 1 by wire or wireless, and transmits a signal related to the captured image to the road sign recognition apparatus 1.

なお、カメラ１１０として、車両の前方を撮像するフロントカメラ、車両の左右の側方を撮像する右サイドカメラ及び左サイドカメラ等を設けても良い。そして、道路標示認識装置１は、実空間上における車両の位置を基準として、後述する駐車領域の位置を算出することが可能である。カメラ１１０で撮像した画像における各画素の座標は、実空間上における車両に対する座標（所謂ワールド座標）に１対１で対応する。これにより、画像上で検出した駐車領域の座標値をワールド座標に変換することで、実空間上における車両の位置を基準とした駐車領域の位置を算出することができる。   As the camera 110, a front camera that captures the front of the vehicle, a right side camera that captures the left and right sides of the vehicle, a left side camera, and the like may be provided. The road marking recognition apparatus 1 can calculate the position of a parking area, which will be described later, based on the position of the vehicle in the real space. The coordinates of each pixel in the image captured by the camera 110 correspond one-to-one to the coordinates (so-called world coordinates) for the vehicle in real space. Thereby, the position of the parking area based on the position of the vehicle in the real space can be calculated by converting the coordinate value of the parking area detected on the image into the world coordinates.

表示装置１２０は車室に設けられ、その表示面（画面）が車室内に臨む。表示装置１２０は道路標示認識装置１からの指令を受信し、各種の情報を表示する。また、表示装置１２０はカメラ１１０から画像信号を受信し、カメラ１１０が撮像した画像を表示することもできる。例えば、表示装置１２０の画面にはカメラ１１０が撮像した車両の後方の画像が表示される。図２は表示装置１２０に表示された、道路標示認識装置１が用いるカメラ１１０の画像１１１の第一例を示す図である。   The display device 120 is provided in the passenger compartment, and its display surface (screen) faces the passenger compartment. The display device 120 receives a command from the road sign recognition device 1 and displays various information. The display device 120 can also receive an image signal from the camera 110 and display an image captured by the camera 110. For example, an image behind the vehicle captured by the camera 110 is displayed on the screen of the display device 120. FIG. 2 is a diagram showing a first example of the image 111 of the camera 110 displayed on the display device 120 and used by the road marking recognition device 1.

車両制御ＥＣＵ１３０は運転者による運転操作に従い、例えば車両の向きや速度等を制御する。さらに、車両制御ＥＣＵ１３０は道路標示認識装置１からの情報を受信し、その情報に従い、例えば車両の向き、速度等を制御することもできる。   The vehicle control ECU 130 controls, for example, the direction and speed of the vehicle according to the driving operation by the driver. Further, the vehicle control ECU 130 can receive information from the road sign recognition device 1 and control the direction, speed, etc. of the vehicle, for example, according to the information.

＜１−２．道路標示認識装置の詳細な構成＞
道路標示認識装置１は、図１に示す制御部１０及び記憶部２０を備える。 <1-2. Detailed configuration of road marking recognition device>
The road marking recognition apparatus 1 includes a control unit 10 and a storage unit 20 shown in FIG.

制御部１０は、図示しないＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を備えるコンピュータである。制御部１０は記憶部２０に記憶されたプログラムに基づいてＣＰＵが演算処理を行い、道路標示認識装置１の全体を統括的に制御する。   The control unit 10 is a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory) (not shown). In the control unit 10, the CPU performs arithmetic processing based on a program stored in the storage unit 20, and comprehensively controls the entire road sign recognition apparatus 1.

制御部１０はプログラムに基づいてＣＰＵが演算処理を行うことで実現される機能の一部として、映像取得部１１、検出部１２、判別部１３及び補完部１４を備える。   The control unit 10 includes a video acquisition unit 11, a detection unit 12, a determination unit 13, and a complement unit 14 as a part of functions realized by the CPU performing arithmetic processing based on a program.

映像取得部１１はカメラ１１０が撮像した画像１１１を取得する。映像取得部１１は画像１１１を所定時間（例えば１／３０秒）ごとに時間的に連続して取得する。   The video acquisition unit 11 acquires an image 111 captured by the camera 110. The video acquisition unit 11 acquires the images 111 continuously in time every predetermined time (for example, 1/30 seconds).

図２に示す画像１１１は、駐車場でカメラ１１０が撮像して得られる画像の一例である。画像１１１には、道路標示のひとつである駐車枠１１２の像と、車止め１１３の像とが含まれる。   An image 111 illustrated in FIG. 2 is an example of an image obtained by the camera 110 capturing an image in a parking lot. The image 111 includes an image of a parking frame 112 that is one of road signs and an image of a car stop 113.

駐車枠１１２は、例えばひとつの矩形の駐車領域Ａの三辺に配置された３本の区画線１１２ａ、１１２ｂを含み、路面に所定幅の白線或いは黄線で描かれる。２本の区画線１１２ａは車両の左右各々において車両の前後方向長さに対応する所定長さで延びる。１本の区画線１１２ｂは例えば車両が後退して駐車領域Ａに進入する場合の後方側の、区画線１１２ａの端部において幅方向に沿って延びる。なお、以下の説明において、区画線１１２ａ、１１２ｂを限定する必要が無い場合、単に「駐車枠１１２」と総称することがある。また、区画線１１２ａ、１１２ｂ各々を形容する場合、「車両の左右の区画線１１２ａ」、「車両の後方の区画線１１２ｂ」と記述することがある。   The parking frame 112 includes, for example, three partition lines 112a and 112b arranged on three sides of one rectangular parking area A, and is drawn with a white line or a yellow line having a predetermined width on the road surface. The two lane markings 112a extend at a predetermined length corresponding to the longitudinal length of the vehicle on each of the left and right sides of the vehicle. One lane marking 112b extends along the width direction at the end of the lane marking 112a on the rear side when the vehicle retreats and enters the parking area A, for example. In the following description, when there is no need to limit the lane markings 112a and 112b, they may be simply referred to as “parking frame 112”. Further, when describing each of the lane markings 112a and 112b, they may be described as "the lane marking 112a on the left and right of the vehicle" and "the lane marking 112b on the rear of the vehicle".

車止め１１３は駐車枠１１２で囲まれたひとつの駐車領域Ａに対して、例えば車両の後方の区画線１１２ｂの近傍に、車両の幅方向に並べて２個設置される。車止め１１３は、例えばコンクリート製のブロックで構成され、略直方体形状である。   Two parking stops 113 are installed side by side in the width direction of the vehicle, for example, in the vicinity of the lane marking 112b behind the vehicle, for one parking area A surrounded by the parking frame 112. The car stopper 113 is made of, for example, a concrete block and has a substantially rectangular parallelepiped shape.

検出部１２はカメラ１１０から取得した画像１１１から駐車枠１１２及び車止め１１３を検出する。検出部１２は画像１１１に対して画像処理を行い、画像１１１中の所謂エッジを抽出することによって駐車枠１１２及び車止め１１３を検出する。   The detection unit 12 detects the parking frame 112 and the vehicle stop 113 from the image 111 acquired from the camera 110. The detection unit 12 performs image processing on the image 111 and extracts a so-called edge in the image 111 to detect the parking frame 112 and the car stop 113.

一般的に多くの駐車場では、路面がアスファルトであって、駐車枠１１２には白色または黄色等の明るい色彩が施され、車止め１１３は白色に近いコンクリート製である。いずれにせよ、路面に対して、駐車枠１１２及び車止め１１３には視認性が高い、目立つ色合いが用いられることが多い。これにより、駐車枠１１２及び車止め１１３の輝度と駐車場の路面表面の輝度との間に輝度差が発生する。この輝度差に基づく輝度変化は一定範囲になるために、輝度変化が一定範囲となるエッジを抽出することにより、駐車枠１１２及び車止め１１３の検出を行うことができる。なお、画像内の「エッジ」は、画素間の輝度が所定以上の大きさで変化する部分である。   Generally, in many parking lots, the road surface is asphalt, the parking frame 112 is brightly colored such as white or yellow, and the car stop 113 is made of concrete close to white. In any case, a conspicuous color with high visibility is often used for the parking frame 112 and the car stop 113 on the road surface. Thereby, a luminance difference is generated between the luminance of the parking frame 112 and the car stop 113 and the luminance of the road surface of the parking lot. Since the luminance change based on this luminance difference is in a certain range, the parking frame 112 and the car stop 113 can be detected by extracting an edge where the luminance change is in the certain range. The “edge” in the image is a portion where the luminance between pixels changes with a predetermined magnitude or more.

また、検出部１２は車両の移動過程の異なる位置で撮像された２つの画像１１１内において抽出された路面の特徴点のベクトル（オプティカルフロー）から、車両の移動量及び方向を導出する。なお、画像内の「特徴点」は、エッジ抽出の結果として安定的に検出可能な画像内の特徴的な点であり、例えば駐車枠１１２や車止め１１３の一部、路面のヒビ、シミ、砂利等が該当する。そして、検出部１２は、導出した車両の移動量及び方向に基づいて画像１１１内における車両を駐車するための駐車領域Ａに注目し、駐車枠１１２及び車止め１１３を検出する。   In addition, the detection unit 12 derives the moving amount and direction of the vehicle from the vector (optical flow) of the road surface feature points extracted in the two images 111 captured at different positions in the moving process of the vehicle. The “feature point” in the image is a characteristic point in the image that can be stably detected as a result of edge extraction. For example, a part of the parking frame 112 or the car stop 113, cracks, stains, gravel on the road surface. Etc. And the detection part 12 pays attention to the parking area A for parking the vehicle in the image 111 based on the derived | led-out movement amount and direction of the vehicle, and detects the parking frame 112 and the vehicle stop 113. FIG.

ここで、カメラ１１０が撮像した画像１１１内の駐車枠１１２や車道の区画線（例えば車道中央線）等の道路標示には、路面上の障害物や、カメラレンズに付着した汚れ等のために、見かけ上欠損した中断部が生じる場合がある。また、駐車枠１１２や車道の区画線等は、経時劣化や車両のタイヤ等との摩擦などによって実際に消えてしまうという中断部が生じる場合がある。   Here, road markings such as the parking frame 112 in the image 111 captured by the camera 110 and the road marking line (for example, the road center line) are due to obstacles on the road surface, dirt attached to the camera lens, and the like. In some cases, the apparently interrupted portion may occur. In addition, the parking frame 112, the lane markings of the roadway, and the like may be interrupted by actual disappearance due to deterioration with time, friction with vehicle tires, or the like.

検出部１２は画像１１１内の道路標示（例えば駐車枠１１２）におけるこれらの中断部を検出する。この中断部の検出に関して、記憶部２０は道路標示に係る情報である道路標示情報２１を記憶する。道路標示情報２１としては例えば道路標示の規則性や種類、仕様を表す情報を含む。検出部１２は道路標示情報２１として予め記憶された道路標示の規則性や種類、仕様に基づき道路標示の形状や大きさを認識するとともに、その道路標示における中断部を検出する。   The detection unit 12 detects these interruptions in a road sign (for example, the parking frame 112) in the image 111. Regarding the detection of the interrupting portion, the storage unit 20 stores road marking information 21 which is information related to the road marking. The road marking information 21 includes, for example, information indicating the regularity, type, and specification of road marking. The detection unit 12 recognizes the shape and size of the road marking based on the regularity, type, and specification of the road marking stored in advance as the road marking information 21 and detects an interruption portion in the road marking.

判別部１３は画像１１１内の道路標示における中断部に路面上の障害物が存在するか否かを判別する。判別部１３は車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１に基づき中断部に路面上の障害物が存在するか否かを判別する。この障害物の判別には、例えば先に説明したオプティカルフローや移動ステレオ方式などの手法が用いられる。移動ステレオ方式では、車両の移動に伴って車載カメラが移動すると、路面上の比較的高い障害物の移動量（ベクトルの大きさ）が路面の移動量よりも大きくなるという特徴を利用して障害物を検出する。   The determination unit 13 determines whether or not there is an obstacle on the road surface at the interrupted part of the road marking in the image 111. The discriminating unit 13 discriminates whether or not there is an obstacle on the road surface in the interrupting unit based on a plurality of images 111 taken in time series at different positions in the moving process of the vehicle. For the discrimination of the obstacle, for example, a method such as the optical flow or the moving stereo method described above is used. In the moving stereo system, when the vehicle-mounted camera moves with the movement of the vehicle, it is possible to take advantage of the feature that the movement amount (vector size) of a relatively high obstacle on the road surface is larger than the movement amount of the road surface. Detect objects.

判別部１３は画像１１１内の道路標示における中断部に路面上の障害物が存在するか否かに加えて、障害物の高さも認識することができる。障害物の高さの認識については、例えば予め定めた所定高さの障害物に関する画像パターンを道路標示情報２１として記憶させておくことで、障害物の高さの認識精度を向上させることができる。   The determination unit 13 can also recognize the height of the obstacle in addition to whether or not there is an obstacle on the road surface at the interruption portion in the road marking in the image 111. Regarding the recognition of the height of the obstacle, for example, by storing an image pattern relating to the obstacle having a predetermined height as the road marking information 21, the recognition accuracy of the height of the obstacle can be improved. .

補完部１４は、中断部に障害物が存在しない場合、道路標示の中断部を補完する補完処理を実施する。ここで言う補完処理としては、道路標示認識装置１の内部における処理と、表示装置１２０に表示する処理と、の２種類の処理がある。これら２種類の補完処理は、両方とも実施しても良いし、いずれかのみ実施しても良い。   When there is no obstacle in the interrupting part, the complementing part 14 performs a complementing process for complementing the interrupting part of the road marking. There are two types of supplementary processing, that is, processing inside the road sign recognition device 1 and processing displayed on the display device 120. Both of these two types of complementary processing may be performed, or only one of them may be performed.

道路標示認識装置１の内部における補完処理は、車両の進行方向における道路標示（例えば駐車枠１１２）の連続性、一定性、すなわち車両のこれまでの移動過程において撮像された画像内の道路標示のパターンや車両の進行方向における道路標示の存在に基づき、中断部の箇所において道路標示が車両の進行方向に繋がっていると、道路標示認識装置１の内部で認識する処理を意味する。この処理は、車両を自動的に駐車枠１１２内に駐車する自動駐車システム等の自動運転や、障害物検知に用いるカメラのキャリブレーション（カメラの角度設定等）に適用することができる。   Complementary processing inside the road marking recognition apparatus 1 is the continuity and uniformity of the road marking (for example, the parking frame 112) in the traveling direction of the vehicle, that is, the road marking in the image captured in the process of moving the vehicle so far. This means a process of recognizing inside the road marking recognition device 1 that the road marking is connected to the traveling direction of the vehicle at the place of the interruption based on the presence of the road marking in the traveling direction of the pattern and the vehicle. This process can be applied to automatic driving such as an automatic parking system that automatically parks the vehicle in the parking frame 112, and calibration of a camera used for obstacle detection (camera angle setting, etc.).

表示装置１２０に表示する補完処理は、道路標示認識装置１の内部で中断部の箇所において繋がっている認識された道路標示を、像として画像上に形成して表示装置１２０の画面に表示する処理を意味する。このとき、例えば赤色等の目立つ色を用いて道路標示の像を表示することもできる。この処理は、運転者が、表示装置１２０の画像を後方確認に利用しながら自ら運転して駐車する場合に適用することができる。   The complementary process displayed on the display device 120 is a process in which the recognized road marking connected at the location of the interrupted portion inside the road marking recognition device 1 is formed on the image as an image and displayed on the screen of the display device 120. Means. At this time, for example, an image of a road sign can be displayed using a conspicuous color such as red. This process can be applied when the driver drives and parks himself / herself while using the image of the display device 120 for backward confirmation.

中断部に障害物が存在しない場合、補完部１４は道路標示の中断部が道路標示の掠れやカメラレンズに付着した汚れであると判定し、道路標示の中断部を補完する補完処理を実施する。この場合、補完部１４は車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１各々に記録された道路標示を用いて、道路標示の中断部に対する補完処理を実施する。すなわち、補完部１４は車両の移動過程で時系列に沿って撮像された複数の画像のうち従前の画像から中断部に対応する領域である道路標示の一部分の画素情報（例えば、色相・明度・彩度の色の三要素）を利用し、道路標示の中断部に対して補完処理を実施する。   When there is no obstacle in the interrupting part, the complementing part 14 determines that the interrupting part of the road marking is a blurring of the road marking or dirt adhering to the camera lens, and performs a complementing process for complementing the interrupting part of the road marking. . In this case, the complementing unit 14 performs a complementing process on the interrupting part of the road marking using the road markings recorded in each of the plurality of images 111 taken in time series at different positions in the vehicle movement process. That is, the complementing unit 14 includes pixel information (for example, hue, brightness, and the like) of a part of the road marking that is an area corresponding to the interruption unit from the previous image among a plurality of images captured in time series during the moving process of the vehicle. Complement processing is performed for the interruption part of the road marking using the three elements of saturation color).

補完部１４は、中断部に障害物が存在する場合、障害物の高さに基づき道路標示の補完処理が必要であるか否かを判別する。すなわち、補完部１４は、障害物の高さが予め定めた所定値以上の場合に道路標示の中断部に対する補完処理を禁止し、障害物の高さが当該所定値未満の場合に道路標示の中断部に対する補完処理を実施する。道路標示の補完処理の要否を判断するための障害物の高さの所定値は、例えば３０ｃｍが予め定められ、記憶部２０等に記憶される。   When there is an obstacle in the interrupting portion, the complementing unit 14 determines whether or not a road marking complementing process is necessary based on the height of the obstacle. That is, the complementing unit 14 prohibits the supplementary processing for the road marking interruption unit when the height of the obstacle is equal to or greater than a predetermined value, and the road marking is displayed when the height of the obstacle is less than the predetermined value. Perform complementary processing for the interrupted part. The predetermined value of the height of the obstacle for determining whether or not the road marking complementing process is necessary is determined in advance, for example, 30 cm and stored in the storage unit 20 or the like.

例えば、障害物が駐車領域Ａに置かれた高さ３０ｃｍを超える荷物のようなものである場合、補完部１４は道路標示である駐車枠１１２に対する補完処理を禁止する。一方例えば、障害物が駐車領域Ａに置かれた板や紙である場合、補完部１４は駐車枠１１２に対する補完処理を実施する。これらの板や紙が移動しない場合、従前の画像から障害物の箇所に対応する領域である駐車枠１１２の一部分の画素情報を利用することができないので、補完部１４は道路標示情報２１として記憶された駐車枠１１２の規則性や種類、仕様に基づき駐車枠１１２の障害物の箇所に対する補完処理を実施する。   For example, when the obstacle is like a luggage exceeding 30 cm in height placed in the parking area A, the complementing unit 14 prohibits the complementing process for the parking frame 112 that is a road marking. On the other hand, for example, when the obstacle is a board or paper placed in the parking area A, the complementing unit 14 performs a complementing process on the parking frame 112. If these boards and paper do not move, the pixel information of a part of the parking frame 112, which is the area corresponding to the location of the obstacle, cannot be used from the previous image, so the complementing unit 14 stores it as road marking information 21. Based on the regularity, type, and specifications of the parking frame 112, the supplement processing for the obstacle portion of the parking frame 112 is performed.

このように障害物の高さが所定値以上の場合に補完処理を禁止する理由は、補完してしまうと、補完した駐車枠１１２の像が障害物の像に重畳されて車両の運転者が障害物を視認できず、運転者が障害物を認識しないまま車両を移動させて障害物に衝突させてしまう虞があるためである。また、障害物の高さが所定値未満の場合に補完処理を実施する理由は、車両の移動により車両が障害物を乗り越えるなどして車両への危険性はないことから、障害物の位置に駐車枠１１２の像を重畳表示させることで、障害物によって運転者が視認できない駐車枠１１２を表示させ、運転者が車両を駐車枠１１２内に容易に駐車することができるようになるからである。   As described above, the reason why the supplement processing is prohibited when the height of the obstacle is equal to or greater than the predetermined value is that if the supplement is completed, the complemented image of the parking frame 112 is superimposed on the obstacle image, and the driver of the vehicle This is because the obstacle cannot be visually recognized, and the driver may move the vehicle without recognizing the obstacle and collide with the obstacle. The reason why supplementary processing is performed when the height of the obstacle is less than the predetermined value is that there is no danger to the vehicle because the vehicle moves over the obstacle by moving the vehicle. This is because by displaying the image of the parking frame 112 in a superimposed manner, the parking frame 112 that cannot be seen by the driver due to an obstacle is displayed, and the driver can easily park the vehicle in the parking frame 112. .

また、上記のように駐車枠１１２の中断部に対して補完処理を実施することで、自動駐車システム等の自動運転において容易に、車両を自動的に駐車枠１１２内に駐車することができる。そして、障害物の高さが所定値以上の場合に補完処理を禁止することにより、補完した駐車枠１１２が障害物の位置で繋がっていると道路標示認識装置１が誤認識することを抑制することができる。これにより、自動駐車時に、車両を障害物に衝突させてしまうことを防止することが可能である。また、障害物の高さが所定値未満の場合に補完処理を実施することにより、自動駐車時に、自動的に車両に障害物を乗り越えさせるなどして車両を駐車枠１１２内に駐車させることができる。   In addition, by performing the complementary processing on the interrupting portion of the parking frame 112 as described above, the vehicle can be automatically parked in the parking frame 112 easily in automatic driving such as an automatic parking system. Then, when the height of the obstacle is equal to or greater than a predetermined value, the supplementary processing is prohibited, thereby preventing the road sign recognition device 1 from erroneously recognizing that the complemented parking frame 112 is connected at the position of the obstacle. be able to. Thereby, it is possible to prevent the vehicle from colliding with an obstacle during automatic parking. Further, when the height of the obstacle is less than a predetermined value, the vehicle can be parked in the parking frame 112 by, for example, automatically getting over the obstacle during the automatic parking. it can.

また、上記のような道路標示認識装置１の道路標示に対する補完処理に係る機能は、例えば障害物検知機能を有する従来の障害物検知ＥＣＵに付加することができる。これにより、画像内の補完された駐車枠等の道路標示を、障害物検知に用いるカメラの角度の算出に利用することが可能になる。カメラの角度は実測が困難であることから、画像内の補完された道路標示を利用することで、障害物検知に用いるカメラのキャリブレーションの精度を向上させることができる。さらに、障害物検知ＥＣＵにおける障害物検知の精度を高めることが可能になる。   Moreover, the function which concerns on the complementary process with respect to the road marking of the above road marking recognition apparatuses 1 can be added to the conventional obstacle detection ECU which has an obstacle detection function, for example. This makes it possible to use the road marking such as the complemented parking frame in the image for calculating the angle of the camera used for obstacle detection. Since it is difficult to actually measure the camera angle, the accuracy of calibration of the camera used for obstacle detection can be improved by using the supplemented road marking in the image. Furthermore, the accuracy of obstacle detection in the obstacle detection ECU can be improved.

＜１−３．障害物の判別及び道路標示の補完処理の具体例＞
続いて、障害物の判別及び道路標示の補完処理の具体例について、図３〜図１０に示した４つの例を用いて説明する。 <1-3. Specific examples of obstacle discrimination and road marking supplementary processing>
Next, specific examples of obstacle discrimination and road marking complement processing will be described with reference to the four examples shown in FIGS.

図３は道路標示認識装置１が用いるカメラ１１０の画像の第二例を示す図である。図４は図３の所定時間後のカメラ１１０の画像を示す図である。すなわち、図３に示す画像１１１Ｐと、図４に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図３に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが１箇所存在する。   FIG. 3 is a diagram illustrating a second example of an image of the camera 110 used by the road marking recognition apparatus 1. FIG. 4 is a diagram showing an image of the camera 110 after a predetermined time in FIG. That is, the image 111P shown in FIG. 3 and the image 111N shown in FIG. 4 are two images taken in time series at different positions in the moving process of the vehicle. As shown in FIG. 3, a parking frame 112 and a car stop 113 are provided in the parking lot. The parking frame 112 has one interruption portion 112z.

検出部１２は図３に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの一方に中断部１１２ｚがあることを検出する。   The detection unit 12 detects the parking frame 112, the vehicle stop 113, and the parking area A in the image 111P shown in FIG. Furthermore, the detection unit 12 detects that there is an interruption unit 112z on one of the left and right lane markings 112a based on the road marking information 21 such as regularity, type, and specifications related to the parking frame 112.

判別部１３は図３に示す画像１１１Ｐと、図４に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で移動していないことを判別する。すなわち、判別部１３は中断部１１２ｚに路面上の障害物が存在するわけではなく、中断部１１２ｚがカメラレンズに付着した汚れ等であることを判別する。   The discriminating unit 13 discriminates that the interrupting unit 112z in the lane marking 112a of the parking frame 112 has not moved on the image based on the two images 111P shown in FIG. 3 and the image 111N shown in FIG. That is, the determination unit 13 determines that there is no obstacle on the road surface in the interruption unit 112z, and that the interruption unit 112z is dirt or the like attached to the camera lens.

中断部１１２ｚが路面上の障害物ではないので、補完部１４は図４に示す画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を実施する。補完部１４は、従前の画像である図３に示す画像１１１Ｐから中断部１１２ｚに対応する領域である区画線１１２ａの一部分（図３の破線円１１２ｃ内）の画素情報を利用し、図４に示すように区画線１１２ａの中断部１１２ｚに対する補完処理を実施する（図４の破線）。   Since the interrupting unit 112z is not an obstacle on the road surface, the complementing unit 14 performs a complementing process on the partition line 112a of the parking frame 112 in the image 111N illustrated in FIG. The complementing unit 14 uses the pixel information of a part of the partition line 112a (inside the broken line circle 112c in FIG. 3) corresponding to the interruption unit 112z from the image 111P shown in FIG. As shown in the drawing, a complementary process for the interrupting portion 112z of the lane marking 112a is performed (broken line in FIG. 4).

図５は道路標示認識装置１が用いるカメラ１１０の画像の第三例を示す図である。図６は図５の所定時間後のカメラ１１０の画像を示す図である。すなわち、図５に示す画像１１１Ｐと、図６に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図５に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが１箇所存在する。   FIG. 5 is a diagram illustrating a third example of an image of the camera 110 used by the road marking recognition apparatus 1. FIG. 6 is a view showing an image of the camera 110 after a predetermined time in FIG. That is, the image 111P shown in FIG. 5 and the image 111N shown in FIG. 6 are two images taken in time series at different positions in the moving process of the vehicle. As shown in FIG. 5, a parking frame 112 and a car stop 113 are provided in the parking lot. The parking frame 112 has one interruption portion 112z.

検出部１２は図５に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの一方に中断部１１２ｚがあることを検出する。   The detection unit 12 detects the parking frame 112, the vehicle stop 113, and the parking area A in the image 111P shown in FIG. Furthermore, the detection unit 12 detects that there is an interruption unit 112z on one of the left and right lane markings 112a based on the road marking information 21 such as regularity, type, and specifications related to the parking frame 112.

判別部１３は図５に示す画像１１１Ｐと、図６に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で区画線１１２ａとともに移動していることを判別する。すなわち、判別部１３は中断部１１２ｚに路面上の障害物１１４が存在することを判別する。さらに、判別部１３は障害物１１４の高さを認識する。なおここでは、例えば障害物１１４が所定値である３０ｃｍを超える高さの物体であるとする。   Based on the two images of the image 111P shown in FIG. 5 and the image 111N shown in FIG. 6, the determination unit 13 is such that the interruption unit 112z in the lane marking 112a of the parking frame 112 is moved together with the lane marking 112a on the image. Is determined. That is, the determination unit 13 determines that the obstacle 114 on the road surface exists in the interruption unit 112z. Further, the determination unit 13 recognizes the height of the obstacle 114. Here, for example, it is assumed that the obstacle 114 is an object having a height exceeding a predetermined value of 30 cm.

中断部１１２ｚに路面上の障害物１１４が存在するので、補完部１４は障害物１１４の高さに基づき区画線１１２ａの補完処理が必要であるか否かを判別する。障害物１１４の高さが３０ｃｍ（所定値）以上であるので、補完部１４は図６に示すように画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を禁止する。   Since there is an obstacle 114 on the road surface at the interrupting part 112z, the complementing part 14 determines whether or not the supplementing process of the lane marking 112a is necessary based on the height of the obstacle 114. Since the height of the obstacle 114 is 30 cm (predetermined value) or more, the complementing unit 14 prohibits the complementing process for the partition line 112a of the parking frame 112 in the image 111N as shown in FIG.

図７は道路標示認識装置１が用いるカメラ１１０の画像の第四例を示す図である。図８は図７の所定時間後のカメラ１１０の画像を示す図である。すなわち、図７に示す画像１１１Ｐと、図８に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図７に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが１箇所存在する。   FIG. 7 is a diagram showing a fourth example of the image of the camera 110 used by the road sign recognition apparatus 1. FIG. 8 is a diagram showing an image of the camera 110 after a predetermined time in FIG. That is, the image 111P shown in FIG. 7 and the image 111N shown in FIG. 8 are two images taken in time series at different positions in the moving process of the vehicle. As shown in FIG. 7, a parking frame 112 and a car stop 113 are provided in the parking lot. The parking frame 112 has one interruption portion 112z.

検出部１２は図７に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの一方に中断部１１２ｚがあることを検出する。   The detection unit 12 detects the parking frame 112, the vehicle stop 113, and the parking area A in the image 111P shown in FIG. Furthermore, the detection unit 12 detects that there is an interruption unit 112z on one of the left and right lane markings 112a based on the road marking information 21 such as regularity, type, and specifications related to the parking frame 112.

判別部１３は図７に示す画像１１１Ｐと、図８に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で区画線１１２ａとともに移動していることを判別する。すなわち、判別部１３は中断部１１２ｚに路面上の障害物１１５が存在することを判別する。さらに、判別部１３は障害物１１５の高さを認識する。なおここでは、例えば障害物１１５が所定値である３０ｃｍ未満の高さの板状の物体であるとする。   Based on the two images of the image 111P shown in FIG. 7 and the image 111N shown in FIG. 8, the discriminating unit 13 moves the interrupting part 112z in the lane marking 112a of the parking frame 112 together with the lane marking 112a on the image. Is determined. That is, the determination unit 13 determines that the obstacle 115 on the road surface exists in the interruption unit 112z. Further, the determination unit 13 recognizes the height of the obstacle 115. Here, for example, it is assumed that the obstacle 115 is a plate-like object having a height less than a predetermined value of 30 cm.

中断部１１２ｚに路面上の障害物１１５が存在するので、補完部１４は障害物１１５の高さに基づき区画線１１２ａの補完処理が必要であるか否かを判別する。障害物１１５の高さが３０ｃｍ（所定値）未満であるので、補完部１４は図８に示す画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を実施する。この場合、従前の画像である図７に示す画像１１１Ｐから障害物１１５の箇所に対応する領域である区画線１１２ａの一部分の画素情報を利用するが、２つの画像間で障害物１１５が移動していないので、画素情報を利用することができない。したがって、補完部１４は道路標示情報２１として記憶された区画線１１２ａの規則性や種類、仕様に基づき、図８に示すように区画線１１２ａの障害物１１５の箇所に対する補完処理を実施する（図８の破線）。   Since the obstacle 115 on the road surface exists in the interrupting part 112z, the complementing part 14 determines whether or not the supplementing process of the lane marking 112a is necessary based on the height of the obstacle 115. Since the height of the obstacle 115 is less than 30 cm (predetermined value), the complementing unit 14 performs a complementing process on the partition line 112a of the parking frame 112 in the image 111N shown in FIG. In this case, pixel information of a part of the partition line 112a that is a region corresponding to the location of the obstacle 115 is used from the image 111P illustrated in FIG. 7 that is the previous image, but the obstacle 115 moves between the two images. Pixel information cannot be used. Therefore, based on the regularity, type, and specification of the lane marking 112a stored as the road marking information 21, the complementing unit 14 performs a complementing process on the location of the obstacle 115 on the lane marking 112a (see FIG. 8). 8 dashed line).

なお、高さが３０ｃｍ未満である物体としては、板のほか、例えば紙や、コインパーキング等で一般的に見られる車両ロック装置が相当する。   Note that the object having a height of less than 30 cm corresponds to a vehicle locking device commonly found in, for example, paper or coin parking, in addition to a plate.

図９は道路標示認識装置１が用いるカメラ１１０の画像の第五例を示す図である。図１０は図９の所定時間後のカメラ１１０の画像を示す図である。すなわち、図９に示す画像１１１Ｐと、図１０に示す画像１１１Ｎとは車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像である。図９に示すように、駐車場には駐車枠１１２及び車止め１１３が設けられる。駐車枠１１２には中断部１１２ｚが２箇所存在する。   FIG. 9 is a diagram illustrating a fifth example of an image of the camera 110 used by the road marking recognition apparatus 1. FIG. 10 is a diagram showing an image of the camera 110 after a predetermined time in FIG. That is, the image 111P shown in FIG. 9 and the image 111N shown in FIG. 10 are two images taken along the time series at different positions in the moving process of the vehicle. As shown in FIG. 9, a parking frame 112 and a car stop 113 are provided in the parking lot. The parking frame 112 has two interruption portions 112z.

検出部１２は図９に示す画像１１１Ｐにおいて、駐車枠１１２、車止め１１３及び駐車領域Ａを検出する。さらに、検出部１２は駐車枠１１２に係る規則性や種類、仕様といった道路標示情報２１に基づき、車両の左右の区画線１１２ａの両方に１箇所ずつ中断部１１２ｚがあることを検出する。   The detection unit 12 detects the parking frame 112, the vehicle stop 113, and the parking area A in the image 111P shown in FIG. Furthermore, the detection unit 12 detects that there are one interruption unit 112z on both the left and right lane markings 112a of the vehicle based on the road marking information 21 such as regularity, type, and specifications related to the parking frame 112.

判別部１３は図９に示す画像１１１Ｐと、図１０に示す画像１１１Ｎとの２つの画像に基づき、駐車枠１１２の区画線１１２ａにおける中断部１１２ｚが画像上で区画線１１２ａとともに移動していることを判別する。そして、それらの２つの画像に基づき、判別部１３は中断部１１２ｚに路面上の障害物が存在しないことを判別し、さらに中断部１１２ｚが区画線１１２ａの掠れであることを判別する。   Based on the two images of the image 111P shown in FIG. 9 and the image 111N shown in FIG. 10, the discriminating unit 13 moves the interruption part 112z in the lane marking 112a of the parking frame 112 together with the lane marking 112a on the image. Is determined. Then, based on these two images, the determination unit 13 determines that there is no obstacle on the road surface in the interruption unit 112z, and further determines that the interruption unit 112z is a droop of the lane marking 112a.

中断部１１２ｚが区画線１１２ａの掠れであるので、補完部１４は図１０に示す画像１１１Ｎにおいて駐車枠１１２の区画線１１２ａに対する補完処理を実施する。この場合、従前の画像である図９に示す画像１１１Ｐから中断部１１２ｚ（掠れ）の箇所に対応する領域である区画線１１２ａの一部分の画素情報を利用するが、２つの画像間で中断部１１２ｚが移動していないので、画素情報を利用することができない。したがって、補完部１４は道路標示情報２１として記憶された区画線１１２ａの規則性や種類、仕様に基づき、図１０示すように区画線１１２ａの中断部１１２ｚ（掠れ）の箇所に対する補完処理を実施する（図１０の破線）。   Since the interrupting portion 112z is a stagnation of the lane marking 112a, the complementing portion 14 performs a complementing process for the lane marking 112a of the parking frame 112 in the image 111N shown in FIG. In this case, the pixel information of a part of the partition line 112a that is an area corresponding to the location of the interruption portion 112z (blurring) is used from the image 111P illustrated in FIG. 9 that is the previous image, but the interruption portion 112z between the two images. Is not moved, the pixel information cannot be used. Accordingly, the complementing unit 14 performs a complementing process on the location of the interrupting part 112z (dripping) of the lane marking 112a based on the regularity, type, and specification of the lane marking 112a stored as the road marking information 21 as shown in FIG. (Dotted line in FIG. 10).

＜１−４．道路標示認識装置の動作＞
続いて、第１実施形態の道路標示認識装置１の動作について説明する。図１１は、道路標示認識装置１の動作例を示すフローチャートである。なお、このフローチャートを用いた説明において、カメラ１１０が撮像した画像としては、上記図３〜図１０の画像１１１Ｐ、１１１Ｂを適宜用いて説明する。 <1-4. Operation of road marking recognition device>
Then, operation | movement of the road marking recognition apparatus 1 of 1st Embodiment is demonstrated. FIG. 11 is a flowchart showing an operation example of the road marking recognition apparatus 1. In the description using this flowchart, the images 111P and 111B in FIGS. 3 to 10 will be used as appropriate as the images captured by the camera 110.

道路標示認識装置１はその動作開始を促すイベントの発生に基づき動作を開始する（図１１の「開始」）。道路標示認識装置１の動作開始イベントとしては、例えば車両のシフトレバーの位置がリバースレンジに切り替わったこと等を挙げることができる。なお、道路標示認識装置１の動作開始とともにカメラ１１０及び表示装置１２０も動作を開始し、表示装置１２０の画面にカメラ１１０が撮像した車両の後方の画像が表示される。   The road sign recognition apparatus 1 starts the operation based on the occurrence of an event that prompts the start of the operation (“Start” in FIG. 11). As an operation start event of the road marking recognition apparatus 1, for example, the position of the shift lever of the vehicle is switched to the reverse range. Note that the camera 110 and the display device 120 also start operating together with the start of the operation of the road sign recognition device 1, and an image behind the vehicle captured by the camera 110 is displayed on the screen of the display device 120.

道路標示認識装置１が動作を開始すると、検出部１２が、カメラ１１０が取得した画像１１１Ｐから道路標示を検出する（図１１のステップＳ１０１）。なお、画像は、映像取得部１１が所定時間（例えば１／３０秒）ごとに時間的に連続して取得する。また、検出部１２は車両の移動量及び方向に基づいて車両を駐車するための駐車領域Ａに注目し、駐車枠１１２等の道路標示を検出する。   When the road sign recognition apparatus 1 starts operating, the detection unit 12 detects a road sign from the image 111P acquired by the camera 110 (step S101 in FIG. 11). The image is acquired continuously in time by the video acquisition unit 11 every predetermined time (for example, 1/30 seconds). Moreover, the detection part 12 pays attention to the parking area A for parking a vehicle based on the moving amount and direction of a vehicle, and detects road markings, such as the parking frame 112. FIG.

続いて、検出部１２は、画像１１１Ｐ内において検出した道路標示である駐車枠１１２に中断部があるか否かを判定する（ステップＳ１０２）。検出部１２は道路標示情報２１として予め記憶された駐車枠１１２の規則性や種類、仕様に基づき駐車枠１１２の形状や大きさを認識するとともに、その駐車枠１１２における中断部１１２ｚを検出する。   Subsequently, the detecting unit 12 determines whether or not there is an interrupted part in the parking frame 112 that is the road marking detected in the image 111P (step S102). The detection unit 12 recognizes the shape and size of the parking frame 112 based on the regularity, type, and specification of the parking frame 112 stored in advance as the road marking information 21, and detects the interruption unit 112 z in the parking frame 112.

駐車枠１１２に中断部１１２ｚがある場合（ステップＳ１０２のＹｅｓ）、判別部１３は画像１１１Ｐ内の駐車枠１１２における中断部１１２ｚに路面上の障害物が存在するか否かを判別する（ステップＳ１０３）。判別部１３は、車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像１１１に基づき中断部１１２ｚに路面上の障害物が存在するか否かを判別する。   If the parking frame 112 includes the interrupting part 112z (Yes in step S102), the determination unit 13 determines whether there is an obstacle on the road surface in the interrupting part 112z in the parking frame 112 in the image 111P (step S103). ). The determination unit 13 determines whether or not there is an obstacle on the road surface in the interrupting unit 112z based on two images 111 taken in time series at different positions in the moving process of the vehicle.

例えば、図３及び図４を用いて先に説明したように、駐車枠１１２における中断部１１２ｚに路面上の障害物が存在しない場合（ステップＳ１０３のＮｏ）、補完部１４は図４に示すように画像１１１Ｎにおいて駐車枠１１２に対する補完処理を実施する（ステップＳ１０４）。   For example, as described above with reference to FIGS. 3 and 4, when there is no obstacle on the road surface at the interrupting portion 112 z in the parking frame 112 (No in step S <b> 103), the complementing portion 14 is as shown in FIG. 4. Further, a complementary process is performed on the parking frame 112 in the image 111N (step S104).

また例えば、図９及び図１０を用いて先に説明したように、中断部１１２ｚに路面上の障害物が存在せず（ステップＳ１０３のＮｏ）、中断部１１２ｚが駐車枠１１２の掠れであると判別された場合、補完部１４は図１０に示すように画像１１１Ｎにおいて駐車枠１１２の掠れの箇所（中断部１１２ｚ）に対する補完処理を実施する（ステップＳ１０４）。   Further, for example, as described above with reference to FIGS. 9 and 10, there is no obstacle on the road surface in the interrupting portion 112z (No in Step S103), and the interrupting portion 112z is a drowning of the parking frame 112. When it is determined, the complementing unit 14 performs a complementing process for the portion of the parking frame 112 that has been turned over (interruption unit 112z) in the image 111N as shown in FIG. 10 (step S104).

一方、駐車枠１１２における中断部１１２ｚに路面上の障害物が存在する場合（ステップＳ１０３のＹｅｓ）、判別部１３が障害物の高さを認識する（ステップＳ１０５）。   On the other hand, when there is an obstacle on the road surface at the interrupting portion 112z in the parking frame 112 (Yes in Step S103), the determination unit 13 recognizes the height of the obstacle (Step S105).

続いて、補完部１４が路面上の障害物の高さに基づき駐車枠１１２の補完処理が必要であるか否かを判別する（ステップＳ１０６）。   Subsequently, the complement unit 14 determines whether or not the supplement processing of the parking frame 112 is necessary based on the height of the obstacle on the road surface (step S106).

例えば、図５及び図６を用いて先に説明したように、障害物１１４の高さが所定値（例えば３０ｃｍ）以上である場合、補完部１４は駐車枠１１２の補完処理が必要ないと判定する（ステップＳ１０６のＮｏ）。これにより、補完部１４は図６に示すように画像１１１Ｎにおいて駐車枠１１２に対する補完処理を禁止する。   For example, as described above with reference to FIGS. 5 and 6, when the height of the obstacle 114 is a predetermined value (for example, 30 cm) or more, the complementing unit 14 determines that the parking frame 112 complementing process is not necessary. (No in step S106). Thereby, the complement part 14 prohibits the complement process with respect to the parking frame 112 in the image 111N, as shown in FIG.

一方例えば、図７及び図８を用いて先に説明したように、障害物１１５の高さが所定値（例えば３０ｃｍ）未満である場合、補完部１４は駐車枠１１２の補完処理が必要であると判定する（ステップＳ１０６のＹｅｓ）。これにより、補完部１４は図８に示すように画像１１１Ｎにおいて駐車枠１１２に対する補完処理を実施する（ステップＳ１０４）。   On the other hand, for example, as described above with reference to FIGS. 7 and 8, when the height of the obstacle 115 is less than a predetermined value (for example, 30 cm), the complementing unit 14 needs to complement the parking frame 112. (Yes in step S106). Thereby, the complement part 14 performs the complement process with respect to the parking frame 112 in the image 111N, as shown in FIG. 8 (step S104).

そして、道路標示認識装置１の動作を終了するか否かが判定される（ステップＳ１０７）。道路標示認識装置１の動作終了イベントとしては、例えば車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。動作終了イベントが発生していれば（ステップＳ１０７のＹｅｓ）、道路標示認識装置１は動作を終了する（図１１の「終了」）。動作終了イベントが発生していなければ（ステップＳ１０７のＮｏ）、ステップＳ１０１に戻り、道路標示認識装置１は動作を継続する。   Then, it is determined whether or not to end the operation of the road sign recognition apparatus 1 (step S107). As an operation end event of the road marking recognition apparatus 1, for example, the position of the shift lever of the vehicle is switched from the reverse range to another range. If an operation end event has occurred (Yes in step S107), the road sign recognition apparatus 1 ends the operation ("END" in FIG. 11). If the operation end event has not occurred (No in step S107), the process returns to step S101, and the road sign recognition apparatus 1 continues the operation.

なお、道路標示認識装置１の動作終了イベントを常時監視し、上記フローの途中であっても、動作終了イベントが発生すれば、直ちに道路標示認識装置１が動作を終了することにしても良い。   In addition, the operation end event of the road sign recognition apparatus 1 may be constantly monitored, and even if the operation end event occurs even in the middle of the flow, the road sign recognition apparatus 1 may immediately end the operation.

上記第１実施形態のように、道路標示認識装置１は、車両の周辺を撮像するカメラ１１０から取得した画像１１１から道路標示である駐車枠１１２及び駐車枠１１２における中断部１１２ｚを検出する検出部１２と、画像１１１内の中断部１１２ｚに路面上の障害物が存在するか否かを判別する判別部１３と、駐車枠１１２の中断部１１２ｚに対する補完処理を実施する補完部１４と、を備える。そして、補完部１４は、中断部１１２ｚに障害物が存在する場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を禁止する。   As in the first embodiment, the road sign recognition apparatus 1 detects a parking frame 112 that is a road sign and an interruption unit 112z in the parking frame 112 from an image 111 acquired from a camera 110 that captures the periphery of the vehicle. 12, a determination unit 13 that determines whether or not there is an obstacle on the road surface in the interrupting part 112 z in the image 111, and a complementing part 14 that performs a complementing process for the interrupting part 112 z of the parking frame 112. . And the complement part 14 prohibits the complement process with respect to the interruption part 112z of the parking frame 112, when an obstruction exists in the interruption part 112z.

この構成によれば、カメラ１１０から得た画像１１１から、駐車枠１１２の中断部１１２ｚと、中断部１１２ｚにおける障害物の有無とを認識することができる。そして、中断部１１２ｚにおける障害物の有無に基づいて、駐車枠１１２の中断部１１２ｚに対する補完処理の必要性を判別することができる。したがって、障害物を認識し、視認性の低い駐車枠１１２に対して適正に補完処理を実施することが可能になる。障害物を認識することができ、障害物への対応を迅速且つ適正に実施することが可能になる。また、例えば雨滴や汚泥がカメラレンズに付着して汚れていても、障害物と認識されることなく、駐車枠１１２が適正に補完処理される。そして、例えば道路標示認識装置１が補完した駐車枠１１２の像を車両の後方の画像１１１内に重ねて明示すれば、運転者は駐車枠１１２を容易に認識することができ、駐車枠１１２内に容易に駐車することが可能になる。   According to this configuration, it is possible to recognize from the image 111 obtained from the camera 110 the interruption unit 112z of the parking frame 112 and the presence or absence of an obstacle in the interruption unit 112z. And the necessity of the complementation process with respect to the interruption part 112z of the parking frame 112 can be discriminate | determined based on the presence or absence of the obstruction in the interruption part 112z. Therefore, it is possible to recognize the obstacle and appropriately perform the complementing process on the parking frame 112 with low visibility. Obstacles can be recognized, and it becomes possible to quickly and appropriately deal with the obstacles. For example, even if raindrops or sludge adheres to the camera lens and is dirty, the parking frame 112 is appropriately complemented without being recognized as an obstacle. For example, if the image of the parking frame 112 complemented by the road sign recognition device 1 is superimposed and clearly shown in the image 111 behind the vehicle, the driver can easily recognize the parking frame 112, and the inside of the parking frame 112 It becomes possible to park easily.

また、判別部１３は、車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像１１１に基づき駐車枠１１２の中断部１１２ｚに路面上の障害物が存在するか否かを判別する。この構成によれば、障害物と、カメラレンズに付着した汚れや駐車枠１１２の掠れ等とを適正に判別することが可能になる。   In addition, the determination unit 13 determines whether there is an obstacle on the road surface in the interrupting unit 112z of the parking frame 112 based on two images 111 taken in time series at different positions in the vehicle movement process. To do. According to this configuration, it is possible to properly determine an obstacle and dirt attached to the camera lens, a parking frame 112, or the like.

また、補完部１４は、車両の移動過程の異なる位置で時系列に沿って撮像された２つの画像１１１各々の駐車枠１１２の画素情報を利用して駐車枠１１２の中断部１１２ｚに対する補完処理を実施する。この構成によれば、駐車枠１１２の補完処理に対して画像１１１の駐車枠１１２の像を直接利用するので、より正確に駐車枠１１２に対する補完処理を実施することが可能になる。したがって、運転者が実際の駐車枠１１２内に駐車する精度を高めることができる。   Further, the complementing unit 14 performs a complementing process on the interrupting unit 112z of the parking frame 112 using pixel information of the parking frame 112 of each of the two images 111 captured in time series at different positions in the vehicle movement process. carry out. According to this configuration, since the image of the parking frame 112 of the image 111 is directly used for the complementary processing of the parking frame 112, it is possible to more accurately perform the complementary processing on the parking frame 112. Therefore, the accuracy with which the driver parks in the actual parking frame 112 can be increased.

また、補完部１４は、記憶部２０に記憶された駐車枠１１２の規則性や種類、仕様といった道路標示情報２１に基づき駐車枠１１２の中断部１１２ｚに対する補完処理を実施する。この構成によれば、例えば従前の画像から障害物の箇所に対応する領域である駐車枠１１２の一部分の画素情報（例えば、色相・明度・彩度の色の三要素）を利用することができない場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を実施することが可能になる。したがって、高さが比較的低い障害物が駐車枠１１２と重畳する場合や、駐車枠１１２が掠れている場合等において、正確に駐車枠１１２の中断部１１２ｚに対する補完処理を実施することが可能になる。   Further, the complementing unit 14 performs a complementing process on the interruption unit 112z of the parking frame 112 based on the road marking information 21 such as regularity, type, and specification of the parking frame 112 stored in the storage unit 20. According to this configuration, for example, pixel information (for example, three elements of hue, lightness, and saturation color) of a part of the parking frame 112 that is an area corresponding to the location of the obstacle cannot be used from the previous image. In this case, it is possible to perform a complementary process for the interrupting portion 112z of the parking frame 112. Therefore, when an obstacle with a relatively low height is superimposed on the parking frame 112, or when the parking frame 112 is drowned, it is possible to accurately carry out the complementary processing for the interruption portion 112z of the parking frame 112. Become.

そして、補完部１４は、障害物の高さが予め定めた所定値以上の場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を禁止し、障害物の高さが所定値未満の場合に、駐車枠１１２の中断部１１２ｚに対する補完処理を実施する。この構成によれば、必要に応じて駐車枠１１２の中断部１１２ｚに対する補完処理を実施することができる。したがって、障害物と、カメラレンズに付着した汚れや駐車枠１１２の掠れ等との判別を高精度に実現することが可能になる。   And the complement part 14 prohibits the complementary process with respect to the interruption part 112z of the parking frame 112, when the height of an obstruction is more than predetermined value, and when the height of an obstruction is less than a predetermined value, Complementary processing for the interruption portion 112z of the parking frame 112 is performed. According to this structure, the complement process with respect to the interruption part 112z of the parking frame 112 can be implemented as needed. Therefore, it is possible to accurately determine the obstacle and the dirt attached to the camera lens, the parking frame 112, and the like.

なお、上記実施形態において、駐車枠１１２は区画線がひとつの矩形の駐車領域Ａの三辺に配置される形態であることとしたが、駐車枠はこのような形態に限定されるわけでない。例えば、駐車枠が、車両の前後方向長さに対応する所定長さで延びる車両の左右２本の区画線のみで構成され、車両の前後の区画線が無い形態であっても良い。また、上記実施形態の駐車枠１１２は隣り合う他の駐車領域と区画線を共用する形態であるが、区画線が駐車領域ごとに個別に設けられる形態であっても良い。駐車枠がこれらのいずれの形態であっても、道路標示認識装置１は駐車枠として補完することができ、運転者に明示することが可能である。   In the above-described embodiment, the parking frame 112 is configured to be arranged on three sides of the parking area A having a rectangular shape, but the parking frame is not limited to such a configuration. For example, the parking frame may be configured by only two left and right lane markings of the vehicle extending at a predetermined length corresponding to the longitudinal length of the vehicle, and there may be no lane markings before and after the vehicle. Moreover, although the parking frame 112 of the said embodiment is a form which shares a dividing line with the other adjacent parking area, the form by which a dividing line is provided separately for every parking area may be sufficient. Regardless of the form of the parking frame, the road marking recognition device 1 can be supplemented as a parking frame and can be clearly shown to the driver.

さらに、駐車枠は路面に描かれた所定幅の線（帯）に限定されるわけではない。例えば、ロープ、タイル等の駐車枠を提示する他のものであっても、道路標示認識装置１は駐車枠として補完することができ、運転者に明示することが可能である。   Furthermore, the parking frame is not limited to a line (band) having a predetermined width drawn on the road surface. For example, the road marking recognition device 1 can be supplemented as a parking frame even if it is another device that presents a parking frame such as a rope or a tile, and can be clearly shown to the driver.

また、駐車領域Ａに複数の障害物が存在する場合、車両に近い障害物ほど道路標示認識装置１による処理の優先度を上げることが好ましい。これにより、車両に近い障害物を迅速に認識することができ、障害物への対応を一層早めることが可能になる。   Moreover, when there are a plurality of obstacles in the parking area A, it is preferable to increase the priority of the processing by the road sign recognition device 1 as the obstacle is closer to the vehicle. Thereby, the obstacle close to the vehicle can be recognized quickly, and the response to the obstacle can be further accelerated.

＜２．第２実施形態＞
次に、第２実施形態について説明する。図１２は、車道区画線認識装置１が用いるカメラの画像の第六例を示す図である。図１３は、図１２の所定時間後のカメラの画像を示す図である。図１４は、道路標示認識装置１の動作例を示すフローチャートである。なお、第２実施形態の基本的な構成は先に説明した第１実施形態と同じであるので、第１実施形態と異なる構成要素については以下で説明し、第１実施形態と共通する構成要素については詳細な説明を省略する。 <2. Second Embodiment>
Next, a second embodiment will be described. FIG. 12 is a diagram illustrating a sixth example of a camera image used by the roadway lane marking recognition device 1. FIG. 13 is a diagram showing an image of the camera after the predetermined time of FIG. FIG. 14 is a flowchart showing an operation example of the road marking recognition apparatus 1. Since the basic configuration of the second embodiment is the same as that of the first embodiment described above, the components that are different from the first embodiment will be described below, and the components that are common to the first embodiment. The detailed description is omitted.

第２実施形態の道路標示認識装置１は判別部１３が、図１２に示す画像１１１Ｐ内の障害物１１６が移動体であるか否かを判別する。判別部１３は、例えば車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１に基づき障害物１１６が移動体であるか否かを判別する。なおここでは、例えば障害物１１６が駐車場内を歩く歩行者であるとする。   In the road marking recognition apparatus 1 according to the second embodiment, the determination unit 13 determines whether or not the obstacle 116 in the image 111P illustrated in FIG. 12 is a moving object. For example, the determination unit 13 determines whether the obstacle 116 is a moving object based on a plurality of images 111 taken in time series at different positions in the moving process of the vehicle. Here, for example, it is assumed that the obstacle 116 is a pedestrian walking in the parking lot.

また、判別部１３は、図１２及び図１３に示すように車両の移動過程の異なる位置で時系列に沿って撮像された複数の画像１１１に基づき移動体である障害物１１６のこれまでの移動経路Ｒ１を導出する。そして、判別部１３は、障害物１１６のこれまでの移動経路Ｒ１に基づき予測される障害物１１６の今後の移動経路である予測移動経路Ｒ２を推定する。さらに、判別部１３は、引き続き障害物１１６が予測移動経路Ｒ２に沿って移動した場合に関して、予測移動経路Ｒ２と重畳する駐車枠１１２の重畳部１１２ｙを推定する。   Further, as shown in FIGS. 12 and 13, the determination unit 13 moves the obstacle 116 as a moving body so far based on a plurality of images 111 taken in time series at different positions in the moving process of the vehicle. A route R1 is derived. Then, the determination unit 13 estimates a predicted movement route R2 that is a future movement route of the obstacle 116 predicted based on the movement route R1 of the obstacle 116 so far. Further, the determination unit 13 estimates the overlapping unit 112y of the parking frame 112 that overlaps the predicted movement route R2 when the obstacle 116 continues to move along the predicted movement route R2.

補完部１４は重畳部１１２ｙにおいて駐車枠１１２に対する補完処理を禁止する。すなわち、以後の処理で取得された画像内で、重畳部１１２ｙにおいて駐車枠１１２に中断部が発生した場合、補完部１４は該中断部に対して補完処理を禁止する。   The complementing unit 14 prohibits the complementing process for the parking frame 112 in the superimposing unit 112y. That is, when an interruption part occurs in the parking frame 112 in the superimposing part 112y in the image acquired in the subsequent process, the complementing part 14 prohibits the interruption process for the interruption part.

続いて、第２実施形態の道路標示認識装置１の動作について、図１２〜図１４を用いて説明する。   Then, operation | movement of the road marking recognition apparatus 1 of 2nd Embodiment is demonstrated using FIGS. 12-14.

道路標示認識装置１が動作を開始すると（図１４の「開始」）、検出部１２が、カメラ１１０が取得した画像１１１Ｐ（図１２参照）から道路標示を検出する（ステップＳ２０１）。続いて、検出部１２は、画像１１１Ｐ内において検出した道路標示である駐車枠１１２に中断部があるか否かを判定する（ステップＳ２０２）。駐車枠１１２に中断部１１２ｚがある場合（ステップＳ２０２のＹｅｓ）、判別部１３は画像１１１Ｐ内の駐車枠１１２における中断部１１２ｚに路面上の障害物が存在するか否かを判別する（ステップＳ２０３）。   When the road sign recognition apparatus 1 starts operating (“start” in FIG. 14), the detection unit 12 detects a road sign from the image 111P (see FIG. 12) acquired by the camera 110 (step S201). Subsequently, the detecting unit 12 determines whether or not there is an interrupted part in the parking frame 112 that is the road marking detected in the image 111P (step S202). If the parking frame 112 includes the interrupting part 112z (Yes in step S202), the determination unit 13 determines whether there is an obstacle on the road surface in the interrupting part 112z in the parking frame 112 in the image 111P (step S203). ).

画像１１１Ｐ内に障害物１１６が存在する場合（ステップＳ２０３のＹｅｓ）、判別部１３は図１２に示す画像１１１Ｐと、図１３に示す画像１１１Ｎとの２つの画像に基づき、障害物１１６が移動体であるか否かを判別する（ステップＳ２０５）。障害物１１６が移動体である場合（ステップＳ２０５のＹｅｓ）、判別部１３は、図１３に示すように移動体である障害物１１６の予測移動経路Ｒ２及び当該予測移動経路Ｒ２における駐車枠１１２との重畳部１１２ｙを推定する（ステップＳ２０６）。   When the obstacle 116 exists in the image 111P (Yes in step S203), the determination unit 13 determines that the obstacle 116 is a moving object based on the two images of the image 111P illustrated in FIG. 12 and the image 111N illustrated in FIG. It is determined whether or not (step S205). When the obstacle 116 is a moving body (Yes in step S205), the determination unit 13 determines the predicted movement route R2 of the obstacle 116 that is the moving body and the parking frame 112 in the predicted movement route R2 as shown in FIG. Is estimated (step S206).

そして、補完部１４は重畳部１１２ｙにおいて駐車枠１１２に対して補完処理の禁止を設定する（ステップＳ２０７）。これにより、重畳部１１２ｙにおいて駐車枠１１２が補完されることなくステップＳ２１０に移行し、道路標示認識装置１の動作を終了するか否かが判定される。   And the complement part 14 sets prohibition of a complement process with respect to the parking frame 112 in the superimposition part 112y (step S207). Thereby, it is determined whether or not the operation of the road sign recognition apparatus 1 is finished by proceeding to step S210 without the parking frame 112 being complemented in the superimposing unit 112y.

なお、以後の処理で取得された画像内で、重畳部１１２ｙにおいて駐車枠１１２に中断部が発生した場合、予め補完処理の禁止が設定されているので、補完部１４は該中断部に対して補完処理を禁止する。   In addition, in the image acquired by subsequent processing, when the interruption part generate | occur | produces in the parking frame 112 in the superimposition part 112y, since the prohibition of a complementation process is previously set, the complement part 14 is with respect to this interruption part. Prohibit supplementary processing.

上記第２実施形態のように、道路標示認識装置１は判別部１３が、画像１１１Ｐ内の障害物１１６が移動体であるか否かを判別するとともに、移動体の予測移動経路Ｒ２及び当該予測移動経路Ｒ２と重畳する駐車枠１１２の重畳部１１２ｙを推定する。そして、補完部１４は、当該重畳部１１２ｙにおける駐車枠１１２に対する補完処理を禁止する。   As in the second embodiment, in the road sign recognition apparatus 1, the determination unit 13 determines whether or not the obstacle 116 in the image 111P is a moving object, and the predicted moving route R2 of the moving object and the prediction The overlapping portion 112y of the parking frame 112 that overlaps the movement route R2 is estimated. And the complement part 14 prohibits the complement process with respect to the parking frame 112 in the said superimposition part 112y.

この構成によれば、駐車枠１１２に対する補完処理の必要性を高精度に判別することができる。また、駐車枠１１２の重畳部１１２ｙにおいて不要な補完処理が禁止されるので、道路標示認識装置１における制御に係る負荷を低減させることが可能である。   According to this configuration, it is possible to determine with high accuracy the necessity for complement processing for the parking frame 112. Further, since unnecessary complement processing is prohibited in the superimposing unit 112y of the parking frame 112, it is possible to reduce the load related to the control in the road sign recognition device 1.

＜３．留意事項＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び変形例は可能な範囲で組み合わせて実施しても良い。 <3. Notes>
Various technical features disclosed in the present specification can be variously modified within the scope of the technical creation in addition to the above-described embodiment. That is, the above-described embodiment is an example in all respects, and should be considered not restrictive. The technical scope of the present invention is shown not by the above description of the embodiment but by the scope of the claims, and it should be understood that all modifications within the meaning and scope equivalent to the scope of the claims are included. It is. Moreover, you may implement combining several said embodiment and modification in the possible range.

また、上記実施形態において、道路標示認識装置１が駐車場の駐車枠１１２に対して補完処理を実施することとしたが、補完処理の対象となる道路標示は駐車枠に限定されるわけではない。道路標示認識装置１は、例えば車道中央線や車線境界線、横断歩道といった道路標示についても同様に補完処理を実施することが可能である。車道中央線や車線境界線に対して補完処理を実施すれば、走行中に車線を認識させる作用を向上させることができる。また、横断歩道などといった減速、停止の対象となる道路標示に対する認識も高まり、走行中の安全性をより一層向上させることが可能になる。さらに、障害物として、例えば横断歩道上の歩行者を認識することができ、歩行者への対応を迅速且つ適正に実施することが可能になる。   Moreover, in the said embodiment, although the road marking recognition apparatus 1 decided to implement a complementation process with respect to the parking frame 112 of a parking lot, the road marking used as the object of a complementation process is not necessarily limited to a parking frame. . The road marking recognition apparatus 1 can also perform complementary processing in the same manner for road markings such as a road center line, a lane boundary line, and a pedestrian crossing. If the complementary process is performed on the lane center line or the lane boundary line, the effect of recognizing the lane during traveling can be improved. In addition, recognition of road markings to be decelerated and stopped, such as pedestrian crossings, is increased, and it is possible to further improve safety during traveling. Further, as an obstacle, for example, a pedestrian on a pedestrian crossing can be recognized, and it becomes possible to quickly and appropriately implement a response to the pedestrian.

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。   Further, in the above-described embodiment, it has been described that various functions are realized in terms of software by CPU arithmetic processing according to a program. However, some of these functions are realized by an electrical hardware circuit. May be. Conversely, some of the functions realized by the hardware circuit may be realized by software.

１ 道路標示認識装置（画像処理装置）
１０ 制御部
１１ 映像取得部
１２ 検出部
１３ 判別部
１４ 補完部
２０ 記憶部
２１ 道路標示情報
１１０ カメラ
１１１、１１１Ｐ、１１１Ｎ 画像
１１２ 駐車枠（道路標示）
１１２ｙ 重畳部
１１２ｚ 中断部
１１４、１１５、１１６ 障害物
１２０ 表示装置
１３０ 車両制御ＥＣＵ
Ｒ１ 移動経路
Ｒ２ 予測移動経路 1 Road marking recognition device (image processing device)
DESCRIPTION OF SYMBOLS 10 Control part 11 Image | video acquisition part 12 Detection part 13 Discriminating part 14 Complementary part 20 Storage part 21 Road marking information 110 Camera 111, 111P, 111N Image 112 Parking frame (road marking)
112y Superimposing unit 112z Interrupting unit 114, 115, 116 Obstacle 120 Display device 130 Vehicle control ECU
R1 travel route R2 predicted travel route

Claims (7)

車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する検出部と、
前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する判別部と、
前記道路標示の前記中断部に対する補完処理を実施する補完部と、
を備え、
前記補完部は、前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する前記補完処理を禁止する
ことを特徴とする画像処理装置。 A detection unit that detects a road marking and an interruption in the road marking from an image acquired from a camera that captures the periphery of the vehicle;
A discriminating unit for discriminating whether or not there is an obstacle on the road surface in the interrupting unit in the image;
A complementing unit that performs a complementing process for the interrupting part of the road marking;
With
The complementing unit prohibits the complementing process for the interrupting part of the road marking when the obstacle exists in the interrupting part. 前記判別部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像に基づき前記中断部に路面上の障害物が存在するか否かを判別することを特徴とする請求項１に記載の画像処理装置。   The discriminating unit discriminates whether or not there is an obstacle on the road surface in the interrupting unit based on a plurality of the images taken in time series at different positions in the moving process of the vehicle. The image processing apparatus according to claim 1. 前記補完部は、前記車両の移動過程の異なる位置で時系列に沿って撮像された複数の前記画像各々の前記道路標示の画素情報を利用して前記道路標示の前記中断部に対する補完処理を実施することを特徴とする請求項１または請求項２に記載の画像処理装置。   The complement unit performs a complement process for the interrupting unit of the road marking using pixel information of the road marking of each of the plurality of images captured in time series at different positions in the moving process of the vehicle. The image processing apparatus according to claim 1, wherein the image processing apparatus is an image processing apparatus. 道路標示に係る道路標示情報を記憶する記憶部を備え、
前記補完部は、前記道路標示情報に基づき前記道路標示の前記中断部に対する補完処理を実施することを特徴とする請求項１または請求項２に記載の画像処理装置。 A storage unit for storing road marking information related to the road marking;
The image processing apparatus according to claim 1, wherein the complementing unit performs a complementing process for the interrupting unit of the road marking based on the road marking information. 前記判別部が、前記障害物の高さを認識し、
前記補完部は、前記障害物の高さが予め定めた所定値以上の場合に、前記道路標示の前記中断部に対する補完処理を禁止し、前記障害物の高さが前記所定値未満の場合に、前記道路標示の前記中断部に対する補完処理を実施することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。 The determination unit recognizes the height of the obstacle;
When the height of the obstacle is equal to or greater than a predetermined value, the complementing unit prohibits a supplementary process for the interruption part of the road marking, and when the height of the obstacle is less than the predetermined value. The image processing apparatus according to claim 1, wherein a complementary process is performed on the interrupted portion of the road marking. 前記判別部が、前記障害物が移動体であるか否かを判別するとともに、前記移動体の予測移動経路及び当該予測移動経路と重畳する前記道路標示の重畳部を推定し、
前記補完部は、前記重畳部における前記補完処理を禁止することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。 The determining unit determines whether or not the obstacle is a moving body, and estimates the predicted moving route of the moving body and the overlapping portion of the road marking that is overlapped with the predicted moving route,
The image processing apparatus according to claim 1, wherein the complement unit prohibits the complement processing in the superimposing unit. 車両の周辺を撮像するカメラから取得した画像から道路標示及び当該道路標示における中断部を検出する工程と、
前記画像内の前記中断部に路面上の障害物が存在するか否かを判別する工程と、
前記道路標示の前記中断部に対する補完処理を実施する工程と、
を含み、
前記中断部に前記障害物が存在する場合に、前記道路標示の前記中断部に対する補完処理を禁止する
ことを特徴とする画像処理方法。 Detecting a road marking and an interruption in the road marking from an image acquired from a camera that captures the periphery of the vehicle;
Determining whether there is an obstacle on the road surface in the interrupted portion in the image;
Carrying out a complementary process for the interrupted portion of the road marking;
Including
An image processing method, wherein, when the obstacle exists in the interrupting part, a complementary process for the interrupting part of the road marking is prohibited.
JP2017142617A 2017-07-24 2017-07-24 Image processing device and image processing method Active JP6947566B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017142617A JP6947566B2 (en) 2017-07-24 2017-07-24 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017142617A JP6947566B2 (en) 2017-07-24 2017-07-24 Image processing device and image processing method

Publications (2)

Publication Number Publication Date
JP2019023794A true JP2019023794A (en) 2019-02-14
JP6947566B2 JP6947566B2 (en) 2021-10-13

Family

ID=65368556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017142617A Active JP6947566B2 (en) 2017-07-24 2017-07-24 Image processing device and image processing method

Country Status (1)

Country Link
JP (1) JP6947566B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020040441A (en) * 2018-09-07 2020-03-19 本田技研工業株式会社 Automatic parking device and automatic parking method
WO2020195966A1 (en) * 2019-03-27 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 Imaging system, method of controlling imaging system, and object recognition system
JP2021135721A (en) * 2020-02-26 2021-09-13 株式会社アイシン Peripheral monitoring unit and program
WO2023166555A1 (en) * 2022-03-01 2023-09-07 日本電気株式会社 Road marking deterioration analysis device, method, and computer-readable medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084251A1 (en) * 2012-11-27 2014-06-05 クラリオン株式会社 Onboard image processing system
JP2016126605A (en) * 2015-01-06 2016-07-11 株式会社日立製作所 Travel environment recognition system
JP2016146118A (en) * 2015-02-09 2016-08-12 トヨタ自動車株式会社 Road surface detection apparatus and road surface detection method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014084251A1 (en) * 2012-11-27 2014-06-05 クラリオン株式会社 Onboard image processing system
JP2016126605A (en) * 2015-01-06 2016-07-11 株式会社日立製作所 Travel environment recognition system
JP2016146118A (en) * 2015-02-09 2016-08-12 トヨタ自動車株式会社 Road surface detection apparatus and road surface detection method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020040441A (en) * 2018-09-07 2020-03-19 本田技研工業株式会社 Automatic parking device and automatic parking method
WO2020195966A1 (en) * 2019-03-27 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 Imaging system, method of controlling imaging system, and object recognition system
US11863911B2 (en) 2019-03-27 2024-01-02 Sony Semiconductor Solutions Corporation Imaging system, method of controlling imaging system, and object recognition system
JP2021135721A (en) * 2020-02-26 2021-09-13 株式会社アイシン Peripheral monitoring unit and program
JP7454177B2 (en) 2020-02-26 2024-03-22 株式会社アイシン Peripheral monitoring device and program
WO2023166555A1 (en) * 2022-03-01 2023-09-07 日本電気株式会社 Road marking deterioration analysis device, method, and computer-readable medium

Also Published As

Publication number Publication date
JP6947566B2 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
US10147323B2 (en) Driver assistance system with path clearance determination
US10882532B2 (en) Driving assistance device and driving assistance method
KR102408743B1 (en) Method and system for determining whether a vehicle can enter a road
JP4638143B2 (en) Vehicle driving support device
JP6562081B2 (en) Method and apparatus for detecting borderline of parking space
CN109478324B (en) Image processing apparatus and external recognition apparatus
EP3217318B1 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
WO2015056472A1 (en) Vehicle-departure assistance device
US9257045B2 (en) Method for detecting a traffic lane by means of a camera
EP3188156B1 (en) Object recognition device and vehicle control system
JP6947566B2 (en) Image processing device and image processing method
EP2928178A1 (en) On-board control device
CN110015247B (en) Display control device and display control method
JP2008250503A (en) Operation support device
US20160347323A1 (en) Driving assistance device and driving assistance method
JP2020135084A (en) Image processing device and image processing method
JP2019012309A (en) Parking frame detection apparatus and parking frame detection method
KR102028964B1 (en) Driving assistant system and method thereof
JP2006146956A (en) Device for determining travel path for vehicle
JP2009230225A (en) Periphery monitoring device for vehicle
JP6811497B1 (en) Self-driving car
JP6559083B2 (en) Parking assistance device and parking assistance method
JP2004252550A (en) Driving support device
JP2019012308A (en) Image processing device and image processing method
JP2021003926A (en) Parking support device, parking support method and rut detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210916

R150 Certificate of patent or registration of utility model

Ref document number: 6947566

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250