KR100762733B1

KR100762733B1 - method and system for checking doze at the vehicle

Info

Publication number: KR100762733B1
Application number: KR1020050135907A
Authority: KR
Inventors: 안교유
Original assignee: 안교유
Priority date: 2005-12-30
Filing date: 2005-12-30
Publication date: 2007-10-04
Also published as: KR20070071999A

Abstract

본 발명은 폐쇄 회로 TV에 의하여 운전자의 안면 영상 영역의 명암에 상응하는 전기 신호를 발생시키는 전기 발생 수단과, 전기 발생 수단에서 발생되는 전기 신호의 전압과 임계 전압을 비교하여, 이진 신호로 변환하여 출력하는 이진 처리 수단과, 이진 처리 수단에서 출력되는 이진 신호의 변환 주기가 일반적인 눈 깜박임의 주기에 해당하는 제 1 주기이면, 해당 안면 영상 영역을 눈 위치 영역으로 판단하고, 동일한 주기의 신호가 동일 위치에서 반복되면 눈으로 확정하고 있다가 눈을 감았을 때 발생되는 신호가 감지되면, 운전자의 운전 상태를 졸음 상태로 판단하는 중앙 처리 수단을 포함하는 졸음 운전 방지 시스템을 개시함으로써, 직접적인 운전자의 영상 정보에 따라 실시간으로 졸음 상태를 판단하며, 다수의 운전자가 하나의 자동차를 운행하는 경우 및 불규칙한 조명 상태인 경우라도 명확하게 운전자의 졸음 상태를 판단할 수 있도록 하는 것이다.The present invention compares the voltage and the threshold voltage of the electric signal generated by the electric generator means for generating an electric signal corresponding to the contrast of the driver's face image area by the closed circuit TV, and converts it into a binary signal. If the binary processing means for outputting and the conversion period of the binary signal output from the binary processing means are the first period corresponding to the general eye blinking period, the face image area is determined as the eye position area, and the signals having the same period are the same. If it is repeated at the position, when the signal generated when the eyes are closed and eyes are detected, the drowsiness driving prevention system including the central processing means for determining the driver's driving state as the drowsiness state is started, thereby the direct driver's image Determines drowsiness status in real time according to the information, and multiple drivers drive a single car Even if the case and the irregular lighting conditions that will allow you to determine the state of drowsiness of the driver clearly.

졸음 운전 방지 시스템 Drowsiness Driving Prevention System

Description

Drowsiness driving prevention system and its method {method and system for checking doze at the vehicle}

도 1은 본 발명의 바람직한 실시예에 따른 졸음 운전 방지 시스템을 설명하기 위한 도면. 1 is a view for explaining a drowsy driving prevention system according to a preferred embodiment of the present invention.

도 2는 본 발명에 따른 모니터부와 이미지 센싱부의 위치를 설명하기 위한 도면. 2 is a view for explaining the position of the monitor unit and the image sensing unit according to the present invention.

도 3은 본 발명의 바람직한 실시예에 따른 졸음 운전 방지 방법을 설명하기 위한 플로챠트 도면. 3 is a flowchart for explaining a drowsy driving prevention method according to a preferred embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

100 : 카메라부 110 : 모니터부100: camera portion 110: monitor portion

120 : 이미지 센싱부120: image sensing unit

140 : 증폭부 150 : 이진 처리부140: amplification unit 150: binary processing unit

160 : 중앙 처리부 170 : 졸음 경보 시스템160: central processing unit 170: drowsiness alarm system

본 발명은 자동차 운전자의 졸음 운전을 방지하여 졸음 운전에 의한 교통 사 고 등을 방지할 수 있는 졸음 운전 방지 시스템 및 그 방법에 관한 것이다.The present invention relates to a drowsy driving prevention system and method for preventing a drowsy driving of a motor vehicle driver to prevent traffic accidents due to drowsy driving.

현대 사회에서 소득의 증대와 소비자들의 편리함의 추구로 인하여 차량의 폭발적인 증가와 더불어 각종 교통 사고로 인한 사상자가 증가하고 있는 추세이다. 이러한 교통 사고 사상자를 최소화하기 위하여 세계 각국에서는 선진 안전 자동차(advanced safe vehicle) 개발에 많은 노력을 기울이고 있다.In today's society, casualties due to various traffic accidents are increasing with the explosive increase of vehicles due to the increase of income and the pursuit of convenience of consumers. In order to minimize these accidents, countries around the world are making great efforts to develop advanced safe vehicles.

이러한, 선진 안전 자동차는 교통 사고 발생시 사망자를 줄이고, 운전자의 피로를 줄여주며, 운전하기 편리한 자동차를 의미하며, 자동차의 안정성 향상과 보행자의 보호를 위해 사고를 미리 방지하는 것을 그 기본 개념으로 하고 있다.The advanced safety car means a car that reduces fatalities, reduces driver fatigue, and is convenient to drive in the event of a traffic accident. Its basic concept is to prevent accidents in order to improve the stability of vehicles and to protect pedestrians. .

이에 적용된 자동차 시스템이 야간 장애물 시스템, 차의 위험 상태 알림 시스템 및 졸음 운전 방지 시스템 등이 있다.The vehicle system applied to this includes a night obstacle system, a dangerous condition notification system of a car, and a drowsy driving prevention system.

이러한, 자동차 시스템 중 졸음 운전 방지 시스템은 운전자의 눈 깜박임의 빈도 등을 기준으로 하여 운전자의 졸음 운전을 판단하거나, 운전자의 손 또는 다리 근육의 이완에 따른 자세 상태, 카메라를 이용한 도로의 차선의 감시 등에 의해서 졸음 상태를 판단한다.The drowsiness driving prevention system of the automobile system determines the driver's drowsy driving based on the frequency of the driver's eye blink, or monitors the lane of the road using a camera and the posture state according to the relaxation of the driver's hand or leg muscles. The drowsiness state is judged by such means.

그러나, 대부분 간접적으로 눈의 개폐 상태를 측정함으로써, 졸음 상태를 오판할 가능성이 높으며, 자동차가 주행 중에 발생하는 예기치 못한 상황, 예를 들어, 야간 운행 중에 상대편 차선으로부터 질주해 오는 자동차의 헤드라이트 불빛 등으로 인한 잘못된 판단을 내릴 수 있게 된다.However, indirectly measuring eyes open and closed in most cases is likely to misjudge the drowsiness, and the headlights of cars that run from the other lane during an unexpected situation such as a car running at night, for example. You can make a wrong decision.

아울러, 눈의 깜박임 빈도로 졸음 상태를 판단하는 방식은, 잠이 오려할 때 눈 깜박임의 빈도가 적어지는 특성 등을 이용한 예방 경고를 하여 미리 휴식을 유 도하는 등의 조치를 하는데 그 목적을 둔다. In addition, the method of determining the drowsiness state by the blink frequency of the eyes, the purpose of the precautionary warning by using the characteristics, such as the frequency of the eye blinks less when you are going to sleep to induce a rest in advance. .

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 창안된 것으로, 직접적인 운전자의 영상에 따라 실시간으로 졸음 상태를 판단함은 물론, 하나의 자동차를 다수의 운전자가 운행하는 경우라도 적용 가능한 졸음 운전 방지 시스템 및 그 방법을 제공하는 것에 그 목적이 있다.Therefore, the present invention was devised to solve the above problems, and determines drowsiness status in real time according to the image of the direct driver, and prevents drowsy driving that can be applied even when a plurality of drivers are driving one car. The object is to provide a system and a method thereof.

상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 졸음 운전 방지 시스템은, 폐쇄 회로 TV에 의하여 운전자의 안면 영상 영역의 명암에 상응하는 전기 신호를 발생시키는 전기 발생 수단과, 전기 발생 수단에서 발생되는 전기 신호의 전압과 임계 전압을 비교하여, 이진 신호로 변환하여 출력하는 이진 처리 수단과, 이진 처리 수단에서 출력되는 이진 신호의 변환 주기가 일반적인 눈 깜박임의 주기에 해당하는 주기이면, 해당 안면 영상 영역을 눈 위치 영역으로 판단하고, 동일한 주기의 신호가 일정 횟수 반복되면 그 영역을 눈으로 확정한 후, 눈을 감고 있는 신호가 감지되면, 운전자의 운전 상태를 졸음 상태로 판단하는 중앙 처리 수단을 포함한다.The drowsiness driving prevention system according to an aspect of the present invention for achieving the above object, the electric generating means for generating an electric signal corresponding to the contrast of the face image area of the driver by a closed circuit TV, and is generated in the electric generating means A binary processing means for comparing the voltage of the electric signal with a threshold voltage, converting the signal into a binary signal, and outputting the binary signal; and if the conversion period of the binary signal output from the binary processing means corresponds to a general eye blink period, the corresponding facial image area It is determined that the eye position area, and if the signal of the same cycle is repeated a predetermined number of times, the area is determined by the eye, and when the signal is closed, the central processing means for determining the driver's driving state as a drowsy state do.

본 발명에 따른 전기 발생 수단은, 운전자의 안면 영상을 촬상하는 카메라부와, 카메라부에서 촬상되는 안면 영상을 디스플레이하는 모니터부와, 모니터부의 일측에 밀착 설치되어, 안면 영상 중 눈 위치 영역의 명암에 상응하는 제 1 전기 신호를 발생시키는 이미지 센싱부를 포함한다.The electricity generating means according to the present invention comprises a camera unit for photographing a driver's face image, a monitor unit for displaying a face image captured by the camera unit, and one side of the monitor unit in close contact with each other to provide contrast of the eye position region of the face image. An image sensing unit for generating a first electrical signal corresponding to the.

본 발명에 따른 이미지 센싱부는, 적어도 하나 이상의 광전 소자로 구성되며, 모니터부의 외부 광 유입을 차단하는 차단 케이스를 구비한다.The image sensing unit according to the present invention includes at least one photoelectric device, and includes a blocking case that blocks the inflow of external light from the monitor.

삭제delete

본 발명에 따른 중앙 처리 수단은, 판단된 눈 위치 영역에 해당하는 이진 신호가 수신되면, 눈 위치 영역으로 판단하고, 이 신호가 동일 센서에서 반복 수신되면, 눈으로 확정하고 눈을 감고 있는 신호가 수신될 때, 운전자의 졸음 상태를 판단한다.If a binary signal corresponding to the determined eye position region is received, the central processing means according to the present invention determines the eye position region, and if this signal is repeatedly received by the same sensor, the signal determined by the eye and closed When received, determine the drowsy state of the driver.

본 발명의 다른 측면에 따른 졸음 운전 방지 시스템은, 운전자의 안면 영상을 촬상하는 카메라부와, 야간 촬영을 위한 적외선 조사부와, 카메라부에서 촬상되는 안면 영상을 디스플레이하는 모니터부와, 모니터부에서 디스플레이되는 안면 영상 영역의 명암에 상응하는 전기 신호를 발생시켜 출력하는 센싱부와, 센싱부에서 출력되는 전기 신호의 전압과 임계 전압을 비교하여, 눈을 뜨고 있어서 낮은 전압인 ON 신호 또는 눈을 감고 있어서 높은 전압인 OFF 신호로 변환 처리하는 이진 처 리부와, 이진 처리부에서 출력되는 ON 신호 및 OFF 신호가 변환하는 영역의 변환 주기(약 0.05초 내지 0.5초)가 제 1 주기(눈 깜박임 상태)이면, 해당 안면 영상 영역을 눈 위치 영역으로 판단하고, 임의로 설정한 횟수만큼 반복된 후에 상기 OFF 신호(눈을 감속 있는 상태)가 소정의 시간 동안 계속되면, 운전자의 운전 상태를 졸음 상태로 판단하는 중앙 처리부를 포함한다.According to another aspect of the present invention, a drowsiness driving prevention system includes a camera unit for photographing a driver's face image, an infrared irradiation unit for night photographing, a monitor unit for displaying a face image captured by the camera unit, and a display unit at the monitor unit. The sensing unit which generates and outputs an electrical signal corresponding to the contrast of the facial image area, and compares the voltage and the threshold voltage of the electrical signal output from the sensing unit, opens the eyes and closes the ON signal or the lower voltage. If the conversion period (about 0.05 sec. To 0.5 sec.) Of the binary processing section for converting the OFF signal to the high voltage and the area converted by the ON signal and the OFF signal output from the binary processing section is the first period (blinking state), The face image area is determined as an eye position area, and after the predetermined number of times is repeated, the OFF signal (eye decelerating state) If it continued for a defined time, and a central processing unit for determining the driving condition of the driver in the nap state.

본 발명에 따른 센싱부는, 적어도 하나 이상의 광전 소자로 구성되며, 모니터부의 일측에 밀착 설치되어, 안면 영상 중 눈 위치 영역의 명암에 상응하는 제 1 전기 신호를 발생시키는 이미지 센싱부를 포함한다.The sensing unit according to the present invention includes an image sensing unit which is composed of at least one photoelectric device, is installed in close contact with one side of the monitor unit, and generates a first electrical signal corresponding to the contrast of the eye position region of the face image.

본 발명에 따른 이미지 센싱부는, 적어도 하나 이상의 광전 소자가 모니터의 눈 위치 영역에 마주하여 설치되고 그 영역의 명암에 상응하는 전기 신호를 발생한다.The image sensing unit according to the present invention is provided with at least one photoelectric element facing the eye position area of the monitor and generating an electrical signal corresponding to the contrast of that area.

본 발명에 따른 중앙 처리부는, 판단된 눈 위치 영역에 상응하는 ON 신호 및 OFF 신호가 ON-OFF-ON의 설정 시간(약 0.05초 내지 0.5초 이내) 동안 수신되면 1차적으로 눈으로 판단하고, 설정된 횟수만큼 반복되어 신호가 수신되면 해당 신호를 보낸 센서가 눈 앞에 위치한 것으로 확정한다. 만일 운전자의 움직임에 의하여 눈동자가 이동하면 초기 상태로 복귀하지만, 그렇지 않고 눈으로 확정한 센서에서 OFF 신호가 일정 시간(약 1초) 동안 계속되면, 운전자가 눈을 감은 것으로 판단한다. The central processing unit according to the present invention, when the ON signal and the OFF signal corresponding to the determined eye position region is received during the set time of the ON-OFF-ON (within about 0.05 seconds to 0.5 seconds), it is determined primarily by the eyes, When a signal is received by repeating the set number of times, it is determined that the sensor which sent the signal is located in front of the eyes. If the pupil moves by the driver's movement, the driver returns to the initial state, but if the OFF signal continues for a predetermined time (about 1 second) by the sensor determined by the eye, the driver determines that the eyes are closed.

삭제delete

본 발명의 또 다른 측면에 따른 졸음 운전 방지 시스템의 졸음 상태 판단 방법은, 운전자의 안면 영상 영역의 명암에 상응하는 전기 신호를 발생시키는 단계와, 전기 신호의 전압과 임계 전압을 비교하여, ON 신호 또는 OFF 신호인 이진 신호로 변환하는 단계와, 이진 신호의 변환 주기가 일반적인 눈 깜박임의 주기에 해당하는 제 1 주기이면, 해당 안면 영상 영역을 눈 위치 영역으로 판단하는 단계와, 임의로 설정한 횟수만큼 반복된 후에 상기의 OFF 신호(눈을 감고 있는 상태)가 소정의 시간 동안 계속되면, 운전자의 운전 상태를 졸음 상태로 판단하는 단계를 포함한다.According to another aspect of the present invention, a method for determining a drowsiness state of a drowsiness driving prevention system includes generating an electric signal corresponding to a contrast of a driver's face image area, comparing an electric signal voltage with a threshold voltage, and then turning on an ON signal. Or converting to an OFF signal as a binary signal, and if the conversion period of the binary signal is a first period corresponding to a general eye blinking period, determining the face image area as an eye position area, and a predetermined number of times. If the OFF signal (eyes closed state) continues for a predetermined time after being repeated, determining the driver's driving state as a sleepy state.

본 발명에 따른 전기 신호를 발생시키는 단계는, 운전자의 안면 영상을 촬상하여 디스플레이하는 단계와, 안면 영상 중 눈 위치 영역의 명암에 상응하는 제 1 전기 신호를 발생시키는 단계를 포함한다.The generating of the electric signal according to the present invention includes capturing and displaying a face image of the driver and generating a first electric signal corresponding to the contrast of the eye position region of the face image.

본 발명에 따른 졸음 운전 방지 시스템의 졸음 상태 판단 방법은, 판단된 눈 위치 영역에 해당하는 이진 신호가 소정 시간 동안 변환되어 수신되면, 눈 위치 영역을 결정하는 단계를 더 포함한다.The drowsiness state determination method of the drowsy driving prevention system according to the present invention further includes determining an eye position region when a binary signal corresponding to the determined eye position region is converted and received for a predetermined time.

본 발명에 따른 졸음 상태의 판단은, 눈의 위치 영역을 판단, 확정한 후, 임의로 설정한 횟수만큼 반복된 후에 상기의 OFF 신호(눈을 감고 있는 상태)가 소정의 시간 동안 계속되면, 졸음 상태로 판단한다.In the determination of the drowsiness state according to the present invention, after determining and determining the eye position region, if the OFF signal (the state of closing eyes) continues for a predetermined time after repeating a predetermined number of times, the drowsiness state Judging by.

이하 본 발명에 따른 졸음 운전 방지 시스템 및 그 방법을 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, a drowsiness driving prevention system and a method thereof according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 실시예에 따른 졸음 운전 방지 시스템을 설명하기 위한 도면이다.1 is a view for explaining a drowsy driving prevention system according to a preferred embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 졸음 운전 방지 시스템은, 카메라부(100), 모니터부(110), 이미지 센싱부(120), 이진 처리부(140), 증폭부(150), 중앙 처리부(160), 및 졸음 경보 시스템(170)을 포함한다.Referring to FIG. 1, the drowsiness driving prevention system according to the present invention includes a camera unit 100, a monitor unit 110, an image sensing unit 120, a binary processing unit 140, an amplifying unit 150, and a central processing unit ( 160, and drowsiness alert system 170.

카메라부(100)는 자동차(미도시) 내의 운전자 좌석 전면에 운전자의 안면의 영상을 촬상할 수 있는 위치에 설치되며, 운전자의 안면 중 특히 눈 주위를 촬상할 수 있도록 설치된다.The camera unit 100 is installed at a position capable of capturing an image of a driver's face in front of a driver's seat in a car (not shown), and is installed to capture an image of a driver's face, particularly around an eye.

그리고, 카메라부(100)는 운전자가 자동차에 탑승하고, 본 발명에 따른 졸음 운전 방지 시스템을 작동시키면, 운전자의 안면 영상을 촬상하여 영상 정보를 제공한다.When the driver rides in a car and operates the drowsiness driving prevention system according to the present invention, the camera unit 100 captures a face image of the driver and provides image information.

모니터부(110)는 카메라부(100)로부터 제공되는 운전자의 직접적인 영상 정보를 디스플레이한다.The monitor 110 displays the direct image information of the driver provided from the camera 100.

이러한, 카메라부(100) 및 모니터부(110)는 폐쇄회로 텔레비전(CCTV : closed circuit television)으로 구현할 수 있다.The camera unit 100 and the monitor unit 110 may be implemented as a closed circuit television (CCTV).

또한, 카메라부(100)는 중앙 처리부(160)로부터 수신되는 제어 신호에 따라 위치가 조절될수도 있으며, 운전자의 안면에 대한 명확한 영상 정보를 클로즈-업(close-up)하며, 이때, 운전자의 영상 정보는 한쪽 눈 주위의 영상 정보가 될 수 있다.In addition, the camera unit 100 may be adjusted in accordance with a control signal received from the central processing unit 160, and close-up (clear-up) clear image information about the driver's face, at this time, the image of the driver The information may be image information around one eye.

그리고, 이미지 센싱부(120)는 다수개의 광전 소자로 구현되어, 모니터부(110)에 밀착 설치 될 수 있으며, 모니터부(110)에서 디스플레이되는 영상 정보의 명암의 정도에 따른 전기 신호를 발생시킨다.In addition, the image sensing unit 120 may be implemented as a plurality of photoelectric elements, which may be installed in close contact with the monitor 110, and generate an electric signal according to the degree of contrast of the image information displayed on the monitor 110. .

즉, 이미지 센싱부(120)는 모니터부(110)에서 디스플레이되는 운전자의 눈 주위 영상 정보 중에서 눈꺼풀 부분 등의 밝은 영역에 대응하는 광전 소자는 높은 전압을 발생시키고, 상대적으로 어두운 눈동자 영역에 대응하는 광전 소자는 낮은 전압을 발생시킨다.That is, the image sensing unit 120 generates a high voltage in a photoelectric element corresponding to a bright area such as the eyelid part among the image information around the driver's eyes displayed on the monitor 110, and corresponds to a relatively dark eye area. Optoelectronic devices generate low voltages.

또한, 이미지 센싱부(120)를 구성하는 각 광전 소자가 모니터부(110)에서 디스플레이되는 영상 정보 이외의 주위 환경으로부터 영향을 받지 않도록 이미지 센싱부(120)의 외곽에 빛을 차단하는 차단 케이스(미도시)를 구비하는 것이 바람직하다.In addition, the blocking case for blocking the light outside the image sensing unit 120 so that each photoelectric device constituting the image sensing unit 120 is not affected by the surrounding environment other than the image information displayed on the monitor 110 ( Not shown).

그리고, 이미지 센싱부(120)를 구성하는 각 광전 소자의 커버 영역은 운전자의 운행시 이동할 수 있는 눈의 위치 특성을 충분히 커버할 수 있는 영역만큼 구비 되는 것이 바람직하다. In addition, the cover area of each photoelectric device constituting the image sensing unit 120 may be provided as much as possible to cover the positional characteristics of the eye that can move when the driver moves.

이미지 센싱부(120)는 운전자가 눈을 뜨고 있는 제 1 상태보다 눈을 감고 있는 제 2 상태에서 상대적으로 높은 전기 신호를 발생시킨다.The image sensing unit 120 generates a relatively high electric signal in the second state in which the driver closes his eyes rather than the first state in which the driver opens his eyes.

즉, 이미지 센싱부(120)는 모니터부(110)에서 디스플레이되는 운전자의 눈 주위 영상 정보가 눈을 뜨고 있는 제 1 상태에서는 눈동자의 검은 부위로 인하여 낮은 전기 신호를 발생시키고, 눈을 감고 있는 제 2 상태에서는 눈꺼풀의 밝은 피부로 인하여 제 1 상태보다 높은 전기 신호를 발생시킨다. That is, the image sensing unit 120 generates a low electric signal due to the black area of the pupil and closes the eyes in the first state in which the image information around the eyes of the driver displayed on the monitor 110 is opened. In the second state, due to the bright skin of the eyelids, an electrical signal higher than the first state is generated.

삭제delete

이진 처리부(140)는 이미지 센싱부(120)로부터 출력되는 전기 신호의 전압과 임계 전압(또는 기준 전압)과 비교하여 이진 신호, 예를 들어 ON 신호 또는 OFF 신호로 처리하며, 이러한 이진 신호를 증폭부(150)로 전송한다. The binary processor 140 processes a binary signal, for example, an ON signal or an OFF signal, by comparing the voltage of the electrical signal output from the image sensing unit 120 with a threshold voltage (or a reference voltage), and amplifies the binary signal. Transmit to unit 150.

증폭부(150)는 이진 처리부(140)로부터 전송된 이진 신호를 소정 비율로 증촉시켜, 증폭된 이진 신호를 중앙 처리부(160)로 전송한다. The amplifier 150 increases the binary signal transmitted from the binary processor 140 at a predetermined rate, and transmits the amplified binary signal to the central processor 160.

중앙 처리부(160)는 증폭부(140)로부터 전송된 이진 신호의 종류에 따라 영상 정보의 어두운 영역과 밝은 영역을 구분하여 인식하고, ON 신호 또는 OFF 신호가 수신되는 주기를 통하여 운전자의 졸음 상태를 판단하고, 졸음 경보 시스템(170)으로 경보 신호를 전송한다. The central processing unit 160 recognizes the dark area and the bright area of the image information according to the type of the binary signal transmitted from the amplifying unit 140 and recognizes the driver's drowsiness state through a cycle in which the ON signal or the OFF signal is received. Determine and transmit an alert signal to the drowsy alert system 170.

졸음 경보 시스템(170)은 중앙 처리부(160)로부터 전송받은 경보 신호를 통하여 운전자가 졸음 상태에서 회피할 수 있도록 경보를 발생시킨다. 이러한 졸음 경보 시스템(170)은 자동차의 카오디오, 실내등, 사이드 윈도우 및 경보기 등이 포 함될 수 있으며, 경보 신호가 수신되면, 카 오디오를 통해 경보 음향을 출력하거나, 실내등을 켜거나, 사이드 윈도우를 내리거나, 경보음을 출력하여, 운전자가 졸음 상태에서 회피할 수 있도록 한다. The drowsiness alert system 170 generates an alert so that the driver can avoid drowsiness through the alert signal received from the central processing unit 160. The drowsy alarm system 170 may include a car audio, an interior light, a side window and an alarm of a car, and when an alarm signal is received, output an alarm sound through the car audio, turn on the indoor light, or turn on the side window. Lower or output an alarm to help the driver avoid drowsiness.

한편, 본 발명에 따른 졸음 방지 시스템은, 도면상에는 도시하지 않았으나, 상기 카메라부의 야간 촬영을 위하여 운전자의 안면에 적외선을 조사할 수 있는 적외선 조사부를 더 구비하고 있다. On the other hand, the drowsiness prevention system according to the present invention, although not shown in the figure, further includes an infrared irradiation unit for irradiating infrared rays to the driver's face for night photographing of the camera unit.

도 2는 본 발명에 따른 모니터부와 이미지 센싱부의 위치를 설명하기 위한 도면으로, 이하에서는 이미지 센싱부의 작동을 통한 본 발명에 따른 졸음 상태 방지 시스템의 작동을 설명한다. 2 is a view for explaining the position of the monitor unit and the image sensing unit according to the present invention. Hereinafter, the operation of the drowsiness state prevention system according to the present invention through the operation of the image sensing unit.

도 2에 도시된 바와 같이, 이미지 센싱부(120)는 운전자의 눈 위치에 상응하는 모니터부(110)에 밀착 설치되며, 광전 소자에 의하여 구성되는 센서는 빛의 밝기에 따라서 민감하게 반응함으로 모니터에 재현된 눈의 개폐에 따른 밝기의 변화를 검출한다. 즉 다수개의 광전소자 센서중에서 눈동자와 마주하게 되는 1개 또는 그 이상의 센서는 운전자가 눈을 뜨고 있을 때는 어두운 눈동자로 인하여 빛의 입사량이 적고, 눈을 감고 있을 때는 눈꺼풀의 비교적 밝은 피부로 인하여 입사량이 커지게 되며 이와 같은 빛의 입사량의 변화를 전기량의 변화로 전환하여 이진 처리부로 전송한다.As illustrated in FIG. 2, the image sensing unit 120 is installed in close contact with the monitor 110 corresponding to the eye position of the driver, and the sensor configured by the photoelectric device reacts sensitively according to the brightness of the light. The change in brightness according to the opening and closing of the reproduced eye is detected. That is, one or more of the sensors facing each other among the photoelectric sensors have a small amount of light incident due to dark eyes when the driver is open, and a relatively light skin of the eyelids when the eyes are closed. It becomes large and converts the change in the incident amount of light into a change in the amount of electricity and transmits it to the binary processor.

삭제delete

그리고, 이진 처리부(140)는 이미지 센싱부(120)로부터 출력되는 전기 신호의 전압과 임계 전압(또는 기준 전압)을 비교하여 이진 신호, 예를 들어, ON 신호 또는 OFF 신호로 이진 처리하고, 증폭부(150)로 전송한다. In addition, the binary processor 140 compares the voltage of the electrical signal output from the image sensing unit 120 with a threshold voltage (or reference voltage), performs binary processing on a binary signal, for example, an ON signal or an OFF signal, and amplifies the signal. Transmit to unit 150.

보다 상세히 설명하면, 이진 처리부(140)는 이미지 센싱부(120)에서 출력되는 전기 신호의 전압과 기 설정된 임계 전압(또는 기준 전압)을 비교하여, 임계 전압(또는 기준 전압)보다 낮은 전압의 전기 신호는 ON 신호, 임계 전압(또는 기준 전압)보다 높은 전기 신호는 OFF 신호로 이진화하여 증폭부(150)로 전송한다. In more detail, the binary processor 140 compares the voltage of the electrical signal output from the image sensing unit 120 with a predetermined threshold voltage (or reference voltage), and then compares the voltage of the voltage lower than the threshold voltage (or reference voltage). The signal is transmitted to the amplifier 150 by binarizing the electrical signal higher than the ON signal and the threshold voltage (or the reference voltage) to the OFF signal.

또한, 증폭부(150)는 상기 이진 처리부(140)로부터 전성된 이진 신호를 소정 비율로 증폭시키고, 이 증폭된 이진 신호를 중앙 처리부(160)로 인가한다. In addition, the amplifier 150 amplifies the binary signal generated from the binary processor 140 at a predetermined ratio, and applies the amplified binary signal to the central processor 160.

중앙 처리부(160)는 증폭부(150)로부터 수신되는 증폭된 이진 신호의 종류에 따라 영상 정보의 어두운 영역과 밝은 영역을 구분하여 인식하고, ON 신호 및 OFF 신호가 수신되는 주기가 기설정된 소정 주기와 유사한 영역을 눈 위치로 판단한다.The central processing unit 160 distinguishes and recognizes dark areas and bright areas of the image information according to the type of the amplified binary signal received from the amplifying unit 150, and sets a period in which the ON signal and the OFF signal are received. The area similar to is determined as the eye position.

이때, 중앙 처리부(160)는 명확하게 눈 위치를 판단할 수 있어야 한다. 즉, 중앙 처리부(160)는 운전자의 눈썹, 안경테, 안경 다리 등과 같은 어두운 부분 등의 변수에 영향을 받지 않고, 눈의 위치를 명확히 판단할 수 있어야 한다. At this time, the central processing unit 160 should be able to determine the eye position clearly. That is, the central processing unit 160 should be able to clearly determine the position of the eyes without being influenced by variables such as dark areas such as the driver's eyebrows, eyeglass frames, and glasses legs.

그러므로, 중앙 처리부(160)는 이미지 센싱부(120)의 각 광전 소자 중 ON 신호와 OFF 신호가 주기적으로 변환하는 광전 소자에 상응하는 소정 영역을 눈 위치로 판단하고, 해당 소정 영역으로부터 수신되는 ON 신호 및 OFF 신호의 변환 주기(cycle)가 임의로 설정한 소정 주기에 해당하면, 해당 소정 영역을 눈 위치 영역으로 확정한다. 즉, 중앙 처리부(160)는 ON 신호-OFF 신호-ON 신호가 수신되는 소요 시간이 일반적으로 눈을 깜박이는 시간에 해당하는 영역을 눈 위치 영역으로 결정한다.Therefore, the central processing unit 160 determines, as an eye position, a predetermined region corresponding to the photoelectric element periodically switched between the ON signal and the OFF signal among the photoelectric elements of the image sensing unit 120, and is ON received from the predetermined region. If the conversion cycle of the signal and the OFF signal corresponds to a predetermined period set arbitrarily, the predetermined area is determined as an eye position area. That is, the central processing unit 160 determines an area corresponding to a time for which the eye blinking time is generally required to receive the ON signal-OFF signal-ON signal as the eye position area.

그리고, 중앙 처리부(160)는 눈 위치 영역으로 결정된 이미지 센싱부(120)로부터 수신되는 ON 신호-OFF 신호-ON 신호를 소정의 횟수 만큼 수신한 후, 눈을 감 은 상태인 OFF 신호가 설정된 시간, 예를 들면, 1초 이상 동안 지속되면, 운전자의 졸음 상태로 판단하여, 졸음 경보 시스템(170)으로 경보 신호를 전송한다.Then, the central processing unit 160 receives the ON signal-OFF signal-ON signal received from the image sensing unit 120 determined as the eye position region for a predetermined number of times, and then the OFF signal in the closed state is set. For example, if it lasts for more than 1 second, it is determined that the driver is drowsy, and transmits an alarm signal to the drowsy alarm system 170.

이때, 중앙 처리부(160)는 결정된 눈 위치의 소정 영역이 이미지 센싱부를 이탈하려고 하는 경우에는 제어 신호를 카메라부(100)로 전송하여, 카메라부(100)가 명확하게 운전자의 안면 영상을 촬상하도록 제어한다. 즉, 중앙 처리부(160)는 모니터부(110)의 눈 위치를 모니터부(110)에 밀착 설치된 이미지 센싱부(120)의 중앙 영역에 위치하도록 제어할수도 있다.At this time, the central processing unit 160 transmits a control signal to the camera unit 100 when the predetermined region of the determined eye position is about to leave the image sensing unit, so that the camera unit 100 clearly captures the driver's face image. To control. That is, the central processing unit 160 may control the eye position of the monitor 110 to be located at the center area of the image sensing unit 120 installed in close contact with the monitor 110.

아울러, 중앙 처리부(160)는 이미지 센싱부(120)의 다수개 광전 소자 중 특정 광전 소자에 마주하는 영역이 눈 위치 영역인 경우에는 명확하게 운전자의 졸음 상태를 판단할 수 있으며, 적어도 하나 이상의 광전 소자에 부분적으로 눈 위치 영역이 마주하는 경우라도 명확하게 운전자의 졸음 상태를 판단할 수 있다.In addition, the central processing unit 160 may clearly determine the driver's drowsiness when the area facing the specific photoelectric device among the plurality of photoelectric devices of the image sensing unit 120 is an eye location area, and at least one photoelectric device. The driver's drowsiness can be clearly determined even when the device partially faces the eye position area.

또한, 졸음 경보 시스템(170)은, 자동차의 카 오디오, 실내등, 사이드 윈도우 및 경보기 등이 포함될 수 있으며, 경보 신호가 수신되면, 카 오디오를 통해 경보 음향을 출력하거나, 실내등을 켜거나, 사이드 윈도우를 내리거나, 경보음을 출력하여, 운전자가 졸음 상태에서 회피할 수 있도록 한다.In addition, the drowsiness alarm system 170 may include a car audio, an interior light, a side window and an alarm of a vehicle, and when an alarm signal is received, output the alarm sound through the car audio, turn on the indoor light, or turn on the side window. Lower the alarm, or output an alarm to help the driver avoid drowsiness.

도 3은 본 발명의 바람직한 실시예에 따른 졸음 운전 방지 방법을 설명하기 위한 플로챠트 도면이다.3 is a flowchart illustrating a drowsy driving prevention method according to a preferred embodiment of the present invention.

도 3을 참조하면, 운전자가 자동차에 탑승하고, 본 발명의 졸음 방지 시스템 을 작동시키면, 카메라부(100)가 운전자의 안면 중 눈 주위 영상을 촬상하여 영상 정보를 제공한다(S 100).Referring to FIG. 3, when the driver rides in a vehicle and operates the drowsiness prevention system of the present invention, the camera unit 100 provides image information by capturing an image around the eyes of the driver's face (S 100).

이러한, 카메라부(100)는 자동차(미도시)내의 운전자 좌석 전면에 설치되어, 운전자의 안면 중 특히 눈 주위를 촬상한다.Such a camera unit 100 is installed on the front of the driver's seat in a vehicle (not shown), and images the driver's face, especially around the eyes.

그리고, 모니터부(110)는 카메라부(100)가 촬상하는 영상 정보를 디스플레이하고, 이미지 센싱부(120)는 영상 정보의 명암에 상응하는 전기 신호를 발생시킨다(S 110).The monitor 110 displays image information captured by the camera unit 100, and the image sensing unit 120 generates an electric signal corresponding to the contrast of the image information (S 110).

삭제delete

여기서, 이미지 센싱부(120)는 모니터부(110)에서 디스플레이되는 운전자의 눈 주위 영상 정보의 밝은 영역에 대응하는 광전 소자는 높은 전압을 발생시키고, 상대적으로 어두운 영역에 대응하는 광전 소자는 낮은 전압을 발생시킨다. 즉, 이미지 센싱부(120)는 운전자가 눈을 뜨고 있는 제 1 상태보다 눈을 감고 있는 제 2 상태에서 상대적으로 높은 전기 신호를 발생시킨다.Here, the image sensing unit 120 generates a high voltage in the photoelectric element corresponding to the bright area of the image information around the driver's eyes displayed on the monitor 110, and generates a low voltage in the photoelectric element corresponding to the relatively dark area. Generates. That is, the image sensing unit 120 generates a relatively high electric signal in the second state in which the driver closes his eyes rather than the first state in which the driver opens his eyes.

삭제delete

그리고, 이진 처리부(140)는 이미지 센싱부(120)로부터 출력되는 전기 신호의 전압과 임계 전압(또는 기준 전압)을 비교하여 이진 신호, 예를 들어, ON 신호 또는 OFF 신호로 이진 처리하여 이진화한다. The binary processor 140 compares the voltage of the electrical signal output from the image sensing unit 120 with a threshold voltage (or reference voltage) and binarizes the binary signal, for example, an ON signal or an OFF signal, to binarize the binary signal. .

그리고, 증폭부(150)는 이진 처리부(140)로 부터 출력되는 이진 신호를 소정 비율로 증폭시킨다(S 130).The amplifier 150 amplifies the binary signal output from the binary processor 140 at a predetermined ratio (S 130).

중앙 처리부(160)는 증폭부(150)로 부터 수신되는 증폭된 이진 신호의 종류에 따라 영상 정보의 어두운 영역과 밝은 영역을 구분하여 인식하고, ON 신호 및 OFF 신호의 수신되는 주기가 기설정된 소정 주기 범위일 때, 눈 위치로 판단한다(S 150).The central processing unit 160 distinguishes between dark areas and bright areas of the image information according to the type of the amplified binary signal received from the amplifying unit 150, and presets a period in which the ON signal and the OFF signal are received. When the period range, it is determined as the eye position (S 150).

여기서, 중앙 처리부(160)는 운전자의 눈썹, 안경테, 안경 다리 등과 같은 변수로 인하여, 명확하게 눈 위치를 판단하여야 함으로, 이미지 센싱부(120)의 각 광전 소자 중 ON 신호와 OFF 신호가 주기적으로 변환하는 광전 소자에 상응하는 소정 영역을 눈 위치로 판단한다.Here, the central processing unit 160 should determine the eye position clearly due to variables such as the driver's eyebrows, eyeglass frames, and glasses legs, so that the ON signal and the OFF signal of each photoelectric element of the image sensing unit 120 are periodically The predetermined area corresponding to the photoelectric element to be converted is determined as an eye position.

여기서 중앙 처리부(160)는 이미지 센싱부(120)의 다수개 광전 소자 중 특정 광전 소자에 마주하는 영역이 눈 위치로 판단하거나, 적어도 하나 이상의 광전 소자에 마주하는 영역을 눈 위치로 판단할 수 있다.Here, the central processing unit 160 may determine an area of the image sensing unit 120 that faces a specific photoelectric device as an eye position or an area that faces at least one photoelectric device as an eye position. .

그리고, 중앙 처리부(160)는 눈 위치로 판단된 소정 영역의 광전 소자로부터 수신되는 ON 신호 및 OFF 신호의 변환 주기(cycle)가 임의로 설정한 소정 주기에 해당하면, 해당 소정 영역을 눈 위치 영역으로 결정한다(S 160). 즉, 중앙 처리부 (160)는 ON 신호-OFF 신호-ON 신호가 수신되는 소요 시간이 일반적으로 눈을 깜박이는 시간에 해당하는 영역을 눈 위치 영역으로 결정한다.If the conversion cycle of the ON signal and the OFF signal received from the photoelectric element in the predetermined area determined as the eye position corresponds to a predetermined period arbitrarily set, the central processing unit 160 moves the corresponding predetermined area to the eye position area. Determine (S 160). That is, the central processing unit 160 determines an area corresponding to the time for which the eye blinking time when the ON signal-OFF signal-ON signal is generally received is an eye position area.

중앙 처리부(160)는 눈 위치 영역으로 결정된 이미지 센싱부(120)로부터 수신되는 ON 신호-OFF 신호-ON 신호의 일정 횟수 반복 후, OFF 신호(눈을 감은 상태)가 설정된 시간, 예를 들면, 1초 이상 동안 지속되면, 운전자의 졸음 상태로 판단하여, 졸음 경보 시스템(170)으로 경보 신호를 전송한다(S 170).The central processing unit 160 repeats a predetermined number of times of the ON signal-OFF signal-ON signal received from the image sensing unit 120 determined as the eye position region, and then sets a time when the OFF signal (eye closed) is set, for example, If it continues for more than 1 second, it is determined that the driver's drowsiness state, and transmits an alarm signal to the drowsiness alarm system 170 (S 170).

또한, 중앙 처리부(160)는 결정된 눈 위치의 소정 영역이 모니터부(110)의 이미지 센싱부(120)를 이탈하는 경우에는 카메라부(100)의 위치를 조절하여, 카메라부(100)가 명확하게 운전자의 안면 영상을 촬상할수도 있다.In addition, when the predetermined region of the determined eye position deviates from the image sensing unit 120 of the monitor unit 110, the central processing unit 160 adjusts the position of the camera unit 100 so that the camera unit 100 is clear. The driver's facial image can be taken.

이러한, 졸음 경보 시스템(170)은, 자동차의 카 오디오, 실내등, 사이드 윈도우 및 경보기 등이 포함될 수 있으며, 경보 신호가 수신되면, 카 오디오를 통해 경보 음향을 출력하거나, 실내등을 켜거나, 사이드 윈도우를 내리거나, 경보음을 출력하여, 운전자가 졸음 상태에서 회피할 수 있도록 한다(S 180).The drowsiness alarm system 170 may include a car audio, an indoor light, a side window and an alarm of a vehicle, and when an alarm signal is received, output the alarm sound through the car audio, turn on the indoor light, or turn on the side window. To lower or output an alarm sound, so that the driver can be avoided in sleepiness (S 180).

상기한 바와 같이, 본 발명에 따른 졸음 운전 방지 시스템 및 그 방법에 따르면, 직접적인 운전자의 영상 정보에 따라 실시간으로 졸음 상태를 판단할 수 있으며, 다수의 운전자가 하나의 자동차를 운행하는 경우라도 졸음 상태를 판단할 수 있다.As described above, according to the drowsiness driving prevention system and the method according to the present invention, it is possible to determine the drowsiness state in real time according to the image information of the direct driver, even when a plurality of drivers are driving a single car Can be determined.

또한, 불규칙한 조명 상태인 경우라도 명확하게 운전자의 졸음 상태를 판단 할 수 있다.In addition, even in an irregular lighting state can clearly determine the drowsiness of the driver.

Claims

In the drowsy driving prevention system,

Electricity generating means for generating an electric signal corresponding to the contrast of the driver's face image area;

Binary processing means for comparing the voltage of the electric signal generated by the electricity generating means with a threshold voltage, converting the signal into a binary signal, and outputting the binary signal;

If the conversion period of the binary signal output from the binary processing means is a first period corresponding to a period of a general eye blink, the corresponding facial image area is determined as an eye position area, and the eyes closed by a sensor facing the determined eye And a central processing means for determining the driving state of the driver as a drowsy state when the predetermined signal (OFF signal) lasts for a predetermined time.

The electricity generating means,

A camera unit for photographing the face image of the driver;

A monitor unit displaying the face image captured by the camera unit;

A drowsiness driving prevention system including an image sensing unit installed in close contact with one side of the monitor unit and generating a first electrical signal corresponding to the contrast of the eye position region of the face image.

delete

The method of claim 1,

The image sensing unit,

Drowsiness operation prevention system comprising at least one optoelectronic device, the blocking case for blocking the inflow of external light of the monitor unit.

The method of claim 1,

The central processing means,

When the binary signal corresponding to the determined eye position region is converted and received for a predetermined time, the eye position region is determined, and when a signal of a state of closing eyes is received thereafter, the drowsiness to determine the drowsiness of the driver Driving prevention system.

In the drowsy driving prevention system,

A camera unit for photographing the face image of the driver;

A monitor unit displaying the face image captured by the camera unit;

A sensing unit which generates and outputs an electrical signal corresponding to the contrast of the face image area displayed on the monitor unit;

A binary processor configured to compare the voltage of the electrical signal output from the sensing unit with a threshold voltage and convert the converted signal into an ON signal or an OFF signal;

If the conversion period of the area converted by the ON signal and the OFF signal output from the binary processing unit is a first period, the corresponding facial image area is determined as an eye position area, and the second period in which the eyes are closed exceeds the limit time. If included, the central processing unit for determining the driving state of the driver to sleepy state,

The sensing unit,

A drowsiness driving prevention system comprising at least one photoelectric device, an image sensing unit installed in close contact with one side of the monitor unit to generate a first electrical signal corresponding to the contrast of an eye position region of the face image.

delete

The method of claim 5,

The image sensing unit,

A drowsy driving prevention system, wherein at least one photoelectric element faces the eye location region.

The method of claim 5,

The central processing unit,

If the ON signal and the OFF signal corresponding to the determined eye position region is converted and received for a predetermined time, the eyes are judged, and after the repetition of this signal is judged to be drowsy state if the OFF signal continues for a certain time.

delete

In the drowsiness state determination method of the drowsy driving prevention system,

Generating an electrical signal corresponding to the contrast of the driver's facial image area;

Comparing the voltage of the electrical signal with a threshold voltage and converting the signal into a binary signal that is an ON signal or an OFF signal;

If the conversion period of the binary signal is a first period corresponding to a period of a general eye blink, determining the face image area as an eye location area;

If the conversion period of the binary signal corresponding to the face image area corresponding to the eye position area exceeds the limit time, determining the driving state of the driver as a drowsiness state,

Generating the electrical signal,

Photographing and displaying a face image of the driver;

And generating a first electric signal corresponding to the contrast of the eye position region of the face image.

delete

The method of claim 10,

And determining the eye position region when the binary signal corresponding to the determined eye position region is converted and received for a predetermined time.

The method of claim 10,

The determination of the drowsiness state,

After determining and confirming the eye position area, if the OFF signal (the eyes closed state) continues for a predetermined time after repeating a predetermined number of times, the drowsiness state of the drowsiness driving prevention system judged to be drowsy state Judgment method.

delete