KR101428165B1

KR101428165B1 - 차선이탈 경고 시스템 및 차선이탈 경고 방법

Info

Publication number: KR101428165B1
Application number: KR1020120071227A
Authority: KR
Inventors: 우정우; 김기대; 비 굽타 라구반쉬; 바부 마노하
Original assignee: 엘지이노텍 주식회사
Priority date: 2012-06-29
Filing date: 2012-06-29
Publication date: 2014-08-07
Also published as: US9659497B2; US20140002656A1; KR20140004292A

Abstract

본 발명은 차량의 전방에 부착되어 상기 차량의 전방을 촬영하는 영상 촬영부, 상기 영상 촬영부로부터 영상 데이터를 수신하고, 필터링하여 차선쌍을 찾고, 영상 데이터의 영상 좌표를 실제 좌표로 변환하여 상기 차선쌍으로부터 차량까지의 측면 거리 및 측면 속도를 연산하고, 차선이탈시간을 구하여 상기 차선이탈시간에 따라 경고 발생 신호를 생성하는 구동부, 그리고 상기 경고 발생 신호를 받아 차선이탈 경고 신호를 발생하는 경고부를 포함하는 차선이탈 경고 시스템을 제공한다. 따라서, 영상 좌표에서 실제 좌표로 변환하여 차량과 차선 사이의 측면 거리를 연산하여 차선이탈시간을 구함으로 오차를 줄일 수 있어 신뢰성이 향상된다. 또한, 차선의 상태에 따라 구분하여 연산을 수행함으로써 오차를 줄일 수 있다.

Description

차선이탈 경고 시스템 및 차선이탈 경고 방법{Lane Departure Warning System and Lane Departure Warning Method}

본 발명은 차선이탈 경고 시스템 및 차선이탈 경고 방법에 대한 것이다.

일반적으로, 교통 사고 예방 기술은 차량간 충돌 예방 기술이 주를 이룬다.

차량의 단독 기술은 각종 센서를 이용하여 상기 센서에서 감지된 정보를 이용하여 차량 충돌을 예상한다.

또한, 차량 간 협력기술은 DSRC와 같은 통신 기술을 이용하여, 주변 차량이나 인프라로부터 다양한 정보를 수집하여 차량의 충돌을 감지한다.

그러나, 종래의 교통 사고 예방 기술은 차량의 시스템과 연계하여 차량의 위치, 속도 및 방향 정보를 가지고 교통 사고를 예측하거나, 통신 기술을 이용하여 주변 차량이나 인프라로부터 교통 정보를 수신한다.

따라서, 경고 시스템과 차량 사이에 연동 시스템이 요구되며 일부 시스템의 오작동으로 데이터가 오염될 수 있는 위험이 있다.

실시예는 차량 시스템과의 연동 없이 단일 시스템 내에서 예기치 않은 차선이탈을 경고함으로써 사고를 예방할 수 있는 경고 시스템을 제공한다.

실시예는 차량의 전방에 부착되어 상기 차량의 전방을 촬영하는 영상 촬영부, 상기 영상 촬영부로부터 영상 데이터를 수신하고, 필터링하여 차선쌍을 찾고, 영상 데이터의 영상 좌표를 실제 좌표로 변환하여 상기 차선쌍으로부터 차량까지의 측면 거리 및 측면 속도를 연산하고, 차선이탈시간을 구하여 상기 차선이탈시간에 따라 경고 발생 신호를 생성하는 구동부, 그리고 상기 경고 발생 신호를 받아 차선이탈 경고 신호를 발생하는 경고부를 포함하는 차선이탈 경고 시스템을 제공한다.

상기 구동부는 상기 영상 데이터를 필터링하여 후보 차선 영역을 추출하고, 추출된 상기 후보 차선 영역의 특성을 기준으로 그루핑을 수행하는 전처리부, 상기 전처리부로부터 그루핑된 상기 후보 차선 영역으로부터 차선쌍을 탐색하는 차선 탐색부, 그리고 상기 영상 좌표를 실제 좌표로 변환하여 상기 차선이탈시간을 구하여 상기 차선이탈시간에 따라 경고 발생 신호를 경고 발생부를 포함할 수 있다.

상기 경고 발생부는 상기 영상 좌표의 차선 중 두 점을 선택하고, 상기 차량의 좌표를 영점으로 상기 두 점을 실제 좌표로 변환하여 실제점을 구할 수 있다.

상기 두 개의 실제점을 이용하여 상기 차량의 진행 방향과 상기 차선의 기울기를 구할 수 있다.

상기 경고 발생부는 차선이 직선인지 곡선인지에 따라 상기 측면 거리를 연산할 수 있다.

상기 차선이 곡선인 경우, 상기 경고 발생부는 차량의 진행 방향과 상기 차선의 교점 아래의 차선에서 상기 두 점을 선택할 수 있다.

직선차선이 끝나고 곡선차선이 시작되는 시점에서 상기 차량의 진행방향이 상기 차선과 평행한 경우, 상기 차선을 직선으로 변환하여 연산할 수 있다.

상기 경고 발생부는 상기 영상 좌표를 원근을 고려하여 상기 실제 좌표로 변환할 수 있다.

상기 측면 속도는 복수의 프레임에서 상기 차량의 위치 변화에 의해 연산될 수 있다.

상기 측면 속도는 복수의 프레임에서 상기 측면 거리 변화에 의해 연산될 수 있다.

상기 측면 거리는 영상촬영부의 카메라의 틸트각을 이용하여 연산될 수 있다.

상기 차선이탈시간은 상기 측면 거리를 상기 측면 속도로 나눈 값일 수 있다.

한편, 실시예는 차량의 전방을 촬영하여 영상 데이터를 생성하는 단계, 상기 영상 데이터를 필터링하여 후보 차선 영역을 추출하고, 추출된 상기 후보 차선 영역의 특성을 기준으로 그루핑을 수행하는 단계, 그루핑된 상기 후보 차선 영역으로부터 차선쌍을 탐색하는 단계, 상기 영상 데이터의 영상 좌표를 실제 좌표로 변환하여 차선이탈시간을 구하는 단계, 그리고 상기 차선이탈시간에 따라 경고 발생 신호를 생성하는 단계를 포함한다.

상기 차선이탈시간을 구하는 단계는, 상기 영상 좌표의 차선 중 두 점을 선택하고, 상기 차량의 좌표를 영점으로 상기 두 점을 실제 좌표로 변환하여 실제점을 구하는 단계, 그리고 상기 두 개의 실제점을 이용하여 상기 차량의 진행 방향과 상기 차선의 기울기를 구하는 단계를 포함할 수 있다.

상기 상기 차선이탈시간을 구하는 단계는, 상기 차선쌍이 직선인지 곡선인지에 따라 상기 측면 거리를 연산할 수 있다.

상기 차선쌍이 곡선인 경우, 상기 차량의 진행 방향과 상기 차선의 교점 아래의 차선에서 상기 두 점을 선택할 수 있다.

상기 차선쌍이 90도로 휘어지는 경우, 상기 차선쌍을 직선으로 변환하여 연산할 수 있다.

상기 차선이탈시간을 구하는 단계는 상기 영상 좌표를 원근을 고려하여 상기 실제 좌표로 변환할 수 있다.

상기 측면 속도는 복수의 프레임에서 상기 차량의 위치 변화에 의해 연산할 수 있다.

상기 측면 속도는 복수의 프레임에서 상기 측면 거리 변화에 의해 연산할 수 있다.

상기 측면 거리는 상기 차량의 전방을 촬영하는 카메라의 틸트각을 이용하여 연산할 수 있다.

상기 차선이탈시간은 상기 측면 거리를 상기 측면 속도로 나누어 구할 수 있다.

본 발명에 따르면, 차선 감지 및 추적 기능을 제안하여 도입함으로써 간단하게 차선이탈을 경고할 수 있다.

영상 좌표에서 실제 좌표로 변환하여 차량과 차선 사이의 측면 거리를 연산하여 차선이탈시간을 구함으로 오차를 줄일 수 있어 신뢰성이 향상된다.

또한, 차선의 상태에 따라 구분하여 연산을 수행함으로써 오차를 줄일 수 있다.

도 1은 본 발명의 실시예에 따른 시스템 구성도이다.
도 2는 도 1의 시스템의 동작을 설명하는 순서도이다.
도 3은 도 2의 영상 전처리 단계의 상세 단계를 나타내는 순서도이다.
도 4는 도 3의 관심 영역을 나타내는 영상이다.
도 5는 도 2의 차선 탐색 단계의 상세 단계를 나타내는 순서도이다.
도 6은 도 2의 차선 추적 단계의 상세 단계를 나타내는 순서도이다.
도 7은 차선 추적 단계의 관심 영역을 나타내는 영상이다.
도 8은 경고 발생 단계의 상세 단계를 나타내는 순서도이다.
도 9는 도 8의 측면 거리 및 측면 속도 결정 단계의 상세 단계를 나타내는 순서도이다.
도 10은 직선 차선에서의 측면 거리 연산을 나타내는 실제 좌표이다.
도 11은 곡선 차선에서의 측면 거리 연산을 나타내는 실제 좌표이다.
도 12a 및 도 12b는 변곡점에서의 측면 거리 연산을 나타내는 실제 좌표이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 발명은 차량에 부착되어 이동하는 차량의 갑작스러운 차선이탈을 경고할 수 있는 시스템을 제공한다.

이하에서는 도 1 및 도 2를 참고하여 본 발명의 실시예에 따른 차선이탈 경고 시스템을 설명한다.

도 1은 본 발명의 실시예에 따른 시스템 구성도이고, 도 2는 도 1의 시스템의 동작을 설명하는 순서도이다.

도 1을 참고하면, 차선이탈 경고 시스템(100)은 영상촬영부(150), 경고부(160) 및 구동부(110)를 포함한다.

영상촬영부(150)는 소정의 주파수로 촬영되는 카메라를 포함하며, 카메라는 차량의 전방을 촬영하여 촬영된 영상을 구동부(110)로 전달한다.

이때, 영상촬영부(150)는 야간에도 동작이 가능한 적외선 카메라를 포함할 수 있으며, 외부 환경에 따라 라이트가 제어되어 동작할 수 있다.

경고부(160)는 구동부(110)로부터 경고 발생 신호를 수신하여 운전자에게 차선이탈 경고 신호를 발생한다.

이때, 경고 신호는 알람과 같이 청각적 신호를 이용할 수 있으나, 이와 달리 차량의 네비게이션과 연동하여 시각적 신호로서 보여줄 수도 있다.

구동부는 영상촬영부(150)로부터 촬영된 영상 데이터를 프레임 단위로 수신하고(S100), 수신된 영상 데이터로부터 차선을 판독하고, 차선과 차량 사이의 측면 거리를 연산하여 연산된 측면 거리로부터 차선이탈까지의 시간을 연산하여 상기 시간이 소정 범위 내인 경우, 경고 발생 신호를 생성한다.

상기 구동부(110)는 도 1과 같이 전처리부(101), 차선 탐색부(103), 차선 추적부(105) 및 경고 발생부(107)로 구성될 수 있다.

전처리부(101)는 영상촬영부(150)로부터 영상 데이터를 수신하고(S100), 상기 영상 데이터로부터 관심 영역(ROI:region of interest)을 선택하여 상기 관심 영역으로부터 차선을 탐색하여 하나의 차선으로 판단되는 복수의 영역을 그루핑한다(S200).

차선 탐색부(103)는 그루핑된 영역 중 하나의 레인(lane)을 이루는 두 개의 선인 차선쌍(lane pair)을 찾아 찾아진 차선쌍 중 최적의 차선쌍을 찾는다(S400).

차선 추적부(105)는 차선 탐색부(103)와 선택적으로 구동하며, 차선 탐색부(103)로부터 수 프레임에 걸쳐 차선쌍이 탐색되면(S300), 탐색된 차선쌍을 기준으로 축소된 관심 영역으로부터 최적의 차선쌍을 찾는다(S500).

이와 같이, 차선 추적부(105)의 차선 추적이 성공하면(S600) 경고 발생부(107)가 경고 발생 신호를 생성하고(S700), 추적에 실패하는 경우, 차선 탐색부(103)의 차선탐색 단계가 다시 진행된다.

경고 발생부(107)는 차선 탐색부(103) 또는 차선추적부로부터 최적의 차선 정보를 수신하고, 상기 차선과 차량의 관계에 따라 측면 거리를 연산하고, 측면 거리와 차량의 측방향 속도에 따라 차선이탈시간(time of lane change)을 연산하여 상기 차선이탈시간이 소정 범위 내이면 경고 발생 신호를 출력한다.

이하에서는 각 단계에 대하여, 도 3 내지 도 8을 참고하여 더욱 상세히 설명한다.

먼저, 도 3과 같이 영상촬영부(150)로부터 차량 전방의 영상이 촬영되면 전처리부(101)는 영상을 수신하고, 전처리를 진행한다.

즉, 도 4와 같이 영상에서 관심 영역(ROI: region of interest)을 설정하고, 설정된 관심 영역을 선택한다(S210). 이때, 상기 관심 영역은 영상의 왼쪽 가장자리부터 일부 영역을 차지하는 왼쪽 관심 영역과 영상의 오른쪽 가장자리부터 일부 영역을 차지하는 오른쪽 관심 영역을 포함할 수 있다.

관심 영역의 면적은 가변적으로 설정될 수 있으며, 왼쪽 관심 영역과 오른쪽 관심 영역의 일부가 도 4와 같이 중심에서 일부 중첩되는 중첩 영역을 가질 수 있다. 이와 같이 일부 영역이 중첩됨으로써 차량이 변경할 수 있는 차선을 모두 포함할 수 있다.

다음으로, 상기 관심 영역의 영상을 흑백으로 전환한다(S220). 즉, RGB 데이터를 흑백 데이터로 변환함으로써 데이터의 용량을 줄일 수 있다.

다음으로 전처리부(101)는 영상 강화를 수행한다(S230).

영상 강화 단계에서 전처리부(101)는 조도를 조절하여 대비비를 높인다. 이러한 영상 강화는 CLAHE(Constant Limited Adaptive Histogram Equalization) 알고리즘으로 진행할 수 있으며, 이로써 숨겨져 있는 영상의 특징을 부각시킬 수 있다.

다음으로 데이터 분할(segmentation)을 수행한다(S240).

데이터 분할은 강화된 데이터로부터 차선을 이루는 화소를 추출하는 필터링으로 진행된다.

즉, 소정 크기의 마스크를 관심 영역 내에서 이동하면서 각 화소에서의 데이터 응용값에 따라 필터링을 수행한다. 예를 들어, (x, y) 지점에 대하여 [(x-마스크);x, y] 내의 복수의 화소의 데이터 값의 평균을 I_left라 하고, [(x+마스크);x, y] 내의 복수의 화소의 데이터 값의 평균을 I_right라 할 때, 다음의 수식을 충족하는 화소를 차선 화소로 선택한다.

[관계식 1]

D(x, y)> I_left+Dth and D(x, y)> I_rignt +Dth

이때, 상기 Dth는 임의로 설정될 수 있다.

또한, 상기 마스크의 크기는 영상의 세로축을 따라 커짐으로써 원근을 반영할 수 있으나, 이에 한정되지 않고 유동적으로 변환할 수 있다.

다음으로, 상기 차선 화소 중 일부를 묶어 후보 차선 영역을 생성한다(S250).

이때, 후보 차선 영역은 크기, 경계점, 주축, 부축 그리고 영역 기울기에 따라 차선 화소를 묶음함으로써 생성될 수 있다.

다음으로, 후보 차선 영역이 생성되는지를 판단하여(S260), 상기 후보 차선 영역이 생성되어 있는 경우, 후보 차선 영역 중 일부를 그루핑한다(S270).

이때, 후보 차선 영역의 그루핑은 기울기에 따라 진행될 수 있으나 이에 한정되지 않고 다른 특징들을 반영하여 그루핑될 수도 있다.

즉, 하나의 차선을 이루는 복수의 후보 차선 영역을 하나의 차선으로 인지하여 하나의 후보 차선 그룹으로 묶는다. 생성된 그룹에 대하여는 그룹의 기울기, 그룹의 아래 교차점 및 위 교차점을 특징으로 플래그에 저장할 수 있다.

이때, 영상 강화 단계는 생략될 수 있으며, 영상 강화 단계는 다양하게 설정될 수 있다.

이와 같이 후보 차선 그룹 형성까지 진행되면 영상 전처리 단계가 종료한다.

다음으로, 차선 탐색 단계를 설명한다.

먼저 전처리부(101)에서 차선 영역 그루핑이 종료된 뒤 이전 프레임에서 차선쌍이 존재하는 경우 차선 추적 단계를 진행하고, 차선이 존재하지 않는 경우 차선 탐색 단계를 수행한다.

차선 탐색 단계는 도 5를 참고하여 설명한다.

먼저, 차선 탐색부(103)는 차선쌍을 탐색한다(S410).

차선쌍 탐색은 왼쪽 및 오른쪽 후보 차선 그룹에서 그룹의 특징을 비교하여 쌍으로 판정되는 두 개의 차선을 축출하여 진행한다.

이때, 이미 이전 프레임에서 차선 변경이 일어난 경우에는(S420) 현재 탐색된 차선쌍을 최적화된 차선쌍으로 결정한다(S460).

한편, 차선 변경이 없는 경우에는 탐색된 차선쌍의 히스토리를 체크한다(S440). 히스토리 체크는 현재 탐색된 차선쌍과 이전 탐색된 차선쌍을 비교하여 현재 탐색된 차선쌍 중 임계 범위 내에서 이전 차선쌍과 매칭되는 차선쌍을 최적화된 차선쌍으로 결정한다.

이때, 비교하는 값은 기울기과 교점일 수 있으며, 이외에도 추가적인 특징이 부가될 수 있다.

최적화된 차선쌍이 결정되면 곡선 또는 직선 파라미터를 계산하여 저장한다(S450).

상기 파라미터는 차선 추적 단계에서 이용될 수 있다.

이와 같이 현재 프레임에서 최적화된 차선쌍이 결정되면 차선 탐색 단계가 종료된다.

한편, 차선 추적부(105)는 차선 탐색부(103)로부터 하나의 차선쌍이 탐색된 이후에 동작을 진행한다.

도 6을 참고하면, 차선 추적이 시작되면, 전처리부(101)의 관심 영역은 도 4와 같이 가로 방향의 영상 전체를 포함하지 않고, 탐색된 차선쌍 각각의 차선 주변을 포함하는 축소된 형태를 가진다.

이러한 축소된 관심 영역을 대상으로 흑백전환, 영상 강화, 데이터 분할, 후보 차선 영역 추출 및 후보 차선 영역 그루핑까지의 전처리 동작이 순차적으로 진행된다(S510).

따라서, 그루핑된 후보 영역은 도 7과 같이 임계 값 내의 유사한 기울기를 가진다.

다음으로, 왼쪽 후보 영역 그룹 및 오른쪽 후보 영역 그룹이 존재하는 경우(S520), 상기 후보 영역 그룹에서 차선쌍을 얻는다(S530).

상기 차선쌍을 얻는 과정은 차선 탐색 과정에서 차선쌍을 얻는 과정과 동일하다.

이때 수득된 차선쌍의 수효를 판단하여(S550), 상기 차선쌍이 하나 초과인 경우, 안쪽에 위치한 차선을 최적의 차선쌍으로 판단한다(S590).

이와 같이 최적의 차선쌍이 결정되면(S560), 최적의 차선쌍에 대한 곡률 매칭을 수행하여 데이터를 저장한다(S570).

한편, 상기 그루핑된 후보 영역이 없는 경우, 차선쌍 예측을 수행한다(S580).

차선쌍 예측은 이전 프레임에서 검출된 차선쌍을 기준으로 이와의 특성을 비교하여 근접한 왼쪽 또는 오른쪽 후보 영역 그룹에서 차선을 선택한다.

이때, 차선을 결정하는 특성은 기울기, 교점 등일 수 있다. 이와 같이 예측된 차선쌍을 최적의 차선쌍으로 판단하여 곡률 매칭을 수행하여 데이터를 저장한다.

이와 같이 차선 탐색 또는 차선 추적 과정을 통해 최적의 차선쌍이 결정되면 경고 생성 단계가 진행된다.

경고 발생부(107)는 차량 속도와 상기 차선쌍으로부터의 차량의 위치를 기초로 경고 여부를 판단한다.

먼저, 경고 발생부(107)는 차선쌍으로부터 현재 차량의 위치를 판단하여 차선쌍과 차량의 측면 거리를 연산하고, 측면 속도를 연산한다(S710).

이하에서는 도 9 내지 도 12를 참고하여 경고 발생부의 측면 거리 및 측면 속도 연산을 설명한다.

도 9는 도 8의 측면 거리 및 측면 속도 결정 단계의 상세 단계를 나타내는 순서도이고, 도 10은 직선 차선에서의 측면 거리 연산을 나타내는 실제 좌표이다.

먼저, 경고 발생부(107)는 차선쌍의 상태를 파악한다.

즉, 경고 발생부(107)는 차선쌍이 직선을 이루는지, 곡선을 이루는지를 판단하여 각 상태에 따라 연산을 수행한다(S711).

상기 차선쌍이 직선차선인 경우, 경고 발생부는 영상 좌표에서 차선 위의 두개의 점(N1, N2)을 임의로 선택한다(S712).

이때, 각 점(N1, N2)의 x축 좌표를 cL이라 하고, y축 좌표를 rL이라 명명한다.

다음으로, 상기 영상 좌표를 도 10과 같이 실제 좌표로 변환하여 영상 좌표에서의 상기 점(N1, N2)의 을 실제 좌표에서의 실제점(n1, n2)으로 나타낸다(S713).

이때, 좌표의 영점은 차량의 위치(V)를 기준으로 한다.

상기 실제점의 좌표를 구하기 위하여, 카메라의 틸트각(Tilt Angle)를 연산한다.

상기 틸트각은 다음과 같은 수학식을 통하여 구한다.

이때, ∇는 틸트각, rH는 영상의 베니싱 포인트의 y좌표값이며, alphaV는 카메라 화각 중 수직 틸트각의 반으로 정의한다.

틸트각을 이용하여 하기 수학식의 실제점의 좌표를 구한다.

이때, H는 카메라의 높이, alphaU는 카메라 화각 중 수평 틸트각의 반으로 정의한다.

한편, 상기 rowfactor, colfactor는 다음의 수식을 충족한다.

이때, 상기 m,n은 카메라의 해상도이다.

이와 같이, 카메라의 특성을 고려하여 영상 좌표에서의 두 점의 좌표를 실제 좌표에서의 두 점의 좌표(X1, Y1, X2, Y2)로 변환하면, 원근을 고려한 실제 값이 산출된다.

다음으로, 실제점의 좌표를 이용하여 본 차의 위치로부터 차선까지의 측면 거리(D)를 연산한다(S714)

측면 거리(D)는 다음의 수학식을 충족한다.

이때, θ는 차선에 대한 차량진행 방향의 각도로 정의한다.

상기 θ는 다음의 수학식으로 구할 수 있다.

이와 같이, 측면 거리를 구하면, 본 차량의 측면 속도를 연산한다(S715).

측면 속도는 영상 좌표에서 차량의 좌표를 기준으로 구한다.

상세하게는, 한 프레임에서의 차량의 X축 좌표를 XV1이라 하고, Δt만큼의 시간이 경과한 프레임에서의 상기 차량의 X축 좌표를 XV2라 하면, 상기 측면 속도는 다음의 수학식을 따른다.

다음으로, 경고 발생부(107)는 차선이탈시간(TLC)을 계산한다(S720).

차선이탈시간은 다음의 식을 충족한다.

상기 차선이탈시간은 현재 차량이 해당 차선쌍까지 도달하는데 걸리는 시간으로 이는 차량이 현재 차선을 이탈하는데 걸리는 시간을 의미한다.

다음으로, 상기 차선이탈시간이 임계시간보다 크면(S730) 경고 발생 신호를 출력한다(S750). 그러나, 상기 차선이탈시간이 임계시간보다 작으면 이미 차선 이탈이 발생한 것으로 간주하여 경고를 발생하지 않는다(S740). 상기 임계시간은 차량이 현재 속도로부터 정지할 때까지의 소요시간으로 상기 임계시간은 현재 속도에 따라 가변할 수 있다.

이와 같이 상기 구동부(110)에서 경고 발생 신호를 생성하여 경고부(160)에 전송하면 상기 경고부(160)는 청각적 또는 시각적으로 운전자에게 경고를 발생한다.

한편, 경고 발생부(107)은 차선쌍이 곡선인 경우, 도 11과 같이 변환하여 측면 거리를 연산한다.

곡선 차선의 경우, 측면 거리 및 측면 속도를 구하는 연산은 수학식 1 내지 수학식 6을 따른다.

다만, 곡선 차선의 경우, 영상 좌표에서 두 점(N1,N2)을 선택할 때, 차량의 좌표를 영점으로 보고 차선과 Y축이 만나는 점을 시작점(N0)라고 정의한다.

그리고 두 점(N1,N2)을 상기 시작점(N0) 아래의 점으로 선택하여 곡선 차선과 차량의 진행방향의 기울기가 최대한 직선차선과 근사하도록 설정한다.

두 점(N1,N2)이 선택되어, 실제 좌표로 변환이 진행되면, 실제점(n1,n2) 및 실제시작점(n0)의 좌표가 각각 연산된다.

이때, 곡선 차선의 측면 거리는 다음의 수학식을 충족한다.

이때, 상기 Int_Y는 실제시작점의 Y좌표값이다.

따라서, 상기 측면 거리를 구하고, 수학식 6과 같이 측면 속도를 구하여 수학식 7의 TLC를 연산할 수 있다.

한편, 차선의 상태를 판단할 때, 직선차선이 끝나고 곡선차선이 시작되는 시점에서 차량의 진행방향이 직선차선과 평행한 경우, 수학식 8에 의해 측면 거리는 0이 되어 오류가 발생한다.

이러한 오류를 방지하기 위하여, 도 12a와 같이 곡선차선의 실제 좌표를 도12b와 같이 직선 차선에 90도로 기울어져서 진입하는 차량으로 변환하여 수학식 4를 적용하여 측면 거리를 연산한다.

그리고, 상기 곡선차선이 복수의 프레임이 지나는 동안 계속 이어지는 경우, 다음 프레임의 측면 거리는 현재 프레임의 측면 거리보다 짧아진다.

이때, 현재 프레임의 측면 거리를 D1, 다음 프레임의 측면 거리를 D2라 하면, 상기 측면 속도는 다음 식을 충족한다.

따라서, 수학식 9의 측면 속도를 이용하여 수학식 7의 TLC를 연산할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

차선이탈 경고 시스템 100
구동부 110
영상촬영부 150
경고부 160
전처리부 101
차선탐색부 103
차선추적부 105
경고발생부 107

Claims

차량의 전방에 부착되어 상기 차량의 전방을 촬영하는 영상 촬영부,
상기 영상 촬영부로부터 영상 데이터를 수신하고, 필터링하여 차선쌍을 찾고, 상기 영상 데이터의 영상 좌표에 포함된 차선 중 두 점을 선택하고, 상기 차량의 좌표를 영점으로 상기 두 점을 실제 좌표로 변환하여 실제점을 구하고, 상기 실제점을 이용하여 상기 차선쌍으로부터 차량까지의 측면 거리 및 측면 속도를 연산하고, 차선이탈시간을 구하여 상기 차선이탈시간에 따라 경고 발생 신호를 생성하는 구동부, 그리고
상기 경고 발생 신호를 받아 차선이탈 경고 신호를 발생하는 경고부
를 포함하는 차선이탈 경고 시스템.
제1항에 있어서,
상기 구동부는
상기 영상 데이터를 필터링하여 후보 차선 영역을 추출하고, 추출된 상기 후보 차선 영역의 특성을 기준으로 그루핑을 수행하는 전처리부,
상기 전처리부로부터 그루핑된 상기 후보 차선 영역으로부터 차선쌍을 탐색하는 차선 탐색부, 그리고
상기 영상 좌표를 실제 좌표로 변환하여 상기 차선이탈시간을 구하여 상기 차선이탈시간에 따라 경고 발생 신호를 생성하는 경고 발생부를 포함하는 차선이탈 경고 시스템.
삭제
제2항에 있어서,
상기 두 개의 실제점을 이용하여 상기 차량의 진행 방향과 상기 차선의 기울기를 구하는 차선이탈 경고 시스템.
제4항에 있어서,
상기 경고 발생부는 차선이 직선인지 곡선인지에 따라 상기 측면 거리를 연산하는 차선이탈 경고 시스템.
제5항에 있어서,
상기 차선이 곡선인 경우, 상기 경고 발생부는 차량의 진행 방향과 상기 차선의 교점 아래의 차선에서 상기 두 점을 선택하는 차선이탈 경고 시스템.
제5항에 있어서,
직선차선이 끝나고 곡선차선이 시작되는 시점에서 상기 차량의 진행방향이 상기 차선과 평행한 경우, 상기 차선을 직선으로 변환하여 연산하는 차선이탈 경고 시스템.
제2항에 있어서,
상기 경고 발생부는 상기 영상 좌표를 원근을 고려하여 상기 실제 좌표로 변환하는 차선이탈 경고 시스템.
제1항에 있어서,
상기 측면 속도는 복수의 프레임에서 상기 차량의 위치 변화에 의해 연산되는 차선이탈 경고 시스템.
제7항에 있어서,
상기 측면 속도는 복수의 프레임에서 상기 측면 거리 변화에 의해 연산되는 차선이탈 경고 시스템.
제2항에 있어서,
상기 측면 거리는 영상촬영부의 카메라의 틸트각을 이용하여 연산하는 차선이탈 경고 시스템.
제1항에 있어서,
상기 차선이탈시간은 상기 측면 거리를 상기 측면 속도로 나눈 값인 차선이탈 경고 시스템.
차량의 전방을 촬영하여 영상 데이터를 생성하는 단계,
상기 영상 데이터를 필터링하여 후보 차선 영역을 추출하고, 추출된 상기 후보 차선 영역의 특성을 기준으로 그루핑을 수행하는 단계,
그루핑된 상기 후보 차선 영역으로부터 차선쌍을 탐색하는 단계,
상기 영상 데이터의 영상 좌표에 포함된 차선 중 두 점을 선택하고, 상기 차량의 좌표를 영점으로 상기 두 점을 실제 좌표로 변환하여 실제점을 구하는 단계,
상기 실제점을 이용하여 상기 차선쌍으로부터 차량까지의 측면 거리 및 측면 속도를 연산하는 단계,
상기 측면 거리 및 측면 속도를 이용하여 차선이탈시간을 구하는 단계, 그리고
상기 차선이탈시간에 따라 경고 발생 신호를 생성하는 단계
를 포함하는 차선이탈 경고 방법.
제13항에 있어서,
상기 차선이탈시간을 구하는 단계는,
상기 두 개의 실제점을 이용하여 상기 차량의 진행 방향과 상기 차선의 기울기를 구하는 단계를 포함하는 차선이탈 경고 방법.
제14항에 있어서,
상기 상기 차선이탈시간을 구하는 단계는,
상기 차선쌍이 직선인지 곡선인지에 따라 상기 측면 거리를 연산하는 차선이탈 경고 방법.
제15항에 있어서,
상기 차선쌍이 곡선인 경우, 상기 차량의 진행 방향과 상기 차선의 교점 아래의 차선에서 상기 두 점을 선택하는 차선이탈 경고 방법.
제15항에 있어서,
상기 차선쌍이 90도로 휘어지는 경우, 상기 차선쌍을 직선으로 변환하여 연산하는 차선이탈 경고 방법.
제13항에 있어서,
상기 차선이탈시간을 구하는 단계는 상기 영상 좌표를 원근을 고려하여 상기 실제 좌표로 변환하는 차선이탈 경고 방법.
제13항에 있어서,
상기 측면 속도는 복수의 프레임에서 상기 차량의 위치 변화에 의해 연산되는 차선이탈 경고 방법.
제17항에 있어서,
상기 측면 속도는 복수의 프레임에서 상기 측면 거리 변화에 의해 연산되는 차선이탈 경고 방법.
제13항에 있어서,
상기 측면 거리는 상기 차량의 전방을 촬영하는 카메라의 틸트각을 이용하여 연산하는 차선이탈 경고 방법.
제13항에 있어서,
상기 차선이탈시간은 상기 측면 거리를 상기 측면 속도로 나누어 구하는 차선이탈 경고 방법.