KR20130112594A

KR20130112594A - 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법

Info

Publication number: KR20130112594A
Application number: KR1020120035092A
Authority: KR
Inventors: 김홍염; 이경호
Original assignee: (주) 넥스트칩
Priority date: 2012-04-04
Filing date: 2012-04-04
Publication date: 2013-10-14
Also published as: CN104471613B; US9589337B2; KR101341243B1; US20150043818A1; CN104471613A; WO2013151208A1

Abstract

본 발명은 기상 현상으로 훼손된 영상을 복원하는 장치 및 방법에 관한 것으로서, 영상을 입력받는 입력부, 상기 입력되는 영상 중에서, 기상 현상에 의한 훼손 영상을 검출하는 훼손 영상 검출부, 상기 훼손 영상을 복원하는 훼손 영상 복원부, 및 상기 복원된 영상을 출력하는 출력부를 포함하고, 상기 훼손 영상 복원부는 상기 훼손 영상의 대비(contrast) 및 색(color) 중에서 적어도 하나를 복원 처리할 수 있다.

Description

기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법{APPARATUS AND METHOD OF RESTORING IMAGE DAMAGED BY WEATHER CONDITION}

본 발명은 안개, 황사 등의 기상 환경에서 촬영되어 훼손된 영상에 대한 복원을 수행하는 기술적 사상에 관한 것이다.

일상 생활에서 안개, 황사 등 기상 현상이 발생한 곳에서는 사물의 윤곽이 옅어지고, 색상이 변하여 인지 가능한 거리가 일반 상황과 비교할 때, 매우 짧다.

이처럼 시야 거리가 짧은 상황에서는 통행이 불편하며, 자동차, 항공, 선박 등 모든 운행 수단에 있어 사고 위험이 커진다.

이러한 상황에서 영상 촬영 시, 사람의 눈으로 보는 것에 비해 초점을 제대로 맞출 수가 없고, 동적 영역이 적기 때문에 시야 거리가 더 짧아 진다.

안개, 황사 등 기상 현상이 발생한 곳에서의 사물의 색은 안개, 황사 등의 기상 환경에 영향을 받아 일반 상황과 비교 시 사물의 색이 변한다. 이로 인해 사물에 대한 정확한 인지가 어렵다.

안개, 황사 등의 기상 환경에서 피사체를 촬영한 영상은 피사체를 사실 그대로 묘사하였다고 볼 수 없기 때문에 훼손되었다고 판단할 수 있어 훼손 영상이라 칭할 수 있다.

도 1은 안개 상황에서 빛이 카메라에 입력되는 과정을 모델링하는 예를 설명하는 도면이다.

카메라의 센서(101)는 광원(103)이 오브젝트(102)에 반사되는 빛(Direct Transmission)에 의해서 영상(image)을 생성할 수 있다.

예를 들어, 이러한 영상은 안개(104)가 자욱하게 낀 기상 상태에 의해서 훼손될 수 있다.

카메라의 센서(101)에는 광원(103)뿐만 아니라, 공기 중 미세 입자로 구성된 안개(104)에 광원(103)이 반사되는 빛(Reflect Transmission)이 더 입력될 수 있다.

즉, 카메라의 센서(101)는 Direct Transmission과 함께 Reflect Transmission을 입력받아 훼손된 영상을 생성하게 된다.

안개, 황사 등의 기상 환경에 훼손된 영상은 공기 중 미세 입자에 의해 반사된 광량이 피사체에 반사된 광량과 함께 입력되어 구성되는 점에서, 영상 내 가시 거리가 짧아지고 색이 탁해져, 영상에 대한 인식 및 인지가 어렵다.

건물 외부에 설치된 감시 카메라 및 차량용 카메라 등 기상 환경의 변화에 노출된 곳에서 영상을 촬영하는 경우, 안개, 황사 등 기상 환경에 의해 훼손되어 영상을 정상적으로 촬영할 수가 없다. 이에 따라 감시 카메라 및 차량용 카메라 등의 용도에 따른 모든 기능들이 무용지물이 된다.

즉, 훼손 영상에 의해서 카메라 설치의 주된 목적으로서 정상 동작하지 않음과 동시에 일반적인 영상을 기준으로 동작하는 떨림 보정, 움직임 감지, 차량 충돌 방지, 차선 인식 등의 많은 기능들을 제대로 사용할 수 없다.

안개, 황사 등 기상 환경에 의해 훼손된 영상의 판별 및 검출 부분이 배제되거나 제대로 구현되지 않고 있다. 이는 자동 기능이 아닌 사용자에 의해 선택적으로 사용돼야 하는 기술로서 국한되어 감시 카메라와 같이 유저가 자주 조정하지 않는 용도로는 사용이 불가능하다.

영상을 촬영하는 환경 및 상황 등에 따라 복원 후 결과물의 성능이 많이 변한다. 안개, 황사 등 기상 환경의 강도, 주변 광원의 배치 및 강도 등에 따라 복원 결과물의 성능이 기술 적용 전보다 안 좋은 복원 결과물을 갖고 오는 경우가 발생한다.

훼손 영상을 복원하는 종래의 일반적인 영상처리 기술들은 감시 등의 기능에 있어 실시간 구현이 어렵다.

종래의 기술에 의해 훼손 영상을 복원하는 경우, 한 장의 이미지에 대해 반복적이며, 복잡한 알고리즘을 적용하여 수 초에서 수 분에 이르기까지 오랜 시간이 필요하다. 이로 인해 실시간 영상 녹화가 필요한 용도로는 사용이 불가능하다.

종래의 기술에 의해 훼손 영상을 복원하는 경우, 기술 적용에 많은 하드웨어를 필요로 한다. 훼손된 영상과 비슷한 일반 영상이 필요한 기술 혹은 훼손된 영상이 다양한 각도로 여러 장이 필요한 기술, 다양한 노출에서 훼손된 영상이 필요한 기술 등 한 장의 이미지 복원에 있어서 입력되는 이미지 외의 정보가 필요한 기술들은 많은 시간과 더불어 많은 하드웨어를 필요로 한다.

본 발명의 일실시예에 따른 영상 복원 장치는 영상을 입력받는 입력부, 상기 입력되는 영상 중에서, 기상 현상에 의한 훼손 영상을 검출하는 훼손 영상 검출부, 상기 훼손 영상을 복원하는 훼손 영상 복원부, 및 상기 복원된 영상을 출력하는 출력부를 포함하고, 상기 훼손 영상 복원부는 상기 훼손 영상의 대비(contrast) 및 색(color) 중에서 적어도 하나를 복원 처리할 수 있다.

본 발명의 일실시예에 따른 영상 복원 방법은 입력부에서, 영상을 입력받는 단계, 훼손 영상 검출부에서, 상기 입력되는 영상의 밝기 값 분포 및 엣지 성분 중에서 적어도 하나를 확인하여, 상기 입력되는 영상 중에서 상기 훼손 영상을 검출하는 단계, 훼손 영상 복원부에서, 상기 훼손 영상을 복원하는 단계, 및 출력부에서, 상기 복원된 영상을 출력하는 단계를 포함하고, 상기 훼손 영상을 복원하는 단계는, 상기 훼손 영상의 대비(contrast) 및 색(color) 중에서 적어도 하나를 복원 처리하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따르면, 입력되는 영상의 상태를 판단하여, 안개, 황사 등 기상 환경에 훼손된 영상인 경우에 이를 복원하여 영상 내 가시 거리를 증가시킬 수 있다.

본 발명의 일실시예에 따르면, 안개, 황사 등 기상 환경에 의해 훼손된 영상을 대비와 색을 복원함으로 기상 환경에 상관없이 명확한 영상을 얻을 수 있다.

본 발명의 일실시예에 따르면, 기상 환경에 상관없이 명확한 영상을 얻어 영상 획득을 위한 주 목적을 달성하고, 이에 따른 부가적인 다른 기능들의 정상 동작을 유도할 수 있다.

도 1은 안개 상황에서 카메라에 입력되는 과정을 모델링하는 예를 설명하는 도면이다.
도 2는 본 발명의 일실시예에 따른 영상 복원 장치의 내부 구성을 설명하는 블록도이다.
도 3은 일반 영상과 안개 영상의 차이를 설명하는 도면이다.
도 4는 기상 환경의 강도에 따라 훼손된 영상의 특징을 나타내는 도면이다.
도 5는 입력된 영상에서 관심 영역을 선택하여 기상 환경으로 훼손된 영상을 검출하는 실시예를 설명하는 도면이다.
도 6은 대비에 대한 영상 처리의 특징을 설명하는 도면이다.
도 7은 색상에 대한 영상 처리의 특징을 설명하는 도면이다.
도 8은 본 발명의 일실시예에 따른 영상 복원 장치에 의해서 훼손 영상이 복원됨을 설명하는 실시예이다.
도 9는 본 발명의 일실시예에 따른 영상 복원 방법을 설명하는 흐름도이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 2는 본 발명의 일실시예에 따른 영상 복원 장치(200)의 내부 구성을 설명하는 블록도이다.

훼손 영상은 안개, 황사 등 기상 현상에 의해 영상 내 가시 거리가 짧아진 영상으로서, 가시 거리가 짧은 영상은 영상 내 사물의 형체가 뚜렷한 구분이 어렵고, 색이 탁해서 정확한 인지가 어렵다.

본 발명의 일실시예에 따른 영상 복원 장치(200)는 안개, 황사 등 기상 현상으로 훼손된 영상을 찾아 이를 복원하는 기술적 사상에 관한 것이다. 안개, 황사 등의 기상 현상에 의해 훼손된 영상들은 대비가 낮고, 색이 탁해서, 가시 거리가 짧다. 이로 인해 영상을 제대로 인식하기 어렵다.

본 발명의 일실시예에 따른 영상 복원 장치(200)는 이러한 훼손 영상을 복원하여 가시거리(Visibility)가 높고 명확한 영상을 얻는다. 이는 모든 카메라 응용 기술에 적용되어 사용될 수 있다. 또한 기상 현상과 상관없이 움직임 감지, 떨림 보정 등 카메라에 다른 응용 기술의 성능을 유지할 수 있다.

훼손 영상을 복원하기 위해서, 본 발명의 일실시예에 따른 영상 복원 장치(200)는 입력부(210), 훼손 영상 검출부(220), 훼손 영상 복원부(230), 및 출력부(240)를 포함할 수 있다.

본 발명의 일실시예에 따른 입력부(210)는 촬영 장치로부터 촬영된 영상을 입력 받는다.

다음으로, 본 발명의 일실시예에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상 중에서, 기상 현상에 의한 훼손 영상을 검출할 수 있다.

본 발명의 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상의 평균밝기 값, 표준 편차, 대기 산란광, 밝기 값 분포 및 에지 성분 등 다양한 정보 중에서 적어도 하나 이상을 확인하여, 상기 입력되는 영상 중에서 상기 훼손 영상을 검출할 수 있다. 다시 말해, 본 발명의 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상의 평균밝기 값, 표준 편차, 대기 산란광, 색차 신호 벡터 크기, 밝기 값 분포 및 에지 성분 등을 확인하여 영상이 훼손되었는지 여부를 판단할 수 있다.

상기 정보 중 대기 산란광 값은 ["Enhancement of Image Degraded by Fog Using Cost Function Based on Human Visual Mode", D.Kim, IEEE 2008]에서 사용한 대기 산란광 추정 방식을 실시간 적용 가능하도록 수정한 [수학식 1]을 통해 구할 수 있다. [수학식 1]에서 사용된 이상적인 영상(Ideal Image)은 영상의 재현범위를 모두 사용하고 평균을 (최대값 - 최소값) / 2로 갖는 균일한 분포를 가진 영상을 말한다.

[수학식 1]

즉, 본 발명의 다른 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상의 성분들을 확인하고, 상기 확인된 성분들 각각의 임계치에 대한 적어도 하나 이상의 조건을 만족하는 경우, 상기 입력되는 영상 중에서 상기 훼손 영상을 검출할 수 있다.

예를 들어, 본 발명의 다른 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상 중에서, 특정 영상의 에지 성분 중 일정 문턱값 이상인 값의 개수가 에지 성분 개수에 대한 문턱값 이하의 범위인 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

본 발명의 다른 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상 중에서, 특정 영상의 상기 조건을 확인하여 선정된 문턱값 범위에서 벗어난 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상 중에서, 벡터 스코프를 기준으로 영상의 색차 신호 벡터 크기가 임계값 이하인 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 검출부(220)는 기설정된 관심영역을 확인하고, 상기 입력되는 영상 중에서, 상기 관심영역에 해당하는 특정 영상에 대해 훼손 여부를 판단하여 상기 특정 영상이 훼손된 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상 중에서, 특정 영상의 평균 밝기 값이 선정된 문턱값 이상의 범위인 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상 중에서, 특정 영상의 표준 편차 값이 선정된 문턱값 범위에 포함되는 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 검출부(220)는 상기 입력되는 영상 중에서, 특정 영상의 대기 산란광 값이 선정된 문턱값 이상의 범위인 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

이하에서는, 안개에 의해서 훼손된 영상을 통해, 정상적인 영상과 훼손 영상을 설명한다.

도 3은 일반 영상과 안개 영상의 차이를 설명하는 도면이다.

도 3에서는 기상 상태에 의한 영향이 없는 일반 영상(301)과 안개에 의해서 훼손된 훼손 영상(303)을 도시한다.

일반 영상(301)의 히스토그램(302)은 히스토그램의 분포가 고르며, 색이 선명한데 반해서 안개에 의한 훼손 영상(303)의 히스토그램(304)은 히스토그램 분포가 고르지 못하며, 색이 탁하다.

또한, 히스토그램(304)은 히스토그램(302)에 비해서 좁은 범위에 분포하는 것을 확인할 수 있다.

다시 도 2를 참고하면, 본 발명의 일실시예에 따른 훼손 영상 복원부(230)는 상기 훼손 영상을 복원할 수 있다.

예를 들어, 훼손 영상 복원부(230)는 훼손 영상의 대비(contrast) 및 색(color) 중에서 적어도 하나를 영상 처리함으로써, 상기 훼손 영상을 복원할 수 있다.

본 발명의 일실시예에 따른 훼손 영상 복원부(230)는 훼손된 영상의 낮은 대비를 복원하기 위해 훼손 영상의 밝기 값을 재 분포할 수 있다.

이러한 방법은 비교적 적은 하드웨어가 필요하며, 빠르고, 충분히 대비를 복원할 수 있다. 또한 재 분포를 위해서, 본 발명의 일실시예에 따른 훼손 영상 복원부(230)는 상기 훼손 영상의 밝기 값 분포를 스트레칭(Stretching) 및 히스토그램 평활화(Histogram Equalization) 중에서 적어도 하나를 통해 재설정하여 상기 훼손 영상을 복원할 수 있다.

예를 들어, 본 발명의 다른 일측에 따른 훼손 영상 복원부(230)는 상기 훼손 영상의 밝기 값 분포를 일정비율 이상으로 확장하여 상기 훼손 영상을 복원할 수 있다.

도 2에서 설명한 바와 같이, 훼손 영상(303)의 히스토그램(304)은 분포가 고르지 못하며 폭이 좁은 특징이 있다. 이러한 좁은 폭을 일정비율 이상으로 확장함으로써 상기 훼손 영상(303)을 어느 정도 복원할 수 있다.

즉, 본 발명의 또 다른 일측에 따른 훼손 영상 복원부(230)는 상기 훼손 영상의 밝기 값 분포를 스트레칭(Stretching)하거나, 히스토그램 평활화(Histogram Equalization)를 수행하여 상기 훼손 영상(303)을 복원할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 복원부(230)는 기상 환경에 대한 모델링에 기초하여 상기 기상 환경에 의한 효과 부분을 제거하여 상기 훼손 영상을 복원할 수 있다.

다시 말해, 광원이 공기 중 미세 입자로 구성된 안개에 반사되는 빛(Reflect Transmission)을 상기 기상 환경에 의한 상기 효과 부분으로 판단하고, 상기 훼손 영상에서 상기 Reflect Transmission을 제거하여 상기 훼손 영상을 복원할 수 있다.

본 발명의 다른 일측에 따른 훼손 영상 복원부(230)는 탁한 색상을 복원하기 위해 훼손 영상에 대해 기상 환경 효과 제거 및 원 색상의 증폭을 수행할 수 있다.

구체적으로, 본 발명의 다른 일측에 따른 훼손 영상 복원부(230)는 기상 환경 효과 제거를 위해, 안개, 황사 등 기상 환경에 대한 모델링을 이용하여 기상 환경에 의한 효과 부분을 제거한다. 이후, 본 발명의 다른 일측에 따른 훼손 영상 복원부(230)는 기상 환경에 의해 약해진 색 성분 강화를 통해 전체 영상의 색 성분을 복원할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 복원부(230)는 상기 훼손 영상의 각 색 성분을 일정비율 이상으로 증폭하여 상기 훼손 영상을 복원할 수 있다.

상술한 기상 환경 효과 제거 및 증폭을 통해 색을 처리하는 기술들은 독립된 단계로서 사용자가 사용여부를 결정할 수 있다. 또한 기상 환경 효과 제거에 사용된 모델링 방식은 기존 논문 방식을 실시간 운용 가능하게 수정하여 사용할 수 있다.

색 성분 증폭 방법으로는 색 신호에 적절한 이득을 곱하여 증폭할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 복원부(230)는 상기 훼손 영상의 대비(contrast)를 복원 처리하고, 상기 대비의 복원 처리 이후에 색(color) 복원 처리를 수행할 수 있다.

기상 현상으로 훼손된 영상들은 대비가 낮고, 색이 탁하다. 이를 이용하여 전체 복원 과정을 대비 복원과, 색 복원을 나누어 순차적으로 훼손 영상을 복원할 수 있다.

본 발명에 따른 훼손 영상 복원부(230)는 대비 처리 과정에서 훼손된 영상들과 같이 좁은 영역에 집중되어 있는 밝기 분포를 넓은 영역으로 다시 분포할 수 있다. 이를 통해 영상의 대비를 증가시켜 영상의 가시거리가 증가한다.

본 발명에 따른 훼손 영상 복원부(230)는 색 복원 과정에서 훼손된 영상의 왜곡된 색 성분에서 기상 환경 영향을 제거 및 강화할 수 있다. 즉, 입력되는 영상의 색 성분을 분석하여 기상 환경 영향을 제거하고, 색 신호를 증폭하여 영상의 색 성분을 복원할 수 있다. 색 성분 복원을 통해 영상의 가시거리가 현저히 증가한다.

영상 복원에 있어 대비와 색을 순차적으로 복원하는 것은 한 번에 대비와 색을 복원하는 방법과 비교하여 장점이 있다. 이는 각 단계에 걸쳐 최적화된 레벨을 적용하여 복원을 함으로 다양한 영상에 따라 복원 영상의 결과 기복이 심하지 않고, 명확한 영상을 얻을 수 있다.

본 발명의 일실시예에 따른 훼손 영상 복원부(230)는 훼손 이미지를 복원하기 위해, 대비 복원과 색 복원을 동시에 처리할 수 있다. R,G,B 각 채널에 대비 복원 방법을 적용한다. 이를 통해, 추가적인 색 처리 단계를 거치지 않고 간단하게 대비와 색을 복원한다.

예를 들어, 본 발명의 일실시예에 따른 훼손 영상 복원부(230)는 각 색 성분에 스트레칭(Stretching) 및 히스토그램 평활화(Histogram Equalization) 중에서 적어도 하나를 통해 영상의 대비와 색을 동시에 복원할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 복원부(230)는 상기 검출된 훼손 영상으로부터 훼손 강도를 확인하고, 상기 확인된 훼손 강도에 기초하여 상기 훼손 영상의 복원 레벨을 결정하며, 상기 결정된 복원 레벨을 고려하여 상기 훼손 영상을 복원할 수 있다.

본 발명의 또 다른 일측에 따른 훼손 영상 복원부(230)는 기설정된 관심영역에 대해 영상 복원하는 경우, 복원 전 영상과 복원 후 영상을 상기 기설정된 관심영역의 경계 면에서부터 거리에 따라 비율을 조정하며 섞어서 복원 영상의 경계 면을 부드럽게 표시하도록 복원할 수 있다.

즉, 본 발명에 따른 훼손 영상 복원부(230)는 기상 현상으로 훼손된 영상의 검출을 통해 얻은 영상에 대한 정보들을 기반으로 훼손된 강도에 알맞은 레벨을 적용하여 복원할 수 있다. 이는 훼손된 강도에 상관없이 같은 레벨을 적용하는 기술과 비교하여 장점이 많다.

자동 레벨 조정 기능은 사용자의 편의에 따라 사용하지 않을 수 있으며, 자동 레벨 조정 후 사용자의 기호에 따라 추가 레벨 조정이 가능하다.

기상 현상으로 훼손된 영상 검출 시스템이 없는 경우, 기상 훼손 시 사용자가 직접 기능을 조절해야 한다. 또한 영상마다 훼손된 강도가 다르기 때문에 이에 맞춰 사용자가 직접 기능의 적용 강도를 조절해야 하는 불편함이 있다.

본 발명에 따른 영상 복원 장치(200)는 입력되는 영상을 다양한 관점에서 분석하여 기상 현상으로 훼손된 영상인지를 판별하고, 훼손된 영상인 경우 훼손된 강도를 파악한다. 이를 통해 제안된 기술의 자동 레벨 조정 및 기상 변화에 대한 경고 및 알림 시스템으로의 발전된 사용도 가능하다.

다음으로, 본 발명의 일실시예에 따른 출력부(240)는 상기 복원된 영상을 출력할 수 있다.

도 4는 기상 환경의 강도에 따라 훼손된 영상의 특징을 나타내는 도면이다.

도 4의 좌측 열에 위치한 영상들(411, 412, 413)은 기상 환경으로 훼손되지 않은 영상(411)과, 상기 영상(411)에 대한 엣지 성분을 표시한 영상(412), 및 히스토그램을 분석한 영상(413)을 도시한다.

도 4의 가운데 열에 위치한 영상들(421, 422, 423)은 옅은 기상 환경으로 훼손된 훼손 영상(421)과, 상기 훼손 영상(421)에 대한 엣지 성분을 표시한 영상(422), 및 히스토그램을 분석한 영상(423)을 도시한다.

도 4의 우측 열에 위치한 영상들(431, 432, 433)은 짙은 기상 환경으로 훼손된 훼손 영상(431)과, 상기 훼손 영상(431)에 대한 엣지 성분을 표시한 영상(432), 및 히스토그램을 분석한 영상(433)을 도시한다.

도 4의 가운데 행에 위치한 영상들(412, 422, 432)은 각 영상들(411, 421, 431)에 3X3 Kirsch 필터를 적용하여 얻은 엣지 영상이다. 이를 통해 기상 현상이 악화될수록 영상의 엣지가 적어진 것을 알 수 있다.

도 4의 아래 행은 각 영상의 히스토그램 분석 영상(413, 423, 433)이다. 이를 통해 기상 현상이 악화될수록 영상의 히스토그램 분포가 고르지 못한 정도가 심해졌음을 알 수 있다.

본 발명의 일실시예에 따른 훼손 영상 검출부(120)는 입력되는 영상의 정보를 [수학식 2]을 이용하여 안개, 황사 등의 기상 환경 영상과 일반 영상을 구분할 수 있다.

[수학식 2]

이때, 'Fog On'은 각 조건 문에 대한 AND 연산 결과 값으로 안개, 황사 등의 영상에 대한 구별 결과이고, 'Condition 1,2,...N'은 안개, 황사 등의 영상 구별에 필요한 조건들이며 입력 되는 영상의 정보들이며, 'Threshold of Condition 1,2,...N'는 안개, 황사 등의 영상 구별 조건에 대한 임계 값들이다. Condition에는 영상의 평균밝기 값, 표준 편차, 대기 산란광, 색차 신호 벡터 크기, 밝기 값 분포 및 에지 성분 등이 사용될 수 있다.

도 5는 본 발명의 일실시예에 따른 훼손 영상 검출부에서 입력된 영상에서 관심 영역을 선택하여 기상 환경으로 훼손된 영상을 검출 및 복원하는 실시예를 설명하는 도면이다.

본 발명의 일실시예에 따른 훼손 영상 검출부는, 입력된 영상(501)에서 기설정된 관심영역(502)을 확인하고, 관심영역(502)에 해당하는 특정 영상에 대해 훼손 여부를 판단하여 상기 특정 영상이 훼손된 경우에 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

안개, 황사 등 기상 현상은 항상 영상의 전 영역에 걸쳐서 나타나는 것이 아니며, 영상 내 사용자에 따라 민감한 반응을 요구하는 중요한 관심 영역(502)이 다를 수 있다. 또한 부분적으로 나타난 기상 현상을 전체 영역에 대해 검출하고 복원하는 것보다 관심 영역(502)을 설정하고 이 영역에 대해 검출하고 복원하는 것이 장점이 많다.

기상 현상이 영상 전체에 가득하지 않거나 균일한 분포를 보이지 않을 때, 전체 영상(501) 내 부분적으로 위치한 기상 현상에 대한 정확한 검출 및 기상 현상의 강도를 구하기 어렵다. 이로 인해 훼손 영상이 제대로 복원되지 않을 수 있다. 관심 영역(502)을 설정한 경우 영역 내 발생한 기상 현상에 대한 정확한 검출 및 기상 현상의 강도를 구할 수 있다. 또한 이를 바탕으로 관심 영역에 대한 정확한 복원이 가능하다.

영상(501) 내 관심 영역(502)에 대해 검출하고, 복원하는 경우에 영역의 경계면이 영상(501)에 노출된다. 이는 영상(501) 내 부분적으로 위치한 기상 현상 복원 시 부자연스럽다. 이를 완충 영역(503)을 통해 자연스럽게 표현한다. 완충 영역(503)은 원 영상과 복원된 영상을 위치에 따라 알파 블렌딩 기법을 적용하여, 비율을 조정하며 섞는다. 이를 통해 자연스럽게 관심 영역(502)을 복원한다. 완충 영역(503)의 크기는 사용자가 정할 수 있다.

도 6은 대비에 대한 영상 처리의 특징을 설명하는 그래프(600)이다.

도면부호 601에서 보는 바와 같이, 안개, 황사 등 기상 현상이 나타난 영상에서는 히스토그램에서 밝기 값이 좁은 영역에 극단적으로 모여 있다.

본 발명에 따른 영상 복원 장치는 제안된 대조 복원 처리를 통해 좁은 영역에 극단적으로 모여 있는 밝기 값들을 도면부호 602와 같이 보다 넓은 특정 영역으로 다시 분포시킨다. 이를 통해 대비를 증가시키며, 영상 내 시야 거리가 증가한다.

Target Dynamic Range는 대비가 복원될 영상의 동적 영역 (Dynamic Range)이며, 주로 안개, 황사 등 기상 현상이 나타난 영상보다 넓은 동적 영역 값을 갖는다.

Upper Limit Level은 대비가 복원될 영상의 밝기 값의 상한선이다. 이를 통해 복원될 영상이 지나치게 포화 되지 않도록 제한한다.

Lower Limit Level은 대비가 복원될 영상의 밝기 값의 하한선이다. 이를 통해 복원될 영상이 지나치게 어두워지지 않도록 제한한다.

본 발명에 따른 영상 복원 장치는 Upper Limit Level과 Lower Limit Level을 기상 현상에 의해 훼손된 강도에 따라 자동으로 설정 할 수 있다.

또한, 본 발명에 따른 영상 복원 장치는 대조 복원 처리 과정 중에서, 재 분포 과정을 미리 정해진 Target Dynamic Range 안에서 Streching 및 Histogram Equalization 등 일반적인 기술을 적용 할 수 있다.

도 7은 색상에 대한 영상 처리의 특징을 설명하는 도면이다.

도 7은 벡터 스코프를 이용하여 Color Processing 기술의 특징을 나타낸 그래프(700)이다.

본 발명의 일실시예에 따른 훼손 영상 검출부는, 입력되는 영상 중에서, 영상의 색차 신호 벡터 크기가 임계값 이하인 경우 상기 특정 영상을 훼손 영상으로 검출할 수 있다.

안개, 황사 등 기상 현상의 영향을 받은 훼손 영상은 각 색 성분이 기상 환경 효과에 가려져 약해져 있기 때문에 색차 신호 벡터 크기가 작다. 이를 증폭하여 영상의 색 성분을 복원한다.

안개, 황사 등 기상 현상의 영향을 받은 영상은 도 1의 모델과 같이 대기 중 미세 입자에 의한 반사광이 더해져 영상에 입력되기 때문에 일반 영상에 비해 색 성분이 약하다. 이로 인해 영상 내 사물의 색에 대한 정확한 인식 및 인지가 어렵고, 이는 영상의 가시 거리가 짧게 만든다.

본 발명의 일실시예에 따른 훼손 영상 복원부는, 안개, 황사 등 기상 현상 효과를 제거하고, 약해진 색 신호를 증폭할 수 있다.

본 발명의 일실시예에 따른 훼손 영상 복원부는, [수학식 3] 내지 [수학식 6]를 이용하여 기상 현상 효과를 제거할 수 있다. 이 방법은 ["Visibility Enhancement for Roads with Foggy or Hazy Scenes," R.Tan, IEEE 2007]에 개시된 기술이다. 단, [수학식 4]의 경우 실시간 처리를 위해 수정되었다.

색 신호를 증폭하는 방법은 색 신호 벡터 크기에 대한 곱셈 방식 등으로 증폭한다.

본 발명의 일실시예에 따른 훼손 영상 복원부는, 기상 현상 효과를 제거하고, 약해진 색 신호를 증폭하기 위해 상호 독립적으로 동작하며 기상 현상의 강도 및 사용자의 기호에 따라 선택되어 사용될 수 있다.

[수학식 3]

[수학식 4]

[수학식 5]

[수학식 6]

도 8은 본 발명의 일실시예에 따른 영상 복원 장치에 의해서 훼손 영상이 복원됨을 설명하는 실시예이다.

도 8에서 보는 바와 같이, 안개, 황사 등 기상 환경에 훼손된 영상들(801, 803)은 본 발명의 일실시예에 따른 영상 복원 장치에 의해서 복원된 영상들(802, 804)로 재설정될 수 있다.

이로써, 본 발명의 일실시예에 따르면, 입력되는 영상의 상태를 판단하여, 안개, 황사 등 기상 환경에 훼손된 영상인 경우에 이를 복원하여 영상 내 가시 거리를 증가시킬 수 있다.

또한 본 발명의 일실시예에 따르면, 안개, 황사 등 기상 환경에 의해 훼손된 영상을 대비와 색을 복원함으로 기상 환경에 상관없이 명확한 영상을 얻을 수 있다.

또한 본 발명의 일실시예에 따르면, 기상 환경에 상관없이 명확한 영상을 얻어 영상 획득을 위한 주 목적을 달성하고, 이에 따른 부가적인 다른 기능들의 정상 동작을 유도할 수 있다.

도 9는 본 발명의 일실시예에 따른 영상 복원 방법을 설명하는 흐름도이다.

본 발명의 일실시예에 따른 영상 복원 방법은 영상을 입력받고(단계 901), 상기 입력되는 영상의 밝기 값 분포 및 에지 성분 중에서 적어도 하나를 확인하여, 상기 입력되는 영상 중에서 상기 훼손 영상을 검출할 수 있다(단계 902).

본 발명의 일실시예에 따른 영상 복원 방법은 상기 훼손 영상을 복원하고(단계 903), 출력부를 통해서 상기 복원된 영상을 출력할 수 있다(904).

본 발명의 일실시예에 따른 영상 복원 방법은 상기 훼손 영상을 복원하기 위해서 상기 훼손 영상의 대비(contrast) 및 색(color) 중에서 적어도 하나를 복원 처리할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 영상 복원 방법은 상기 훼손 영상을 복원하기 위해서 상기 훼손 영상의 밝기 값 분포를 일정비율 이상으로 확장하여 상기 훼손 영상을 복원할 수 있다.

또 다른 예로, 본 발명의 일실시예에 따른 영상 복원 방법은 상기 훼손 영상의 밝기 값 분포를 스트레칭(Stretching) 및 히스토그램 평활화(Histogram Equalization) 중에서 적어도 하나를 통해 재설정하여 상기 훼손 영상을 복원할 수 있다.

또 다른 예로, 본 발명의 일실시예에 따른 영상 복원 방법은 훼손 영상을 복원하기 위해서 기상 환경에 대한 모델링에 기초하여 상기 기상 환경에 의한 효과 부분을 제거하여 상기 훼손 영상을 복원할 수 있다.

또 다른 예로, 본 발명의 일실시예에 따른 영상 복원 방법은 상기 훼손 영상의 각 색 성분을 일정비율 이상으로 증폭하여 상기 훼손 영상을 복원할 수 있다.

본 발명의 일실시예에 따른 영상 복원 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

200: 영상 복원 장치 210: 입력부
220: 훼손 영상 검출부 230: 훼손 영상 복원부
240: 출력부

Claims

영상을 입력받는 입력부;
상기 입력되는 영상 중에서, 기상 현상에 의한 훼손 영상을 검출하는 훼손 영상 검출부;
상기 훼손 영상을 복원하는 훼손 영상 복원부; 및
상기 복원된 영상을 출력하는 출력부
를 포함하고,
상기 훼손 영상 복원부는,
상기 훼손 영상의 대비(contrast) 및 색(color) 중에서 적어도 하나를 복원 처리하는 영상 복원 장치.
제1항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상의 밝기 값 분포 및 엣지 성분 중에서 적어도 하나를 확인하여, 상기 입력되는 영상 중에서 상기 훼손 영상을 검출하는 영상 복원 장치.
제1항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상의 성분들을 확인하고, 상기 확인된 성분들 각각의 임계치에 대한 적어도 하나 이상의 조건을 만족하는 경우, 상기 입력되는 영상 중에서 상기 훼손 영상을 검출하는 영상 복원 장치.
제3항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상 중에서, 특정 영상의 에지 성분 중 일정 문턱값 이상인 값의 개수가 에지 성분 개수에 대한 문턱값 이하의 범위인 경우에 상기 특정 영상을 훼손 영상으로 검출하는 영상 복원 장치.
제3항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상 중에서, 특정 영상의 밝기 값 분포가 선정된 문턱값 이하의 범위인 경우에 상기 특정 영상을 훼손 영상으로 검출하는 영상 복원 장치.
제3항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상 중에서, 특정 영상의 평균 밝기 값이 선정된 문턱값 이상의 범위인 경우에 상기 특정 영상을 훼손 영상으로 검출하는 영상 복원 장치.
제3항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상 중에서, 특정 영상의 표준 편차 값이 선정된 문턱값 범위에 포함되는 경우에 상기 특정 영상을 훼손 영상으로 검출하는 영상 복원 장치.
제3항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상 중에서, 특정 영상의 대기 산란광 값이 선정된 문턱값 이상의 범위인 경우에 상기 특정 영상을 훼손 영상으로 검출하는 영상 복원 장치.
제2항에 있어서,
상기 훼손 영상 검출부는,
상기 입력되는 영상 중에서, 영상의 색 신호 벡터 크기가 임계값 이하인 경우에 상기 특정 영상을 훼손 영상으로 검출하는 영상 복원 장치.
제2항에 있어서,
상기 훼손 영상 복원부는,
상기 훼손 영상의 밝기 값 분포를 일정비율 이상으로 확장하여 상기 훼손 영상을 복원하는 영상 복원 장치.
제2항에 있어서,
상기 훼손 영상 복원부는,
상기 훼손 영상의 밝기 값 분포를 스트레칭(Stretching) 및 히스토그램 평활화(Histogram Equalization) 중에서 적어도 하나를 통해 재설정하여 상기 훼손 영상을 복원하는 영상 복원 장치.
제2항에 있어서,
상기 훼손 영상 복원부는,
기상 환경에 대한 모델링에 기초하여 상기 기상 환경에 의한 효과 부분을 제거하여 상기 훼손 영상을 복원하는 영상 복원 장치.
제2항에 있어서,
상기 훼손 영상 복원부는,
상기 훼손 영상의 각 색 성분을 일정비율 이상으로 증폭하여 상기 훼손 영상을 복원하는 영상 복원 장치.
제1항에 있어서,
상기 훼손 영상 검출부는,
기설정된 관심영역을 확인하고, 상기 입력되는 영상 중에서, 상기 관심영역에 해당하는 특정 영상에 대해 훼손 여부를 판단하여 상기 특정 영상이 훼손된 경우에 상기 특정 영상을 훼손 영상으로 검출하는 영상 복원 장치.
제1항에 있어서,
상기 훼손 영상 복원부는,
기설정된 관심영역이 훼손 영상으로 검출된 경우, 상기 관심영역에 대해 훼손된 영상을 복원하는 영상 복원 장치.
제1항에 있어서,
상기 훼손 영상 복원부는,
기설정된 관심영역에 대해 영상 복원하는 경우, 복원 전 영상과 복원 후 영상을 상기 기설정된 관심영역의 경계 면에서부터 거리에 따라 비율을 조정하여 복원하는 영상 복원 장치.
제1항에 있어서,
상기 훼손 영상 복원부는,
각 색 성분에 스트레칭(Stretching) 및 히스토그램 평활화(Histogram Equalization) 중에서 적어도 하나를 통해 영상의 대비와 색을 동시에 복원하는 영상 복원 장치
제1항에 있어서,
상기 훼손 영상 복원부는,
상기 훼손 영상의 대비(contrast)를 복원 처리하고, 상기 대비의 복원 처리 이후에 색(color) 복원 처리를 수행하는 영상 복원 장치.
제1항에 있어서,
상기 훼손 영상 복원부는,
상기 검출된 훼손 영상으로부터 훼손 강도를 확인하고, 상기 확인된 훼손 강도에 기초하여 상기 훼손 영상의 복원 레벨을 결정하며, 상기 결정된 복원 레벨을 고려하여 상기 훼손 영상을 복원하는 영상 복원 장치.
입력부에서, 영상을 입력받는 단계;
훼손 영상 검출부에서, 상기 입력되는 영상의 밝기 값 분포 및 엣지 성분 중에서 적어도 하나를 확인하여, 상기 입력되는 영상 중에서 상기 훼손 영상을 검출하는 단계;
훼손 영상 복원부에서, 상기 훼손 영상을 복원하는 단계; 및
출력부에서, 상기 복원된 영상을 출력하는 단계
를 포함하고,
상기 훼손 영상을 복원하는 단계는,
상기 훼손 영상의 대비(contrast) 및 색(color) 중에서 적어도 하나를 복원 처리하는 단계를 포함하는 영상 복원 방법.
제20항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.