KR100790887B1

KR100790887B1 - 영상 처리장치 및 방법

Info

Publication number: KR100790887B1
Application number: KR1020060092452A
Authority: KR
Inventors: 장휘; 김근호; 김도균
Original assignee: 삼성전자주식회사
Priority date: 2006-09-22
Filing date: 2006-09-22
Publication date: 2008-01-02
Also published as: US8000561B2; JP2008077666A; US20080170804A1; EP1903498B1; JP5602985B2; CN101150650B; EP1903498A3; CN101150650A; EP1903498A2

Abstract

본 발명에 의한 영상 처리장치는, 서로 연결하고자 하는 영상들 중 적어도 하나를 그 영상들간에 중첩된 영상들의 색상이 최대한 서로 일치하도록 이동시키고, 이동 결과 중첩된 영상들 중 적어도 일부의 색상을 그 이동 결과 중첩된 영상들의 색상을 고려하여 교정한 뒤, 상기 이동을 재차 수행함으로써, 파노라마 영상을 생성하기 위해 서로 연결하고자 하는 영상들 간에 존재하는 중복된 영상들이 서로 다른 색상을 갖더라도, 그 중복된 영상들이 정확히 겹쳐지도록 하여, 보다 현실감 있는 파노라마 영상을 생성하는 효과를 갖는다.

Description

영상 처리장치 및 방법 {Apparatus and method for processing image}

도 1a는 촬영 장비를 설명하기 위한 도면이고, 도 1b 및 도 1c는 수평 파노라마 영상을 설명하기 위한 도면들이고, 도 1d 및 도 1e는 광역 파노라마 영상을 설명하기 위한 도면들이다.

도 2는 본 발명에 의한 영상 처리장치를 설명하기 위한 블록도이다.

도 3은 도 2에 도시된 매핑부(216)의 동작을 설명하기 위한 참고도이다.

도 4는 도 2에 도시된 영상 교정부(224)를 설명하기 위한 제1 실시예의 블록도이다.

도 5는 도 2에 도시된 영상 교정부(224)를 설명하기 위한 제2 실시예의 블록도이다.

도 6은 본 발명에 의한 영상 처리방법을 설명하기 위한 플로우챠트이다.

도 7은 도 6에 도시된 제620 단계에 대한 본 발명에 의한 제1 실시예의 플로우챠트이다.

도 8은 도 6에 도시된 제620 단계에 대한 본 발명에 의한 제2 실시예의 플로우챠트이다.

본 발명은 영상 처리에 관한 것으로, 특히, 여러 방향을 향하여 촬영된 복수의 영상들을 정확히 연결하여 파노라마 영상을 생성하는 기법에 관한 것이다.

파노라마(panorama) 영상이란 여러 방향을 향하여 촬영된 일련의 영상들을 적절히 연결함으로써 생성된 영상을 의미한다. 이러한 파노라마 영상은 단일 방향을 향하여 촬영된 하나의 영상에 비해, 촬영자 주위의 장면(scene)에 대한 보다 넓은 시야(FOV : Field Of View)를 제공함으로써, 관찰자가 보다 사실적인 영상에 몰입할 수 있도록 한다.

파노라마 영상의 생성을 위해 사용되는 복수의 촬영된 영상들은 서로 일부분 중복된다. 구체적으로, 직전에 촬영된 영상의 일측과 현재 촬영된 영상의 타측은 서로 중복된다. 중복된 영상이란, 나타난 형상이 동일한 영상 즉, 촬영 대상이 동일한 영상을 의미하고, 이와 같이 중복된(identical) 영상들이 서로 정확히 중첩된(즉, 겹쳐진(overlapped)) 상태에서 영상들이 연결될수록, 보다 현실감 있는 파노라마 영상을 기대할 수 있다.

종래의 파노라마 영상 생성장치는, 서로 연결하고자 하는 영상들을 중첩된 영상들의 색상이 최대한 서로 일치할 수 있도록 위치시킨 뒤 연결함으로써, 파노라마 영상을 생성한다.

한편, 중복된 영상들의 색상은 서로 동일한 것이 바람직하나, 촬영 대상이 동일할지라도 카메라의 설정 사항(예를 들어, 조리개의 개폐 정도)에 따라 조도 등이 달라져 그 촬영 대상의 색상은 다양하게 촬영될 수 있다.

이처럼, 중복된 영상들이 서로 다른 색상을 갖는 경우, 종래의 파노라마 영상 생성장치는, 중복된 영상들이 서로 정확히 겹쳐지도록 할 수 없어 현실감 있는 파노라마 영상을 생성함에 한계를 보인다는 문제점을 갖는다.

본 발명이 이루고자 하는 기술적 과제는, 서로 다른 색상을 갖는 중복된 영상들이라도 정확히 겹쳐지도록 함으로써 보다 현실감 있는 파노라마 영상을 생성할 수 있도록 하는 영상 처리장치를 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 서로 다른 색상을 갖는 중복된 영상들이라도 정확히 겹쳐지도록 함으로써 보다 현실감 있는 파노라마 영상을 생성할 수 있도록 하는 영상 처리방법을 제공하는 데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 서로 다른 색상을 갖는 중복된 영상들이라도 정확히 겹쳐지도록 하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기 과제를 이루기 위해, 본 발명에 의한 영상 처리장치는, 서로 연결하고자 하는 영상들 중 적어도 하나를 상기 영상들간에 중첩된 영상들간의 색상이 최대한 서로 일치하도록 이동시키고, 재정렬 신호에 응답하여 재차 동작하는 영상 정렬부; 및 상기 이동된 결과 중첩된 영상들 중 적어도 일부의 색상을 상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정한 뒤, 상기 재정렬 신호를 생성하는 영상 교정부를 포함하는 것이 바람직하다.

상기 다른 과제를 이루기 위해, 본 발명에 의한 영상 처리방법은, 서로 연결하고자 하는 영상들 중 적어도 하나를 상기 영상들간에 중첩된 영상들간의 색상이 최대한 서로 일치하도록 이동시키는 (a) 단계; 및 상기 이동된 결과 중첩된 영상들 중 적어도 일부의 색상을 상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정하고, 상기 (a) 단계로 진행하는 단계를 포함하는 것이 바람직하다.

상기 또 다른 과제를 이루기 위해, 본 발명에 의한 컴퓨터로 읽을 수 있는 기록매체는, 서로 연결하고자 하는 영상들 중 적어도 하나를 상기 영상들간에 중첩된 영상들간의 색상이 최대한 서로 일치하도록 이동시키는 (a) 단계; 및 상기 이동된 결과 중첩된 영상들 중 적어도 일부의 색상을 상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정하고, 상기 (a) 단계로 진행하는 단계를 수행하는 컴퓨터 프로그램을 저장하는 것이 바람직하다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.

다만, 본 발명에 의한 영상 처리기법은, 보다 현실감 있는 파노라마 영상의 생성을 위해 창작되었는 바, 도 2 내지 도 8을 통해 본 발명을 설명하기에 앞서, 도 1a 내지 도 1e를 통해 파노라마 영상을 개괄적으로 설명하고자 한다.

도 1a는 촬영 장비(100)를 나타낸다. 촬영 장비(100)란 디지털 카메라, 촬영 기능을 갖는 휴대폰과 같이 촬영 기능을 갖는 장비를 의미한다. 파노라마 영상은 촬영 장비(100)가 촬영한 복수의 영상(즉, 사진)들을 이용하여 생성된다.

도 1a에 도시된 바에서 x축, y축, z축은 서로 직교(orthogonal)하는 것이 바람직하다. 이러한 x축, y축, z축은 도 1a에 도시된 바와 달리 설정될 수도 있으나, 설명의 편의상, 도 1a에 도시된 바와 같이 설정된다고 가정한다. 이러한 가정 하에서, z축은 촬영하고자 하는 방향을 의미한다. 여기서, 촬영하고자 하는 방향은 셔터(102)가 가리키는 방향이 될 수 있다. 식별기호 O는 x축, y축, z축의 교차점을 의미한다.

본 명세서에서, 피치(pitch) 방향(104), 패닝(panning) 방향(106), 롤링(rolling) 방향(108) 각각은, x축을 중심으로 회전하는 방향, y축을 중심으로 회전하는 방향, z축을 중심으로 회전하는 방향 각각을 의미한다. 나아가, 본 명세서에서, 피치 각도, 패닝 각도, 롤링 각도 각각은, 피치 방향(104)으로 이동한 이동량, 패닝 방향(106)으로 이동한 이동량, 롤링 방향(108)으로 이동한 이동량 각각을 의미한다. 이하, 피치 방향(104), 패닝 방향(106), 롤링 방향(108) 각각의 양(positive)의 방향은 도 1a에 도시된 방향의 반대 방향일 수도 있으나, 설명의 편의상, 도 1a에 도시된 방향이라 가정한다.

도 1b 및 도 1c는 수평 파노라마 영상을 설명하기 위한 도면들이고, 도 1d 및 도 1e는 광역 파노라마 영상을 설명하기 위한 도면들이다.

수평 파노라마 영상이란, '촬영 장비(100)를 손에 쥐고 있는 촬영자', '촬영자의 신체 일부(예컨대, 촬영 장비(100)를 손에 쥐고 있는 팔)', 또는 '촬영 장비(100)'가 고정된 위치(C)를 중심으로 회전함으로써 촬영 방향을 직선 궤적을 따라 변경시키며 여러 번 촬영한 일련의 영상들(110, 112, 114, 116)을 이용하여 생 성된 파노라마 영상을 의미한다.

도 1b에 도시된 바에서, 식별번호 110, 112, 114, 116 각각은 제m(단, m은 자연수) 촬영 영상, 제m+1 촬영 영상, 제m+2 촬영 영상, 제m+3 촬영 영상 각각을 의미할 수 있고, 제m+3 촬영 영상, 제m+2 촬영 영상, 제m+1 촬영 영상, 제m 촬영 영상 각각을 의미할 수도 있으며, 본 명세서에서, 촬영 영상이란 촬영된 영상 즉, 사진을 의미하고, 제m 촬영 영상은 m번째 촬영된 영상을 의미한다.

도 1c의 (a)에 도시된 바에서, 식별번호 C는 여러 방향을 향하여 촬영된 일련의 영상들을 획득하기 위해 요구되는 회전 이동경로의 중심(center)을 의미한다. 예컨대, 촬영 장비(100)가 회전 운동하는 삼각대에 고정된 채 여러 번 촬영한다면, 식별번호 C는 삼각대를 의미하고, 부동의 촬영자가 촬영 장비(100)를 손에 쥔 채 팔을 어떠한 경로를 따라 움직이며 여러 방향을 향해 여러 번 촬영한다면, 식별번호 C는 촬영자(엄밀하게는, 움직이는 팔 측의 어깨)를 의미한다.

도 1c의 (b)에 도시된 바에서, 식별번호 111, 113, 115, 117은 제m 매핑 영상, 제m+1 매핑 영상, 제m+2 매핑 영상, 제m+3 매핑 영상을 의미할 수도 있고, 제m+3 매핑 영상, 제m+2 매핑 영상, 제m+1 매핑 영상, 제m 매핑 영상을 의미할 수도 있으며, 본 명세서에서, 매핑(mapping) 영상이란 촬영 영상이 미리 설정된 곡면에 투영(project)된 결과를 의미하고, 제m 매핑 영상이란 제m 촬영 영상이 그 곡면에 투영되어 생성된 매핑 영상을 의미한다.

수평 파노라마 영상은 촬영 영상들(110, 112, 114, 116)을 미리 설정된 곡면에 투영하여 매핑 영상들(111, 113, 115, 117)을 생성하고, 생성된 매핑 영상 들(111, 113, 115, 117)을 서로 연결(stitch)함으로써 생성된다. 여기서, 미리 설정된 곡면은 '원통(cylinder)의 옆면'(이하, '원통면')의 적어도 일부이다.

도 1c의 (b)에 도시된 원(circle)은 원통면의 단면을 나타낸다. 도 1c의 (b)에 도시된 바와 같이, 촬영 영상(110, 112, 114, 또는 116)은 중심이 원통면상에 존재하고, 매핑 영상(111, 113, 115, 또는 117)은 모든 영역이 원통면상에 존재한다.

광역 파노라마 영상이란, '촬영 장비(100)를 손에 쥐고 있는 촬영자', '촬영자의 신체 일부(예컨대, 촬영 장비(100)를 손에 쥐고 있는 팔)', 또는 '촬영 장비(100)'가 고정된 위치(C)를 중심으로 회전함으로써 촬영 방향을 곡선 궤적을 따라 변경시키며 여러 번 촬영한 일련의 영상들(150, 152, 154, 156)을 이용하여 생성된 파노라마 영상을 의미한다.

도 1d 및 도 1e에 도시된 바에서, 식별번호 150 내지 157 각각은 제m 촬영 영상, 제m 매핑 영상, 제m+1 촬영 영상, 제m+1 매핑 영상, 제m+2 촬영 영상, 제m+2 매핑 영상, 제m+3 촬영 영상, 제m+3 매핑 영상 각각을 의미할 수 있고, 제m+1 촬영 영상, 제m+1 매핑 영상, 제m+2 촬영 영상, 제m+2 매핑 영상, 제m+3 촬영 영상, 제m+3 매핑 영상, 제m 촬영 영상, 제m 매핑 영상 각각을 의미할 수도 있고, 제m+2 촬영 영상, 제m+2 매핑 영상, 제m+3 촬영 영상, 제m+3 매핑 영상, 제m 촬영 영상, 제m 매핑 영상, 제m+1 촬영 영상, 제m+1 매핑 영상 각각을 의미할 수도 있고, 제m+3 촬영 영상, 제m+3 매핑 영상, 제m 촬영 영상, 제m 매핑 영상, 제m+1 촬영 영상, 제m+1 매핑 영상, 제m+2 촬영 영상, 제m+2 매핑 영상 각각을 의미할 수도 있다.

도 1e에 도시된 바에서, 식별번호 C는 도 1c에 도시된 C와 동일하고, P, Q, E, V1, V2, P1, P2, P3, P4, α, θ 각각은, 구의 북극, 구의 남극, 구의 적도, 구의 어느 한 경도, 구의 다른 한 경도, 식별번호 150이 나타내는 영상의 중심, 식별번호 152가 나타내는 영상의 중심, 식별번호 154가 나타내는 영상의 중심, 식별번호 156이 나타내는 영상의 중심, 식별번호 152가 나타내는 영상의 위치와 식별번호 154가 나타내는 영상의 위치간에 존재하는 패닝 각도, 식별번호 150(또는, 식별번호 154)이 나타내는 영상의 위치와 식별번호 152(또는, 식별번호 156)가 나타내는 영상의 위치간에 존재하는 피치 각도 각각을 의미한다. 도 1e에 도시된 바와 같이, P2, P3은 적도(E)상에 위치하고, P1, P4는 적도(E)에 평행한 선에 위치할 수 있다.

광역 파노라마 영상은 촬영 영상들(150, 152, 154, 156)을 미리 설정된 곡면에 투영하여 매핑 영상들(151, 153, 155, 157)을 생성하고, 생성된 매핑 영상들(151, 153, 155, 157)을 연결함으로써 생성된다. 여기서, 미리 설정된 곡면은 '구(sphere)의 겉면'(이하, '구면')의 적어도 일부이다. 도 1e에 도시된 바와 같이, 촬영 영상(150, 152, 154, 또는 156)은 중심이 구면상에 존재하고, 매핑 영상(151, 153, 155, 또는 157)은 모든 영역이 구면상에 존재한다.

도 2는 본 발명에 의한 영상 처리장치를 설명하기 위한 블록도로서, 촬영부(210), 영상 저장부(212), 독출부(214), 매핑부(216), 적정이동량 연산부(218), 영상 정렬부(220), 교정인자 연산부(222), 영상 교정부(224), 및 비교부(226)를 포함할 수 있다.

촬영부(210) 내지 비교부(226)는 촬영 장비(100)에 구비될 수 있다. 이러한 촬영 장비(100)는 액정 판넬(LCD: Liquid Crystal Displayer)(미 도시)과 같은 표시 부재(미 도시)를 구비할 수 있다. 이 경우, 표시 부재(미 도시)는 촬영 장비(100) 외부의 영상 중 촬영 장비(100)에 구비된 렌즈(미 도시)를 통해 보여지는 영상을 표시한다.

촬영자는 표시되는 영상을 관찰하던 중 촬영하고자 하는 영상을 발견할 수 있고, 이 경우, 촬영 장비(100)에 구비된 촬영 버튼(101)을 조작한다. 이 때, 조작은 가압일 수도 있고, 접촉일 수도 있다.

이와 같이 촬영 버튼(101)이 조작되면, 촬영부(210)는 촬영 버튼(101)이 조작될 당시에 표시 부재(미 도시)에 표시되고 있던 영상을 촬영하고, 영상 저장부(212)는 촬영된 영상을 저장한다.

독출부(214)는 영상 저장부(212)에 저장된 영상을 독출하고, 매핑부(216)는 독출된 영상을 미리 설정된 곡면에 투영하여, 매핑 영상을 생성한다. 또는, 매핑부(216)는 촬영부(210)로부터 입력된 촬영 영상을 미리 설정된 곡면에 투영하여 매핑 영상을 생성할 수도 있다. 이미 언급한 바와 같이, 미리 설정된 곡면은 원통면을 의미할 수도 있고, 구면을 의미할 수도 있다.

적정이동량 연산부(218)는 '서로 연결하고자 하는 영상들간에 중첩된 영상들간의 색 유사도가 최대가 되도록 하는 이동량'(이하, '적정 이동량')을 미리 설정된 각 방향별로 연산한다.

피치 방향(104), 패닝 방향(106), 롤링 방향(108) 각각은 그러한 방향의 일 례이다. 본 명세서에서, 서로 연결하고자 하는 영상들은 파노라마 영상을 생성하기 위해 사용되는 복수의 매핑 영상들을 의미할 수 있다. 예컨대, 서로 연결하고자 하는 영상들은, 제n(단, n은 자연수) 매핑 영상과 제n+1 매핑 영상을 의미할 수 있다.

또한, 이동량은 촬영 영상의 이동량일 수도 있고, 매핑 영상의 이동량일 수도 있다. 즉, 이동량은 제n 촬영 영상과 제n+1 촬영 영상 중 적어도 하나의 이동량일 수도 있고, 제n 매핑 영상과 제n+1 매핑 영상 중 적어도 하나의 이동량일 수도 있다. 이동량이 촬영 영상의 이동량인지, 아니면 매핑 영상의 이동량인지는 어느 방향의 이동량인지에 따라 달라질 수 있다.

한편, 촬영 방향을 달리하며 촬영된 영상들 간에는 중첩된 픽셀이 존재할 수 없으므로(도 1c, 도 1e 참조), 촬영 영상의 적정 이동량을 연산하고자 하는 적정이동량 연산부(218)는 제n 촬영 영상과 제n+1 촬영 영상 중 일방을 타방이 속한 평면에 투영한 뒤, 적정 이동량을 연산하는 것이 바람직하다. 이 때, 적정이동량 연산부(218)에 의해 수행되는 투영은 촬영 장비(100)의 초점 거리(focal length)와 무관하게 수행되며, 투영으로 인해 영상의 형상과 면적이 변하지는 않는다.

본 명세서에서, 촬영 영상(또는, 매핑 영상)은 복수의 픽셀(pixel)들로 이루어지며, 각각의 픽셀은 어떠한 색상을 나타낸다. 즉, 각각의 픽셀은 어떠한 색상 수치를 나타내는 색상 정보를 갖는다. 설명의 편의상, 이러한 색상 정보는 적색(R: Red) 성분, 녹색(G: Green) 성분, 청색(B: Blue) 성분의 조합으로 이루어지며, 적색 성분의 색상 정보, 녹색 성분의 색상 정보, 청색 성분의 색상 정보 각각은 8비트로 표현된다고 가정한다. 이 경우, 적색 성분의 색상 정보, 녹색 성분의 색상 정 보, 청색 성분의 색상 정보 각각의, 가능한 색상 정보의 총 개수는 256개이다. 다시 말해, 적색, 녹색, 청색 각각은 총 256개의 색상 수치(예를 들어, 0~ 255) 중 하나로 표현된다. 예컨대, 녹색의 색상 수치가 0이란, 표현 가능한 녹색 중 가장 짙은 녹색을 의미하고, 녹색의 색상 수치가 255란, 표현 가능한 녹색 중 가장 옅은 녹색을 의미한다.

적정 이동량의 후보들은 각 방향마다 미리 설정되어 있는 것이 바람직하다. 이 경우, 적정이동량 연산부(218)는 각 방향마다 하나의 후보를 선택하고, 제n 촬영 영상과 제n+1 촬영 영상 중 적어도 하나(또는, 제n 매핑 영상과 제n+1 매핑 영상 중 적어도 하나)를 그 선택된 후보만큼 이동시켰다고 가정하고, 제n 촬영 영상과 제n+1 촬영 영상(또는, 제n 매핑 영상과 제n+1 매핑 영상)의 중첩된 영상들간의 색 유사도를 연산하고, 연산된 색 유사도가 최대가 되는 후보를 적정 이동량이라고 결정한다.

본 명세서에서, 중첩된 영상들간의 색 유사도가 최대라 함은, 중첩된 영상들 중 한 영상을 이루는 픽셀들 각각마다, 그 픽셀의 색상과 그 픽셀과 중첩된 픽셀의 색상간의 유사도를 연산한 경우, 그 한 영상을 이루는 픽셀들 개수만큼 연산된 유사도들이 최대임을 의미한다. 여기서, 연산된 유사도들이 최대라 함은, 어느 일정 유사도 예를 들어, 90% 이상의 유사도가 연산된 픽셀이 그 한 영상을 이루는 픽셀들 중 차지하는 비율이 최대임을 의미할 수도 있고, 연산된 유사도들의 평균값이 최대임을 의미할 수도 있다.

예컨대, 제n 매핑 영상의 우측을 구성하는 100개의 픽셀들과 제n+1 매핑 영 상의 좌측을 구성하는 100개의 픽셀들이 서로 중첩된다면, 적정이동량 연산부(218)는 미리 설정된 각 방향마다 적정 이동량으로서 하나의 후보를 선택하고, 제n 매핑 영상과 제n+1 매핑 영상 각각을 그 선택된 후보만큼 이동시켰다고 가정하고, 100개의 픽셀 각각마다 중첩된 픽셀의 색상간의 유사도를 연산하고, 연산된 100개의 유사도들의 평균값이 최대가 되는 후보를 찾고, 찾아진 후보를 적정 이동량이라고 결정한다.

적정이동량 연산부(218)는 제n 촬영 영상과 제n+1 촬영 영상 각각의 적정 이동량을 연산할 수도 있고, 제n 매핑 영상과 제n+1 매핑 영상 각각의 적정 이동량을 연산할 수도 있다. 여기서, 촬영 영상별로 적정 이동량을 연산한다 함은 제n 촬영 영상의 적정 이동량과 제n+1 촬영 영상의 적정 이동량이 다를 수 있음을 의미한다. 마찬가지로, 매핑 영상별로 적정 이동량을 연산한다 함은 제n 매핑 영상의 적정 이동량과 제n+1 매핑 영상의 적정 이동량이 다를 수 있음을 의미한다.

즉, 촬영부(210)가 제1 촬영 영상(110 또는 150), 제2 촬영 영상(112 또는 152)을 획득하면, 적정이동량 연산부(218)는 제1 촬영 영상(110 또는 150)과 제2 촬영 영상(112 또는 152)(또는, 제1 매핑 영상(111 또는 151)과 제2 매핑 영상(113 또는 153)) 각각의 적정 이동량을 연산한다. 이 후, 촬영부(210)가 제3 촬영 영상(114 또는 154)을 획득하면, 연산부(222)는 제2 촬영 영상(112 또는 152)과 제3 촬영 영상(114 또는 154)(또는, 제2 매핑 영상(113 또는 153)과 제3 매핑 영상(115 또는 153)) 각각의 적정 이동량을 연산한다. 이처럼, 제2 촬영 영상(112 또는 152)(또는, 제2 매핑 영상(113 또는 153))의 적정 이동량이 재차 연산되면, 이전에 연산된 수치는 그 재차 연산된 수치로 갱신된다. 마찬가지로, 촬영부(210)가 제4 촬영 영상(116 또는 156)을 획득하면, 연산부(222)는 제3 촬영 영상(114 또는 154)과 제4 촬영 영상(116 또는 156)(또는, 제3 매핑 영상(115 또는 155)과 제4 매핑 영상(117 또는 157)) 각각의 적정 이동량을 연산한다. 이처럼, 제3 촬영 영상(114 또는 154)(또는, 제3 매핑 영상(115 또는 155))의 적정 이동량이 재차 연산되면, 이전에 연산된 수치는 그 재차 연산된 수치로 갱신된다.

한편, 제n 촬영 영상이 제1 촬영 영상(110 또는 150)이 아니라면, 적정 이동량 연산부(218)는 제n 촬영 영상 또는 제n 매핑 영상의 적정 이동량은 연산하지 않고, 제n+1 촬영 영상 또는 제n+1 매핑 영상만의 적정 이동량을 연산할 수도 있다. 즉, 적정이동량 연산부(218)는 이미 적정 이동량이 연산된 바 있는 촬영 영상(또는, 매핑 영상)의 적정 이동량은 재차 연산하지 않을 수도 있다.

이 경우, 촬영부(210)가 제1 촬영 영상(110 또는 150), 제2 촬영 영상(112 또는 152)을 획득하면, 적정이동량 연산부(218)는 제1 촬영 영상(110 또는 150)과 제2 촬영 영상(112 또는 152)(또는, 제1 매핑 영상(111 또는 151)과 제2 매핑 영상(113 또는 153)) 각각의 적정 이동량을 연산한다. 이 후, 촬영부(210)가 제3 촬영 영상(114 또는 154)을 획득하면, 적정이동량 연산부(218)는 제3 촬영 영상(114 또는 154)(또는, 제3 매핑 영상(115 또는 155))의 적정 이동량을 연산한다. 이와 비슷하게, 촬영부(210)가 제4 촬영 영상(116 또는 156)을 획득하면, 적정이동량 연산부(218)는 제4 촬영 영상(116 또는 156)(또는, 제4 매핑 영상(117 또는 157))의 적정 이동량을 연산한다.

만일, 적정이동량 연산부(218)에서 연산된 적정 이동량이 촬영 영상의 적정 이동량이라면, 구체적으로, 제n 촬영 영상과 제n+1 촬영 영상 중 적어도 하나의 적정 이동량이라면, 영상 정렬부(220)는 제n 촬영 영상과 제n+1 촬영 영상 중 적어도 하나를 그 연산된 적정 이동량만큼 이동시키고, 매핑부(216)는 그 이동된 제n 촬영 영상과 제n+1 촬영 영상을 이용하여 제n 매핑 영상과 제n+1 매핑 영상을 생성한다.

마찬가지로, 적정이동량 연산부(218)에서 연산된 적정 이동량이 매핑 영상의 적정 이동량이라면, 구체적으로, 제n 매핑 영상과 제n+1 매핑 영상 중 적어도 하나의 적정 이동량이라면, 영상 정렬부(220)는 제n 매핑 영상과 제n+1 매핑 영상 중 적어도 하나를 그 연산된 적정 이동량만큼 이동시킨다.

교정인자 연산부(222)는 '적어도 하나가 적정 이동량만큼 이동된 제n 촬영 영상과 제n+1 촬영 영상의 제n 매핑 영상과 제n+1 매핑 영상' 또는, '적어도 하나가 적정 이동량만큼 이동된 제n 매핑 영상과 제n+1 매핑 영상'간의 중첩된 영상들의 색상을 고려하여 교정인자(correction parameter)를 연산한다.

영상 교정부(224)는 그 연산된 교정인자를 이용하여 그 중첩된 영상들 중 적어도 일부의 색상을 교정한다. '그 중첩된 영상들 중 제n 매핑 영상에 속하는 영상'(이하, 제n 중첩 영상), '그 중첩된 영상들 중 제n+1 매핑 영상에 속하는 영상'(이하, 제n+1 중첩 영상), '그 중첩된 영상들 모두', '제n 매핑 영상의 일부', '제n+1 매핑 영상의 일부', '제n 매핑 영상의 일부와 제n+1 매핑 영상의 일부'는 그러한 적어도 일부의 일 례들이다.

이하에서는 설명의 편의상, 영상 교정부(224)는 제n 중첩 영상과 제n+1 중첩 영상 중 제n 중첩 영상만의 색상을 교정하고, 교정인자 연산부(222)는 다음의 수학식 1을 이용하여 교정인자를 연산한다고 가정한다.

[ 수학식 1 ]

ratio_R =

ratio_G =

ratio_B =

여기서, R, G, B 각각은 적색, 녹색, 청색 각각을 의미한다. 여기서, ratio_R, ratio_G, ratio_B 각각은 적색의 색상 수치를 교정하기 위한 교정인자, 녹색의 색상 수치를 교정하기 위한 교정인자, 청색의 색상 수치를 교정하기 위한 교정인자 각각을 의미한다.

또한, Rn, Rn+1, Gn, Gn+1, Bn, Bn+1 각각은 제n 중첩 영상을 이루는 모든 픽셀들의 적색의 색상 수치들을 합산한 결과를 의미하고, 제n+1 중첩 영상을 이루는 모든 픽셀들의 적색의 색상 수치들을 합산한 결과를 의미하고, 제n 중첩 영상을 이루는 모든 픽셀들의 녹색의 색상 수치들을 합산한 결과를 의미하고, 제n+1 중첩 영상을 이루는 모든 픽셀들의 녹색의 색상 수치들을 합산한 결과를 의미하고, 제n 중첩 영상을 이루는 모든 픽셀들의 청색의 색상 수치들을 합산한 결과를 의미하고, 제n+1 중첩 영상을 이루는 모든 픽셀들의 청색의 색상 수치들을 합산한 결과를 의미한다.

참고로, 만일, 영상 교정부(224)가 제n 중첩 영상과 제n+1 중첩 영상 중 제n+1 중첩 영상만의 색상을 교정한다면, 교정인자 연산부(222)는 다음의 수학식 2를 이용하여 교정인자를 연산할 수 있다.

[ 수학식 2 ]

ratio_R =

ratio_G =

ratio_B =

영상 교정부(224)는 제n 중첩 영상을 이루는 각각의 픽셀마다, 픽셀의 색상 수치에 수학식 1에서 연산된 교정인자를 승산하고, 승산된 결과를 그 픽셀의 '교정된 색상 수치'(이하, '교정 수치')로서 출력한다. 이는 다음과 같은 수학식 3으로 표현 가능하다.

[ 수학식 3 ]

R_corrected_i = R_org_i * ratio_R

G_corrected_i = G_org_i * ratio_G

B_corrected_i = B_org_i * ratio_B

이 때, i는 색상을 교정하고자 하는 픽셀(즉, 제n 중첩 영상을 이루는 각각의 픽셀마다 i 값은 상이함)의 식별 기호를 의미하고, R_corrected_i, G_corrected_i, B_corrected_i 각각은 적색의 교정 수치, 녹색의 교정 수치, 청색 의 색상 수치 각각을 의미하고, R_org_i, G_org_i, B_org_i 각각은 적색의 교정 전(前) 색상 수치, 녹색의 교정 전 색상 수치, 청색의 교정 전 색상 수치 각각을 의미한다.

다만, 영상 교정부(224)의 이러한 동작은 상기 가정에 따른 것이며, 만일, 영상 교정부(224)가 제n 중첩 영상과 제n+1 중첩 영상 중 제n+1 중첩 영상의 색상을 교정한다면, 영상 교정부(224)는 제n+1 중첩 영상을 이루는 각각의 픽셀마다, 픽셀의 색상 수치에 수학식 2에서 연산된 교정인자를 승산하고, 승산된 결과를 그 픽셀의 교정 수치로서 출력한다.

이상에서 설명한 바와 같이, 영상 교정부(224)는 색상을 교정하고자 하는 영상을 이루는 모든 픽셀 각각의 색상 수치마다 교정인자를 승산함으로써 색상을 교정할 수 있다. 이는 영상 교정부(224)의 제1 실시예에 따른 동작으로서, 후술할 도 4에 대한 설명에서 재차 언급된다. 이와 관련하여, 영상 교정부(224)의 제1 실시예에 따른 동작은, 제n 중첩 영상(또는, 제n+1 중첩 영상)을 이루는 픽셀의 개수가 많을수록, 제n 중첩 영상(또는, 제n+1 중첩 영상)의 색상을 교정하는 데 요구되는 연산량과 시간을 증가시키는 바, 이를 개선하고자 영상 교정부(224)의 제2 실시예에 따른 동작도 영상 교정부(224)의 제1 실시예에 따른 동작과 비교하여 도 5에 대한 설명에서 언급될 것이다.

영상 교정부(224)는 제n 중첩 영상(또는, 제n+1 중첩 영상)의 색상을 교정한 뒤, 재정렬 신호를 생성한다. 이 경우, 적정이동량 연산부(218)는 재정렬 신호에 응답하여 재차 동작한다.

이처럼, 적정이동량 연산부(218)가 재차 동작하여 적정 이동량을 새로이 연산하면, 영상 정렬부(220)는 제n 촬영 영상과 제n+1 촬영 영상(또는, 제n 매핑 영상과 제n+1 매핑 영상) 중 적어도 하나를 그 새로이 연산된 적정 이동량만큼 이동시킨다.

이 후, 비교부(226)는 현재 이동된 결과 중첩된 영상들간의 색 유사도와 직전에 이동된 결과 중첩된 영상들간의 색 유사도의 차를 임계치와 비교한다. 여기서, 현재 이동된 결과란 영상 정렬부(220)에 의해 제n 촬영 영상 및 제n+1 촬영 영상(또는, 제n 매핑 영상과 제n+1 매핑 영상) 중 적어도 하나가 가장 최근에 이동된 결과를 의미한다. 또한, 임계치는 미리 설정된 어떤 값인 것이 바람직하다. 한편, 현재 이동된 결과 중첩된 영상들간의 색 유사도와, 직전에 이동된 결과 중첩된 영상들간의 색 유사도는 이미 적정이동량 연산부(218)에서 연산된 수치들이며, 비교부(226)는 이 연산된 수치들의 차를 임계치와 비교한다.

구체적으로, 비교부(226)는 현재 이동된 결과 중첩된 영상들간의 색 유사도와 직전에 이동된 결과 중첩된 영상들간의 색 유사도의 차(difference)를 연산하고, 연산된 차가 임계치 이상인지 검사한다.

만일, 연산된 차가 임계치 이상이라고 검사되면, 비교부(226)는 교정인자 연산부(222)의 동작을 지시한다. 이 경우, 교정인자 연산부(222)는 전술한 바와 같이 교정인자를 연산한다. 그에 반해, 연산된 차가 임계치 미만이라고 검사되면, 비교부(226)는 영상 정렬부(220)의 동작을 지시한다. 이 경우, 영상 정렬부(220)는 제n 매핑 영상과 제n+1 매핑 영상을 연결(stitch)하여 파노라마 영상을 생성한다. 본 명세서에서, 연결이란 붙이는 것(stitching) 즉, 합성하는 것을 의미한다.

매핑부(216)는 촬영 영상(310)을 미리 설정된 곡면(예를 들어, 원통면, 또는 구면)(320)에 투영하여 매핑 영상(330)을 생성한다. 이 때, 매핑부(216)에 의해 수행되는 투영은 촬영 장비(100)의 초점 거리(focal length)를 고려하여 수행되므로, 촬영 영상(310)은 사각형의 형상을 갖는 데 반해, 매핑 영상(330)은 양 단부가 절단된 타원의 형상을 갖는 것이 일반적이다.

도 4는 도 2에 도시된 영상 교정부(224)를 설명하기 위한 제1 실시예(224A)의 블록도로서, 픽셀별 연산부(410)를 포함할 수 있다.

픽셀별 연산부(410)는 입력단자 IN 1을 통해 영상 정렬부(220)로부터 입력된 '그 중첩된 영상들 중 적어도 일부'(상기 가정에 따라, 이하, 제n 중첩 영상)를 이루는 각 픽셀마다, 교정인자 연산부(222)에서 연산된 교정인자를 이용한 연산을 수행하여 제n 중첩 영상의 색상을 교정한다.

구체적으로, 픽셀별 연산부(410)는 제n 중첩 영상을 이루는 각 픽셀마다, 픽셀의 색상 수치에 그 연산된 교정인자를 승산하여 교정 수치를 연산한다. 이로써, 픽셀별 연산부(410)는 '교정 수치를 색상 수치로서 갖는' 즉, '색상이 교정된' 제n 중첩 영상을 생성하게 된다. 이와 같이 생성된 '색상이 교정된' 제n 중첩 영상은 출력단자 OUT 1을 통해 출력된다.

도 5는 도 2에 도시된 영상 교정부(224)를 설명하기 위한 제2 실시예(224B)의 블록도로서, 교정수치 연산부(510), 교정수치 저장부(520), 및 교정수치 독출 부(530)를 포함할 수 있다.

교정수치 연산부(510)는 가능한 색상 수치마다, 교정인자 연산부(222)에서 연산된 교정인자를 이용하여 그 가능한 색상 수치의 교정 수치를 연산한다. 예컨대, 교정수치 연산부(510)는 가능한 색상 수치마다, 그 가능한 색상 수치에 교정인자 연산부(222)에서 연산된 교정인자를 승산하여 그 가능한 색상 수치의 교정 수치를 연산한다. 여기서, 0 내지 255 중 하나는 그 '가능한 색상 수치'의 일 례이다.

교정수치 연산부(510)는 적색의 가능한 색상 수치마다 그 가능한 색상 수치의 교정 수치를 연산하고, 녹색의 가능한 색상 수치마다 그 가능한 색상 수치의 교정 수치를 연산하고, 청색의 가능한 색상 수치마다 그 가능한 색상 수치의 교정 수치를 연산한다.

교정수치 저장부(520)는 가능한 색상 수치를 어드레스(address)로 하여 '그 가능한 색상 수치의 연산된 교정 수치'를 저장한다. 이로써, 교정수치 저장부(520)는 색상 수치별로 매칭(matching)된 교정 수치를 나타내는 룩업테이블(LUT: Look Up Table)을 저장하게 된다. 이러한 원리로, 교정수치 저장부(520)는 적색에 대한 룩업테이블, 녹색에 대한 룩업테이블, 및 청색에 대한 룩업테이블을 저장하게 된다.

교정수치 독출부(530)는 입력단자 IN 2를 통해 영상 정렬부(220)로부터 입력된 '그 중첩된 영상들 중 적어도 일부'(상기 가정에 따라, 이하, 제n 중첩 영상)를 이루는 각 픽셀마다, 그 픽셀의 색상 수치를 어드레스로 갖는 교정 수치를 그 저장된 교정 수치 중에서 독출한다. 이로써, 교정수치 독출부(530)는 '교정 수치를 색 상 수치로서 갖는' 즉, '색상이 교정된' 제n 중첩 영상을 생성하게 된다. 이와 같이 생성된 '색상이 교정된' 제n 중첩 영상은 출력단자 OUT 2를 통해 출력된다.

영상 교정부(224)의 제1 실시예(224A)에 따른 동작과 제2 실시예(224B)에 따른 동작을 비교하면 다음과 같다.

영상 교정부(224)의 제1 실시예에 따르면, 영상 교정부(224)는 제n 중첩 영상을 이루는 각 픽셀마다 연산을 수행하여야 하므로, 제n 중첩 영상을 이루는 픽셀의 개수가 많을수록 제n 중첩 영상의 색상 교정을 완료하는 데 많은 연산량과 시간이 요구될 수 밖에 없다.

반면, 영상 교정부(224)의 제2 실시예에 따르면, 영상 교정부(224)는 제n 중첩 영상을 이루는 각 픽셀마다 연산이 아닌 독출을 수행하므로, 제n 중첩 영상을 이루는 픽셀의 개수가 많더라도, 제n 중첩 영상의 색상 교정을 제1 실시예에 따른 영상 교정부(224)보다 신속히 완료할 수 있다. 이러한 비교 우위는, 연산 과정이 전술한 바와 같이 곱셈(승산) 과정일 때 더욱 두드러진다. 다만, 이러한 비교 우위는, 제n 중첩 영상을 이루는 픽셀의 개수가 '가능한 색상 수치의 개수'(상기 가정에 따라, 이하, 256개)보다 적을 때는 나타나지 않고, 제n 중첩 영상을 이루는 픽셀의 개수가 256개보다 많을수록 두드러지게 나타난다. 왜냐하면, 독출을 위해서는, 교정수치 저장부(520)에 상기 룩업테이블이 저장되어야 하고, 교정수치 연산부(510)는 그러한 룩업테이블을 생성하기 위해, 256번의 연산(특히, 승산)을 수행하여야 하기 때문이다.

도 6은 본 발명에 의한 영상 처리방법을 설명하기 위한 플로우챠트로서, 서 로 다른 색상을 갖는 중복된 영상들이라도 정확히 겹쳐지도록 함으로써 보다 현실감 있는 파노라마 영상을 생성할 수 있도록 하는 단계들(제610~ 622 단계들)을 포함할 수 있다.

제610 단계에서, 매핑부(216)는 제n 촬영 영상과 제n+1 촬영 영상을 미리 설정된 곡면에 투영하여 제n 매핑 영상과 제n+1 매핑 영상을 생성한다.

제612 단계에서, 적정이동량 연산부(218)는 제n 촬영 영상과 제n+1 촬영 영상 중 적어도 하나, 또는 제n 매핑 영상과 제n+1 매핑 영상 중 적어도 하나의 적정 이동량을 구한다.

제614 단계에서, 영상 정렬부(220)는 제n 촬영 영상과 제n+1 촬영 영상 중 적어도 하나, 또는 제n 매핑 영상과 제n+1 매핑 영상 중 적어도 하나를 제612 단계에서 구해진 적정 이동량만큼 이동시킨다.

제616 단계에서, 비교부(226)는 현재 이동된 결과 중첩된 영상들간의 색 유사도와 직전에 이동된 결과 중첩된 영상들간의 색 유사도의 차가 임계치 이상인가 판단한다.

제616 단계에서 이상이라고 판단되면, 제618 단계에서, 교정인자 연산부(222)는 중첩된 영상들(구체적으로는, 제n 중첩 영상과 제n+1 중첩 영상)의 색상을 고려하여 교정인자를 구한다.

제620 단계에서, 영상 교정부(224)는 중첩된 영상들 중 적어도 일부(상기 가정에 따라, 이하, 제n 중첩 영상)의 색상을 제618 단계에서 구해진 교정인자를 이용하여 교정한다.

반면, 제616 단계에서 미만이라고 판단되면, 제622 단계에서, 영상 정렬부(220)는 제n 매핑 영상과 제n+1 매핑 영상을 연결한다. 구체적으로, 제622 단계에서, 영상 정렬부(220)는 제n 중첩 영상과 제n+1 중첩 영상을 연결한다.

도 7은 도 6에 도시된 제620 단계에 대한 본 발명에 의한 제1 실시예(620A)의 플로우챠트로서, 중첩된 영상들 중 적어도 일부의 색상을 교정인자를 이용하여 교정하는 단계(제710 단계)를 포함할 수 있다.

제710 단계에서, 영상 교정부(224)는 제n 중첩 영상을 이루는 각 픽셀마다, 픽셀의 색상 수치에 제618 단계에서 구해진 교정인자를 곱하여 교정 수치를 구한다. 이로써, 영상 교정부(224)는 색상이 교정된 제n 중첩 영상을 생성하게 된다.

도 8은 도 6에 도시된 제620 단계에 대한 본 발명에 의한 제2 실시예(620B)의 플로우챠트로서, 중첩된 영상들 중 적어도 일부의 색상을 교정인자를 이용하여 교정하는 단계들(제810~ 830 단계들)을 포함할 수 있다.

제810 단계에서, 영상 교정부(224)는 가능한 색상 수치(예를 들어, 0~ 255 각각)마다, 그 가능한 색상 수치에 제618 단계에서 구해진 교정인자를 곱하여 그 가능한 색상 수치의 교정 수치를 구한다.

제820 단계에서, 영상 교정부(224)는 가능한 색상 수치를 어드레스로 하여 '그 가능한 색상 수치의 구해진 교정 수치'를 저장한다.

제830 단계에서, 영상 교정부(224)는 제n 중첩 영상을 이루는 각 픽셀마다, 그 픽셀의 색상 수치를 어드레스로 갖는 교정 수치를 제820 단계에서 저장된 교정 수치 중에서 독출한다. 이로써, 영상 교정부(224)는 색상이 교정된 제n 중첩 영상 을 생성하게 된다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

이상에서 설명한 바와 같이, 본 발명에 의한 영상 처리장치 및 방법은, 파노라마 영상을 생성하기 위해 서로 연결하고자 하는 영상들 중 적어도 하나를 그 영상들간에 중첩된(overlapped) 영상들의 색상이 최대한 서로 일치하도록 이동시킨 뒤, 그 중첩된 영상들 중 적어도 일부의 색상을 그 중첩된 영상들의 색상을 고려하여 교정하고(예컨대, 그 중첩된 두 영상들 중 일방의 색상들을 타방의 색상들을 고려하여 교정하고), 영상(들)을 그 중첩된 영상들의 색상이 최대한 서로 일치하도록 재차 이동시킨 뒤에야 비로소, 영상들을 연결(stitch)하므로, 파노라마 영상을 생성하기 위해 서로 연결하고자 하는 영상들 간에 존재하는 중복된(identical) 영상들이 서로 다른 색상을 갖더라도, 그 중복된 영상들이 정확히 겹쳐지도록 하여, 보다 현실감 있는 파노라마 영상을 생성하는 효과를 갖는다.

이 때, '색상 교정'은 그 중첩된 영상들의 색상을 고려하여 이루어지므로, 그러한 '색상 교정' 및 '영상의 재차 이동'으로 인해, '그 중첩된 영상들의 색상이 서로 일치하는 정도'(예컨대, 그 중첩된 영상이 복수의 픽셀로 구성된다면, 그 픽셀마다 그 픽셀의 색상과 그 픽셀과 겹쳐있는 픽셀의 색상간의 유사도를 구하고, 구해진 유사도들의 평균)는 증가한다.

그러므로, 서로 다른 색상을 갖는 중복된 영상이라도 정확히 겹쳐지도록 한다는 본 발명의 상기 효과는, '색상 교정' 및 '영상(들)의 재차 이동'을 반복할수록 더욱 상승하게 된다. 이 경우, 영상들의 연결은 그러한 반복 수행을 완료한 뒤 수행된다.

다만, 파노라마 영상 생성장치(미 도시)는 파노라마 영상을 어느 일정 시간(dead line)안에 생성할 것을 요구받는 것이 현실이라는 것을 감안할 때, 그러한 반복 수행은 사전에 정해 놓은 임계 횟수를 상한(upper limit)으로 하여 수행될 수 있다. 이로써, 본 발명은 서로 다른 색상을 갖는 중복된 영상들이라도 정확히 겹쳐 지도록 하여 보다 현실감 있는 파노라마 영상의 생성을 담보할 수 있을 뿐만 아니라, 파노라마 영상의 신속한 생성도 어느 정도 담보할 수 있다.

한편, 전술한 바와 같이, '색상 교정' 및 '영상(들)의 재차 이동'이 반복 수행되는 경우, '그 중첩된 영상들의 색상이 서로 일치하는 정도'는 영상(들)이 이동될 때마다 연산된다. 이 경우, 본 발명은 현재 연산된 '그 중첩된 영상들의 색상이 서로 일치하는 정도'와 직전에 연산된 '그 중첩된 영상들의 색상이 서로 일치하는 정도'간의 차이가 임계치(단, 임계치의 수치는 미리 설정됨) 미만일 경우에는 총 반복 횟수가 임계 횟수에 도달하지 않았더라도 그러한 반복 수행을 중단함으로써, 파노라마 영상의 보다 신속한 생성을 가능하게 한다.

또한, 본 발명은 색상을 교정하고자 하는 픽셀의 색상 수치에 교정인자를 승산하여 그 픽셀의 교정 수치를 획득할 수도 있으나, 가능한 색상 수치(예를 들어, 0~ 255 각각)에 교정인자를 승산하여 그 가능한 색상 수치의 교정 수치를 획득하고, 그 가능한 색상 수치마다 매칭된 교정 수치를 나타내는 룩업테이블을 생성한 뒤, 색상을 교정하고자 하는 픽셀의 색상 수치를 어드레스로 갖는 교정 수치를 그 생성된 룩업테이블에서 독출하여 그 픽셀의 교정 수치를 획득할 수도 있다. 본 발명은 이러한 독출을 수행함으로써, 색상을 교정하고자 하는 영상의 색상 교정을 보다 신속히 완료할 수 있다.

Claims

서로 연결하고자 하는 영상들 중 적어도 하나를 상기 영상들간에 중첩된 영상들의 색상이 최대한 서로 일치하도록 이동시키고, 재정렬 신호에 응답하여 재차 동작하는 영상 정렬부; 및

상기 이동된 결과 중첩된 영상들 중 적어도 일부의 색상을 상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정한 뒤, 상기 재정렬 신호를 생성하는 영상 교정부를 포함하는 것을 특징으로 하는 영상 처리장치.
제1 항에 있어서, 상기 영상 처리장치는

현재 이동된 결과 중첩된 상기 영상들간의 색 유사도와 직전에 이동된 결과 중첩된 상기 영상들간의 색 유사도의 차를 임계치와 비교하는 비교부를 더 포함하고,

상기 영상 교정부는 상기 비교된 결과에 응답하여 동작하는 것을 특징으로 하는 영상 처리장치.
제1 항에 있어서, 상기 영상 처리장치는

상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정인자를 연산하는 교정인자 연산부를 더 포함하고,

상기 영상 교정부는 상기 적어도 일부의 색상을 상기 연산된 교정인자를 이 용하여 교정하는 것을 특징으로 하는 영상 처리장치.
제3 항에 있어서, 상기 영상 교정부는 상기 적어도 일부를 이루는 각 픽셀마다, 상기 연산된 교정인자를 이용한 연산을 수행하여 상기 적어도 일부의 색상을 교정하는 것을 특징으로 하는 영상 처리장치.
제3 항에 있어서, 상기 영상 교정부는

가능한 색상 수치마다, 상기 가능한 색상 수치의 교정 수치를 상기 연산된 교정인자를 이용하여 연산하는 교정수치 연산부;

상기 가능한 색상 수치를 어드레스(address)로 하여 상기 교정 수치를 저장하는 교정수치 저장부; 및

상기 적어도 일부를 이루는 각 픽셀마다, 상기 픽셀의 색상 수치를 어드레스로 갖는 교정 수치를 상기 저장된 교정 수치 중에서 독출하는 교정수치 독출부를 포함하는 것을 특징으로 하는 영상 처리장치.
(a) 서로 연결하고자 하는 영상들 중 적어도 하나를 상기 영상들간에 중첩된 영상들의 색상이 최대한 서로 일치하도록 이동시키는 단계; 및

(b) 상기 이동된 결과 중첩된 영상들 중 적어도 일부의 색상을 상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정하고, 상기 (a) 단계로 진행하는 단계를 포함하는 것을 특징으로 하는 영상 처리방법.
제6 항에 있어서, 상기 영상 처리방법은

상기 (a) 단계 후에, 현재 이동된 결과 중첩된 상기 영상들간의 색 유사도와 직전에 이동된 결과 중첩된 상기 영상들간의 색 유사도의 차가 임계치 이상인가 판단하는 단계; 및

상기 차가 상기 임계치 미만이라고 판단되면, 상기 이동된 결과 중첩된 영상들을 서로 연결하여 파노라마 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리방법.
제6 항에 있어서, 상기 영상 처리방법은

상기 (a) 단계 후에, 현재 이동된 결과 중첩된 상기 영상들간의 색 유사도와 직전에 이동된 결과 중첩된 상기 영상들간의 색 유사도의 차가 임계치 이상인가 판단하는 단계; 및

상기 차가 상기 임계치 이상이라고 판단되면, 상기 (b) 단계로 진행하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리방법.
제6 항에 있어서, 상기 (b) 단계는

(b1) 상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정인자를 구하는 단계; 및

(b2) 상기 적어도 일부의 색상을 상기 구해진 교정인자를 이용하여 교정하는 단계를 포함하는 것을 특징으로 하는 영상 처리방법.
제9 항에 있어서, 상기 (b2) 단계는 상기 적어도 일부를 이루는 각 픽셀마다, 상기 구해진 교정인자를 이용한 연산을 수행하여 상기 적어도 일부의 색상을 교정하는 것을 특징으로 하는 영상 처리방법.
제9 항에 있어서, 상기 (b2) 단계는

(b21) 가능한 색상 수치마다, 상기 가능한 색상 수치의 교정 수치를 상기 구해진 교정인자를 이용하여 구하는 단계;

(b22) 상기 가능한 색상 수치를 어드레스로 하여 상기 교정 수치를 저장하는 단계; 및

(b23) 상기 적어도 일부를 이루는 각 픽셀마다, 상기 픽셀의 색상 수치를 어드레스로 갖는 교정 수치를 상기 저장된 교정 수치 중에서 독출하는 단계를 포함하는 것을 특징으로 하는 영상 처리방법.
(a) 서로 연결하고자 하는 영상들 중 적어도 하나를 상기 영상들간에 중첩된 영상들의 색상이 최대한 서로 일치하도록 이동시키는 단계; 및

(b) 상기 이동된 결과 중첩된 영상들 중 적어도 일부의 색상을 상기 이동된 결과 중첩된 영상들의 색상을 고려하여 교정하고, 상기 (a) 단계로 진행하는 단계를 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.