KR20100087685A - 깊이 영상의 품질 개선 방법 및 장치 - Google Patents

깊이 영상의 품질 개선 방법 및 장치 Download PDF

Info

Publication number
KR20100087685A
KR20100087685A KR1020100008024A KR20100008024A KR20100087685A KR 20100087685 A KR20100087685 A KR 20100087685A KR 1020100008024 A KR1020100008024 A KR 1020100008024A KR 20100008024 A KR20100008024 A KR 20100008024A KR 20100087685 A KR20100087685 A KR 20100087685A
Authority
KR
South Korea
Prior art keywords
value
depth image
brightness difference
image frame
variation value
Prior art date
Application number
KR1020100008024A
Other languages
English (en)
Other versions
KR101310213B1 (ko
Inventor
방건
엄기문
장은영
김태원
허남호
김진웅
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20100087685A publication Critical patent/KR20100087685A/ko
Application granted granted Critical
Publication of KR101310213B1 publication Critical patent/KR101310213B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 깊이 영상의 품질 개선 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 의한 깊이 영상의 품질 개선 방법은, 좌측 영상, 우측 영상 및 중앙 영상을 포함하는 다시점 영상을 입력받는 단계, 현재 깊이 영상 프레임 및 현재 깊이 영상 프레임의 이전 깊이 영상 프레임을 입력받는 단계, 현재 깊이 영상 프레임과 이전 깊이 영상 프레임을 이용하여, 현재 깊이 영상 프레임의 특정한 변이(disparity) 값에 대응하는 명도(intensity) 차이 값을 설정하는 단계, 특정한 변이 값을 포함하는 변이 값 구간을 설정하는 단계 및 다시점 영상을 이용하여 현재 깊이 영상 프레임의 변이 값 구간에 대응하는 명도 차이 값을 설정하는 단계를 포함한다. 본 발명에 따르면 깊이 영상에 포함된 변이 값 및 명도 차이 값을 보다 정확하게 설정함으로써 능동적 또는 수동적 방법에 의해 획득된 깊이 영상의 품질을 향상시킬 수 있는 효과가 있다.

Description

깊이 영상의 품질 개선 방법 및 장치{METHOD AND APPARATUS FOR IMPROVING QUALITY OF DEPTH IMAGE}
본 발명은 깊이 영상의 품질 개선 방법 및 장치에 관한 것으로, 보다 상세하게는 이미 획득된 깊이 영상의 품질을 더욱 향상시키는 방법 및 장치에 관한 것이다.
본 발명은 방송통신위원회의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-02, 과제명: 차세대DTV핵심기술개발(표준화연계)-무안경개인형3D방송기술개발(계속)].
최근 3차원 영상에 대한 관심이 늘어나면서, 3차원 영상 기술에 대한 연구가 활발히 진행되고 있다. 3차원 영상을 표현하기 위해서는 객체나 장면의 3차원 정보 또는 깊이 정보를 획득할 필요가 있다.
깊이 영상은 일반 비디오 영상과는 달리 카메라로부터 객체 또는 장면의 깊이 정보를 포함하는 영상이다. 깊이 정보는 일반적으로 0에서 255까지의 값으로 표현된다. 0은 객체 또는 장면이 카메라로부터 가장 먼 거리에 존재함을 의미하며, 255는 객체 또는 장면이 카메라로부터 가장 가까운 거리에 존재함을 의미한다.
깊이 영상을 획득하는 방법은 크게 두 가지로 나눌 수 있다. 첫 번째는 능동적 방법으로서, 깊이 카메라와 같은 능동적 3차원 정보 획득 장치를 이용하여 깊이 영상을 획득하는 것이다. 두 번째는 수동적 방법으로서, 여러 시점의 카메라로부터 동시에 얻어진 영상들 간의 상관관계를 이용하여 깊이 영상을 획득하는 것이며, 대표적으로 스테레오 정합(stereo matching)을 들 수 있다.
능동적 방법의 대표적인 예로 TOF(Time-Of-Flight) 방식을 들 수 있다. 이 방식은 비가시광을 객체에 비추고, 이 빛이 되돌아오는 시간을 측정하여 카메라로부터 객체까지의 거리를 측정함으로써 깊이 영상을 구성한다. TOF 방식에 의하면 실시간으로 깊이 영상을 생성하는 것이 가능하나, 난반사 또는 밝은 환경 하에서 발생하는 노이즈 등으로 인하여 고품질의 깊이 영상을 획득하는 것이 어렵다는 단점이 있다.
수동적 방법의 경우, 다시점 카메라를 통해 얻은 여러 시점의 영상으로부터 소프트웨어 등을 이용하여 각 시점의 상관관계를 연산하고, 이를 통해 시점 간 변이(disparity) 값을 구함으로써 깊이 값을 얻을 수 있다. 수동적 방법의 경우에도 몇몇 제한적인 요소들만을 이용하여 깊이 값을 연산하기 때문에 실제와는 차이가 있는 깊이 정보를 얻을 가능성이 있다.
본 발명은 깊이 영상에 포함된 변이 값 및 명도 차이 값을 보다 정확하게 설정함으로써 능동적 또는 수동적 방법에 의해 획득된 깊이 영상의 품질을 향상시킬 수 있는 깊이 영상의 품질 향상 방법 및 장치를 제공하는 것을 일 목적으로 한다.
또한 본 발명은 능동적 또는 수동적 방법에 의해 획득된 깊이 영상의 품질을 향상시킴으로써, 깊이 영상에 나타나는 노이즈을 제거하고 깊이 영상의 시간적 일관성(temporal consistency)을 향상시킬 수 있는 깊이 영상의 품질 향상 방법 및 장치를 제공하는 것을 다른 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은 깊이 영상의 품질 개선 방법에 있어서, 좌측 영상, 우측 영상 및 중앙 영상을 포함하는 다시점 영상을 입력받는 단계, 현재 깊이 영상 프레임 및 현재 깊이 영상 프레임의 이전 깊이 영상 프레임을 입력받는 단계, 현재 깊이 영상 프레임과 이전 깊이 영상 프레임을 이용하여, 현재 깊이 영상 프레임의 특정한 변이(disparity) 값에 대응하는 명도(intensity) 차이 값을 설정하는 단계, 특정한 변이 값을 포함하는 변이 값 구간을 설정하는 단계 및 다시점 영상을 이용하여 현재 깊이 영상 프레임의 변이 값 구간에 대응하는 명도 차이 값을 설정하는 단계를 포함하는 것을 일 특징으로 한다.
또한 본 발명은 깊이 영상의 품질 개선 장치에 있어서, 좌측 영상, 우측 영상 및 중앙 영상을 포함하는 다시점 영상과, 현재 깊이 영상 프레임 및 현재 깊이 영상 프레임의 이전 깊이 영상 프레임을 입력받는 입력부, 현재 깊이 영상 프레임과 이전 깊이 영상 프레임을 이용하여, 현재 깊이 영상 프레임의 특정한 변이(disparity) 값에 대응하는 명도(intensity) 차이 값을 설정하는 제1처리부 및 특정한 변이 값을 포함하는 변이 값 구간을 설정하고, 다시점 영상을 이용하여 현재 깊이 영상 프레임의 변이 값 구간에 대응하는 명도 차이 값을 설정하는 제2처리부를 포함하는 것을 다른 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 깊이 영상에 포함된 변이 값 및 명도 차이 값을 보다 정확하게 설정함으로써 능동적 또는 수동적 방법에 의해 획득된 깊이 영상의 품질을 향상시킬 수 있는 장점이 있다.
또한 본 발명에 의하면, 능동적 또는 수동적 방법에 의해 획득된 깊이 영상의 품질을 향상시킴으로써, 깊이 영상에 나타나는 노이즈을 제거하고 깊이 영상의 시간적 일관성을 향상시킬 수 있는 장점이 있다.
도 1은 본 발명의 일 실시예에 의한 깊이 영상의 품질 개선 장치의 구성을 나타내는 구성도.
도 2는 본 발명의 일 실시예에 의한 깊이 영상의 품질 개선 방법을 설명하기 위한 흐름도.
도 3은 도 2의 단계 206을 보다 상세하게 설명하기 위한 흐름도.
도 4는 도 2의 단계 210을 보다 상세하게 설명하기 위한 흐름도.
도 5는 본 발명의 다른 실시예에 의한 깊이 영상의 품질 개선 방법을 설명하기 위한 흐름도.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
앞서 언급한 바와 같이, 깊이 영상을 얻는 방법에는 능동적 방법과 수동적 방법이 존재하며, TOF와 같은 능동적 방법을 이용하여 깊이 영상을 얻는 경우 고품질의 깊이 영상을 얻는 것이 어려운 경우가 발생한다.
한편, 수동적 방법의 앞서 설명한 바와 같이 여러 시점의 영상을 이용하여 깊이 값을 얻는데, 이를 간단히 설명하면 다음과 같다. 우선 다시점 영상 간의 베이스라인(baseline)을 서로 동일하게 맞추는 과정이 선행되는데, 이와 같이 각 시점 영상의 베이스라인을 일치시키는 것을 수평축 수정(rectification)이라고 한다. 수평축 수정을 통해 각 시점 영상 간의 스캔 라인(scan line)이 일치된다.
이렇게 스캔 라인이 일치된 다시점 영상에서, 깊이 영상을 구하고자 하는 시점 영상 내의 픽셀과 동일한 픽셀에 대하여, 수평 방향으로 다른 시점의 영상의 각 픽셀과의 명도(intensity) 차이 값을 비교하면서, 가장 작은 명도 차이 값을 탐색한다. 그리고 이렇게 구한 명도 차이 값을 이용하여 변이 값을 연산하여 깊이 값을 얻을 수 있다.
그런데 스캔 라인 상에서 단순히 픽셀 간의 명도 차이만을 가지고 변이 값을 계산한다면, 엉뚱한 픽셀이 잘못 선택됨으로써 결국 정확하지 않은 변이 값 및 깊이 값을 구하게 되는 결과를 초래한다.
이처럼 부정확한 깊이 값을 보완하기 위하여 그래프-컷(Graph-cut) 알고리즘이 이용된다. 그래프-컷 알고리즘은 에너지 최소화 함수(Energy Minimization Function)를 이용하며, 에너지 최소화 함수는 각 픽셀의 변이 값 및 명도 차이 값으로 구성된 함수이다. 에너지 최소화 함수는 변이 값과 명도 차이 값을 이용하여 동일한 변이 값을 갖는 영역을 보다 정확하게 구분할 수 있도록 하는 함수이다. 따라서 그래프-컷 알고리즘을 통해 부정확한 깊이 값을 어느 정도 보완할 수 있으나, 에너지 최소화 함수의 입력 값인 변이 값 및 명도 차이 값을 보다 정확하게 수정한다면, 더 정확한 깊이 값을 얻는 것이 가능해진다.
본 발명은 능동적 방법 또는 수동적 방법을 통해 획득된 깊이 영상의 품질을 향상시키는 방법 및 장치에 관한 것으로서, 기존의 깊이 영상을 입력받고 이 깊이 영상의 변이 값 및 그 변이 값에 대응하는 명도 차이 값을 보다 정확하게 설정함으로써 깊이 영상의 품질을 향상시킨다.
도 1은 본 발명의 일 실시예에 의한 깊이 영상의 품질 개선 장치의 구성을 나타내는 구성도이다.
도 1에 나타난 바와 같이, 깊이 영상의 품질 개선 장치(102)는 입력부(104), 제1처리부(106), 제2처리부(112), 제3처리부(116)를 포함한다.
입력부(104)는 깊이 영상 처리에 필요한 각종 영상 및 데이터를 입력받는다. 특히 입력부(104)는 좌측 영상, 우측 영상 및 중앙 영상을 포함하는 다시점 영상과 현재 깊이 영상 프레임, 그리고 현재 깊이 영상 프레임의 이전 깊이 영상 프레임을 입력받는다.
제1처리부(106)는 입력부(104)를 통해 입력된 현재 깊이 영상 프레임과 이전 깊이 영상 프레임을 이용하여, 현재 깊이 영상 프레임의 특정한 변이 값에 대응하는 명도 차이 값을 설정한다.
제1처리부(106)는 움직임 영역 검출부(108)와 제1연산부(110)를 포함한다. 움직임 영역 검출부(108)는 현재 깊이 영상 프레임과 이전 깊이 영상 프레임을 비교하여 현재 깊이 영상 프레임을 움직임이 있는 영역과 움직임이 없는 영역으로 구분한다.
여러가지 방법을 이용하여 현재 깊이 영상 프레임을 움직임이 있는 영역과 움직임이 없는 영역으로 구분할 수 있는데, 그 중 하나를 예로 들면 다음과 같다. 현재 깊이 영상 프레임과 이전 깊이 영상 프레임의 프레임 차이(frame difference)를 연산한다. 이 때 컬러 밸런스(color balance)가 전처리(preprocess)되며 모든 카메라는 해당 장면에 대하여 정적(static)이므로, 프레임 차이는 움직이는 객체를 검출하는 데 충분하다. 연산된 프레임 차이 값은 임의의 임계 값(threshold)보다 크다. 여기서 해당 프레임 내의 프레임 차이의 평균 값(mean value)이 임계 값으로 이용된다. 임계 값은 [수학식 1]과 같이 계산될 수 있다.
Figure pat00001
[수학식 1]에서, 프레임 해상도는 m×n의 크기를 갖고,
Figure pat00002
는 i번째 폭 및 j번째 높이 픽셀에서의 n번째 프레임의 Y 컴포넌트 값을 의미한다. 여기서 해당 프레임 모션의 정확도는 임계 값 thn으로 추정될 수 있다.
움직임이 없는 영역을 보다 빠르게 검출하기 위해, 프레임을 여러 블록(예를 들면 16×16)으로 나눌 수 있다. 각 블록에서 임계 값 thn보다 적은 수의 픽셀은 움직임이 없는 영역의 기준이다. 움직임이 없는 영역을 검출하는 식은 [수학식 2]와 같다.
Figure pat00003
어떤 블록의
Figure pat00004
픽셀의 수가 10% 아래이면, 그 블록은 움직임이 없는 영역으로 간주된다.
제1연산부(110)는 움직임이 없는 영역에 포함되는 각 픽셀의 깊이 값을 각 픽셀의 변이 값으로 변환한다. 이 때 제1연산부(110)는 좌측 카메라의 변위 벡터 및 우측 카메라의 변위 벡터를 획득하고, 획득된 변위 벡터를 이용하여 각 픽셀의 깊이 값을 변이 값으로 변환할 수 있다.
그리고 나서, 제1연산부(110)는 각 픽셀의 변이 값에 대응하는 명도 차이 값을 미리 정해진 값, 예를 들면 0으로 설정한다. 움직임이 없는 영역의 경우, 이전 깊이 영상 프레임이 이미 정확한 변이 값 및 이에 대한 명도 차이 값을 갖고 있는 것으로 볼 수 있기 때문에, 움직임이 없는 영역에 대해서는 변이 값 및 명도 차이 값을 새로 설정할 필요가 없다.
제2처리부(112)는 특정한 변이 값을 포함하는 변이 값 구간을 설정하고, 입력부(104)를 통해 입력된 다시점 영상을 이용하여 현재 깊이 영상 프레임의 변이 값 구간에 대응하는 명도 차이 값을 설정한다.
제2처리부(112)는 변이 값 구간 설정부(118)를 포함한다. 변이 값 구간 설정부(118)는 최대 변이 값 및 최소 변이 값을 설정하여 변이 값 구간을 설정하며, 이 변이 값 구간에 대해서만 명도 차이 값을 설정하게 된다. 변이 값 구간 설정부(118)는 좌측 카메라와 중앙 카메라 간의 거리 및 우측 카메라와 중앙 카메라 간의 거리를 연산하고, 연산된 좌측 카메라와 상기 중앙 카메라 간의 거리 및 우측 카메라와 중앙 카메라 간의 거리를 이용하여 최대 변이 값 및 최소 변이 값을 결정할 수 있다.
제2처리부(112)는 제2연산부(114)를 포함한다. 제2연산부(114)는 설정된 변이 값 구간에 포함되며, 제1처리부(106)에 의한 특정한 변이 값과 같지 않은 변이 값을 선택한다. 그리고 입력부(104)를 통해 입력된 다시점 영상을 이용하여 선택된 변이 값에 대한 좌 명도 차이 값과 우 명도 차이 값을 연산하고, 연산된 좌 명도 차이 값과 우 명도 차이 값을 비교하여 더 작은 값을 선택된 변이 값에 대응하는 명도 차이 값으로 설정한다.
제3처리부(116)는 제2처리부(112)에 의해 설정된 변이 값 구간에 포함되는 변이 값 및 이 변이 값에 대응하는 명도 차이 값을 이용하여 그래프-컷 알고리즘을 수행한다.
도 2는 본 발명의 일 실시예에 의한 깊이 영상의 품질 개선 방법을 설명하기 위한 흐름도이다.
먼저 좌측 영상, 우측 영상 및 중앙 영상을 포함하는 다시점 영상을 입력받는다(202). 그리고 현재 깊이 영상 프레임 및 현재 깊이 영상 프레임의 이전 깊이 영상 프레임을 입력받는다(204). 예를 들어 다시점 영상 및 현재 깊이 영상 프레임을 n번째 프레임(단, n은 정수)이라고 하면, 이전 깊이 영상 프레임은 n-1번째 프레임이다.
도 2에는 도시되지 않았으나, 현재 깊이 영상 프레임을 입력받은 후 입력된 현재 깊이 영상 프레임이 수정된 깊이 영상인지 여부를 확인하는 단계가 수행될 수 있다. 여기서 수정된 깊이 영상이란, 능동적 방법이나 수동적 방법을 통해 획득된 깊이 영상에 노이즈가 존재하거나 그 깊이 영상의 시간적 일관성이 유지되지 않는 등의 문제점이 발생한 경우, 그 문제점을 수정한 깊이 영상을 의미한다. 만약 입력된 현재 깊이 영상 프레임이 수정된 깊이 영상이라면 더 이상 해당 깊이 영상을 수정할 필요가 없기 때문에 나머지 단계(206 내지 212)를 수행하지 않을 수도 있다.
다음으로, 현재 깊이 영상 프레임과 이전 깊이 영상 프레임을 이용하여, 현재 깊이 영상 프레임의 특정한 변이 값에 대응하는 명도 차이 값을 설정한다(206). 현재 깊이 영상 프레임의 특정한 변이 값이란 현재 깊이 영상 프레임을 이전 깊이 영상 프레임과 비교했을 때 움직임이 없는 것으로 판단되는 영역의 변이 값을 의미한다. 이전 깊이 영상 프레임이 본 발명에 의한 방법 또는 다른 방법에 의해 수정된 깊이 영상이라면, 현재 깊이 영상 프레임의 움직임이 없는 영역에 포함되는 픽셀의 변이 값, 그리고 이 변이 값에 대응하는 명도 차이 값은 수정될 필요가 없다. 따라서 움직임이 없는 영역의 변이 값에 대응하는 명도 차이 값을 미리 정해진 값, 예를 들면 0으로 설정하고, 이렇게 설정된 명도 차이 값은 더 이상 수정하지 않음으로써 보다 효율적으로 깊이 영상 품질을 개선할 수 있다. 이하에서는 도 3을 통해 단계 206에 대하여 보다 상세하게 설명한다.
도 3은 도 2의 단계 206을 보다 상세하게 설명하기 위한 흐름도이다.
먼저 현재 깊이 영상 프레임 및 이전 깊이 영상 프레임을 서로 비교하여, 현재 깊이 영상 프레임에서 움직임이 있는 영역과 움직임이 없는 영역을 구분한다(302). 움직임이 있는 영역의 경우, 나머지 단계(208, 210)를 통해 변이 값 및 이에 대응하는 명도 차이 값을 수정한다. 다음으로, 움직임이 없는 영역에 포함되는 각 픽셀의 깊이 값을 각 픽셀의 변이 값으로 변환한다(304). 움직임이 없는 영역 내의 각 픽셀은 깊이 값을 갖고 있으므로, 이 깊이 값을 변이 값으로 변환한다. 깊이 값을 변이 값으로 변환할 때는 좌측 카메라 및 우측 카메라의 파라메터 중 변위 벡터를 이용할 수 있다.
마지막으로 각 픽셀의 변이 값에 대응하는 명도 차이 값을 미리 정해진 값, 예를 들면 0으로 설정한다(306). 움직임이 없는 영역의 영상은 수정된 이전 깊이 영상 프레임의 변이 값이 그대로 유지되기 때문에 정확한 것으로 판단할 수 있다. 따라서 이 특정한 변이 값에 대응하는 명도 차이 값은 0과 같이 미리 정해진 값으로 설정된다.
다시 도 2를 참고하면, 현재 깊이 영상 프레임과 이전 깊이 영상 프레임을 이용하여, 현재 깊이 영상 프레임의 특정한 변이 값에 대응하는 명도 차이 값을 설정한 후(206), 이 특정한 변이 값을 포함하는 변이 값 구간을 설정한다(208). 변이 값 구간이란 단계 210을 통하여 명도 차이 값을 수정하게 될 변이 값들의 범위를 의미한다. 변이 값 구간 설정은 최대 변이 값 및 최소 변이 값을 설정함으로써 이루어진다. 최대 변이 값 및 최소 변이 값을 설정하는 방법 중의 하나로서, 좌측 카메라와 중앙 카메라 간의 거리 및 우측 카메라와 중앙 카메라 간의 거리를 연산하고, 이 결과를 이용하여 최대 변이 값 및 최소 변이 값을 결정하는 방법이 있다. 최대 변이 값 및 최소 변이 값은 경우에 따라 임의의 값으로 설정될 수도 있다.
변이 값 구간이 설정되면(208), 다시점 영상을 이용하여 현재 깊이 영상 프레임의 변이 값 구간에 대응하는 명도 차이 값을 설정한다(210). 이하에서는 도 4를 통해 단계 210에 대해 보다 상세히 설명한다.
도 4는 도 2의 단계 210을 보다 상세하게 설명하기 위한 흐름도이다.
먼저 변이 값 구간에 포함되며 특정한 변이 값과 같지 않은 변이 값을 선택한다(402). 예를 들어 처음 변이 값을 최소 변이 값으로 설정하고, 이를 1씩 증가시키면서 최대 변이 값이 될 때까지 단계 404 및 406을 수행할 수 있다. 이 때 특정한 변이 값과 같지 않은 변이 값을 선택하는 것은 단계 206을 통해 특정한 변이 값에 대응하는 명도 차이 값이 이미 설정되었기 때문이다. 본 발명의 다른 실시예에서는 단계 402에서 선택할 변이 값이 특정한 변이 값과 같은지 여부를 확인하지 않을 수도 있다.
다음으로 다시점 영상을 이용하여 선택된 변이 값에 대한 좌 명도 차이 값과 우 명도 차이 값을 연산한다(404). 좌(또는 우) 명도 차이 값이란 선택된 변이 값에 대응하는 중앙 영상의 픽셀을 최소 변이 값에서 최대 변이 값까지 좌측(또는 우측) 영상과 비교하여 구한 명도 차이 값을 의미한다. 이렇게 연산된 좌 명도 차이 값과 우 명도 차이 값을 비교하여, 보다 작은 값을 선택된 변이 값에 대응하는 명도 차이 값으로 결정한다(406). 단계 402 내지 406은 단계 208에서 설정된 변이 값 구간 내에서 반복적으로 수행될 수 있다.
다시 도 2를 참조하면, 다시점 영상을 이용하여 현재 깊이 영상 프레임의 변이 값 구간에 대응하는 명도 차이 값을 설정한 후(210), 변이 값 구간에 포함되는 변이 값 및 변이 값 구간에 포함되는 변이 값에 대응하는 명도 차이 값을 이용하여 그래프-컷 알고리즘을 수행한다(212). 다시 말해, 단계 210에서 새로 설정한 명도 차이 값과 이 명도 차이 값의 변이 값을 이용하여 에너지 최소화 함수를 수행한다. 이로써 보다 개선된 품질을 갖는 수정된 현재 깊이 영상 프레임을 획득할 수 있다(214).
도 5는 본 발명의 다른 실시예에 의한 깊이 영상의 품질 개선 방법의 일 실시예를 설명하기 위한 흐름도이다.
먼저 다시점 영상, 현재 깊이 영상 프레임, 이전 깊이 영상 프레임을 입력받는다(502). 그리고 나서, 입력된 현재 깊이 영상 프레임이 수정된 깊이 영상인지 여부를 확인한다(504). 확인 결과 수정된 깊이 영상이면 이 깊이 영상은 더 이상 수정될 필요가 없다. 여기서 수정된 깊이 영상이란, 능동적 방법이나 수동적 방법을 통해 획득된 깊이 영상에 노이즈가 존재하거나 그 깊이 영상의 시간적 일관성이 유지되지 않는 등의 문제점이 발생한 경우, 그 문제점을 수정한 깊이 영상을 의미한다.
단계 504에서의 확인 결과, 입력된 현재 깊이 영상 프레임이 수정되지 않은 것이라면, 현재 깊이 영상 프레임을 움직임이 있는 영역과 움직임이 없는 영역으로 구분한다(506). 단계 506에서는 이전 깊이 영상 프레임과 현재 깊이 영상 프레임을 비교함으로써 현재 깊이 영상 프레임을 움직임이 있는 영역과 움직임이 없는 영역으로 구분할 수 있다. 한편, 도 5에는 도시되지 않았으나, 본 발명의 다른 실시예에서는 이전 깊이 영상 프레임이 수정된 깊이 영상인지 여부를 확인하고, 이전 깊이 영상 프레임이 수정된 깊이 영상인 경우에만 단계 506 이하를 수행할 수도 있다.
현재 깊이 영상 프레임에서 움직임이 있는 영역의 경우, 다른 객체에 가려져 있던 부분이 새로 나타난다거나 기존에 존재하던 부분이 없어지는 경우가 발생할 수 있다. 따라서 움직임이 있는 영역의 깊이 값들은 움직임이 없는 영역은 깊이 값에 변화가 없으므로, 깊이 값을 향상시킬 필요가 없다.
따라서 움직임이 있는 영역의 변이 값과 이에 대응하는 명도 차이 값들은 일단 그대로 두고, 움직임이 없는 영역에 포함되는 각 픽셀의 깊이 값을 변이 값(DisPix)으로 변환한다(508). 깊이 값을 변이 값으로 변환하는 과정에는 좌측 카메라 및 우측 카메라의 파라미터 중 변위 벡터가 이용될 수 있다. DisPix를 변이 값으로 갖는 카메라 간 스캔 라인 상의 픽셀 값은 동일하므로, 이 변이 값에 대응하는 명도 차이 값을 0으로 설정한다(510). 움직임이 없는 영역의 경우에는 이전 깊이 영상과 비교할 때 깊이 값이 변하지 않으므로 깊이 값을 향상시킬 필요 없이 이전 깊이 영상의 깊이 값을 그대로 이용할 수 있기 때문이다.
단계 506 내지 510을 통해 특정한 변이 값, 즉 움직임이 없는 영역의 변이 값에 대응하는 명도 차이 값을 0으로 설정한 후, 최대 변이 값(DisMax)과 최소 변이 값(DisMin)을 갖는 변이 값 구간을 설정한다(512). DisMax와 DisMin은 좌측 카메라와 중앙 카메라 간의 거리 및 우측 카메라와 중앙 카메라 간의 거리를 연산하고, 이 결과를 이용하여 결정될 수도 있고, 임의의 값으로 설정될 수도 있다.
그리고 나서, DisN을 DisMin으로 설정하고(514), 이 후 DisN을 1씩 증가시키면서 DisMax까지 이하의 단계를 수행한다. 먼저 DisN이 DisMax보다 작거나 같은지, 그리고 DisN이 DisPix와 같지 않은지 여부를 확인한다(516). 단계 516에서 DisN이 DisPix와 같지 않은 것을 확인하는 이유는 단계 506 내지 512를 통해 움직임이 없는 영역, 즉 DisPix에 해당하는 변이 값에 대응하는 명도 차이 값이 이미 0으로 설정되었기 때문에 더 이상 명도 차이 값을 새로 설정할 필요가 없기 때문이다. 하지만 본 발명의 다른 실시예에서는 단계 516에서 단지 (DisN <= DisMax)의 조건만을 확인할 수도 있다.
단계 516에서 해당 조건이 만족되면, 좌 명도 차이 값과 우 명도 차이 값을 각각 연산한다(518). 픽셀 좌표 (x, y)에서의 좌측 영상의 명도 값을 Ileft(x±DisN, y), 우측 영상의 명도 값을 Iright(x±DisN, y), 중앙 영상의 명도 값을 Icenter(x, y)라고 정의할 때, 좌 명도 차이 값과 우 명도 차이 값은 각각 [수학식 1]과 [수학식 2]와 같이 계산된다.
Figure pat00005
Figure pat00006
그리고 연산된 좌 명도 차이 값과 우 명도 차이 값 중 더 작은 값을 DisN에 해당하는 변이 값의 명도 차이 값으로 설정하고(520), DisN을 변이 값으로 설정한다(522). 그 후 DisN을 1 증가시켜(524) 단계 516을 다시 수행한다.
변이 값 구간에 대한 명도 차이 값 설정이 끝나면, 설정된 변이 값, 명도 차이 값을 이용하여 그래프-컷 알고리즘을 수행한다(526). 이로써 보다 개선된 품질을 갖는 수정된 현재 깊이 영상 프레임을 획득할 수 있다(528).
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (14)

  1. 좌측 영상, 우측 영상 및 중앙 영상을 포함하는 다시점 영상을 입력받는 단계;
    현재 깊이 영상 프레임 및 상기 현재 깊이 영상 프레임의 이전 깊이 영상 프레임을 입력받는 단계;
    상기 현재 깊이 영상 프레임과 상기 이전 깊이 영상 프레임을 이용하여, 상기 현재 깊이 영상 프레임의 특정한 변이(disparity) 값에 대응하는 명도(intensity) 차이 값을 설정하는 단계;
    상기 특정한 변이 값을 포함하는 변이 값 구간을 설정하는 단계; 및
    상기 다시점 영상을 이용하여 상기 현재 깊이 영상 프레임의 상기 변이 값 구간에 대응하는 명도 차이 값을 설정하는 단계를
    포함하는 깊이 영상의 품질 개선 방법.
  2. 제1항에 있어서,
    상기 특정한 변이 값에 대응하는 명도 차이 값을 설정하는 단계는
    상기 현재 깊이 영상 프레임 및 상기 이전 깊이 영상 프레임을 비교하여 상기 현재 깊이 영상 프레임을 움직임이 있는 영역과 움직임이 없는 영역으로 구분하는 단계;
    상기 움직임이 없는 영역에 포함되는 각 픽셀의 깊이 값을 상기 각 픽셀의 변이 값으로 변환하는 단계; 및
    상기 각 픽셀의 변이 값에 대응하는 명도 차이 값을 미리 정해진 값으로 설정하는 단계를
    포함하는 깊이 영상의 품질 개선 방법.
  3. 제1항에 있어서,
    상기 각 픽셀의 깊이 값을 상기 각 픽셀의 변이 값으로 변환하는 단계는
    좌측 카메라의 변위 벡터 및 우측 카메라의 변위 벡터를 획득하는 단계; 및
    상기 좌측 카메라의 변위 벡터 및 상기 우측 카메라의 변위 벡터를 이용하여 상기 각 픽셀의 깊이 값을 상기 각 픽셀의 변이 값으로 변환하는 단계를
    포함하는 깊이 영상의 품질 개선 방법.
  4. 제1항에 있어서,
    상기 변이 값 구간에 대응하는 명도 차이 값을 설정하는 단계는
    상기 변이 값 구간에 포함되며 상기 특정한 변이 값과 같지 않은 변이 값을 선택하는 단계;
    상기 다시점 영상을 이용하여 상기 선택된 변이 값에 대한 좌 명도 차이 값과 우 명도 차이 값을 연산하는 단계; 및
    상기 좌 명도 차이 값과 상기 우 명도 차이 값을 비교하여 더 작은 값을 상기 선택된 변이 값에 대응하는 명도 차이 값으로 설정하는 단계를
    포함하는 깊이 영상의 품질 개선 방법.
  5. 제1항에 있어서,
    상기 변이 값 구간에 포함되는 변이 값 및 상기 변이 값 구간에 포함되는 변이 값에 대응하는 명도 차이 값을 이용하여 그래프-컷(Graph-cut) 알고리즘을 수행하는 단계를 더 포함하는 깊이 영상의 품질 개선 방법.
  6. 제1항에 있어서,
    상기 변이 값 구간을 설정하는 단계는
    최대 변이 값 및 최소 변이 값을 설정하는 단계를
    포함하는 깊이 영상의 품질 개선 방법.
  7. 제6항에 있어서,
    상기 최대 변이 값 및 상기 최소 변이 값을 설정하는 단계는
    좌측 카메라와 중앙 카메라 간의 거리 및 우측 카메라와 중앙 카메라 간의 거리를 연산하는 단계; 및
    상기 좌측 카메라와 상기 중앙 카메라 간의 거리 및 상기 우측 카메라와 상기 중앙 카메라 간의 거리를 이용하여 상기 최대 변이 값 및 상기 최소 변이 값을 설정하는 단계를
    포함하는 깊이 영상의 품질 개선 방법.
  8. 좌측 영상, 우측 영상 및 중앙 영상을 포함하는 다시점 영상과, 현재 깊이 영상 프레임 및 상기 현재 깊이 영상 프레임의 이전 깊이 영상 프레임을 입력받는 입력부;
    상기 현재 깊이 영상 프레임과 상기 이전 깊이 영상 프레임을 이용하여, 상기 현재 깊이 영상 프레임의 특정한 변이(disparity) 값에 대응하는 명도(intensity) 차이 값을 설정하는 제1처리부; 및
    상기 특정한 변이 값을 포함하는 변이 값 구간을 설정하고, 상기 다시점 영상을 이용하여 상기 현재 깊이 영상 프레임의 상기 변이 값 구간에 대응하는 명도 차이 값을 설정하는 제2처리부를
    포함하는 깊이 영상의 품질 개선 장치.
  9. 제8항에 있어서,
    상기 제1처리부는
    상기 현재 깊이 영상 프레임 및 상기 이전 깊이 영상 프레임을 비교하여 상기 현재 깊이 영상 프레임을 움직임이 있는 영역과 움직임이 없는 영역으로 구분하는 움직임 영역 검출부;
    상기 움직임이 없는 영역에 포함되는 각 픽셀의 깊이 값을 상기 각 픽셀의 변이 값으로 변환하고, 상기 각 픽셀의 변이 값에 대응하는 명도 차이 값을 미리 정해진 값으로 설정하는 제1연산부를
    포함하는 깊이 영상의 품질 개선 장치.
  10. 제8항에 있어서,
    상기 제1연산부는
    좌측 카메라의 변위 벡터 및 우측 카메라의 변위 벡터를 획득하고, 상기 좌측 카메라의 변위 벡터 및 상기 우측 카메라의 변위 벡터를 이용하여 상기 각 픽셀의 깊이 값을 상기 각 픽셀의 변이 값으로 변환하는 깊이 영상의 품질 개선 장치.
  11. 제8항에 있어서,
    상기 제2처리부는
    상기 변이 값 구간에 포함되며 상기 특정한 변이 값과 같지 않은 변이 값을 선택하고, 상기 다시점 영상을 이용하여 상기 선택된 변이 값에 대한 좌 명도 차이 값과 우 명도 차이 값을 연산하며, 상기 좌 명도 차이 값과 상기 우 명도 차이 값을 비교하여 더 작은 값을 상기 선택된 변이 값에 대응하는 명도 차이 값으로 설정하는 제2연산부를
    포함하는 깊이 영상의 품질 개선 장치.
  12. 제8항에 있어서,
    상기 변이 값 구간에 포함되는 변이 값 및 상기 변이 값 구간에 포함되는 변이 값에 대응하는 명도 차이 값을 이용하여 그래프-컷(Graph-cut) 알고리즘을 수행하는 제3처리부를 더 포함하는 깊이 영상의 품질 개선 장치.
  13. 제8항에 있어서,
    상기 제2처리부는
    최대 변이 값 및 최소 변이 값을 설정함으로써 상기 변이 값 구간을 설정하는 변이 값 구간 설정부를 더 포함하는 깊이 영상의 품질 개선 장치.
  14. 제13항에 있어서,
    상기 변이 값 구간 설정부는
    좌측 카메라와 중앙 카메라 간의 거리 및 우측 카메라와 중앙 카메라 간의 거리를 연산하고, 상기 좌측 카메라와 상기 중앙 카메라 간의 거리 및 상기 우측 카메라와 상기 중앙 카메라 간의 거리를 이용하여 상기 최대 변이 값 및 상기 최소 변이 값을 설정하는 깊이 영상의 품질 개선 장치.
KR1020100008024A 2009-01-28 2010-01-28 깊이 영상의 품질 개선 방법 및 장치 KR101310213B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US14780709P 2009-01-28 2009-01-28
US61/147,807 2009-01-28
US16953909P 2009-04-15 2009-04-15
US61/169,539 2009-04-15

Publications (2)

Publication Number Publication Date
KR20100087685A true KR20100087685A (ko) 2010-08-05
KR101310213B1 KR101310213B1 (ko) 2013-09-24

Family

ID=42397760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100008024A KR101310213B1 (ko) 2009-01-28 2010-01-28 깊이 영상의 품질 개선 방법 및 장치

Country Status (2)

Country Link
US (1) US8588515B2 (ko)
KR (1) KR101310213B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026734A2 (ko) * 2010-08-24 2012-03-01 삼성전자 주식회사 컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법
KR20120042323A (ko) * 2010-10-25 2012-05-03 삼성전자주식회사 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
KR101362183B1 (ko) * 2012-11-29 2014-02-13 한국과학기술연구원 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
KR20150037369A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
US9208541B2 (en) 2010-12-15 2015-12-08 Electronics And Telecommunications Research Institute Apparatus and method for correcting disparity map
US9538162B2 (en) 2012-02-29 2017-01-03 Samsung Electronics Co., Ltd. Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor
US9589326B2 (en) 2012-11-29 2017-03-07 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8643701B2 (en) 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
US9628722B2 (en) 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
US8818028B2 (en) 2010-04-09 2014-08-26 Personify, Inc. Systems and methods for accurate user foreground video extraction
US8649592B2 (en) 2010-08-30 2014-02-11 University Of Illinois At Urbana-Champaign System for background subtraction with 3D camera
US9001190B2 (en) * 2011-07-05 2015-04-07 Microsoft Technology Licensing, Llc Computer vision system and method using a depth sensor
JP6039178B2 (ja) * 2011-09-15 2016-12-07 シャープ株式会社 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
US8989481B2 (en) * 2012-02-13 2015-03-24 Himax Technologies Limited Stereo matching device and method for determining concave block and convex block
KR101957873B1 (ko) 2012-06-04 2019-03-13 삼성전자주식회사 3차원 영상을 위한 영상 처리 장치 및 방법
US10045014B2 (en) * 2013-07-15 2018-08-07 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3D video coding
CN104427324A (zh) * 2013-09-02 2015-03-18 联咏科技股份有限公司 视差计算方法及其立体匹配装置
US9774548B2 (en) 2013-12-18 2017-09-26 Personify, Inc. Integrating user personas with chat sessions
US9386303B2 (en) 2013-12-31 2016-07-05 Personify, Inc. Transmitting video and sharing content via a network using multiple encoding techniques
US9414016B2 (en) 2013-12-31 2016-08-09 Personify, Inc. System and methods for persona identification using combined probability maps
US9485433B2 (en) 2013-12-31 2016-11-01 Personify, Inc. Systems and methods for iterative adjustment of video-capture settings based on identified persona
US10567635B2 (en) * 2014-05-15 2020-02-18 Indiana University Research And Technology Corporation Three dimensional moving pictures with a single imager and microfluidic lens
EP3016076A1 (en) 2014-10-31 2016-05-04 Thomson Licensing Method and apparatus for removing outliers from a main view of a scene during 3D scene reconstruction
CN104320649B (zh) * 2014-11-04 2016-04-20 北京邮电大学 一种基于全概率模型的多视点深度图增强方法
US9671931B2 (en) * 2015-01-04 2017-06-06 Personify, Inc. Methods and systems for visually deemphasizing a displayed persona
US9916668B2 (en) 2015-05-19 2018-03-13 Personify, Inc. Methods and systems for identifying background in video data using geometric primitives
US9563962B2 (en) 2015-05-19 2017-02-07 Personify, Inc. Methods and systems for assigning pixels distance-cost values using a flood fill technique
US10244224B2 (en) 2015-05-26 2019-03-26 Personify, Inc. Methods and systems for classifying pixels as foreground using both short-range depth data and long-range depth data
US9661298B2 (en) 2015-08-06 2017-05-23 Intel Corporation Depth image enhancement for hardware generated depth images
US9607397B2 (en) 2015-09-01 2017-03-28 Personify, Inc. Methods and systems for generating a user-hair-color model
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
US9883155B2 (en) 2016-06-14 2018-01-30 Personify, Inc. Methods and systems for combining foreground video and background video using chromatic matching
US9881207B1 (en) 2016-10-25 2018-01-30 Personify, Inc. Methods and systems for real-time user extraction using deep learning networks
WO2018165025A1 (en) * 2017-03-05 2018-09-13 The Charles Stark Draper Laboratory, Inc. System and method for image guided tracking to enhance radiation therapy
CN109242901B (zh) * 2017-07-11 2021-10-22 深圳市道通智能航空技术股份有限公司 应用于三维相机的图像校准方法和装置
CN110728717B (zh) * 2019-09-27 2022-07-15 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN112883944B (zh) * 2021-04-28 2021-07-02 北京三快在线科技有限公司 活体检测方法、模型训练方法、装置、存储介质及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507665B1 (en) * 1999-08-25 2003-01-14 Eastman Kodak Company Method for creating environment map containing information extracted from stereo image pairs
US7043074B1 (en) * 2001-10-03 2006-05-09 Darbee Paul V Method and apparatus for embedding three dimensional information into two-dimensional images
GB0125774D0 (en) * 2001-10-26 2001-12-19 Cableform Ltd Method and apparatus for image matching
KR100505334B1 (ko) 2003-03-28 2005-08-04 (주)플렛디스 운동 시차를 이용한 입체 영상 변환 장치
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
US7330593B2 (en) * 2004-06-25 2008-02-12 Stmicroelectronics, Inc. Segment based image matching method and system
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR100603603B1 (ko) 2004-12-07 2006-07-24 한국전자통신연구원 변위 후보 및 이중 경로 동적 프로그래밍을 이용한 스테레오 변위 결정 장치 및 그 방법
US7599547B2 (en) * 2005-11-30 2009-10-06 Microsoft Corporation Symmetric stereo model for handling occlusion
KR101311896B1 (ko) 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
KR100931311B1 (ko) 2006-12-04 2009-12-11 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
WO2008075276A1 (en) 2006-12-19 2008-06-26 Koninklijke Philips Electronics N.V. Method and system to convert 2d video into 3d video
US8687918B2 (en) 2008-03-05 2014-04-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image processing system, and computer program

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012026734A2 (ko) * 2010-08-24 2012-03-01 삼성전자 주식회사 컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법
WO2012026734A3 (ko) * 2010-08-24 2012-05-03 삼성전자 주식회사 컬러 영상과 깊이 영상의 모션 벡터 공유를 이용한 부호화/복호화 장치 및 방법
KR20120042323A (ko) * 2010-10-25 2012-05-03 삼성전자주식회사 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
US9208541B2 (en) 2010-12-15 2015-12-08 Electronics And Telecommunications Research Institute Apparatus and method for correcting disparity map
US9819879B2 (en) 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity
US9538162B2 (en) 2012-02-29 2017-01-03 Samsung Electronics Co., Ltd. Synthesis system of time-of-flight camera and stereo camera for reliable wide range depth acquisition and method therefor
KR101362183B1 (ko) * 2012-11-29 2014-02-13 한국과학기술연구원 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
US9002132B2 (en) 2012-11-29 2015-04-07 Korea Insitute Of Science And Technology Depth image noise removal apparatus and method based on camera pose
US9589326B2 (en) 2012-11-29 2017-03-07 Korea Institute Of Science And Technology Depth image processing apparatus and method based on camera pose conversion
KR20150037369A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치

Also Published As

Publication number Publication date
KR101310213B1 (ko) 2013-09-24
US8588515B2 (en) 2013-11-19
US20100195898A1 (en) 2010-08-05

Similar Documents

Publication Publication Date Title
KR101310213B1 (ko) 깊이 영상의 품질 개선 방법 및 장치
KR101862199B1 (ko) 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법
US8654195B2 (en) Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
CN101516040B (zh) 视频匹配方法、装置及系统
KR101377325B1 (ko) 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법
KR101893771B1 (ko) 3d 정보 처리 장치 및 방법
EP2509324A1 (en) Method and apparatus for analyzing stereoscopic or multi-view images
KR100776649B1 (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
WO2010024479A1 (en) Apparatus and method for converting 2d image signals into 3d image signals
CN102523464A (zh) 一种双目立体视频的深度图像估计方法
KR100888081B1 (ko) 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치
KR101618776B1 (ko) 3차원 깊이 영상의 개선 방법
KR20080001093A (ko) 실시간 확장 가능한 스테레오 매칭 시스템 및 방법
EP3311361A1 (en) Method and apparatus for determining a depth map for an image
JP2015146526A (ja) 画像処理装置および方法、並びにプログラム
KR101129713B1 (ko) 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
KR102490985B1 (ko) 깊이 맵을 처리하기 위한 장치 및 방법
KR20110071854A (ko) 입체 영상 시스템에서 영상 데이터의 색상 보정 장치 및 방법
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
KR101050135B1 (ko) 광류 정보를 이용한 중간 영상 생성 방법
KR20140118083A (ko) 입체 영상 제작 시스템 및 깊이 정보 획득방법
US20230419524A1 (en) Apparatus and method for processing a depth map
US9380285B2 (en) Stereo image processing method, stereo image processing device and display device

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161024

Year of fee payment: 4