KR20120052767A - 영상 분리 장치 및 방법 - Google Patents

영상 분리 장치 및 방법 Download PDF

Info

Publication number
KR20120052767A
KR20120052767A KR1020100114073A KR20100114073A KR20120052767A KR 20120052767 A KR20120052767 A KR 20120052767A KR 1020100114073 A KR1020100114073 A KR 1020100114073A KR 20100114073 A KR20100114073 A KR 20100114073A KR 20120052767 A KR20120052767 A KR 20120052767A
Authority
KR
South Korea
Prior art keywords
pixel
background
image
pixels
foreground
Prior art date
Application number
KR1020100114073A
Other languages
English (en)
Inventor
강석빈
이준섭
고종국
이수웅
이준석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100114073A priority Critical patent/KR20120052767A/ko
Priority to US13/297,718 priority patent/US20120121191A1/en
Publication of KR20120052767A publication Critical patent/KR20120052767A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 영상 분리 장치 및 방법을 제공한다. 영상 분리 장치는 입력 영상을 수신하는 영상 수신부, 입력 영상에 대응하는 배경 모델을 생성하는 배경모델 생성부 및 배경 모델을 이용하여 입력 영상의 전체 픽셀 중 기준 픽셀들에 대한 전경배경 판정작업을 수행하고, 전경배경 판정작업의 결과를 이용하여 기준 픽셀들을 제외한 나머지 픽셀들에 대한 전경배경 추정작업을 수행하는 전경배경 분리부를 포함한다.

Description

영상 분리 장치 및 방법{Apparatus and method for separating image}
본 발명은 영상 분리 장치 및 방법에 관한 것으로, 보다 상세하게는 배경 영상과 전경 영상을 분리하기 위한 영상 분리 장치 및 방법에 관한 것이다.
종래의 영상 분리 장치는 영상 입력 장치로부터 입력 영상을 전달받아 배경과 전경을 분리하기 위한 기준이 되는 배경 모델을 설정하고, 입력 영상의 각 픽셀이 배경 모델에 부합하는지를 판단한 결과에 따라 해당 픽셀이 배경인지 전경인지를 판단한다.
이러한 종래의 영상 분리 장치는 전경과 배경을 분리하는 수행 속도에 의해 성능이 결정된다. 그러나, 입력 영상의 전체 픽셀에 대하여 전경 및 배경여부를 판단하므로 성능이 감소하는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 동적 샘플링을 수행하여 입력 영상에 대한 전경과 배경을 분리하는 수행속도를 향상시킬 수 있는 영상 분리 장치 및 방법에 관한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 영상 분리 장치는 입력 영상을 수신하는 영상 수신부, 상기 입력 영상에 대응하는 배경 모델을 생성하는 배경모델 생성부 및 상기 배경 모델을 이용하여 상기 입력 영상의 전체 픽셀 중 기준 픽셀들에 대한 전경배경 판정작업을 수행하고, 상기 전경배경 판정작업의 결과를 이용하여 상기 기준 픽셀들을 제외한 나머지 픽셀들에 대한 전경배경 추정작업을 수행하는 전경배경 분리부를 포함한다.
상기 전경배경 분리부는 상기 전경배경 판정작업의 결과에 따라 픽셀 간격을 조절하여 상기 기준 픽셀들을 결정한다.
상기 전경배경 분리부는 상기 픽셀 간격을 동적 샘플링 방법으로 조절하면서 상기 기준 픽셀들을 결정하고, 상기 전경배경 판정작업의 결과를 표시한 판정 기준 영상을 생성하는 화소 관리부를 포함한다.
상기 전경배경 분리부는 상기 배경 모델에서 상기 기준 픽셀들 각각의 위치에 대응하는 기준 모델 픽셀들을 검출하고, 상기 기준 모델 픽셀들의 배경 데이터와 상기 기준 픽셀들의 화소 데이터를 각각 비교하여 상기 판정 기준 영상을 생성한다.
상기 전경배경 분리부는 상기 판정 기준 영상을 이용하여 상기 나머지 픽셀들에 대한 상기 전경배경 추정작업을 수행하여 상기 입력 영상에 대한 최종 분리 영상을 생성하는 전경배경 추정부를 포함한다.
상기 전경배경 분리부는 상기 최종 분리 영상의 결과를 출력하여 제공하는 최종 결과 출력부를 포함한다.
상기 다른 기술적 과제를 해결하기 위한 영상 분리 방법은 입력 영상을 수신하여 배경 모델을 생성하는 단계, 상기 배경 모델을 이용하여 상기 입력 영상의 전체 픽셀 중 기준 픽셀들에 대한 전경배경 판정작업을 수행하는 단계, 상기 전경배경 판정작업의 결과를 표시한 판정 기준 영상을 생성하는 단계 및 상기 판정 기준 영상을 이용하여 상기 기준 픽셀들을 제외한 나머지 픽셀들에 대한 전경배경 추정작업을 수행하는 단계를 포함한다.
상기 전경배경 판정작업을 수행하는 단계는 상기 전경배경 판정작업의 결과에 따라 픽셀 간격을 조절하는 단계 및 상기 픽셀 간격에 따라 상기 기준 픽셀들을 결정하는 단계를 포함한다.
상기 전경배경 판정작업을 수행하는 단계는 상기 배경 모델에서 상기 기준 픽셀들 각각의 위치에 대응하는 기준 모델 픽셀들을 검출하는 단계 및 상기 기준 모델 픽셀들의 배경 데이터와 상기 기준 픽셀들의 화소 데이터를 각각 비교하여 상기 전경배경 판정작업을 수행하는 단계를 더 포함한다.
상기 전경배경 추정작업을 수행하는 단계는 상기 입력 영상의 전체 픽셀에 대한 전경배경 추정작업의 결과를 표시하여 최종 분리 영상을 생성하는 단계 및 상기 최종 분리 영상의 결과를 출력하여 제공하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 영상 분리 방법은 입력 영상의 이전 기준 픽셀에서 제1 픽셀 간격만큼 떨어진 기준 픽셀을 검출하는 단계, 상기 기준 픽셀의 위치가 상기 입력 영상의 전체 픽셀 범위에 포함되는 지의 여부를 판단하는 단계, 상기 입력 영상에 대응하여 생성된 배경 모델에서 상기 기준 픽셀에 대응하는 기준 모델 픽셀을 검출하는 단계, 상기 기준 픽셀의 화소 데이터와 상기 기준 모델 픽셀의 배경 데이터가 일치하는 지의 여부를 판단하여 상기 제1 픽셀 간격을 제2 픽셀 간격으로 조절하여 다음 기준 픽셀을 결정하는 단계를 포함한다.
상기 판단하는 단계는 상기 기준 픽셀의 위치가 상기 전체 픽셀 범위에 포함되는 경우, 상기 기준 픽셀의 화소 데이터를 검출하는 단계를 포함한다.
상기 다음 기준 픽셀을 결정하는 단계는 상기 화소 데이터와 상기 배경 데이터가 일치하는 경우, 상기 픽셀 간격을 감소시키는 단계 및 상기 화소 데이터와 상기 배경 데이터가 일치하지 않는 경우, 상기 픽셀 간격을 증가시키는 단계를 포함한다.
상기 다음 기준 픽셀을 결정하는 단계는 상기 픽셀 간격이 설정값보다 작은 지의 여부를 판단하는 단계 및 상기 픽셀 간격이 상기 설정값보다 작은 경우, 상기 픽셀 간격을 상기 설정값으로 결정하는 단계를 포함한다.
상기 또 다른 기술적 과제를 해결하기 위한 영상 분리 방법은 입력 영상의 전체 픽셀 중 기준 픽셀들에 대한 판정 기준 영상을 생성하는 단계, 상기 입력 영상의 전체 픽셀 중 제1 픽셀이 상기 전체 픽셀의 범위에 포함되는 지의 여부를 판단하는 단계 및 상기 제1 픽셀이 상기 기준 픽셀들 중 어느 하나의 위치와 일치하는 지의 여부를 판단하여 상기 제1 픽셀에 대한 전경배경 추정작업을 수행하는 단계를 포함한다.
상기 전경배경 추정작업을 수행하는 상기 제1 픽셀이 상기 기준 픽셀들 중 어느 하나의 위치와 일치하는 경우, 일치하는 상기 기준 픽셀의 전경배경 판정 결과를 상기 제1 픽셀에 표시하는 단계를 포함한다.
상기 전경배경 추정작업을 수행하는 단계는 상기 제1 픽셀이 상기 기준 픽셀들 중 어느 하나의 위치와 일치하지 않는 경우, 상기 판정 기준 영상에서 상기 제1 픽셀에 가장 인접한 기준 픽셀을 선택하는 단계, 상기 인접한 기준 픽셀의 전경배경 판정 결과를 상기 제1 픽셀에 표시하는 단계를 포함한다.
본 발명의 실시예에 따르면, 입력 영상의 전경 영상과 배경 영상을 분리하기 위하여 이전 기준 픽셀들의 판정 결과를 기반으로 하는 동적 샘플링 방법을 통해 픽셀 간격을 조절하여 기준 픽셀들을 결정하고, 기준 픽셀들에 대한 전경배경 판단작업을 수행한 결과에 기초하여 나머지 픽셀에 대한 전경배경 추정작업을 수행함에 따라 전경 영상과 배경 영상을 분리하는 시간을 단축시킬 수 있다. 그에 따라 영상 분리 성능을 향상시켜 해상도가 높은 영상이 입력되더라도 실시간으로 전경 영상과 배경 영상을 분리하여 보다 빠르고 정확하게 분리 영상을 획득할 수 있다.
도 1은 종래의 영상 분리 장치에서 배경 영상과 전경 영상을 분리하는 한 예를 나타내는 도면이다.
도 2는 본 발명의 실시예예 따른 영상 분리 장치를 개략적으로 나타내는 도면이다.
도 3은 도 2에 도시한 영상 분리 장치의 전경배경 분리부를 개략적으로 나타내는 도면이다.
도 4는 도 3에 도시한 전경배경 분리부의 화소 관리부에서 동적 샘플링 방법으로 픽셀 간격을 조절하는 방법을 나타내는 순서도이다.
도 5는 도 3에 도시한 전경배경 분리부의 전경배경 추정부에서 기준 픽셀들을 제외한 나머지 픽셀들의 전경배경을 추정하는 방법을 나타내는 순서도이다.
도 6은 도 2에 도시한 영상 분리 장치에서 동적 샘플링 방법으로 픽셀 간격을 조절하여 전경배경을 분리하는 한 예를 나타내는 도면이다.
도 7은 도 2에 도시한 영상 분리 장치에서 동적 샘플링 방법으로 픽셀 간격을 조절하여 전경배경을 분리하는 순서를 나타내는 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 종래의 영상 분리 장치에서 배경 영상과 전경 영상을 분리하는 한 예를 나타내는 도면이다.
도 1을 참고하면, 종래의 영상 분리 장치(10)는 입력 영상을 전달받아, 입력 영상에 대한 배경 모델을 생성한다. 그리고, 입력 영상과 배경 모델의 부합 정도에 따라 해당 영역이 배경 영역인지 또는 전경 영역인지를 판단한다.
이러한 종래의 영상 분리 장치에서는 정적 샘플링 방법 또는 동적 샘플링 방법을 이용하여 배경 모델을 생성한다.
정적 샘플링 방법은 초기 단계에서 배경 모델을 생성하고, 이후로 초기에 생성한 배경 모델과 동일한 배경 모델을 사용하여 영상을 분리하는 것이다. 동적 샘플링 방법은 정적 샘플링 방법과 마찬가지로 초기 단계에 배경 모델을 생성하나 이후 실행하는 과정 속에서 배경 모델을 수정하면서 영상을 분리하는 것으로, 대표적으로 가우시안 혼합 모델(Mixture of Gaussian, MoG), 핵밀도 추정(Kernel Density Estimation, KDE), 마할라노비스 거리(Mahalanobis Distance) 방법이 있다.
이러한 배경 모델 구성 방법들은 기본적으로 입력 영상의 전체 픽셀에 대해 통계적 배경 모델을 생성한다. 즉, 종래의 영상 분리 장치는 입력 영상의 전체 픽셀 또는 공간다운 샘플링(Space Down-Sampling)된 픽셀을 탐색하여 입력 영상을 전경 영상과 배경 영상으로 분리한다.
예를 들어, 종래의 영상 분리 장치(10)는 입력 영상(11)이 전달되면 입력 영상(11)에 대응하는 배경 모델(12)을 생성한다. 그리고, 종래의 영상 분리 장치(10)는 입력 영상(11)의 n개 픽셀과 대응하여 형성된 배경 모델(12)의 n개 픽셀을 각각과 비교하여 해당 픽셀이 배경 영상인지 또는 전경 영역인지 판단하는 전경배경 판단작업을 수행한다.
이처럼 종래의 영상 분리 장치(10)는 입력 영상(11)의 전체 픽셀에 대응하여 형성된 배경 모델(12)의 전체 픽셀과 입력 영상(11)의 전체 픽셀을 각각 비교하여 배경 영상과 전경 영상을 분리함에 따라 영상의 전경배경을 분리하는 수행 성능이 감소하는 문제점이 있다.
이하, 이러한 문제점을 해소하기 위해 영상의 전경배경을 분리하는 속도를 향상시킬 수 있는 영상 분리 장치 및 방법에 대하여 도 2 내지 도 7을 참고하여 구체적으로 설명한다.
도 2는 본 발명의 실시예예 따른 영상 분리 장치를 개략적으로 나타내는 도면이다. 도 3은 도 2에 도시한 영상 분리 장치의 전경배경 분리부를 개략적으로 나타내는 도면이다.
도 2에 도시한 바와 같이, 본 발명의 실시예예 따른 영상 분리 장치(100)는 영상 수신부(110), 배경모델 생성부(120) 및 전경배경 분리부(130)를 포함한다.
영상 수신부(110)는 카메라(도시하지 않음)와 같은 영상 입력 장치를 통해 촬영된 입력 영상을 전달받는다. 본 발명의 실시예에 따른 입력 영상은 m개의 픽셀을 포함하는 것으로 가정한다. 그리고, 영상 수신부(110)는 입력 영상을 배경모델 생성부(120)와 전경배경 분리부(130)로 전달한다.
배경모델 생성부(120)는 입력 영상에 대응하여 형성된 m개의 픽셀을 포함하는 배경 모델을 생성한다. 그리고, 배경모델 생성부(120)는 배경 모델을 전경배경 분리부(130)로 전달한다.
전경배경 분리부(130)는 영상 수신부(110)로부터 입력 영상을 전달받으며, 배경모델 생성부(120)로부터 배경 모델을 전달받아 입력 영상을 배경 영상과 전경 영상으로 분리하고, 그 결과를 표시하여 최종 분리 영상을 생성한다. 이러한, 전경배경 분리부(130)는 도 3에 도시한 바와 같이 화소 관리부(131), 전경배경 추정부(132) 및 최종 결과 출력부(133)를 포함한다.
화소 관리부(131)는 입력 영상에서 전경 영상과 배경 영상을 분리하기 위해 동적 샘플링 방법으로 픽셀 간격을 조절하면서 기준 픽셀들을 결정하고, 기준 픽셀들 각각에 대해 전경 영상인지 또는 배경 영상인지를 판단(이하, "전경배경 판정작업"이라고 함)한다. 그리고, 화소 관리부(131)는 전경배경 판정작업에 따른 결과(이하, "판정결과"라고 함)를 표시한 판정 기준 영상을 생성하여 전경배경 추정부(132)로 전달한다. 여기서, 기준 픽셀들은 기준 픽셀들 사이에 인접한 입력 영상의 나머지 픽셀들이 전경 영역에 해당하는지 또는 배경 영역에 해당하는 지를 추정하기 위한 참조 픽셀이다.
전경배경 추정부(132)는 판정 기준 영상을 전달받는다. 그리고, 전경배경 추정부(132)는 판정 기준 영상에 표시된 기준 픽셀들에 대한 판정결과를 이용하여 기준 픽셀들 사이에 위치하는 나머지 픽셀들이 전경 영상인지 또는 배경 영상인지를 추정(이하, "전경배경 추정작업"이라고 함)하여 입력 영상에 대한 최종 분리 영상을 생성한다. 전경배경 추정부(132)는 입력 영상의 전체 픽셀에 대한 전경배경 추정작업이 완료되면 최종 분리 영상을 최종 결과 출력부(133)로 전달한다.
최종 결과 출력부(133)는 전경배경 추정부(132)로부터 최종 분리 영상을 전달받으며, 최종 분리 영상에 표시된 판정결과 출력하여 제공한다.
도 4는 도 3에 도시한 전경배경 분리부의 화소 관리부에서 동적 샘플링 방법으로 픽셀 간격을 조절하는 방법을 나타내는 순서도이다.
도 4에 도시한 바와 같이, 본 발명의 실시예에 따른 전경배경 분리부(130)의 화소 관리부(131)는 입력 영상이 전달되면 입력 영상의 m개의 전체 픽셀 중 기준 픽셀(P)의 위치와 픽셀 간격(SI)을 각각 "0"으로 초기화한다(S100). 화소 관리부(131)는 기준 픽셀(P)의 위치에서 픽셀 간격(SI)만큼 떨어진 기준 픽셀(P+S)를 검출한다(S110).
그리고, 화소 관리부(131)는 기준 픽셀(P+S)의 위치가 입력 영상의 전체 픽셀 범위에 포함되는 지의 여부를 판단한다(S120).
S120 단계의 판단결과 기준 픽셀(P+S)의 위치가 입력 영상의 전체 픽셀 범위에 포함되지 않으면, 화소 관리부(131)는 기준 픽셀(P+S)이 입력 영상의 전체 픽셀 범위에 포함되지 않으므로 픽셀 간격을 조절하는 작업을 종료한다.
S120 단계의 판단결과 기준 픽셀(P+S)의 위치가 입력 영상의 전체 픽셀 범위에 포함되면, 화소 관리부(131)는 기준 픽셀(P+S)의 화소 데이터를 검출한다(S130). 화소 관리부(131)는 기준 픽셀(P+S)의 화소 데이터와 기준 모델 픽셀(PM+S)의 배경 데이터가 일치하는 지의 여부를 판단한다(S140). 여기서, 기준 모델 픽셀(PM+S)은 입력 영상에 대응하여 형성된 배경 모델에서 기준 픽셀(P+S)의 위치에 대응하는 위치의 픽셀이다.
S140 단계의 판단결과 기준 픽셀(P+S)의 화소 데이터와 기준 모델 픽셀(PM+S)의 배경 데이터가 일치하는 경우, 화소 관리부(131)는 픽셀 간격(SI)을 감소시킨다(S150). 이때, 화소 관리부(131)는 수학식 1 ①-③ 중 어느 하나를 이용하여 픽셀 간격(SI)을 감소시킨다. 그리고, 화소 관리부(131)는 감소된 픽셀 간격(SI)이 1보다 작은 지의 여부를 판단한다(S160).
Figure pat00001
S160 단계의 판단결과 감소된 픽셀 간격(SI)이 설정값, 예를 들어 "1"보다 작은 경우, 화소 관리부(131)는 픽셀 간격(SI)을 설정값으로 결정하고, S110 단계로 돌아가 그 이후의 과정을 다시 수행한다(S170). S160 단계의 판단결과 감소된 픽셀 간격(SI)이 설정값보다 작지 않은 경우, 화소 관리부(131)는 S110 단계로 돌아가 그 이후의 과정을 다시 수행한다.
한편, S140 단계의 판단결과 기준 픽셀(P+S)의 화소 데이터와 기준 모델 픽셀(PM+S)의 배경 데이터가 일치하지 않는 경우, 화소 관리부(131)는 픽셀 간격(SI)을 증가시킨다(S180). 이때, 화소 관리부(131)는 수학식 2의 ①-③ 중 어느 하나를 이용하여 픽셀 간격(SI)을 증가시킨다. 화소 관리부(131)는 증가된 픽셀 간격(SI)이 설정값보다 작은 지의 여부를 판단(S160)하고 그 결과에 따라 이후의 과정을 수행한다.
Figure pat00002
도 5는 도 3에 도시한 전경배경 분리부의 전경배경 추정부에서 기준 픽셀들을 제외한 나머지 픽셀들의 전경배경을 추정하는 방법을 나타내는 순서도이다.
도 5에 도시한 바와 같이, 본 발명의 실시예에 따른 전경배경 분리부(130)의 전경배경 추정부(132)는 화소 관리부(131)로부터 판정 기준 영상을 전달받는다(S200). 전경배경 추정부(132)는 입력 영상의 픽셀(PX)의 위치를 초기화한다(S210). 전경배경 추정부(132)는 픽셀(PX)의 위치가 입력 영상의 전체 픽셀 범위에 포함되는 지의 여부를 판단한다(S220).
S220 단계의 판단결과 픽셀(PX)의 위치가 입력 영상의 전체 픽셀 범위에 포함되는 경우, 전경배경 추정부(132)는 픽셀(PX)의 위치가 판정 기준 영상에 표시된 기준 픽셀(P)들 중 어느 하나의 위치와 일치하는지의 여부를 판단한다(S230).
S230 단계의 판단결과 픽셀(PX)의 위치가 판정 기준 영상에 표시된 기준 픽셀(P)들 중 어느 하나의 위치와 일치하는 경우, 전경배경 추정부(132)는 픽셀(PX)의 위치와 일치하는 기준 픽셀(P)의 전경배경 판정결과를 픽셀(PX)에 표시, 즉 최종 분리 영상에 표시한다(S240). 그리고, 전경배경 추정부(132)는 픽셀(PX)의 위치를 증가시키고 S220 단계 이후의 과정을 수행하여 다음 픽셀(PX)에 대한 전경배경을 추정한다(S250).
S230 단계의 판단결과 픽셀(PX)의 위치가 판정 기준 영상에 표시된 기준 픽셀(P)들 중 어느 하나의 위치와 일치하지 않는 경우, 전경배경 추정부(132)는 판정 기준 영상에서 픽셀(PX)에 인접한 다른 기준 픽셀(P)을 선택한다(S260). 전경배경 추정부(132)는 선택된 다른 기준 픽셀(P)의 전경배경 판정결과를 픽셀(PX)에 표시, 즉 최종 분리 영상에 표시한다(S270). 그리고, 전경배경 추정부(132)는 S250 단계 이후의 과정을 수행하여 다음 픽셀(PX)에 대한 전경배경을 추정한다.
한편, S220 단계의 판단결과 픽셀(PX)의 위치가 입력 영상의 전체 픽셀 범위에 포함되지 않는 경우, 전경배경 추정부(132)는 픽셀(PX)이 입력 영상의 전체 픽셀 범위에 포함되지 않으므로 입력 영상에 전경배경 추정작업을 종료한다.
도 6은 도 2에 도시한 영상 분리 장치에서 동적 샘플링 방법으로 픽셀 간격을 조절하여 전경배경을 분리하는 한 예를 나타내는 도면이다. 도 7은 도 2에 도시한 영상 분리 장치에서 동적 샘플링 방법으로 픽셀 간격을 조절하여 전경배경을 분리하는 순서를 나타내는 도면이다.
도 6 및 도 7을 참고하면, 본 발명의 실시예에 따른 전경배경 분리부(130)는 영상 수신부(110)로부터 입력 영상(200a)을 전달받으며, 배경모델 생성부(120)로부터 배경 모델(200b)을 전달받는다(S300). 전경배경 분리부(130)는 입력 영상(200a)에 대한 전경배경 판정작업을 수행하기 위해 동적 샘플링 방법으로 입력 영상(200a)의 픽셀 간격(SI)을 조절하면서 기준 픽셀들(P1-P10)을 결정한다(S310). 본 발명의 실시예에서는 기준 픽셀들이 10개로 결정된 것으로 가정하여 설명한다.
그리고, 전경배경 분리부(130)는 배경 모델(200b)에서 기준 픽셀(P1)에 대응하는 위치의 기준 모델 픽셀(PM1)의 배경 데이터와 기준 픽셀(P1)의 화소 데이터를 비교하여 기준 픽셀(P1)이 전경 영상인지 배경 영상인지를 판단하여 표시한다.
다음으로, 전경배경 분리부(130)는 배경 모델(200b)에서 다음 기준 픽셀(P2)에 대응하는 위치의 기준 모델 픽셀(PM2)의 배경 데이터와 기준 픽셀(P2)의 화소 데이터를 비교하여 기준 픽셀(P2)이 전경 영상인지 배경 영상인지를 판단하여 표시한다.
동일하게 전경배경 분리부(130)는 배경 모델(200b)에서 기준 픽셀들(P3-P10)에 각각 대응하는 위치의 기준 모델 픽셀들(PM3-PM10)의 배경 데이터와 기준 픽셀들(P3-P10)의 화소 데이터를 비교하여 기준 픽셀들(P3-P10)이 전경 영상인지 배경 영상인지를 판단하여 표시한다.
이러한 과정을 반복하여 전경배경 분리부(130)는 기준 픽셀들(P1-P10)에 대한 전경배경 판정작업을 수행하여 판정 기준 영상(200c)을 생성한다(S310).
전경배경 분리부(130)는 입력 영상(200a)의 픽셀(PX)의 위치를 초기화하고, 픽셀(PX)의 위치가 판정 기준 영상(200c)에 표시된 기준 픽셀(P1-P10)들 중 어느 하나의 위치와 일치하는지의 여부를 판단한다.
그리고, 전경배경 분리부(130)는 픽셀(PX)의 위치가 판정 기준 영상(200c)에 표시된 기준 픽셀(P1-P10)들 중 어느 하나의 위치와 일치하는 경우, 일치하는 해당 기준 픽셀의 전경배경 판정결과를 픽셀(PX)에 표시하여 픽셀(PX)의 전경배경 추정작업을 수행한다.
전경배경 분리부(130)는 픽셀(PX)의 위치가 판정 기준 영상(200c)에 표시된 기준 픽셀(P1-P10)들 중 어느 하나의 위치와 일치하지 않는 경우, 판정 기준 영상(200c)에서 픽셀(PX)에 가장 인접한 기준 픽셀을 선택하고, 기준 픽셀의 전경배경 판정결과를 픽셀(PX)에 표시하여 픽셀(PX)의 전경배경 추정작업을 수행한다.
예를 들어, 전경배경 분리부(130)는 픽셀(PX5)의 위치가 판정 기준 영상(200c)에 표시된 기준 픽셀(P1-P10)들 중 어느 하나의 위치와 일치하지 않는 경우, 판정 기준 영상(200c)에서 픽셀(PX5)에 가장 인접한 기준 픽셀(P3)을 선택하고, 기준 픽셀(P3)의 전경배경 판정결과를 픽셀(PX5)에 표시하여 픽셀(PX5)의 전경배경 추정작업을 수행한다.
동일한 과정을 반복하여 입력 영상(200a)의 마지막 픽셀까지 전체 픽셀에 대한 전경배경 추정작업이 완료되면, 전경배경 분리부(130)는 판정결과를 표시하여 생성된 최종 분리 영상(200d)을 출력하여 제공한다(S320).
이와 같이, 본 발명의 실시예에 따른 영상 분리 장치(100)는 입력 영상의 전경 영상과 배경 영상을 분리하기 위해 이전 기준 픽셀들의 판정 결과를 기반으로 하는 동적 샘플링 방법을 통해 픽셀 간격을 조절하여 기준 픽셀들을 결정하고, 기준 픽셀들에 대한 전경배경 판단작업을 수행한 결과에 기초하여 나머지 픽셀에 대한 전경배경 추정작업을 수행함에 따라 전경 영상과 배경 영상을 분리하는 시간을 단축시킬 수 있다. 그에 따라 영상 분리 장치의 성능을 향상시켜 해상도가 높은 영상이 입력되더라도 실시간으로 전경 영상과 배경 영상을 분리하고 그 결과를 획득할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 영상 분리 장치
110: 영상 수신부
120: 배경모델 생성부
130: 전경배경 분리부
131: 화소 관리부
132: 전경배경 추정부
133: 최종 결과 출력부

Claims (17)

  1. 입력 영상을 수신하는 영상 수신부;
    상기 입력 영상에 대응하는 배경 모델을 생성하는 배경모델 생성부; 및
    상기 배경 모델을 이용하여 상기 입력 영상의 전체 픽셀 중 기준 픽셀들에 대한 전경배경 판정작업을 수행하고, 상기 전경배경 판정작업의 결과를 이용하여 상기 기준 픽셀들을 제외한 나머지 픽셀들에 대한 전경배경 추정작업을 수행하는 전경배경 분리부
    를 포함하는 영상 분리 장치.
  2. 청구항 1에 있어서,
    상기 전경배경 분리부는,
    상기 전경배경 판정작업의 결과에 따라 픽셀 간격을 조절하여 상기 기준 픽셀들을 결정하는 영상 분리 장치.
  3. 청구항 2에 있어서,
    상기 전경배경 분리부는,
    상기 픽셀 간격을 동적 샘플링 방법으로 조절하면서 상기 기준 픽셀들을 결정하고, 상기 전경배경 판정작업의 결과를 표시한 판정 기준 영상을 생성하는 화소 관리부를 포함하는 영상 분리 장치.
  4. 청구항 3에 있어서,
    상기 전경배경 분리부는,
    상기 배경 모델에서 상기 기준 픽셀들 각각의 위치에 대응하는 기준 모델 픽셀들을 검출하고, 상기 기준 모델 픽셀들의 배경 데이터와 상기 기준 픽셀들의 화소 데이터를 각각 비교하여 상기 판정 기준 영상을 생성하는 영상 분리 장치.
  5. 청구항 3에 있어서,
    상기 전경배경 분리부는,
    상기 판정 기준 영상을 이용하여 상기 나머지 픽셀들에 대한 상기 전경배경 추정작업을 수행하여 상기 입력 영상에 대한 최종 분리 영상을 생성하는 전경배경 추정부를 포함하는 영상 분리 장치.
  6. 청구항 3에 있어서,
    상기 전경배경 분리부는,
    상기 최종 분리 영상의 결과를 출력하여 제공하는 최종 결과 출력부를 포함하는 영상 분리 장치.
  7. 입력 영상을 수신하여 배경 모델을 생성하는 단계;
    상기 배경 모델을 이용하여 상기 입력 영상의 전체 픽셀 중 기준 픽셀들에 대한 전경배경 판정작업을 수행하는 단계;
    상기 전경배경 판정작업의 결과를 표시한 판정 기준 영상을 생성하는 단계; 및
    상기 판정 기준 영상을 이용하여 상기 기준 픽셀들을 제외한 나머지 픽셀들에 대한 전경배경 추정작업을 수행하는 단계
    를 포함하는 영상 분리 방법.
  8. 청구항 7에 있어서,
    상기 전경배경 판정작업을 수행하는 단계는,
    상기 전경배경 판정작업의 결과에 따라 픽셀 간격을 조절하는 단계; 및
    상기 픽셀 간격에 따라 상기 기준 픽셀들을 결정하는 단계를 포함하는 영상 분리 방법.
  9. 청구항 8에 있어서,
    상기 전경배경 판정작업을 수행하는 단계는,
    상기 배경 모델에서 상기 기준 픽셀들 각각의 위치에 대응하는 기준 모델 픽셀들을 검출하는 단계; 및
    상기 기준 모델 픽셀들의 배경 데이터와 상기 기준 픽셀들의 화소 데이터를 각각 비교하여 상기 전경배경 판정작업을 수행하는 단계를 더 포함하는 영상 분리 방법.
  10. 청구항 7에 있어서,
    상기 전경배경 추정작업을 수행하는 단계는,
    상기 입력 영상의 전체 픽셀에 대한 전경배경 추정작업의 결과를 표시하여 최종 분리 영상을 생성하는 단계; 및
    상기 최종 분리 영상의 결과를 출력하여 제공하는 단계를 포함하는 영상 분리 방법.
  11. 입력 영상의 이전 기준 픽셀에서 제1 픽셀 간격만큼 떨어진 기준 픽셀을 검출하는 단계;
    상기 기준 픽셀의 위치가 상기 입력 영상의 전체 픽셀 범위에 포함되는 지의 여부를 판단하는 단계;
    상기 입력 영상에 대응하여 생성된 배경 모델에서 상기 기준 픽셀에 대응하는 기준 모델 픽셀을 검출하는 단계; 및
    상기 기준 픽셀의 화소 데이터와 상기 기준 모델 픽셀의 배경 데이터가 일치하는 지의 여부를 판단하여 상기 제1 픽셀 간격을 제2 픽셀 간격으로 조절하여 다음 기준 픽셀을 결정하는 단계
    를 포함하는 영상 분리 방법.
  12. 청구항 11에 있어서,
    상기 판단하는 단계는,
    상기 기준 픽셀의 위치가 상기 전체 픽셀 범위에 포함되는 경우, 상기 기준 픽셀의 화소 데이터를 검출하는 단계를 포함하는 영상 분리 방법.
  13. 청구항 11에 있어서,
    상기 다음 기준 픽셀을 결정하는 단계는,
    상기 화소 데이터와 상기 배경 데이터가 일치하는 경우, 상기 픽셀 간격을 감소시키는 단계; 및
    상기 화소 데이터와 상기 배경 데이터가 일치하지 않는 경우, 상기 픽셀 간격을 증가시키는 단계를 포함하는 영상 분리 방법.
  14. 청구항 13에 있어서,
    상기 다음 기준 픽셀을 결정하는 단계는,
    상기 픽셀 간격이 설정값보다 작은 지의 여부를 판단하는 단계; 및
    상기 픽셀 간격이 상기 설정값보다 작은 경우, 상기 픽셀 간격을 상기 설정값으로 결정하는 단계를 포함하는 영상 분리 방법.
  15. 입력 영상의 전체 픽셀 중 기준 픽셀들에 대한 판정 기준 영상을 생성하는 단계;
    상기 입력 영상의 전체 픽셀 중 제1 픽셀이 상기 전체 픽셀의 범위에 포함되는 지의 여부를 판단하는 단계; 및
    상기 제1 픽셀이 상기 기준 픽셀들 중 어느 하나의 위치와 일치하는 지의 여부를 판단하여 상기 제1 픽셀에 대한 전경배경 추정작업을 수행하는 단계
    를 포함하는 영상 분리 방법.
  16. 청구항 15에 있어서,
    상기 전경배경 추정작업을 수행하는 단계는,
    상기 제1 픽셀이 상기 기준 픽셀들 중 어느 하나의 위치와 일치하는 경우, 일치하는 상기 기준 픽셀의 전경배경 판정 결과를 상기 제1 픽셀에 표시하는 단계를 포함하는 영상 분리 방법.
  17. 청구항 15에 있어서,
    상기 전경배경 추정작업을 수행하는 단계는,
    상기 제1 픽셀이 상기 기준 픽셀들 중 어느 하나의 위치와 일치하지 않는 경우, 상기 판정 기준 영상에서 상기 제1 픽셀에 가장 인접한 기준 픽셀을 선택하는 단계; 및
    상기 인접한 기준 픽셀의 전경배경 판정 결과를 상기 제1 픽셀에 표시하는 단계를 포함하는 영상 분리 방법.
KR1020100114073A 2010-11-16 2010-11-16 영상 분리 장치 및 방법 KR20120052767A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100114073A KR20120052767A (ko) 2010-11-16 2010-11-16 영상 분리 장치 및 방법
US13/297,718 US20120121191A1 (en) 2010-11-16 2011-11-16 Image separation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100114073A KR20120052767A (ko) 2010-11-16 2010-11-16 영상 분리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120052767A true KR20120052767A (ko) 2012-05-24

Family

ID=46047809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100114073A KR20120052767A (ko) 2010-11-16 2010-11-16 영상 분리 장치 및 방법

Country Status (2)

Country Link
US (1) US20120121191A1 (ko)
KR (1) KR20120052767A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140071016A (ko) * 2012-12-03 2014-06-11 엘지디스플레이 주식회사 패널 검사 방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6078619A (en) * 1996-09-12 2000-06-20 University Of Bath Object-oriented video system
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US7136525B1 (en) * 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
CA2646789A1 (en) * 1999-12-28 2001-07-05 Sony Corporation Signal processing device and method, and recording medium
US6912313B2 (en) * 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
US20030058237A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Multi-layered background models for improved background-foreground segmentation
US7190809B2 (en) * 2002-06-28 2007-03-13 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
US20060280358A1 (en) * 2003-06-30 2006-12-14 Akio Ishikawa Pattern comparison inspection method and pattern comparison inspection device
JP2006039689A (ja) * 2004-07-22 2006-02-09 Nara Institute Of Science & Technology 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
EP1971967A1 (en) * 2005-12-30 2008-09-24 Telecom Italia S.p.A. Average calculation in color space, particularly for segmentation of video sequences
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
DE602007004841D1 (de) * 2007-07-08 2010-04-01 Univ Liege Extraktor für visuellen Hintergrund
US8094943B2 (en) * 2007-09-27 2012-01-10 Behavioral Recognition Systems, Inc. Background-foreground module for video analysis system
TWI420401B (zh) * 2008-06-11 2013-12-21 Vatics Inc 一種回授式物件偵測演算法
CN101686338B (zh) * 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的系统和方法
KR101215987B1 (ko) * 2008-12-22 2012-12-28 한국전자통신연구원 전경/배경 분리 장치 및 방법
TWI395483B (zh) * 2009-05-25 2013-05-01 Visionatics Inc 使用適應性背景模型之移動物體偵測方法及其電腦程式產品
JP2011034178A (ja) * 2009-07-30 2011-02-17 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
CN102193651B (zh) * 2010-03-11 2014-11-05 株式会社理光 用于识别激光点的设备、方法和系统
TW201140502A (en) * 2010-05-13 2011-11-16 Hon Hai Prec Ind Co Ltd System and method for monitoring objects
JP2012058845A (ja) * 2010-09-06 2012-03-22 Sony Corp 画像処理装置および方法、並びにプログラム
ES2625880T3 (es) * 2010-10-27 2017-07-20 Vaelsys Formación Y Desarrollo, S.L. Método y dispositivo de detección de cambio de iluminación para sistemas de visión

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140071016A (ko) * 2012-12-03 2014-06-11 엘지디스플레이 주식회사 패널 검사 방법

Also Published As

Publication number Publication date
US20120121191A1 (en) 2012-05-17

Similar Documents

Publication Publication Date Title
EP3413265B1 (en) Panoramic video processing method and device and non-transitory computer-readable medium
RU2648955C1 (ru) Система обработки изображений и машиночитаемый записывающий носитель
US9280828B2 (en) Image processing apparatus, image processing method, and program
US10595006B2 (en) Method, system and medium for improving the quality of 2D-to-3D automatic image conversion using machine learning techniques
US9235879B2 (en) Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
KR20130049091A (ko) 병변 경계의 오류 검출 장치 및 방법, 병변 경계의 오류 수정 장치 및 방법 및, 병변 경계의 오류 검사 장치
US20140152658A1 (en) Image processing apparatus and method for generating 3d image thereof
KR20170087814A (ko) 영상 블러링 제거 방법 및 장치
JP2018527687A5 (ko)
US9697581B2 (en) Image processing apparatus and image processing method
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
JPWO2017154630A1 (ja) 画像処理装置、画像処理方法および記録媒体
JP2013135341A5 (ko)
JP2012015744A (ja) 奥行き信号生成装置及び方法
WO2018180578A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
KR101539013B1 (ko) 이미지 복원 장치 및 방법
EP3021278A1 (en) High-resolution image generation device, high-resolution image generation method, and high-resolution image generation program
US8606020B2 (en) Search skip region setting function generation method, search skip region setting method, object search method, search skip region setting function generation apparatus, search skip region setting apparatus, and object search apparatus
EP2790154A1 (en) Method and apparatus for determining an alpha value for alpha matting
EP3225024B1 (en) Method and system for determining parameters of an image processing pipeline of a digital camera
KR20120052767A (ko) 영상 분리 장치 및 방법
JP6388507B2 (ja) 画像処理装置
US10675955B2 (en) Adaptive glare removal and/or color correction
JP2018073366A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application