KR102282458B1 - 영상안정화장치 및 방법 - Google Patents

영상안정화장치 및 방법 Download PDF

Info

Publication number
KR102282458B1
KR102282458B1 KR1020150040206A KR20150040206A KR102282458B1 KR 102282458 B1 KR102282458 B1 KR 102282458B1 KR 1020150040206 A KR1020150040206 A KR 1020150040206A KR 20150040206 A KR20150040206 A KR 20150040206A KR 102282458 B1 KR102282458 B1 KR 102282458B1
Authority
KR
South Korea
Prior art keywords
image
feature point
unit
detected
motion vector
Prior art date
Application number
KR1020150040206A
Other languages
English (en)
Other versions
KR20160113887A (ko
Inventor
유연걸
박상지
이활석
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020150040206A priority Critical patent/KR102282458B1/ko
Priority to US14/830,894 priority patent/US9578241B2/en
Priority to CN201511019761.2A priority patent/CN105989581B/zh
Publication of KR20160113887A publication Critical patent/KR20160113887A/ko
Priority to US15/288,788 priority patent/US10136063B2/en
Priority to US15/434,873 priority patent/US9854171B2/en
Priority to US16/133,196 priority patent/US10848672B2/en
Application granted granted Critical
Publication of KR102282458B1 publication Critical patent/KR102282458B1/ko

Links

Images

Classifications

    • H04N5/23264—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H04N5/23245—
    • H04N5/23251—
    • H04N5/2328—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 영상안정화장치는 영상 센서와 움직임 센서를 함께 이용하여 영상안정화를 수행한다. 영상 센서 및 영상 처리를 통해 추출한 특징점의 위치와 움직임 센서를 이용하여 예측한 특징점의 이동 위치를 함께 이용하여 안정적으로 영상의 왜곡 및 흔들림을 보정한다.

Description

영상안정화장치 및 방법{Method and Device for dewobbling scene}
본 발명에서는 센서 융합 방식을 이용하여 영상을 안정화하는 방법을 개시한다.
병진, 회전, 줌, 스큐(skew), 와블링(wobbling) 등과 같은 영상의 다양한 흔들림을 보정하는 영상 안정화 방식은 주로 두 개의 영상 내에서 대응점을 추적하거나 매칭하는 방법을 이용한다.
그러나, 이러한 영상 안정화 방식은 영상의 화질 저하, 외부의 충격 등에 매우 취약하다. 또한, 촬영 영상 내에 움직이는 물체가 있는 경우, 움직이는 물체에 대한 영상 보정이 제대로 이루어지지 않는 문제가 있다.
특히, 영상처리를 기반으로 움직임을 보정하는 방법의 경우, 추적 영역 내지 추적 윈도우의 크기를 벗어날 정도의 움직임이 발생할 경우, 움직임을 보정하기 힘든 문제점이 있다.
US 2010-0053343
본 발명에서는 센서 융합 방식을 이용하여 영상의 화질이 저하된 경우, 영상촬영장치에 외부의 충격이 발생한 경우, 촬영한 영상 내에 움직이는 물체가 있는 경우에도 흔들림이 제거된 안정된 영상을 출력하는 방법을 개시한다.
본 발명의 바람직한 일 실시예로서 영상안정화장치는 영상촬영장치의 제 1 입력영상에서 특징점을 추출하는 특징점추출부; 상기 영상촬영장치가 흔들린 경우, 상기 영상촬영장치의 자이로 센서를 이용하여 상기 영상촬영장치의 물리적 회전량을 검출하는 회전량검출부; 상기 검출된 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출하고, 상기 로컬움직임벡터를 이용하여 상기 영상촬영장치의 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측하는 이동위치예측부; 상기 영상촬영장치에 흔들림이 발생한 이후에, 상기 영상촬영장치에서 촬영한 제 2 입력영상을 이용하여 상기 입력 영상 내에서 상기 추출된 특징점에 대응하는 대응특징점의 위치를 검출하는 대응위치추출부; 상기 예측된 이동위치와 상기 대응특징점의 위치를 비교하여 상기 대응특징점의 위치가 정확한지 검증하는 검증부;및 상기 검증부에서 검증된 상기 대응특징점의 위치 정보를 이용하여 영상의 흔들림을 보정하는 영상안정화부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 영상안정화장치는 영상촬영장치에서 촬영한 영상 내에서 특징점을 추출하는 특징점추출부; 상기 영상촬영장치가 흔들린 경우, 상기 영상촬영장치에 설치된 움직임센서(Motion sensor, 자이로 센서)를 이용하여 상기 영상촬영장치의 회전량을 검출하는 회전량검출부; 상기 검출된 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출하고, 상기 로컬움직임벡터를 이용하여 상기 영상촬영장치의 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측하는 이동위치예측부; 상기 영상촬영장치에 흔들림이 발생한 이후에, 상기 영상촬영장치의 영상센서에서 촬영한 입력영상을 이용하여 상기 입력 영상 내에 상기 추출된 특징점에 대응하는 대응특징점의 위치를 검출하는 대응위치추출부; 및 상기 예측된 이동위치와 상기 대응특징점의 위치가 기설정된 범위 이내인 경우에 상기 대응특징점의 위치를 이용하여 영상의 흔들림을 보정하는 영상안정화부;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 영상촬영장치에서 영상안정화를 수행하는 방법은 특징점추출부에서 제 1 입력영상 내의 특징점을 추출하는 단계; 상기 영상촬영장치가 흔들린 경우 회전량검출부에서 상기 영상촬영장치의 자이로 센서를 이용하여 상기 영상촬영장치의 물리적 회전량을 검출하는 단계; 이동위치예측부에서 상기 검출된 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출하는 단계; 이동위치예측부에서 상기 로컬움직임벡터를 이용하여 상기 영상촬영장치의 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측하는 단계; 상기 영상촬영장치에 흔들림이 발생한 이후에, 대응위치추출부에서 상기 영상촬영장치에서 촬영한 제 2 입력영상을 이용하여 상기 입력 영상 내에서 상기 추출된 특징점에 대응하는 대응특징점의 위치를 검출하는 단계; 검증부에서 상기 예측된 이동위치와 상기 대응특징점의 위치를 비교하여 상기 대응특징점의 위치가 정확한지 검증하는 단계;및 영상안정화부에서 검증된 상기 대응특징점의 위치 정보를 이용하여 영상의 흔들림을 보정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 바람직한 일 실시예로서, 영상촬영장치에서 영상안정화를 수행하는 방법은 특징점추출부에서 영상촬영장치의 입력영상 내의 특징점을 추출하는 단계; 상기 영상촬영장치가 흔들린 경우, 상기 영상촬영장치의 움직임센서를 이용하여 상기 영상촬영장치의 회전량을 검출하는 단계; 이동위치예측부에서 상기 검출된 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출하는 단계; 이동위치예측부에서 상기 로컬움직임벡터를 이용하여 상기 영상촬영장치의 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측하는 단계; 상기 영상촬영장치에 흔들림이 발생한 이후에, 상기 영상촬영장치의 영상센서에서 촬영한 입력영상 내에서 상기 특징점추출부에서 추출된 특징점에 대응하는 대응특징점의 위치를 검출하는 단계; 및 영상안정화부에서 상기 예측된 이동위치와 상기 대응특징점의 위치가 기설정된 범위 이내인 경우에 상기 대응특징점의 위치를 이용하여 영상의 흔들림을 보정하는 단계;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서 영상 안정화 장치는 3축 회전과 3축 병진 움직임과 같은 카메라의 흔들림과 외부 충격 등에 의해서 발생하는 영상의 병진(translation), 회전(in-plane rotation), 흔들림에 대응할 수 있는 효과가 있다.
본 발명의 바람직한 일 실시예로서 영상안정화장치 및 방법은 공항 군사, 항만, 도로, 교량 등 주요 국가시설, 지하철, 버스, 빌딩 옥상, 경기장, 주차장, 자동차 및 모바일 기기, 로봇에 이르기까지 다양한 지능형 영상 감시 시스템에서 안정적인 영상신호를 제공할 수 있는 효과가 있다.
도 1 은 본 발명의 바람직한 일 실시예로서, 영상촬영장치(S100)에 흔들림이 발생한 일 실시예를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 영상안정화장치의 내부 구성도를 도시한다.
도 3 은 영상안정화장치에서 영상 센서와 움직임 센서를 함께 이용하여 영상안정화를 수행하는 주요 개념을 도시한다.
도 4 는 영상안정화장치에서 이용하는 움직임 센서의 일 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 영상안정화장치가 구현된 영상처리장치의 내부 구성도를 도시한다.
도 6 은 본 발명의 바람직한 일 실시예로서, 영상안정화장치에서 영상의 흔들림을 보정할 때 이용하는 스캔라인의 속성을 도시한다.
도 7 은 본 발명의 바람직한 일 실시예로서, 영상촬영장치에서 영상안정화를 수행하는 흐름도를 도시한다.
도 8은 본 발명의 일 실시 예에 따른 영상촬영장치의 일 예로 디지털 카메라의 구성을 나타낸 블럭도이다.
도 1 은 본 발명의 바람직한 일 실시예로서, 영상촬영장치(S100)에 흔들림이 발생한 일 실시예를 도시한다.
영상촬영장치(S100)가 외부의 충격 등으로 흔들린 경우, 회전이동(Rotation) 또는 병진(Translation) 이동(S120)이 발생할 수 있다. 이 경우, 영상촬영장치는 이동이 발생하기 이전 t1의 최초의 위치(S100)에서 흔들림이 발생한 이후 t2의 위치(S110)로 이동하게 된다.
영상촬영장치(S100)는 흔들림이 발생하기 이전 t1에 촬영한 영상과 흔들림이 발생한 t2 이후에 촬영한 영상에는 왜곡이 발생하게 된다. 일 예로, 피사체(100)를 구성하는 특징점 P는 흔들림(S120)이 발생하기 이전 t1 시점의 카메라(S100)의 입력 영상(S101)에서 P1(S102) 지점에서 검출된다. 그러나, 흔들림(S120)이 발생한 이후 t2시점의 카메라(S110)의 입력 영상(S111)에서 P2(S112) 지점에서 검출된다.
본 발명의 바람직한 일 실시예로서, 영상안정화장치(S100)는 센서융합 방식을 이용하여 영상을 안정화한다. 영상안정화장치(S100)는 영상 센서 및 움직임 센서를 모두 이용하여 흔들림, 와블링 등의 왜곡을 제거하여 영상을 안정화한다. 영상안정화장치(S100)는 로봇, 차량, 군사용 기기, 카메라, PTZ 카메라, CCTV, 핸드폰, 스마트폰, 노트북, 네트워크 카메라, 캠코더, 테블릿 및 핸드헬드 장치 등과 같은 영상촬영장치에 구현이 가능하다. 본 발명의 바람직한 일 실시예로서, 영상촬영장치는 CMOS 이미지 센서를 이용하여 영상을 촬영할 수 있다.
영상안정화장치(S100)의 일 예인 카메라의 예시를 들면 아래와 같다. 도 3 은 영상안정화장치에서 영상 센서와 움직임 센서를 함께 이용하여 영상안정화를 수행하는 주요 개념을 도시한다.
도 3 을 참고하면, 카메라는 카메라에 흔들림이 발생하기 이전에 촬영한 이전촬영영상(a previous image)에서 특징점 P1(310)을 검출한다.
그리고, 사용자의 손떨림, 바람, 외부 충격 등으로 인해 카메라에 흔들림이 발생한 경우, 움직임 센서를 이용하여 카메라의 물리적 회전량을 검출한다. 검출된 물리적 회전량을 기초로 흔들림이 발생한 이후에 촬영한 현재촬영영상(a current image)내에 특징점 P1(310)이 이동했을 이동위치 P2(320)를 예측한다.
이 후, 흔들림이 발생한 이후 카메라에서 촬영한 현재촬영영상(the current image)내에서 이전촬영영상에서 검출된 특징점 P1(310)에 대응하는 대응특징점 P3(330)를 검출한다.
예측된 이동위치 P2(320)와 대응특징점 P3(330)의 거리 차가 기설정된 범위 이내인 경우, 대응특징점 P3(330)의 위치가 정확하다고 판단하여 왜곡을 보정시 유효데이터로 이용된다.
그러나, 예측된 이동위치 P2(320)와 대응특징점 P3(330)의 거리 차가 기설정된 범위를 초과한 경우, 대응특징점 P3(330)의 추적이 부정확하거나 또는 대응특징점P3(330)을 이동객체를 구성하는 특징점을 구성으로 판단하여 대응특징점 P3(330) 데이터를 이용하지 않는다.(If distance between predicted and tracked features is larger than predefined threshold, the feature is failed for tracking or located on a moving object.)
도 2 는 본 발명의 바람직한 일 실시예로서, 영상안정화장치의 내부 구성도를 도시한다.
도 2 를 참고하면, 영상안정화장치(200)는 특징점추출부(210), 회전량검출부(220), 대응위치검출부(230), 이동위치예측부(240), 검증부(250) 및 영상안정화부(260)를 포함한다.
특징점추출부(210)는 영상촬영장치에 입력되는 영상신호에서 특징점을 추출한다. 본 발명의 바람직한 일 실시예로서, 입력영상에서 특징점을 추출하는 방법은 일반적인 특징점 추출 기술을 채용한다.
회전량검출부(220)는 영상촬영장치가 흔들린 경우, 영상촬영장치에 장착된 움직임 센서를 이용하여 영상장치의 물리적 회전량을 검출한다. 움직임 센서의 일 예로는 자이로 센서가 있다. 바람직하게, 자이로 센서는 3차원 자이로 센서를 이용할 수 있다. 또한, 도 4의 일 실시예와 같이 IMU(Inertial Measurement Unit) sensor (도 4, 410)를 이용하여 회전량, 움직임 등을 측정할 수 있다.
이동위치예측부(240)는 회전량검출부(220)에서 검출된 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출한다(도 3 참고, S311). 또한, 추출된 로컬움직임벡터를 이용하여 영상촬영장치의 흔들림으로 인하여 특징점(도 3 참고, P1, 310)이 이동된 이동위치를 예측한다(도 3 참고, P2, 320).
대응위치추출부(230)는 영상촬영장치에 흔들림이 발생한 이후에, 영상촬영장치에서 촬영한 입력영상을 이용하여 입력 영상 내에서 추출된 특징점(도 3 참고, P1, 310)에 대응하는 대응특징점(도 3 참고, P3, 330)의 위치를 추적한다.
이 경우, 대응위치추출부(230)는 특징점추출부(210)에서 추출된 특징점들로 이루어진 특징점 집합과 이에 대응하는 대응특징점들로 이루어진 대응특징점 집합을 이용하여 글로벌움직임벡터(Global Motion Vector)(도 1 참고, S130)를 계산한다.
본 발명의 또 다른 바람직한 일 실시예로서, 대응위치추출부(230)는 LPF(Low Pass Filter) 또는 HPF(High Pass Filter)를 이용하여 입력영상의 왜곡이 카메라를 이용하는 사용자에 의해 발생한 것인지 또는 외부 환경에 의해 발생한 것인지를 판단하도록 구현된다.
본 발명의 바람직한 일 실시예로서, 사용자에 의해 발생한 손떨림과 같은 움직임은 저주파 영역에 분포하는 경우가 높으므로 LPF(Low Pass Filter)를 이용하여 분리한다. 또한, 바람 등과 같이 외부 환경에 의한 움직임은 고주파 영역에 분포하는 경우가 높으므로 HPF(High Pass Filter)를 이용하여 분리한다.
검증부(250)는 이동위치예측부(240)에서 움직임 센서를 이용하여 예측된 이동위치(도 3 참고, P2, 320)와 대응위치추출부(230)에서 추적한 대응특징점(도 3 참고, P3, 330)의 위치를 비교하여 대응특징점(도 3 참고, P3, 330)의 위치가 기설정된 범위 이내인 경우 정확한 것으로 판단하고, 기설정된 범위를 초과된 경우 부정확한 것으로 판단한다.
영상안정화부(260)는 검증부(250)에서 정확하다고 검증된 대응특징점(도 3 참고, P3, 330)의 위치 정보를 이용하여 영상의 흔들림을 보정한다. 본 발명의 바람직한 일 실시예로서, 영상안정화부(260)는 CMOS 센서의 롤링 셔터 효과 및 스캔 라인의 속성을 이용하여 흔들림 보정을 수행한다. 이와 관련하여 도 6을 참고한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 영상안정화장치가 구현된 카메라에서 움직임 센서의 일 예로 IMU 센서(410)를 이용하는 일 예를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 영상안정화장치가 구현된 영상처리장치의 내부 구성도를 도시한다.
영상처리장치(500)는 수신한 영상 신호(S500)의 왜곡을 보정한 후, 특징점을 추출한다(510). 이 후, 영상처리장치(500)의 흔들림으로 인해 추출한 특징점이 물리적으로 이동한 지점을 IMU 센서(501)등을 이용하여 예측한다(511). 이 과정을 통해 이전촬영영상에서 추출한 특징점(510)과 예측된 이동지점(511)을 추적한 로컬움직임벡터(Local Motion Vector)를 계산한다(510).
또한, 영상처리장치(500)는 이전촬영영상에서 추출한 특징점(510)과 현재촬영영상에서 추출한 특징점과 대응하는 부분을 매칭한다(513).
계산된 로컬움직임벡터(S510)값이 정확한지 검증하기 위하여 움직임센서를 이용하여 측정된 영상처리장치(500)의 물리적 이동량에 기반하여 예측된 이동지점(511)의 위치와 영상처리장치(500)에서 이용하는 영상 센서를 이용하여 현재촬영영상에서 추출한 대응특징점(513)의 위치 간의 거리가 기설정된 범위 이내인지를 판단한다(520, 530).
기설정된 범위 이내인 경우, 영상센서를 이용하여 추출한 대응특징점(513) 정보를 이용하여 영상의 흔들림을 보정한 후, 안정화된 영상 이미지(S520)를 출력한다.
기설정된 범위를 초과하는 경우, 현재촬영영상에서 추출한 대응특징점(513)의 정보가 부정확하거나 또는 움직이는 객체에서 추출한 특징점으로 판단하여 해당 정보를 이용하지 않는다(S531).
도 6 은 본 발명의 바람직한 일 실시예로서, 영상안정화장치에서 영상의 흔들림을 보정할 때 이용하는 스캔라인의 속성을 도시한다.
스캔라인은 기준영상 내의 임의의 스캔라인 Iref(610)에 대응하는 선분 Iwobbled(620)이 상기 와블링된 입력영상 내에 존재하는 특성을 지닌다. 또한, 기준영상 내의 임의의 스캔라인 Iref(610)내의 임의의 점 PR(611)에 대응하는 점 PW(61`)이 상기 와블링된 입력영상 내에 대응되는 선분 Iwobbled(620)내에 존재하는 특성이 있다.
도 7 은 본 발명의 바람직한 일 실시예로서, 영상촬영장치에서 영상안정화를 수행하는 흐름도를 도시한다.
영상촬영장치는 영상촬영장치에 흔들림이 발생하기 이전 t1 시점의 이전촬영영상 내에서 특징점을 추출한다(S710). 사용자의 조작, 손떨림, 또는 바람, 외부 충격 등으로 영상촬영장치가 흔들린 경우, IMU 센서, 자이로 센서 등의 움직임 센서를 이용하여 영상촬영장치의 물리적 회전량을 검출한다(S720)(도 2, 220 참고).
영상촬영장치의 이동위치예측부(도 2, 240참고)는 검출된 물리적 회전량을 이용하여 영상촬영장치의 회전량을 나타내는 로컬움직임벡터를 계산한다(S730). 그 후, 로컬움직임벡터를 이용하여 영상촬영장치의 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측한다(S740).
또한, 본 발명의 바람직한 일 실시예로서, 영상촬영장치는 영상촬영장치가 흔들린 경우 대응위치검출부(도 2, 230)에서 영상처리를 통해 t2 시간의 현재촬영영상 내에서 특징점을 추출한다(S750). 대응위치검출부(도 2, 230)는 현재촬영영상 내에서 추출된 특징점 중 이전영상내에서 추출한 특징점에 대응하는 대응특징점을 검출한다(S760). 이 과정에서, 대응위치검출부(도 2, 230)는 이전영상에서 추출한 특징점의 집합들과 현재촬영영상에서 추출한 특징점의 집합들을 이용하여 글로벌움직임벡터를 계산할 수 있다.
영상촬영장치의 검증부(250)는 대응특징점의 위치와 예측된 이동위치의 거리차가 기설정된 범위 이내인지를 판단하여 대응특징점이 유효한 데이터인지를 검증한다(S770). 그 후 기설정된 범위 이내의 대응특징점의 위치 정보를 이용하여 영상의 흔들림을 보정한다(S780).
도 8은 본 발명의 일 실시 예에 따른 영상촬영장치의 일 예로 디지털 카메라의 구성을 나타낸 블럭도이다.
디지털 카메라(100)는 피사체로부터의 광학 신호를 입력하는 광학부(11), 상기 광학부(11)를 통해 입력된 광학 신호를 전기 신호로 변환하는 촬상 소자(12), 촬상 소자(12)로부터 제공된 전기 신호에 대해 노이즈 저감 처리, 디지털 신호로 변환 처리 등의 신호 처리를 행하는 입력 신호 처리부(13)를 구비한다. 상기 광학부(11)를 구동하는 모터(14) 및 모터(14)의 동작을 제어하는 구동부(15)를 구비한다.
또한, 상기 디지털 카메라(100)는 사용자의 조작 신호를 입력하는 사용자 입력부(UI, 20), 입력 영상의 데이터, 연산 처리를 위한 데이터, 처리 결과 등을 임시 저장하는 SDRAM(30), 디지털 카메라(100)의 동작에 필요한 알고리즘, 설정 데이터 등을 저장하는 플래시 메모리(40), 영상 파일을 저장하는 기록 장치로서 SD/CF/SM 카드(50)를 구비할 수 있다.
그리고 상기 디지털 카메라(100)는 디스플레이 장치로서 액정 디스플레이 장치(LCD, 60)가 장착되어 있다. 또한, 소리를 디지털 신호로 변환하거나 또는 음원의 디지털 신호를 아날로그 신호를 변화하는 처리, 오디오 파일을 생성하는 처리 등을 수행하는 오디오 신호 처리부(71), 소리를 출력하는 스피커(72), 소리를 입력하는 마이크(73)를 구비할 수 있다. 그리고, 상기 디지털 카메라(100)는 상기 디지털 카메라(100)의 동작을 제어하는 디지털 신호 처리부(DSP, 80)를 구비한다.
각 구성부에 대해 더욱 구체적으로 살펴본다.
상기 모터(14)는 구동부(15)에 의해 제어된다. 상기 구동부(15)는 DSP(80)로부터 입력된 제어 신호에 따라 상기 모터(14)의 동작을 제어한다.
촬상 소자(12)는 광학부(11)로부터 입력된 광학 신호를 수광하여, 피사체의 상을 결상한다. 촬상 소자(12)로 CMOS(Complementary Metal Oxide Semiconductor) 등을 사용할 수 있다.
입력 신호 처리부(13)는 CCD로부터 공급된 전기 신호는 아날로그 신호로서 이를 디지털화하는 A/D 컨버터를 더 구비할 수 있다. 또한, 촬상 소자(12)로부터 제공된 전기 신호에 대해 게인(gain) 조정이나 파형을 정형화하는 신호 처리를 행하는 회로를 구비할 수 있다.
DSP(80)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement), 와블링파라미터 추정 및 추정된 와블링파라미터 기반 영상 복원 등의 영상 신호 처리를 수행할 수 있다. 또한, 영상 신호 처리하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축 형식은 가역 형식 또는 비 가역 형식이어도 된다.
DSP(80)는 상술한 바와 같은 영상 신호 처리를 수행하며, 상기 처리 결과에 따라 각 구성부를 제어할 수 있다. 또한 UI(20)를 통해 입력된 사용자의 제어 신호에 따라 각 구성부를 제어할 수 있다.
이상 도면과 명세서에서 최적 실시예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (18)

  1. 영상촬영장치의 입력영상에서 특징점을 추출하는 특징점추출부;
    상기 영상촬영장치의 자이로 센서를 이용하여 상기 영상촬영장치의 물리적 회전량을 검출하는 회전량검출부;
    상기 검출된 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출하고, 상기 로컬움직임벡터를 이용하여 상기 영상촬영장치의 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측하는 이동위치예측부;
    상기 자이로센서에서 물리적 회전량이 검출된 경우, 상기 자이로센서에서 물리적 회전량이 검출되기 직전에 상기 영상촬영장치에서 촬영된 제 1 입력영상에서 추출된 특징점에 대응하는 대응특징점의 위치를, 상기 자이로센서에서 물리적 회전량이 검출된 직후에 상기 영상촬영장치에서 촬영된 제 2 입력영상에서 검출하는 대응위치추출부;
    상기 자이로센서에서 검출된 물리적 회전량에 기초하여 예측된 상기 영상촬영장치의 이동위치와 상기 영상촬영장치에서 이용하는 영상센서를 이용하여 추출된 상기 대응특징점의 위치를 비교하여 상기 예측된 상기 영상촬영장치의 이동위치와 상기 대응특징점의 위치의 간격이 기설정된 범위 이내인 경우만 상기 대응특징점의 위치가 정확한 것으로 검증하는 검증부;및
    상기 검증부에서 검증된 상기 대응특징점의 위치 정보를 이용하여 영상의 흔들림을 보정하는 영상안정화부;를 포함하는 것을 특징으로 하는 영상안정화장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 검증부는
    상기 예측된 이동위치와 상기 대응특징점의 위치의 간격이 기설정된 범위를 초과하는 경우, 상기 대응특징점으로 구성된 객체는 이동객체로 판단하는 것을 특징으로 하는 영상안정화장치.
  5. 제 1 항에 있어서, 상기 대응위치추출부는
    LPF(Low Pass Filter) 또는 HPF(High Pass Filter)를 이용하여 상기 제 2 입력영상의 왜곡이 상기 영상촬영장치를 이용하는 사용자에 의해 발생한 것인지를 판단하는 것을 특징으로 하는 영상안정화장치.
  6. 삭제
  7. 삭제
  8. 영상촬영장치에서 촬영한 영상 내에서 특징점을 추출하는 특징점추출부;
    상기 영상촬영장치에 설치된 움직임센서(Motion sensor)를 이용하여 상기 영상촬영장치의 물리적 회전량을 검출하는 회전량검출부;
    상기 검출된 물리적 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출하고, 상기 로컬움직임벡터를 이용하여 상기 영상촬영장치의 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측하는 이동위치예측부;
    상기 움직임센서에서 물리적 회전량이 검출된 경우, 상기 움직임센서에서 물리적 회전량이 검출되기 직전에 영상촬영장치에서 촬영된 제 1 입력영상에서 추출된 특징점에 대응하는 대응특징점의 위치를, 상기 움직임센서에서 물리적 회전량이 검출된 직후에 촬영된 제 2 입력영상에서 검출하는 대응위치추출부; 및
    상기 예측된 이동위치와 상기 대응특징점의 위치가 기설정된 범위 이내인 경우에 상기 대응특징점의 위치를 이용하여 영상의 흔들림을 보정하는 영상안정화부;를 포함하고,
    상기 영상안정화부는 상기 추출된 특징점들로 이루어진 특징점 집합과 상기 대응특징점들로 이루어진 대응특징점 집합을 이용하여 글로벌움직임벡터(Global Motion Vector)를 계산하며, 상기 글로벌움직임벡터와 상기 로컬움직임벡터의 차가 기설정된 범위 이내인 경우, 상기 글로벌움직임벡터를 이용하여 영상의 움직임을 보정하는 것을 특징으로 하는 영상안정화장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 제 8 항에 있어서, 상기 영상안정화부는
    상기 대응특징점 및 상기 글로벌움직임벡터를 이용하여 와블링을 제거하는 것을 특징으로 하는 영상안정화장치.
  16. 삭제
  17. 영상촬영장치에서 영상안정화를 수행하는 방법으로서,
    특징점추출부에서 입력영상 내의 특징점을 추출하는 단계;
    상기 영상촬영장치가 흔들린 경우 회전량검출부에서 상기 영상촬영장치의 자이로 센서를 이용하여 상기 영상촬영장치의 물리적 회전량을 검출하는 단계;
    이동위치예측부에서 상기 검출된 물리적 회전량을 이용하여 로컬움직임벡터(Local Motion Vector)를 추출하는 단계;
    이동위치예측부에서 상기 로컬움직임벡터를 이용하여 상기 영상촬영장치의 물리적 흔들림으로 인하여 상기 추출된 특징점이 이동된 이동위치를 예측하는 단계;
    상기 자이로센서에서 물리적 회전량이 검출된 경우, 대응위치추출부에서 상기 자이로센서에서 물리적 회전량이 검출되기 직전에 영상촬영장치에서 촬영된 제 1 입력영상에서 추출된 특징점에 대응하는 대응특징점의 위치를 상기 자이로센서에서 물리적 회전량이 검출된 직후에 촬영된 제 2 입력영상에서 검출하는 단계;
    검증부에서 상기 예측된 이동위치와 상기 대응특징점의 위치를 비교하여 상기 대응특징점의 위치가 정확한지 검증하는 단계;및
    영상안정화부에서 검증된 상기 대응특징점의 위치 정보를 이용하여 영상의 흔들림을 보정하는 단계;를 포함하는 것을 특징으로 하는 방법.
  18. 삭제
KR1020150040206A 2013-07-12 2015-03-23 영상안정화장치 및 방법 KR102282458B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020150040206A KR102282458B1 (ko) 2015-03-23 2015-03-23 영상안정화장치 및 방법
US14/830,894 US9578241B2 (en) 2015-03-23 2015-08-20 Image stabilizing apparatus and method based on a predicted movement position
CN201511019761.2A CN105989581B (zh) 2015-03-23 2015-12-30 图像稳定设备及方法
US15/288,788 US10136063B2 (en) 2013-07-12 2016-10-07 Image stabilizing method and apparatus
US15/434,873 US9854171B2 (en) 2015-03-23 2017-02-16 Image stabilizing apparatus and method based on a predicted movement position
US16/133,196 US10848672B2 (en) 2013-07-12 2018-09-17 Image stabilizing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150040206A KR102282458B1 (ko) 2015-03-23 2015-03-23 영상안정화장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160113887A KR20160113887A (ko) 2016-10-04
KR102282458B1 true KR102282458B1 (ko) 2021-07-27

Family

ID=56974455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150040206A KR102282458B1 (ko) 2013-07-12 2015-03-23 영상안정화장치 및 방법

Country Status (3)

Country Link
US (2) US9578241B2 (ko)
KR (1) KR102282458B1 (ko)
CN (1) CN105989581B (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282458B1 (ko) * 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
US9906726B2 (en) * 2015-04-22 2018-02-27 Canon Kabushiki Kaisha Image stabilization control apparatus, optical apparatus and storage medium storing image stabilizing control program
US20170041545A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images
KR102457617B1 (ko) * 2015-09-16 2022-10-21 한화테크윈 주식회사 영상 움직임 추정 방법 및 장치, 영상 안정화 방법 및 장치, 및 컴퓨터 기록매체
CN106534692A (zh) * 2016-11-24 2017-03-22 腾讯科技（深圳）有限公司 一种视频稳像方法及装置
KR102280169B1 (ko) 2017-03-06 2021-07-21 삼성전자주식회사 영상을 처리하는 방법 및 장치
EP3451288A1 (en) * 2017-09-04 2019-03-06 Universität Zürich Visual-inertial odometry with an event camera
KR102429337B1 (ko) * 2018-01-16 2022-08-03 한화테크윈 주식회사 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법
CN111279685A (zh) 2018-04-28 2020-06-12 深圳市大疆创新科技有限公司 运动估计
CN208297905U (zh) * 2018-05-31 2018-12-28 深圳市大疆创新科技有限公司 相机结构、云台和无人机
CN109194878B (zh) * 2018-11-08 2021-02-19 深圳市闻耀电子科技有限公司 视频图像防抖方法、装置、设备和存储介质
CN109618103B (zh) * 2019-01-28 2020-09-25 深圳慧源创新科技有限公司 无人机图传视频的防抖方法及无人机
CN110049246A (zh) * 2019-04-22 2019-07-23 联想(北京)有限公司 电子设备的视频防抖方法、装置和电子设备
WO2020247938A1 (en) * 2019-06-07 2020-12-10 Pictometry International Corp. Using spatial filter to reduce bundle adjustment block size
CN110708465B (zh) * 2019-10-21 2020-12-25 厦门美图之家科技有限公司 视频抖动校正方法、装置、可读存储介质及电子设备
KR102313795B1 (ko) * 2020-04-10 2021-10-18 (주)인펙비전 정확성 및 신뢰도를 높인 surf 특징점 추적 기반 영상 안정화 방법
CN111526285B (zh) * 2020-04-15 2021-07-13 浙江大华技术股份有限公司 一种图像防抖方法及电子设备、计算机可读存储介质
KR20210155284A (ko) 2020-06-15 2021-12-22 한화테크윈 주식회사 영상처리장치
EP4009623B1 (en) * 2020-12-07 2023-01-25 Axis AB Electronic image stabilization of a video stream captured by a pannable and/or tiltable video camera

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183256A (ja) * 2005-12-08 2007-07-19 Topcon Corp 画像処理装置及びその方法
US20100053343A1 (en) 2008-08-26 2010-03-04 Samsung Electro-Mechanics Co., Ltd. Apparatus for correcting motion caused by hand shake
JP2011138166A (ja) * 2011-03-30 2011-07-14 Victor Co Of Japan Ltd 撮影装置
WO2015037957A1 (ko) * 2013-09-16 2015-03-19 에스케이텔레콤 주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE68928217T2 (de) 1988-09-09 1998-01-29 Canon Kk Automatische Bildstabilisierungsvorrichtung
JP2941815B2 (ja) 1988-09-09 1999-08-30 キヤノン株式会社 撮像装置及びぶれ補正装置
KR100498042B1 (ko) 2003-03-19 2005-07-01 삼성전자주식회사 안정된 영상을 획득할 수 있는 영상획득시스템 및 그안정화 방법
CN100366071C (zh) * 2004-07-26 2008-01-30 西安交通大学 数字电视后处理去隔行技术的方向相关运动补偿方法
GB2474886A (en) * 2009-10-30 2011-05-04 St Microelectronics Image stabilisation using motion vectors and a gyroscope
JP2011114407A (ja) * 2009-11-24 2011-06-09 Sony Corp 画像処理装置、画像処理方法、プログラム及び記録媒体
JP5393877B2 (ja) * 2010-04-16 2014-01-22 パナソニック株式会社 撮像装置および集積回路
WO2012064106A2 (en) * 2010-11-12 2012-05-18 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
KR101288945B1 (ko) 2011-10-20 2013-07-23 주식회사 동운아나텍 카메라의 손떨림 보정 장치
JP2013098876A (ja) * 2011-11-02 2013-05-20 Sony Corp 画像処理装置および方法
US8737687B2 (en) * 2011-12-30 2014-05-27 Honeywell International Inc. System and method for tracking a subject using raw images and tracking errors
US8773542B2 (en) * 2012-05-17 2014-07-08 Samsung Electronics Co., Ltd. Apparatus and method for adaptive camera control method based on predicted trajectory
JP2014143530A (ja) * 2013-01-23 2014-08-07 Sony Corp 情報処理装置と情報処理方法および撮像装置
KR102282458B1 (ko) * 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
KR101883481B1 (ko) * 2013-07-12 2018-07-31 한화에어로스페이스 주식회사 영상 안정화 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183256A (ja) * 2005-12-08 2007-07-19 Topcon Corp 画像処理装置及びその方法
US20100053343A1 (en) 2008-08-26 2010-03-04 Samsung Electro-Mechanics Co., Ltd. Apparatus for correcting motion caused by hand shake
JP2011138166A (ja) * 2011-03-30 2011-07-14 Victor Co Of Japan Ltd 撮影装置
WO2015037957A1 (ko) * 2013-09-16 2015-03-19 에스케이텔레콤 주식회사 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법

Also Published As

Publication number Publication date
CN105989581B (zh) 2021-04-13
KR20160113887A (ko) 2016-10-04
CN105989581A (zh) 2016-10-05
US9854171B2 (en) 2017-12-26
US20160286130A1 (en) 2016-09-29
US9578241B2 (en) 2017-02-21
US20170163895A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
KR102282458B1 (ko) 영상안정화장치 및 방법
US10848672B2 (en) Image stabilizing method and apparatus
KR102527811B1 (ko) 타임랩스 영상을 생성하는 장치 및 방법
KR102090105B1 (ko) 카메라를 구비하는 장치의 이미지 처리장치 및 방법
US20190208125A1 (en) Depth Map Calculation in a Stereo Camera System
US8396253B2 (en) Method and apparatus for recognizing location of user
JP6157242B2 (ja) 画像処理装置及び画像処理方法
US20130107066A1 (en) Sensor aided video stabilization
KR102072014B1 (ko) 영상 흔들림 보정을 이용한 영상 안정화 장치 및 방법
US9838604B2 (en) Method and system for stabilizing video frames
CN104205804A (zh) 图像处理装置、拍摄装置、程序以及图像处理方法
US9924097B2 (en) Apparatus, method and recording medium for image stabilization
WO2016019817A1 (zh) 物体运动轨迹拍摄方法、系统及计算机存储介质
US20130120635A1 (en) Subject detecting method and apparatus, and digital photographing apparatus
CN111246080B (zh) 控制设备、控制方法、摄像设备以及存储介质
US20130107064A1 (en) Sensor aided image stabilization
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
US20160373648A1 (en) Methods and systems for capturing frames based on device information
KR102042131B1 (ko) 단말기에서 실시간 글자 인식시 영상을 안정화하는 방법
JP5247419B2 (ja) 撮像装置および被写体追跡方法
KR100734847B1 (ko) 느린 셔터 속도에서 선명한 영상 검출 장치 및 방법
US20130343728A1 (en) Imaging device, information processing device, and non-transitory computer readable medium storing program
KR20180028962A (ko) 영상이동검출장치 및 방법
JP2014013986A (ja) 撮像装置

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant