KR20150037369A - 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치 - Google Patents

영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치 Download PDF

Info

Publication number
KR20150037369A
KR20150037369A KR20130116896A KR20130116896A KR20150037369A KR 20150037369 A KR20150037369 A KR 20150037369A KR 20130116896 A KR20130116896 A KR 20130116896A KR 20130116896 A KR20130116896 A KR 20130116896A KR 20150037369 A KR20150037369 A KR 20150037369A
Authority
KR
South Korea
Prior art keywords
reference patch
image
pixel
similarity
kernel
Prior art date
Application number
KR20130116896A
Other languages
English (en)
Other versions
KR102144994B1 (ko
Inventor
강병민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130116896A priority Critical patent/KR102144994B1/ko
Priority to US14/501,235 priority patent/US9330442B2/en
Publication of KR20150037369A publication Critical patent/KR20150037369A/ko
Application granted granted Critical
Publication of KR102144994B1 publication Critical patent/KR102144994B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 제거하는 경우, 패치 간 유사도 판단시 가중치를 부여하는 커널이 기준 패치에 따라 적응적으로 변하는 영상의 노이즈를 저감하는 방법 및 이를 기록한 기록 매체, 이를 이용한 영상 처리 장치는 영상 내의 에지를 보존하면서 노이즈 제거 능력을 향상시킬 수 있다.

Description

영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치{Method for decreasing noise of image and image processing apparatus using thereof}
영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치에 관한 것이다.
디지털 영상 입력을 위한 이미지 센서의 제작 기술의 발달로 높은 사양의 디지털 카메라가 점차 보편적으로 사용되고 있으며, 스마트 폰과 같은 모바일 기기에도 고해상도의 카메라 모듈이 적용되고 있다. 디지털 영상의 해상도 증가와 함께 선명한 디지털 영상에 대한 요구가 증가하고 있다. 이미지 센서와 연결된 ISP(Image Signal Processor) 반도체 회로는 영상의 품질을 좌우하는 중요한 역할을 하게 되었다. 특히, 노이즈를 저감하기 위한 노이즈 제거 알고리즘은 ISP 반도체 회로에서 매우 중요한 역할을 하고 있다.
디지털 영상 처리 분야에서 노이즈 제거 알고리즘은 오랫동안 그리고 다양한 방법으로 연구되어 왔다. 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘은 양방향 필터(bilateral filter)로부터 발전된 계열의 필터로서, 픽셀 단위의 유사도 판단을 가중치로 할당하는 양방향 필터에서 복수 개의 픽셀들로 구성되는 지역적 집단(하나의 픽셀을 중심으로 주변의 일정 크기를 갖는 픽셀들의 집합, 이하, 패치라고 함)의 유사도 판단으로 확장하여 가중치를 할당하는 방식이다. 이러한 비지역적 평균 기반의 노이즈 제거 알고리즘은 기존의 노이즈 제거 알고리즘들에 비해 그 성능이 월등하여 디지털 영상을 이용하는 다양한 분야에서 활용되고 있다. 일반 영상 및 의료 영상뿐만 아니라, 3D 영상을 생성하는데 이용되는 깊이 영상에도 활용될 수 있다.
비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 제거하는 경우, 패치 간 유사도 판단시 가중치를 부여하는 커널이 기준 패치에 따라 적응적으로 변하는 영상의 노이즈를 저감하는 방법 및 이를 기록한 기록 매체, 이를 이용한 영상 처리 장치를 제공하는 것이다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 발명의 일 측면에 따른 영상의 노이즈를 저감하는 방법은, 상기 영상에 포함된 어느 픽셀을 중심 픽셀로 하여 복수 개의 픽셀들로 구성된 기준 패치와 이에 대응되는 상기 영상 내의 타겟 패치들을 설정하는 단계, 상기 기준 패치와 상기 타겟 패치들 간의 유사도를 판단하는 단계, 및 상기 패치 간 유사도에 기초한 가중치를 고려하여 상기 타겟 패치들의 중심 픽셀 값들로부터 상기 기준 패치의 중심 픽셀의 노이즈를 제거하는 단계를 포함하고, 상기 패치 간 유사도 판단시 가중치를 부여하는 커널은 상기 기준 패치에 따라 적응적으로 변한다.
본 발명의 다른 측면에 따라 상술한 영상의 노이즈를 저감하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.
본 발명의 또 다른 측면에 따른 영상의 노이즈를 저감하는 영상 처리 장치는, 상기 영상에 포함된 어느 픽셀을 중심 픽셀로 하여 복수 개의 픽셀들로 구성된 기준 패치와 이에 대응되는 상기 영상 내의 타겟 패치들을 설정하는 패치 설정부, 상기 기준 패치와 상기 타겟 패치들 간의 유사도를 판단하는 유사도 판단부, 및 상기 패치 간 유사도에 기초한 가중치를 고려하여 상기 타겟 패치들의 중심 픽셀 값들로부터 상기 기준 패치의 중심 픽셀의 노이즈를 제거하는 노이즈 제거부를 포함하고, 상기 패치 간 유사도 판단시 가중치를 부여하는 커널은 상기 기준 패치에 따라 적응적으로 변한다.
영상 내의 에지를 보존하면서 노이즈 제거 능력을 향상시킬 수 있다.
도 1은 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감하는 방법을 설명하기 위한 도면이다.
도 2는 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에서 패치 간 유사도 계산시 가중치를 부여하는 커널을 설명하기 위한 도면이다.
도 3은 기준 패치의 중심 픽셀과 에지를 경계로 구분되는 주변의 픽셀들 값을 설명하기 위한 도면이다.
도 4는 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에서 패치 간 유사도 계산시 가중치를 부여하는 기존의 커널의 한계점을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서 커널에 적용되는 기준 패치 내의 중심 픽셀과 주변 픽셀의 픽셀 값 간의 유사도에 따른 가중치를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서 이용되는 커널을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법을 설명하기 위한 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 영상 처리 장치를 설명하기 위한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 영상 처리 장치를 구성하는 유사도 판단부에 대한 상세 블록도이다.
도 10은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법을 수행하였을 때, 그 성능을 보여주는 도면이다.
이하 첨부된 도면을 참조하면서 본 발명을 한정하지 아니하고 오로지 예시를 위한 실시예에 의해 본 발명을 상세히 설명하기로 한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
본 실시예들은 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치에 관한 것으로서 이하의 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서는 자세한 설명을 생략한다.
도 1은 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감하는 방법을 설명하기 위한 도면이다. 좌측 영상은 노이즈를 제거하기 전 영상이고, 우측 영상은 노이즈를 제거한 영상이다.
비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감하는 방법을 살펴보면 다음과 같다. 노이즈를 제거하기 전 영상에 포함된 어느 픽셀을 중심 픽셀(110)로 하여 복수 개의 픽셀들로 구성된 기준 패치(100)를 설정한다. 기준 패치(100)의 중심 픽셀(110)에 존재하는 노이즈를 제거하기 위하여 영상 내의 다른 픽셀 값들을 이용한다. 이를 위하여, 기준 패치(100)에 대응되는 영상 내의 타겟 패치(200)들을 설정한다. 타겟 패치(200)의 중심 픽셀(210)은 기준 패치(100)의 중심 픽셀(110)에 존재하는 노이즈를 제거하기 위한 픽셀이 된다. 다만, 타겟 패치(200)들 각각의 중심 픽셀(210)들의 픽셀 값들을 기준 패치(100)의 중심 픽셀(110)의 노이즈를 제거하는데 이용함에 있어서, 효과적인 노이즈 제거를 위해 타겟 패치(200)들의 중심 픽셀(210)들의 픽셀 값 각각에 가중치를 부여할 수 있다. 이때, 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감하는 방법은 기준 패치(100)와 타겟 패치(200)들 간의 유사도에 기초하여 가중치를 부여한다. 즉, 기준 패치(100)와 타겟 패치(200)가 얼마나 유사한지에 따라 타겟 패치(200)의 중심 픽셀(210)의 픽셀 값에 부여하는 가중치가 달라진다. 기준 패치(100)의 중심 픽셀(110)에 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감하였을 때, 이를 수학식으로 나타내면 다음과 같다.
Figure pat00001
이때,
Figure pat00002
는 현재 노이즈를 제거하려는 픽셀의 영상 내 위치를 나타내는 벡터로서, 영상 내 기준 패치(100)의 중심 픽셀(110)을 나타내다.
Figure pat00003
는 기준 패치(100)의 중심 픽셀(110)의 픽셀 값을 의미한다.
Figure pat00004
는 노이즈를 제거하는데 사용되는 주변 픽셀의 영상 내 위치를 나타내는 벡터로서, 영상 내 타겟 패치(200)의 중심 픽셀(210)을 나타낸다.
Figure pat00005
는 타겟 패치(200)의 중심 픽셀(210)의 픽셀 값을 의미한다.
Figure pat00006
는 노이즈 제거가 수행된 픽셀의 픽셀 값으로서, 노이즈 제거가 수행된 뒤의 기준 패치(100)의 중심 픽셀(110)의 픽셀 값을 의미한다.
Figure pat00007
는 노이즈를 제거하는데 사용되는 영상 내 모든 픽셀들의 집합으로서, 영상 내 타겟 패치(200)의 중심 픽셀(210)이 될 수 있는 모든 픽셀들의 집합이다.
Figure pat00008
는 기준 패치(100)의 중심 픽셀(110)에 노이즈를 제거할 때, 가중 평균을 하기 위한 타겟 패치(200)의 중심 픽셀(210)에 대한 가중치 함수를 나타낸다.
도 1의 좌측 영상을 보면, 기준 패치(100)와 기준 패치(100) 내의 중심 픽셀(110)을 표시하고 있고, 기준 패치(100)의 주변에 복수 개의 타겟 패치(200)들이 설정되어 있는 것을 볼 수 있다. 도 1에는 표시된 타겟 패치(200)는 노이즈 제거에 사용되는 타겟 패치(200)의 일 예들을 나타낸 것에 불과하다. 또한, 타겟 패치(200)들의 중심 픽셀(210)들이 기준 패치(100)의 중심 픽셀(110)에 대하여 각각 가중치 값을 가짐을 알 수 있다. 도 1의 우측 영상은 노이즈가 제거된 영상으로서, 노이즈 제거 전 촤측 영상에 비해 노이즈가 제거되었으며 에지(edge)는 보존되었음을 확인할 수 있다.
한편,
Figure pat00009
는 다음과 같은 식으로 표현할 수 있다.
Figure pat00010
이때,
Figure pat00011
는
Figure pat00012
를 중심 픽셀(110)로 하는 기준 패치(100)와
Figure pat00013
를 중심 픽셀(210)로 하는 타겟 패치(200) 간의 유사도를 나타낸 것이다.
Figure pat00014
는
Figure pat00015
의 가로 축 상의 폭을 조절하기 위한 인자이다. 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에서,
Figure pat00016
는 다음과 같은 식으로 계산할 수 있다.
Figure pat00017
이때,
Figure pat00018
는 중심 픽셀(110 또는 210)로부터 떨어져 있는 위치를 나타내는 변위 벡터이다. 즉,
Figure pat00019
는 중심 픽셀(110)
Figure pat00020
로부터
Figure pat00021
만큼 이동된 위치의 픽셀을 의미한다.
Figure pat00022
은 패치의 크기를 나타낸다. 패치의 크기는 5X5, 11X11, 21X21 등 다양한 크기가 될 수 있다.
수학식 3의
Figure pat00023
를 보면, 기준 패치(100)과 타겟 패치(200)의 유사도는 기준 패치(100)내의 모든 픽셀들에 대하여, 기준 패치(100)의 어느 픽셀과 이에 대응되는 타겟 패치(200)의 픽셀 간의 픽셀 값 차이를 계산하여 제곱한 값들을 합산함으로써 계산된다. 따라서, 두 패치가 유사할수록
Figure pat00024
는 작은 값을 가지며, 두 패치가 비유사할수록
Figure pat00025
는 큰 값을 가지게 됨을 알 수 있다. 수학식 2를 다시 살펴보면, 타겟 패치(200)의 중심 픽셀(210)에 대한 가중치 함수
Figure pat00026
는 두 패치가 유사할수록 큰 값을 가지고, 두 패치가 비유사할수록 작은 값을 가지게 됨을 알 수 있다. 결과적으로, 영상의 노이즈 제거를 위해 사용되는 주변 픽셀
Figure pat00027
의 픽셀 값
Figure pat00028
는
Figure pat00029
를 중심 픽셀(210)로 하는 타겟 패치(200)와 기준 패치(100)의 유사도에 따라 가중치가 부여되며, 타겟 패치(200)와 기준 패치(100)가 유사할수록 높은 가중치를 받게 된다.
다시 수학식 3을 보면, 기준 패치(100)과 타겟 패치(200) 간의 유사도를 계산할 때,
Figure pat00030
라는 함수가 더 이용됨을 알 수 있다.
Figure pat00031
는 커널(kernel)이라 부르며, 기준 패치(100)과 타겟 패치(200) 간의 유사도 계산시 가중치를 부여하는 것으로서,
Figure pat00032
에 따라 그 값이 변하는 함수임을 알 수 있다. 이것은 기준 패치(100)과 타겟 패치(200) 간의 유사도 계산시에, 패치 안에서 중심 픽셀(110)에 가까울수록 높은 가중치를 주고, 중심 픽셀(110)과 멀수록 낮은 가중치를 주기 위한 것이다. 일반적으로, 가까운 픽셀일수록 유사한 픽셀 값을 가지므로, 가까운 픽셀에 높은 신뢰도를 주기 위함이다.
일반적으로, 커널은 가우시안(Gaussian) 커널을 사용하며, 따라서
Figure pat00033
는 다음과 같은 식으로 표현할 수 있다.
Figure pat00034
Figure pat00035
는 커널
Figure pat00036
의 폭을 조정하기 위한 상수이다. 이하, 도 2를 참조하여, 커널
Figure pat00037
를 상세히 설명한다.
도 2는 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에서 패치 간 유사도 계산시 가중치를 부여하는 커널을 설명하기 위한 도면이다.
도 2에 도시된 커널
Figure pat00038
는
Figure pat00039
에 따라 그 값이 변하는 함수로서,
Figure pat00040
값이 커질수록
Figure pat00041
의 값은 작아짐을 알 수 있다. 따라서, 기준 패치(100)와 타겟 패치(200) 간의 유사도 계산시,
Figure pat00042
값이 작을수록 높은 가중치를 부여함을 알 수 있다. 즉, 기존의 커널
Figure pat00043
는 가까운 픽셀일수록 유사한 픽셀 값을 가진다는 전제하에 사용하는 가중치 함수이므로, 만약 그러한 전제 조건을 만족하지 않는다면 기존의 커널
Figure pat00044
을 이용한 가중치 부여는 노이즈 제거에 한계가 있을 수 밖에 없다. 이하, 도 3 및 도 4를 참조하여, 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에서 패치 간 유사도 계산시 가중치를 부여하는 기존 커널의 문제점에 대해서 설명한다.
도 3은 기준 패치의 중심 픽셀과 에지를 경계로 구분되는 주변의 픽셀들 값을 설명하기 위한 도면이다.
도 3은 도 1 좌측 영상에서 기준 패치(100) 부분을 확대한 영상이다. 도 3을 참조하면, 기준 패치(100) 내에 에지(edge)를 기준으로 나누어진 양측의 픽셀 값이 서로 다름을 알 수 있다. 중심 픽셀(110)은 에지(edge)로 나누어진 양측에서 오른 쪽에 포함되어 있다.
도 3을 참조하면, 기준 패치(100) 내의 중심 픽셀(110)을 통과하는 라인 A가 설정되어 있고, 라인 A에 포함된 중심 픽셀(110)
Figure pat00045
를 포함한 한 줄의 픽셀들 확인할 수 있다. 이때, 중심 픽셀(110)
Figure pat00046
를 기준으로 라인 A 상의 똑같은 거리에 있는 픽셀
Figure pat00047
와 픽셀
Figure pat00048
를 도 3에 표시하였다. 에지(Edge)를 기준으로 보면, 픽셀
Figure pat00049
는 에지의 좌측에 위치하고, 픽셀
Figure pat00050
는 에지의 우측에 위치함을 알 수 있다. 즉, 픽셀
Figure pat00051
와 픽셀
Figure pat00052
는 중심 픽셀(110)
Figure pat00053
로부터 떨어져 있는 거리는 동일하지만, 픽셀
Figure pat00054
와 픽셀
Figure pat00055
사이에 에지가 존재하므로 에지의 좌측과 우측으로 나누어지게 된다. 에지는 서로 다른 픽셀 값들을 갖는 영역들에 의해 나누어진 경계선에 해당하는 바, 에지를 기준으로 나뉜 영역들의 픽셀 값은 상이한 값을 가지는 것이 일반적이다. 도 3에서도 알 수 있듯이, 중심 픽셀(110)
Figure pat00056
와 픽셀
Figure pat00057
는 에지의 우측에 위치하므로 유사한 픽셀 값을 가짐을 알 수 있으나, 픽셀
Figure pat00058
는 중심 픽셀(110)
Figure pat00059
와 달리 에지의 좌측에 위치하므로 중심 픽셀(110)
Figure pat00060
와 픽셀
Figure pat00061
의 픽셀 값들과는 확연한 차이를 가지는 픽셀 값을 가지게 됨을 알 수 있다.
그럼에도 불구하고, 도 2에서 살펴본 바와 같은 기존의 커널
Figure pat00062
에 의하면 중심 픽셀(110)로부터 떨어져 있는 거리가 동일하므로 픽셀
Figure pat00063
와 픽셀
Figure pat00064
는 동일한 가중치를 부여받게 된다. 도 4를 참조하여, 이에 대하여 상세히 설명한다.
도 4는 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에서 패치 간 유사도 계산시 가중치를 부여하는 기존의 커널의 한계점을 설명하기 위한 도면이다.
도 4에 도시된 기존의 커널
Figure pat00065
는 도 2에서 살펴본
Figure pat00066
를 대칭시킨 형태로 볼 수 있다. 즉, 중심 픽셀(110)
Figure pat00067
를 기준으로 떨어져 있는 위치
Figure pat00068
의 값이 같다면, 동일한
Figure pat00069
값을 갖게 된다. 도 3에서 설명한, 중심 픽셀(110)
Figure pat00070
를 기준으로 라인 A 상의 똑같은 거리에 있는 픽셀
Figure pat00071
와 픽셀
Figure pat00072
는 도 4에서 보듯이 동일한
Figure pat00073
값을 갖데 되고, 결과적으로 동일한 가중치를 부여받게 됨을 알 수 있다.
하지만, 도 3에서 설명한 바와 같이, 픽셀
Figure pat00074
와 픽셀
Figure pat00075
사이에는 에지(edge)가 존재하므로, 실제 픽셀
Figure pat00076
와 픽셀
Figure pat00077
가 가지는 픽셀 값들은 서로 확연한 차이를 가진다. 따라서, 중심 픽셀(110)
Figure pat00078
과의 떨어져 있는 위치만을 고려하는 기존의 커널
Figure pat00079
에 문제가 있음을 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서 커널에 적용되는 기준 패치 내의 중심 픽셀과 주변 픽셀의 픽셀 값 간의 유사도에 따른 가중치를 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서는 앞서 설명한 기존의 커널의 한계점을 해결하고자, 기준 패치(100) 내의 중심 픽셀(110)과 주변 픽셀들의 픽셀 값의 유사도를 더 고려하도록 커널을 설계하였다. 이를 위해, 중심 픽셀(110)
Figure pat00080
의 픽셀 값과 기준 패치(100) 내의 주변 픽셀의 픽셀 값 간의 유사도에 따른 가중치 함수
Figure pat00081
를 더 추가하였다.
이를 설명하기 위해, 앞에서 설명한 도 3의 기준 패치(100) 영상을 다시 참조한다. 중심 픽셀(110)
Figure pat00082
를 통과하는 라인 A 상의 픽셀
Figure pat00083
, 중심 픽셀(110)
Figure pat00084
, 픽셀
Figure pat00085
가 있고, 픽셀
Figure pat00086
와 중심 픽셀(110)
Figure pat00087
사이에 에지(edge)가 존재한다. 설명의 편의를 위해, 에지를 기준으로 좌측의 영역은 모두 픽셀 값 'a'를 갖고, 에지를 기준으로 우측의 영역은 모두 픽셀 값 'b'를 갖는다고 전제한다. 그러면, 픽셀
Figure pat00088
의 픽셀 값은 'a'가 되고, 중심 픽셀(110)
Figure pat00089
와 픽셀
Figure pat00090
의 픽셀 값은 모두 'b'가 된다. 따라서, 중심 픽셀(110)
Figure pat00091
의 픽셀 값과 기준 패치(100) 내의 주변 픽셀의 픽셀 값 간의 유사도를 확인해보면, 픽셀
Figure pat00092
는 'b-a' 만큼의 차이를 가지고, 픽셀
Figure pat00093
는 아무런 차이가 없다. 이와 같은 픽셀 값 간의 유사도를 고려하면, 도 5에 도시된 바와 같은, 중심 픽셀(110)
Figure pat00094
의 픽셀 값과 기준 패치(100) 내의 주변 픽셀의 픽셀 값 간의 유사도에 따른 가중치 함수
Figure pat00095
를 생각해 볼 수 있다. 도 5를 참조하면, 중심 픽셀(110)
Figure pat00096
의 좌측에 에지가 존재하므로 에지에 포함된 라인 A상의 픽셀을 기준으로 양측으로 나누어진 픽셀들의 가중치가 상이함을 알 수 있다. 즉, 픽셀 값 간의 유사도에 따른 가중치
Figure pat00097
를 살펴 보면, 에지 우측의 중심 픽셀(110)
Figure pat00098
과 같은 영역에 있는 픽셀들은 높은 가중치 값을 가지고, 에지 좌측의 중심 픽셀(110)
Figure pat00099
과 다른 영역에 있는 픽셀들은 매우 낮은 가중치 값을 가지게 된다. 이하, 도 5에서 설명한 픽셀 값 간의 유사도에 따른 가중치를 더 고려하여 설계된, 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서 이용되는 커널을 설명한다.
도 6은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서 이용되는 커널을 나타낸 도면이다.
도 6에 도시된 커널
Figure pat00100
는 도 3 및 도 5에서 설명하였던 기준 패치(100) 영상에 대한 본 발명의 일 실시예에서 이용되는 커널을 나타낸 것이다. 기존의 커널
Figure pat00101
에 픽셀 값 간의 유사도에 따른 가중치
Figure pat00102
를 더 고려한 것으로서, 결과적으로 도 4의 함수와 도 5의 함수를 곱한 형태의 함수가 된다. 이에 따르면, 중심 픽셀(110)
Figure pat00103
로부터 같은 거리에 있다 하더라도, 픽셀 값에 따라 다른 가중치를 부여할 수 있게 된다. 픽셀
Figure pat00104
는 도 4의 기존의 커널
Figure pat00105
에 따를 때보다 더 높은 가중치를 갖게 되고, 픽셀
Figure pat00106
는 도 4의 기존의 커널
Figure pat00107
에 따를 때보다 더 낮은 가중치를 갖게 된다.
본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서 이용되는 커널
Figure pat00108
를 수학식으로 표현하면 다음과 같다.
Figure pat00109
여기서, 픽셀 값 간의 유사도에 따른 가중치를 나타내는
Figure pat00110
는 다음과 같은 일반화된 식으로 표현할 수 있다.
Figure pat00111
여기서,
Figure pat00112
는 기준 패치(100) 안의 중심 픽셀(110)와 주변 픽셀 간의 차이 값 중에서 최대 값을 나타내고,
Figure pat00113
은 기준 패치(100) 안의 중심 픽셀(110)와 주변 픽셀 간의 차이 값 중에서 최소 값을 나타내며, 각각 다음과 같은 식으로 표현할 수 있다.
Figure pat00114
Figure pat00115
따라서, 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법에서 이용되는 커널
Figure pat00116
은 기준 패치(100)에 따라 적응적으로 변하는 특성을 가지며, 기준 패치(100)의 각 픽셀 값들의 분포에 따라 적응적으로 변한다.
또한, 수학식 5에서 알 수 있듯이, 본 발명의 일 실시예에 이용되는 커널
Figure pat00117
은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도에 따라 적응적으로 변할 수 있다. 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도가 높을수록 높은 가중치를 부여하기 때문이다. 즉, 본 발명의 일 실시예에 이용되는 커널
Figure pat00118
은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도와 기준 패치(100)의 중심 픽셀(110)로부터 기준 패치(100) 내의 주변 픽셀까지의 위치 차이를 모두 고려하여 생성될 수 있다.
또한, 수학식 6에서 알 수 있듯이, 본 발명의 일 실시예에 이용되는 커널
Figure pat00119
은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값을 고려하고, 차이 값 중 최대 값과 최소 값을 이용하여 생성될 수 있다. 구체적으로, 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값을 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값들 중 최대 값과 최소 값을 이용하여 정규화한 값을 이용하여 생성될 수 있다. 즉, 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도에 따른 가중치를 0과 1사이의 값으로 정규화하는 것이다.
도 7은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법을 설명하기 위한 흐름도이다.
스텝 710에서, 영상에 포함된 어느 픽셀을 중심 픽셀(110)로 하여 복수 개의 픽셀들로 구성된 기준 패치(100)와 이에 대응되는 영상 내의 타겟 패치(200)들을 설정한다.(S 710) 이와 같은 기준 패치(100)는 영상에 포함된 모든 픽셀들에 대하여 각각 설정될 수 있다. 즉, 노이즈를 제거하려는 픽셀에 따라 그 픽셀을 중심으로 하는 각각의 기준 패치(100)가 설정될 수 있다. 이에 따라, 각각의 기준 패치(100)에 포함되는 픽셀 값들의 분포는 노이즈를 제거하려는 픽셀에 따라 매번 변경될 수 있다.
스텝 720에서, 기준 패치(100)와 타겟 패치(200)들 간의 유사도를 판단한다.(S 720) 패치 간 유사도 판단시 가중치를 부여하는 커널을 이용하는데, 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)에 따라 적응적으로 변하는 특성을 가지며, 기준 패치(100)의 각 픽셀 값들의 분포에 따라 적응적으로 변할 수 있다.
또한, 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도에 따라 적응적으로 변할 수 있다. 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도가 높을수록 높은 가중치를 부여하기 때문이다. 즉, 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도와 기준 패치(100)의 중심 픽셀(110)로부터 기준 패치(100) 내의 주변 픽셀까지의 위치 차이를 모두 고려하여 생성될 수 있다.
또한, 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값을 고려하고, 차이 값 중 최대 값과 최소 값을 이용하여 생성될 수 있다. 구체적으로, 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값을 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값들 중 최대 값과 최소 값을 이용하여 정규화한 값을 이용하여 생성될 수 있다. 즉, 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도에 따른 가중치를 0과 1사이의 값으로 정규화하는 것이다.
스텝 730에서, 패치 간 유사도에 기초한 가중치를 고려하여 타겟 패치(200)들의 중심 픽셀(210) 값들로부터 기준 패치(100)의 중심 픽셀(110)의 노이즈를 제거한다.(S 730)
한편, 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법은 노이즈를 제거하는 영상에 인접한 영상을 추가적으로 사용하여 노이즈를 제거할 수 있다. 이를 일반화된 식으로 표현하면 다음과 같다.
Figure pat00120
여기서,
Figure pat00121
은 현재 영상의 프레임 번호를 나타내고,
Figure pat00122
는 노이즈 제거에 추가적으로 사용될 인접한 영상의 프레임 번호와의 차이를 나타낸다. 즉,
Figure pat00123
이 -1, 0, 1이라면, 현재 프레임과 이전 프레임 그리고 다음 프레임의 영상들을 사용한다는 것을 의미한다.
도 8은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 영상 처리 장치를 설명하기 위한 블록도이다. 도 8에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 발명과 관련된 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 이하, 생략된 내용이라 하더라도 본 발명의 일 실시예에 따른 영상의 노이즈를 저감하는 방법에 관하여 이상에서 기술된 내용은 본 발명의 일 실시예에 따른 영상 처리 장치(800)에도 적용될 수 있다.
도 8을 참조하면, 영상의 노이즈를 저감하는 영상 처리 장치(800)는 패치 설정부(810), 유사도 판단부(820), 노이즈 제거부(830)을 포함한다.
패치 설정부(810)는 영상에 포함된 어느 픽셀을 중심 픽셀(110)로 하여 복수 개의 픽셀들로 구성된 기준 패치(100)와 이에 대응되는 상기 영상 내의 타겟 패치(200)들을 설정한다. 이와 같은 기준 패치(100)는 영상에 포함된 모든 픽셀들에 대하여 각각 설정될 수 있다. 즉, 노이즈를 제거하려는 픽셀에 따라 그 픽셀을 중심으로 하는 각각의 기준 패치(100)가 설정될 수 있다. 이에 따라, 각각의 기준 패치(100)에 포함되는 픽셀 값들의 분포는 노이즈를 제거하려는 픽셀에 따라 매번 변경될 수 있다.
유사도 판단부(820)는 기준 패치(100)와 타겟 패치(200)들 간의 유사도를 판단한다. 이하, 도 9를 참조하여 유사도 판단부(820)를 상세히 설명한다.
도 9는 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 영상 처리 장치를 구성하는 유사도 판단부에 대한 상세 블록도이다. 도 9를 참조하면, 유사도 판단부(820)는 픽셀 값 계산부(822), 커널 생성부(824), 픽셀 유사도 계산부(826)을 포함할 수 있다.
픽셀 값 계산부(822)는 기준 패치(100)와 타겟 패치(200)의 유사도를 판단하기 위해서, 기준 패치(100)내의 모든 픽셀들에 대하여, 기준 패치(100)의 어느 픽셀과 이에 대응되는 타겟 패치(200)의 픽셀 간의 픽셀 값 차이를 계산하여 제곱한 값들을 합산한다.
커널 생성부(824)는 픽셀 값 계산부(822)에서 계산한 기준 패치(100)의 어느 픽셀과 이에 대응되는 타겟 패치(200)의 픽셀 간의 픽셀 값 차이에 가중치를 주기 위한 커널을 생성한다. 이때, 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)에 따라 적응적으로 변하는 특성을 가지며, 기준 패치(100)의 각 픽셀 값들의 분포에 따라 적응적으로 변할 수 있다.
구체적으로, 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도에 따라 적응적으로 변할 수 있다. 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도가 높을수록 높은 가중치를 부여하기 때문이다. 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도와 기준 패치(100)의 중심 픽셀(110)로부터 기준 패치(100) 내의 주변 픽셀까지의 위치 차이를 모두 고려하여 생성될 수 있다.
또한, 본 발명의 일 실시예에서 이용되는 커널은 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값을 고려하고, 차이 값 중 최대 값과 최소 값을 이용하여 생성될 수 있다. 구체적으로, 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값을 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값들 중 최대 값과 최소 값을 이용하여 정규화한 값을 이용하여 생성될 수 있다. 즉, 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도에 따른 가중치를 0과 1사이의 값으로 정규화하는 것이다.
픽셀 유사도 계산부(826)는 커널 생성부(824)가 커널을 생성할 수 있도록 픽셀 간의 유사도를 계산한다. 즉, 픽셀 유사도 계산부(826)는 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 유사도를 계산할 수 있다. 예를 들어, 픽셀 유사도 계산부(826)는 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 차이 값을 계산함으로써 픽셀 간의 유사도를 계산할 수 있다. 픽셀 유사도 계산부(826)에 의해 계산된 픽셀들 간의 차이 값은 커널 생성부(824)에서 커널을 생성하는데 이용될 수 있다.
결과적으로, 유사도 판단부(820)는 기준 패치(100)와 타겟 패치(200) 간의 유사도 판단시, 기준 패치(100)의 중심 픽셀(110)과 기준 패치(100) 내의 주변 픽셀들 간의 픽셀 값의 유사도와 위치의 차이를 모두 고려한 가중치를 부여하는 커널을 이용할 수 있다.
다시 도 8을 참조하면, 노이즈 제거부(830)는 패치 간의 유사도에 기초한 가중치를 고려하여 타겟 패치(200)들의 중심 픽셀(210) 값들로부터 기준 패치(100)의 중심 픽셀(110)의 노이즈를 제거한다.
본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 영상 처리 장치(800)는 일반 영상 뿐만 아니라, 의료 영상 또는 도 1에 표시된 바와 같은 영상 촬영 장치와 피사체간의 거리를 나타내는 깊이(depth) 영상에 대해 노이즈를 제거할 수 있다.
도 10은 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 영상의 노이즈를 저감하는 방법을 수행하였을 때, 그 성능을 보여주는 도면이다.
노이즈가 제거되기 전 입력 영상(도 10에 INPUT으로 표시)과 기존의 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감한 영상(도 10에 NLM로 표시), 그리고 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감한 영상(도 10에 ANLM로 표시)에 대하여 노이즈에 따른 영상의 오차를 계산한 결과이다. 노이즈에 따른 영상의 오차를 계산하기 위해서 RMSE(Root Mean Square Error)가 사용되었다.
도 10에서 알 수 있듯이, 기존의 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감한 영상(도 10에 NLM로 표시) 보다 본 발명의 일 실시예에 따른 비지역적 평균(Non-local means) 기반의 노이즈 제거 알고리즘에 따라 노이즈를 저감한 영상(도 10에 ANLM로 표시)이 RMSE(Root Mean Square Error) 값이 작게 나왔으므로, 노이즈를 제거하는 성능이 향상되었음을 알 수 있다.
한편, 상술한 본 발명의 실시예에 따른 영상의 노이즈를 저감하는 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 이와 같은 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 이와 같은 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 ... 기준 패치
200 ... 중심 픽셀
210 ... 타겟 패치
220 ... 중심 픽셀
800 ... 영상 처리 장치
810 ... 패치 설정부
820 ... 유사도 판단부
822 ... 픽셀 값 계산부
824 ... 커널 생성부
826 ... 픽셀 유사도 계산부
830 ... 노이즈 제거부

Claims (20)

  1. 영상의 노이즈를 저감하는 방법에 있어서,
    상기 영상에 포함된 어느 픽셀을 중심 픽셀로 하여 복수 개의 픽셀들로 구성된 기준 패치와 이에 대응되는 상기 영상 내의 타겟 패치들을 설정하는 단계;
    상기 기준 패치와 상기 타겟 패치들 간의 유사도를 판단하는 단계; 및
    상기 패치 간 유사도에 기초한 가중치를 고려하여 상기 타겟 패치들의 중심 픽셀 값들로부터 상기 기준 패치의 중심 픽셀의 노이즈를 제거하는 단계;
    를 포함하고,
    상기 패치 간 유사도 판단시 가중치를 부여하는 커널은 상기 기준 패치에 따라 적응적으로 변하는 영상의 노이즈를 저감하는 방법.
  2. 제 1 항에 있어서,
    상기 커널은 상기 기준 패치의 각 픽셀 값들의 분포에 따라 적응적으로 변하는 영상의 노이즈를 저감하는 방법.
  3. 제 1 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 유사도에 따라 적응적으로 변하는 영상의 노이즈를 저감하는 방법.
  4. 제 3 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 유사도가 높을수록 높은 가중치를 부여하는 영상의 노이즈를 저감하는 방법.
  5. 제 1 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 차이 값을 고려하고, 상기 차이 값 중 최대 값과 최소 값을 이용하여 생성되는 영상의 노이즈를 저감하는 방법.
  6. 제 5 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 차이 값을 상기 최대 값과 상기 최소 값을 이용하여 정규화한 값을 이용하여 생성되는 영상의 노이즈를 저감하는 방법.
  7. 제 5 항에 있어서,
    상기 커널은 상기 기준 패치의 상기 중심 픽셀로부터 상기 기준 패치 내의 주변 픽셀까지의 위치 차이를 더 고려하여 생성되는 영상의 노이즈를 저감하는 방법.
  8. 제 1 항에 있어서,
    상기 유사도를 판단하는 단계는,
    상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 유사도를 계산하는 단계;
    상기 기준 패치 내의 상기 픽셀들 간의 계산된 유사도에 기초한 가중치를 부여하는 커널을 생성하는 단계; 및
    상기 기준 패치의 각 픽셀과 이에 대응되는 상기 타겟 패치의 각 픽셀 간의 차이 값을 계산하는 단계;
    를 포함하는 영상의 노이즈를 저감하는 방법.
  9. 제 1 항에 있어서,
    상기 타겟 패치들은 상기 영상과 인접한 영상들에 추가로 설정되는 영상의 노이즈를 저감하는 방법.
  10. 제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  11. 영상의 노이즈를 저감하는 영상 처리 장치에 있어서,
    상기 영상에 포함된 어느 픽셀을 중심 픽셀로 하여 복수 개의 픽셀들로 구성된 기준 패치와 이에 대응되는 상기 영상 내의 타겟 패치들을 설정하는 패치 설정부;
    상기 기준 패치와 상기 타겟 패치들 간의 유사도를 판단하는 유사도 판단부; 및
    상기 패치 간 유사도에 기초한 가중치를 고려하여 상기 타겟 패치들의 중심 픽셀 값들로부터 상기 기준 패치의 중심 픽셀의 노이즈를 제거하는 노이즈 제거부;
    를 포함하고,
    상기 패치 간 유사도 판단시 가중치를 부여하는 커널은 상기 기준 패치에 따라 적응적으로 변하는 영상 처리 장치.
  12. 제 11 항에 있어서,
    상기 커널은 상기 기준 패치의 각 픽셀 값들의 분포에 따라 적응적으로 변하는 영상 처리 장치.
  13. 제 11 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 유사도에 따라 적응적으로 변하는 영상 처리 장치.
  14. 제 13 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 유사도가 높을수록 높은 가중치를 부여하는 영상 처리 장치.
  15. 제 11 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 차이 값을 고려하고, 상기 차이 값 중 최대 값과 최소 값을 이용하여 생성되는 영상 처리 장치.
  16. 제 15 항에 있어서,
    상기 커널은 상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 차이 값을 상기 최대 값과 상기 최소 값을 이용하여 정규화한 값을 이용하여 생성되는 영상 처리 장치.
  17. 제 15 항에 있어서,
    상기 커널은 상기 기준 패치의 상기 중심 픽셀로부터 상기 기준 패치 내의 주변 픽셀까지의 위치 차이를 더 고려하여 생성되는 영상 처리 장치.
  18. 제 11 항에 있어서,
    상기 유사도 판단부는,
    상기 기준 패치의 중심 픽셀과 상기 기준 패치 내의 주변 픽셀들 간의 유사도를 계산하는 픽셀 유사도 계산부;
    상기 기준 패치 내의 상기 픽셀들 간의 계산된 유사도에 기초한 가중치를 부여하는 커널을 생성하는 커널 생성부; 및
    상기 기준 패치의 각 픽셀과 이에 대응되는 상기 타겟 패치의 각 픽셀 간의 차이 값을 계산하는 픽셀 값 계산부;
    를 포함하는 영상 처리 장치.
  19. 제 11 항에 있어서,
    상기 타겟 패치들은 상기 영상과 인접한 영상들에 추가로 설정되는 영상 처리 장치.
  20. 제 11 항에 있어서,
    상기 영상은 영상 촬영 장치와 피사체간의 거리를 나타내는 깊이(depth) 영상인 영상 처리 장치.
KR1020130116896A 2013-09-30 2013-09-30 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치 KR102144994B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130116896A KR102144994B1 (ko) 2013-09-30 2013-09-30 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
US14/501,235 US9330442B2 (en) 2013-09-30 2014-09-30 Method of reducing noise in image and image processing apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130116896A KR102144994B1 (ko) 2013-09-30 2013-09-30 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20150037369A true KR20150037369A (ko) 2015-04-08
KR102144994B1 KR102144994B1 (ko) 2020-08-14

Family

ID=52740252

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130116896A KR102144994B1 (ko) 2013-09-30 2013-09-30 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치

Country Status (2)

Country Link
US (1) US9330442B2 (ko)
KR (1) KR102144994B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833239B1 (ko) * 2017-09-12 2018-03-02 엘아이지넥스원 주식회사 잡음 신호를 보상하는 isar 신호 처리 장치
WO2020116768A1 (ko) * 2018-12-04 2020-06-11 삼성전자 주식회사 영상 처리 장치 및 그 동작방법
KR20200070321A (ko) * 2017-10-16 2020-06-17 수저우 마이크로뷰 메디칼 테크놀로지스 컴퍼니 리미티드 광섬유 번들 이미지 처리 방법 및 장치
US11295220B2 (en) 2019-04-02 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus with key-value coupling
WO2023210884A1 (ko) * 2022-04-29 2023-11-02 주식회사 실리콘아츠 비지역적 평균 기반의 노이즈 제거 장치 및 방법

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6128987B2 (ja) * 2013-06-25 2017-05-17 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9852353B2 (en) * 2014-11-12 2017-12-26 Adobe Systems Incorporated Structure aware image denoising and noise variance estimation
US9870600B2 (en) * 2015-01-06 2018-01-16 The Regents Of The University Of California Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
US10582179B2 (en) 2016-02-01 2020-03-03 Samsung Electronics Co., Ltd. Method and apparatus for processing binocular disparity image
KR20170107252A (ko) * 2016-03-15 2017-09-25 삼성전자주식회사 이미지 데이터의 노이즈 제거 방법
US10223772B2 (en) 2016-03-22 2019-03-05 Algolux Inc. Method and system for denoising and demosaicing artifact suppression in digital images
US10417749B2 (en) 2016-03-22 2019-09-17 Algolux Inc. Method and system for edge denoising of a digital image
CN107292828B (zh) * 2016-03-31 2020-02-11 展讯通信（上海）有限公司 图像边缘的处理方法和装置
CN106023093A (zh) * 2016-05-09 2016-10-12 吉林大学 一种基于改进图像块匹配的非局部均值图像去噪方法
CN106301513A (zh) * 2016-07-15 2017-01-04 北京邮电大学 多用户译码转发中继网络功率分配以及安全波束成形设计
CN106815818A (zh) * 2017-01-17 2017-06-09 中国科学院上海高等研究院 一种图像去噪方法
JP6870993B2 (ja) * 2017-01-20 2021-05-12 キヤノンメディカルシステムズ株式会社 画像処理装置及びｘ線診断装置
JP7005168B2 (ja) * 2017-05-02 2022-01-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019036821A (ja) * 2017-08-14 2019-03-07 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP7301589B2 (ja) * 2019-04-25 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN112101294B (zh) * 2020-09-29 2022-08-09 支付宝(杭州)信息技术有限公司 针对图像识别模型的增强训练方法及装置
KR102216391B1 (ko) 2020-12-23 2021-02-17 박준영 디지털 리마스터링 기술을 이용한 실시간 화상송출 시스템 및 방법
EP4276699A4 (en) * 2021-03-04 2024-07-03 Samsung Electronics Co Ltd IMAGE PROCESSING DEVICE AND OPERATING METHOD THEREFOR
KR20230073871A (ko) * 2021-11-19 2023-05-26 삼성전자주식회사 영상 처리 장치 및 그 동작 방법
CN117393116B (zh) * 2023-12-12 2024-03-15 中国人民解放军空军军医大学 一种便携式dr设备的医疗影像数据传输系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100087685A (ko) * 2009-01-28 2010-08-05 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치
KR20110068645A (ko) * 2009-12-16 2011-06-22 삼성전자주식회사 블록 기반의 영상 잡음 제거 방법 및 장치
KR20130079293A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 영상 처리 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764307A (en) 1995-07-24 1998-06-09 Motorola, Inc. Method and apparatus for spatially adaptive filtering for video encoding
JP4123356B2 (ja) * 2002-11-13 2008-07-23 富士ゼロックス株式会社 画像処理装置、画像処理プログラム、記憶媒体
FR2870071B1 (fr) * 2004-05-05 2006-12-08 Centre Nat Rech Scient Cnrse Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede
TWI323606B (en) * 2006-02-22 2010-04-11 Huper Lab Co Ltd Image noise reduction method based on local correlation
US8139891B2 (en) 2006-11-03 2012-03-20 Siemens Aktiengesellschaft System and method for structure enhancement and noise reduction in medical images
FR2919943B1 (fr) * 2007-08-07 2010-02-26 Dxo Labs Procede de traitement d'objet numerique et systeme associe
US20090161982A1 (en) * 2007-12-19 2009-06-25 Nokia Corporation Restoring images
JP2009290661A (ja) * 2008-05-30 2009-12-10 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
WO2011091079A1 (en) 2010-01-19 2011-07-28 Pixar Selective diffusion of filtered edges in images
KR20120017521A (ko) 2010-08-19 2012-02-29 삼성전자주식회사 영상 고정밀화를 위한 고속 처리 필터링 장치 및 방법
JP5576812B2 (ja) * 2011-02-16 2014-08-20 オリンパス株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置
US8538114B2 (en) 2011-06-06 2013-09-17 Kabushiki Kaisha Toshiba Method and system utilizing parameter-less filter for substantially reducing streak and or noise in computer tomography (CT) images
JP2013126530A (ja) * 2011-11-15 2013-06-27 Toshiba Corp 画像処理装置及び方法
JP6253331B2 (ja) * 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
TWI528815B (zh) * 2013-02-04 2016-04-01 鈺立微電子股份有限公司 可降低影像雜訊之影像處理方法
US9123103B2 (en) * 2013-12-26 2015-09-01 Mediatek Inc. Method and apparatus for image denoising with three-dimensional block-matching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100087685A (ko) * 2009-01-28 2010-08-05 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치
KR20110068645A (ko) * 2009-12-16 2011-06-22 삼성전자주식회사 블록 기반의 영상 잡음 제거 방법 및 장치
KR20130079293A (ko) * 2011-12-30 2013-07-10 삼성전자주식회사 영상 처리 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833239B1 (ko) * 2017-09-12 2018-03-02 엘아이지넥스원 주식회사 잡음 신호를 보상하는 isar 신호 처리 장치
KR20200070321A (ko) * 2017-10-16 2020-06-17 수저우 마이크로뷰 메디칼 테크놀로지스 컴퍼니 리미티드 광섬유 번들 이미지 처리 방법 및 장치
US11525996B2 (en) 2017-10-16 2022-12-13 Suzhou Microview Medical Technologies Co., Ltd. Fiber bundle image processing method and apparatus
WO2020116768A1 (ko) * 2018-12-04 2020-06-11 삼성전자 주식회사 영상 처리 장치 및 그 동작방법
US11921822B2 (en) 2018-12-04 2024-03-05 Samsung Electronics Co., Ltd. Image processing device for improving details of an image, and operation method of the same
US11295220B2 (en) 2019-04-02 2022-04-05 Samsung Electronics Co., Ltd. Method and apparatus with key-value coupling
WO2023210884A1 (ko) * 2022-04-29 2023-11-02 주식회사 실리콘아츠 비지역적 평균 기반의 노이즈 제거 장치 및 방법
KR20230154355A (ko) * 2022-04-29 2023-11-08 주식회사 실리콘아츠 비지역적 평균 기반의 노이즈 제거 장치 및 방법

Also Published As

Publication number Publication date
US9330442B2 (en) 2016-05-03
KR102144994B1 (ko) 2020-08-14
US20150093041A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
KR20150037369A (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
JP6507846B2 (ja) 画像ノイズ除去方法及び画像ノイズ除去装置
US10621729B2 (en) Adaptive focus sweep techniques for foreground/background separation
US8983221B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US8818126B2 (en) Method and apparatus for block-based image denoising
JP5983373B2 (ja) 画像処理装置、情報処理方法及びプログラム
KR20100085675A (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
JP2014235736A (ja) グレースケール画像処理方法及び装置
CN110971827B (zh) 人像模式拍摄方法、装置、终端设备和存储介质
US9373053B2 (en) Image processor with edge selection functionality
JP6254938B2 (ja) 画像ノイズ除去装置、および画像ノイズ除去方法
US11153479B2 (en) Image processing apparatus, capable of detecting an amount of motion between images by tracking a point across one or more images, image capturing apparatus, image processing method, and storage medium
JP4935930B2 (ja) 画像補正装置および画像補正方法
CN108234826B (zh) 图像处理方法及装置
JP5949201B2 (ja) 画像処理装置及びプログラム
JP6221333B2 (ja) 画像処理装置、画像処理回路及び画像処理方法
US20230274398A1 (en) Image processing apparatus for reducing influence of fine particle in an image, control method of same, and non-transitory computer-readable storage medium
KR101886246B1 (ko) 이미지 데이터에 포함된 모션 블러 영역을 찾고 그 모션 블러 영역을 처리하는 이미지 프로세싱 장치 및 그 장치를 이용한 이미지 프로세싱 방법
KR20200099834A (ko) 움직임 검출을 수행하는 방법 및 움직임 검출을 수행하는 영상처리장치
US20100086229A1 (en) Image signal processing apparatus and method
JP6378496B2 (ja) 画像処理装置、制御方法及び記録媒体
CN112150532A (zh) 图像处理的方法、装置、电子设备和计算机可读介质
JP4930638B2 (ja) 画像補正装置および画像補正方法
JP6306811B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP2017108267A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant