KR20220125124A - 영상 처리 장치 및 그 동작방법 - Google Patents

영상 처리 장치 및 그 동작방법 Download PDF

Info

Publication number
KR20220125124A
KR20220125124A KR1020210090897A KR20210090897A KR20220125124A KR 20220125124 A KR20220125124 A KR 20220125124A KR 1020210090897 A KR1020210090897 A KR 1020210090897A KR 20210090897 A KR20210090897 A KR 20210090897A KR 20220125124 A KR20220125124 A KR 20220125124A
Authority
KR
South Korea
Prior art keywords
kernel
image
pixels
pixel
weight map
Prior art date
Application number
KR1020210090897A
Other languages
English (en)
Inventor
안일준
신하늘
박재연
송영찬
이태미
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2022/002063 priority Critical patent/WO2022186499A1/ko
Priority to EP22763483.9A priority patent/EP4276699A4/en
Priority to US17/687,343 priority patent/US20220284555A1/en
Publication of KR20220125124A publication Critical patent/KR20220125124A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Supplying Of Containers To The Packaging Station (AREA)

Abstract

영상 처리 장치에 관한 것으로, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 프로세서는, 제1 영상에 포함되는 픽셀들 각각과 픽셀들 각각의 주변 픽셀과의 유사도를 나타내는 유사도 정보를 획득하고, 유사도 정보에 기초하여, 픽셀들 각각에 대응하는 가중치 정보를 포함하는 가중맵을 생성하고, 픽셀들 각각과 주변 픽셀과의 위치 관계에 따른 가중치 정보를 포함하는 공간 커널(spatial kernel)과 가중맵에 기초하여, 픽셀들 각각에 대응하는 커널을 포함하는 공간 가변 커널을 생성하고, 제1 영상에 공간 가변 커널(spatially variant kernel)을 적용함으로써, 제2 영상을 생성하는 영상 처리 장치가 개시된다.

Description

영상 처리 장치 및 그 동작방법{Image processing apparatus and operating method for the same}
다양한 실시예들은 뉴럴 네트워크를 이용하여, 영상의 화질을 개선시키는 영상 처리 장치 및 그 동작방법에 관한 것이다.
컴퓨터 기술의 발달과 함께 데이터 트래픽이 지수함수 형태로 증가하면서 인공지능은 미래 혁신을 주도하는 중요한 트렌드로 자리잡았다. 인공지능은 사람의 사고방식을 모방하는 방식이기 때문에 사실상 전 산업에 무한하게 응용될 수 있다. 인공지능의 대표적인 기술로는 패턴 인식, 기계 학습, 전문가 시스템, 뉴럴 네트워크, 자연어 처리 등이 있다.
뉴럴 네트워크는 인간의 생물학적 신경 세포의 특성을 수학적 표현에 의해 모델링한 것으로, 인간이 가지고 있는 학습이라는 능력을 모방한 알고리즘을 이용한다. 이 알고리즘을 통하여, 뉴럴 네트워크는 입력 데이터와 출력 데이터 사이의 사상(mapping)을 생성할 수 있고, 이러한 사상을 생성하는 능력은 뉴럴 네트워크의 학습 능력이라고 표현될 수 있다. 또한, 뉴럴 네트워크는 학습된 결과에 기초하여, 학습에 이용되지 않았던 입력 데이터에 대하여, 올바른 출력 데이터를 생성할 수 있는 일반화 능력을 가진다.
심층 신경망(예를 들어, 층이 깊은 컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network))을 이용하여, 영상의 디노이징(denoising)과 같은 영상 처리를 수행하는 경우, 영상에 포함되는 픽셀들 각각에 동일한 커널(필터)를 적용하는 경우, 영상 처리의 성능이 저하되는 문제점이 있다. 따라서, 영상 처리 시, 영상에 포함되는 픽셀들 각각의 위치나 인텐시티 특성에 따라 서로 다른 커널을 적용하여, 영상 처리를 수행할 필요가 있다.
다양한 실시예들은, 컨볼루션 뉴럴 네트워크를 이용하여, 영상에 포함된 픽셀들 각각의 특성에 따른 적응적인 영상 처리를 수행할 수 있는 영상 처리 장치 및 그 동작방법을 제공할 수 있다.
일 실시예에 따른 영상 처리 장치는, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 제1 영상에 포함되는 픽셀들 각각과 상기 픽셀들 각각의 주변 픽셀과의 유사도를 나타내는 유사도 정보를 획득하고, 상기 유사도 정보에 기초하여, 상기 픽셀들 각각에 대응하는 가중치 정보를 포함하는 가중맵을 생성하고, 상기 픽셀들 각각과 상기 주변 픽셀과의 위치 관계에 따른 가중치 정보를 포함하는 공간 커널(spatial kernel)과 상기 가중맵에 기초하여, 상기 픽셀들 각각에 대응하는 커널을 포함하는 공간 가변 커널을 생성하고, 상기 제1 영상에 상기 공간 가변 커널(spatially variant kernel)을 적용함으로써, 제2 영상을 생성할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 영상에 포함되는 픽셀들 각각과, 상기 픽셀들 각각에 대해 제1 상대적 위치를 가지는 제1 주변 픽셀과의 차이에 기초하여, 제1 유사도 정보를 획득하고, 상기 제1 영상에 포함되는 픽셀들 각각과, 상기 픽셀들 각각에 대해 제2 상대적 위치를 가지는 제2 주변 픽셀과의 차이에 기초하여, 제2 유사도 정보를 획득할 수 있다.
일 실시예에 따른 프로세서는, 컨볼루션 뉴럴 네트워크를 이용하여, 상기 유사도 정보와 상기 컨볼루션 뉴럴 네트워크에 포함되는 하나 이상의 커널들과의 컨볼루션 연산을 수행함으로써, 상기 가중맵을 생성할 수 있다.
일 실시예에 따른 유사도 정보, 상기 가중 맵 및 상기 공간 가변 커널 중 적어도 하나의 채널 개수는 상기 공간 커널의 사이즈에 기초하여 결정될 수 있다.
일 실시예에 따른 공간 커널은, 상기 공간 커널의 중심에 위치한 픽셀이 가장 큰 값을 가지고, 상기 중심에서 멀어질수록 픽셀 값이 작아질 수 있다.
일 실시예에 따른 공간 커널의 사이즈는 K x K 이고, 상기 가중맵의 채널 개수는 K2이며, 상기 프로세서는, 상기 공간 커널에 포함되는 픽셀 값들을 채널 방향으로 나열하여, 1 x 1 x K2의 사이즈를 가지는 가중치 벡터로 변환하고, 상기 가중맵에 포함되는 1 x 1 x K2의 사이즈를 가지는 1차원 벡터들 각각과 상기 가중치 벡터의 곱셈 연산을 수행함으로써, 상기 공간 가변 커널을 생성할 수 있다.
일 실시예에 따른 공간 가변 커널은, 상기 제1 영상에 포함되는 픽셀들의 개수와 동일한 개수의 커널들을 포함할 수 있다.
일 실시예에 따른 프로세서는, 상기 제1 영상에 포함되는 제1 픽셀을 중심으로 하는 제1 영역에 상기 공간 가변 커널에 포함된 제1 커널을 적용하여, 필터링을 수행하고, 상기 제1 영상에 포함되는 제2 픽셀을 중심으로 하는 제2 영역에 상기 공간 변환 커널에 포함되는 제2 커널을 적용하여, 필터링을 수행함으로써, 상기 제2 영상을 생성할 수 있다.
일 실시예에 따른 프로세서는, 컨볼루션 뉴럴 네트워크를 이용하여, 상기 유사도 정보와 상기 컨볼루션 뉴럴 네트워크에 포함되는 하나 이상의 커널들과의 컨볼루션 연산을 수행함으로써, 제1 가중맵을 생성하고, 상기 제1 가중맵과 제1 커널과의 팽창된 컨볼루션(dilated convolution) 연산을 수행함으로써, 상기 가중맵을 생성할 수 있다.
일 실시예에 따른 제1 가중맵의 채널 수와 상기 제1 커널의 채널 수는 동일하고, 상기 프로세서는, 상기 제1 가중맵과 상기 제1 커널의 서로 대응되는 채널끼리 팽창된 컨볼루션 연산(depthwise dilated convolution)을 수행함으로써, 상기 가중맵을 생성할 수 있다.
일 실시예에 따른 영상 처리 장치의 동작방법은, 제1 영상에 포함되는 픽셀들 각각과 상기 픽셀들 각각의 주변 픽셀과의 유사도를 나타내는 유사도 정보를 획득하는 단계, 상기 유사도 정보에 기초하여, 상기 픽셀들 각각에 대응하는 가중치 정보를 포함하는 가중맵을 생성하는 단계, 상기 픽셀들 각각과 상기 주변 픽셀과의 위치 관계에 따른 가중치 정보를 포함하는 공간 커널(spatial kernel)과 상기 가중맵에 기초하여, 상기 픽셀들 각각에 대응하는 커널을 포함하는 공간 가변 커널을 생성하는 단계, 및 상기 제1 영상에 상기 공간 가변 커널(spatially variant kernel)을 적용함으로써, 제2 영상을 생성하는 단계를 포함할 수 있다.
일 실시예에 따른 영상 처리 장치는, 영상에 포함되는 복수의 픽셀들 각각에서, 픽셀들 각각과 주변 픽셀들과의 유사도 정보를 이용하여, 영상 처리를 수행하는 경우, 유사한 특징을 가지는 주변 픽셀의 특징을 더 강조할 수 있다.
일 실시예에 따른 영상 처리 장치는 영상에 포함된 픽셀들 각각에 대하여, 픽셀의 지역적인 특성에 기초하여 생성된 서로 다른 커널을 적용함으로써, 픽셀의 지역적인 특성에 따른 적응적인 영상 처리가 가능하다.
일 실시예에 따른 영상 처리 장치는 컨볼루션 뉴럴 네트워크를 이용하여, 입력 영상의 세밀한 가장자리(edge) 처리와 텍스쳐를 유지하면서 노이즈를 제거하는, 디노이징(denosing)을 수행할 수 있다.
도 1은 일 실시예에 따른 영상 처리 장치가 영상 처리 네트워크를 이용하여 영상을 처리하는 동작을 나타내는 도면이다.
도 2는 일 실시예에 따른 영상 처리 네트워크를 나타내는 도면이다.
도 3은 일 실시예에 따른 유사도 정보를 생성하는 방법을 설명하기 위해 참조되는 도면이다.
도 4 및 도 5는 일 실시예에 따른 유사도 정보를 획득하는 방법들을 설명하기 위해 참조되는 도면들이다.
도 6은 일 실시예에 따른 가중맵을 생성하는 방법을 설명하기 위해 참조되는 도면이다.
도 7 및 도 8은 일 실시예에 따른 컨볼루션 레이어에서 수행되는 컨볼루션 연산을 설명하기 위해 참조되는 도면들이다.
도 9는 일 실시예에 따른 공간 가변 커널을 생성하는 방법을 설명하기 위해 참조되는 도면이다.
도 10은 다른 실시예에 따른 공간 가변 커널을 생성하는 방법을 설명하기 위해 참조되는 도면이다.
도 11은 일 실시예에 따른 팽창된 컨볼루션을 설명하기 위해 참조되는 도면이다.
도 12는 일 실시예에 따른 제1 영상에 공간 가변 커널을 적용하는 방법을 설명하기 위해 참조되는 도면이다.
도 13은 일 실시예에 따른 영상 처리 장치의 동작방법을 나타내는 흐름도이다.
도 14는 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 영상 처리 장치가 영상 처리 네트워크를 이용하여 영상을 처리하는 동작을 나타내는 도면이다.
도 1을 참조하면, 일 실시예에 따른 영상 처리 네트워크(30)는 제1 영상(10)을 입력 받아, 제1 영상(10)을 처리함으로써, 화질이 개선된 제2 영상(20)을 생성하는 네트워크일 수 있다. 이때, 제1 영상(10)은 노이즈를 포함하는 영상이거나, 저해상도 영상일 수 있다. 영상 처리 장치(100)는 영상 처리 네트워크(30)를 이용하여, 제1 영상(10)의 세밀한 가장자리(edge) 처리와 텍스쳐를 유지하면서 노이즈를 제거하는 디노이징(denosing)을 수행함으로써, 제2 영상(20)을 생성할 수 있다. 제2 영상(20)은 제1 영상(10)보다 고해상도 영상일 수 있으며, 제1 영상(10)보다 화질이 개선된 영상일 수 있다.
일 실시예에 따른 영상 처리 네트워크(30)에서 수행되는 영상 처리에 대해서는 이하 도면들을 참조하여 자세히 설명하기로 한다.
도 2는 일 실시예에 따른 영상 처리 네트워크를 나타내는 도면이다.
도 2를 참조하면, 일 실시예에 따른 영상 처리 네트워크(30)는 유사도 산출부(210), 가중맵 생성부(220), 공간 가변 커널 생성부(230), 및 필터부(240)를 포함할 수 있다.
일 실시예에 따른 영상 처리 네트워크(30)는 제1 영상(10)을 입력 받아, 제2 영상(20)을 출력하는 구조를 포함할 수 있다.
일 실시예에 따른 유사도 산출부(210)는 제1 영상(10)에 포함되는 픽셀들 각각과 주변 픽셀과의 유사도 정보를 생성할 수 있다. 유사도 정보는, 픽셀들 각각의 픽셀 값과 픽셀들 각각의 주변에 위치한 주변 픽셀의 픽셀 값의 차이를 나타내는 정보일 수 있다. 유사도 정보를 생성하는 방법에 대해서는 도 3을 참조하여, 자세히 설명하기로 한다.
도 3은 일 실시예에 따른 유사도 정보를 생성하는 방법을 설명하기 위해 참조되는 도면이다.
일 실시예에 따른 유사도 산출부(210)는 제1 영상(10)에 포함되는 픽셀들 각각과 주변 픽셀과의 차이를 계산하여, 유사도 정보를 생성할 수 있다. 설명의 편의를 위하여, 본 개시의 실시예들에서는 제1 영상(10)의 너비가 W, 높이가 H이며, 채널 수가 1인 것으로 가정하여 설명하기로 한다.
도 3을 참조하면, 유사도 산출부(210)는 제1 영상(10)에 포함되는 복수의 픽셀들 중 제1 픽셀(310)을 중심으로 하는 제1 영역(301)에 포함되는 K2개의 픽셀들 각각과 제1 픽셀(310)의 차이 값을 계산할 수 있다. 이때, 제1 영역(301)의 크기인 K x K는 후술하는 공간 커널의 사이즈에 기초하여 결정될 수 있다.
유사도 산출부(210)는 제1 영역(301)에 포함되는 K2개의 픽셀들 각각과 제1 픽셀(310)의 차이 값을 계산함으로써, 제1 픽셀(310)에 대해서 K2개의 차이 값들을 획득할 수 있다. 예를 들어, 유사도 산출부(210)는 도 3에 도시된 바와 같이, 제1 픽셀(310)과 제1 주변 픽셀(311)과의 차이 값, 제1 픽셀(310)과 제2 주변 픽셀(312)과의 차이 값, 제1 픽셀(310)과 제3 주변 픽셀(313)과의 차이 값, 제1 픽셀(310)과 제4 주변 픽셀(314)과의 차이 값을 계산할 수 있다. 유사도 산출부(210)는 동일한 방식으로, 제1 픽셀(310) 이외에 제1 영상(10)에 포함되는 다른 픽셀들 각각에 대해서 K2개의 차이 값들을 획득할 수 있다. 예를 들어, 유사도 산출부(210)는 제1 픽셀(310)이외의 다른 픽셀들 각각을 중심 픽셀로 하여, 주변 픽셀들과의 K2개의 차이 값들을 획득할 수 있다.
유사도 산출부(210)는 픽셀들 각각에 대한 K2개의 차이 값들을, 유사도 정보(350)에서 해당 픽셀의 채널 방향으로 배열시킬 수 있으며, 이에 따라, 일 실시예에 따른 유사도 정보(350)의 크기는 W x H 이고, 채널 수가 K2개일 수 있다.
일 실시예에 따른 유사도 정보(350)의 제1 채널 영상은 제1 영상(10)에 포함되는 픽셀들 각각과 픽셀들 각각에 대해 제1 상대적 위치를 가지는 주변 픽셀(예를 들어, 픽셀들 각각을 기준으로 왼쪽으로 (K-1)/2 픽셀만큼, 위쪽으로 (K-1)/2 픽셀만큼 이동한 위치의 픽셀)과의 차이 값을 나타낼 수 있다. 또한, 유사도 정보(350)의 제2 채널 영상은 제1 영상(10)에 포함되는 픽셀들 각각과, 픽셀들 각각에 대해 제2 상대적 위치를 가지는 주변 픽셀(예를 들어, 픽셀들 각각을 기준으로 왼쪽으로 (K-1)/2 - 1 픽셀만큼, 위쪽으로 (K-1)/2 픽셀만큼 이동한 위치의 픽셀)과의 차이 값을 나타낼 수 있다. 다만, 이에 한정되지 않는다.
일 실시예에 따른 유사도 산출부(210)가 픽셀들 각각에 대한 K2개의 차이 값들을 획득하는 방법을 도 4 및 도 5를 참조하여, 구체적으로 설명하기로 한다.
도 4 및 도 5는 일 실시예에 따른 유사도 정보를 획득하는 방법들을 설명하기 위해 참조되는 도면들이다.
도 4를 참조하면, 일 실시예에 따른 유사도 산출부(210)는 제1 영상(10)에 포함되는 픽셀들 각각을 수평 방향으로 p 픽셀(-(K-1)/2≤p≤(K-1)/2, p는 정수)만큼, 수직 방향으로 q 픽셀(-(K-1)/2≤q≤(K-1)/2, q는 정수)만큼 이동시켜 K2개의 영상들(410)을 획득할 수 있다. 이때, K2개의 영상들(410) 각각은 제1 영상(10)과 동일한 크기(W x H)를 가진다.
유사도 산출부(210)는 K2개의 영상들(410) 각각과 제1 영상(10)의 차이 영상을 계산함으로써, 유사도 정보(350)를 획득할 수 있다. 이에 따라, 유사도 정보(350)는 도 3에서 설명한 바와 같이, 크기는 W x H 이고, 채널 수가 K2개일 수 있다.
도 5를 참조하면, 일 실시예에 따른 유사도 산출부(210)는 제1 영상(10)에 대해 마스크 처리를 수행함으로써, 유사도 정보를 획득할 수 있다.
마스크 처리는, 제1 영상(10)과 마스크 필터들(M1, M2, M3,..., Mn) 각각의 컨볼루션 연산을 통해 수행될 수 있다. 이때, n은 K2-1일 수 있으며, K2-1개의 마스크 필터들을 이용한 마스크 처리를 통해, 유사도 정보(350)에 포함되는 K2-1개의 채널 영상들(521, 522, 523,..., 529)을 생성할 수 있다. 예를 들어, 유사도 산출부(210)는 제1 영상(10)과 제1 마스크 필터(M1)와의 컨볼루션 연산을 통해, 유사도 정보(350)의 제1 채널 영상(521)을 생성하고, 제1 영상(10)과 제2 마스크 필터(M2)와의 컨볼루션 연산을 통해, 유사도 정보(350)의 제2 채널 영상(522)을 생성할 수 있다. 또한, 제1 영상(10)과 제3 마크스 필터(M3)와의 컨볼루션 연산을 통해, 유사도 정보(350)의 제3 채널 영상(523)을 생성하고, 제1 영상(10)과 제n 마스크 필터(Mn)와의 컨볼루션 연산을 통해, 유사도 정보(350)의 제(K2-1) 채널 영상(529)을 생성할 수 있다.
도 5를 참조하면, 유사도 산출부(210)는 제1 영상(10)의 제1 영역(501)에 포함된 K x K개의 픽셀 값들과 마스크 필터들 각각에 포함된 K x K개의 픽셀 값들(파라미터 값들)을 각각 곱하여, 합산함으로써, 유사도 정보(350)에 포함되는 픽셀 값을 계산할 수 있다.
이때, 유사도 정보(350)를 계산하기 위한 주변 픽셀의 위치에 따라, 마스크 필터에 포함되는 파라미터 값들이 결정될 수 있다. 예를 들어, 제1 마스크 필터(M1)는, 중심 픽셀과, 중심 픽셀과 제1 상대적 위치(예를 들어, 기준 픽셀을 기준으로 왼쪽으로 (K-1)/2 픽셀만큼, 위쪽으로 (K-1)/2 픽셀만큼 이동한 위치)를 가지는 주변 픽셀의 유사도 정보를 계산하기 위한 마스크 필터일 수 있다. 이에 따라, 제1 마스크 필터(M1)는 중심 픽셀 값이 '1'이고, 중심 픽셀과 제1 상대적 위치를 가지는 픽셀 값이 '-1'이며, 나머지 픽셀 값들은 '0'일 수 있다.
일 실시예에 따른 유사도 산출부(210)는 제1 픽셀(515)을 중심으로 하는 제1 영역(501)과 제1 마스크 필터(M1)와의 컨볼루션 연산을 수행하여, 유사도 정보(350)의 제1 채널 영상(521)에 포함되는 제2 픽셀(531)의 값을 연산할 수 있다. 이때, 제1 영상(10)에서 제1 픽셀(515)의 위치와 유사도 정보(350)의 제1 채널 영상(521)에서의 제2 픽셀(531)의 위치는 동일할 수 있다. 제1 채널 영상(521)에 포함되는 제2 픽셀(531)의 값은, 제1 픽셀(515)의 값에서 제1 픽셀(515)과 제1 상대적 위치를 가지는 픽셀(511)의 값을 뺀 값일 수 있다.
제1 마스크 필터(M1)를 이용한 컨볼루션 연산에 따라, 제1 마스크 필터(M1)가 수평 방향 및 수직 방향으로 슬라이딩하면서, 제1 영상(10)에 포함되는 픽셀들 각각이, 제1 마스크 필터(M1)의 중심에 위치할 수 있다. 이때, 입력 영상(10) 상에서 슬라이딩하며 이동하는 제1 마스크 필터(M1)가 덮는 영역의 중심에 기준 픽셀이 위치하게 된다. 유사도 산출부(210)는, 변경된 영역과 제1 마스크 필터(M1)와의 컨볼루션 연산을 수행함으로써, 제1 채널 영상(521)에 포함되는 픽셀 값들을 연산할 수 있다.
또한, 제2 마스크 필터(M2)는, 중심 픽셀과, 중심 픽셀과 제2 상대적 위치(예를 들어, 기준 픽셀을 기준으로 왼쪽으로 (K-1)/2 - 1 픽셀만큼, 위쪽으로 (K-1)/2 픽셀만큼 이동한 위치)를 가지는 주변 픽셀의 유사도 정보를 계산하기 위한 마스크 필터일 수 있다. 이에 따라, 제2 마스크 필터(M2)는 중심 픽셀 값이 '1'이고, 중심 픽셀과 제2 상대적 위치를 가지는 픽셀 값이 '-1'이며, 나머지 픽셀 값들은 '0'일 수 있다.
유사도 산출부(210)는 제1 픽셀(515)을 중심으로 하는 제1 영역(501)과 제2 마스크 필터(M2)와의 컨볼루션 연산을 수행함으로써, 유사도 정보(350)의 제2 채널 영상(522)에 포함되는 제3 픽셀(532)의 값을 연산할 수 있다. 이때, 제1 영상(10)에서 제1 픽셀(515)의 위치와 제2 채널 영상(522)에서의 제3 픽셀(532)의 위치는 동일할 수 있다. 이에 따라, 제2 채널 영상(522)에 포함되는 제3 픽셀(532)의 값은, 제1 픽셀(515)의 값에서 제1 픽셀(515)과 제2 상대적 위치를 가지는 픽셀(512)의 값을 뺀 값일 수 있다.
이와 동일한 방식으로 제1 영상(10)에 포함되는 픽셀들 각각이, 컨볼루션 연산의 대상이 되는 영역의 중심에 위치하도록, 컨볼루션 연산의 대상이 되는 영역을 변경하고, 변경된 영역과 제2 마스크 필터(M2)와의 컨볼루션 연산을 수행함으로써, 제2 채널 영상(522)에 포함되는 픽셀 값들을 연산할 수 있다.
또한, 제3 마스크 필터(M3)는 중심 픽셀과, 중심 픽셀과 제3 상대적 위치를 가지는 주변 픽셀의 유사도 정보를 계산하기 위한 마스크 필터일 수 있으며, 제n 마스크 필터(Mn)는 중심 픽셀과, 중심 픽셀과 제n 상대적 위치를 가지는 주변 픽셀의 유사도 정보를 계산하기 위한 마스크 필터일 수 있다.
일 실시예에 따른 유사도 산출부(210)는 도 5에 도시하고 설명한 바와 같이, K2-1개의 마스크 필터들을 이용하여, 마스크 처리를 수행함으로써, 제1 영상(10)에 포함되는 픽셀들 각각과, 픽셀들 각각에 대해 제1 내지 제 K2-1 상대적 위치를 가지는 주변 픽셀들과의 차이 값들을 포함하는 유사도 정보를 획득할 수 있다. 예를 들어, 유사도 산출부(210)는 제1 내지 제 K2-1 마스크들(M1, M2, M3,,,,Mn)을 이용하여, 유사도 정보(350)의 제1 내지 제 K2-1 채널 영상들(521, 522, 523,...,529)을 생성할 수 있다.
또한, 일 실시예에 따른 유사도 정보(350)는 제1 영상(10)에 포함되는 픽셀들 각각에 대해, 자기 자신과의 유사도 정보를 나타내는 제K2 채널 영상을 포함할 수 있다. 따라서, 제K2 채널 영상은 모든 픽셀 값이 '0'일 수 있다.
한편, 도 4 및 5에서 도시하고 설명한 유사도 정보(350)를 획득하는 방법은 일 예들에 불과하며, 유사도 산출부(210)는 다양한 방법으로 제1 영상(10)에 포함되는 픽셀들 각각과 주변 픽셀과의 유사도 정보를 획득할 수 있다.
다시 도 2를 참조하면, 가중맵 생성부(220)는 유사도 정보에 기초하여, 가중맵을 생성할 수 있다. 예를 들어, 픽셀 값이 유사한 주변 픽셀들에 큰 가중치를 주도록 생성된 가중맵을 영상 처리에 이용함으로써, 영상 처리된 영상의 화질이 개선될 수 있다. 이에 따라, 가중맵 생성부(220)는 제1 영상에 포함되는 픽셀들 각각과 주변 픽셀들과의 유사도 정보에 기초하여, 픽셀들 각각에 대응하는 가중치 정보를 나타내는 가중맵을 생성할 수 있다. 가중맵을 생성하는 방법에 대해서는 도 6을 참조하여, 자세히 설명하기로 한다.
도 6은 일 실시예에 따른 가중맵을 생성하는 방법을 설명하기 위해 참조되는 도면이다.
도 6을 참조하면, 가중맵 생성부(220)는 컨볼루션 뉴럴 네트워크(610)를 이용하여, 가중맵(650)을 생성할 수 있다. 유사도 산출부(210)에서 생성된 유사도 정보(350)는 컨볼루션 뉴럴 네트워크(610)로 입력될 수 있으며, 컨볼루션 뉴럴 네트워크(610)를 통과함으로써, 가중맵(650)이 출력될 수 있다. 이때, 가중맵(650)은 크기는 W x H 이고, 채널 수가 K2개일 수 있다.
일 실시예에 따른 컨볼루션 뉴럴 네트워크(610)는 하나 이상의 컨볼루션 레이어들(620), 하나 이상의 활성화 레이어들(630)을 포함할 수 있다. 이때, 활성화 레이어들 각각은 컨볼루션 레이어 다음에 위치할 수 있다.
컨볼루션 뉴럴 네트워크(610)에 포함되는 레이어들 각각은 이전 레이어로부터 출력된 값들을 입력 받고, 해당 레이어에서 연산을 수행하여 결과 값들을 획득하며, 획득된 결과 값들을 다음 레이어로 출력하는 구조를 가진다. 예를 들어, 컨볼루션 레이어(620)에서는 컨볼루션 레이어에 포함된 커널과 컨볼루션 레이어(620)에 입력된 값들과의 컨볼루션 연산이 수행될 수 있다. 컨볼루션 레이어(620)에서 수행되는 컨볼루션 연산은 도 7 및 도 8을 참조하여 자세히 설명하기로 한다.
도 7 및 도 8은 일 실시예에 따른 컨볼루션 레이어에서 수행되는 컨볼루션 연산을 설명하기 위해 참조되는 도면들이다.
도 7은 일 실시예에 따른, 컨볼루션 레이어(620)로 입력되는 입력 영상(또는, 입력 특징 맵, F_in), 컨볼루션 레이어(620)에 포함되는 커널(Kernel) 및 컨볼루션 레이어(620)로부터 출력되는 출력 영상(또는, 출력 특징 맵, F_out)을 나타내는 도면이다.
도 7을 참조하면, 일 실시예에 따른 컨볼루션 레이어(620)로 입력되는 입력 영상(F_in)의 크기는 W x H 일 수 있으며, 채널 수는 Cin일 수 있다. 또한, 컨볼루션 레이어(620)는 커널(Kernel)을 포함하며, 커널(Kernel)은 Cout개의 서브 커널들을 포함할 수 있다. 또한, 하나의 서브 커널은 Kw x Kh x Cin의 크기를 가질 수 있다. 하나의 서브 커널의 채널 수(Cin)는 제1 영상(F_in)의 채널 수(Cin)와 동일할 수 있다. 컨볼루션 레이어(620)는 입력 영상(F_in)과 커널(Kernel)과의 컨볼루션 연산을 수행함으로써, 출력 영상(F_out)을 생성할 수 있다. 이때, 출력 영상(F_out)의 크기는 W x H일 수 있으며, 출력 영상(F_out)의 채널의 개수는 커널(Kernel)의 서브 커널들의 개수(Cout)에 의해 결정될 수 있다.
도 8은, 일 실시예에 따른 입력 영상(F_in)과 커널(Kernel)에 포함된 제1 서브 커널(710)과의 컨볼루션 연산을 통해, 출력 영상(F_out)의 제1 채널 영상(720)이 생성되는 과정을 설명하기 위해 참조되는 도면이다.
도 8에서는 설명의 편의를 위해, 입력 영상(F_in)이 5 x 5의 크기를 가지며, 채널의 개수는 1인 것으로 가정한다. 또한, 입력 영상(F_in))에 적용되는 커널(Kernel)에 포함되는 하나의 서브 커널은 3 x 3의 크기를 가지며, 채널의 개수(Cin)는 1인 것으로 가정한다.
도 8을 참조하면, 입력 영상(F_in)의 좌측 상단으로부터 우측 하단까지 제1 서브 커널(710)을 적용하여, 입력 영상(F_in)의 특징을 추출하는 과정이 도시되어 있다. 이때, 제1 서브 커널(710)은 3 x 3의 크기를 가지며, 채널 수는 1이다. 예를 들어, 입력 영상(F_in)의 좌측 상단 3 x 3 영역(821)에 포함되는 픽셀들에 제1 서브 커널(710)을 적용하여 컨볼루션 연산을 수행할 수 있다.
즉, 좌측 상단 3 x 3 영역(821)에 포함되는 픽셀 값들과 제1 서브 커널(710)에 포함되는 파라미터 값들을 곱하여 합산함으로써, 좌측 상단 3 x 3 영역(821) 매핑되는 하나의 픽셀 값(831)을 생성할 수 있다.
또한, 입력 영상(F_in)의 좌측 상단 3 x 3 영역(821)에서 우측으로 한 픽셀 이동시킨 3 x 3 영역(822)에 포함되는 픽셀 값들과 제1 서브 커널(710)에 포함되는 파라미터 값들을 곱하여 합산함으로써, 3 x 3 영역(822)에 매핑되는 하나의 픽셀 값(832)을 생성할 수 있다.
동일한 방식으로, 입력 영상(F_in) 내에서 제1 서브 커널(710)을 좌측에서 우측으로, 상단에서 하단으로 한 픽셀씩 슬라이딩하면서, 제1 서브 커널(710)에 포함되는 파라미터 값들과 입력 영상(F_in)의 픽셀값들을 곱하여 합산함으로써, 출력 영상(F_out)의 제1 채널 영상(720)에 포함되는 픽셀 값들을 생성할 수 있다. 이때, 컨볼루션 연산의 대상이 되는 데이터는 한 픽셀씩 이동하면서 샘플링될 수도 있으나, 2개 이상의 픽셀 개수만큼 이동하면서 샘플링될 수도 있다. 샘플링 과정에서 샘플링된 픽셀들의 간격의 크기를 스트라이드(stride)라고 하며, 스트라이드의 크기에 따라 출력되는 출력 영상(F_out)의 크기가 결정될 수 있다. 또한, 도 8에 도시된 바와 같이, 출력 영상(F_out)의 크기를 입력 영상(F_in)과 동일하게 하기 위해서는 패딩이 수행될 수 있다. 패딩은 출력되는 출력 영상(F_out)의 크기가 작아지는 것을 방지하기 위하여, 입력 영상(F_in)의 가장자리에 특정 값(예를 들어, '0')을 주어, 입력 영상(F_in)의 사이즈를 증가시키는 것을 의미한다. 패딩을 수행한 후, 컨볼루션 연산을 수행하면, 출력 영상(F_out)의 크기가 입력 영상(F_in)의 크기와 동일할 수 있다. 다만, 이에 한정되지 않는다.
한편, 도 8에는 제1 서브 커널(710)에 대한 컨볼루션 연산 결과(출력 영상(F_out)의 제1 채널 영상(720))만 도시하였지만, Cout개의 서브 커널들에 대해서, 컨볼루션 연산을 수행하는 경우, Cout개의 채널 영상들을 포함하는 출력 영상(F_out)이 출력될 수 있다. 즉, 커널(Kernel)에 포함되는 서브 커널들의 개수에 따라, 출력 영상(F_out)의 채널 수가 결정될 수 있다.
다시, 도 6을 참조하면, 컨볼루션 레이어(620) 다음에는 활성화 레이어(630)가 위치할 수 있다
일 실시예에 따른 활성화 레이어(630)에서는 활성화 레이어(630)에 입력된 값들에 활성화 함수를 적용하는 활성화 함수 연산이 수행될 수 있다. 활성화 함수 연산은 제1 특징 정보에 대해 비선형(non-linear) 특성을 부여하는 것으로, 활성화 함수는, 시그모이드 함수(sigmoid function), Tanh 함수, ReLU(Rectified Linear Unit) 함수, leaky ReLu 함수 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
또한, 컨볼루션 뉴럴 네트워크(610)는 요소별 합산 연산을 수행하는 레이어(640)를 더 포함할 수 있다.
요소별 합산 연산은 요소별 합산 레이어(640)에 입력된 제1 입력 정보에 포함되는 값들 각각과 제2 입력 정보에 포함되는 값들 각각을 합산할 때, 동일한 위치에 있는 값들끼리 더하는 연산이다.
이에 따라, 일 실시예에 따른 유사도 정보(350)가 컨볼루션 뉴럴 네트워크(610)에 포함된 하나 이상의 컨볼루션 레이어들(620), 하나 이상의 활성화 레이어들(630) 및 하나 이상의 요소별 합산 레이어들(640)을 통과함으로써, 가중맵(650)이 출력될 수 있다.
다시, 도 2를 참조하면, 일 실시예에 따른 공간 가변 커널 생성부(230)는 가중맵 생성부(220)에서 생성된 가중맵(650)과 공간 커널에 기초하여, 공간 가변 커널을 생성할 수 있다. 이때, 공간 커널은 제1 영상(10)에 포함되는 픽셀들 각각과 주변 픽셀과의 위치 관계에 따른 가중치 정보를 나타낸다. 공간 가변 커널을 생성하는 방법에 대해서는 도 9를 참조하여, 자세히 설명하기로 한다.
도 9는 일 실시예에 따른 공간 가변 커널을 생성하는 방법을 설명하기 위해 참조되는 도면이다.
도 9를 참조하면, 공간 가변 커널 생성부(230)는 공간 커널(910) 및 가중 맵(650)을 이용하여, 공간 가변 커널(950)을 생성할 수 있다. 예를 들어, 공간 가변 커널 생성부(230)는 공간 커널(910)을 1차원 벡터(920)로 변환할 수 있다. 공간 커널(910)은 K x K의 크기를 가지며, 공간 커널(910)에 포함되는 픽셀 값들은 중심 픽셀 값이 가장 크고, 중심 픽셀에서 멀어질수록 픽셀 값이 작아진다. 공간 가변 커널 생성부(230)는 공간 커널(910)에 포함되는 픽셀 값들을 채널 방향으로 나열하여, 1 x 1 x K2의 사이즈를 가지는 가중치 벡터(920)로 변환할 수 있다.
한편, 가중맵 생성부(220)에서 생성된 가중맵(650)은 크기는 W x H 이고, 채널 수가 K2개일 수 있다.
공간 가변 커널 생성부(230)는 가중맵(650)과 가중치 벡터(920)를 곱함으로써, 공간 가변 커널(950)을 생성할 수 있다. 이때, 공간 가변 커널 생성부(230)는 가중맵(650)에 포함되는 1 x 1 x K2의 사이즈를 가지는 1차원 벡터들 각각과 1 x 1 x K2의 사이즈를 가지는 가중치 벡터(920)의 요소별 곱셈을 수행함으로써, 공간 가변 커널(950)을 생성할 수 있다.
도 9에 도시된 바와 같이, 가중맵(650)에 포함되는 1 x 1 x K2의 사이즈를 가지는 제1 벡터(651)와 가중치 벡터(920)의 요소별 곱 연산을 수행하여, 공간 가변 커널(950)에 포함되는 제2 벡터(951)를 생성할 수 있다. 이때, 가중맵(650)에서의 제1 벡터(651)의 위치와 공간 가변 커널(950)에서의 제2 벡터(951)의 위치는 서로 대응될 수 있다.
일 실시예에 따른 공간 가변 커널(950)은 가중맵(650)과 동일하게, 크기는 W x H 이고, 채널 수가 K2개일 수 있다.
도 10은 다른 실시예에 따른 공간 가변 커널을 생성하는 방법을 설명하기 위해 참조되는 도면이다.
도 10을 참조하면, 공간 가변 커널 생성부(230)는 제1 가중맵(1010)과 제1 커널(1020)과의 팽창된 컨볼루션(dilated convolution) 연산을 수행함으로써, 제2 가중맵(1030)을 생성할 수 있다. 이때, 제1 가중맵(1010)은 도 9의 가중맵(650)에 대응하는 구성일 수 있다.
팽창된 컨볼루션 연산은 커널의 크기보다 더 큰 영역에 커널을 적용하여, 컨볼루션 연산을 수행하는 것을 의미한다. 팽창된 컨볼루션 연산에 대해서는 도 11을 참조하여, 자세히 설명하기로 한다.
도 11은 일 실시예에 따른 팽창된 컨볼루션을 설명하기 위해 참조되는 도면이다.
도 11에서는 설명의 편의를 위해, 팽창된 컨볼루션 연산의 대상이 되는 입력 영상(1110)은 7 x 7의 크기를 가지며, 커널(1120)의 크기는 3 x 3인 것으로 가정한다.
일반적인 컨볼루션 연산의 경우, 입력 영상(1110)의 3 x 3의 크기를 가지는 영역에 커널(1120)이 적용될 수 있다. 예를 들어, 입력 영상(1110)의 3 x 3의 크기를 가지는 제1 영역(1131)에 포함되는 픽셀 값들과 커널에 포함되는 3 x 3의 파라미터 값들을 곱하여 합산함으로써, 출력 영상(1140)의 하나의 픽셀(1145) 값을 생성한다.
반면에, 팽창된 컨볼루션 연산의 경우, 팽창율(delation rate)에 따라, 커널(1120)이 적용되는 영역의 크기가 확장될 수 있다. 팽창율이 2인 경우, 커널이 적용되는 영역의 크기가 3 x 3에서 5 x 5 로 확장될 수 있다. 예를 들어, 도 11에 도시된 바와 같이, 5 x 5 의 크기를 가지는 제2 영역(1132)에 커널(1120)이 적용될 수 있다. 이때, 제2 영역(1120)에 포함되는 제1 내지 제9 픽셀(음영 표시된 픽셀) 값들 각각에 커널(1120)에 포함되는 9개의 파라미터 값들을 곱하여 합산함으로써, 출력 영상(1140)의 픽셀(1145) 값이 생성될 수 있다.
다시 도 10을 참조하면, 일 실시예에 따른 공간 가변 커널 생성부(230)는 제1 가중맵(1010)과 제1 커널(1020)의 서로 대응되는 채널끼리 팽창된 컨볼루션(depthwise dilated convolution) 연산을 수행하여, 제2 가중맵(1030)을 생성할 수 있다.
일 실시예에 따른 제1 가중맵(1010)은 크기는 W x H 이고, 채널 수가 K2개일 수 있다. 또한, 제1 커널(1020)의 채널 수는 제1 가중맵(1010)의 채널 수와 동일한 K2개일 수 있다. 이에 따라, 제1 커널(1020)은 채널 방향으로 K2개의 서브 커널들을 포함할 수 있다.
공간 가변 커널 생성부(230)는 제1 가중맵(1010)에 포함되는 하나의 채널 영상과 상기 채널 영상에 대응되는, 하나의 서브 커널과의 팽창된 컨볼루션 연산을 수행하여, 제2 가중맵(1030)에 포함되는 하나의 채널 영상을 생성할 수 있다. 예를 들어, 공간 가변 커널 생성부(230)는 제1 가중맵(1010)의 제1 채널 영상과 제1 커널(1020)에 포함되는 제1 서브 커널(1021)과의 팽창된 컨볼루션 연산을 수행하여, 제2 가중맵(1030)의 제1 채널 영상을 생성할 수 있다.
공간 가변 커널 생성부(230)는 상기와 동일한 방법으로, 제1 가중맵(1010)의 제2 내지 제 K2 채널 영상들 각각과 제2 내지 제 K2 서브 커널들 각각의 팽창된 컨볼루션 연산을 수행함으로써, 제2 가중맵(1030)에 포함되는 제2 내지 제 K2 채널 영상들을 생성할 수 있다.
공간 가변 커널 생성부(230)는 공간 커널(910)을 1 x 1 x K2의 사이즈를 가지는 가중치 벡터(920)로 변환하고, 제2 가중맵(1030)과 가중치 벡터(920)를 곱함으로써, 공간 가변 커널(1050)을 생성할 수 있다. 이때, 공간 가변 커널 생성부(230)는 제2 가중맵(1030)에 포함되는 1 x 1 x K2의 사이즈를 가지는 1차원 벡터들 각각과 1 x 1 x K2의 사이즈를 가지는 가중치 벡터(920)의 요소별 곱셈을 수행함으로써, 공간 가변 커널(1050)을 생성할 수 있다. 이에 대해서는, 도 9에서 자세히 설명하였으므로, 동일한 설명은 생략하기로 한다.
다시 도 2를 참조하면, 공간 가변 커널 생성부(230)는 생성된 공간 가변 커널(950, 1050)을 필터부(240)로 출력하고, 필터부(240)는 제1 영상(10)을 입력 받아, 제1 영상(10)에 공간 가변 커널(950, 1050)을 적용함으로써, 제2 영상(20)을 생성할 수 있다. 제1 영상(10)에 공간 가변 커널(950, 1050)을 적용하여, 제2 영상(20)을 생성하는 방법에 대해서는 도 12를 참조하여, 자세히 설명하기로 한다.
도 12는 일 실시예에 따른 제1 영상에 공간 가변 커널을 적용하는 방법을 설명하기 위해 참조되는 도면이다.
도 12를 참조하면, 일 실시예에 따른 공간 가변 커널(1150)은 도 9의 공간 가변 커널(950) 또는 도 10의 공간 가변 커널(1050)일 수 있으나, 이에 한정되지 않는다.
공간 가변 커널(1150)은 제1 영상(10)에 포함되는 픽셀들 각각에 대응하는 커널 벡터를 포함할 수 있다. 예를 들어, 공간 가변 커널(1150)은 제1 영상(10)에 포함되는 제1 픽셀(1210)에 대응하는 제1 커널 벡터(1151)를 포함할 수 있으며, 제1 영상(10)에 포함되는 제2 픽셀(1220)에 대응하는 제2 커널 벡터(1152)를 포함할 수 있다. 또한, 공간 가변 커널(1150)은 제1 영상(10)에 포함되는 제3 픽셀(1230)에 대응하는 제3 커널 벡터(1153)를 포함할 수 있다.
필터부(240)는 1 x 1 x K2의 크기를 가지는 1차원 형태의 커널 벡터를 K x K의 크기를 가지는 2차원 형태의 커널로 변환할 수 있다. 예를 들어, 제1 커널 벡터(1151)를 제1 커널(1215)로, 제2 커널 벡터(1152)를 제2 커널(1225)로, 제3 커널 벡터(1153)를 제3 커널(1235)로 변환할 수 있다.
필터부(240)는 제1 영상(10)에 포함되는 제1 픽셀(1210)을 중심으로 하는 제1 영역에 제1 커널(1215)을 적용하여 필터링을 수행함으로써, 제2 영상(20)의 제4 픽셀(1240) 값을 계산할 수 있다. 또한, 필터부(240)는 제1 영상(10)에 포함되는 제2 픽셀(1220)을 중심으로 하는 제2 영역에 제2 커널(1225)을 적용하여 필터링을 수행함으로써, 제2 영상(20)의 제5 픽셀(1250) 값을 계산할 수 있다. 또한, 필터부(240)는 제1 영상(10)에 포함되는 제3 픽셀(1230)을 중심으로 하는 제3 영역에 제3 커널(1235)을 적용하여 필터링을 수행함으로써, 제2 영상(20)의 제6 픽셀(1260) 값을 계산할 수 있다.
이와 동일한 방법으로, 필터부(240)는 제1 영상(10)에 포함되는 픽셀들 각각에 대응하는 커널을, 제1 영상(10)에 포함되는 픽셀들 각각을 중심으로 하는 영역에 적용하여, 필터링을 수행함으로써, 제2 영상(20)에 포함되는 픽셀 값들을 계산할 수 있다.
도 13은 일 실시예에 따른 영상 처리 장치의 동작방법을 나타내는 흐름도이다.
도 13을 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 제1 영상에 포함되는 픽셀들 각각과 픽셀들 각각의 주변 픽셀과의 유사도 정보를 획득할 수 있다(S1310).
일 실시예에 따른 영상 처리 장치(100)는 제1 영상에 포함되는 복수의 픽셀들 중 제1 픽셀을 중심으로 하는 제1 영역에 포함되는 K2개의 픽셀들 각각과 제1 픽셀의 차이 값을 계산할 수 있다. 영상 처리 장치(100)는 제1 픽셀에 대해서 K2개의 차이 값들을 획득할 수 있으며, K2개의 차이 값들 각각은 유사도 정보에 포함되는 채널 영상들 각각에서, 제1 픽셀에 대응하는 픽셀 값으로 결정될 수 있다. 이에 따라, 유사도 정보의 크기는 제1 영상과 동일하고, 채널 수가 K2개일 수 있다.
일 실시예에 따른 유사도 정보를 생성하는 방법은 도 3 내지 도 5를 참조하여 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
영상 처리 장치(100)는 유사도 정보에 기초하여, 가중맵을 생성할 수 있다(S1320).
예를 들어, 영상 처리 장치(100)가 픽셀 값이 유사한 주변 픽셀들에 큰 가중치를 주어, 영상 처리를 수행하는 경우, 영상 처리된 영상의 화질이 개선될 수 있다. 이에 따라, 영상 처리 장치(100)는 제1 영상에 포함되는 픽셀들 각각과 주변 픽셀들과의 유사도 정보에 기초하여, 픽셀들 각각에 대응하는 가중치 정보를 나타내는 가중맵을 생성할 수 있다.
영상 처리 장치(100)는 유사도 정보를 컨볼루션 뉴럴 네트워크에 입력할 수 있고, 입력된 유사도 정보가 컨볼루션 뉴럴 네트워크를 통과함으로써, 가중맵이 생성될 수 있다. 이때, 컨볼루션 뉴럴 네트워크는 하나 이상의 컨볼루션 레이어들, 하나 이상의 활성화 레이어들 및 하나 이상의 요소별 합산 레이어들을 포함할 수 있다. 가중맵을 생성하는 방법에 대해서는 도 6 내지 8을 참조하여 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 공간 커널과 가중맵에 기초하여, 공간 가변 커널을 생성할 수 있다(S1330).
예를 들어, 영상 처리 장치(100)는 공간 커널을 1차원 벡터로 변환할 수 있다. 공간 커널은 K x K의 크기를 가지며, 공간 커널에 포함되는 픽셀 값들은 중심 픽셀 값이 가장 크고, 중심 픽셀에서 멀어질수록 픽셀 값이 작아진다. 영상 처리 장치(100)는 공간 커널에 포함되는 픽셀 값들을 채널 방향으로 나열하여, 1 x 1 x K2의 사이즈를 가지는 가중치 벡터로 변환할 수 있다.
1320 단계(S1320)에서 생성된 가중맵의 크기는 W x H 이고, 채널 수가 K2개일 수 있다.
영상 처리 장치(100)는 가중맵과 가중치 벡터를 곱함으로써, 공간 가변 커널을 생성할 수 있다. 이때, 영상 처리 장치(100)는 가중맵에 포함되는 1 x 1 x K2의 사이즈를 가지는 1차원 벡터들 각각과 1 x 1 x K2의 사이즈를 가지는 가중치 벡터의 요소별 곱셈을 수행함으로써, 공간 가변 커널을 생성할 수 있다.
공간 가변 커널을 생성하는 방법에 대해서는 도 9 내지 도 11을 참조하여 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.
일 실시예에 따른 영상 처리 장치(100)는 제1 영상에 공간 가변 커널을 적용함으로써, 제2 영상을 생성할 수 있다(S1340).
1330 단계(S1330)에서 생성된 공간 가변 커널은 제1 영상에 포함되는 픽셀들 각각에 대응하는 커널 벡터를 포함할 수 있다. 예를 들어, 공간 가변 커널은 제1 영상에 포함되는 제1 픽셀에 대응하는 제1 커널 벡터를 포함할 수 있으며, 제1 영상에 포함되는 제2 픽셀에 대응하는 제2 커널 벡터를 포함할 수 있다.
영상 처리 장치(100)는 1x1x K2의 크기를 가지는 1차원 형태의 커널 벡터를 K x K의 크기를 가지는 2차원 형태의 커널로 변환할 수 있다. 예를 들어, 제1 커널 벡터를 2차원 형태의 제1 커널로, 제2 커널 벡터를 2차원 형태의 제2 커널로 변환할 수 있다.
영상 처리 장치(100)는 제1 픽셀을 중심으로 하는 영역에 제1 커널을 적용하여 필터링을 수행함으로써, 제2 영상에 포함되는 제3 픽셀 값을 계산하고, 제2 픽셀을 중심으로 하는 영역에 제2 커널을 적용하여 필터링을 수행함으로써, 제2 영상에 포함되는 제4 픽셀 값을 계산할 수 있다.
이에 따라, 영상 처리 장치(100)는 제1 영상의 필터링을 수행할 때, 중심 픽셀의 위치에 따라 상이한 커널을 적용하여 필터링을 수행할 수 있다.
도 14는 일 실시예에 따른 영상 처리 장치의 구성을 나타내는 블록도이다.
도 14를 참조하면, 일 실시예에 따른 영상 처리 장치(100)는 프로세서(120) 및 메모리(130)를 포함할 수 있다.
일 실시예에 따른 프로세서(120)는 영상 처리 장치(100)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(120)는 메모리(130)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.
일 실시예에 따른 메모리(130)는 영상 처리 장치(100)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(130)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(130)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(120)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(120)는 CPU(Cetral Processing Unit), GPU (Graphic Processing Unit) 및 VPU(Video Processing Unit) 중 적어도 하나를 포함할 수 있다. 또는, 실시예에 따라, CPU, GPU 및 VPU 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 또는, 프로세서(120)는 NPU(Neural Processing Unit)를 더 포함할 수 있다.
일 실시예에 따른 프로세서(120)는 영상 처리 네트워크(30)를 이용하여, 입력 영상의 노이즈를 제거하면서, 세밀한 가장자리 처리와 텍스쳐를 유지하는 디노이징을 수행한 출력 영상을 생성할 수 있다. 예를 들어, 프로세서(120)는 도 2 내지 도 12에서 도시하고 설명한 유사도 산출부(210), 가중맵 생성부(220), 공간 가변 커널 생성부(230), 및 필터부(240) 의 동작들 중 적어도 하나를 수행할 수 있다.
프로세서(120)는 제1 영상에 포함되는 복수의 픽셀들 각각과 픽셀들 각각의 주변 픽셀과의 유사도 정보를 획득할 수 있다. 예를 들어, 프로세서(120)는 제1 영상에 포함되는 픽셀들 각각과 픽셀들 각각에 대해 제1 상대적 위치를 가지는 제1 주변 픽셀과의 차이에 기초하여, 제1 유사도 정보를 획득할 수 있다. 또한, 프로세서(120)는 제1 영상에 포함되는 픽셀들 각각과, 픽셀들 각각에 대해 제2 상대적 위치를 가지는 제2 주변 픽셀과의 차이에 기초하여, 제2 유사도 정보를 획득할 수 있다.
프로세서(120)는 유사도 정보에 기초하여, 가중맵을 생성할 수 있다. 프로세서(120)는 유사도 정보를 컨볼루션 뉴럴 네트워크에 입력하고, 입력된 유사도 정보가 컨볼루션 뉴럴 네트워크를 통과함으로써 가중맵이 출력될 수 있다. 이때, 컨볼루션 뉴럴 네트워크는 하나 이상의 컨볼루션 레이어들, 하나 이상의 활성화 레이어들 및 하나 이상의 요소별 합산 레이어들을 포함할 수 있다. 가중맵을 생성하는 방법에 대해서는 도 6 내지 8을 참조하여 자세히 설명하였으므로 구체적인 설명은 생략하기로 한다.
프로세서(120)는 공간 커널과 가중맵에 기초하여, 공간 가변 커널을 생성할 수 있다. 예를 들어, 프로세서(120)는 공간 커널을 1차원 벡터로 변환할 수 있다. 공간 커널은 K x K의 크기를 가지며, 공간 커널에 포함되는 픽셀 값들은 중심 픽셀 값이 가장 크고, 중심 픽셀에서 멀어질수록 픽셀 값이 작아진다. 프로세서(120)는 공간 커널에 포함되는 픽셀 값들을 채널 방향으로 나열하여, 1 x 1 x K2의 사이즈를 가지는 가중치 벡터로 변환할 수 있다. 일 실시예에 따른 가중맵의 크기는 W x H 이고, 채널 수가 K2개일 수 있으며, 프로세서(100)는 가중맵과 가중치 벡터를 곱함으로써, 공간 가변 커널을 생성할 수 있다. 이때, 프로세서(120)는 가중맵에 포함되는 1 x 1 x K2의 사이즈를 가지는 1차원 벡터들 각각과 1 x 1 x K2의 사이즈를 가지는 가중치 벡터의 요소별 곱셈을 수행함으로써, 공간 가변 커널을 생성할 수 있다.
프로세서(120)는 제1 영상에 공간 가변 커널을 적용함으로써, 제2 영상을 생성할 수 있다. 공간 가변 커널은 제1 영상에 포함되는 픽셀들 각각에 대응하는 커널 벡터를 포함할 수 있다. 예를 들어, 공간 가변 커널은 제1 영상에 포함되는 제1 픽셀에 대응하는 제1 커널 벡터를 포함할 수 있으며, 제1 영상에 포함되는 제2 픽셀에 대응하는 제2 커널 벡터를 포함할 수 있다.
프로세서(120)는 1 x 1 x K2의 크기를 가지는 1차원 형태의 커널 벡터를 K x K의 크기를 가지는 2차원 형태의 커널로 변환할 수 있다. 예를 들어, 제1 커널 벡터를 2차원 형태의 제1 커널로, 제2 커널 벡터를 2차원 형태의 제2 커널로 변환할 수 있다. 프로세서(120)는 제1 픽셀을 중심으로 하는 영역에 제1 커널을 적용하여 필터링을 수행함으로써, 제2 영상에 포함되는 제3 픽셀 값을 계산하고, 제2 픽셀을 중심으로 하는 영역에 제2 커널을 적용하여 필터링을 수행함으로써, 제2 영상에 포함되는 제4 픽셀 값을 계산할 수 있다.
한편, 일 실시예에 따른 영상 처리 네트워크(30)는, 서버 또는 외부 장치에 의해 훈련된 네트워크일 수 있다. 외부 장치는 훈련 데이터에 기초하여, 영상 처리 네트워크(30)를 학습시킬 수 있다. 이때, 훈련 데이터는 노이즈가 포함된 영상 데이터와 노이즈는 제거되면서, 엣지 특성이나 텍스쳐 특성은 보존되는 영상 데이터를 포함하는 복수의 데이터 세트들을 포함할 수 있다.
서버 또는 외부 장치는 영상 처리 네트워크(30)에 포함된 복수의 컨볼루션 레이어들 각각에서 이용되는 커널들에 포함되는 파라미터 값들을 결정할 수 있다. 예를 들어, 서버 또는 외부 장치는 영상 처리 네트워크(30)에 의해 생성된 영상 데이터와 훈련 데이터로써의 노이즈는 제거되면서, 엣지 특성은 보존되는 영상 데이터의 차이(손실 정보)를 최소화하는 방향으로 파라미터 값들을 결정할 수 있다.
일 실시예에 따른 영상 처리 장치(100)는 서버 또는 외부 장치로부터 훈련이 완료된 영상 처리 네트워크(30)를 수신하여, 메모리(130)에 저장할 수 있다. 예를 들어, 메모리(130)는 일 실시예에 따른 영상 처리 네트워크(30)의 구조 및 파라미터 값들을 저장할 수 있으며, 프로세서(120)는 메모리(130)에 저장된 파라미터 값들을 이용하여, 일 실시예에 따른 제1 영상으로부터 노이즈는 제거되면서, 엣지 특성은 보존되는 제2 영상을 생성할 수 있다.
한편, 도 14에 도시된 영상 처리 장치(100)의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상 처리 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
일 실시예에 따른 영상 처리 장치의 동작방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
또한, 개시된 실시예들에 따른 영상 처리 장치 및 영상 처리 장치의 동작방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 클라이언트 장치로 구성되는 시스템에서, 서버의 저장매체 또는 클라이언트 장치의 저장매체를 포함할 수 있다. 또는, 서버 또는 클라이언트 장치와 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 클라이언트 장치 또는 제3 장치로 전송되거나, 제3 장치로부터 클라이언트 장치로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 클라이언트 장치 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 클라이언트 장치 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 클라이언트 장치가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (21)

  1. 영상 처리 장치에 있어서,
    하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    제1 영상에 포함되는 픽셀들 각각과 상기 픽셀들 각각의 주변 픽셀과의 유사도를 나타내는 유사도 정보를 획득하고,
    상기 유사도 정보에 기초하여, 상기 픽셀들 각각에 대응하는 가중치 정보를 포함하는 가중맵을 생성하고,
    상기 픽셀들 각각과 상기 주변 픽셀과의 위치 관계에 따른 가중치 정보를 포함하는 공간 커널(spatial kernel)과 상기 가중맵에 기초하여, 상기 픽셀들 각각에 대응하는 커널을 포함하는 공간 가변 커널을 생성하고,
    상기 제1 영상에 상기 공간 가변 커널(spatially variant kernel)을 적용함으로써, 제2 영상을 생성하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 영상에 포함되는 픽셀들 각각과, 상기 픽셀들 각각에 대해 제1 상대적 위치를 가지는 제1 주변 픽셀과의 차이에 기초하여, 제1 유사도 정보를 획득하고,
    상기 제1 영상에 포함되는 픽셀들 각각과, 상기 픽셀들 각각에 대해 제2 상대적 위치를 가지는 제2 주변 픽셀과의 차이에 기초하여, 제2 유사도 정보를 획득하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    컨볼루션 뉴럴 네트워크를 이용하여, 상기 유사도 정보와 상기 컨볼루션 뉴럴 네트워크에 포함되는 하나 이상의 커널들과의 컨볼루션 연산을 수행함으로써, 상기 가중맵을 생성하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 유사도 정보, 상기 가중 맵 및 상기 공간 가변 커널 중 적어도 하나의 채널 개수는 상기 공간 커널의 사이즈에 기초하여 결정되는, 영상 처리 장치.
  5. 제1항에 있어서,
    상기 공간 커널은,
    상기 공간 커널의 중심에 위치한 픽셀이 가장 큰 값을 가지고, 상기 중심에서 멀어질수록 픽셀 값이 작아지는, 영상 처리 장치.
  6. 제1항에 있어서,
    상기 공간 커널의 사이즈는 K x K 이고, 상기 가중맵의 채널 개수는 K2이며,
    상기 프로세서는,
    상기 공간 커널에 포함되는 픽셀 값들을 채널 방향으로 나열하여, 1 x 1 x K2의 사이즈를 가지는 가중치 벡터로 변환하고,
    상기 가중맵에 포함되는 1 x 1 x K2의 사이즈를 가지는 1차원 벡터들 각각과 상기 가중치 벡터의 곱셈 연산을 수행함으로써, 상기 공간 가변 커널을 생성하는, 영상 처리 장치.
  7. 제1항에 있어서,
    상기 공간 가변 커널은, 상기 제1 영상에 포함되는 픽셀들의 개수와 동일한 개수의 커널들을 포함하는, 영상 처리 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 영상에 포함되는 제1 픽셀을 중심으로 하는 제1 영역에 상기 공간 가변 커널에 포함된 제1 커널을 적용하여, 필터링을 수행하고,
    상기 제1 영상에 포함되는 제2 픽셀을 중심으로 하는 제2 영역에 상기 공간 변환 커널에 포함되는 제2 커널을 적용하여, 필터링을 수행함으로써, 상기 제2 영상을 생성하는, 영상 처리 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    컨볼루션 뉴럴 네트워크를 이용하여, 상기 유사도 정보와 상기 컨볼루션 뉴럴 네트워크에 포함되는 하나 이상의 커널들과의 컨볼루션 연산을 수행함으로써, 제1 가중맵을 생성하고,
    상기 제1 가중맵과 제1 커널과의 팽창된 컨볼루션(dilated convolution) 연산을 수행함으로써, 상기 가중맵을 생성하는, 영상 처리 장치.
  10. 제9항에 있어서,
    상기 제1 가중맵의 채널 수와 상기 제1 커널의 채널 수는 동일하고,
    상기 프로세서는,
    상기 제1 가중맵과 상기 제1 커널의 서로 대응되는 채널끼리 팽창된 컨볼루션 연산(depthwise dilated convolution)을 수행함으로써, 상기 가중맵을 생성하는, 영상 처리 장치.
  11. 영상 처리 장치의 동작방법에 있어서,
    제1 영상에 포함되는 픽셀들 각각과 상기 픽셀들 각각의 주변 픽셀과의 유사도를 나타내는 유사도 정보를 획득하는 단계;
    상기 유사도 정보에 기초하여, 상기 픽셀들 각각에 대응하는 가중치 정보를 포함하는 가중맵을 생성하는 단계;
    상기 픽셀들 각각과 상기 주변 픽셀과의 위치 관계에 따른 가중치 정보를 포함하는 공간 커널(spatial kernel)과 상기 가중맵에 기초하여, 상기 픽셀들 각각에 대응하는 커널을 포함하는 공간 가변 커널을 생성하는 단계; 및
    상기 제1 영상에 상기 공간 가변 커널(spatially variant kernel)을 적용함으로써, 제2 영상을 생성하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  12. 제11항에 있어서,
    상기 유사도 정보를 획득하는 단계는,
    상기 제1 영상에 포함되는 픽셀들 각각과, 상기 픽셀들 각각에 대해 제1 상대적 위치를 가지는 제1 주변 픽셀과의 차이에 기초하여, 제1 유사도 정보를 획득하는 단계; 및
    상기 제1 영상에 포함되는 픽셀들 각각과, 상기 픽셀들 각각에 대해 제2 상대적 위치를 가지는 제2 주변 픽셀과의 차이에 기초하여, 제2 유사도 정보를 획득하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  13. 제11항에 있어서,
    상기 가중맵을 생성하는 단계는,
    컨볼루션 뉴럴 네트워크를 이용하여, 상기 유사도 정보와 상기 컨볼루션 뉴럴 네트워크에 포함되는 하나 이상의 커널들과의 컨볼루션 연산을 수행함으로써, 상기 가중맵을 생성하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  14. 제11항에 있어서,
    상기 유사도 정보, 상기 가중 맵 및 상기 공간 가변 커널 중 적어도 하나의 채널 개수는, 상기 공간 커널의 사이즈에 기초하여 결정되는, 영상 처리 장치의 동작방법.
  15. 제11항에 있어서,
    상기 공간 커널은,
    상기 공간 커널의 중심에 위치한 픽셀이 가장 큰 값을 가지고, 상기 중심에서 멀어질수록 픽셀 값이 작아지는, 영상 처리 장치의 동작방법.
  16. 제11항에 있어서,
    상기 공간 커널의 사이즈는 K x K 이고, 상기 가중맵의 채널 개수는 K2이며,
    상기 공간 가변 커널을 생성하는 단계는,
    상기 공간 커널에 포함되는 픽셀 값들을 채널 방향으로 나열하여, 1 x 1 x K2의 사이즈를 가지는 가중치 벡터로 변환하는 단계; 및
    상기 가중맵에 포함되는 1 x 1 x K2의 사이즈를 가지는 1차원 벡터들 각각과 상기 가중치 벡터의 곱셈 연산을 수행함으로써, 상기 공간 가변 커널을 생성하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  17. 제11항에 있어서,
    상기 공간 가변 커널은,
    상기 제1 영상에 포함되는 픽셀들의 개수와 동일한 개수의 커널들을 포함하는, 영상 처리 장치의 동작방법.
  18. 제17항에 있어서,
    상기 제2 영상을 생성하는 단계는,
    상기 제1 영상에 포함되는 제1 픽셀을 중심으로 하는 제1 영역에 상기 공간 가변 커널에 포함된 제1 커널을 적용하여, 필터링을 수행하는 단계; 및
    상기 제1 영상에 포함되는 제2 픽셀을 중심으로 하는 제2 영역에 상기 공간 변환 커널에 포함되는 제2 커널을 적용하여, 필터링을 수행하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  19. 제11항에 있어서,
    상기 가중맵을 생성하는 단계는,
    컨볼루션 뉴럴 네트워크를 이용하여, 상기 유사도 정보와 상기 컨볼루션 뉴럴 네트워크에 포함되는 하나 이상의 커널들과의 컨볼루션 연산을 수행함으로써, 제1 가중맵을 생성하는 단계; 및
    상기 제1 가중맵과 제1 커널과의 확장 컨볼루션(dilated convolution) 연산을 수행함으로써, 상기 가중맵을 생성하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  20. 제19항에 있어서,
    상기 제1 가중맵에 포함되는 채널 수와 상기 제1 커널에 포함되는 채널 수는 동일하고,
    상기 가중맵을 생성하는 단계는,
    상기 제1 가중맵과 상기 제1 커널의 서로 대응되는 채널끼리 팽창된 컨볼루션 연산(depthwise dilated convolution)을 수행함으로써, 상기 가중맵을 생성하는 단계를 포함하는, 영상 처리 장치의 동작방법.
  21. 제11항의 방법을 수행하도록 하는 프로그램이 저장된 하나 이상의 컴퓨터로 읽을 수 있는 기록매체.
KR1020210090897A 2021-03-04 2021-07-12 영상 처리 장치 및 그 동작방법 KR20220125124A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2022/002063 WO2022186499A1 (ko) 2021-03-04 2022-02-11 영상 처리 장치 및 그 동작방법
EP22763483.9A EP4276699A4 (en) 2021-03-04 2022-02-11 IMAGE PROCESSING DEVICE AND OPERATING METHOD THEREFOR
US17/687,343 US20220284555A1 (en) 2021-03-04 2022-03-04 Image processing apparatus and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210029087 2021-03-04
KR1020210029087 2021-03-04

Publications (1)

Publication Number Publication Date
KR20220125124A true KR20220125124A (ko) 2022-09-14

Family

ID=83279184

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210090897A KR20220125124A (ko) 2021-03-04 2021-07-12 영상 처리 장치 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR20220125124A (ko)

Similar Documents

Publication Publication Date Title
Su et al. Pixel-adaptive convolutional neural networks
KR102288280B1 (ko) 영상 학습 모델을 이용한 영상 생성 방법 및 장치
KR102570562B1 (ko) 영상 처리 장치 및 그 동작방법
CN109308679A (zh) 一种图像风格转换方及装置、设备、存储介质
KR102236582B1 (ko) 영상 처리 장치 및 그 동작방법
KR102420104B1 (ko) 영상 처리 장치 및 그 동작방법
KR102102182B1 (ko) 영상 복원 장치 및 방법
KR20200067631A (ko) 영상 처리 장치 및 그 동작방법
KR20200132305A (ko) 전자 장치가 뉴럴 네트워크 내의 소정 레이어에서 컨볼루션 연산을 수행하는 방법 및 그 방법을 수행하는 전자 장치
US20230214971A1 (en) Image processing device and operating method therefor
CN112689849A (zh) 图像处理装置及其操作方法
CN114830168B (zh) 图像重建方法、电子设备和计算机可读存储介质
KR20220157869A (ko) 영상 처리 장치 및 그 동작 방법
US12086953B2 (en) Image processing device and operating method thereof
KR20220125124A (ko) 영상 처리 장치 및 그 동작방법
CN118115394A (zh) 退化图像修复方法、装置、设备及存储介质
US20230073175A1 (en) Method and system for processing image based on weighted multiple kernels
EP4276699A1 (en) Image processing device and operating method therefor
KR20220125127A (ko) 영상 처리 장치 및 그 동작방법
US20230169752A1 (en) Image processing apparatus and operating method thereof
KR101866135B1 (ko) 2d 영상에 대한 깊이 정보 생성 장치 및 방법과 이에 관한 기록 매체
CN111488888A (zh) 图像特征提取方法以及人脸特征生成设备
KR20240149325A (ko) 동영상 처리 방법 및 장치
EP4276734A1 (en) Image processing device and operation method thereof
EP4276744A1 (en) Image processing apparatus and operating method therefor

Legal Events

Date Code Title Description
A201 Request for examination