KR101028628B1 - 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 - Google Patents

영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR101028628B1
KR101028628B1 KR1020080135222A KR20080135222A KR101028628B1 KR 101028628 B1 KR101028628 B1 KR 101028628B1 KR 1020080135222 A KR1020080135222 A KR 1020080135222A KR 20080135222 A KR20080135222 A KR 20080135222A KR 101028628 B1 KR101028628 B1 KR 101028628B1
Authority
KR
South Korea
Prior art keywords
texture
image
pixel
texture image
filtering
Prior art date
Application number
KR1020080135222A
Other languages
English (en)
Other versions
KR20100077307A (ko
Inventor
이승용
이현준
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020080135222A priority Critical patent/KR101028628B1/ko
Publication of KR20100077307A publication Critical patent/KR20100077307A/ko
Application granted granted Critical
Publication of KR101028628B1 publication Critical patent/KR101028628B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

양방향 필터링 기법 및 다중 해상도 처리 기법으로 영상의 텍스쳐를 필터링하여 텍스쳐 정보 및 구조 정보를 산출하는 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치가 개시된다. 영상 텍스쳐 필터링 방법은, (a) 영상의 텍스쳐 정보를 추출하는 단계 및 (b) 추출된 텍스쳐 정보를 이용하여 영상을 양방향 텍스쳐 필터링하는 단계를 포함한다. 따라서 더 자연스럽고 안정적인 구조 정보를 보여 주고, 서로 다른 텍스쳐 사이의 경계면에서 텍스쳐 정보를 보다 더 효과적으로 분할할 수 있으며, 영상의 상세 정보를 보다 더 효과적으로 나타낼 수 있다.
영상, 텍스쳐, 필터링, 구조, 양방향

Description

영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치{IMAGE TEXTURE FILTERING METHOD, STORAGE MEDIUM OF STORING PROGRAM FOR EXECUTING THE SAME AND APPARATUS PERFORMING THE SAME}
본 발명은 영상 처리 방법에 관한 것으로서, 더욱 상세하게는 영상의 텍스쳐를 필터링하여 텍스쳐 정보와 구조 정보를 산출하는 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치에 관한 것이다.
영상 필터링(Image Filtering)은 영상 처리(Image Processing)의 기본 작업 중의 하나이다. 필터링은 영상의 각 화소에 어떤 함수를 적용시켜 영상의 정보를 더 효과적으로 드러내는 것이다. 필터링 기법 중 영상 평탄화(Image Smoothing)는 영상의 노이즈나 지나치게 자세한 상세 정보(Detail Information)를 제거한다. 가우시안 평탄화(Gaussian Smoothing)는 평탄화 기법의 기본 기법으로서, 영상의 큰 구조까지 평탄화하여 영상의 내용을 파악하기 어렵게 한다는 단점이 있다.
이러한 가우시안 평탄화의 단점을 해결하기 위하여 다양한 평탄화 기법이 연구되었는데, 그 중 양방향 필터링(Bilateral Filtering) 기법은 영상을 평탄화할 때 영상의 색차에 따른 경계 부분을 보존하면서 영상을 효과적으로 평탄화하는 기 법이다.
한편, 영상의 스타일을 찾아내고 분석하는 텍스쳐 분석(Texture Analysis)은, 컴퓨터 비전(Computer Vision) 및 영상 처리의 한 분야로서, 영상에 존재하는 텍스쳐의 형태, 크기, 방향 등을 분석하는 방법인데, 이를 이용하여 영상 분할(Image Segmentation), 영상 분류(Image Classification) 등을 수행할 수 있다.
그런데 종래의 영상 상세 정보 부각(Image Detail Enhancement) 기법은 단순히 영상의 상세 정보를 부각시키거나 영상의 품질을 향상시키는 수준에 그치고, 기존의 구조-텍스쳐 분리 (Structure-Texture Decomposition) 기법이나 영상 텍스쳐 분할(Image Texture Segmentation) 기법도 텍스쳐의 경계의 처리에 있어서 부자연스러운 결과를 낳았다. 또한 종래 기술로는 복잡한 영상의 텍스쳐 경계에서 서로 다른 텍스쳐 정보를 효과적으로 구분해 내기 어려운 면이 있었다.
따라서 본 발명의 제1 목적은 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법을 제공하는 것이다.
그리고 본 발명의 제2 목적은 양방향 텍스쳐 필터링 기법을 이용한 다중 해상도 영상 텍스쳐 필터링 방법을 제공하는 것이다.
또한 본 발명의 제3 목적은 상기와 같은 영상 텍스쳐 필터링 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체를 제공하는 것이다.
그리고 본 발명의 제4 목적은 상기와 같은 다중 해상도 영상 텍스쳐 필터링 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체를 제공하는 것이다.
또한 본 발명의 제5 목적은 상기와 같은 방법을 수행하는 영상 텍스쳐 필터링 장치를 제공하는 것이다.
마지막으로 본 발명의 제6 목적은 상기와 같은 방법을 수행하는 다중 해상도 영상 텍스쳐 필터링 장치를 제공하는 것이다.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 실시예에 따른 양 방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법은, (a) 영상의 텍스쳐 정보를 추출하는 단계 및 (b) 추출된 상기 텍스쳐 정보를 이용하여 상기 영상을 양방향 텍스쳐 필터링하는 단계를 포함한다.
상기 텍스쳐 정보는 상기 영상의 화소별 색상 히스토그램 및 화소별 구조 텐서 정보 중 적어도 하나를 포함할 수 있다.
상기 화소별 색상 히스토그램은 상기 영상의 특정 중심 화소의 색상 값 및 상기 특정 화소로부터 미리 정하여진 범위 내의 주변 화소의 색상 값에 기초하여 계산되고, 상기 화소별 구조 텐서 정보는 상기 영상의 특정 중심 화소의 구조 텐서 및 상기 특정 화소로부터 소정의 범위 내의 주변 화소의 구조 텐서에 기초하여 계산될 수 있다.
상기 화소별 구조 텐서 정보는 상기 중심 화소의 구조 텐서 및 상기 주변 화소의 구조 텐서의 평균값일 수 있다.
상기 구조 텐서는 화소의 그라디언트 값에 기초할 수 있다.
상기 영상 텍스쳐 필터링 방법은, (c) 필터링된 텍스쳐 영상을 이용하여 상기 영상의 구조 정보를 획득하는 단계를 더 포함할 수 있다.
상기 (c) 단계는, 상기 영상의 특정 중심 화소 및 상기 특정 화소로부터 소정의 범위 내의 주변 화소에 대하여 상기 중심 화소 및 상기 주변 화소간의 거리와, 상기 중심 화소의 텍스쳐 정보 및 상기 주변 화소의 텍스쳐 정보간의 거리에 기초하여 상기 영상의 상기 구조 정보를 산출할 수 있다.
상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 실시예에 따른 양 방향 텍스쳐 필터링 기법을 이용한 다중 해상도 영상 텍스쳐 필터링 방법은, (a) 영상을 양방향 텍스쳐 필터링하여 제1 텍스쳐 영상을 획득하는 단계와, (b) 상기 제1 텍스쳐 영상을 미리 정하여진 배수로 다운샘플링하여 제2 텍스쳐 영상을 획득하는 단계와, (c) 상기 제2 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성하는 단계와, (d) 상기 제2 텍스쳐 영상을 상기 미리 정하여진 배수로 업샘플링하고 상기 지역적 평탄도 배열을 이용하여 제3 텍스쳐 영상을 획득하는 단계를 포함한다.
상기 (a) 단계는, 상기 영상의 텍스쳐 정보를 추출하는 단계 및 추출된 상기 텍스쳐 정보를 이용하여 상기 영상을 양방향 텍스쳐 필터링하여 상기 제1 텍스쳐 영상을 획득하는 단계를 포함할 수 있다.
상기 (c) 단계는, 상기 제2 텍스쳐 영상을 양방향 텍스쳐 필터링하여 제4 텍스쳐 영상을 획득하는 단계 및 상기 제4 텍스쳐 영상으로부터 상기 지역적 평탄도 배열을 생성하는 단계를 포함할 수 있다.
상기 (c) 단계는, 상기 제2 텍스쳐 영상의 특정 중심 화소 및 상기 특정 화소로부터 소정의 범위 내의 주변 화소에 대하여 상기 중심 화소 및 상기 주변 화소간의 거리와, 상기 중심 화소의 영상 히스토그램 및 상기 주변화소의 히스토그램간의 거리와, 상기 중심 화소의 구조 텐서 및 상기 주변 화소의 구조 텐서간의 거리에 기초하여 상기 지역적 평탄도 배열의 화소별 원소를 산출할 수 있다.
화소의 영상 히스토그램간의 거리는 쿨백-라이블러 발산을 이용하여 계산될 수 있다.
상기 (d) 단계는, 상기 제2 텍스쳐 영상 및 상기 지역적 평탄도 배열을 상기 미리 정하여진 배수로 확대하는 단계 및 확대된 상기 지역적 평탄도 배열을 이용하여 상기 제1 텍스쳐 영상 및 확대된 상기 제2 텍스쳐 영상을 병합하여 상기 제1 텍스쳐 영상과 동일한 크기의 상기 제3 텍스쳐 영상을 획득하는 단계를 포함할 수 있다.
상기 (d) 단계는, 하기의 수학식,
Figure 112008089613559-pat00001
(여기서 s는 화소, Fi -1 *는 확대된 상기 지역적 평탄도 배열, Ui -1 *는 확대된 상기 제2 텍스쳐 영상, Di는 상기 제1 텍스쳐 영상, Ui는 상기 제3 텍스쳐 영상임)
에 따라 상기 제3 텍스쳐 영상을 획득할 수 있다.
상기 (d) 단계는 상기 제2 텍스쳐 영상 및 상기 지역적 평탄도 배열을 겹삼차 보간법을 이용하여 상기 미리 정하여진 배수로 확대할 수 있다.
상기 다중 해상도 영상 텍스쳐 필터링 방법은, (e) 상기 제3 텍스쳐 영상을 양방향 텍스쳐 필터링하여 제5 텍스쳐 영상을 획득하는 단계를 더 포함할 수 있다.
상술한 본 발명의 제3 목적을 달성하기 위한 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체는, (a) 영상의 텍스쳐 정보를 추출하는 단계 및 (b) 추출된 상기 텍스쳐 정보를 이용하여 상기 영상을 양방향 텍스쳐 필터링하는 단계를 수행하는 프로그램을 기록한다.
상술한 본 발명의 제4 목적을 달성하기 위한 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 다중 해상도 영상 텍스쳐 필터링 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체는, (a) 영상을 양방향 텍스쳐 필터링하여 제1 텍스쳐 영상을 획득하는 단계와, (b) 상기 제1 텍스쳐 영상을 미리 정하여진 배수로 다운샘플링하여 제2 텍스쳐 영상을 획득하는 단계와, (c) 상기 제2 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성하는 단계와, (d) 상기 제2 텍스쳐 영상을 상기 미리 정하여진 배수로 업샘플링하고 상기 지역적 평탄도 배열을 이용하여 제3 텍스쳐 영상을 획득하는 단계를 수행하는 프로그램을 기록한다.
상술한 본 발명의 제5 목적을 달성하기 위한 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 장치는, 영상의 텍스쳐 정보를 추출하는 텍스쳐 정보 추출부 및 추출된 상기 텍스쳐 정보를 이용하여 상기 영상을 양방향 텍스쳐 필터링하는 텍스쳐 필터링부를 포함한다.
상기 텍스쳐 정보는 상기 영상의 화소별 색상 히스토그램 및 화소별 구조 텐서 정보 중 적어도 하나를 포함할 수 있다.
상기 영상 텍스쳐 필터링 장치는, 필터링된 텍스쳐 영상을 이용하여 상기 영상의 구조 정보를 획득하는 구조 정부 획득부를 더 포함할 수 있다.
상술한 본 발명의 제6 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다 중 해상도 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 장치는, 영상을 양방향 텍스쳐 필터링하는 텍스쳐 필터링부와, 필터링된 텍스쳐 영상을 다운샘플링 또는 업샘플링하는 샘플링부와, 샘플링된 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성하는 지역적 평탄도 배열 생성부 및 상기 지역적 평탄도 배열을 이용하여 상기 필터링된 텍스쳐 영상 및 상기 샘플링된 텍스쳐 영상을 병합하는 영상 병합부를 포함한다.
상기 지역적 평탄도 배열 생성부는, 상기 샘플링된 텍스쳐 영상의 특정 중심 화소 및 상기 특정 화소로부터 소정의 범위 내의 주변 화소에 대하여 상기 중심 화소 및 상기 주변 화소간의 거리와, 상기 중심 화소의 영상 히스토그램 및 상기 주변화소의 히스토그램간의 거리와, 상기 중심 화소의 구조 텐서 및 상기 주변 화소의 구조 텐서간의 거리에 기초하여 상기 지역적 평탄도 배열의 화소별 원소를 산출할 수 있다.
상기 영상 병합부는, 상기 샘플링된 텍스쳐 영상 및 생성된 상기 지역적 평탄도 배열을 미리 정하여진 배수로 확대하고, 확대된 상기 지역적 평탄도 배열을 이용하여 상기 필터링된 텍스쳐 영상 및 확대된 상기 샘플링된 텍스쳐 영상을 병합할 수 있다.
상기와 같은 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치에 따르면, 종래 기법에 비해 더 자연스럽고 안정적인 구조 정보를 보여 주고, 서로 다른 텍스쳐 사이의 경계면에서 텍스쳐 정보를 보 다 더 효과적으로 분할할 수 있으며, 영상의 상세 정보를 보다 더 효과적으로 나타낼 수 있다.
그리고 영상의 텍스쳐 정보를 필터링함으로써 산출된 영상의 텍스쳐 정보와 구조 정보를 이용하여 영상을 평탄화하거나 컴퓨터 그래픽스와 컴퓨터 비전, 영상 처리의 다양한 응용 분야에서 영상 복원 및 수정, 삼차원 물체 노이즈 제거, 예술적 필터링 등에 활용될 수 있다. 예를 들어, 텍스쳐 분할 또는 텍스쳐 분류 등에 이용되어 영상의 물체 추출이나 물체 추적 등과 같은 기술이 필요한 로봇 비전 시장에서 활용될 수 있다. 그리고 영상 파손 복원 등에 이용되어 플러그 인 등의 형태로 상용 영상 처리 소프트웨어에서 사용될 수 있다. 또한 영상의 텍스쳐 전이(Texture Transfer)나 텍스쳐 교체(Texture Replacement) 등에 이용되어 영화나 애니메이션, 혹은 광고와 같이 시각적 효과가 매우 중요한 응용 분야에서 예술적 영상을 만들기 위해 사용될 수 있다.
또한 다른 텍스쳐 및 영상 처리 기술의 기반 기술로 활용이 가능하며, 로봇 비전, 물체 추출, 물체 추적 등의 다양한 분야에서 로봇, 감시 카메라, 증강현실 등의 다양한 분야의 제품에서 사용될 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것 으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징 들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법을 설명하기 위한 흐름도이다.
도 1을 참조하면, 우선 영상의 텍스쳐(Texture) 정보를 추출한다(S110). 상기 텍스쳐 정보는 최초의 양방향 텍스쳐 필터링(Bilateral Texture Filtering) 과정에 이용되는 초기 텍스쳐 정보이며, 상기 텍스쳐 정보는 영상의 각 화소(Pixel)에 대하여 색상 히스토그램(Histogram) 및 구조 텐서 정보(Structure Tensor Information) 중 적어도 하나를 포함한다. 즉, 텍스쳐 정보는 영상의 색상 히스토그램 및 구조 텐서 정보로 구성되는 색상-텍스쳐 모델(Color-Texture Model)이다.
다만, 상기 영상이 이미 필터링된 텍스쳐 영상인 경우에는 상기 영상의 텍스쳐(Texture) 정보를 추출하는 단계(S110)는 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법의 구성요소로서 요구되지 아니한다.
색상 히스토그램은 영상의 특정 중심 화소와, 중심 화소로부터 미리 정하여진 범위 내에 있는 주변 화소의 색상값으로 정의된다. 상기 미리 정하여진 범위의 크기에 따라 후술할 양방향 텍스쳐 필터링에서 처리되는 텍스쳐의 크기가 결정된다. 예를 들어, 상기 주변 화소는 상기 중심 화소로부터 2 ~ 3 화소 거리 내의 화소일 수 있다.
색상 히스토그램은 영상의 색상 채널 (R,G,B)에 대하여 0 ~ 1까지의 값을 10 단계로 나누어 생성될 수 있다. 각 색상 채널은 독립적으로 처리되므로, 이 경우 각 화소별 색상 히스토그램은 30 차원 벡터(Vector)가 된다.
구조 텐서 정보는 상기 중심 화소 및 상기 주변 화소의 구조 텐서의 평균으로 정의된다. 구조 텐서(Structure Tensor)는 영상을 회색조(그레이 스케일, Gray Scale) 영상으로 변환한 후, 상기 흑백 영상의 화소 그라디언트(Gradient) 값을 이용하여 2차원 행렬로서 정의될 수 있다.
화소 그라디언트를 산출하는 과정을 이하 설명한다. 먼저 컬러 영상의 경우 화소별 밝기 값을 계산하여 회색조 영상으로 변환한다. 컬러 영상이 RGB 색상 모드에 있고 각각의 컬러 채널을 (R,G,B)로 나타나는 경우, 화소의 밝기 값(L)은, 예를 들어, 아래의 수학식 1과 같이 계산할 수 있다. 수학식 1은 화소의 밝기 값(L)을 계산하는 하나의 예시일 뿐이며, 특정 화소의 밝기 값을 최종적으로 도출할 수 있는 어떠한 식도 사용할 수 있다.
Figure 112008089613559-pat00002
화소 그라디언트는 각 화소마다 2차원 값으로 정의된다. 영상에서 (x,y)의 화소 밝기 값을 p(x,y)라 할 때, 예를 들어, 화소 그라디언트의 x 방향 성분(gx(x,y))은 p(x + 1,y) - p(x,y)로, y 방향 성분(gy(x,y))은 p(x,y + 1) - p(x,y)로 정의될 수 있다. 또는, 예를 들어, x 방향 성분(gx(x,y))은 p(x,y) - p(x - 1,y)와 같이 정의될 수도 있다. 화소 그라디언트의 크기(g(x,y))는, 예를 들어, 아래의 수학식 2와 같이 계산될 수 있다.
Figure 112008089613559-pat00003
화소 그라디언트 값을 이용하여 구조 텐서는 아래의 수학식 3과 같이 정의될 수 있다.
Figure 112008089613559-pat00004
여기서 p는 영상의 화소, gx는 화소 그라디언트의 x 방향 성분, gy는 화소 그라디언트의 y 방향 성분, ST는 구조 텐서이다.
화소별 구조 텐서가 계산되면, 상술한 바와 같이 구조 텐서 정보는 아래의 수학식 4와 같이 상기 중심 화소 및 상기 주변 화소의 구조 텐서의 평균으로 정의될 수 있다.
Figure 112008089613559-pat00005
여기서 s는 중심 화소, p는 s로부터 미리 정하여진 범위 내의 주변 화소들의 집합인 N(s)에 속하는 주변 화소, ST는 구조 텐서, k는 정규화 상수, STI는 구조 텐서 정보이다.
색상 히스토그램과 마찬가지로 주변 화소에 포함되는지 여부를 결정하는 상기 미리 정하여진 범위에 따라 후술할 양방향 텍스쳐 필터링에서 처리되는 텍스쳐 의 크기가 결정된다.
다음으로 추출된 상기 텍스쳐 정보(초기 텍스쳐 정보) 또는 후술할 필터링된 텍스쳐 정보를 이용하여 영상을 양방향 텍스쳐 필터링한다(S120). 영상의 각 화소에 대한 텍스쳐 정보가 산출되면, 산출된 상기 텍스쳐 정보를 이용하여 아래의 수학식 5와 같이 양방향 텍스쳐 필터링 작업을 수행한다.
Figure 112008089613559-pat00006
여기서 s는 중심 화소, p는 s로부터 미리 정하여진 범위 내의 주변 화소들의 집합인 N(s)에 속하는 주변 화소, k는 정규화 상수, T'는 화소의 양방향 텍스쳐 필터링된 텍스쳐 정보, T는 화소의 텍스쳐 정보, H는 화소의 영상 히스토그램, ST는 화소의 구조 텐서, σs, σh, σst는 양방향 텍스쳐 필터링에서 고려되는 주변 화소의 범위를 결정하는 사용자 파라미터이다. 예를 들어, σs는 2 ~ 3, σh는 0.1, σst 는 0.05의 값을 가질 수 있다. 특히 화소의 영상 히스토그램간의 거리는 쿨백-라이블러 발산(Kullback-Leibler Divergence)을 이용하여 계산될 수 있고, 화소의 구조 텐선간의 거리는 유클리드 거리(Euclidean Distance)일 수 있다. 따라서 WD(p), WH(p), WST(p)는 중심 화소의 특정 주변 화소와의 거리, 영상 히스토그램 및 구조 텐서의 유사도를 의미한다.
사용자의 선택에 의하여(S130) 상기 양방향 텍스쳐 필터링 단계(S120)가 1회 이상 수행될 수 있다. 이 경우 이전의 양방향 텍스쳐 필터링 단계(S120)의 결과인 필터링된 텍스쳐 정보가 다음 번의 양방향 텍스쳐 필터링 단계(S120)의 입력으로 이용된다.
상기 양방향 텍스쳐 필터링 단계(S120)가 적어도 1회 이상 수행된 후, 사용자의 선택에 의하여(S130) 상기 양방향 텍스쳐 필터링 단계(S120)의 수행이 끝나면, 최종적으로 필터링된 텍스쳐 영상을 이용하여 영상의 구조 정보를 획득한다(S140). 상기 구조 정보는 상기 최종적으로 필터링된 텍스쳐 영상으로부터 얻어지는 결과 영상을 의미한다. 구체적으로 아래의 수학식 6과 같이 상기 구조 정보를 산출한다.
Figure 112008089613559-pat00007
여기서 s는 중심 화소, p는 s로부터 미리 정하여진 범위 내의 주변 화소들의 집합인 N(s)에 속하는 주변 화소, k는 정규화 상수, T'는 화소의 양방향 텍스쳐 필터링된 텍스쳐 정보, SI는 화소의 구조 정보이다.
도 2는 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법의 수행 결과를 설명하기 위한 예시도이다.
도 2의 좌측 영상이 원본 영상이고, 도 2의 우측 영상이 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법이 적용된 결과 영상이다.
도 3은 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 장치의 구성을 나타내는 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 장치는 텍스쳐 정보 추출부(210), 텍스쳐 필터링부(220) 및 구조 정보 획득부(230)를 포함한다.
구체적으로, 텍스쳐 정보 추출부(210)는 입력 영상(291)에 대하여 텍스쳐 정보를 추출하고, 추출된 텍스쳐 정보(292)를 출력한다. 다만, 입력 영상이 이미 필터링된 텍스쳐 영상인 경우에 상기 텍스쳐 정보 추출부(210)는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 장치의 구성요소로서 요구되지 아니한다.
텍스쳐 필터링부(220)는, 상기 텍스쳐 정보 추출부(210)로부터 텍스쳐 정보(292)를 입력 받아, 텍스쳐 정보(292)를 이용하여 양방향 텍스쳐 필터링을 수행 하여 필터링된 텍스쳐 영상(293)을 산출하고, 필터링된 텍스쳐 영상(293)을 출력한다. 텍스쳐 필터링부(220)의 상기 양방향 텍스쳐 필터링 기능은 1회 이상 반복될 수 있으며, 이 경우 필터링된 텍스쳐 영상(293)은 다음 번 양방향 텍스쳐 필터링의 입력으로 다시 사용된다.
구조 정보 획득부(230)는, 상기 텍스쳐 필터링부(220)로부터 필터링된 텍스쳐 영상(293)을 입력 받아, 필터링된 텍스쳐 영상(293)으로부터 영상의 구조 정보(294)를 획득한다.
텍스쳐 정보 추출부(210), 텍스쳐 필터링부(220) 및 구조 정보 획득부(230)에 대하여는 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법에서 도 1 및 도 2를 참조하여 영상의 텍스쳐 정보 추출 단계(S110), 양방향 텍스쳐 필터링 단계(S120) 및 영상의 구조 정부 획득 단계(S140)에 대하여 설명한 바와 유사한 방식으로 용이하게 이해될 수 있으므로 이하 설명은 생략한다.
도 4는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 우선 영상을 양방향 텍스쳐 필터링하여 제1 텍스쳐 영상을 획득한다(S310). 이 경우 제1 텍스쳐 영상 획득 단계(S310)는 영상의 텍스쳐 정보를 추출하는 단계(S311) 및 추출된 텍스쳐 정보를 이용하여 영상을 양방향 텍스쳐 필터링하여 제1 텍스쳐 영상을 획득하는 단계(S313)를 포함할 수 있다. 다만, 상기 영상이 이미 필터링된 텍스쳐 영상인 경우에는 상기 영상의 텍스쳐 정보를 추출하는 단계(S311)는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 방법의 구성요소로서 요구되지 아니한다.
영상의 텍스쳐 정보를 추출하는 단계(S311) 및 추출된 텍스쳐 정보를 이용하여 영상을 양방향 텍스쳐 필터링하여 제1 텍스쳐 영상을 획득하는 단계(S313)에 대하여는 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법에서 도 1 내지 도 2를 참조하여 영상의 텍스쳐 정보 추출 단계(S110) 및 양방향 텍스쳐 필터링 단계(S120)에 대하여 설명한 바와 유사한 방식으로 용이하게 이해될 수 있으므로 이하 설명은 생략한다.
다음으로 제1 텍스쳐 영상을 미리 정하여진 배수로 다운샘플링하여 제2 텍스쳐 영상을 획득한다(S320). 다운샘플링(Down Sampling)은 영상의 해상도가 지정한 수치보다 크면 지정한 수치로 해상도를 감소시키는 것으로, 영상 크기 감소를 위해 화소가 삭제된다. 다운샘플링 방법으로는 최단입점 리샘플링(Nearest Neighbor Re-Sampling) 기법, 쌍선형 리샘플링(Bilinear Re-Sampling) 기법, 쌍입방 리샘플링(Bicubic Re-Sampling) 기법 등 채용 가능한 모든 영상 리샘플링 방법이 사용될 수 있다. 예를 들어, 상기 미리 정하여진 배수는 2가 될 수 있으며, 제1 텍스쳐 영상을 2배수로 다운샘플링 하는 경우 제1 텍스쳐 영상의 수평 방향 및 수직 방향의 화소 수가 1/2로 줄어든다.
사용자의 선택에 의하여(S330) 양방향 텍스쳐 필터링 단계(S313) 및 다운샘플링을 통한 제2 텍스쳐 영상 획득 단계(S320)는 1회 이상 수행될 수 있다. 구체적 으로, 이전의 다운샘플링 단계(S320)의 결과인 제2 텍스쳐 영상(필터링된 텍스쳐 정보)이 다음 번의 양방향 텍스쳐 필터링 단계(S313)의 입력으로 이용된다. 예를 들어 다운샘플링 과정은 3 ~ 5회 반복될 수 있다.
다만, 반복되는 다운샘플링 과정에서 영상의 크기는 미리 정하여진 배수만큼 계속 축소되지만, 반복되는 양방향 텍스쳐 필터링에서 고려되는 주변 화소의 미리 정하여진 범위는 불변한다. 영상이 다운샘플링되더라도 영상보다 넒은 범위의 주변 화소를 이용하여 필터링된 텍스쳐를 생성하므로 다운샘플링시 영상 정보의 손실이 줄게 된다.
다음으로 제2 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성한다(S351, S350). 화소의 지역적 평탄도(Local Flatness)는 주변 화소들과의 유사도의 평균으로서, 아래의 수학식 7과 같이 산출되는 값이다. 아래의 수학식 7에 따라 지역적 평탄도는 0 ~ 1의 값을 가지고, 중심 화소 주위에 유사한 주변 화소가 많으면 1에 가깝고, 그렇지 않으면 0에 가까운 값을 가진다.
Figure 112008089613559-pat00008
여기서 s는 중심 화소, p는 s로부터 미리 정하여진 범위 내의 주변 화소들의 집합인 N(s)에 속하는 주변 화소, H는 화소의 영상 히스토그램, ST는 화소의 구조 텐서, F는 화소의 지역적 평탄도, σs, σh, σst는 양방향 텍스쳐 필터링에서 고려되는 주변 화소의 범위를 결정하는 사용자 파라미터이다. 특히 화소의 영상 히스토그램간의 거리는 쿨백-라이블러 발산(Kullback-Leibler Divergence)을 이용하여 계산될 수 있고, 화소의 구조 텐선간의 거리는 유클리드 거리(Euclidean Distance)일 수 있다. 따라서 WD(p), WH(p), WST(p)는 중심 화소의 특정 주변 화소와의 거리, 영상 히스토그램 및 구조 텐서의 유사도를 의미한다.
사용자의 선택에 의하여(S340), 제2 텍스쳐 영상을 양방향 필터링하여 제4 텍스쳐 영상을 획득한 후(S353), 제4 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성할 수 있다(S355). 즉, 다운샘플링된 텍스쳐 영상에 대하여 양방향 텍스쳐 필 터링을 추가 수행한 결과 영상으로부터 지역적 평탄도 배열을 생성할 수 있다.
다음으로 제2 텍스쳐 영상을 미리 정하여진 배수로 업샘플링하고 지역적 평탄도 배열을 이용하여 제3 텍스쳐 영상을 획득한다(S360). 업샘플링(Up Sampling)은 영상의 해상도가 지정한 수치보다 작으면 지정한 수치로 해상도를 증가시키는 것으로, 영상 크기 증가를 위해 화소가 추가된다. 업샘플링 방법으로는 최단입점 리샘플링(Nearest Neighbor Re-Sampling) 기법, 쌍선형 리샘플링(Bilinear Re-Sampling) 기법, 쌍입방 리샘플링(Bicubic Re-Sampling) 기법 등 채용 가능한 모든 영상 리샘플링 방법이 사용될 수 있다. 예를 들어, 상기 미리 정하여진 배수는 2가 될 수 있으며, 제2 텍스쳐 영상을 2배수로 다운샘플링 하는 경우 제2 텍스쳐 영상의 수평 방향 및 수직 방향의 화소 수가 2배로 늘어난다. 다운샘플링에서의 미리 정하여진 배수와 업샘플링에서의 미리 정하여진 배수를 동일하게 함으로써 다운샘플링 과정에서 생성되는 각 단계의 텍스쳐 영상과 업샘플링 과정에서 생성되는 각 단계의 텍스쳐 영상의 해상도를 동일하게 하고, 따라서 영상 합병을 수행할 수 있다.
제2 텍스쳐 영상 및 상기 지역적 평탄도 배열을 미리 정하여진 배수로 확대한 후(S361), 확대된 지역적 평탄도 배열을 이용하여 제1 텍스쳐 영상 및 확대된 제2 텍스쳐 영상을 병합하여 제1 텍스쳐 영상과 동일한 크기의 제3 텍스쳐 영상을 획득할 수 있다(S363). 즉, 현재 해상도의 텍스쳐 영상 및 지역적 평탄도 배열을 한 단계 큰 해상도의 텍스쳐 영상 및 지역적 평탄도 배열과 병합하게 되는데, 이를 위해 현재 해상도의 텍스쳐 영상 및 지역적 평탄도 배열을 먼저 미리 정하여진 배 수로 확대시켜 한 단계 큰 해상도에 맞추는 것이다.
특히 제2 텍스쳐 영상 및 상기 지역적 평탄도 배열을 미리 정하여진 배수로 확대(S361)함에 있어서 겹삼차 보간법(Bicubic Interpolation)을 이용할 수 있고, 제1 텍스쳐 영상 및 확대된 제2 텍스쳐 영상을 병합(S363)함에 있어서는 선형 보간법(Linear Interpolation)이 이용될 수 있다.
구체적으로 제3 텍스쳐 영상은 아래의 수학식 8과 같이 산출될 수 있다.
Figure 112008089613559-pat00009
여기서 s는 화소, Fi-1 *는 확대된 상기 지역적 평탄도 배열, Ui-1 *는 확대된 상기 제2 텍스쳐 영상, Di는 상기 제1 텍스쳐 영상, Ui는 상기 제3 텍스쳐 영상이다.
획득된 제3 텍스쳐 영상을 양방향 텍스쳐 필터링하여 제5 텍스쳐 영상을 획득할 수 있다(S370). 즉, 제3 텍스쳐 영상 또는 제3 텍스쳐 영상을 양방향 텍스쳐 필터링한 영상을 최종 결과 영상으로 할 수 있다.
도 5는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 과정을 설명하기 위한 예시도이다.
입력 영상(a)에 대하여 양방향 텍스쳐 샘플링한 결과가 텍스쳐 영상(b)이다. 입력 영상(a)이 원본 영상인 경우, 입력 영상(a)으로부터 초기 텍스쳐 정보를 추출하고, 추출된 초기 텍스쳐 정보를 이용하여 양방향 텍스쳐 샘플링이 수행된다. 입 력 영상(a)이 텍스쳐 영상인 경우, 텍스쳐 영상에 수반되는 텍스쳐 정보를 이용하여 양방향 텍스쳐 샘플링이 수행된다.
텍스쳐 영상(b)를 다운샘플링한 결과가 텍스쳐 영상(c)이다. 양방향 텍스쳐 샘플링 및 다운샘플링은 1회 이상 반복될 수 있고, 그 결과가 텍스쳐 영상(d, e, f)이다.
다운샘플링 과정이 끝나면, 업샘플링 과정이 시작된다. 다운샘플링의 결과 텍스쳐 영상(f)을 업샘플링하고 이를 다운샘플링시 생성된 동일 해상도의 텍스쳐 영상(d)과 병합하여 업샘플링된 해상도의 결과 텍스쳐 영상(j)을 생성하는데, 이때 병합을 조절하는데 있어서 텍스쳐 영상(f)에 대한 지역적 평탄도 배열(i)가 이용된다. 다운샘플링 과정과 마찬가지로 업샘플링 과정도 1회 이상 반복될 수 있고, 그 결과가 텍스쳐 영상(l)이며, 지역적 평탄도 배열(k, m)이 병합을 조절하는데 이용된다.
도 6은 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 장치의 구성을 나타내는 블록도이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 장치는 텍스쳐 정보 추출부(210), 텍스쳐 필터링부(220), 샘플링부(240), 지역적 평탄도 배열 생성부(250) 및 영상 병합부(260)를 포함한다.
상기 도 6에 도시된 텍스쳐 정보 추출부(210), 텍스쳐 필터링부(220), 입력 영상(291), 텍스쳐 정보(292) 및 필터링된 텍스쳐 영상(293)은 상기 도 3에 도시한 동일한 참조부호를 사용하며, 상기 도 3에 개시된 바와 그 기능 및 작용이 동일하 다. 따라서 용이한 이해와 중복된 내용의 혼동을 회피하기 위해 동일한 구성요소에 대한 설명은 생략하기로 한다. 다만, 입력 영상이 이미 필터링된 텍스쳐 영상이 될 수 있고, 이 경우 텍스쳐 정보 추출부(210)는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 장치의 구성요소로서 요구되지 아니한다.
샘플링부(240)는, 텍스쳐 필터링부(220)로부터 필터링된 텍스쳐 영상(293)을 입력 받아, 필터링된 텍스쳐 영상(293)을 다운샘플링 또는 업샘플링한다. 샘플링부(240)는, 추가적으로 다운샘플링 과정을 거칠 경우에는 텍스쳐 필터링부(220)로 다운샘플링된 텍스쳐 영상(295)을 출력하고, 다운샘플링 과정이 종료되어 업샘플링 과정을 수행하는 경우에는 지역적 평탄도 배열 생성부(250) 및 영상 병합부(260)로 다운샘플링 또는 업샘플링된 텍스쳐 영상(295)을 출력한다.
지역적 평탄도 배열 생성부(250)는, 샘플링부(240)로부터 샘플링된 텍스쳐 영상(295)을 입력 받아, 샘플링된 텍스쳐 영상(295)으로부터 지역적 평탄도 배열(296)을 생성하고, 생성된 지역적 평탄도 배열(296)을 출력한다.
영상 병합부(260)는, 텍스쳐 필터링부(220)로부터 필터링된 텍스쳐 영상(293)을 입력 받고, 샘플링부(240)로부터 샘플링된 텍스쳐 영상(295)을 입력 받으며, 지역적 평탄도 배열 생성부(250)로부터 지역적 평탄도 배열(296)을 입력 받아, 지역적 평탄도 배열(296)을 이용하여 필터링된 텍스쳐 영상(293) 및 샘플링된 텍스쳐 영상(295)을 병합하여 병합 영상(297)을 출력한다.
지역적 평탄도 배열 생성부(250) 및 영상 병합부(260)는 하나의 장치로서 구현될 수 있다.
병합 영상(297)은 다음 번 업샘플링 과정의 입력으로 이용되기 위해 샘플링부(240)로 출력될 수 있다. 도 6에 도시되지 않았지만 도 3을 참조하여 설명된 바와 유사하게, 구조 정보 획득부(미도시)는 상기 병합 영상(297)을 입력 받아, 구조 정보(미도시)를 생성할 수 있다.
샘플링부(240), 지역적 평탄도 배열 생성부(250) 및 영상 병합부(260)에 대하여는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 방법에서 도 4 및 도 5를 참조하여 제1 텍스쳐 영상을 다운샘플링하여 제2 텍스쳐 영상을 획득하는 단계(S320), 제2 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성하는 단계(S350) 및 지역적 평탄도 배열을 이용하여 제1 텍스쳐 영상 및 확대된 제2 텍스쳐 영상을 병합하는 단계(S360)에 대하여 설명한 바와 유사한 방식으로 용이하게 이해될 수 있으므로 이하 설명은 생략한다.
이상 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 방법의 수행 결과를 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 양방향 텍스쳐 필터링 기법을 이용한 영상 텍스쳐 필터링 장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 다중 해상도 영상 텍스쳐 필터링 장치의 구성을 나타내는 블록도이다.
* 도면의 주요부분에 대한 부호의 설명 *
210 : 텍스쳐 정보 추출부 220 : 텍스쳐 필터링부
230 : 구조 정보 획득부 240 : 샘플링부
250 : 지역적 평탄도 배열 생성부 260 : 영상 병합부

Claims (24)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 영상의 화소별 색상 히스토그램 및 화소별 구조 텐서를 이용하여 영상의 텍스쳐 정보를 추출하는 단계;
    추출된 상기 텍스쳐 정보를 이용하여 상기 영상을 양방향 텍스쳐 필터링하여 제1 텍스쳐 영상을 획득하는 단계;
    상기 제1 텍스쳐 영상을 미리 정하여진 배수로 다운샘플링하여 제2 텍스쳐 영상을 획득하는 단계;
    상기 제2 텍스쳐 영상을 양방향 텍스쳐 필터링하여 제4 텍스쳐 영상을 획득하는 단계;
    상기 제4 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성하는 단계;
    상기 제2 텍스쳐 영상을 상기 미리 정하여진 배수로 업샘플링하고 상기 지역적 평탄도 배열을 이용하여 제3 텍스쳐 영상을 획득하는 단계; 및
    상기 제4 텍스쳐 영상을 양방향 텍스쳐 필터링하여 제5 텍스쳐 영상을 획득하는 단계를 포함하며,
    상기 지역적 평탄도 배열을 생성하는 단계는,
    상기 제2 텍스쳐 영상의 특정 중심 화소 및 상기 특정 화소로부터 소정의 범위 내의 주변 화소에 대하여 상기 중심 화소 및 상기 주변 화소간의 거리와, 상기 중심 화소의 영상 히스토그램 및 상기 주변화소의 히스토그램간의 거리와, 상기 중심 화소의 구조 텐서 및 상기 주변 화소의 구조 텐서간의 거리에 기초하여 상기 지역적 평탄도 배열의 화소별 원소를 산출하며,
    상기 화소의 영상 히스토그램간의 거리는 쿨백-라이블러 발산을 이용하여 계산되는 것을 특징으로 하는 다중 해상도 영상 텍스쳐 필터링 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제8항에 있어서,
    상기 제3 텍스쳐 영상을 획득하는 단계는,
    상기 제2 텍스쳐 영상 및 상기 지역적 평탄도 배열을 상기 미리 정하여진 배수로 확대하는 단계; 및
    확대된 상기 지역적 평탄도 배열을 이용하여 상기 제1 텍스쳐 영상 및 확대된 상기 제2 텍스쳐 영상을 병합하여 상기 제1 텍스쳐 영상과 동일한 크기의 상기 제3 텍스쳐 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 다중 해상도 영상 텍스쳐 필터링 방법.
  14. 제13항에 있어서,
    상기 제3 텍스쳐 영상을 획득하는 단계는, 하기의 수학식,
    Figure 112010032739616-pat00010
    (여기서 s는 화소, Fi-1 *는 확대된 상기 지역적 평탄도 배열, Ui-1 *는 확대된 상기 제2 텍스쳐 영상, Di는 상기 제1 텍스쳐 영상, Ui는 상기 제3 텍스쳐 영상임)
    에 따라 상기 제3 텍스쳐 영상을 획득하는 것을 특징으로 하는 다중 해상도 영상 텍스쳐 필터링 방법.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 양방향 텍스쳐 필터링 기법을 이용한 다중 해상도 영상 텍스쳐 필터링 방법을 수행하는 디지털 처리 장치에 의해 실행될 수 있는 명령어의 프로그램이 유형적으로 구현되어 있으며, 상기 디지털 처리 장치에 의해 판독될 수 있는 프로그램을 기록한 기록매체는,
    영상의 화소별 색상 히스토그램 및 화소별 구조 텐서를 이용하여 영상의 텍스쳐 정보를 추출하는 단계;
    추출된 상기 텍스쳐 정보를 이용하여 상기 영상을 양방향 텍스쳐 필터링하여 제1 텍스쳐 영상을 획득하는 단계;
    상기 제1 텍스쳐 영상을 미리 정하여진 배수로 다운샘플링하여 제2 텍스쳐 영상을 획득하는 단계;
    상기 제2 텍스쳐 영상을 양방향 텍스쳐 필터링하여 제4 텍스쳐 영상을 획득하는 단계;
    상기 제4 텍스쳐 영상으로부터 지역적 평탄도 배열을 생성하는 단계;
    상기 제2 텍스쳐 영상을 상기 미리 정하여진 배수로 업샘플링하고 상기 지역적 평탄도 배열을 이용하여 제3 텍스쳐 영상을 획득하는 단계; 및
    상기 제4 텍스쳐 영상을 양방향 텍스쳐 필터링하여 제5 텍스쳐 영상을 획득하는 단계를 수행하는데,
    상기 지역적 평탄도 배열을 생성하는 단계는,
    상기 제2 텍스쳐 영상의 특정 중심 화소 및 상기 특정 화소로부터 소정의 범위 내의 주변 화소에 대하여 상기 중심 화소 및 상기 주변 화소간의 거리와, 상기 중심 화소의 영상 히스토그램 및 상기 주변화소의 히스토그램간의 거리와, 상기 중심 화소의 구조 텐서 및 상기 주변 화소의 구조 텐서간의 거리에 기초하여 상기 지역적 평탄도 배열의 화소별 원소를 산출하며,
    상기 화소의 영상 히스토그램간의 거리는 쿨백-라이블러 발산을 이용하여 계산되는 것을 특징으로 하는 프로그램을 기록한 기록매체.
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020080135222A 2008-12-29 2008-12-29 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치 KR101028628B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080135222A KR101028628B1 (ko) 2008-12-29 2008-12-29 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080135222A KR101028628B1 (ko) 2008-12-29 2008-12-29 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20100077307A KR20100077307A (ko) 2010-07-08
KR101028628B1 true KR101028628B1 (ko) 2011-04-11

Family

ID=42638680

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080135222A KR101028628B1 (ko) 2008-12-29 2008-12-29 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (1) KR101028628B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761202A (zh) * 2016-02-03 2016-07-13 武汉大学 一种彩色图像颜色迁移方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101635309B1 (ko) 2015-01-14 2016-07-01 포항공과대학교 산학협력단 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
KR101713189B1 (ko) * 2015-04-20 2017-03-08 전남대학교산학협력단 비디오 객체 행동 분류를 위한 hog/hof 기반 특징정보 추출 방법 및 추출기
KR20180056313A (ko) 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치
CN107133924A (zh) * 2017-03-31 2017-09-05 长安大学 一种利用颜色二阶变化信息的保结构特征图像滤波方法
CN108510569B (zh) * 2018-01-26 2020-11-03 北京大学 一种基于多通道的艺术字生成方法及系统
CN110097615B (zh) * 2018-12-06 2021-01-19 北京大学 一种联合风格化和去风格化的艺术字编辑方法和系统
CN109816781B (zh) * 2019-02-01 2020-07-24 武汉大学 一种基于图像细节和结构增强的多视图立体几何方法
CN111784675A (zh) * 2020-07-01 2020-10-16 云南易见纹语科技有限公司 物品纹理信息处理的方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212342A (ja) * 1995-02-02 1996-08-20 Victor Co Of Japan Ltd 画像におけるテクスチャ領域の抽出方法
KR960032240A (ko) * 1995-02-02 1996-09-17 슈즈이 다께오 원화상으로부터 텍스처 영역을 추출하기 위한 방법
JP2004158042A (ja) 1999-02-05 2004-06-03 Samsung Electronics Co Ltd 映像のテキスチャー特徴を記述する方法、装置およびその媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08212342A (ja) * 1995-02-02 1996-08-20 Victor Co Of Japan Ltd 画像におけるテクスチャ領域の抽出方法
KR960032240A (ko) * 1995-02-02 1996-09-17 슈즈이 다께오 원화상으로부터 텍스처 영역을 추출하기 위한 방법
JP2004158042A (ja) 1999-02-05 2004-06-03 Samsung Electronics Co Ltd 映像のテキスチャー特徴を記述する方法、装置およびその媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이현준, 이승용, "영상 디스타일화", 한국정보과학회, 2007 한국컴퓨터종합학술대회 논문집 제34권 제1호(B), pp. 199-202, 2007.6.*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105761202A (zh) * 2016-02-03 2016-07-13 武汉大学 一种彩色图像颜色迁移方法
CN105761202B (zh) * 2016-02-03 2018-10-26 武汉大学 一种彩色图像颜色迁移方法

Also Published As

Publication number Publication date
KR20100077307A (ko) 2010-07-08

Similar Documents

Publication Publication Date Title
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
CN110827200B (zh) 一种图像超分重建方法、图像超分重建装置及移动终端
Sajjadi et al. Enhancenet: Single image super-resolution through automated texture synthesis
Yan et al. Single image superresolution based on gradient profile sharpness
Wu et al. Light field reconstruction using deep convolutional network on EPI
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN108694705A (zh) 一种多帧图像配准与融合去噪的方法
CN108133456A (zh) 人脸超分辨率重建方法、重建设备以及计算机系统
CN107689050B (zh) 一种基于彩色图像边缘引导的深度图像上采样方法
Liang et al. Improved non-local iterative back-projection method for image super-resolution
CN101950415A (zh) 一种基于形状语义模型约束的人脸超分辨率处理方法
CN116385283A (zh) 一种基于事件相机的图像去模糊方法及系统
CN114449181B (zh) 图像和视频处理方法及其系统、数据处理设备、介质
Peng et al. Efficient image resolution enhancement using edge-directed unsharp masking sharpening for real-time ASIC applications
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
Jia et al. Super-resolution with deep adaptive image resampling
CN114022809A (zh) 基于改进自编码网络的视频运动放大方法
Wu et al. High-resolution images based on directional fusion of gradient
CN108510438A (zh) 一种图像、视频放大方法和系统
Graba et al. Non-additive imprecise image super-resolution in a semi-blind context
Liu et al. A convolutional neural network for image super-resolution using internal dataset
CN104463793B (zh) 一种视频超分辨率重建方法及其系统
CN103077396B (zh) 一种彩色图像的向量空间特征点提取方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee