KR100866187B1

KR100866187B1 - Region adaptive directional demosaicing method

Info

Publication number: KR100866187B1
Application number: KR1020070018108A
Authority: KR
Inventors: 오상욱; 조성대; 오윤제; 강문기; 김창원; 한영석; 오현묵
Original assignee: 삼성전자주식회사; 연세대학교 산학협력단
Priority date: 2007-02-22
Filing date: 2007-02-22
Publication date: 2008-10-30
Also published as: KR20080078262A

Abstract

본 발명은 디지털 촬영장치에서 영역 적응적 방향성 색 보간에서, 영역에 적응적인 색 보간을 수행하기 위해서 컬러 필터 어레이 상에서 각 픽셀을 평탄 영역, 일반 에지 영역, 패턴 에지 영역으로 구분하는 과정과, 수직, 수평 방향의 차영상 채널을 생성하여 오류를 최소화 하는 차영상 값을 추정한 후, 보간할 위치에서의 수직, 수평 방향의 차영상 값의 가중치 합을 계산하여 상기 가중치 합을 사용하여 G(Green) 값을 보간하는 과정과, 보간된 G 값을 사용하여 에지 방향 표시 함수를 구하고, 보간할 픽셀 주위의 참조 픽셀의 차영상 값에 에지 방향 표시 함수를 가중치로 적용하여 가중치 평균을 사용해서 R(Red) 값을 가지는 픽셀에서 B(Blue) 값을 보간하고, B 값을 가지는 픽셀에서 R 값을 보간하는 과정과, 보간된 G 값을 사용하여 에지 방향 표시 함수를 구하고, 보간할 픽셀 주위의 참조 픽셀의 차영상 값에 에지 방향 표시 함수를 가중치로 적용하여 가중치 평균을 사용해서 G 값을 가진 픽셀에서 R, B 값을 보간하는 과정을 포함한다.According to the present invention, a process of dividing each pixel into a flat area, a general edge area, and a pattern edge area on a color filter array in order to perform color adaptive to area in area adaptive directional color interpolation in a digital photographing apparatus. After estimating the difference image value that minimizes errors by generating the difference image channel in the horizontal direction, calculating the weighted sum of the difference image values in the vertical and horizontal directions to interpolate, and using the weighted sum, G (Green) The edge direction display function is obtained by interpolating the values, using the interpolated G value, and the weighted average is applied to the difference image value of the reference pixel around the pixel to be interpolated. Interpolate the B (Blue) value at the pixel with), interpolate the R value at the pixel with the B value, and calculate the edge direction display function using the interpolated G value. And includes the step of interpolating the R, B in a pixel value with a G value by applying an edgewise display function to the differential image value of the reference pixels around the pixel to be interpolated as a weighted average using a weight.

색 보간, Bayer CFA, RGB Color Interpolation, Bayer CFA, RGB

Description

Region-adaptive directional color interpolation method {REGION ADAPTIVE DIRECTIONAL DEMOSAICING METHOD}

도 1은 일반적인 컬러 필터 어레이(CFA: Color Filter Array)의 베이어(Bayer) 패턴의 예시도1 is an illustration of Bayer pattern of a general color filter array (CFA)

도 2는 색 보간 동작시 평탄 영역과 에지 영역의 특성을 보여주는 예시도2 is an exemplary view showing the characteristics of a flat region and an edge region in a color interpolation operation

도 3은 일반 에지 영역과 패턴 에지 영역을 구별하기 위한 픽셀의 영역을 나타내는 예시도 3 is an exemplary diagram showing an area of a pixel for distinguishing a general edge area and a pattern edge area;

도 4는 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 영역 구분을 위한 동작 흐름도FIG. 4 is a flowchart illustrating operations for region division in a region adaptive directional color interpolation method according to an embodiment of the present invention. FIG.

도 5는 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값 또는 B값을 가지는 픽셀의 평탄 영역에서의 G 채널 보간에 사용되는 마스크(mask)의 예시도5 is an exemplary diagram of a mask used for G channel interpolation in a flat region of a pixel having an R value or a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값 또는 B값을 가지는 픽셀의 일반 에지 영역에서의 G 채널 보간에 사용되는 마스크의 예시도6 is an exemplary diagram of a mask used for G channel interpolation in a general edge region of a pixel having an R value or a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention.

도 7은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값 또는 B값을 가지는 픽셀의 패턴 에지 영역에서의 G 채널 보간에 사용되는 마스 크의 예시도7 illustrates an example of a mask used for G channel interpolation in a pattern edge region of a pixel having an R value or a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention.

도 8은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값을 가진 픽셀에서 B 채널 값 보간 및 B 값을 가진 픽셀에서 R 채널 값 보간에 사용되는 참조 픽셀을 나타내는 예시도FIG. 8 is an exemplary diagram illustrating a reference pixel used for interpolating B channel values in a pixel having an R value and interpolating an R channel value in a pixel having a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 G값을 가지는 픽셀의 R, B 채널 값 보간에 사용되는 참조 픽셀을 나타내는 예시도9 is an exemplary diagram illustrating a reference pixel used for interpolating R and B channel values of a pixel having a G value in a region adaptive directional color interpolation method according to an embodiment of the present invention.

도 10은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법의 동작 흐름도10 is an operation flowchart of a region adaptive directional color interpolation method according to an embodiment of the present invention.

도 11은 본 발명의 일 실시예에 따른 색 보간 장치의 블록 구성도11 is a block diagram of a color interpolation apparatus according to an embodiment of the present invention.

도 12은 종래의 색 보간 방법을 사용한 영상과 본 발명의 일 실시예에 따른 색 보간 방법을 사용한 영상을 비교하여 보여주는 예시도12 is an exemplary view comparing an image using a conventional color interpolation method with an image using a color interpolation method according to an embodiment of the present invention.

도 13는 종래의 색 보간 방법을 사용한 영상과 본 발명의 일 실시예에 따른 색 보간 방법을 사용한 영상을 비교하여 보여주는 예시도13 is an exemplary view comparing an image using a conventional color interpolation method with an image using a color interpolation method according to an embodiment of the present invention.

도 14은 종래의 색 보간 방법을 사용한 영상과 본 발명의 일 실시예에 따른 색 보간 방법을 사용한 영상을 비교하여 보여주는 예시도14 is an exemplary view comparing an image using a conventional color interpolation method with an image using a color interpolation method according to an embodiment of the present invention.

도 15는 종래의 색 보간 방법을 사용한 영상과 본 발명의 일 실시예에 따른 색 보간 방법을 사용한 영상의 일부분을 확대해서 비교하여 보여주는 예시도15 is an exemplary view illustrating an enlarged comparison of an image using a conventional color interpolation method and an image using a color interpolation method according to an embodiment of the present invention.

본 발명은 단일(single) CCD(Charge Coupled Device)나 CIS(CMOS Imaging Sensor)같은 이미지 센서를 사용하는 디지털 촬영 장치에서의 색상 보간 방법에 관한 것으로, 특히 영역 적응적인 색 보간 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a color interpolation method in a digital photographing apparatus using an image sensor such as a single charge coupled device (CCD) or a CMOS imaging sensor (CIS), and more particularly, to an area adaptive color interpolation method.

일반적으로 디지털 카메라나 캠코더는 필름대신에 CCD나 CMOS (Complementary Metal Oxide Semiconductor)를 사용한다. CCD나 CMOS는 한 픽셀(pixel)에서 렌즈를 통해 센서에 인가된 밝기 값을 디지털 신호로 바꿔주는 장치이다. 즉, 이미지 센서를 이용해 받아들이는 값은 밝기 값으로, 우리가 눈으로 보는 컬러 영상이 아닌 흑백 영상을 받아들이게 된다. 컬러 영상을 획득하기 위해서는 각 픽셀마다 R, G, B의 필터가 씌워진 센서를 사용하여 모든 점(픽셀)에서 R, G, B값을 얻으면 컬러 영상을 얻을 수 있다. 이때, R, G, B를 사용하는 이유는 빛의 3원색이기도 하고, 인간의 눈 속에 있는 원추 세포들이 주로 반응하는 파장대의 대역이기도 하기 때문이다. Generally, digital cameras and camcorders use CCD or CMOS (Complementary Metal Oxide Semiconductor) instead of film. CCD or CMOS is a device that converts the brightness value applied to the sensor through the lens in one pixel into a digital signal. In other words, the value accepted by the image sensor is the brightness value, which accepts a black and white image instead of the color image we see with our eyes. To obtain a color image, a color image may be obtained by obtaining R, G, and B values at all points (pixels) using a sensor in which R, G, and B filters are applied to each pixel. At this time, the reason for using R, G, B is because the three primary colors of the light, because the cone band in the human eye is also the band of the band mainly react.

이와 같이, 고화질의 컬러 영상을 얻기 위해서는 흑백영상에 비해 3배의 CCD나 CMOS의 픽셀수가 필요하다. 센서의 가격이 카메라의 가격 결정에 큰 영향을 미치는 고가의 소자이기 때문에 방송장비들의 경우는 고가의 3CCD(3개의 CCD에서 각각 R, G, B를 받아들여 원색을 얻는다.)를 사용하지만 일반 사용자의 경우는 감당하기 어려운 가격이고 3CCD를 위한 내부에 들어가는 추가 기술 때문에 널리 사용되지 않는다. As described above, in order to obtain a high quality color image, three times the number of pixels of a CCD or CMOS is required compared to a black and white image. Since the price of the sensor is an expensive device that greatly influences the camera's pricing, broadcast equipment uses expensive 3CCDs (receive R, G, and B in each of the three CCDs to obtain the primary colors), but ordinary users This is an unattainable price and is not widely used because of the additional technology going inside for 3CCD.

Single CCD의 경우 여러 채널의 컬러 정보 중에서 하나의 컬러 정보를 저장 하기 때문에 완전한 영상의 정보를 얻어내기 위해서는 픽셀에 저장되지 않은 다른 채널의 컬러 정보를 그 픽셀의 주변 픽셀 정보로부터 추정(보간) 해야 한다. 이때 어떤 보간법을 사용하느냐에 따라서 얻어지는 영상의 질이 달라진다. 이 과정에서 얼마나 좋은 결과를 얻느냐에 따라 후속 처리 과정들이 더 단순한 처리로도 더 좋은 결과를 얻을 수 있다.In the case of Single CCD, one color information is stored among the color information of several channels. Therefore, to obtain the complete image information, the color information of another channel not stored in the pixel must be estimated (interpolated) from the surrounding pixel information of the pixel. . At this time, the quality of the obtained image depends on which interpolation method is used. Depending on how good the results are in this process, subsequent processes may yield better results with simpler processes.

색 보간 알고리즘은 최근에 많은 연구가 되고 있고 이슈가 되고 있는 영상처리 분야이다. 기존에 사용되고 있는 방법은 시스템의 처리 시간이나 하드웨어적인 구현을 고려했기 때문에 비교적 단순한 형태를 가지고 있다. 이러한 색 보간 방법 중 비교적 간단하게 생각해 볼 수 있는 방법이 색 상호간의 상관관계를 고려하는 평탄 색상 변화 보간법(Smooth hue transition interpolation)과, 에지의 방향성을 고려하는 에지 적응적 색상 보간(Edge adaptive color interpolation) 법이 있다. 그럼 먼저 평탄 색상 변화 보간법에 대하여 살펴보기로 한다.Color interpolation algorithm is a field of image processing that has been studied a lot recently. The existing method is relatively simple because it takes into account the processing time of the system or the hardware implementation. Among these color interpolation methods, a relatively simple method can be thought of as smooth hue transition interpolation considering the correlation between colors and edge adaptive color interpolation considering the direction of edges. ) There is a law. Let's first look at the flat color change interpolation.

[평탄 색상 변화 보간법][Flat color change interpolation]

기존의 평탄 색상 변화 보간법은 일정한 영역에서는 두 채널의 차이 즉, 뺀 값이 일정하다는 가정을 이용해서 색 보간을 한다. 즉 G-B, G-R을 구한 후 이를 보간해서 사용함으로써 색 상호간의 상관관계를 고려할 수 있게 된다.The conventional flat color change interpolation method performs color interpolation using the assumption that the difference between two channels, that is, the subtracted value, is constant in a certain region. In other words, the correlation between colors can be considered by obtaining G-B and G-R and interpolating them.

1) G 채널의 복원 (R값만 있는 픽셀 또는 B값만 있는 픽셀)1) Restoration of G channel (pixels with only R values or pixels with only B values)

도 1은 일반적인 컬러 필터 어레이(CFA: Color Filter Array)의 베이어(Bayer) 패턴의 예시도이다. 먼저, 설명을 위해 'T'는 위쪽(Top), 'B'는 아래 쪽(Bottom), 'L'은 왼쪽(Left), 'R'은 오른쪽(Right)을 나타내고, 설명의 단순화를 위해 R과 B는 상황에 따라 A로 대체한다. 즉 A는 R일 수도 있고 B일 수도 있는 대표 문자이다. 이때 상대방 채널(R을 관심 가질 때는 B가 상대방 채널이고, B를 관심 가질 때는 R이 상대방 채널이다.)은 C로 표기한다. D(Difference)는 차영상의 채널이다. 즉, D _R =G-R 혹은 D _B =G-B 이다. 또한 D _AT 라고 하면 R이나 B에서 위쪽방향에 있는 D _A (G-R이나 G-B)를 뜻한다. 1 is an exemplary diagram of a Bayer pattern of a general color filter array (CFA). First, 'T' stands for Top, 'B' stands for Bottom, 'L' stands for Left, 'R' stands for Right, and R for simplicity. And B are replaced with A depending on the situation. That is, A is a representative character which may be R or B. In this case, the counterpart channel (B is the counterpart channel when interested in R, and R is the counterpart channel when interested in B) is denoted by C. D (Difference) is a channel of the difference image. That is, D _R = GR or D _B = GB. D _AT also means D _A (GR or GB) in the upward direction from R or B.

도 1을 참조하여 A₃₃ 에서 G 채널 값을 보간하는 방법을 설명한다. 먼저 보간하고자 하는 픽셀의 상하좌우의 주변 네 픽셀에서의 차영상 D _AT , D _AB ,D _AL ,D _AR 값을 구하고, 그 4가지 차영상 값들의 평균값을 계산하여 보간하고자 하는 픽셀에 존재하는 A값에 더하면 G₃₃의 값을 구할 수 있다. 상기의 과정을 수학식으로 나타내면 하기의 수학식 1, 수학식 2와 같다. A ₃₃ with reference to FIG. 1 This section describes how to interpolate G channel values. First, the difference image D _AT , D _AB , D _AL , and D _AR of four pixels around the top, bottom, left, and right of the pixel to be interpolated are calculated, and the average value of the four difference image values is calculated to find the A present in the pixel to be interpolated. Add to the value to get the value of G ₃₃ . The above process is represented by Equation 1 and Equation 2 below.

2) A 채널의 복원 ( R값만 있는 pixel 혹은 B값만 있는 pixel )2) Restoring A channel (pixel with R value only or pixel with B value only)

도 1을 참조하여 C₂₂ 에서 A 채널 값을 보간하는 방법을 설명한다. 먼저 보간하고자 하는 픽셀의 대각선 방향의 주변 4개의 픽셀의 차영상 D_ATL, D_ATR, D_ABL, D_ABR 값을 구하고, 그 4가지 차영상 값들의 평균값을 계산하여 보간하고자 하는 픽셀의 G값에서 빼면 A₂₂의 값을 구할 수 있다. 상기의 과정을 수학식으로 나타내면 하기의 수학식 3, 수학식 4와 같다. C ₂₂ with reference to FIG. 1 The following describes how to interpolate A channel values. First, calculate the difference image D _ATL , D _ATR , D _ABL , and D _ABR of four neighboring pixels in the diagonal direction of the pixel to be interpolated, and calculate the average value of the four difference image values from the G value of the pixel to be interpolated. Subtracting it gives the value of A ₂₂ . When the above process is represented by Equation 3, Equation 3 and Equation 4 below.

상기 수학식 3, 4에서 상기 g₁₁, g₁₃, g₃₁, g₃₃, g₂₂ 는 상기 G채널을 복원하는 과정에서 보간된 값들을 사용한다. In Equations 3 and 4, g ₁₁ , g ₁₃ , g ₃₁ , g ₃₃ , and g ₂₂ use interpolated values in the process of restoring the G channel.

3) A 채널의 복원 ( G값만 있는 pixel )3) Restoring A channel (pixel with G value only)

도 1을 참조하여 G₂₃에서 A 채널 값을 보간하는 방법을 설명한다. 먼저 보간하고자 하는 픽셀에 인접한 픽셀중에 A 채널 값을 가지는 위아래 두개의 픽셀의 차영상 D_AT, D_AB 값을 구하고, 2가지 차영상 값들의 평균값을 계산하여 보간하고자 하는 픽셀의 G값에서 빼면 A₂₃ 의 값을 구할 수 있다. 상기의 과정을 수학식으로 나타 내면 하기의 수학식 5, 6과 같다. A method of interpolating A channel values in G ₂₃ will be described with reference to FIG. 1. First, calculate D _AT and D _AB values of the two pixels above and below the A channel value among the pixels adjacent to the interpolation pixel, calculate the average value of the two difference image values, and subtract A from the G value of the pixel to be interpolated. You can get the value of ₂₃ . When the above process is represented by Equation 5, Equation 5 and 6 are as follows.

G₃₂에서 A 채널 값을 보간하는 경우에는 보간하고자 하는 픽셀에 인접한 픽셀중에 A 채널 값을 가지는 좌우 두개의 픽셀의 차영상 D_AL, D_AR 값을 구하고, 2가지 차영상 값들의 평균값을 계산하여 보간하고자 하는 픽셀의 G값에서 빼면 A₃₂의 값을 구할 수 있다. 수학식으로 나타내면 수학식 7, 8과 같다. In the case of interpolating the A channel value in G ₃₂ , the difference image D _AL and D _AR of two left and right pixels having the A channel value among the pixels adjacent to the interpolation pixel are calculated, and the average value of the two difference image values is calculated. The value of A ₃₂ can be obtained by subtracting the G value of the pixel to be interpolated. Equation (7) and Equation (8).

상기 수학식 5, 6, 7, 8에서 g₁₃, g₃₃, g₃₁, g₃₃은 상기 G채널을 복원하는 과정에서 보간된 값들을 사용한다. In Equations 5, 6, 7, and 8, g ₁₃ , g ₃₃ , g ₃₁ , and g ₃₃ use interpolated values in the process of restoring the G channel.

[에지 적응적 색상 보간법][Edge Adaptive Color Interpolation]

에지 적응적 색상 보간법은 기존 방법에서 에지 정보를 고려하지 못하는 문제점을 해결하기 위해서 색상 보간 시에 에지의 방향을 고려하여 에지를 가로 지르지 않도록 보간 하는 방법이다. 평탄 색상 변화(Smooth Hue Transition)를 가정으로 하여 색상 보간을 수행한다.The edge adaptive color interpolation method is a method of interpolating not to cross the edge in consideration of the direction of the edge during color interpolation in order to solve the problem of not considering the edge information in the conventional method. Color interpolation is performed on the assumption of smooth color transition.

상기 도 1의 A₃₃에서 G 채널 값은 다음과 같이 구한다. 먼저 상기 수학식 1에서 정의된 D _A 값의 수직측 차이값을 ΔV로, 수평측 차이값을 ΔH로 설정하여 하기의 수학식 9와 같이 정의한다. In A ₃₃ of FIG. 1, the G channel value is obtained as follows. First, the vertical difference value of D _A defined in Equation 1 is set to ΔV and the horizontal difference value is set to ΔH, and is defined as in Equation 9 below.

그리고 상기 ΔV, ΔH값을 서로 비교하여 그 값이 작은 방향으로 보간을 수행함으로써 수직, 수평 방향의 에지를 고려할 수 있다.The edges in the vertical and horizontal directions may be considered by comparing the values of ΔV and ΔH with each other and performing interpolation in a direction in which the values are small.

① 수직방향 보간① Vertical interpolation

ΔV가 ΔH보다 작은 경우 색 보간을 수직방향으로 수행하게 된다. 이때 g₃₃은 하기의 수학식 10과 같다.When ΔV is smaller than ΔH, color interpolation is performed in the vertical direction. In this case, g ₃₃ is represented by Equation 10 below.

② 수평방향 보간② Horizontal interpolation

ΔH가 ΔV보다 작은 경우 색 보간을 수직방향으로 수행하게 된다. 이때 g₃₃은 하기의 수학식 11과 같다.When ΔH is smaller than ΔV, color interpolation is performed in the vertical direction. In this case, g ₃₃ is represented by Equation 11 below.

③ 평탄 영역 보간③ Flat Area Interpolation

ΔV와 ΔH의 차이가 문턱값보다 작은 경우 이 때는 평탄 영역이므로 평탄 색상 변화 보간법과 동일한 방법으로 보간을 수행한다. 여기서 문턱값은 영상에 따라 결정된다. 이때 g₃₃은 하기의 수학식 12와 같다.If the difference between ΔV and ΔH is smaller than the threshold, then the interpolation is performed in the same manner as the flat color change interpolation method because it is a flat region. The threshold value is determined according to the image. In this case, g ₃₃ is represented by Equation 12 below.

2) A 채널의 복원 ( R값만 있는 픽셀 혹은 B값만 있는 픽셀 )2) A channel reconstruction (pixels with only R values or pixels with only B values)

C₂₂에서 A 채널 값은 다음과 같이 구한다. G 채널의 값은 수학식 10, 11, 12로 보간 하여 모두 존재한다고 생각한다. 그러면 R 채널에서도 G값이 존재하고 B 채널에서도 G값들은 존재한다. R에서 B값을 구하기 위해서는 R 채널에서의 G값에 대각선 방향으로 있는 B값들과 G값의 차이 값들을 구해서 이를 적절하게 평균내서 빼주면 된다. 따라서 하기의 수학식 13과 같이 나타낼 수 있다.The channel A value in C ₂₂ is calculated as follows. The values of the G channel are all present by interpolating the equations (10, 11, 12). Then, G values exist in the R channel and G values exist in the B channel. To find the B value from R, calculate the difference between the B value and the G value in the diagonal direction to the G value in the R channel, and then subtract it by averaging it appropriately. Therefore, it can be expressed as Equation 13 below.

여기서 g들은 이미 수학식 10, 11, 12를 사용하여 보간된 값들을 사용한다. 대각선 방향 주변 4개의 픽셀의 차영상 값(D_ATL, D_ABR, D_ABL, D_ATR)들의 평균값을 구하여 보간하고자 하는 픽셀의 G값에서 빼면 A₂₂값을 구할 수 있다. Where g already uses interpolated values using equations (10), (11), (12). The average value of the difference image values (D _ATL , D _ABR , D _ABL , D _ATR ) of four pixels around the diagonal direction is obtained and subtracted from the G value of the pixel to be interpolated to obtain an A ₂₂ value.

3) A 채널의 복원 ( G값만 있는 픽셀 )3) A channel reconstruction (pixels with G values only)

도 1을 참조하여 G₂₃에서 A 채널 값을 보간하는 방법을 설명한다. 먼저 보간하고자 하는 픽셀에 인접한 픽셀 중에서 A 채널 값을 가지는 위아래 두개의 픽셀의 차영상 D_AT, D_AB 값을 구하고, 2가지 차영상 값들의 평균값을 계산하여 보간하고자 하는 픽셀의 G값에서 빼면 A₂₃ 의 값을 구할 수 있다. 상기의 과정을 수학식으로 나타내면 하기의 수학식 14, 15와 같다. A method of interpolating A channel values in G ₂₃ will be described with reference to FIG. 1. First, calculate D _AT and D _AB values of two pixels above and below the A channel value among the pixels adjacent to the interpolation pixel, calculate the average value of the two difference image values, and subtract A from the G value of the pixel to be interpolated. You can get the value of ₂₃ . The above process is represented by the following equations (14) and (15).

G₃₂에서 A 채널 값을 보간하는 경우에는 보간하고자 하는 픽셀에 인접한 픽셀중에 A 채널 값을 가지는 좌우 두개의 픽셀의 차영상 D_AL, D_AR 값을 구하고, 2가지 차영상 값들의 평균값을 계산하여 보간하고자 하는 픽셀의 G값에서 빼면 A₃₂의 값을 구할 수 있다. 수학식으로 나타내면 수학식 16, 17과 같다. In the case of interpolating the A channel value in G ₃₂ , the difference image D _AL and D _AR of two left and right pixels having the A channel value among the pixels adjacent to the interpolation pixel are calculated, and the average value of the two difference image values is calculated. The value of A ₃₂ can be obtained by subtracting the G value of the pixel to be interpolated. The equations are the same as equations (16) and (17).

상기 수학식 14, 15, 16, 17에서 g₁₃, g₃₃, g₃₁, g₃₃은 상기 G채널을 복원하는 과정에서 보간된 값들을 사용한다. g들은 이미 수학식 10, 11, 12를 사용하여 보간된 값들을 사용한다. 평탄 색상 변화 보간법처럼 복원하고자 하는 채널과 같은 채널이 있는 방향 2개를 평균한다.In Equations 14, 15, 16, and 17, g ₁₃ , g ₃₃ , g ₃₁ , and g ₃₃ use interpolated values in the process of restoring the G channel. g already uses interpolated values using equations (10), (11), (12). Like flat color change interpolation, average the two directions in which the channel is located, such as the channel you want to reconstruct.

[종래의 방식들의 문제점][Problems of Traditional Methods]

Single CCD를 사용하여 입력으로 들어오지 않은 다른 채널의 컬러 정보를 보 간 하는 경우, 기존의 방법들은 에지 정보를 효과적으로 고려하지 못하고, 색 상호간의 상관관계를 잘 고려하지 못 하고 있기 때문에 에지(Edge, 물체의 윤곽이나 경계선)들에서 주로 발생하는 색상 오류(False Color Error)나 물결무늬 효과(Moire Effect)를 잘 제거하지 못하는 문제점을 가진다. 또한 평탄 영역과 에지 영역만을 고려하여 패턴 에지 영역에서 물결무늬 효과가 나타나는 등의 문제점을 가진다. When interpolating color information of other channels that do not come into the input using a single CCD, the existing methods do not consider edge information effectively and do not consider the correlation between colors. It has a problem that the color error (False Color Error) or the moire effect (Moire Effect) that occurs mainly in the outlines or boundaries of the) can not be removed well. In addition, in consideration of only the flat region and the edge region, there is a problem such as a moiré effect in the pattern edge region.

본 발명은 영역에 적응적인 알고리즘을 사용하며 에지의 방향성을 효과적으로 고려하여 색 보간시 발생할 수 있는 오류들의 발생을 최소화 하면서 고해상도의 보간 영상을 얻어내는 방법을 제공하고자 한다.An object of the present invention is to provide a method for obtaining a high resolution interpolation image while minimizing occurrence of errors that may occur during color interpolation by using an algorithm adaptive to a region and effectively considering edge directionality.

이를 달성하기 위한 본 발명은, 이미지센서를 사용하는 디지털 촬영장치에서 영역 적응적 방향성 색 보간 방법에 있어서, 영역에 적응적인 색 보간을 수행하기 위해서 컬러 필터 어레이(CFA: Color Filter Array) 상에서 각 픽셀을 평탄 영역, 일반 에지 영역, 패턴 에지 영역으로 구분하는 과정과, 수직, 수평 방향의 차영상 채널을 생성하여 오류를 최소화 하는 차영상 값을 추정한 후, 보간할 위치에서의 상기 수직, 수평 방향의 차영상 값의 가중치 합을 계산하여 상기 가중치 합을 사용하여 G(Green) 채널 값을 보간하는 과정과, 상기 보간된 G 채널 값을 사용하여 에지 방향 표시 함수를 구하고, 보간할 픽셀 주위의 참조 픽셀의 차영상 값에 상기 에지 방향 표시 함수를 가중치로 적용하여 가중치 평균을 사용해서 R(Red) 값을 가지는 픽셀에서 B(Blue) 채널 값을 보간하고, B 값을 가지는 픽셀에서 R 채널 값을 보간하는 과정과, 상기 보간된 G 채널 값을 사용하여 에지 방향 표시 함수를 구하고, 보간할 픽셀 주위의 참조 픽셀의 차영상 값에 상기 에지 방향 표시 함수를 가중치로 적용하여 가중치 평균을 사용해서 G 값을 가진 픽셀에서 R 채널 및 B 채널을 보간하는 과정을 포함함을 특징으로 한다.In order to achieve this, the present invention provides a method for directional color interpolation in a region adaptive direction in a digital photographing apparatus using an image sensor, wherein each pixel is arranged on a color filter array (CFA) to perform color adaptive interpolation. Is divided into a flat region, a general edge region, and a pattern edge region, and after estimating difference image values to minimize errors by generating difference image channels in vertical and horizontal directions, the vertical and horizontal directions at positions to be interpolated. Interpolating G (Green) channel values using the weighted sum by calculating the weighted sum of the difference image values of, and using the interpolated G channel values to obtain an edge direction indication function and reference around the pixels to be interpolated. Interpolate the B (Blue) channel value in the pixel with R (Red) value by using the weighted average by applying the edge direction display function as weight to the difference image value of the pixel Interpolating an R channel value from a pixel having a B value, obtaining an edge direction display function using the interpolated G channel value, and displaying the edge direction display function on a difference image value of a reference pixel around the pixel to be interpolated. It is characterized by including the process of interpolating the R channel and the B channel in the pixel having a G value by using the weighted average.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, specific details such as specific components are shown, which are provided to help a more general understanding of the present invention, and the specific details may be changed or changed within the scope of the present invention. It is self-evident to those of ordinary knowledge in Esau. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

잘못된 색상 오류(False Color Error)는 말 그대로 원래의 색과는 전혀 다른 색이 보간된 경우로 곳곳의 픽셀들이 주위와 부드럽지 못하고 눈에 띄게 튀어 보이게 되는 현상이다. 또한 물결무늬 효과는 주로 체크무늬들에서 많이 볼 수 있는데, TV를 볼 때도 많이 볼 수 있는 현상들이다. 체크무늬 옷이나 넥타이를 입은 사람들에서 무지개같이 알록달록하게 색깔이 망가지는 현상을 볼 수 있다. 색의 각 채널간의 상관관계를 잘 고려하고, 영역에 따른 에지의 방향을 잘 고려한다면, 색상 오 류나 물결무늬 효과를 최소화 할 수 있을 것이다.False Color Error is a phenomenon where literally interpolated colors are completely different from the original colors, and pixels in various places appear not to be smooth with the surroundings. Also, the moiré effect is mostly seen in checkered patterns, which are often seen when watching TV. People wearing checkered clothes or ties can see colorful colors like rainbows. If you consider the correlation between each channel of color and the direction of the edges according to the area, you can minimize the color error or ripple effect.

본 발명은 영역에 적응적인 알고리즘의 사용을 위해 영역을 크게 평탄 영역, 일반 에지 영역, 패턴 에지 영역으로 나누게 된다. 이를 바탕으로 하여 색의 각 채널간의 상관관계를 잘 고려하고, 영역에 따른 에지의 방향을 잘 고려한 영역 적응적인 색 보간을 수행하게 된다. 이때 색상 오류를 최소화하기 위하여 DLLMMSE (Directional Local Linear Minimum Mean Square Error) filter를 사용한다. The present invention divides a region into a flat region, a general edge region, and a pattern edge region for use of an algorithm adaptive to the region. Based on this, the correlation between the channels of the color is well considered, and the area adaptive color interpolation considering the direction of the edge according to the area is performed. In order to minimize the color errors, DLLMMSE (Directional Local Linear Minimum Mean Square Error) filter is used.

[영역 나누기][Divide region]

종래의 컬러 보간 방식들은 각 영역에서 장단점을 갖는다. 따라서 본 발명에서는 장점을 취하고 단점을 배제하기 위해서 영역을 나누고 이에 합당한 방식을 취하는 기법을 제안한다. Conventional color interpolation schemes have advantages and disadvantages in each region. Accordingly, the present invention proposes a technique of dividing a region and taking a proper manner in order to take advantage and exclude disadvantages.

도 2는 색 보간 동작시 평탄 영역과 에지 영역의 특성을 보여주는 예시도이다. 도 2는 G 채널의 색 보간 동작을 보여준다. 평탄 영역(Flat region)에서는 수평 방향(Horizontal)으로 보간한 결과와 수직 방향(Vertical)으로 보간한 결과가 유사하지만, 에지 영역(Edge region)에서는 수평 방향으로 보간한 결과와 수직 방향으로 보간한 결과가 상이하게 되는 예를 보여준다. 2 is an exemplary diagram illustrating characteristics of a flat region and an edge region in a color interpolation operation. 2 shows the color interpolation operation of the G channel. In the flat region, the horizontal interpolation result is similar to the vertical interpolation result, but in the edge region, the horizontal interpolation result is the same as the horizontal interpolation result. This shows an example of what is different.

1) 평탄 영역1) flat area

평탄 영역의 경우는 주변의 픽셀들이 비슷한 특성을 갖기 때문에 방향성을 고려하지 않아도 합당한 결과를 얻을 수 있다. 따라서 현재 픽셀이 평탄 영역에 존재 할 경우, 수평 방향으로 보간된 결과와 수직 방향으로 보간된 결과는 비슷한 값 을 갖는다. 하기의 수학식 18을 사용하여 수평값과, 수직값의 차이를 계산하고, 이를 이용하여 평탄 영역을 판별한다. In the case of the flat region, since the surrounding pixels have similar characteristics, reasonable results can be obtained without considering the orientation. Therefore, when the current pixel exists in the flat region, the horizontal interpolated result and the vertical interpolated result have similar values. The difference between the horizontal value and the vertical value is calculated using Equation 18 below, and the flat area is determined using the difference.

상기 수학식 18에서 G _H5 는 수평 방향으로 보간된 결과값이고, G _v5 는 수직 방향으로 보간된 결과값이고, G _flat 는 수평 방향으로 보간된 결과와 수직 방향으로 보간된 결과간의 차이값이다. In Equation 18, G _H5 is a result value interpolated in the horizontal direction, G _v5 is a result value interpolated in the vertical direction, and G _flat is a difference value between the result interpolated in the horizontal direction and the vertical interpolated result.

여기서 G_flat < Th_flat 인 영역에 대해서는 수평, 수직으로 보간된 결과가 비슷하다고 판별한다. 즉 이 영역을 평탄 영역이라고 결정한다. 상기의 Th_flat는 평탄 영역을 결정하는 평탄 문턱값으로 일반적으로 1~15 사이 값을 갖는다. Where G _flat For regions where <Th _flat , the interpolated results are determined to be similar. That is, this area is determined as a flat area. Th _flat is a flat threshold value for determining a flat area, and generally has a value between 1 and 15.

1) 에지 영역1) edge area

에지 영역의 경우는 주변의 픽셀들이 다른 특성을 갖기 때문에 방향성을 고려해야 오류를 줄일 수 있다. 에지 영역은 크게 일반적인 에지 영역과 패턴을 갖는 에지 영역으로 나뉠 수 있다. 일반 에지 영역의 경우에는 기존의 에지 적응적 색 보간법을 통해서 합당한 결과를 얻을 수 있다. 하지만 패턴을 갖는 에지의 경우에는 기존의 에지 적응적 색 보간법을 이용해서는 정확한 값을 추정하기 어렵다. 따라서 이러한 영역을 구별하여 합당한 방식을 취하여 영상의 품질을 높이는 방식을 제안한다.In the case of the edge region, since the surrounding pixels have different characteristics, the directionality can reduce the error. The edge region can be divided into an edge region having a general edge region and a pattern. In the case of general edge regions, reasonable results can be obtained through conventional edge adaptive color interpolation. However, in the case of edges with patterns, it is difficult to estimate the exact value using conventional edge adaptive color interpolation. Therefore, we propose a method of improving the quality of the image by distinguishing these areas and taking a reasonable method.

도 3은 일반 에지 영역과 패턴 에지 영역을 구별하기 위한 픽셀의 영역을 나타내는 예시도이다. 에지 영역의 경우에는 도 3의 (a)에 나타난 것처럼 기준 픽셀의 상하좌우 열십자 모양의 9개의 픽셀로 구성된 영역을 사용하여 일반 에지 영역인지 패턴 에지 영역인지 판단할 수 있다. 도 3의 (b)를 참조하면, 수평 방향의 색상 차이 값과 수직 방향의 색상 차이 값을 고려할 때 일반 에지 영역(Normal Edge region)에서는 두 값의 차이 값이 큰 것을 알 수 있다. 그러나 패턴 에지 영역(Pattern Edge region)에서는 두 값의 차이 값이 상대적으로 작은 것을 알 수 있다. 상기 수평 방향의 색상 차이 값과 수직 방향의 색상 차이 값은 하기의 수학식 19, 20으로 나타낸다. 3 is an exemplary diagram illustrating a region of a pixel for distinguishing a general edge region and a pattern edge region. In the case of the edge region, as shown in (a) of FIG. 3, it may be determined whether the region is a general edge region or a pattern edge region using a region composed of nine pixels of up, down, left, and right crisscross shapes of the reference pixel. Referring to FIG. 3B, when the horizontal color difference value and the vertical color difference value are considered, it can be seen that the difference value between the two values is large in the normal edge region. However, it can be seen that the difference between the two values is relatively small in the pattern edge region. The color difference value in the horizontal direction and the color difference value in the vertical direction are represented by Equations 19 and 20 below.

상기 수학식 19, 20에서 Diff _H , Diff _V 는 각각 수평, 수직 방향의 색상 차이 값이다. In Equations 19 and 20, Diff _H and Diff _V are color difference values in horizontal and vertical directions, respectively.

도 4는 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 영역 구분을 위한 동작 흐름도이다. 도 4를 참조하면, 처음 Bayer CFA를 통해 이미 지 정보를 받고, 501단계에서 G _flat 와 Th _flat 의 크기를 비교하여 G _flat 이 Th _flat 보다 작으면 평탄 영역으로 판단한다. 반대로 G _flat 이 Th _flat 보다 크거나 같으면 502단계로 진행하여 |Diff _V -Diff _H |값과 TH _edge (에지 문턱값)을 비교하여 |Diff _V -Diff _H |값이 TH _edge 보다 작으면 패턴을 가진 에지 영역으로 판단하고, |Diff _V -Diff _H |값이 TH _edge 보다 크거나 같으면 일반적인 에지 영역으로 판단한다. 4 is a flowchart illustrating an operation of distinguishing regions in a region adaptive directional color interpolation method according to an embodiment of the present invention. Referring to FIG. 4, the image information is first received through the Bayer CFA, and in step 501, the size of the G _flat and the Th _flat are compared, and if the G _flat is smaller than the Th _flat , the flat region is determined. Conversely, if G _flat is greater than or equal to Th _flat , go to Step 502 | Compares Diff _V - Diff _H | and TH _edge (edge threshold) | If the value of Diff _V - Diff _H is less than TH _edge , it is regarded as an edge region having a pattern, and | If the value of Diff _V - Diff _H | is greater than or equal to TH _edge , it is determined as a general edge area.

[R값 또는 B값을 가지는 픽셀에서의 G채널 색 보간][G-channel color interpolation in pixels with R or B values]

색 보간시 영역에 따른 국부 통계치의 특성이 다르며 마스크의 형태에 따라 통계치의 값은 장단점을 가진다. 그러므로 영역 분류 과정에서 효과적으로 나눈 영역에 따른 적절한 마스크의 형태와 컬러보간 과정이 필요하다. The local statistics have different characteristics according to the area of color interpolation, and the values of the statistics have advantages and disadvantages according to the mask type. Therefore, it is necessary to form the mask and color interpolation according to the effective division in the area classification process.

본 발명에서 사용하는 수직, 수평 방향의 G-R 신호는 하기의 수학식 21, 22, 23과 같이 나타낼 수 있다. The G-R signals in the vertical and horizontal directions used in the present invention may be represented by Equations 21, 22, and 23 below.

상기 수학식 21, 22, 23에서

,

는 각각 수직, 수평 방향의 G-R 값이고, 상기 수학식 23에서

,

는 각각 수평, 수직 방향 보간으로 인해 발생하는 오류 및 센서의 잡음이다.

,

를 최소화하기 위해서 기존의 잡음 제거에 많이 사용되는 필터인 LLMMSE(Local Linear Minimum Mean Square Error)를 적용하면 하기의 수학식 24와 같은 형태를 가지게 된다. In

Equation

21, 22, 23

,

Are GR values in the vertical and horizontal directions, respectively,

,

Are errors caused by horizontal and vertical interpolation, respectively, and sensor noise.

,

In order to minimize the LLMMSE (Local Linear Minimum Mean Square Error), a filter commonly used for removing noise, the following equation (24) is obtained.

상기 수학식 24에서

는 LLMMSE 필터를 이용하여 추정된 차영상 값이다.

,

는 국부 통계치로 각각

의 평균과 분산이다.

은 오류의 분산으로 제안되는 알고리즘에서는 평탄영역에서의 분산을 구함으로써 그 값을 추정할 수 있다. 여기서 국부 통계치

의 평균과 분산은 에지를 가로질러서 그 값이 추정되지 않도록 가중치를 사용하여 그 값을 계산한다.

는 하기의 수학식 25로 나타내고,

는 하기의 수학식 26으로 나타낸다. In Equation 24

Is the difference image value estimated using the LLMMSE filter.

,

Are local statistics,

Is the mean and the variance.

In the algorithm proposed as the variance of the error, the value can be estimated by obtaining the variance in the flat region. Where local statistics

The mean and the variance of are computed using weights so that their value is not estimated across the edge.

Is represented by the following Equation 25,

Is represented by the following equation (26).

상기 수학식 25, 26에서 N은 마스크로써 제안되는 알고리즘에서는 영역에 따라서 다르게 정의를 한다. 상기 수학식 27에서

는 문턱값으로써 G-R 영상의 표준편차인

을 사용한다. 보간될 위치에서 상기 수학식 24를 통해서 얻어진 수직, 수평방향의 값

,

을 효과적으로 선택하기 위해서 제안되는 알고리즘에서는 가중치합을 통해서 그 값을 구한다.In Equations 25 and 26, N is defined differently according to an area in the algorithm proposed as a mask. In Equation 27

Is the threshold, which is the standard deviation of the GR image.

Use Values in the vertical and horizontal directions obtained through Equation 24 at the position to be interpolated

,

In order to effectively select, the proposed algorithm finds its value through the weighted sum.

상기 수학식 28에서

,

은 각각 수평, 수직 방향 신호의 가중치 값이며, 다음과 같은 특성을 가진다. 신호의 분산에는 반비례하며, 주위 유사 픽셀의 개수에는 비례한다. 또한 두 가중치의 합은 1이 되어야 한다.

,

는 하기의 수학식 29를 통하여 계산한다. In Equation 28

,

Are weight values of horizontal and vertical signals, respectively, and have the following characteristics. It is inversely proportional to the variance of the signal and proportional to the number of similar pixels around it. In addition, the sum of the two weights should be 1.

,

Is calculated through Equation 29 below.

상기 수학식 29에서

는 각각 수평, 수직방향으로 보간된 G 신호의 분산, G-R 신호의 분산, 수평, 수직 방향으로 보간되었을 때 주위 유사픽셀의 개수이다. G-R 신호의 분산은 상기 수학식 26과 동일하다. G 신호의 분산은 Bayer로부터 입력받은 원신호 G도 포함하여 계산한다. 따라서 G 신호의 평균, 분산, 가중치는 하기의 수학식 30, 31, 32와 같다. In Equation 29

Are the variance of the G signal interpolated in the horizontal and vertical directions, the variance of the GR signal, and the number of surrounding similar pixels when interpolated in the horizontal and vertical directions, respectively. The variance of the GR signal is the same as in Equation 26 above. The variance of the G signal is calculated including the original signal G received from Bayer. Therefore, the mean, variance, and weight of the G signal are as shown in

Equations

30, 31, and 32 below.

상기 수학식 32에서 T_g는 문턱값으로써 G영상의 표준편차인

을 사용한다. 또한 상기 수학식 29에서 주위 유사 픽셀의 개수를 계산함에 있어서는 픽셀간의 L1-norm을 사용하여 그 유사도를 계산한다. 먼저 G 신호의 거리와 G-R 신호의 거리를 마스크 내부 픽셀에 대해서 하기의 수학식 33과 같이 계산한다. In Equation 32, T _g is a threshold and is a standard deviation of a G image.

Use In addition, in calculating the number of neighboring similar pixels in Equation 29, the similarity is calculated using L1-norm between the pixels. First, the distance of the G signal and the distance of the GR signal are calculated for Equation 33 below with respect to the pixel inside the mask.

다음 하기의 수학식 34와 같이 계산된 거리를 바탕으로 그 거리가 특정 문턱값(Th_g, Th_c)보다 작을 경우의 픽셀의 개수를 H로 정의한다. Next, H is defined as the number of pixels when the distance is smaller than a specific threshold Th _g and Th _c based on the distance calculated as in Equation 34 below.

상기 수학식 34에서 문턱값 Th_g는

, Th_c는

을 사용한다. 상기의 과정을 통해서 R 위치에서의 G-R 값을 추정할 수 있다. 이렇게 구한 G-R 값을 사용하여하기의 수학식 35처럼 현재 R 위치에서의 G 값을 추정할 수 있다. In Equation 34, the threshold Th _g is

, Th _c is

Use Through the above process, the GR value at the R position can be estimated. Using the obtained GR value, the G value at the current R position can be estimated as shown in Equation 35 below.

상기 수학식 35에서 R은 보간될 위치에서의 R 값이며, g는 보간하는 G 값이다. In Equation 35, R is an R value at a position to be interpolated, and g is an G value to be interpolated.

B위치에서의 G-B 값을 구하는 과정도 상기에 설명한 과정과 동일한 방법을 사용하여 구할 수 있다.The procedure for obtaining the G-B value at the B position can also be obtained using the same method as described above.

1) 평탄 영역1) flat area

평탄 영역에서의 오류신호

는 컬러 보간 방향에 따른 오류보다는 잡음에 의한 영향이 더 크다고 할 수 있다. 그러므로 평탄 영역에서는 국부 통계치

,

을 계산하기 위한 마스크를 정방형으로 사용함으로써 잡음제거에 더 효율적으로 사용할 수 있게 된다. Error signal in the flat area

It can be said that the effect of noise is greater than that of the color interpolation direction. Therefore, in the flat area, local statistics

,

By using a mask to calculate the square, it can be used more efficiently for noise reduction.

도 5는 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값 또는 B값을 가지는 픽셀의 평탄 영역에서의 G 채널 보간에 사용되는 마스크(mask)의 예시도이다. 마스크는 5x5 크기 이상의 마스크로 사용가능하다. 5 is an exemplary diagram of a mask used for G channel interpolation in a flat region of a pixel having an R value or a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention. Masks are available with masks larger than 5x5 size.

이를 통해 얻어진 값은 평탄영역에서 잡음이 효과적으로 제거된 값을 가지게 된다. 이렇게 추정된 수직, 수평 방향의 G-R 신호를 가중치 합을 통해서 최종적으로 추정된 값을 구하게 된다. 이 때

,

의 값을 계산할 때도 동일한 정방 마스크를 사용하게 된다. The value obtained through this has the value that noise is effectively removed from the flat area. The estimated GR values in the vertical and horizontal directions are finally obtained through the weighted sum. At this time

,

The same square mask is used to calculate the value of.

2) 일반 에지 영역2) general edge area

에지영역에서의 오류신호

는 컬러 보간 방향에 따른 오류가 잡음에 의한 영향보다 더 크다고 할 수 있다. 그러므로 에지 영역에서는 국부 통계치

,

을 계산하기 위한 마스크를 열십자 모양으로 사용함으로써 컬러 보간 방향에 따른 오류를 좀 더 효율적으로 제거하게 된다. 오류 신호에 대한 잡음에 의한 영향은 컬러 보간 방향과는 관계없이 나타나므로 국부 통계치 계산에 정방 마스크가 사용될 경우 잡음의 영향으로 보간 방향에 따른 오류가 효율적으로 제거 되지 못하며 또한 가중치 함수의 값이 잘못 계산될 가능성이 있다. Error signal in the edge area

It can be said that the error along the color interpolation direction is greater than the effect by noise. Therefore, in the edge area, local statistics

,

By using the mask to calculate the shape of the cross, it is more efficient to remove the error according to the color interpolation direction. Since the influence of noise on the error signal is independent of the color interpolation direction, when the square mask is used for the calculation of local statistics, the influence of the noise does not effectively eliminate the error along the interpolation direction, and the value of the weight function is calculated incorrectly. There is a possibility.

도 6은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값 또는 B값을 가지는 픽셀의 일반 에지 영역에서의 G 채널 보간에 사용되는 마스크의 예시도이다. 이 때

,

의 값을 계산할 때도 동일한 형태의 마스크를 사용하게 된다. 6 is an exemplary diagram of a mask used for G channel interpolation in a general edge region of a pixel having an R value or a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention. At this time

,

The same type of mask is used to calculate the value of.

3) 패턴 에지 영역3) pattern edge area

색 보간 알고리즘의 성능 차이가 가장 크게 나타나는 영역이 바로 패턴 영역이다. 이 영역에서는 단순한 수직, 수평의 차이값 비교로는 그 방향성을 확인하는 것이 힘들다. 이런 에지의 방향을 추정하기 힘든 영역에서는 좀 더 효과적으로 그 방향성을 추정하는 방법이 필요하다. 패턴 영역에서는 주위 값들의 통계치들을 충분히 고려함으로써 추정되는 위치에서의 방향성 결정에 도움을 줄 수 있다. The area where the performance difference of the color interpolation algorithm is greatest is the pattern area. In this area, it is difficult to confirm the directivity by comparing the difference between the vertical and horizontal values. In areas where it is difficult to estimate the direction of these edges, a more effective method of estimating the direction is needed. In the pattern area, it is helpful to determine the direction at the estimated position by fully considering the statistics of the ambient values.

도 7은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값 또는 B값을 가지는 픽셀의 패턴 에지 영역에서의 G 채널 보간에 사용되는 마스크의 예시도이다. 패턴 에지 영역에서 사용되는 마스크의 형태는 평탄 영역에서와 동일한 정방형 마스크이다. FIG. 7 is an exemplary diagram of a mask used for G channel interpolation in a pattern edge region of a pixel having an R value or a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention. The shape of the mask used in the pattern edge area is the same square mask as in the flat area.

[R값을 가진 픽셀의 B채널 색 보간 및 B값을 가진 픽셀의 R 채널의 색 보간][B-channel color interpolation of pixels with R values and R-channel color interpolation of pixels with B values]

도 8은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 R값을 가진 픽셀에서 B 채널 값 보간 및 B 값을 가진 픽셀에서 R 채널 값 보간에 사용되는 참조 픽셀을 나타내는 예시도이다. 도 8을 참조하여 C₂₂의 경우를 예를 들어 설명하면 다음과 같다. 즉, 이미 G채널은 보간이 끝났기 때문에 G값은 모두 존재한다고 가정한다. 그러면 C₂₂에서도 G값이 존재하고 A에서도 G값들은 존재한다. C₂₂에서 A값을 구하기 위해서는 A값들이 존재하는 대각선 방향으로 도 8에 나타난 것처럼 차영상 채널로 변환해야 한다. 차영상 채널은 하기의 수학식 36을 사용하여 계산할 수 있다. FIG. 8 is an exemplary diagram illustrating a reference pixel used for interpolating B channel values in a pixel having an R value and interpolating an R channel value in a pixel having a B value in a region adaptive directional color interpolation method according to an embodiment of the present invention. . A case of C ₂₂ will be described with reference to FIG. 8 as follows. That is, since the G channel has already interpolated, it is assumed that all G values exist. Then there are G values in C ₂₂ and G values in A. In order to obtain an A value at C ₂₂ , the A value must be converted to a difference image channel as shown in FIG. 8 in a diagonal direction in which the A values exist. The difference image channel may be calculated using Equation 36 below.

상기 수학식 36에서 G 채널을 보간할 때와는 다르게 완전히 보간된 G 채널의 정보를 이용할 수 있기 때문에 영역에 따른 보간을 하지는 않고, 에지 정보를 반영하는 가중치 평균으로 대체 하여 사용한다. 이는 영상의 밝기 정보의 대부분은 G 채널이 가지고 있기 때문에 G 채널의 보간이 완벽하다면, 이 G 채널의 정보를 이용해서 R, B 채널을 보간하면 거의 완벽하게 R, B 채널을 보간 할 수 있기 때문이다. Unlike the interpolation of the G channel in Equation 36, since the information of the fully interpolated G channel is available, the interpolation according to the region is not performed, and the weighted average reflecting the edge information is used instead. This is because most of the brightness information of the image is in the G channel, so if the interpolation of the G channel is perfect, the R and B channel can be almost completely interpolated by interpolating the R and B channels using the information of the G channel. to be.

이 때 보간에 사용되는 에지 방향표시 함수는 하기의 수학식 37과 같다.At this time, the edge direction display function used for interpolation is shown in Equation 37 below.

상기 수학식 37에서 T _g 는 문턱값으로써 G영상의 표준편차인

을 사용한다. In Equation 37, T _g is a threshold and is a standard deviation of a G image.

Use

주위 4방향의 가중치 평균으로 A채널을 보간을 하면 하기의 수학식 38과 같다. Interpolating the A channel with the weighted average in the surrounding four directions is as shown in Equation 38 below.

상기 수학식 38에서

는 색 보간에 사용되는 차영상의 위치에서의 에지 방향표시 함수이다.In Equation 38

Is an edge direction indicating function at the position of the difference image used for color interpolation.

[G값을 가지는 픽셀에서의 R채널 및 B 채널 색 보간][R-channel and B-channel color interpolation in pixels with G values]

도 9는 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법에서 G 값을 가지는 픽셀의 R, B 채널 값 보간에 사용되는 참조 픽셀을 나타내는 예시도이다. 대부분의 기존의 방법에서는 G의 위치에 따라 상하 또는 좌우 2개의 위치 정보만을 사용하거나 앞선 과정에서 보간된 정보를 이용해서 4방향의 위치 정보를 이용해서 보간을 했다. 하지만 본 발명에서는 그 마스크(mask)의 크기를 도 9의 (a), (b)와 같이 확장하여 6개의 위치 정보를 이용해서 보간을 수행함으로써 보간에 보다 정확한 정보를 사용하고, 충분한 주위 정보를 이용하게 된다. 도 9를 참조하여 G₃₃의 경우를 살펴보면 다음과 같다. A를 보간 할 경우에는 도 9의 (b)와 같이 마스크를 5x3으로 확장하여 6개의 차영상 값을 사용하고, C를 보간 할 경우에는 도 9의 (a)와 같이 마스크를 3x5로 확장하여 6개의 차영상 값을 사용한다. A와 C의 자리가 바뀌는 경우는 반대의 경우로 생각하여 마스크를 A의 경우는 3x5, C의 경우는 5x3으로 확장하여 보간하게 된다. 이 경우도 R 위치에서의 B 보간, B위치에서의 R 보간과 마찬가지로 6개 값의 가중치 평균을 사용하게 되고, 이 때 사용되는 에지 방향 표시 함수는 상기 수학식 37과 동일하다. 6개 차영상 값의 가중치 평균을 구하면 FIG. 9 is an exemplary diagram illustrating a reference pixel used for interpolating R and B channel values of a pixel having a G value in a region adaptive directional color interpolation method according to an embodiment of the present invention. In most conventional methods, interpolation is performed using only up, down, left and right position information depending on the position of G, or using four-way position information using information interpolated in the previous process. However, in the present invention, the size of the mask is extended as shown in FIGS. 9A and 9B to perform interpolation using six pieces of position information, thereby using more accurate information for interpolation and providing sufficient ambient information. Will be used. Looking at the case of G ₃₃ with reference to Figure 9 as follows. In case of interpolating A, six difference image values are used by extending the mask to 5x3 as shown in FIG. 9 (b), and in case of interpolating C, the mask is extended to 3x5 as shown in (a) of FIG. Difference image values are used. If the positions of A and C are reversed, the reverse is assumed, and the mask is interpolated to 3x5 for A and 5x3 for C. In this case, likewise, B interpolation at the R position and R interpolation at the B position, a weighted average of six values are used, and the edge direction display function used at this time is the same as in Equation 37. If we calculate the weighted average of the six differences

상기 수학식 39는 도 9의 (a)의 경우이고, 상기 수학식 40은 도 9의 (b)의 경우이다. 상기에 설명한 과정들을 통하여 색 보간된 영상을 획득하게 된다. Equation 39 is the case of FIG. 9A, and Equation 40 is the case of FIG. 9B. Color interpolated images are obtained through the above-described processes.

도 10은 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법의 동작 흐름도이다. 도 10의 (a)는 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법의 동작 흐름도이다. 도 10의 (a)를 참조하면, 처음 210단계에서 Bayer CFA를 통하여 각 픽셀별로 이미지 정보를 입력 받고, 220단계에서 평탄 영역과, 일반 에지 영역, 패턴 에지 영역으로 영역을 분류 한다. 다음 230단계에서 수직, 수평 방향의 차영상 값을 계산하여 차영상 채널을 생성하고, 240단계에서 DLLMMSE 필터를 사용하여 오류를 최소화 한다. 250단계에서 영역 적응적 색 보간을 수행하고, 260단계에서 보간된 영상을 출력한다. 10 is a flowchart illustrating a method of region adaptive directional color interpolation according to an embodiment of the present invention. 10A is a flowchart illustrating an operation of the region adaptive directional color interpolation method according to an embodiment of the present invention. Referring to FIG. 10A, in step 210, image information is input for each pixel through a Bayer CFA, and in step 220, an area is classified into a flat area, a general edge area, and a pattern edge area. Next, in step 230, the difference image value in the vertical and horizontal directions is calculated to generate the difference image channel, and in step 240, the DLLMMSE filter is used to minimize the error. In operation 250, region adaptive color interpolation is performed, and in operation 260, the interpolated image is output.

도 10의 (b)는 영역 적응적 색 보간 동작의 세부 동작을 나타내는 흐름도이다. 도 10의 (b)를 참조하면, 색 보간은 전체적으로는 G 채널을 먼저 수행한 후에 보간된 G 채널의 정보를 이용해서 R, B 채널을 보간하게 된다. 10B is a flowchart illustrating a detailed operation of the region adaptive color interpolation operation. Referring to (b) of FIG. 10, color interpolation generally performs G channel first, and then interpolates the R and B channels using the information of the interpolated G channel.

도 10의 (b)에서 251단계와 252단계는 G 채널을 보간하는 과정이다. 먼저 251단계에서 차영상 채널에서 적절한 수직, 수평 방향의 차영상 값을 선정하여 가중치합을 계산하고 252단계에서 그것을 이용하여 R 값 또는 B 값을 가지는 픽셀에서 G채널의 색상을 보간한다. 253단계에서 R 값을 가지는 픽셀에서 B 채널의 색상을 보간하고 B 값을 가지는 픽셀에서 R 채널의 색상을 보간한다. 254단계에서 G 값을 가지는 픽셀에서 R 채널과 B 채널의 색상을 보간하여 모든 픽셀의 색상을 보간하게 된다. In FIG. 10B, steps 251 and 252 are processes of interpolating the G channel. First, in step 251, the difference image values in the vertical and horizontal directions are selected in the difference image channel to calculate the weighted sum, and in step 252, the color of the G channel is interpolated in the pixel having the R value or the B value. In step 253, the color of the B channel is interpolated in the pixel having the R value, and the color of the R channel is interpolated in the pixel having the B value. In step 254, the colors of all the pixels are interpolated by interpolating the colors of the R and B channels in the pixel having the G value.

도 11은 본 발명의 일 실시예에 따른 색 보간 장치의 블록 구성도이다. 도 11의 (a)는 본 발명의 일 실시예에 따른 색 보간 장치의 블록 구성도이다. 도 11의 (a)를 참조하면, 본 발명의 일 실시예에 따른 색 보간 장치는 영역 구분부(110)와, 차영상 채널 형성부(120)와, 가중치 계산부(130)와, 색 보간부(140)를 포함한다. 11 is a block diagram of a color interpolation apparatus according to an embodiment of the present invention. 11A is a block diagram of a color interpolation apparatus according to an embodiment of the present invention. Referring to FIG. 11A, a color interpolation apparatus according to an exemplary embodiment of the present invention may include an area separator 110, a difference image channel forming unit 120, a weight calculator 130, and a color beam. It includes the liver 140.

영역 구분부(110)는 픽셀의 영역을 평탄 영역, 일반 에지 영역, 패턴 에지 영역으로 나눈다. 영역을 구분하는 동작은 상기의 도 4를 설명하는 부분과 동일하므로 구체적인 설명은 생략한다. The area divider 110 divides an area of a pixel into a flat area, a general edge area, and a pattern edge area. The operation of dividing the region is the same as that of FIG. 4 described above, and thus a detailed description thereof will be omitted.

차영상 채널 형성부(120)는 보간될 픽셀을 중심으로 수직, 수평 방향의 주변 픽셀에서 G 값으로부터 R 값을 뺀 차영상 채널(D_R)또는 G 값으로부터 B 값을 뺀 차영상 채널(D_B)을 형성한다. 상기 차영상 채널(D_R, D_B)중 어떠한 것을 이용할 것인지는 보간될 픽셀이 갖는 컬러 성분 및 보간하고자 하는 컬러 성분의 종류에 따라 결정된다. 예를 들어, R 값을 보간하고자 하는 경우라면 보간될 픽셀의 주변 픽셀 각각에서 G 값과 R 값을 뺀 차영상을 형성하고, B 값을 보간하고자 하는 경우라면 보간될 픽셀의 주변 픽셀 각각에서 G 값과 B 값을 뺀 차영상을 형성한다. 또한, G 값을 보간하고자 하는 경우라면, 보간될 픽셀의 주변 픽셀 각각에서 G 값과 현재 보간될 픽셀이 갖는 색성분의 색상값을 뺀 차영상을 형성한다. The difference image channel forming unit 120 includes a difference image channel D _R obtained by subtracting _R from a G value or a difference image channel D obtained by subtracting B from a G value. Form _B ). Which of the difference image channels D _R and D _B is to be used depends on the color component of the pixel to be interpolated and the type of color component to be interpolated. For example, if you want to interpolate an R value, form a difference image by subtracting the G and R values from each of the surrounding pixels of the pixel to be interpolated; if you want to interpolate the B value, G from each of the peripheral pixels of the pixel to be interpolated A difference image is obtained by subtracting the value from the B value. In addition, if the G value is to be interpolated, a difference image is formed by subtracting the G value and the color value of the color component of the pixel to be interpolated from each of the peripheral pixels of the pixel to be interpolated.

가중치 계산부(130)는 G 채널 값을 보간할시 보간할 픽셀의 영역에 따라 적절한 마스크를 선택하여 가중치를 계산하고 R 채널 값과 B 채널 값을 보간할시 보간할 픽셀의 주변 픽셀 중에서 색 보간에 이용되는 적절한 픽셀을 선택하여 가중치 를 계산한다. The weight calculator 130 calculates a weight by selecting an appropriate mask according to the area of the pixel to be interpolated when interpolating the G channel value, and interpolates colors among pixels around the pixel to be interpolated when interpolating the R channel value and the B channel value. Calculate the weight by selecting the appropriate pixel used in.

색 보간부(140)는 상기 차영상 채널 형성부(110)에서 형성된 차영상 값과 상기 가중치 계산부(130)에서 계산된 색 보간에 이용되는 픽셀의 가중치를 이용하여 각 픽셀의 색상 보간을 수행한다. The color interpolator 140 performs color interpolation on each pixel by using the difference image value formed by the difference image channel forming unit 110 and the weights of pixels used for color interpolation calculated by the weight calculator 130. do.

도 11의 (b)는 색 보간부(140)의 구성을 구체적으로 나타낸 블록 구성도이다. 도 11의 (b)를 참조하면 상기 색 보간부(140)은 제1색보간부(141), 제2색보간부(142), 제3색보간부(143)를 포함한다. FIG. 11B is a block diagram illustrating a configuration of the color interpolation unit 140 in detail. Referring to FIG. 11B, the color interpolator 140 includes a first color interpolator 141, a second color interpolator 142, and a third color interpolator 143.

제1색보간부(141)는 상기 주변 픽셀의 차영상 값과 가중치를 이용하여 G 값을 갖지 않는 픽셀들에서 G 값을 보간한다. 제2색보간부(142)는 B 값을 갖는 픽셀에서 R 값을 보간하고 B 값을 갖는 픽셀에서 R 값을 보간한다. 제3색보간부(143)는 G 값을 갖는 픽셀에서 R 값 및 B 값을 보간한다. The first color interpolator 141 interpolates the G value in the pixels having no G value by using the difference image value and the weight of the peripheral pixel. The second color interpolator 142 interpolates an R value in a pixel having a B value and interpolates an R value in a pixel having a B value. The third color interpolator 143 interpolates the R and B values in the pixel having the G value.

본 발명에 따른 영역 적응적 방향성 색 보간 방법은 영역에 따른 적절한 마스크의 사용과 가중치 함수의 결정으로 기존의 색 보간 방법보다 고주파 영역에서는 해상도의 향상이 있고, 평탄 영역에서는 색 잡음 및 센서의 잡음이 효과적으로 제거 된다. 구체적으로 다음의 실험결과를 통해 상세하게 확인 할 수 있다. In the area adaptive directional color interpolation method according to the present invention, the resolution is improved in the high frequency region compared to the conventional color interpolation method, and the color noise and the sensor noise are reduced in the flat region. Effectively removed. Specifically, the following experimental results can be confirmed in detail.

[실험 결과][Experiment result]

실험 영상은 색 보간의 실험영상으로 가장 많이 쓰이는 영상인 Lighthouse, house, boat영상을 Bayer CFA로 만든 후 이를 실험 데이터로 사용하였다. 도 12, 13, 14, 15는 종래의 색 보간 방법을 사용한 영상과 본 발명의 일 실시예에 따른 색 보간 방법을 사용한 영상을 비교하여 보여주는 예시도이다. 도 12의 (a), 도 13의 (a), 도 14의 (a)는 종래의 색 보간 방법에 의해 보간된 영상이다. 도 12의 (a)에서는 창문에서 대각선으로 물결무늬 효과의 발생을 확인 할 수 있고, 도 13의 (a)에서는 파도에서의 색상 오류의 발생과 얇은 에지인 밧줄에서의 색 보간 성능을 확인 할 수 있다. 또, 도 14의 (a)에서는 에지가 반복적으로 나타나는 펜스 영역에서의 물결무늬 효과와, 등대에서의 색상 오류 등을 확인 할 수 있다. 도 15의 (a)는 알고리즘의 성능을 가장 잘 확인 할 수 있는 영상으로 도 14의 (a)의 패턴 영역의 부분 확대 영상이다. 종래의 방식과 비교하면 도 12의 (b)에서는 도 12의 (a)에서 보이는 창문에서의 물결무늬 효과가 발생하지 않았음을 확인 할 수 있고, 도 13의 (b)에서는 도 13의 (a)에서 보이는 파도에서의 색상 오류가 많이 줄어들었고, 또한 밧줄에서도 색상오류 없이 보간이 잘 되었음을 확인 할 수 있다. 또한 도 14의 (b)에서는 도 14의 (a)에서 보이는 에지가 반복되는 영역 즉 패턴 에지 영역에서의 물결무늬 효과 및 색상 오류가 거의 발생하지 않고 보간이 되었음을 확인 할 수 있다. 패턴 에지 영역에서의 성능 확인을 위해서 도 15의 (a)와, 도 15의 (b)를 비교해 봤을 때 패턴 에지 영역에서 본 발명에서 제안하는 보간 방법을 사용하여 물결 무늬 효과와 색상 오류 현상 없이 보간이 되었음을 확인 할 수 있다. 도 12, 13, 14, 15의 비교를 통해서 본 발명에서 제안하는 보간 방법이 에지를 잘 고려해서 잘 보전하였고, 색 보간에서 문제가 되는 색상 오류 및 물결 무늬 효과를 거의 발생시키지 않으면서 색을 효과적으로 보간 하였음을 확인 할 수 있다.The experimental image was made of Bayer CFA, which is the most commonly used image for color interpolation, and was used as experimental data. 12, 13, 14, and 15 are exemplary views illustrating comparison between an image using a conventional color interpolation method and an image using a color interpolation method according to an embodiment of the present invention. 12 (a), 13 (a), and 14 (a) are interpolated images by a conventional color interpolation method. In (a) of FIG. 12, it is possible to check the occurrence of the moiré effect diagonally in the window, and in FIG. 13 (a), it is possible to check the occurrence of color errors in the waves and color interpolation performance in a rope having a thin edge. have. In addition, in FIG. 14A, the fringe effect in the fence region where the edges appear repeatedly, the color error in the lighthouse, and the like can be confirmed. FIG. 15 (a) is an image of which the performance of the algorithm can be best confirmed, and is a partially enlarged image of the pattern region of FIG. 14 (a). In comparison with the conventional method, it can be seen that the wave pattern effect in the window shown in FIG. 12A does not occur in FIG. 12B, and FIG. 13A in FIG. 13B. Color errors in the waves seen in the) are reduced a lot, and you can also see that the ropes interpolate well without color errors. In addition, in FIG. 14B, it can be confirmed that the wave pattern effect and color error in the region where the edge shown in FIG. In order to check the performance in the pattern edge region, when comparing FIG. 15A and FIG. 15B, the interpolation method proposed by the present invention is used in the pattern edge region to interpolate without a moiré effect and color error. It can be confirmed that. 12, 13, 14, and 15, the interpolation method proposed in the present invention is well preserved considering the edge well, and color is effectively generated without almost causing color error and moiré effect that are problematic in color interpolation. You can check that you have interpolated.

상기와 같이 본 발명의 일 실시예에 따른 영역 적응적 방향성 색 보간 방법 의 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.As described above, the operation of the region-adaptive directional color interpolation method according to an embodiment of the present invention can be performed. Meanwhile, in the above description of the present invention, specific embodiments have been described, but various modifications do not depart from the scope of the present invention. It can be done without. Therefore, the scope of the present invention should not be defined by the described embodiments, but by the claims and equivalents of the claims.

본 발명에 따른 영역 적응적 방향성 색 보간 방법은 영역에 적응적인 알고리즘을 사용하며 에지의 방향성을 효과적으로 고려하여 색 보간시 발생할 수 있는 오류들의 발생을 최소화 하여, 기존의 방식보다 선명한 고해상도의 보간 영상을 얻을 수 있다. The region-adaptive directional color interpolation method according to the present invention uses a region-adaptive algorithm and effectively considers the directionality of edges to minimize the occurrence of errors that can occur during color interpolation, thereby providing a higher resolution interpolation image with higher resolution than the conventional method. You can get it.

Claims

In the region adaptive directional color interpolation method in a digital photographing apparatus using an image sensor,

Dividing each pixel into a flat area, a general edge area, and a pattern edge area on a color filter array (CFA) to perform color interpolation adaptive to the area;

After generating the difference image channel in the vertical and horizontal directions to estimate the difference image value to minimize the error, the weighted sum is calculated by calculating the weighted sum of the estimated difference image values in the vertical and horizontal directions to interpolate. Interpolating G (Green) channel values,

An edge direction indication function is obtained using the interpolated G channel value, and the edge direction indication function is weighted to a difference image value of a reference pixel around the pixel to be interpolated to have an R (Red) value using a weighted average. Interpolating the B (Blue) channel value at the pixel, and interpolating the R channel value at the pixel having the B value,

An edge direction indication function is obtained using the interpolated G channel value, and the edge direction indication function is weighted to a difference image value of a reference pixel around the pixel to be interpolated, and a weighted average is used to R at a pixel having a G value. Color interpolation method comprising the step of interpolating the channel and the B channel.

The process of claim 1, wherein each pixel is divided into a flat area, a general edge area, and a pattern edge area.

When the difference between the result value of the reference pixel interpolated in the horizontal direction and the result value interpolated in the vertical direction is smaller than the preset flat threshold value, the flat area is set.

If the difference between the horizontal interpolation result of the reference pixel and the vertical interpolation result is greater than or equal to the predetermined flat threshold value, the horizontal color difference value of the reference pixel and the vertical color difference value If the difference is greater than the preset edge threshold by checking the difference between the set to the normal edge area,

And when the difference between the color difference value in the horizontal direction and the color difference value in the vertical direction is smaller than the preset edge threshold value, setting the pattern edge region.

The color interpolation method of claim 2, wherein the color difference values in the vertical direction and the color difference values in the horizontal direction are calculated using Equations 19 and 20 below.

[Equation 19]

[Equation 20]

In Equations 19 and 20, Diff _H is a color difference value in a horizontal direction, Diff _V is a color difference value in a vertical direction, and R is an R channel value of a reference pixel, where a pixel position is (3,3). Suppose that R1, R2, R3, and R4 are R channel values at positions (3,1), (1,3), (3,5), and (5,3), and the G1, G2, G3, G4 is the G channel value at (3,2), (2,3), (3,4) and (4,3).

3. The method of claim 2, wherein the predetermined flat threshold that determines the flat region has a value between 1 and 15.

The color interpolation method of claim 1, wherein the vertical and horizontal difference image channels are generated by using Equations 21 and 22. 3.

[Equation 21]

[Equation 22]

In Equation 21, 22

Is the difference image value in the vertical direction,

Is the difference image value in the horizontal direction, i and j are pixel coordinates, G (i, j) is a G channel value of (i, j) coordinates, and R (i, j) is a (i, j) coordinate. R channel value of.

The method of claim 1, wherein estimating a difference image value that minimizes an error is performed by applying a Local Linear Minimum Mean Square Error (LLMMSE) filter to minimize errors caused by horizontal and vertical interpolation and noise of a sensor. Color interpolation method characterized in that the form as shown in Equation (24).

[Equation 24]

In Equation 24,

Is the difference image value estimated using the LLMMSE filter,

Above

Is the average of

Above

Is the dispersion of

Is the variance of the error.

The method of claim 6, wherein

The average and the variance of the color interpolation method using a weight so that the value is not estimated across the edge as shown in equations (25) and (26) below, and the weight is calculated as in equation (27).

[Equation 25]

[Equation 26]

[Equation 27]

In Equation 25, 26, 27

Above

Is the average of

Above

Where w is a weight, and in Equations 25 and 26, N is a mask applied according to an area of the corresponding pixel.

Is the threshold, which is the standard deviation of the GR image.

Use

The color interpolation method of claim 1, wherein the weighted sum of the difference image values in the vertical and horizontal directions at the position to be interpolated is calculated by using Equation 28 below.

[Equation 28]

In Equation 28,

Is a weighted sum difference image value,

Is an estimated horizontal difference image value,

Is an estimated vertical difference value, W _h (i, j) is a weight value of a horizontal signal, and W _v (i, j) is a weight value of a vertical signal.

The color interpolation method of claim 8, wherein the weight values of the horizontal and vertical signals are represented by Equation 29 below.

[Equation 29]

In Equation 29,

Is the variance of the interpolated G signal in the horizontal direction,

Is the variance of the interpolated G signal in the vertical direction,

Is the variance of the GR signal interpolated in the horizontal direction,

Is the variance of the GR signal interpolated in the vertical direction, H _h is the number of neighboring similar pixels when interpolated in the horizontal direction, and is the number of surrounding similar pixels when the H _v vertical interpolated.

10. The color interpolation method of claim 9, wherein an average, a variance, and a weight of the G signal interpolated in the horizontal direction are as shown in Equations 30, 31, and 32 below.

Equation 30

Equation 31

Equation 32

In Equations 30, 31 and 32, w is a weight, and in Equations 30 and 31, N is a mask applied according to an area of a corresponding pixel, and in Equation 32, T _g is a threshold value. Standard deviation

Use

10. The method of claim 9, wherein the similarity is calculated by using L1-norm between pixels when calculating the number of similar pixels around the pixel. When the calculated distance is smaller than the predetermined threshold value, the color interpolation method is characterized in that the number of pixels as defined in Equation 34 below.

[Equation 33]

[Equation 34]

In Equation 34, the threshold Th _g is

, Th _c is

Using.

The method of claim 1, wherein the G channel value is interpolated using Equation 35 below.

[Equation 35]

In Equation 35, R is an R channel value at a position to be interpolated, and g is a G channel value to be interpolated.

The method of claim 1, wherein the interpolation of the G-channel is performed by using a square mask having a size of 5x5 or more in the flat region and the pattern edge region, and a cross-shaped cross in the vertical and horizontal directions in the general edge region. Color interpolation method characterized in that to perform interpolation using a mask.

The method of claim 1, wherein in the process of interpolating a B channel value in a pixel having an R value and interpolating an R channel value in a pixel having a B value, four peripheral pixels of a diagonal of a pixel to be interpolated are referred to for color interpolation. Color interpolation method characterized by setting in pixels.

The method of claim 1, wherein in the process of interpolating the R channel and the B channel in a pixel having a G value, six peripheral pixels included in an area having a size of either 3x5 or 5x3 are colored based on the pixel to be interpolated. Color interpolation method, characterized in that it is set to the pixel referred to the interpolation.

2. The method of claim 1, wherein the channels of the difference image are generated to obtain a weight using a fully interpolated G channel value, and the B channel value is interpolated at a pixel having an R value using the weight and the R channel at a pixel having a B value. The process of interpolating the values is calculated in the same manner as in Equation 38 below.

[Equation 38]

In Equation 38, D is a difference image value of a corresponding pixel located at each coordinate,

Is a weighting value applied to each difference image value as an edge direction display function at the position of the difference image used for color interpolation.

The process of claim 1, wherein the channels of the difference image are generated to obtain weights using the fully interpolated G channel values, and the process of interpolating the R channel values and the B channel values from the pixels having the G values using the weights is 5 × 3 size. Is calculated in the same manner as in Equation 39 below, and is calculated in the same manner as in Equation 40 below when using a 3x5 mask.

[Equation 39]

[Equation 40]

In Equations 39 and 40, a ₃₃ is an A channel value to be interpolated, and its coordinate is assumed to be (3, 3). D is a difference image value of the corresponding pixel located at each coordinate, and w is a weight applied to each difference image value as an edge direction indicating function of the corresponding pixel located at each coordinate.

18. The color interpolation method according to claim 16 or 17, wherein the edge direction display function at the position of the difference image used for the color interpolation is calculated through Equation 37 below.

[Equation 37]

In Equation 37, w is an edge direction display function and T _g is a threshold value, which is a standard deviation of a G image.

Using.