KR102345485B1

KR102345485B1 - Dynamic binning control apparatus of hyperspectral camera and method thereof

Info

Publication number: KR102345485B1
Application number: KR1020200081394A
Authority: KR
Inventors: 김영덕; 손국진; 곽동훈
Original assignee: 재단법인대구경북과학기술원
Priority date: 2020-07-02
Filing date: 2020-07-02
Publication date: 2022-01-03

Abstract

The present invention relates to a dynamic binning control device of a hyperspectral camera and a method thereof. The method of the present invention comprises the steps of: obtaining a brightness value array, which is a brightness value for each band in a corresponding pixel, for each (X x Y) pixels in a hyperspectral image obtained by performing the line scanning on a sample; obtaining, for each line, the width (Gap_i) between maximum and minimum brightness values for each band using X brightness value arrays corresponding to X pixels in a corresponding line, and obtaining a gradient (Gradient_i) of a brightness value for each band by averaging i^th bands after calculating variation of brightness values between the i^th band and an (i+1)^th band for each of the X pixels; defining a global width parameter using maximum, minimum, and median values among the brightness widths (Gap_i) obtained for each band in a first line as elements, and a global gradient parameter using maximum, minimum, and median values among the brightness gradients (Gradient_i) obtained for each band as elements; updating and redefining the global width parameter and global gradient parameter defined in an immediately preceding (k-1)^th line (k = 2 to Y) on the basis of the brightness width and brightness gradient for each band obtained from a k^th line; and mapping different levels of binning conditions for each multi-stage width section and multi-stage gradient section divided by elements of two global parameters finally determined in a last line. According to the present invention, the data capacity of an image obtained through the hyperspectral camera can be reduced, and an inspection calculation speed can increase.

Description

Dynamic binning control apparatus of hyperspectral camera and method thereof

본 발명은 초분광 카메라의 동적 비닝 조절 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 라인스캔 초분광 카메라를 이용하여 컨베이어 벨트 등을 따라 이동하는 제품 표면의 품질 상태를 검사함에 있어 초분광 카메라를 통해 획득되는 이미지의 데이터 용량을 줄여서 계산 속도를 향상시킬 수 있는 초분광 카메라의 동적 비닝 조절 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling dynamic binning of a hyperspectral camera, and more particularly, to a hyperspectral camera in inspecting the quality of the surface of a product moving along a conveyor belt using a line scan hyperspectral camera. The present invention relates to an apparatus and method for controlling dynamic binning of a hyperspectral camera capable of improving calculation speed by reducing the data capacity of an image acquired through the

일반적으로 기존 RGB 카메라로부터 촬영된 이미지는 픽셀당 3개의 밴드(파장 대역)을 가지며, 초분광 카메라로부터 촬영된 이미지는 픽셀당 수십 내지 수백 개의 밴드를 가진다.In general, an image photographed from an existing RGB camera has three bands (wavelength band) per pixel, and an image photographed from a hyperspectral camera has tens to hundreds of bands per pixel.

도 1은 일반적인 RGB 이미지를 설명한 도면이다. 도 1의 가로축은 파장(wavelength), 세로축은 해당 파장에서 측정된 밝기 강도(intensity)를 나타낸다. 이와 같이 일반적인 RGB 이미지의 한 픽셀은 빨강(Red), 초록(Green), 파랑(Blue)을 포함한 3가지 밴드(파장 대역)를 가진다. 1 is a diagram illustrating a general RGB image. In FIG. 1 , the horizontal axis indicates a wavelength, and the vertical axis indicates brightness intensity measured at the corresponding wavelength. As such, one pixel of a general RGB image has three bands (wavelength bands) including red, green, and blue.

도 2는 초분광 카메라를 통해 획득한 초분광 이미지를 설명한 도면이다. 도 2의 가로축은 파장(wavelength), 세로축은 해당 파장에서 측정된 반사율(reflectance)을 나타낸다. 2 is a diagram illustrating a hyperspectral image acquired through a hyperspectral camera. In FIG. 2 , the horizontal axis indicates a wavelength, and the vertical axis indicates reflectance measured at the corresponding wavelength.

일반적으로 밝기값은 Intensity 혹은 DN(Digital Number)로 명명한다. 도 2의 경우는 DN 값(밝기값)을 광원대비 반사율(Reflectance; % 단위)로 변환하여 사용한 것이다. 이러한 반사율은 DN 값에 비례하며, 원시 DN값을 가공하여 다양하게 표현될 수 있다.In general, the brightness value is called intensity or DN (Digital Number). In the case of FIG. 2, the DN value (brightness value) is converted into reflectance (Reflectance; % unit) compared to the light source and used. This reflectance is proportional to the DN value, and can be expressed in various ways by processing the raw DN value.

도 2를 참조하면, 초분광 카메라로부터 획득된 이미지는 픽셀당 수십 내지 수백 개의 밴드(파장 대역)로 구성된다. 예를 들어, 특정 초분광 카메라가 300개의 밴드를 지원한다면 기존 RGB 카메라에 비해 100배 크기의 정보를 포함한다고 볼 수 있다. Referring to FIG. 2 , an image obtained from a hyperspectral camera is composed of tens to hundreds of bands (wavelength bands) per pixel. For example, if a specific hyperspectral camera supports 300 bands, it can be seen that it contains information 100 times larger than that of an existing RGB camera.

이러한 데이터의 크기에 따라 메모리에 저장되는 이미지의 용량도 달라진다. 예를 들어, R, G, B 색상당 밝기가 8 bit(1 byte)의 디지털 수치(0 내지 255의 값)로 표현된다고 가정하면, 600×400 해상도의 이미지에 대해 RGB 카메라의 경우, 600×400×3 바이트의 공간이 필요하다. 반면, 초분광 카메라의 경우는 600×400×300 바이트의 공간이 필요하다. 물론, 초분광 카메라의 밴드 당 갖는 밝기는 8 bit 이상의 경우가 많으므로 더욱 많은 메모리 공간을 필요하게 된다. The size of the image stored in the memory also varies according to the size of such data. For example, if it is assumed that the brightness per color of R, G, and B is expressed as a digital number of 8 bits (1 byte) (a value of 0 to 255), for an image of 600 × 400 resolution, in the case of an RGB camera, 600 × 400×3 bytes of space are required. On the other hand, in the case of a hyperspectral camera, a space of 600×400×300 bytes is required. Of course, since the brightness of the hyperspectral camera per band is often 8 bits or more, more memory space is required.

이와 같이, 획득되는 이미지의 데이터 용량이 많을수록 관련 시스템의 처리 속도 및 효율이 떨어지게 된다. 따라서 초분광 카메라를 이용하여 이미지를 획득하는 과정에서 메모리에 저장되는 데이터 용량을 줄이고 시스템의 처리 속도를 향상시킬 수 있는 기법이 요구된다. As such, the larger the data capacity of the acquired image, the lower the processing speed and efficiency of the related system. Therefore, there is a need for a technique capable of reducing the amount of data stored in the memory and improving the processing speed of the system in the process of acquiring an image using a hyperspectral camera.

본 발명의 배경이 되는 기술은 한국공개특허 제2020-0011727호(2020.02.04 공개)에 개시되어 있다.The technology that is the background of the present invention is disclosed in Korean Patent Application Laid-Open No. 2020-0011727 (published on February 4, 2020).

본 발명은 초분광 카메라를 이용하여 제품 표면의 품질 상태를 검사함에 있어 초분광 카메라에서 통해 획득되는 이미지의 데이터 용량을 줄여서 계산 속도를 향상시킬 수 있는 초분광 카메라의 동적 비닝 조절 장치 및 그 방법을 제공하는데 목적이 있다.The present invention provides an apparatus and method for controlling dynamic binning of a hyperspectral camera, which can improve the calculation speed by reducing the data capacity of images acquired through the hyperspectral camera in inspecting the quality of the product surface using the hyperspectral camera It is intended to provide

본 발명은, 초분광 카메라를 통해 샘플을 라인 스캔하여 얻은 초분광 이미지 내 X×Y개 픽셀 별로, 해당 픽셀에서의 밴드별 밝기값인 밝기값 어레이를 획득하는 단계와, 각 라인마다, 해당 라인 내 X개 픽셀에 대응된 X개 밝기값 어레이를 이용하여 각 밴드마다 밝기값의 최대와 최소치 간의 폭(Gap_i)을 구하고, X개 각 픽셀마다 i번째와 i+1 번째 밴드 간 밝기값 변화량을 연산후 i번째 밴드끼리 평균하여 각 밴드마다 밝기값의 기울기(Gradient_i)을 구하는 단계와, 1번째 라인에서 각 밴드별 구한 밝기 폭(Gap_i) 중 최대, 최소 및 중간값을 원소로 한 글로벌 폭 파라미터와, 각 밴드별 구한 밝기 기울기(Gradient_i) 중 최대, 최소 및 중간값을 원소로 한 글로벌 기울기 파라미터를 정의하는 단계와, k번째 라인에서 구한 각 밴드별 밝기 폭 및 밝기 기울기를 기초로 직전의 k-1번째 라인(k=2~Y)에서 정의한 글로벌 폭 파라미터와 글로벌 기울기 파라미터를 업데이트하고 재정의하는 단계, 및 마지막 라인에서 최종 결정된 두 글로벌 파라미터의 각 원소들에 의해 구분되는 다단의 폭 구간과 다단의 기울기 구간 마다 서로 다른 레벨의 비닝 조건을 매핑하는 단계를 포함하는 초분광 카메라의 동적 비닝 조절 방법을 제공한다.The present invention relates to the steps of: obtaining an array of brightness values, which is a brightness value for each band in the pixel, for each X × Y pixels in a hyperspectral image obtained by line scanning a sample through a hyperspectral camera, and for each line, the corresponding line Using the X brightness value array corresponding to my X pixels, find the width (Gap_i) between the maximum and minimum brightness values for each band, and calculate the amount of change in brightness between the i-th and i+1-th bands for each X pixel. After calculation, the step of averaging the i-th bands to obtain the gradient (Gradient_i) of the brightness value for each band, and a global width parameter using the maximum, minimum, and median values among the brightness widths (Gap_i) obtained for each band in the first line as elements and defining a global gradient parameter using the maximum, minimum, and median values among the brightness gradients (Gradient_i) obtained for each band as an element; The step of updating and redefining the global width parameter and the global slope parameter defined in the -1st line (k=2~Y), and the multi-step width section and multi-step separated by each element of the two global parameters finally determined in the last line A dynamic binning control method of a hyperspectral camera is provided, which includes mapping different levels of binning conditions for each inclination section of .

또한, 상기 동적 비닝 조절 방법은, 검사대상 제품을 라인 스캐닝하여 초분광 이미지를 획득할 때, 해당 라인에서 밴드별로 산출되는 밝기 폭 또는 밝기 기울기를 기초로 상기 다단의 폭 구간 또는 다단의 기울기 구간 별로 해당 구간 내 속하는 밝기 폭 또는 밝기 기울기를 가진 연속한 밴드들에 대해 해당 비닝 조건을 개별 적용하여 동적 비닝을 수행하는 단계를 더 포함할 수 있다.In addition, the dynamic binning control method is, when a hyperspectral image is obtained by line scanning a product to be inspected, based on the brightness width or brightness slope calculated for each band in the line, for each width section or multi-step slope section The method may further include performing dynamic binning by individually applying a corresponding binning condition to successive bands having a brightness width or a brightness slope belonging to the corresponding section.

또한, 상기 다단의 폭 구간과 다단의 기울기 구간 각각은, 해당 글로벌 파라미터의 최대값에 근접한 상위의 제1 구간부터 최소값에 근접한 하위의 제M 구간까지 단계적으로 구분되고, 상기 비닝 조건을 매핑하는 단계는, 상기 제1 구간에 대해서는 비닝을 미수행하는 레벨 0의 비닝 조건을 매핑하고, 상기 제2 내지 제M 구간에 대해서는 점차 높은 레벨의 비닝 조건을 매핑할 수 있다.In addition, each of the multi-stage width section and the multi-stage slope section is divided in stages from an upper first section close to the maximum value of the corresponding global parameter to a lower M-th section close to the minimum value, and mapping the binning condition may map a binning condition of level 0 in which binning is not performed to the first interval, and may map a binning condition of a gradually higher level to the second to Mth intervals.

또한, 상기 두 가지 글로벌 파라미터 각각은, 최대값, 최소값, 1/2 중간값(최소값과 최대값의 중간), 1/4 중간값(최소값과 1/2 중간값의 중간), 1/8 중간값(최소값과 1/4 중간값의 중간)을 원소로 하고, 상기 다단의 폭 구간과 다단의 기울기 구간 각각은, 5가지 원소에 따라 총 4개 구간(M=4)으로 구분될 수 있다.In addition, each of the two global parameters is a maximum value, a minimum value, a 1/2 median value (middle between the min value and the maximum value), a 1/4 median value (the middle value between the min value and 1/2 median value), and 1/8 median value. A value (middle between the minimum value and the 1/4 median value) is used as an element, and each of the multi-step width section and the multi-step slope section may be divided into a total of four sections (M=4) according to five elements.

또한, 상기 k번째 라인에서 상기 글로벌 폭 파라미터의 업데이트 시, 상기 k번째 라인에서 구한 각 밴드별 밝기 폭 중 최대값 및 최소값을 각각 직전의 k-1번째 라인에서 구한 최대값 및 최소값과 비교 후, 최대값의 경우 더 높은 값을 선택하고 최소값의 경우 더 낮은 값을 선택하여 상기 글로벌 폭 파라미터를 업데이트할 수 있다.In addition, when the global width parameter is updated in the k-th line, the maximum and minimum values among the brightness widths for each band obtained in the k-th line are compared with the maximum and minimum values obtained in the immediately preceding k- 1st line, respectively, The global width parameter can be updated by selecting a higher value for the maximum value and a lower value for the minimum value.

또한, 상기 k번째 라인에서 상기 글로벌 기울기 파라미터의 업데이트 시, 파라미터의 최대값의 경우 아래 수학식을 이용하여 업데이트할 수 있다.In addition, when updating the global slope parameter in the k-th line, the maximum value of the parameter may be updated using the following equation.

여기서, GM_K'는 k번째 라인에서 업데이트된 글로벌 기울기 파라미터의 최대값, GM_K은 현재 k번째 라인에서 구한 각 밴드별 밝기 기울기 중 최대값, GM_K-1은 직전의 k-1번째 라인에서 기 업데이트된 글로벌 기울기 파라미터의 최대값을 나타낸다. Here, GM _K ' is the maximum value of the global gradient parameter updated in the k-th line, GM _K is the maximum value among the brightness gradients for each band obtained from the current k-th line, and GM _K-1 is the maximum value of the previous k-th line. It represents the maximum value of the previously updated global gradient parameter.

또한, 본 발명은, 초분광 카메라를 통해 샘플을 라인 스캔하여 얻은 초분광 이미지 내 X×Y 픽셀 별로, 해당 픽셀에서의 밴드별 밝기값인 밝기값 어레이를 획득하는 데이터 처리부와, 각 라인마다, 해당 라인 내 X개 픽셀에 대응된 X개 밝기값 어레이를 이용하여 각 밴드마다 밝기값의 최대와 최소치 간의 폭(Gap_i)을 구하고, X개 각 픽셀마다 i번째와 i+1 번째 밴드 간 밝기값 변화량을 연산후 i번째 밴드끼리 평균하여 각 밴드마다 밝기값의 기울기(Gradient_i)을 구하는 연산부와, 1번째 라인에서 각 밴드별 구한 밝기 폭(Gap_i) 중 최대, 최소 및 중간값을 원소로 한 글로벌 폭 파라미터와, 각 밴드별 구한 밝기 기울기(Gradient_i) 중 최대, 최소 및 중간값을 원소로 한 글로벌 기울기 파라미터를 정의하는 파라미터 정의부와, k번째 라인에서 구한 각 밴드별 밝기 폭 및 밝기 기울기를 기초로 직전의 k-1번째 라인(k=2~Y)에서 정의한 글로벌 폭 파라미터와 글로벌 기울기 파라미터를 업데이트하고 재정의하는 파라미터 갱신부, 및 마지막 라인에서 최종 결정된 두 글로벌 파라미터의 각 원소들에 의해 구분되는 다단의 폭 구간과 다단의 기울기 구간 마다 서로 다른 레벨의 비닝 조건을 매핑하는 단계를 비닝 조건 매핑부를 포함하는 초분광 카메라의 동적 비닝 조절 장치를 제공한다.In addition, the present invention provides a data processing unit that obtains an array of brightness values, which is a brightness value for each band in the pixel, for each X × Y pixel in a hyperspectral image obtained by line scanning a sample through a hyperspectral camera, and for each line, The width (Gap_i) between the maximum and minimum brightness values for each band is calculated using the X brightness value array corresponding to the X pixels in the line, and the brightness value between the i-th and i+1-th bands for each X pixel. A calculation unit that calculates the change amount and averages the i-th bands to obtain the gradient (Gradient_i) of the brightness value for each band, and the global using the maximum, minimum, and median values among the brightness widths (Gap_i) obtained for each band in the first line as elements Based on the width parameter and the global gradient parameter that uses the maximum, minimum, and median values among the brightness gradients (Gradient_i) obtained for each band as an element, and a parameter definition unit that defines the brightness width and brightness gradient for each band obtained from the k-th line The parameter update unit that updates and redefines the global width parameter and the global slope parameter defined in the k-1th line (k=2~Y) just before A dynamic binning control apparatus of a hyperspectral camera including a binning condition mapping unit is provided for mapping different levels of binning conditions for each of the multi-stage width section and the multi-stage inclination section.

또한, 상기 동적 비닝 조절 장치는, 검사대상 제품을 라인 스캐닝하여 초분광 이미지를 획득할 때, 해당 라인에서 밴드별로 산출되는 밝기 폭 또는 밝기 기울기를 기초로 상기 다단의 폭 구간 또는 다단의 기울기 구간 별로해당 구간 내 속하는 밝기 폭 또는 밝기 기울기를 가진 연속한 밴드들에 대해 해당 비닝 조건을 개별 적용하여 동적 비닝을 수행하는 제어부를 더 포함할 수 있다.In addition, the dynamic binning control device, when acquiring a hyperspectral image by line scanning the product to be inspected, is based on the brightness width or brightness gradient calculated for each band in the line for each of the multi-stage width section or the multi-stage slope section The control unit may further include a controller for performing dynamic binning by individually applying a corresponding binning condition to successive bands having a brightness width or a brightness slope belonging to the corresponding section.

본 발명에 따르면, 라인스캔 방식의 초분광 카메라를 이용하여 제품 표면의 품질 상태를 검사함에 있어 초분광 카메라의 측정 밴드들을 동적으로 비닝 제어함으로써, 초분광 카메라에서 통해 획득되는 이미지의 데이터 용량을 줄일 수 있고 검사 계산 속도를 향상시킬 수 있다.According to the present invention, the data capacity of the image acquired through the hyperspectral camera is reduced by dynamically binning and controlling the measurement bands of the hyperspectral camera in inspecting the quality state of the product surface using the hyperspectral camera of the line scan method. and can improve the inspection calculation speed.

이와 같이 본 발명은 초분광 카메라의 비닝을 동적 조절함으로써 제품의 검사 영역이 넓어질수록 처리 데이터 양이 폭증하는 문제를 해결하고 이를 통해 데이터를 유지 관리해야 하는 메모리의 용량을 대폭 줄임은 물론 그에 따른 계산 횟수도 줄임으로써 시스템 전체의 처리 속도를 향상시킬 수 있다.As described above, the present invention solves the problem that the amount of processed data increases exponentially as the inspection area of the product expands by dynamically adjusting the binning of the hyperspectral camera, and through this, significantly reduces the capacity of the memory that needs to be maintained and manages the data. By reducing the number of calculations, the overall processing speed of the system can be improved.

도 1은 일반적인 RGB 이미지를 설명한 도면이다.
도 2는 초분광 카메라를 통해 획득한 초분광 이미지를 설명한 도면이다.
도 3은 라인스캔 초분광 카메라를 통한 이미지 획득원리를 설명한 도면이다.
도 4는 도 3의 제어 PC에서 라인스캔 초분광 이미지의 분석 예시를 나타낸 도면이다.
도 5는 초분광 이미지의 픽셀 하나당 데이터 구조를 예시한 도면이다.
도 6은 초분광 이미지의 라인 하나당 데이터 구조를 예시한 도면이다.
도 7은 도 6에 도시한 2차원 데이터 구조가 Y개 라인에 대응하여 Y개 생성된 모습을 개념적으로 설명한 도면이다.
도 8은 본 발명의 실시예에서 일정 간격으로 밴드를 생략하여 데이터를 획득하는 비닝 기법의 적용 원리를 설명한 도면이다.
도 9는 특정 픽셀에 대한 비닝 전후의 분광 그래프를 예시한 도면이다.
도 10은 본 발명의 실시예에 따른 초분광 카메라의 동적 비닝 조절 장치의 구성을 나타낸 도면이다.
도 11은 도 10를 이용한 동적 비닝 조절 방법을 설명하는 도면이다.
도 12는 본 발명의 실시예에서 라인 스캔 후 생성되는 각각의 파장 그래프를 이용하여 밝기값 폭과 밝기값 기울기를 정의한 도면이다.
도 13은 본 발명의 실시예에서 밝기 폭(Gap_i)과 밝기 기울기(Gradient_i)의 계산 예시를 나타낸 도면이다.
도 14는 본 발명의 실시예에서 밴드별로 구해진 밝기 폭(Gap_i)과 밝기 기울기(Gradient_i)의 두 배열을 예시적으로 나타낸 도면이다.
도 15는 본 발명의 실시예에서 최종 정의된 글로벌 파라미터의 각 구간 별로 비닝 조건이 차등되게 매핑된 모습을 예시한 도면이다.1 is a diagram illustrating a general RGB image.
2 is a diagram illustrating a hyperspectral image acquired through a hyperspectral camera.
3 is a diagram for explaining the principle of image acquisition through a line scan hyperspectral camera.
4 is a diagram illustrating an example of analysis of a line scan hyperspectral image in the control PC of FIG. 3 .
5 is a diagram illustrating a data structure per pixel of a hyperspectral image.
6 is a diagram illustrating a data structure per line of a hyperspectral image.
FIG. 7 is a diagram conceptually explaining a state in which Y two-dimensional data structures shown in FIG. 6 are generated corresponding to Y lines.
8 is a diagram for explaining the application principle of a binning technique for obtaining data by omitting a band at regular intervals in an embodiment of the present invention.
9 is a diagram illustrating a spectral graph before and after binning for a specific pixel.
10 is a diagram showing the configuration of a dynamic binning control apparatus of a hyperspectral camera according to an embodiment of the present invention.
FIG. 11 is a view for explaining a dynamic binning control method using FIG. 10 .
12 is a diagram in which a brightness value width and a brightness value slope are defined using respective wavelength graphs generated after line scanning in an embodiment of the present invention.
13 is a diagram illustrating an example of calculating a brightness width Gap_i and a brightness gradient Gradient_i according to an embodiment of the present invention.
14 is a diagram illustrating two arrangements of a brightness width (Gap_i) and a brightness gradient (Gradient_i) obtained for each band in an embodiment of the present invention.
15 is a diagram illustrating a state in which binning conditions are differentially mapped for each section of a global parameter finally defined in an embodiment of the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Then, with reference to the accompanying drawings, embodiments of the present invention will be described in detail so that those of ordinary skill in the art to which the present invention pertains can easily implement them. However, the present invention may be implemented in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is "connected" with another part, this includes not only the case of being "directly connected" but also the case of being "electrically connected" with another element interposed therebetween. . Also, when a part "includes" a certain component, it means that other components may be further included, rather than excluding other components, unless otherwise stated.

본 발명은 초분광 카메라의 동적 비닝 조절 장치 및 그 방법으로, 라인스캔 방식의 초분광 카메라를 통해 제품 표면의 품질 상태를 검사함에 있어 비닝 기법을 이용하여 초분광 이미지의 데이터 용량을 줄이고 데이터 처리 및 연산 속도를 향상시키는 기법을 제안한다.The present invention provides a dynamic binning control apparatus and method for a hyperspectral camera, and reduces the data capacity of the hyperspectral image by using a binning technique in inspecting the quality of the product surface through a line scan-type hyperspectral camera, and We propose a technique to improve the operation speed.

본 발명의 실시예는 라인 스캔 방식의 초분광 카메라에서 스캔한 해당 라인 내 각 픽셀당 측정되는 복수의 분광 밴드들에 대해 비닝(binning) 기법을 적용함으로써 초분광 이미지의 데이터 용량을 줄일 수 있다. 따라서 본 발명은 초분광 카메라의 이미지 획득 방법 중에서 라인 스캔 방식을 위주로 설명한다. According to an embodiment of the present invention, data capacity of a hyperspectral image can be reduced by applying a binning technique to a plurality of spectral bands measured for each pixel in a corresponding line scanned by a line-scan hyperspectral camera. Therefore, the present invention will mainly describe the line scan method among the image acquisition methods of the hyperspectral camera.

이하에서는 본 발명의 상세한 설명에 앞서 라인 스캔을 통한 이미지 획득 원리를 구체적으로 설명한다.Hereinafter, an image acquisition principle through line scan will be described in detail prior to the detailed description of the present invention.

도 3은 라인스캔 초분광 카메라를 통한 이미지 획득원리를 설명한 도면이다. 3 is a diagram for explaining the principle of image acquisition through a line scan hyperspectral camera.

도 3과 같이, 1개의 라인(Line)은 X개의 픽셀(점)로 구성되며, 객체가 컨베이어에 의해 이동하면 카메라는 Y개의 Line 값을 순차로 획득하여 제어 PC(제어 단말)로 전송한다. 제어 PC는 카메라로부터 수신한 데이터의 처리, 연산(분석) 등을 수행하여 제품에 대한 품질 검사를 수행할 수 있다. 이러한 제어 PC는 프로세서, 메모리, 유저 인터페이스 입출력 장치, 저장 장치 등을 포함할 수 있다.As shown in FIG. 3 , one line is composed of X pixels (points), and when an object is moved by a conveyor, the camera sequentially acquires Y line values and transmits them to the control PC (control terminal). The control PC may process and calculate (analyze) data received from the camera to perform quality inspection on the product. The control PC may include a processor, a memory, a user interface input/output device, a storage device, and the like.

이때, 제안하는 동적 비닝 기법을 적용할 경우 컴퓨터(제어 PC)에서의 데이터 처리 및 연산 속도 등을 높임으로써 계산 횟수를 줄이고 메모리 용량을 절약하며 시스템의 전반적인 처리 속도를 향상시킨다.In this case, when the proposed dynamic binning technique is applied, the number of calculations is reduced, memory capacity is saved, and the overall processing speed of the system is improved by increasing the data processing and operation speed in the computer (control PC).

도 4는 도 3의 제어 PC에서 라인스캔 초분광 이미지의 분석 예시를 나타낸 도면이다. 도 4는 설명의 편의상 사과 표면을 라인 스캔한 이미지를 분석하는 것을 예시한다. 도 4의 좌측 도면과 같이 사과 표면을 X 크기의 라인으로 Y 만큼 이동하면 X×Y 면적의 분광 데이터가 획득된다. 즉 X×Y개 픽셀 크기를 가진 초분광 이미지가 획득된다.4 is a diagram illustrating an example of analysis of a line scan hyperspectral image in the control PC of FIG. 3 . 4 illustrates analysis of a line-scanned image of an apple surface for convenience of explanation. As shown in the left diagram of FIG. 4 , when the apple surface is moved by Y along an X-size line, X×Y spectral data is obtained. That is, a hyperspectral image having a size of X×Y pixels is obtained.

여기서, 앞서 도 2를 참조하면, 한 개의 픽셀은 파장(wavelength)에 따른 강도(Intensity) 변화 그래프로 표현된다. 따라서, 도 4의 우측 그림과 같이 초분광 이미지 내 X×Y개 전체 픽셀에 각각 대응하여 총 X×Y개의 그래프가 각각 도출된다. 여기서, 밝기값은 Intensity 또는 Digital Number(DN)로 불리는데, 본 발명에서 밝기값은 DN값을 대표 예시로 한다.Here, referring to FIG. 2 above, one pixel is expressed as an intensity change graph according to a wavelength. Accordingly, as shown in the right figure of FIG. 4 , a total of X×Y graphs are derived, respectively, corresponding to all X×Y pixels in the hyperspectral image. Here, the brightness value is called Intensity or Digital Number (DN). In the present invention, the brightness value is a DN value as a representative example.

도 5는 초분광 이미지의 픽셀 하나당 데이터 구조를 예시한 도면이다. 이러한 도 5는 한 개의 픽셀에 대응하여 획득되는 밝기값 어레이를 나타낸다.5 is a diagram illustrating a data structure per pixel of a hyperspectral image. 5 shows an array of brightness values obtained corresponding to one pixel.

도 5에서 인덱스(index)는 밴드(파장대역)의 인덱스, Value(intensity)는 해당 번째 밴드에서의 DN값을 나타낸다. 초분광 카메라는 n개의 밴드 마다 DN값을 측정할 수 있으므로, 초분광 이미지 내 픽셀 하나하나는 도 5와 같이 n개의 인덱스(크기)를 갖는 1차원 배열로 표현될 수 있다. In FIG. 5 , an index indicates an index of a band (wavelength band), and a Value (intensity) indicates a DN value in the corresponding th band. Since the hyperspectral camera can measure the DN value for every n bands, each pixel in the hyperspectral image can be expressed as a one-dimensional array having n indices (sizes) as shown in FIG. 5 .

이와 같이, 초분광 이미지의 픽셀 하나에 대해 n개의 각 밴드별 DN값이 어레이 형태로 저장됨을 알 수 있다.As described above, it can be seen that DN values for each n bands are stored in an array form for one pixel of the hyperspectral image.

도 6은 초분광 이미지의 라인 하나당 데이터 구조를 예시한 도면이다. 라인 스캔 카메라의 경우, X개의 픽셀로 이루어진 하나의 라인(Line)을 한 번에 측정하므로, 도 6과 같이 한 개 라인에 대해 X개의 행과 n개의 열로 구성된 2차원 배열이 생성된다. 6 is a diagram illustrating a data structure per line of a hyperspectral image. In the case of a line scan camera, since one line composed of X pixels is measured at a time, a two-dimensional array composed of X rows and n columns for one line is generated as shown in FIG. 6 .

또한, 한 개 라인을 구성한 X개의 픽셀은 맨 앞의 0번째 픽셀부터 맨 뒤의 X-1번째 픽셀을 포함한다고 가정할 때, 도 6의 상측 데이터는 O번째 픽셀에 대응한 밝기값 어레이를 나타내고, 하측 데이터는 X-1번째 픽셀에 대응한 밝기값 어레이를 나타낸다.In addition, assuming that the X pixels constituting one line include the 0th pixel at the front and the X-1th pixel at the rear, the upper data of FIG. 6 represents an array of brightness values corresponding to the Oth pixel, , the lower data indicates an array of brightness values corresponding to the X-1th pixel.

도 7은 도 6에 도시한 2차원 데이터 구조가 Y개 라인에 대응하여 Y개 생성된 모습을 개념적으로 설명한 도면이다. 라인 스캔 카메라가 Y 축으로 이동 또는 컨베이어가 이동하면 총 Y개의 라인이 생성되므로, 도 6과 같은 2차원 배열은 총 Y개 생성된다. 도 7은 이를 개념적으로 나타낸 것이다.FIG. 7 is a diagram conceptually explaining a state in which Y two-dimensional data structures shown in FIG. 6 are generated corresponding to Y lines. When the line scan camera moves along the Y-axis or the conveyor moves, a total of Y lines are generated, so that a total of Y two-dimensional arrays as shown in FIG. 6 are generated. 7 conceptually illustrates this.

그런데, 도 7와 같이 라인이 이동하여 이미지의 면적이 커질수록 처리되는 데이터 양도 Y배로 커지므로, 제어 PC의 계산 속도도 떨어진다. 본 발명의 실시예는 이러한 현상을 완화하기 위해 일정 간격으로 밴드를 생략하여 데이터를 획득하는 비닝(Binning) 기법을 사용한다. However, as the line moves and the area of the image increases as shown in FIG. 7 , the amount of processed data increases by Y, so the calculation speed of the control PC also decreases. In order to alleviate this phenomenon, an embodiment of the present invention uses a binning technique in which data is obtained by omitting bands at regular intervals.

도 8은 본 발명의 실시예에 적용되는 비닝 기법을 예시한 도면이다.8 is a diagram illustrating a binning technique applied to an embodiment of the present invention.

도 8과 같이, 본 발명의 실시예에 적용되는 비닝 기법의 경우 일정 간격으로 밴드를 생략하여 데이터를 획득하며 비닝 간격은 설정되는 비닝 레벨(예: x1, x2, x3 등)에 따라 달라질 수 있다. As shown in FIG. 8 , in the case of the binning technique applied to the embodiment of the present invention, data is obtained by omitting a band at regular intervals, and the binning interval may vary according to a set binning level (eg, x1, x2, x3, etc.). .

1배 비닝(x1; 2¹)은 데이터 2개(=2¹)당 1개를 저장하고 나머지 1개를 생략(null)하며, 2배 비닝(x2; 2²)은 데이터 4개(=2²)당 1개만 저장하고 나머지 3개를 생략(null)한다. 1x binning (x1; 2 ¹ ) stores 1 for every 2 data (=2 ¹ ) and omits the remaining 1 (null), and 2x binning (x2; 2 ² ) stores 4 data (=2) ² ), save only one and omit the remaining three (null).

이때, 1배 비닝(x1)을 수행할 경우 획득되는 배열의 크기가 1/2로 줄어듦을 알 수 있고, 2배의 비닝을 수행할 경우 1/4로 줆어듦을 알 수 있다. 요약하면 m배 비닝(2^m)은 데이터 2^m개당 1개를 저장하고 나머지를 버리는 방식으로 데이터를 저장하며, m이 커질수록 저장되는 데이터가 경량화된다.At this time, it can be seen that the size of the obtained array is reduced to 1/2 when 1x binning (x1) is performed, and it can be seen that the size of the obtained array is reduced to 1/4 when 2x binning is performed. In summary, m-fold binning (2 ^m ) stores data ^{in a way that stores 1 per 2 m} of data and discards the rest, and as m increases, the stored data becomes lighter.

도 9는 특정 픽셀에 대한 비닝 전후의 분광 그래프를 예시한 도면이다. 도 9의 상측 그림은 비닝 전의 원 데이터에 해당하고, 하측 그림은 비닝(1배 비닝)을 수행한 후의 데이터를 나타낸다. 상측 그림(0배 비닝; x0)의 경우 촘촘한 밴드 간격으로 분광 정보를 획득함을 보이지만, 하측 그림(1배 비닝; x1)의 경우 2배 이상의 분광 간격으로 정보를 획득하므로 상측보다 듬성듬성하게 데이터를 획득한다.9 is a diagram illustrating a spectral graph before and after binning for a specific pixel. The upper figure of FIG. 9 corresponds to raw data before binning, and the lower figure shows data after binning (1x binning). In the case of the upper figure (0x binning; x0), spectral information is acquired at a tight band interval, but in the lower figure (1x binning; x1), the data is sparse than the upper figure because information is acquired at a spectral interval twice or more. to acquire

다만, 비닝은 데이터의 용량과 속도 개선에는 유용하지만 그만큼 정보량이 적어짐으로써, 검사의 정밀도는 떨어지게 된다. 이에 따라, 사용되는 목적과 환경에 맞게 적절한 비닝 계수(m)의 선택이 매우 중요하다.However, although binning is useful for improving data capacity and speed, the amount of information decreases as much, so that the accuracy of the inspection is deteriorated. Accordingly, it is very important to select an appropriate binning coefficient (m) according to the purpose and environment used.

이하의 본 발명의 실시예는 이러한 비닝 계수(비닝 레벨)의 조절을 동적으로 제어할 수 있는 기법을 제안한다.The following embodiments of the present invention propose a technique capable of dynamically controlling the adjustment of such a binning coefficient (binning level).

앞서 도 4에서 계측된 사과 표면의 파장 그래프를 보면, 400~700 대역은 DN값의 변화가 작으며, 700~900 사이의 DN값이 급격하고 다양하게 변함을 알 수 있다. 즉, 검사되는 객체의 종류에 따라 특성이 다르지만, 대체로 DN값이 두드러지게 변화되는 구간에서 제품의 고유한 특성(특징)을 주로 갖는다. 즉, 이러한 DN값이 급격하게 변화하는 구간에서는 비닝 없이 정상적으로 정밀한 DN값 비교를 수행하고, 그 외의 구간 즉, 변화가 적은 구간은 비닝을 크게 하여 데이터를 생략하여 속도를 향상시킴이 본 발명의 목적이다.Referring to the wavelength graph of the surface of the apple measured in FIG. 4 above, it can be seen that the change in DN value is small in the 400-700 band, and the DN value between 700-900 changes rapidly and variously. That is, although characteristics vary depending on the type of object to be inspected, the product mainly has unique characteristics (characteristics) in the section where the DN value changes significantly. That is, in a section in which the DN value changes rapidly, a precise DN value comparison is normally performed without binning, and in other sections, that is, a section with little change, binning is increased to increase the speed by omitting data The purpose of the present invention to be.

도 10은 본 발명의 실시예에 따른 초분광 카메라의 동적 비닝 조절 장치의 구성을 나타낸 도면이고, 도 11은 도 10를 이용한 동적 비닝 조절 방법을 설명하는 도면이다.10 is a diagram illustrating a configuration of a dynamic binning control apparatus of a hyperspectral camera according to an embodiment of the present invention, and FIG. 11 is a diagram illustrating a dynamic binning control method using FIG. 10 .

도 10 및 도 11과 같이, 본 발명의 실시예에 따른 초분광 카메라의 동적 비닝 조절 장치(100)는 데이터 처리부(110), 연산부(120), 파라미터 정의부(130), 파라미터 갱신부(140), 비닝 조건 매핑부(150), 제어부(160)를 포함한다.10 and 11 , the apparatus 100 for controlling dynamic binning of a hyperspectral camera according to an embodiment of the present invention includes a data processing unit 110 , a calculation unit 120 , a parameter definition unit 130 , and a parameter update unit 140 . ), a binning condition mapping unit 150 , and a control unit 160 .

이러한 동적 비닝 조절 장치(100)는 도 3에 도시된 제어 PC와 같이 사용자 단말로 구현되거나 사용자 단말에 포함될 수 있고, 이외에도 사용자 단말기 등에 실행 가능한 응용 프로그램의 형태로 구현될 수도 있다. 여기서, 제어 PC는 데스크탑, 노트북 등 기 공지된 다양한 컴퓨팅 가능한 장치에 해당할 수 있다.The dynamic binning control apparatus 100 may be implemented as a user terminal or included in a user terminal like the control PC shown in FIG. 3 , or may be implemented in the form of an application program executable in the user terminal or the like. Here, the control PC may correspond to a variety of known computing devices such as a desktop or a notebook computer.

우선, 본 발명의 실시예는 검사 대상 제품들 중 정상 제품 하나를 샘플로 선정하고 해당 샘플을 라인 스캔하여 얻은 초분광 이미지로부터 글로벌 파라미터를 획득한다. 글로벌 파라미터는 추후 동종 제품에 대한 표면 검사 시 동적 비닝에 활용되는 요소이다. 이러한 과정들은 데이터 처리부(110), 연산부(120), 파라미터 정의부(130), 파라미터 갱신부(140), 비닝 조건 매핑부(150)를 통해 수행된다.First, in the embodiment of the present invention, one normal product among products to be inspected is selected as a sample, and global parameters are obtained from hyperspectral images obtained by line-scanning the sample. The global parameter is a factor used for dynamic binning when inspecting the surface of the same product in the future. These processes are performed through the data processing unit 110 , the operation unit 120 , the parameter definition unit 130 , the parameter update unit 140 , and the binning condition mapping unit 150 .

그런 다음, 실제 검사 대상이 되는 제품이 컨베이어 벨트 등에 의해 이동되어 라인 스캔되는 동안 앞서 획득한 글로벌 파라미터를 기초로 분광 밴드들에 대한 비닝 레벨을 동적으로 조절한다. 이는 제어부(160)에 의해 수행된다.Then, the binning level for the spectral bands is dynamically adjusted based on the global parameters obtained previously while the product to be inspected is moved by a conveyor belt or the like and line-scanned. This is performed by the control unit 160 .

먼저, 데이터 처리부(110)는 초분광 카메라를 통해 샘플을 라인 스캔하여 얻은 초분광 이미지 내 X×Y개의 각 픽셀 별로, 해당 픽셀에서의 밴드별 밝기값인 밝기값 어레이를 획득한다(S1110).First, the data processing unit 110 obtains an array of brightness values, which is a brightness value for each band in the corresponding pixel, for each X×Y pixel in a hyperspectral image obtained by line scanning a sample through a hyperspectral camera (S1110).

픽셀 하나당 획득되는 밝기값 어레이는 도 5를 통해 예시한 바 있다. 데이터 처리부(110)는 초분광 이미지를 구성하는 전체 픽셀 마다 앞서 도 5와 같은 구조의 밝기값 어레이를 획득한다.An array of brightness values obtained per pixel has been exemplified with reference to FIG. 5 . The data processing unit 110 obtains an array of brightness values having the structure shown in FIG. 5 for each of all pixels constituting the hyperspectral image.

물론, 한 개의 라인은 총 X개의 픽셀로 구성되므로, 데이터 처리부(110)는 Y개의 각 라인마다 해당 라인에 속한 X개의 픽셀에 대응하는 X개의 밝기값 어레이를 획득할 수 있다. 또한, 한 개의 라인에서 획득되는 총 X개의 밝기값 어레이는 도 6과 같이 X개의 행과 n개의 열로 구성된 2차원 배열 형태를 가질 수 있다.Of course, since one line is composed of a total of X pixels, the data processing unit 110 may obtain an array of X brightness values corresponding to X pixels belonging to the corresponding line for each of the Y lines. In addition, the array of total X brightness values obtained from one line may have a two-dimensional array form including X rows and n columns as shown in FIG. 6 .

다음, 연산부(120)는 각 라인마다, 해당 라인 내 X개 픽셀에 대응된 X개 밝기값 어레이를 이용하여 각 밴드마다 밝기값의 최대와 최소치 간의 폭(Gap_i)을 구하고, X개 각 픽셀마다 i번째와 i+1 번째 밴드 간 밝기값 변화량을 연산후 i번째 밴드끼리 평균하여 각 밴드마다 밝기값의 기울기(Gradient_i)을 구한다(S1120).Next, the operation unit 120 obtains the width Gap_i between the maximum and minimum brightness values for each band by using the X brightness value array corresponding to the X pixels in the line for each line, and for each X pixel After calculating the amount of change in the brightness value between the i-th and i+1-th bands, the i-th bands are averaged to obtain the gradient of the brightness value for each band (Gradient_i) (S1120).

여기서 물론 i는 밴드의 인덱스로서, 0 에서 n-1 까지 범위를 가진다. 이하에서는 설명의 편의상 Gap_i는 i번째 밴드에서의 밝기 폭, Gradient_i는 i번째 밴드에서의 밝기 기울기로 명명한다. Gap_i과 Gradient_i의 개념을 더욱 상세히 설명하면 다음과 같다.Here, of course, i is the index of the band, and has a range from 0 to n-1. Hereinafter, for convenience of description, Gap_i is named as the brightness width in the i-th band, and Gradient_i is named as the brightness gradient in the i-th band. The concepts of Gap_i and Gradient_i will be described in more detail as follows.

도 12는 본 발명의 실시예에서 라인 스캔 후 생성되는 각각의 파장 그래프를 이용하여 밝기값 폭과 밝기값 기울기를 정의한 도면이다.12 is a diagram in which a brightness value width and a brightness value slope are defined using respective wavelength graphs generated after line scanning in an embodiment of the present invention.

도 12는 픽셀의 개수만큼 총 X×Y개의 그래프를 하나의 도메인 상에 겹쳐 도시한 것이다. 여기서 가로축은 파장, 세로축 DN값(밝기값)을 나타낸다.12 is a diagram illustrating a total of X×Y graphs overlapped on one domain by the number of pixels. Here, the horizontal axis represents the wavelength, and the vertical axis represents the DN value (brightness value).

도 12를 보면 전체 밴드 중에서 파장이 약 420에 해당한 밴드 영역에서 가장 큰 DN값을 갖는 그래프와 가장 작은 DN값을 갖는 그래프의 차이 폭(Gap)은 20이고, 750 밴드 영역에서의 Gap은 450임을 알 수 있다. 그리고, 450~500 밴드 구간에서 기울기(변화량)은 매우 완만하지만, 680~730 밴드 구간은 매우 큰 기울기를 갖는다.12, the difference width (Gap) between the graph having the largest DN value and the graph having the smallest DN value in the band region corresponding to a wavelength of about 420 among all bands is 20, and the gap in the 750 band region is 450 it can be seen that In addition, the slope (change amount) in the 450-500 band section is very gentle, but the 680-730 band section has a very large slope.

이와 같이, 연산부(120)는 는 한 개 라인 내 X개 픽셀에 대응된 X개 밝기값 어레이를 이용하여, n개의 각 밴드에서 밝기값의 최대치와 최소치 간의 차이(폭)을 구하고, n개의 각 밴드에서 인접 밴드와의 밝기값 변화량인 기울기를 구한다. In this way, the operation unit 120 obtains the difference (width) between the maximum and minimum values of the brightness values in each of the n bands using the X brightness value array corresponding to the X pixels in one line, and each of the n The slope, which is the amount of change in brightness value from the band to the adjacent band, is obtained.

도 13은 본 발명의 실시예에서 밝기 폭(Gap_i)과 밝기 기울기(Gradient_i)의 계산 예시를 나타낸 도면이다. 13 is a diagram illustrating an example of calculating a brightness width (Gap_i) and a brightness gradient (Gradient_i) according to an embodiment of the present invention.

우선, Gap_i는 i번째 밴드(wavelength)에서 최대 DN과 최소 DN의 차이 값이다. 예를 들어, 라인 스캔으로 획득된 도 13과 같은 Array 데이터에서 Gap_0는 0번째 열에 해당한 총 X개의 DN값들 중에서 최대값과 최소값을 찾은 후 그 차이로써 계산된다.First, Gap_i is a difference value between the maximum DN and the minimum DN in the i-th band (wavelength). For example, in the array data as shown in FIG. 13 obtained by line scan, Gap_0 is calculated as the difference after finding the maximum and minimum values among the total X DN values corresponding to the 0th column.

다음, Gradient_i는 i번째와 i+1번째 밴드(Wavelength)의 DN값 증가분의 절대값들의 평균을 나타낸다. 여기서, 절대값을 취하는 이유는 기울기가 내려가는 구간에서 DN값의 변화량이 음수(-)가 되어 평균값이 0에 가까워지기 때문이다.Next, Gradient_i represents the average of absolute values of the DN values of the i-th and i+1-th bands (Wavelength). Here, the reason for taking the absolute value is that the amount of change in the DN value becomes negative (-) in the section where the slope goes down, and the average value approaches 0.

도 13에서 Gradient_2의 계산 예시는 다음과 같다. 우선, X개 픽셀(0 ~ X-1번째 픽셀) 중에서 맨 위의 0번째 픽셀에서 n=2일때 DN값(Array[0][2])과 n=3일때 DN값(Array[0][3])의 차이(A)의 절대치는 1이고 두 밴드 간의 인덱스의 차이(B)는 1이므로 밝기값 변화량은 1(=|A|/B)이 된다. 이러한 과정을 나머지 1번째 내지 X-1번째 픽셀에 대해서도 동일 적용 후 모든 값을 평균하면 Gradient_2이 얻어진다.An example of calculating Gradient_2 in FIG. 13 is as follows. First, among X pixels (0 to X-1th pixel), in the top 0th pixel, when n=2, the DN value (Array[0][2]) and when n=3, the DN value (Array[0][ 3]), the absolute value of the difference (A) is 1, and the difference (B) of the index between the two bands is 1, so the amount of change in the brightness value becomes 1 (=|A|/B). Gradient_2 is obtained by averaging all values after applying the same process to the remaining 1st to X-1th pixels.

즉, 요악하면 Gradient_2을 구하기 위해, 먼저 Array[0][2]와 Array[0][3]의 변화량(기울기)의 절대치를 구하면 1이 되고, 동일한 방법으로 X를 가변하여 Array[1][2]와 Array[1][3]의 변화량 내지 Array[X-1][2]와 Array[X-1][3]의 변화량을 모두 구한 후, 전체 X개의 변화량에 대한 절대치의 평균을 계산하면 Gradient_2이 얻어진다. That is, in summary, to obtain Gradient_2, the absolute value of the change (slope) of Array[0][2] and Array[0][3] becomes 1 first, and X is varied in the same way to Array[1][ 2] and Array[1][3] or Array[X-1][2] and Array[X-1][3], and then calculate the average of the absolute values for all X changes Gradient_2 is obtained.

이러한 방법으로 n개의 밴드 마다 Gap_i와 Gradient_i이 구해진다. 이하에서는 각 밴드별 얻어지는 Gap_i와 Gradient_i를 G-G 배열로 명명한다. In this way, Gap_i and Gradient_i are obtained for every n bands. Hereinafter, Gap_i and Gradient_i obtained for each band are named as a G-G array.

그리고, Gap_i와 Gradient_i이 구해지면, 파라미터 정의부(130)는 1번째 라인(k=1)에서 각 밴드별 구한 밝기 폭(Gap_i) 중 최대, 최소 및 중간값을 원소로 한 글로벌 폭 파라미터와, 각 밴드별 구한 밝기 기울기(Gradient_i) 중 최대, 최소 및 중간값을 원소로 한 글로벌 기울기 파라미터를 정의한다(S1130).And, when Gap_i and Gradient_i are obtained, the parameter definition unit 130 includes a global width parameter using the maximum, minimum and intermediate values among the brightness widths Gap_i obtained for each band in the first line (k=1), A global gradient parameter using the maximum, minimum, and median values among the brightness gradients (Gradient_i) obtained for each band is defined ( S1130 ).

즉, S1120 단계 이후에, 파라미터 정의부(130)는 연산부(120)에 의해 구해진 Gap_i와 Gradient_i를 이용하여 Gap과 Gradient에 대한 글로벌 파라미터 각각 정의한다. That is, after step S1120 , the parameter definition unit 130 defines global parameters for Gap and Gradient, respectively, using Gap_i and Gradient_i obtained by the operation unit 120 .

도 14는 본 발명의 실시예에서 밴드별로 구해진 밝기 폭(Gap_i)과 밝기 기울기(Gradient_i)의 두 배열을 예시적으로 나타낸 도면이다.14 is a diagram illustrating two arrangements of a brightness width (Gap_i) and a brightness gradient (Gradient_i) obtained for each band in an embodiment of the present invention.

도 14와 같은 각 밴드에 따른 Gap_i와 Gradient_i 배열(G-G배열)이 구해지면, 도 14의 우측 부분과 같이, 해당 배열 내에서 밝기 폭의 최대값(Gap_Max), 최소값(Gap_Min), 중간값(Gap_Half), 그리고 밝기 기울기의 최대값(Gradient_Max), 최소값(Gradient_Min), 중간값(Gradient_Half) 등이 구해질 수 있다. 본 발명의 실시예는 이들 값을 글로벌 파라미터(Gobal Parameter)라고 정의한다.When the Gap_i and Gradient_i arrays (GG array) according to each band are obtained as shown in FIG. 14 , as shown in the right part of FIG. 14 , the maximum value (Gap_Max), the minimum value (Gap_Min), and the intermediate value (Gap_Half) of the brightness width in the corresponding array ), and a maximum value (Gradient_Max), a minimum value (Gradient_Min), and a median value (Gradient_Half) of the brightness gradient may be obtained. An embodiment of the present invention defines these values as global parameters.

그 중에서 Gap과 관련된 파라미터는 글로벌 폭 파라미터, Gradient와 관련된 파라미터는 글로벌 기울기 파라미터로 명명한다. 본 발명의 실시예는 중간값으로, Gap_Half 뿐만 아니라, Gap_Half의 1/2인 Gap_Quater, Gap_Half의 1/4에 해당하는 Gap_Eight도 정의한다. Gradient와 관련된 파라미터의 경우도 마찬가지이다.Among them, parameters related to gap are called global width parameters, and parameters related to gradient are called global gradient parameters. The embodiment of the present invention defines not only Gap_Half, but also Gap_Quater, which is 1/2 of Gap_Half, and Gap_Eight, which corresponds to 1/4 of Gap_Half, as intermediate values. The same is true for parameters related to gradients.

즉, 두 가지 글로벌 파라미터는 최대값, 최소값, 1/2 중간값(최소값과 최대값의 중간), 1/4 중간값(최소값과 1/2 중간값의 중간), 1/8 중간값(최소값과 1/4 중간값의 중간)을 각각 원소로 갖는다. 따라서 글로벌 파라미터는 5개의 원소를 포함하여 구성된다.That is, the two global parameters are Maximum, Minimum, 1/2 Median (middle of min and max), 1/4 Median (midway between min and 1/2 Median), and 1/8 Median (min. and the middle of the 1/4 median) as elements, respectively. Therefore, the global parameter consists of five elements.

그런데, 앞서 정의한 파라미터는 하나의 라인 상의 X개의 픽셀에 대한 밝기 폭과 기울기를 구한 것이며, 실질적으로 컨베이어가 이동하여 Y개의 라인이 생성되었다면 파장 그래프의 개수는 Y배로 증가하게 된다. 따라서 전체 이미지를 대상으로 하기 위해서는 라인이 이동할 때마다 글로벌 파라미터는 재정의되어야 한다.However, the previously defined parameters are the brightness widths and slopes of X pixels on one line. If the conveyor actually moves and Y lines are generated, the number of wavelength graphs increases by Y. Therefore, in order to target the entire image, global parameters must be redefined whenever a line moves.

이에, 파라미터 갱신부(140)는 이후 k번째 라인에서 구한 각 밴드별 밝기 폭 및 밝기 기울기를 기초로 직전의 k-1번째 라인(k=2~Y)에서 정의한 글로벌 폭 파라미터와 글로벌 기울기 파라미터를 업데이트하여 재정의한다(S1140). Accordingly, the parameter updater 140 then converts the global width parameter and the global slope parameter defined in the immediately preceding k-1 th line (k = 2 to Y) based on the brightness width and brightness slope for each band obtained from the k th line. Update and redefine (S1140).

구체적으로, 파라미터 갱신부(140)는 k번째 라인에서 글로벌 폭 파라미터의 업데이트 시, k번째 라인에서 구한 각 밴드별 밝기 폭 중 최대값 및 최소값을 각각 직전의 k-1번째 라인에서 구한 최대값 및 최소값과 비교 후, 최대값의 경우 더 높은 값을 선택하고 최소값의 경우 더 낮은 값을 선택하여 글로벌 폭 파라미터를 업데이트한다.Specifically, when the global width parameter is updated in the k-th line, the parameter update unit 140 sets the maximum value and the minimum value among the brightness widths for each band obtained in the k-th line, respectively, the maximum value obtained in the immediately preceding k-1st line and After comparing with the minimum value, the global width parameter is updated by choosing a higher value for the maximum value and a lower value for the minimum value.

예를 들어, 앞서 최초 라인(k=1)에서 계산된 G-G배열을 GG_1이라고 하고, 2번째 라인에서 계산된 G-G 배열을 GG_2로 가정한다. 그리고 GG_1의 Gap_Max, Gap_Min과 GG_2의 Gap_Max, Gap_Min을 비교하여, 그 중 더 높은 값을 Gap_Max, 더 낮은 값을 Gap_Min으로 업데이트 한다. 결국, 나머지 GG_Y번째 Line(k=Y)까지 Line by Line으로 비교하면서 전체 X×Y 픽셀 이미지에 대한 최대, 최소 Gap(Gap_Max, Gap_Min)을 구하게 된다. For example, it is assumed that the G-G arrangement calculated in the first line (k=1) is GG_1, and the G-G arrangement calculated in the second line is GG_2. And by comparing Gap_Max and Gap_Min of GG_1 with Gap_Max and Gap_Min of GG_2, the higher value among them is updated as Gap_Max and the lower value as Gap_Min. As a result, the maximum and minimum gaps (Gap_Max, Gap_Min) for the entire X×Y pixel image are obtained while comparing up to the remaining GG_Yth Line (k=Y) line by line.

물론, 마지막 Y 번째 라인에서 최종 구해진 Gap_Max, Gap_Min로부터 Gap_Half, Gap_Quater, Gap_Eight 역시 최종적으로 얻을 수 있으며, 이들은 전체 X×Y 개 픽셀에 대한 글로벌 폭 파라미터로 최종 결정된다.Of course, Gap_Half, Gap_Quater, and Gap_Eight can also be finally obtained from Gap_Max and Gap_Min finally obtained in the last Y-th line, and these are finally determined as global width parameters for all X×Y pixels.

여기서, 파라미터 갱신부(140)는 k번째 라인에서 글로벌 기울기 파라미터의 업데이트 시, 파라미터의 최대값의 경우 아래 수학식 1을 이용하여 업데이트할 수 있다.Here, when updating the global slope parameter in the k-th line, the parameter update unit 140 may update the maximum value of the parameter using Equation 1 below.

여기서, GM_K'는 k번째 라인에서 업데이트된 글로벌 기울기 파라미터의 최대값, GM_K은 현재 k번째 라인에서 구한 각 밴드별 밝기 기울기 중 최대값, GM_K-1은 직전의 k-1번째 라인에서 기 업데이트된 글로벌 기울기 파라미터의 최대값을 나타낸다. 여기서 물론 k = [1,2,…,Y] 이다.Here, GM _K ' is the maximum value of the global gradient parameter updated in the k-th line, GM _K is the maximum value among the brightness gradients for each band obtained from the current k-th line, and GM _K-1 is the maximum value of the previous k-th line. It represents the maximum value of the previously updated global gradient parameter. Here of course k = [1,2,… , Y].

예를 들어, 한 라인 내 픽셀 수가 100개라고 가정하고, 첫 번째 라인의 100개 픽셀의 밴드별 평균 기울기 중 최대값인 Gradient_Max를 편의상 GM₁이라 가정하고, Y방향으로 라인이 이동 후, 2번째 라인의 Gradient_Max를 GM₂라고 가정한다. 이 경우, 새로운 Gradient_Max는 [(GM₁ + GM₂) / 2]가 된다. 만약, 3번째 라인으로 이동하여 GM₃를 구하면 이전에 구한 GM₂는 200개 픽셀의 평균이지만 GM₃는 100개 픽셀의 평균이므로 단순히 두 변수의 평균으로 취할 수 없다. 따라서 위 수식과 같이 k번 이동할 때마다 이전 GM값에 k-1을 곱하여 누적 픽셀 수를 반영한다.For example, it is assumed that the number of pixels in one line is 100, and Gradient_Max, which is the maximum value among the average gradients for each band of 100 pixels in the first line, _{is assumed to be GM 1} for convenience. After the line moves in the Y direction, the second Assume that the Gradient_Max of the line is GM _2. In this case, the new Gradient_Max becomes [(GM ₁ + GM ₂ ) / 2]. If you move to the 3rd line and find GM ₃ , the previously obtained GM ₂ is the average of 200 pixels, but GM ₃ is the average of 100 pixels, so it cannot be simply taken as the average of the two variables. Therefore, as in the above formula, the previous GM value is multiplied by k-1 every k times to reflect the accumulated number of pixels.

여기서 최소값의 경우는 앞서 Gap의 경우와 동일한 방법으로 업데이트될 수도 있고 수학식 1의 원리로 업데이트 될 수도 있다. Here, the case of the minimum value may be updated in the same manner as in the case of Gap or may be updated according to the principle of Equation (1).

그리고, 마지막 Y번째 라인에서 최종 구해진 Gradient_Max, Gradient_Min로부터 Gradient_Half, Gradient_Quater, Gradient_Eight를 최종적으로 얻을 수 있으며, 이들은 전체 X×Y 개 픽셀에 대한 글로벌 기울기 파라미터로 최종 결정된다.And, Gradient_Half, Gradient_Quater, and Gradient_Eight can be finally obtained from Gradient_Max and Gradient_Min finally obtained in the last Y-th line, and these are finally determined as global gradient parameters for all X×Y pixels.

이후, 비닝 조건 매핑부(150)는 마지막 Y번째 라인에서 최종 결정된 두 글로벌 파라미터의 각 원소들에 의해 구분되는 다단의 폭 구간과 다단의 기울기 구간 마다 서로 다른 레벨의 비닝 조건을 매핑한다(S1150).Thereafter, the binning condition mapping unit 150 maps binning conditions of different levels to each of the multi-stage width section and the multi-stage slope section divided by each element of the two global parameters finally determined in the last Y-th line (S1150) .

여기서, 두 가지 글로벌 파라미터 모두 5가지 원소로 구성되므로, 다단의 폭 구간과 다단의 기울기 구간은 모두 4가지 구간(M=4)으로 구분된다. 즉, 다단의 폭 구간과 다단의 기울기 구간 각각은 해당 글로벌 파라미터의 최대값(Max)에 근접한 상위의 제1 구간부터 시작하여 최소값(Min)에 근접한 하위의 제M 구간까지 단계적으로 구분된다.Here, since both global parameters are composed of five elements, the multi-stage width section and the multi-stage slope section are all divided into four sections (M=4). That is, each of the multi-step width section and the multi-step slope section is divided in stages from the upper first section close to the maximum value Max of the corresponding global parameter to the lower M-th section close to the minimum value Min.

이때, 비닝 조건 매핑부(150)는 제1 구간에 대해서는 비닝을 미수행하는 레벨 0의 비닝 조건(0배 비닝; x0)을 매핑하고, 제2 내지 제M 구간에 대해서는 점차 높은 레벨의 비닝 조건을 매핑하게 된다.In this case, the binning condition mapping unit 150 maps a binning condition of level 0 (0 times binning; x0) in which binning is not performed for the first section, and a binning condition of a gradually higher level for the second to Mth sections. will be mapped

도 15는 본 발명의 실시예에서 최종 정의된 글로벌 파라미터의 각 구간 별로 비닝 조건이 차등되게 매핑된 모습을 예시한 도면이다.15 is a diagram illustrating a state in which binning conditions are differentially mapped for each section of a global parameter finally defined in an embodiment of the present invention.

도 15에서 옵션 1은 글로벌 폭 파라미터의 5가지 원소에 의해 결정된 4가지 구간과 각 구간에 매핑된 비닝 조건을 나타낸다. 마찬가지로 옵션 2는 글로벌 기울기 파라미터의 5가지 원소에 의해 결정된 4가지 구간과 각 구간에 매핑된 비닝 조건을 나타낸다.In FIG. 15 , option 1 shows four sections determined by five elements of the global width parameter and binning conditions mapped to each section. Similarly, option 2 shows four sections determined by the five elements of the global gradient parameter and the binning conditions mapped to each section.

여기서, 옵션 1과 옵션 2 모두 최대값에 가까운 구간일수록 비닝을 수행하지 않는 레벨 0의 비닝 조건(x0)을 적용한 것을 알 수 있다. 즉, 밝기 폭 또는 밝기 기울기가 해당 글로벌 파라미터의 최대에 근접한 값을 가진 밴드들의 데이터는 중요도가 높은 데이터에 해당하여 비닝 없이 모두 저장한다.Here, it can be seen that the binning condition (x0) of level 0, in which binning is not performed, is applied to a section closer to the maximum value for both option 1 and option 2. That is, data of bands having a brightness width or brightness slope close to the maximum of the corresponding global parameter corresponds to data having high importance and is stored without binning.

그리고 옵션 1과 옵션 2 모두 최소값에 가까운 구간으로 갈수록, 비닝 레벨 x1 에서 x3까지 증가하는 것을 알 수 있다. 즉, 밝기 폭 또는 밝기 기울기가 해당 글로벌 파라미터의 최소에 근접한 값을 가진 밴드들의 데이터는 중요도가 낮은 데이터에 해당하여 높은 레벨의 비닝 조건을 적용하고 데이터량을 줄일 수 있다.In addition, it can be seen that both option 1 and option 2 increase from binning levels x1 to x3 as the section approaches the minimum value. That is, data of bands having a brightness width or a brightness slope having a value close to the minimum of the corresponding global parameter corresponds to data of low importance, so that a high-level binning condition may be applied and the data amount may be reduced.

즉, 옵션 1에서 특정 밴드의 Gap이 Half와 Max 사이라면 급격한 DN 차이를 보이는 구간이므로 정상적으로 비닝의 생략없이 정밀 검사를 수행한다. 반면, 1/2과 1/4사이의 Gap 구간은 1배 비닝을 사용하여 불필요한 메모리를 줄이고, 계산 속도를 향상시킨다. 옵션 2에서도 유사하게 특정 밴드의 기울기를 Max, 1/2, 1/4, 1/8 구간으로 구분하여 각각 x0, x1, x2, x3 비닝을 수행함으로써 계산 속도를 향상시킨다.That is, in option 1, if the gap of a specific band is between Half and Max, it is a section showing a sharp DN difference, so the detailed inspection is normally performed without omitting binning. On the other hand, the gap section between 1/2 and 1/4 uses 1x binning to reduce unnecessary memory and improve calculation speed. Similarly, in option 2, the calculation speed is improved by dividing the slope of a specific band into Max, 1/2, 1/4, and 1/8 sections and performing x0, x1, x2, and x3 binning, respectively.

본 발명의 실시예는 검사의 종류, 방법 등 응용 목적에 따라 옵션 1이나 옵션 2를 단독으로 사용하여 비닝을 제어할 수도 있고, 두 옵션을 AND 조건, OR 조건으로 동시에 활용할 수도 있다. In an embodiment of the present invention, binning may be controlled by using either option 1 or option 2 alone according to an application purpose such as a type and method of inspection, or both options may be used simultaneously as an AND condition and an OR condition.

후자의 경우 예를 들면, 제1 구간의 경우 옵션 1 및 옵션 2의 제1 구간 중 적어도 하나 또는 모두를 만족하는 밴드들에 대해 x0 비닝을 적용할 수 있다. 예를 들어, 옵션 1 및 옵션 2의 제1 구간 모두를 만족하면 x0 비닝을 적용하고 어느 하나만 만족하면 x1 비닝을 적용할 수 있다. 또한, 제2 구간의 경우 옵션 1 또는 옵션 2의 제2 구간 중 적어도 하나를 만족하는 밴드들에 대해 각각 x1, x2, x3 비닝을 적용할 수 있고, 제3 및 제4 구간도 이와 같은 방식을 적용할 수 있다. AND 및 0R 조건에 따른 비닝 제어는 보다 다양한 변형예가 존재할 수 있다.In the latter case, for example, in the case of the first interval, x0 binning may be applied to bands that satisfy at least one or both of the first intervals of option 1 and option 2. For example, if both of the first sections of option 1 and option 2 are satisfied, x0 binning may be applied, and if either one is satisfied, x1 binning may be applied. In addition, in the case of the second section, x1, x2, and x3 binning may be applied to bands satisfying at least one of the second section of option 1 or option 2, respectively, and the third and fourth sections use the same method. can be applied Binning control according to AND and 0R conditions may have more various modifications.

이후, 제어부(160)는 상기와 같이 결정된 글로벌 파라미터를 기초로 신규로 유입되는 검사대상 제품에 대한 초분광 데이터의 저장 시 동적 비닝을 적용하여 데이터의 용량을 줄이고 계산속도를 향상시킨다. Thereafter, the control unit 160 applies dynamic binning to the storage of hyperspectral data for the newly introduced inspection target product based on the global parameter determined as described above to reduce the data capacity and improve the calculation speed.

제어부(160)는 검사대상 제품을 라인 스캐닝하여 초분광 이미지를 획득할 때, 해당 라인에서 밴드별로 산출되는 밝기 폭(Gap_i) 또는 밝기 기울기(Gradient_i)를 기초로 다단의 폭 구간 또는 다단의 기울기 구간 별로 해당 구간 내 속하는 밝기 폭 또는 밝기 기울기를 가진 연속한 밴드들에 대해 해당 비닝 조건을 개별 적용하여 동적 비닝을 수행한다(S1160).When a hyperspectral image is obtained by line-scanning a product to be inspected, the control unit 160 is a multi-stage width section or a multi-stage gradient section based on the brightness width (Gap_i) or the brightness gradient (Gradient_i) calculated for each band in the line. Dynamic binning is performed by individually applying a corresponding binning condition to successive bands having a brightness width or a brightness slope belonging to each section (S1160).

예를 들어, 해당 라인에서 X개의 픽셀에 대응하여 구해진 X개의 밝기값 어레이(X개의 파장 그래프)를 통해 각 밴드마다 Gap_i과 Gradient_i를 구한다. For example, Gap_i and Gradient_i are obtained for each band through X arrays of brightness values (X wavelength graphs) obtained corresponding to X pixels in the corresponding line.

그리고 각 밴드별 Gap_i과 Gradient_i를 각각 다단의 폭 구간 및 다단의 기울기 구간과 비교한다. 이때, Gap 데이터만 활용하여 비닝 제어하는 것을 가정하면, 밴드별로 산출되는 밝기 폭(Gap_i)을 [옵션 1]의 다단의 폭 구간과 비교하여 각각이 어떠한 구간에 속하는지 분류한다. 그리고 각 구간에 속하는 연속한 밴드들에 대해 해당 비닝 조건을 적용한다. Then, Gap_i and Gradient_i for each band are compared with the multi-stage width section and the multi-stage gradient section, respectively. In this case, assuming that binning is controlled using only gap data, the brightness width (Gap_i) calculated for each band is compared with the multi-stage width section of [Option 1] to classify which section each belongs. Then, a corresponding binning condition is applied to successive bands belonging to each section.

예를 들어, i = 0 ~ 44까지의 연속한 15개 밴드의 밝기 폭(Gap_i)이 제3 구간 내에 속한다면 해당 45개 밴드의 경우 4개당 1개 밴드의 데이터만 저장하는 2배 비닝(x2)을 적용하고, i= 45~60 까지의 연속한 15개 밴드의 밝기 폭이 제2 구간에 속한다면 해당 16개 밴드에 대해 2개당 1개 밴드의 데이터만 저장하는 1배 비닝(x1)을 적용할 수 있다.For example, if the brightness width (Gap_i) of 15 consecutive bands from i = 0 to 44 falls within the third section, double binning (x2) that stores data of only 1 band per 4 in the case of the 45 bands. ), and if the brightness width of 15 consecutive bands from i = 45 to 60 belongs to the second section, 1x binning (x1) that stores only 1 band data per 2 for the 16 bands is applied. can be applied

이와 같은 방법으로 제어부(160)는 검사대상 제품의 각 라인에 대해 동적 비닝을 수행하며 동적 비닝을 수행한 초분광 이미지 데이터를 메모리에 저장한다(S1170). 이후, 저장 데이터를 분석하여 제품 표면에 대한 검사 결과를 출력할 수도 있다. 검사 결과는 정상 여부, 불량 부위, 스캔 영상 등을 포함할 수 있다.In this way, the control unit 160 performs dynamic binning on each line of the product to be inspected and stores hyperspectral image data on which the dynamic binning is performed in the memory (S1170). Thereafter, the stored data may be analyzed to output an inspection result for the product surface. The test result may include whether it is normal, a defective area, a scanned image, and the like.

이와 같이, 본 발명의 실시예에 따르면, 실제 검사대상 제품이 라인 스캔 초분광 카메라를 통해 라인 스캔될 때 해당 라인에서 획득된 분광 데이터를 글로벌 파라미터와 비교하여 해당 라인 상의 밴드들을 분류하고 분류한 밴드들 별로 그에 대응된 비닝 조건을 동적으로 적용할 수 있다.As such, according to an embodiment of the present invention, when an actual inspection target product is line-scanned through a line scan hyperspectral camera, the spectral data obtained from the corresponding line is compared with the global parameter to classify and classify the bands on the corresponding line A binning condition corresponding to each of them can be dynamically applied.

이러한 동적 비닝 조절 기법은 밴드별 Gap 및 Gradient를 획득하고 계산하기 위해 초기에는 어느 정도 계산 시간이 소요된다. 그러나, 일반적으로 라인 스캔 카메라는 공장 내 컨베이어 벨트를 통해서 다수의 동일한 제품(객체)들을 반복 검사함이 대부분이다. 따라서, 최초 검사되는 하나의 제품에 대해 비닝 조건이 결정된다면, 추가적인 설정없이 후속 제품에 대해서도 반복하여 적용할 수 있으므로 전체적인 시간을 절약할 수 있다.This dynamic binning control technique initially takes some calculation time to acquire and calculate the gap and gradient for each band. However, in general, most of the line scan cameras repeatedly inspect a number of identical products (objects) through a conveyor belt in a factory. Therefore, if the binning condition is determined for one product to be inspected initially, it can be repeatedly applied to subsequent products without additional setting, thereby saving overall time.

이상과 같은 본 발명에 따르면, 라인스캔 방식의 초분광 카메라를 이용하여 제품 표면의 품질 상태를 검사함에 있어 초분광 카메라의 측정 밴드들을 동적으로 비닝 제어함으로써, 초분광 카메라에서 통해 획득되는 이미지의 데이터 용량을 줄일 수 있고 검사 계산 속도를 향상시킬 수 있다.According to the present invention as described above, by dynamically binning and controlling the measurement bands of the hyperspectral camera in inspecting the quality state of the product surface using the line scan type hyperspectral camera, image data obtained through the hyperspectral camera The capacity can be reduced and the test calculation speed can be improved.

본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiment shown in the drawings, which is only exemplary, those of ordinary skill in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Accordingly, the true technical protection scope of the present invention should be determined by the technical spirit of the appended claims.

100: 동적 비닝 조절 장치 110: 데이터 처리부
120: 연산부 130: 파라미터 정의부
140: 파라미터 갱신부 150: 비닝 조건 매핑부
160: 제어부100: dynamic binning control unit 110: data processing unit
120: arithmetic unit 130: parameter definition unit
140: parameter update unit 150: binning condition mapping unit
160: control unit

Claims

obtaining an array of brightness values, which is a brightness value for each band in the corresponding pixel, for each X×Y pixel in a hyperspectral image obtained by line scanning a sample through a hyperspectral camera;
The width (Gap_i) between the maximum and minimum brightness values for each band is calculated using the X brightness value array corresponding to the X pixels belonging to the line, and between the i-th and i+1-th bands for each X pixel. calculating the change amount of the brightness value and averaging the i-th bands to obtain a gradient of the brightness value for each band (Gradient_i);
In the first line, the global width parameter with the maximum, minimum, and median values among the brightness widths (Gap_i) obtained for each band as elements, and the global width parameters with the maximum, minimum and intermediate values among the brightness gradients (Gradient_i) obtained for each band as elements defining a slope parameter;
updating and redefining the global width parameter and the global slope parameter defined in the immediately preceding k-1 th line (k=2~Y) based on the brightness width and brightness gradient for each band obtained from the k-th line; and
A method for controlling dynamic binning of a hyperspectral camera, comprising mapping different levels of binning conditions for each of the multi-stage width section and the multi-stage slope section divided by each element of the two global parameters finally determined in the last line.

The method according to claim 1,
When a hyperspectral image is obtained by line-scanning a product to be inspected, the brightness width or brightness gradient belonging to the multi-level width section or multi-step slope section based on the brightness width or brightness gradient calculated for each band in the line Dynamic binning control method of a hyperspectral camera further comprising the step of performing dynamic binning by individually applying the binning conditions to successive bands having a.

The method according to claim 1,
Each of the multi-stage width section and the multi-stage slope section,
It is divided in stages from the upper first section close to the maximum value of the global parameter to the lower M-th section close to the minimum value,
The step of mapping the binning condition comprises:
A method for controlling dynamic binning of a hyperspectral camera in which a binning condition of level 0 in which binning is not performed is mapped to the first section, and a binning condition of a gradually higher level is mapped to the second to Mth sections.

4. The method according to claim 3,
Each of the two global parameters is
Max, Min, 1/2 Median (middle of min and max), 1/4 Median (middle of Min and 1/2 Median), 1/8 Median (middle of min and 1/4 median) middle) as an element,
Each of the multi-stage width section and the multi-stage slope section,
Dynamic binning control method of hyperspectral camera divided into 4 sections (M=4) according to 5 elements.

The method according to claim 1,
When the global width parameter is updated in the k-th line, the maximum value and the minimum value among the brightness widths for each band obtained in the k-th line are compared with the maximum and minimum values obtained in the immediately preceding k-1 line, respectively, and then the maximum value A method for controlling dynamic binning of a hyperspectral camera to update the global width parameter by selecting a higher value for , and a lower value for the minimum value.

The method according to claim 1,
When the global gradient parameter is updated in the k-th line, in the case of the maximum value of the parameter, the dynamic binning control method of the hyperspectral camera is updated using the following equation:

Here, GM _K ' is the maximum value of the global gradient parameter updated in the k-th line, GM _K is the maximum value among the brightness gradients for each band obtained from the current k-th line, and GM _K-1 is the maximum value of the previous k-th line. It represents the maximum value of the previously updated global gradient parameter.

a data processing unit that obtains an array of brightness values, which is a brightness value for each band in the corresponding pixel, for each X×Y pixel in a hyperspectral image obtained by line scanning a sample through a hyperspectral camera;
For each line, the width (Gap_i) between the maximum and minimum brightness values for each band is obtained using the X brightness value array corresponding to the X pixels in the line, and the i-th and i+1th values for each X pixel an operation unit for calculating the gradient of the brightness value for each band by averaging the i-th bands after calculating the amount of change in the brightness value between the bands (Gradient_i);
In the first line, the global width parameter with the maximum, minimum, and median values among the brightness widths (Gap_i) obtained for each band as elements, and the global width parameters with the maximum, minimum and intermediate values among the brightness gradients (Gradient_i) obtained for each band as elements a parameter definition unit defining a slope parameter;
a parameter updater that updates and redefines the global width parameter and the global slope parameter defined in the immediately preceding k-1 th line (k=2~Y) based on the brightness width and brightness gradient for each band obtained from the k-th line; and
Dynamic binning control of a hyperspectral camera including a binning condition mapping unit for mapping different levels of binning conditions for each of the multi-stage width section and the multi-stage slope section divided by the elements of the two global parameters finally determined in the last line Device.

8. The method of claim 7,
When a hyperspectral image is obtained by line-scanning a product to be inspected, the brightness width or brightness gradient belonging to the multi-level width section or multi-step slope section based on the brightness width or brightness gradient calculated for each band in the line Dynamic binning control apparatus of a hyperspectral camera further comprising a control unit for performing dynamic binning by individually applying a corresponding binning condition to successive bands having .

8. The method of claim 7,
Each of the multi-stage width section and the multi-stage slope section,
It is divided in stages from the upper first section close to the maximum value of the global parameter to the lower M-th section close to the minimum value,
The binning condition mapping unit,
A dynamic binning control apparatus of a hyperspectral camera for mapping a binning condition of level 0 in which binning is not performed to the first section, and a binning condition of a gradually higher level to the second to Mth sections.

10. The method of claim 9,
Each of the two global parameters is
Max, Min, 1/2 Median (middle of min and max), 1/4 Median (middle of Min and 1/2 Median), 1/8 Median (middle of min and 1/4 median) middle) as an element,
Each of the multi-stage width section and the multi-stage slope section,
Dynamic binning control device of hyperspectral camera divided into 4 sections (M=4) according to 5 elements.

8. The method of claim 7,
The parameter update unit,
When the global width parameter is updated in the k-th line, the maximum value and the minimum value among the brightness widths for each band obtained in the k-th line are compared with the maximum and minimum values obtained in the immediately preceding k-1 line, respectively, and then the maximum value Dynamic binning control device of a hyperspectral camera to update the global width parameter by selecting a higher value for , and a lower value for the minimum value.

8. The method of claim 7,
The parameter update unit,
When the global gradient parameter is updated in the k-th line, in the case of the maximum value of the parameter, the dynamic binning control apparatus of the hyperspectral camera is updated using the following equation: