KR101274324B1 - Apparatus for detecting eye using gaze tracking and method therefore - Google Patents
Apparatus for detecting eye using gaze tracking and method therefore Download PDFInfo
- Publication number
- KR101274324B1 KR101274324B1 KR1020100117134A KR20100117134A KR101274324B1 KR 101274324 B1 KR101274324 B1 KR 101274324B1 KR 1020100117134 A KR1020100117134 A KR 1020100117134A KR 20100117134 A KR20100117134 A KR 20100117134A KR 101274324 B1 KR101274324 B1 KR 101274324B1
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- image
- filter
- average
- input image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/41—Analysis of texture based on statistical description of texture
- G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Probability & Statistics with Applications (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 시선 트래킹을 위한 눈 검출 장치 및 그 방법에 관한 것으로서, 상세하게는 눈의 단순한 이미지 특성만을 고려한 눈 필터를 이용하는 것이 아니라, 복수의 학습 얼굴 이미지 내의 눈 이미지를 이용하여 다양한 눈의 이미지가 고려된 평균 눈 필터를 생성하고, 입력 얼굴 이미지에 그 생성된 평균 눈 필터를 적용하여 눈을 검출함으로써, 일반적인 눈 필터와 패턴 매칭을 통한 눈 검출에 비해 눈 검출의 성능 및 속도를 향상시킬 수 있다.The present invention relates to an eye detection apparatus and a method for eye tracking, and in detail, various eye images are obtained by using eye images in a plurality of learning face images, instead of using an eye filter considering only simple image characteristics of the eyes. By generating the average eye filter considered and applying the generated average eye filter to the input face image to detect the eye, the performance and speed of the eye detection can be improved compared to the eye detection through the general eye filter and the pattern matching. .
Description
본 발명은 시선 트래킹을 위한 눈 검출 장치 및 그 방법에 관한 것으로서, 상세하게는 눈의 단순한 이미지 특성만을 고려한 눈 필터를 이용하는 것이 아니라, 복수의 학습 얼굴 이미지 내의 눈 이미지를 이용하여 다양한 눈의 이미지가 고려된 평균 눈 필터를 생성하고, 입력 얼굴 이미지에 그 생성된 평균 눈 필터를 적용하여 눈을 검출함으로써, 일반적인 눈 필터와 패턴 매칭을 통한 눈 검출에 비해 눈 검출의 성능 및 속도를 향상시킬 수 있는, 시선 트래킹을 위한 눈 검출 장치 및 그 방법에 관한 것이다.The present invention relates to an eye detection apparatus and a method for eye tracking, and in detail, various eye images are obtained by using eye images in a plurality of learning face images, instead of using an eye filter considering only simple image characteristics of the eyes. By generating the average eye filter considered and applying the generated average eye filter to the input face image to detect the eye, the performance and speed of the eye detection can be improved compared to the eye detection through the general eye filter and pattern matching. The present invention relates to an eye detection apparatus for tracking gaze and a method thereof.
종래의 눈을 검출하는 방법은 크게 영상 처리 분야에서 필터를 이용하는 방법과 패턴 인식 분야에서 학습을 통해 패턴을 매칭하는 방법으로 나눌 수 있다.Conventional eye detection methods can be broadly classified into a method of using a filter in an image processing field and a method of matching a pattern through learning in a pattern recognition field.
필터를 이용하는 방법은 눈의 이미지 특성(예컨대, 타원형이고 검은색 동공)을 기반으로 눈 이미지 특성을 정확하게 검출할 수 있는 눈 필터를 이용하고 있다. 이러한 눈 필터를 이용하는 방법은 눈을 검출하는 속도는 비교적 빠른 편이지만 동공의 반사광이나 타원형의 안경 등의 외부적 요인에 대해서 취약하다는 단점이 있다.The method using the filter uses an eye filter that can accurately detect the eye image characteristic based on the image characteristic of the eye (eg, elliptical and black pupil). The method using the eye filter is relatively fast in detecting the eye, but has a disadvantage in that it is vulnerable to external factors such as reflected light of the pupil or elliptical glasses.
반면, 패턴 매칭을 이용하는 방법은 눈의 패턴이 비교적 단순하여 매칭을 위한 충분한 정보를 가지고 있지 않아도 눈을 검출할 수 있다. 하지만, 패턴 매칭을 이용하는 방법도 눈썹 및 안경에 대해 취약한 특성이 있다.On the other hand, the method using pattern matching can detect the eye even if the eye pattern is relatively simple and does not have enough information for matching. However, the method using pattern matching also has weak characteristics for eyebrows and glasses.
현재 눈을 검출하는 방법은 시선 트래킹(Gaze Tracking), 얼굴 인식, HCI(Human Computer Interaction), 위조 얼굴 판별 등 다양한 응용 분야에서 요구하는 필요성에 비해 뚜렷한 성능 향상을 보이지 않고 있다. 하지만, 실시간으로 눈을 검출해야 하는 환경에 적용하기 위해서 눈을 검출하는 속도에 대한 성능 향상도 절실히 요구되고 있는 상황이다.Currently, the eye detection method does not show a significant performance improvement compared to the necessity required in various applications such as gaze tracking, face recognition, human computer interaction (HCI), and fake face discrimination. However, in order to apply to an environment in which eyes should be detected in real time, there is an urgent need for improving performance on the speed of eye detection.
본 발명은 상기의 문제점을 해결하기 위해 창안된 것으로서, 눈의 단순한 이미지 특성만을 고려한 눈 필터를 이용하는 것이 아니라, 복수의 학습 얼굴 이미지 내의 눈 이미지를 이용하여 다양한 눈의 이미지가 고려된 평균 눈 필터를 생성하고, 입력 얼굴 이미지에 그 생성된 평균 눈 필터를 적용하여 눈을 검출함으로써, 일반적인 눈 필터와 패턴 매칭을 통한 눈 검출에 비해 눈 검출의 성능 및 속도를 향상시킬 수 있는, 시선 트래킹을 위한 눈 검출 장치 및 그 방법을 제공하는 것을 목적으로 한다.The present invention was devised to solve the above problems, and does not use an eye filter considering only the simple image characteristics of the eyes, but uses an eye image in a plurality of learning face images to use an average eye filter considering various eye images. Eye for eye tracking, which can generate and apply the generated average eye filter to the input face image to detect the eye, thereby improving the performance and speed of eye detection compared to eye detection through normal eye filters and pattern matching. An object of the present invention is to provide a detection device and a method thereof.
이를 위하여, 본 발명의 제1 측면에 따른 장치는, 복수의 학습 이미지에 대한 눈 필터를 평균화한 평균 눈 필터를 이용하여 입력 영상을 정규화하는 이미지 정규화부; 상기 정규화된 입력 영상을 상기 평균 눈 필터를 이용하여 필터링하여 눈 필터링 영상을 생성하는 눈 필터링부; 상기 영상 중에서 영상 오류를 보정하여 보정 영상을 생성하는 영상 보정부; 및 상기 입력 영상에서 상기 생성된 보정 영상과 대응하는 눈 영역을 검출하고 상기 검출된 눈 영역을 이용하여 눈을 검출하는 눈 검출부를 포함하는 것을 특징으로 한다.
한편, 본 발명의 제2 측면에 따른 방법은, 복수의 학습 이미지에 대한 눈 필터를 평균화한 평균 눈 필터를 이용하여 입력 영상을 정규화하는 이미지 정규화 단계; 상기 정규화된 입력 영상을 상기 평균 눈 필터를 이용하여 필터링하여 눈 필터링 영상을 생성하는 눈 필터링 단계; 상기 영상 중에서 영상 오류를 보정하여 보정 영상을 생성하는 영상 보정 단계; 및 상기 입력 영상에서 상기 생성된 보정 영상과 대응하는 눈 영역을 검출하고 상기 검출된 눈 영역을 이용하여 눈을 검출하는 눈 검출 단계를 포함하는 것을 특징으로 한다.To this end, the apparatus according to the first aspect of the present invention, the image normalization unit for normalizing the input image using the average eye filter averaging the eye filter for the plurality of training images; An eye filtering unit configured to filter the normalized input image using the average eye filter to generate an eye filtering image; An image corrector configured to correct an image error among the images to generate a corrected image; And an eye detector configured to detect an eye region corresponding to the generated corrected image from the input image, and detect an eye using the detected eye region.
On the other hand, the method according to the second aspect of the present invention, the image normalization step of normalizing the input image using the average eye filter averaging the eye filter for the plurality of training images; An eye filtering step of filtering the normalized input image using the average eye filter to generate an eye filtering image; An image correction step of generating a corrected image by correcting an image error among the images; And an eye detection step of detecting an eye region corresponding to the generated corrected image from the input image and detecting an eye using the detected eye region.
본 발명은, 눈의 단순한 이미지 특성만을 고려한 눈 필터를 이용하는 것이 아니라, 복수의 학습 얼굴 이미지 내의 눈 이미지를 이용하여 다양한 눈의 이미지가 고려된 평균 눈 필터를 생성하고, 입력 얼굴 이미지에 그 생성된 평균 눈 필터를 적용하여 눈을 검출함으로써, 일반적인 눈 필터와 패턴 매칭을 통한 눈 검출에 비해 눈 검출의 성능 및 속도를 향상시킬 수 있는 효과가 있다.The present invention does not use the eye filter considering only the simple image characteristics of the eye, but uses the eye images in the plurality of learning face images to generate an average eye filter considering various eye images, By applying the average eye filter to detect the eye, there is an effect that can improve the performance and speed of the eye detection compared to the eye detection through the general eye filter and pattern matching.
또한, 본 발명은, 얼굴 인식과 휴먼 검출과 같은 서비스 분야에서 눈을 검출하여 얼굴을 정규화하는 서비스의 품질을 향상시킬 수 있는 효과가 있다.In addition, the present invention has the effect of improving the quality of the service to normalize the face by detecting the eyes in the service field, such as face recognition and human detection.
또한, 본 발명은, 평균 눈 필터를 이용하여 눈을 검출함으로써, 차량이나 항공기와 같은 분야에서 운전자의 졸음 방지용 서비스를 더욱 효과적으로 제공할 수 있는 효과가 있다.In addition, the present invention, by detecting the snow using an average snow filter, there is an effect that can more effectively provide the driver's drowsiness prevention service in the field, such as a vehicle or aircraft.
또한, 본 발명은, 평균 눈 필터를 이용하여 눈을 검출함으로써, HCI 분야에서 사용자의 시선 트래킹 서비스를 더욱 효과적으로 제공할 수 있는 효과가 있다.In addition, the present invention, by detecting the eyes using the average eye filter, there is an effect that can more effectively provide a gaze tracking service of the user in the field of HCI.
또한, 본 발명은, 평균 눈 필터를 이용하여 눈을 검출함으로써, 위조 얼굴 검출 서비스에서 사용자의 눈 깜빡임을 더욱 효과적으로 감지할 수 있는 효과가 있다.In addition, the present invention, by detecting the eyes using the average eye filter, there is an effect that can more effectively detect the eye blink of the user in the fake face detection service.
또한, 본 발명은, 출력 이미지를 눈이 아닌 얼굴의 다른 구성 요소(예컨대, 입, 코, 귀 등)로 변경하여 눈을 제외한 얼굴의 다른 구성 요소를 신속 및 용이하게 검출할 수 있는 효과가 있다.In addition, the present invention has the effect of quickly and easily detect other components of the face except the eyes by changing the output image to other components of the face (eg, mouth, nose, ear, etc.) rather than the eyes. .
도 1 은 본 발명에 따른 시선 트래킹을 위한 눈 검출 장치의 일실시예 구성도,
도 2 는 본 발명에 따른 평균 눈 필터 생성 과정 및 눈 검출 과정에 대한 일실시예 설명도,
도 3 은 본 발명에 따른 평균 눈 필터 생성 과정에 대한 일실시예 설명도,
도 4 는 본 발명에 따른 시선 트래킹을 위한 눈 검출 방법에 대한 일실시예 흐름도이다.1 is a block diagram of an embodiment of an eye detection apparatus for eye tracking according to the present invention;
2 is a diagram illustrating an exemplary eye filter generation process and an eye detection process according to the present invention;
3 is a diagram illustrating an embodiment of an average eye filter generation process according to the present invention;
4 is a flowchart illustrating an eye detection method for eye gaze tracking according to the present invention.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. 본 발명의 상세한 설명에 앞서, 동일한 구성요소에 대해서는 다른 도면 상에 표시되더라도 가능한 동일한 부호로 표시하며, 공지된 구성에 대해서는 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 구체적인 설명은 생략하기로 함에 유의한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and the operation and effect thereof will be clearly understood through the following detailed description. Prior to the detailed description of the present invention, the same components will be denoted by the same reference numerals even if they are displayed on different drawings, and the detailed description will be omitted when it is determined that the well-known configuration may obscure the gist of the present invention. do.
도 1 은 본 발명에 따른 시선 트래킹을 위한 눈 검출 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of an eye detection apparatus for eye tracking according to the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 눈 검출 장치(100)는 이미지 정규화부(110), 눈 필터링부(120), 영상 이진화부(130), 영상 보정부(140) 및 눈 검출부(150)를 포함한다.As shown in FIG. 1, the
이하, 눈 검출 장치(100)의 구성요소 각각에 대해서 살펴보기로 한다.Hereinafter, each component of the
이미지 정규화부(110)는 복수의 학습 이미지에 대한 눈 필터를 평균화한 평균 눈 필터를 이용하여 입력 영상을 정규화한다. 이미지 정규화부(110)는 주파수 영역에서 계산하기 위해 입력 영상을 평균 눈 필터와 같은 크기로 변경한다.The
눈 필터링부(120)는 정규화된 입력 영상에 평균 눈 필터를 적용하여 눈 필터링 영상을 생성한다. 눈 필터링부(120)는 정규화된 입력 영상과 평균 눈 필터를 주파수 영역에서 원소 간의 곱을 적용하여 눈 필터링 영상을 생성한다. 즉, 눈 필터링부(120)는 정규화된 입력 영상과 평균 눈 필터를 컨볼루션하여 눈 필터링 영상을 생성할 수 있다.The
영상 이진화부(130)는 눈 필터링 영상을 이진화시켜 이진 영상을 생성한다. 영상 이진화부(130)는 공간 영역으로 변경된 눈 필터링 영상을 이진화시켜 이진 영상을 생성할 수 있다.The
영상 보정부(140)는 이진 영상 중에서 영상 오류를 보정하여 보정 영상을 생성한다.The
눈 검출부(150)는 입력 영상에서 보정 영상과 대응하는 눈 영역을 검출하고 상기 검출된 눈 영역을 이용하여 눈을 검출한다. 눈 검출부(150)는 검출된 눈 영역에서 보정 영상의 중점을 눈의 중점으로 적용하여 눈을 검출할 수 있다.The
도 2 는 본 발명에 따른 평균 눈 필터 생성 과정 및 눈 검출 과정에 대한 일실시예 설명도이다.2 is a diagram illustrating an exemplary eye filter generation process and an eye detection process according to the present invention.
도 2에 도시된 바와 같이, 본 발명에 따른 눈 검출 과정을 평균 눈 필터 생성 과정(210) 및 눈 검출 과정(220)으로 나누어서 살펴보기로 한다.As shown in FIG. 2, the eye detection process according to the present invention will be divided into an average eye
평균 눈 필터 생성 과정(210)을 살펴보면, 학습 얼굴 이미지 1로부터 학습 얼굴 이미지 1에 대한 눈 필터가 생성된다. 학습 얼굴 이미지가 학습 얼굴 이미지 1, …, 학습 얼굴 이미지 N인 경우 이미지당 눈 필터를 생성하는 과정은 N번 반복되어 N개의 학습 얼굴 이미지 각각에 대한 N 개의 눈 필터가 생성된다.Referring to the average eye
그리고 N개의 눈 필터가 평균화되어 평균 눈 필터가 생성된다. 이는 복수 얼굴의 눈을 학습한 눈 필터를 이용하기 위해 N개의 눈 필터가 평균화되어 이용되기 위함이다.N eye filters are averaged to produce an average eye filter. This is because N eye filters are averaged and used in order to use an eye filter that learns eyes of a plurality of faces.
눈 검출 과정(220)을 살펴보면, 눈 검출 과정(220)에서 입력 영상이 눈 검출 장치(100)로 입력되고 평균 눈 필터에 맞게 정규화된다. 그리고 정규화된 입력 영상은 평균 눈 필터 생성 과정(210)에서 생성된 평균 눈 필터와 컨볼루션된다. 그리고 이러한 컨볼루션을 통해 눈 필터가 생성된다.Referring to the
그리고 눈 필터링 영상이 이진 영상화 과정을 통해 이진 영상으로 변경된다. 그리고 이진 영상에서 눈 영역의 검출을 통해 눈이 검출된다.The eye filtered image is changed into a binary image through a binary imaging process. The eye is detected by detecting the eye region in the binary image.
도 3 은 본 발명에 따른 평균 눈 필터 생성 과정에 대한 일실시예 설명도이다.3 is a diagram illustrating an exemplary eye filter generation process according to the present invention.
도 3에 도시된 바와 같이, 평균 눈 필터 생성 과정(210)은 학습 얼굴 이미지 1(301)과 결과 눈 이미지 1(302)을 이용하여 평균 눈 필터(304)를 생성하는 과정에 관한 것이다.As illustrated in FIG. 3, the process of generating an
평균 눈 필터 생성 과정(210)에서는 눈의 위치를 동일하게 적용하기 위해 학습 얼굴 이미지 1(301)을 눈을 기준으로 정규화한다.In the average eye
그리고 학습 얼굴 이미지 1(301)과 결과 눈 이미지 1(302)가 컨볼루션되어 눈 필터 1(303)이 생성된다. 여기서, 눈 필터는 계산의 편이를 위해 공간 영역에서 수행되지 않고, 하기의 [수학식 1] 내지 [수학식 3]과 같이 주파수 영역에서 생성된 후, 하기의 [수학식 4]와 같이 공간 영역으로 변환된다.The learning face image 1 301 and the resultant eye image 1 302 are convolved to generate the eye filter 1 303. Here, the eye filter is not performed in the spatial domain for ease of calculation, but is generated in the frequency domain as shown in Equations 1 to 3, and then in the spatial domain as shown in Equation 4 below. Is converted to.
여기서, f는 입력 이미지(학습 얼굴 이미지), g는 출력 이미지(학습 얼굴 이미지 중 눈 이미지), h는 눈 필터를 나타낸다.Here, f is an input image (learning face image), g is an output image (eye image of the learning face image), and h is an eye filter.
학습 얼굴 이미지 중에서 눈 이미지인 출력 이미지는 컨볼루션 정의에 따라 상기의 [수학식 1]과 같이 나타내진다. 즉, 공간 영역의 두 값의 컨볼루션은 주파수 영역의 간단한 원소 간의 곱으로 계산이 가능하다.The output image, which is an eye image among the learning face images, is represented as shown in Equation 1 above according to a convolution definition. In other words, the convolution of two values in the spatial domain can be calculated as the product of simple elements in the frequency domain.
상기의 [수학식 1]을 하기의 [수학식 2] 및 [수학식 3]과 같이 정리하여 주파수 영역에서의 눈 검출 필터가 구해진다.[Equation 1] is summarized as Equation 2 and Equation 3 below to obtain an eye detection filter in the frequency domain.
여기서, 
평균 눈 필터를 생성하기 위해 N개의 학습 얼굴 이미지가 동일하게 이용된다. 즉, 학습 얼굴 이미지 2, 3, …, N에 대해서 동일한 학습 얼굴 이미지 2, 3, …, N와 결과 눈 이미지 2, 3, …, N의 컨볼루션이 각각 수행되어 눈 필터 2, 3, …, N이 생성된다.N learning face images are equally used to generate an average eye filter. That is, learning face images 2, 3,... , The same learning face image for N, 2, 3,... , And the resulting eye image 2, 3,… , Convolution of N is performed respectively to remove eye filters 2, 3,... , N is generated.
그리고 각각 생성된 눈 필터 1, 2, 3, …, N이 평균화되어 다양한 얼굴의 눈이 고려된 평균 눈 필터가 하기의 [수학식 4]와 같이 계산된다. 즉, 평균 눈 필터는 하기의 [수학식 4]와 같이 정리된다.And the generated eye filters 1, 2, 3,... , An average eye filter considering N of various faces and considering various eyes is calculated as shown in Equation 4 below. That is, the average eye filter is arranged as shown in Equation 4 below.
여기서, 
한편, [수학식 1] 내지 [수학식 4]를 통해 구해진 평균 눈 필터를 입력 영상에 적용하는 과정에 대해서 살펴보기로 한다.Meanwhile, the process of applying the average eye filter obtained through Equations 1 to 4 to the input image will be described.
눈 필터링부(120)는 하기의 [수학식 5]를 통해 입력 영상에 대해서 평균 눈 필터를 적용하여 눈 필터링 이미지를 생성한다.The
여기서, F는 주파수 영역에서 입력 영상의 얼굴 이미지에 대한 정규화 이미지, Hμ는 주파수 영역에서 평균 눈 필터, G는 주파수 영역에서 눈 필터링 이미지를 나타낸다. 마지막으로, g는 공간 영역에서의 눈 필터링 이미지를 나타낸다.Here, F denotes a normalized image of the face image of the input image in the frequency domain, Hμ denotes an average eye filter in the frequency domain, and G denotes an eye filtered image in the frequency domain. Finally, g represents the eye filtered image in the spatial domain.
도 4 는 본 발명에 따른 시선 트래킹을 위한 눈 검출 방법에 대한 일실시예 흐름도이다.4 is a flowchart illustrating an eye detection method for eye gaze tracking according to the present invention.
이미지 정규화부(110)는 복수의 학습 이미지에 대한 눈 필터를 평균화한 평균 눈 필터를 이용하여 입력 영상을 정규화한다(S602).The
눈 필터링부(120)는 이미지 정규화부(110)에서 정규화된 입력 영상을 평균 눈 필터를 이용하여 필터링하여 눈 필터링 영상을 생성한다(S604).The
영상 이진화부(130)는 눈 필터링부(120)에서 생성된 눈 필터링 영상을 이진화시켜 이진 영상을 생성한다(S606).The
영상 보정부(140)는 눈 필터링부(120)에서 생성된 이진 영상 중에서 영상 오류를 보정하여 보정 영상을 생성한다(S608).The
눈 검출부(150)는 입력 영상에서 영상 보정부(140)에서 생성된 보정 영상과 대응하는 눈 영역을 검출하고 그 검출된 눈 영역을 이용하여 눈을 검출한다(S610).The
한편, 본 발명에 따른 평균 눈 필터 생성 과정은 전술된 검출 방법과 같이, 얼굴의 다른 구성 요소(예컨대, 입, 코, 귀 등) 즉, 눈이 아닌 얼굴의 다른 구성 요소를 위한 평균 얼굴 요소 필터를 생성할 수 있다.On the other hand, the average eye filter generation process according to the present invention, like the above-described detection method, the average face element filter for other components of the face (for example, mouth, nose, ears, etc.), that is, other components of the face other than the eyes Can be generated.
구체적으로 살펴보면, 각 학습 얼굴 이미지를 입력 영상으로 하고, 얼굴 요소(입, 코, 귀)를 출력 영상으로 하여 각 얼굴 요소(입, 코, 귀) 필터가 생성된다. In detail, each face element (mouth, nose, and ear) filter is generated using each learning face image as an input image and a face element (mouth, nose, or ear) as an output image.
그리고 공간 영역을 주파수 영역으로 변환하여 얼굴 요소(입, 코, 귀) 필터를 생성한 후, 공간 영역으로 변환하여 최종 얼굴 요소(입, 코, 귀) 필터가 생성된다.The spatial domain is converted into a frequency domain to generate a face element (mouth, nose, and ear) filter, and then the spatial domain is converted to a spatial domain to generate a final face element (mouth, nose, and ear) filter.
이후, 생성된 각 얼굴 요소(입, 코, 귀) 필터의 평균을 구하여 평균 얼굴 요소(입, 코, 귀) 필터가 생성된다. 그리고 주파수 영역에서 생성된 평균 얼굴 요소(입, 코, 귀) 필터를 공간 영역으로 변환하여 최종 공간 영역의 평균 얼굴 요소(입, 코, 귀) 필터가 생성된다.Then, the average face element (mouth, nose, ear) filter is generated by averaging each generated face element (mouth, nose, ear) filter. The average face element (mouth, nose, ear) filter generated in the frequency domain is converted into the spatial domain, and the average face element (mouth, nose, ear) filter of the final spatial domain is generated.
일례로, 학습 얼굴 이미지(301)에 대응하는 결과 눈 이미지(302)를 다른 얼굴 구성 요소인 결과 코 이미지 등으로 변경되어 입 필터 또는 코 필터 등이 생성될 수 있다.For example, a mouth filter or a nose filter may be generated by changing the
각 학습 얼굴 이미지가 입력 영상이 되고, 얼굴 이미지 내의 코 또는 입의 이미지가 출력 영상이 되어 각각의 코 필터 또는 입 필터가 생성할 수 있다.Each learning face image may be an input image, and an image of a nose or a mouth in the face image may be an output image, and each nose filter or mouth filter may be generated.
그리고 공간 영역이 주파수 영역으로 변환되어 코 필터 또는 입 필터가 생성된 후, 다시 공간 영역으로 변환되어 최종 코 또는 입 필터가 생성할 수 있다.The spatial domain is transformed into the frequency domain to generate a nose filter or mouth filter, and then the spatial domain is converted back to the spatial domain to generate a final nose or mouth filter.
이어서, 생성된 각각의 코 또는 입 필터의 평균이 구해져 평균 코 또는 입 필터가 생성될 수 있다. 주파수 영역에서 생성된 평균 코 또는 입 필터는 공간 영역으로 변환되어 최종 공간 영역의 평균 코 또는 입 필터가 생성된다.Subsequently, the average nose or mouth filter generated can be averaged to produce an average nose or mouth filter. The average nose or mouth filter generated in the frequency domain is converted to the spatial domain to produce an average nose or mouth filter of the final spatial domain.
한편, 눈 검출 장치(100)가 눈 이외의 얼굴 요소를 적용되는 경우, 눈 검출 장치(100)는 입력 얼굴 이미지를 평균 얼굴 요소(입, 코, 귀) 필터 크기와 동일한 크기로 정규화할 수 있다.Meanwhile, when the
그리고 눈 검출 장치(100)는 정규화된 얼굴 이미지를 평균 얼굴 요소(입, 코, 귀) 필터와 컨볼루션한다. 여기서, 눈 검출 장치(100)는 계산의 편의를 위해 공간 영역을 주파수 영역으로 변환하여 결과 얼굴 요소 이미지를 생성한다. 이후, 눈 검출 장치(100)는 다시 공간 영역으로 변환하여 얼굴 요소 필터링 이미지를 생성할 수 있다.The
그리고 눈 검출 장치(100)는 얼굴 요소 필터링 이미지를 이진 영상으로 변경하여 이진 영상을 생성한다.The
눈 검출 장치(100)는 영상 보정 필터를 이용하여 이진 영상을 보정할 수 있다.The
이후, 눈 검출 장치(100)는 보정된 이진 영상을 이용하여 최종 얼굴 요소(입, 코, 귀)의 중점을 검출할 수 있다.Thereafter, the
이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. 따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다.The foregoing description is merely illustrative of the present invention, and various modifications may be made by those skilled in the art without departing from the spirit of the present invention. Accordingly, the embodiments disclosed in the specification of the present invention are not intended to limit the present invention. The scope of the present invention should be construed according to the following claims, and all the techniques within the scope of equivalents should be construed as being included in the scope of the present invention.
본 발명은 눈의 단순한 이미지 특성만을 고려한 눈 필터를 이용하는 것이 아니라, 복수의 학습 얼굴 이미지 내의 눈 이미지를 이용하여 다양한 눈의 이미지가 고려된 평균 눈 필터를 생성하고, 입력 얼굴 이미지에 그 생성된 평균 눈 필터를 적용하여 눈을 검출함으로써, 일반적인 눈 필터와 패턴 매칭을 통한 눈 검출에 비해 눈 검출의 성능 및 속도를 향상시킬 수 있다.The present invention does not use an eye filter considering only the simple image characteristics of the eye, but generates an average eye filter considering various eye images using the eye images in the plurality of learning face images, and generates the average of the averaged eye filters on the input face image. By applying the eye filter to detect the eye, it is possible to improve the performance and speed of the eye detection compared to the eye detection through the general eye filter and pattern matching.
100: 눈 검출 장치 110: 이미지 정규화부
120: 눈 필터링부 130: 영상 이진화부
140: 영상 보정부 150: 눈 검출부100: eye detection device 110: image normalization unit
120: eye filtering unit 130: image binarization unit
140: image correction unit 150: eye detection unit
Claims (10)
상기 정규화된 입력 영상을 상기 평균 눈 필터를 이용하여 필터링하여 눈 필터링 영상을 생성하는 눈 필터링부;
상기 생성된 영상 중에서 영상 오류를 보정하여 보정 영상을 생성하는 영상 보정부; 및
상기 입력 영상에서 상기 생성된 보정 영상과 대응하는 눈 영역을 검출하고 상기 검출된 눈 영역을 이용하여 눈을 검출하는 눈 검출부
를 포함하는 시선 트래킹을 위한 눈 검출 장치.An image normalizer which normalizes the input image by changing the input image to a size equal to that of an average eye filter obtained by averaging the eye filters for each of the plurality of learning images;
An eye filtering unit configured to filter the normalized input image using the average eye filter to generate an eye filtering image;
An image corrector configured to correct an image error among the generated images to generate a corrected image; And
An eye detector which detects an eye region corresponding to the generated corrected image from the input image and detects an eye using the detected eye region
Eye detection device for gaze tracking comprising a.
상기 눈 필터링부는,
상기 정규화된 입력 영상과 평균 눈 필터를 주파수 영역에서 원소 간의 곱을 적용하여 눈 필터링 영상을 생성하는 것을 특징으로 하는 시선 트래킹을 위한 눈 검출 장치.The method of claim 1,
The eye filtering unit,
The eye detection device for eye tracking, wherein the normalized input image and the average eye filter apply a product between elements in a frequency domain to generate an eye filtered image.
상기 눈 검출부는,
상기 검출된 눈 영역에서 보정 영상의 중점을 눈의 중점으로 적용하여 눈을 검출하는 것을 특징으로 하는 시선 트래킹을 위한 눈 검출 장치.The method of claim 1,
Wherein the eye detecting unit comprises:
The eye detection apparatus for eye tracking, wherein the eye is detected by applying the midpoint of the corrected image as the midpoint of the eye in the detected eye region.
상기 정규화된 입력 영상을 상기 평균 눈 필터를 이용하여 필터링하여 눈 필터링 영상을 생성하는 단계;
상기 생성된 영상 중에서 영상 오류를 보정하여 보정 영상을 생성하는 단계; 및
상기 입력 영상에서 상기 생성된 보정 영상과 대응하는 눈 영역을 검출하고 상기 검출된 눈 영역을 이용하여 눈을 검출하는 단계
를 포함하는 시선 트래킹을 위한 눈 검출 방법.Normalizing the input image by changing the input image to the same size as the average eye filter averaged over the eye filters for each of the plurality of learning images;
Generating an eye filtered image by filtering the normalized input image using the average eye filter;
Generating a corrected image by correcting an image error among the generated images; And
Detecting an eye region corresponding to the generated corrected image from the input image and detecting an eye using the detected eye region;
Eye detection method for gaze tracking comprising a.
상기 눈 필터링 영상 생성 단계는,
상기 정규화된 입력 영상과 평균 눈 필터를 주파수 영역에서 원소 간의 곱을 적용하여 눈 필터링 영상을 생성하는 것을 특징으로 하는 시선 트래킹을 위한 눈 검출 방법.The method according to claim 6,
The eye filtering image generation step,
The eye detection method for eye tracking, wherein the normalized input image and the average eye filter apply a product of elements in a frequency domain to generate an eye filtered image.
상기 눈 검출 단계는,
상기 검출된 눈 영역에서 보정 영상의 중점을 눈의 중점으로 적용하여 눈을 검출하는 것을 특징으로 하는 시선 트래킹을 위한 눈 검출 방법.The method according to claim 6,
The eye detection step,
Eye detection method for eye tracking, characterized in that for detecting the eye by applying the midpoint of the corrected image as the midpoint of the eye in the detected eye region.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100117134A KR101274324B1 (en) | 2010-11-23 | 2010-11-23 | Apparatus for detecting eye using gaze tracking and method therefore |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100117134A KR101274324B1 (en) | 2010-11-23 | 2010-11-23 | Apparatus for detecting eye using gaze tracking and method therefore |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120055404A KR20120055404A (en) | 2012-05-31 |
| KR101274324B1 true KR101274324B1 (en) | 2013-06-13 |
Family
ID=46270976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100117134A KR101274324B1 (en) | 2010-11-23 | 2010-11-23 | Apparatus for detecting eye using gaze tracking and method therefore |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101274324B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102227284B1 (en) | 2014-01-16 | 2021-03-12 | 삼성전자주식회사 | Dispaly apparatus and controlling method thereof |
| KR102466996B1 (en) | 2016-01-06 | 2022-11-14 | 삼성전자주식회사 | Method and apparatus for predicting eye position |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050065195A (en) * | 2003-12-24 | 2005-06-29 | 한국전자통신연구원 | Method and apparatus for extracting iris image using of extended template matching |
| KR20100119420A (en) * | 2009-04-30 | 2010-11-09 | 한국전자통신연구원 | Apparatus and method for detecting eye location using eye descriptor |
-
2010
- 2010-11-23 KR KR1020100117134A patent/KR101274324B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050065195A (en) * | 2003-12-24 | 2005-06-29 | 한국전자통신연구원 | Method and apparatus for extracting iris image using of extended template matching |
| KR20100119420A (en) * | 2009-04-30 | 2010-11-09 | 한국전자통신연구원 | Apparatus and method for detecting eye location using eye descriptor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120055404A (en) | 2012-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105373766B (en) | Pupil positioning method and device | |
| EP3477436B1 (en) | Method, storage medium and apparatus for eye tracking by removal of a reflection area | |
| Rigas et al. | Eye movement-driven defense against iris print-attacks | |
| US9501691B2 (en) | Method and apparatus for detecting blink | |
| CN103093210A (en) | Method and device for glasses identification in face identification | |
| John et al. | EyeVEIL: degrading iris authentication in eye tracking headsets | |
| US20100292579A1 (en) | Vein imaging apparatus, vein image interpolation method, and program | |
| KR20160110741A (en) | Device and method for human age estimation | |
| KR101610525B1 (en) | Apparatus for extracting a pupil considering illumination and method thereof | |
| KR101274324B1 (en) | Apparatus for detecting eye using gaze tracking and method therefore | |
| Reddy et al. | A robust scheme for iris segmentation in mobile environment | |
| Li et al. | Open-source software for real-time visible-spectrum eye tracking | |
| CN107577340B (en) | Eyesight protection method, terminal and storage device | |
| CN109196517A (en) | Comparison device and contrast method | |
| CN106708249B (en) | Interaction method, interaction device and user equipment | |
| JP2004192551A (en) | Eye opening/closing determining apparatus | |
| JP2018101211A (en) | On-vehicle device | |
| Jang et al. | New focus assessment method for iris recognition systems | |
| TW201608532A (en) | Method and device for warning driver | |
| Singh et al. | Driver fatigue detection using machine vision approach | |
| Marrugo et al. | Improving the blind restoration of retinal images by means of point-spread-function estimation assessment | |
| KR101643724B1 (en) | Method and Apparatus for identifying eyeball position, Method and Apparatus for tracking eyeball position | |
| US11079843B2 (en) | Eye tracking apparatuses configured for degrading iris authentication | |
| Karunya et al. | A study of liveness detection in fingerprint and iris recognition systems using image quality assessment | |
| Stoker et al. | Restoration and recognition of distant, blurry irises |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170529 Year of fee payment: 5 |