KR102419340B1 - System and method for hot flush recognition - Google Patents

System and method for hot flush recognition Download PDF

Info

Publication number
KR102419340B1
KR102419340B1 KR1020170174281A KR20170174281A KR102419340B1 KR 102419340 B1 KR102419340 B1 KR 102419340B1 KR 1020170174281 A KR1020170174281 A KR 1020170174281A KR 20170174281 A KR20170174281 A KR 20170174281A KR 102419340 B1 KR102419340 B1 KR 102419340B1
Authority
KR
South Korea
Prior art keywords
region
area
face
cheek
extraction unit
Prior art date
Application number
KR1020170174281A
Other languages
Korean (ko)
Other versions
KR20190073034A (en
Inventor
윤상훈
강원석
이상호
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020170174281A priority Critical patent/KR102419340B1/en
Publication of KR20190073034A publication Critical patent/KR20190073034A/en
Application granted granted Critical
Publication of KR102419340B1 publication Critical patent/KR102419340B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

일 실시예에 따른 안면 홍조 인식 시스템은, 안면에 대한 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득된 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출부; 상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 눈 영역을 추출하는 눈 영역 추출부; 상기 눈 영역 추출부에서 추출된 눈 영역에 기반하여 볼 영역을 추출하는 제1 볼 영역 추출부; 상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 볼 영역을 추출하는 제2 볼 영역 추출부; 및 상기 제1 볼 영역 추출부 또는 상기 제2 볼 영역 추출부에서 추출된 볼 영역으로부터 안면 홍조 여부를 분석하는 안면 홍조 분석부;를 포함할 수 있다.Facial flush recognition system according to an embodiment, an image acquisition unit for acquiring an image of the face; a face region extraction unit for extracting a face region from the image acquired by the image acquisition unit; an eye region extractor configured to extract an eye region based on the face region extracted by the face region extractor; a first cheek region extractor configured to extract a cheek region based on the eye region extracted by the eye region extractor; a second cheek region extraction unit for extracting a cheek region based on the face region extracted by the face region extraction unit; and a facial flushing analysis unit configured to analyze whether or not the face is flushed from the cheek area extracted by the first cheek area extraction unit or the second cheek area extraction unit.

Description

안면 홍조 인식 시스템 및 방법{SYSTEM AND METHOD FOR HOT FLUSH RECOGNITION}SYSTEM AND METHOD FOR HOT FLUSH RECOGNITION

본 발명은 안면 홍조 인식 시스템 및 방법에 관한 것으로서, 보다 상세하게는 눈 영역 또는 얼굴 영역에 기반하여 볼 영역을 추출하여 안면 홍조를 분석하는 안면 홍조 인식 시스템 및 방법에 관한 것이다.The present invention relates to a hot flush recognition system and method, and more particularly, to a hot flush recognition system and method for analyzing a hot flush by extracting a cheek area based on an eye area or a face area.

홍조는 정서적 변화와 열에 의하여 발생하는 일과성의 국소 홍반 발진으로, 얼굴, 목, 머리, 가슴 부위의 피부가 갑작스럽게 붉게 변하면서 열감이 나타나고 전신으로 퍼져 나가며, 발생 기전에 따라 땀이 동반되는 경우도 있다. 홍조는 고통이나 목숨의 위협을 주는 질환은 아니나, 숙면 방해나 대인관계 기피의 원인이 되는 등 본인에게는 여간 불편한 것이 아니다. 또한, 약물에 의해서도 홍조가 발생할 수 있다.Hot flushes are localized erythematous rashes that are transient, caused by emotional changes and heat. The skin on the face, neck, head, and chest suddenly turns red, and a feeling of heat appears and spreads throughout the body. have. Although flushing is not a disease that causes pain or life-threatening, it is not uncomfortable for the person, such as disturbing sleep or avoiding interpersonal relationships. Also, flushing can be caused by drugs.

홍조 인식이란 생체인식 분야 중의 하나로 RGB 카메라를 통하여 획득된 인물 사진을 이용하여 사람의 얼굴과 눈을 인식하고, 이를 기반으로 볼을 인식하여 자동으로 홍조를 인식하고 식별하는 기술이다. RGB 영상을 이용한 홍조 인식은 RGB 카메라를 이용한다는 측면에서 활용 범위가 넓으며, 데이터가 RGB 영상이라는 측면에서 매우 직관적이고, 이미지 촬영을 이용한 비접촉식 방법이라는 장점을 갖는다.Redness recognition is one of the fields of biometric recognition, and it is a technology that automatically recognizes and identifies a person's face and eyes by using a portrait obtained through an RGB camera, and recognizes cheeks based on this. Redness recognition using RGB images has a wide range of applications in terms of using RGB cameras, is very intuitive in terms of data being RGB images, and has the advantages of being a non-contact method using image capture.

KR 10-2016-0046560KR 10-2016-0046560

일 실시예에 따른 목적은 RGB 영상을 이용하여 안면 홍조를 인식하여, 다양한 상황 또는 다양한 기기에서 간편하게 실시할 수 있고, 대상의 정서적 변화를 인지하는 데 활용할 수 있는 안면 홍조 인식 시스템 및 방법을 제공하는 것이다.An object according to an embodiment is to provide a hot flush recognition system and method that can be used to recognize hot flashes using RGB images, which can be conveniently carried out in various situations or various devices, and can be used to recognize emotional changes of the subject. will be.

일 실시예에 따른 목적은 RGB 영상을 통하여 인물 영상을 획득하고, 획득된 영상에서 얼굴 영역, 눈 영역, 참조 영역을 검출하고, 얼굴 영역과 눈 영역을 이용하여 볼 영역을 계산하며, 상기 계산된 볼 영역과 참조 영역을 비교하여 안면 홍조 여부를 판단할 수 있는 안면 홍조 인식 시스템 및 방법을 제공하는 것이다.An object according to an embodiment is to obtain a person image through an RGB image, detect a face region, an eye region, and a reference region from the obtained image, calculate a cheek region using the face region and the eye region, and An object of the present invention is to provide a hot flush recognition system and method capable of determining whether a face flushes by comparing a cheek area and a reference area.

일 실시예에 따른 목적은 눈 영역 또는 얼굴 영역에 기반하여 볼 영역을 추출하여 안면 홍조를 분석할 수 있는 안면 홍조 인식 시스템 및 방법을 제공하는 것이다.SUMMARY According to an embodiment, an object of the present invention is to provide a hot flush recognition system and method capable of analyzing a hot flush by extracting a cheek area based on an eye area or a face area.

상기 목적을 달성하기 위한 일 실시예에 따른 안면 홍조 인식 시스템은, 안면에 대한 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득된 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출부; 상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 눈 영역을 추출하는 눈 영역 추출부; 상기 눈 영역 추출부에서 추출된 눈 영역에 기반하여 볼 영역을 추출하는 제1 볼 영역 추출부; 상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 볼 영역을 추출하는 제2 볼 영역 추출부; 및 상기 제1 볼 영역 추출부 또는 상기 제2 볼 영역 추출부에서 추출된 볼 영역으로부터 안면 홍조 여부를 분석하는 안면 홍조 분석부;를 포함할 수 있다.Facial flush recognition system according to an embodiment for achieving the above object, an image acquisition unit for acquiring an image of the face; a face region extraction unit for extracting a face region from the image acquired by the image acquisition unit; an eye region extractor configured to extract an eye region based on the face region extracted by the face region extractor; a first cheek region extractor configured to extract a cheek region based on the eye region extracted by the eye region extractor; a second cheek region extraction unit for extracting a cheek region based on the face region extracted by the face region extraction unit; and a facial flushing analysis unit configured to analyze whether or not the face is flushed from the cheek area extracted by the first cheek area extraction unit or the second cheek area extraction unit.

일 측에 의하면, 상기 제1 볼 영역 추출부는, 상기 눈 영역의 너비와 동일한 너비 및 상기 눈 영역의 하단으로부터 상기 얼굴 영역의 1/8 높이로 이루어진 영역을 볼 영역으로 추출할 수 있다.According to one side, the first cheek area extractor may extract, as a cheek area, an area having the same width as the eye area and 1/8 height of the face area from the lower end of the eye area.

일 측에 의하면, 상기 제2 볼 영역 추출부는, 상기 얼굴 영역의 중심으로부터 너비 방향으로 1/8 내지 3/8인 너비 및 상기 얼굴 영역의 1/2 높이로부터 상기 얼굴 영역의 1/8 높이로 이루어진 영역과 상기 얼굴 영역의 중심으로부터 너비 방향으로 5/8 내지 7/8인 너비 및 상기 얼굴 영역의 1/2 높이로부터 상기 얼굴 영역의 1/8 높이로 이루어진 영역을 볼 영역으로 추출할 수 있다.According to one side, the second cheek region extractor may be configured to have a width of 1/8 to 3/8 from the center of the face region in a width direction and a height of 1/2 of the face region to a height of 1/8 of the face region. A region consisting of a region formed by a width of 5/8 to 7/8 in a width direction from the center of the face region and a height of 1/8 of the face region from a height of 1/2 of the face region may be extracted as a cheek region. .

일 측에 의하면, 상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 참조 영역을 추출하는 참조 영역 추출부를 더 포함할 수 있다.According to one side, a reference region extractor for extracting a reference region based on the face region extracted by the face region extractor may be further included.

일 측에 의하면, 상기 안면 홍조 분석부는 상기 제1 볼 영역 추출부에서 추출된 볼 영역과 상기 참조 영역 추출부에서 추출된 참조 영역의 픽셀 정보 또는 상기 제2 볼 영역 추출부에서 추출된 볼 영역과 상기 참조 영역 추출부에서 추출된 참조 영역의 픽셀 정보를 기반으로 안면 홍조 여부를 분석할 수 있다.According to one side, the hot flush analyzer includes pixel information of the cheek area extracted by the first cheek area extraction unit and the reference area extracted by the reference area extraction unit, or the cheek area extracted by the second cheek area extraction unit. Based on the pixel information of the reference region extracted by the reference region extractor, it is possible to analyze whether or not there is facial flushing.

일 실시예에 따른 안면 홍조 인식 시스템 및 방법에 의하면, RGB 영상을 이용하여 안면 홍조를 인식하여, 다양한 상황 또는 다양한 기기에서 간편하게 실시할 수 있고, 대상의 정서적 변화를 인지하는 데 활용할 수 있다.According to the system and method for recognizing hot flashes according to an embodiment, by recognizing hot flashes using RGB images, it can be conveniently performed in various situations or in various devices, and can be used to recognize emotional changes of a subject.

일 실시예에 따른 안면 홍조 인식 시스템 및 방법에 의하면, RGB 영상을 통하여 인물 영상을 획득하고, 획득된 영상에서 얼굴 영역, 눈 영역, 참조 영역을 검출하고, 얼굴 영역과 눈 영역을 이용하여 볼 영역을 계산하며, 상기 계산된 볼 영역과 참조 영역을 비교하여 안면 홍조 여부를 판단할 수 있다.According to the facial flush recognition system and method according to an embodiment, a person image is acquired through an RGB image, a face region, an eye region, and a reference region are detected from the obtained image, and a cheek region is obtained using the face region and the eye region. , and by comparing the calculated cheek area with the reference area, it is possible to determine whether the face flushes.

일 실시예에 따른 안면 홍조 인식 시스템 및 방법에 의하면, 눈 영역 또는 얼굴 영역에 기반하여 볼 영역을 추출하여 안면 홍조를 분석할 수 있다.According to the system and method for recognizing hot flashes according to an embodiment, it is possible to analyze hot flashes by extracting a cheek area based on an eye area or a face area.

도 1은 일 실시예에 따른 안면 홍조 인식 시스템의 구성을 도시한다.
도 2는 제1 볼 영역 추출부에서 볼 영역을 추출하는 모습을 도시한다.
도 3은 제2 볼 영역 추출부에서 볼 영역을 추출하는 모습을 도시한다.
도 4는 제1 볼 영역 추출부에서 볼 영역 추출 예시를 도시한다.
도 5는 제2 볼 영역 추출부에서 볼 영역 추출 예시를 도시한다.
도 6은 참조 영역 추출부에서 참조 영역을 추출하는 모습을 도시한다.
도 7은 일 실시예에 따른 안면 홍조 인식 방법을 나타내는 순서도이다.1 shows the configuration of a hot flush recognition system according to an embodiment.
FIG. 2 shows a state in which the ball area is extracted by the first ball area extractor.
3 shows a state in which the ball area is extracted by the second ball area extraction unit.
4 illustrates an example of extracting the cheek area by the first cheek area extracting unit.
5 shows an example of extracting the cheek area by the second cheek area extracting unit.
6 illustrates a state in which the reference region extractor extracts the reference region.
7 is a flowchart illustrating a method for recognizing a hot flush according to an exemplary embodiment.

이하, 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, embodiments will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in the description of the embodiment, if it is determined that a detailed description of a related known configuration or function interferes with the understanding of the embodiment, the detailed description thereof will be omitted.

또한, 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the embodiment, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the elements from other elements, and the essence, order, or order of the elements are not limited by the terms. When it is described that a component is “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but between each component another component It will be understood that may also be "connected", "coupled" or "connected".

어느 하나의 실시예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시예에 기재한 설명은 다른 실시예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.Components included in one embodiment and components having a common function will be described using the same names in other embodiments. Unless otherwise stated, descriptions described in one embodiment may be applied to other embodiments as well, and detailed descriptions within the overlapping range will be omitted.

도 1은 일 실시예에 따른 안면 홍조 인식 시스템의 구성을 도시하고, 도 2는 제1 볼 영역 추출부에서 볼 영역을 추출하는 모습을 도시하고, 도 3은 제2 볼 영역 추출부에서 볼 영역을 추출하는 모습을 도시하고, 도 4는 제1 볼 영역 추출부에서 볼 영역 추출 예시를 도시하고, 도 5는 제2 볼 영역 추출부에서 볼 영역 추출 예시를 도시하고, 도 6은 참조 영역 추출부에서 참조 영역을 추출하는 모습을 도시한다.Fig. 1 shows the configuration of a facial flush recognition system according to an embodiment, Fig. 2 shows a state in which a cheek region is extracted by a first cheek region extractor, and Fig. 3 shows a cheek region from a second cheek region extractor Fig. 4 shows an example of extraction of the cheek area by the first cheek area extraction unit, Fig. 5 illustrates an example of extraction of the cheek area by the second cheek area extraction unit, and Fig. 6 is a reference area extraction A state in which the reference region is extracted from the part is shown.

도 1을 참조하여, 일 실시예에 따른 안면 홍조 인식 시스템(10)은 영상 획득부(100), 얼굴 영역 추출부(200), 눈 영역 추출부(300), 제1 볼 영역 추출부(400), 제2 볼 영역 추출부(500), 참조 영역 추출부(600) 및 안면 홍조 분석부(700)를 포함할 수 있다.Referring to FIG. 1 , the facial flush recognition system 10 according to an embodiment includes an image acquisition unit 100 , a face region extraction unit 200 , an eye region extraction unit 300 , and a first cheek region extraction unit 400 . ), a second cheek region extractor 500 , a reference region extractor 600 , and a hot flush analyzer 700 .

상기 영상 획득부(100)는 안면에 대한 영상을 획득할 수 있다.The image acquisition unit 100 may acquire an image of the face.

이때, 안면에 대한 영상은 RGB 영상으로 될 수 있다.In this case, the image of the face may be an RGB image.

또한, 영상 획득부(100)는 RGB 카메라에서 획득된 영상 또는 데이터베이스에 저장된 영상 등을 활용할 수 있다.Also, the image acquisition unit 100 may utilize an image acquired from an RGB camera or an image stored in a database.

상기 얼굴 영역 추출부(200)는 영상 획득부(100)에서 획득된 영상으로부터 얼굴 영역을 추출할 수 있다.The face region extractor 200 may extract a face region from the image acquired by the image acquirer 100 .

예를 들어, 얼굴 영역 추출부(200)는 CNN, DeepFace, PCA, FDA, ICA, Haar-Cascade 등의 다양한 알고리즘을 활용하여, 안면에 대한 영상으로부터 얼굴 영역을 추출할 수 있다. 그러나, 안면에 대한 영상으로부터 얼굴 영역을 추출하는 방법은 이에 국한되지 아니하며, 영상으로부터 특정 영역을 추출할 수 있다면 어느 것이든지 가능하다.For example, the face region extractor 200 may extract a face region from an image of the face by utilizing various algorithms such as CNN, DeepFace, PCA, FDA, ICA, Haar-Cascade, and the like. However, the method of extracting the face region from the image of the face is not limited thereto, and any method may be used as long as a specific region can be extracted from the image.

상기 눈 영역 추출부(300)는 얼굴 영역 추출부(200)에서 추출된 얼굴 영역에 기반하여 눈 영역을 추출할 수 있다.The eye region extractor 300 may extract an eye region based on the face region extracted by the face region extractor 200 .

예를 들어, 눈 영역 추출부(300)는 CNN, DeepFace, PCA, FDA, ICA, Haar-Cascade 등의 다양한 알고리즘을 활용하여, 얼굴 영역 추출부(200)에서 추출된 얼굴 영역에 기반하여 눈 영역을 추출할 수 있다. 그러나, 얼굴 영역으로부터 눈 영역을 추출하는 방법은 이에 국한되지 아니하며, 얼굴 영역으로부터 특정 영역을 추출할 수 있다면 어느 것이든지 가능하다.For example, the eye region extractor 300 utilizes various algorithms such as CNN, DeepFace, PCA, FDA, ICA, Haar-Cascade, etc. can be extracted. However, the method of extracting the eye region from the face region is not limited thereto, and any method may be used as long as a specific region can be extracted from the face region.

또한, 제1 볼 영역 추출부(400)는 홍조 인식을 위한 대상으로 얼굴 영역 추출부(200)에서 추출된 얼굴 영역 내에서 볼 영역을 추출할 수 있다.Also, the first cheek region extractor 400 may extract a cheek region from the face region extracted by the face region extractor 200 as a target for redness recognition.

특히, 제1 볼 영역 추출부(400)는 눈 영역 추출부(300)에서 추출된 눈 영역에 기반하여 볼 영역을 추출할 수 있다.In particular, the first cheek region extractor 400 may extract the cheek region based on the eye region extracted by the eye region extractor 300 .

구체적으로, 도 2를 참조하여, 제1 볼 영역 추출부(400)는 눈 영역(B)의 너비와 동일한 너비 및 눈 영역(B)의 하단으로부터 얼굴 영역(A)의 1/8 높이로 이루어진 영역을 볼 영역(C)으로 추출할 수 있다.Specifically, referring to FIG. 2 , the first cheek area extractor 400 has a width equal to the width of the eye area B and 1/8 the height of the face area A from the lower end of the eye area B. A region can be extracted as a ball region (C).

이때, 너비는 X축 방향의 길이이고, 높이는 Y축 방향의 길이이다.In this case, the width is the length in the X-axis direction, and the height is the length in the Y-axis direction.

한편, 제2 볼 영역 추출부(500) 또한 얼굴 영역 추출부(200)에서 추출된 얼굴 영역 내에서 볼 영역을 추출할 수 있다.Meanwhile, the second cheek region extractor 500 may also extract a cheek region from the face region extracted by the face region extractor 200 .

다만, 제1 볼 영역 추출부(400)와 달리 제2 볼 영역 추출부(500)는 눈 영역 추출부(300)에서 추출된 눈 영역에 기반하지 않고, 얼굴 영역 추출부(200)에서 추출된 얼굴 영역에 기반하여 볼 영역을 추출할 수 있다.However, unlike the first cheek region extraction unit 400 , the second cheek region extraction unit 500 is not based on the eye region extracted by the eye region extraction unit 300 , but is extracted by the face region extraction unit 200 . A cheek area may be extracted based on the face area.

구체적으로, 도 3을 참조하여, 제2 볼 영역 추출부(500)는 얼굴 영역(A)의 중심으로부터 너비 방향으로 1/8 내지 3/8인 너비 및 얼굴 영역(A)의 1/2 높이로부터 얼굴 영역(A)의 1/8 높이로 이루어진 영역과 얼굴 영역(A)의 중심으로부터 너비 방향으로 5/8 내지 7/8인 너비 및 얼굴 영역(A)의 1/2 높이로부터 얼굴 영역(A)의 1/8 높이로 이루어진 영역을 볼 영역(C)으로 추출할 수 있다.Specifically, referring to FIG. 3 , the second cheek area extractor 500 has a width of 1/8 to 3/8 in the width direction from the center of the face area A and 1/2 the height of the face area A. From the area consisting of 1/8 the height of the face area (A) and the face area ( The area consisting of 1/8 the height of A) can be extracted as the ball area (C).

전술된 바와 같이 제1 볼 영역 추출부(400) 및 제2 볼 영역 추출부(500)에 의해서 눈 영역 및 얼굴 영역에 기반하여 선택적으로 볼 영역을 추출할 수 있고, 볼 영역은 눈 영역 정보 또는 얼굴 영역 정보를 참조하여 기하학적으로 계산될 수 있다.As described above, the cheek region may be selectively extracted based on the eye region and the face region by the first cheek region extractor 400 and the second cheek region extractor 500, and the cheek region may contain information on the eye region or It may be geometrically calculated with reference to face region information.

한편, 참조 영역 추출부(600)는 얼굴 영역 추출부(300)에서 추출된 얼굴 영역에 기반하여 참조 영역을 추출할 수 있다.Meanwhile, the reference region extractor 600 may extract a reference region based on the face region extracted by the face region extractor 300 .

이때, 참조 영역 추출부(600)는 분석의 기준을 제시하기 위한 부분으로 개인의 특징을 반영하기 위해 얼굴 영역 추출부(200)에서 인식된 얼굴 영역 내에서 특정 영역을 지정할 수 있다. 예를 들어, 참조 영역은 얼굴 전체 영역, 눈-코-입 영역, 이마 영역, 코 영역 등으로 지정하여 활용할 수 있다.In this case, the reference region extractor 600 may designate a specific region within the face region recognized by the face region extractor 200 to reflect individual characteristics as a part for presenting analysis criteria. For example, the reference region may be used by designating the entire face region, the eye-nose-mouth region, the forehead region, the nose region, and the like.

구체적으로, 도 4를 참조하여, 참조 영역 추출부(600)는 얼굴 영역 추출부(300)에서 추출된 얼굴 영역(A)의 중심으로부터 6/8 너비 및 6/8 높이로 이루어진 영역을 참조 영역(D)으로 추출할 수 있다. 이에 의해서 참조 영역(D)은 얼굴 영역(A)의 대략 56.25%를 차지할 수 있다.Specifically, with reference to FIG. 4 , the reference region extractor 600 identifies an area having a width of 6/8 and a height of 6/8 from the center of the face region A extracted by the face region extracting unit 300 as a reference region. (D) can be extracted. Accordingly, the reference area D may occupy approximately 56.25% of the face area A.

한편, 안면 홍조 분석부(700)는 제1 볼 영역 추출부(400) 또는 제2 볼 영역 추출부(500)에서 추출된 볼 영역으로부터 안면 홍조 여부를 분석할 수 있다.On the other hand, the hot flush analyzer 700 may analyze whether the face flushes from the cheek area extracted by the first cheek area extraction unit 400 or the second cheek area extraction unit 500 .

구체적으로, 안면 홍조 분석부(700)는 제1 볼 영역 추출부(400)에서 추출된 볼 영역과 참조 영역 추출부(600)에서 추출된 참조 영역의 픽셀 정보 또는 제2 볼 영역 추출부(500)에서 추출된 볼 영역과 참조 영역 추출부(600)에서 추출된 참조 영역의 픽셀 정보를 기반으로 안면 홍조 여부를 분석할 수 있다.Specifically, the hot flush analysis unit 700 may include pixel information of the cheek area extracted by the first cheek area extraction unit 400 and the reference area extracted by the reference area extraction unit 600 or the second cheek area extraction unit 500 . ) may be analyzed based on pixel information of the cheek area extracted from the reference area extraction unit 600 and the reference area extracted from the reference area extractor 600 .

특히, 도 5를 참조하여, 제1 볼 영역 추출부(400)에서 눈 영역(B)에 기반하여 볼 영역(C)을 추출하는 경우, 안면 홍조 분석부(700)는 볼 영역(C)의 픽셀 정보와 참조 영역(D)의 픽셀 정보를 기반으로, 채도(HSV 색공간의 S정보) 값의 차이 정보, 붉은색차(Lab 색공간의 a정보)와 푸른색차(Lab 색공간의 b정보) 값의 차이 정보 등을 활용하여 종합적으로 홍조 여부를 판단할 수 있다.In particular, referring to FIG. 5 , when the first cheek region extractor 400 extracts the cheek region C based on the eye region B, the hot flush analyzer 700 determines the Based on the pixel information and the pixel information of the reference area (D), the difference information of the chroma (S information in the HSV color space) value, the red difference (a information in the Lab color space), and the blue difference (the b information in the Lab color space) By using information on the difference in values, it is possible to comprehensively determine whether or not there is redness.

또한, 도 6을 참조하여, 제2 볼 영역 추출부(500)에서 얼굴 영역(A)에 기반하여 볼 영역(C)을 추출하는 경우, 안면 홍조 분석부(700)는 볼 영역(C)의 픽셀 정보와 참조 영역(D)의 픽셀 정보를 기반으로, 채도(HSV 색공간의 S정보) 값의 차이 정보, 붉은색차(Lab 색공간의 a정보)와 푸른색차(Lab 색공간의 b정보) 값의 차이 정보 등을 활용하여 종합적으로 홍조 여부를 판단할 수 있다.In addition, referring to FIG. 6 , when the second cheek area extracting unit 500 extracts the cheek area C based on the face area A, the hot flush analyzer 700 determines the Based on the pixel information and the pixel information of the reference area (D), the difference information of the chroma (S information in the HSV color space) value, the red difference (a information in the Lab color space), and the blue difference (the b information in the Lab color space) By using information on the difference in values, it is possible to comprehensively determine whether or not there is redness.

이상 일 실시예에 따른 안면 홍조 인식 시스템에 대하여 설명되었으며, 이하에서 일 실시예에 따른 안면 홍조 인식 방법에 대하여 설명된다.The hot flush recognition system according to an embodiment has been described above, and a hot flush recognition method according to an embodiment will be described below.

도 7은 일 실시예에 따른 안면 홍조 인식 방법을 나타내는 순서도이다.7 is a flowchart illustrating a method for recognizing a hot flush according to an embodiment.

도 7을 참조하여, 일 실시예에 따른 안면 홍조 인식 방법은 다음과 같이 수행될 수 있다.Referring to FIG. 7 , the facial flush recognition method according to an embodiment may be performed as follows.

우선, 안면에 대한 영상을 획득한다(S10).First, an image of the face is acquired (S10).

이때, 안면에 대한 영상은 RGB 카메라에서 획득된 영상이거나 데이터베이스 내에 저장된 영상으로 될 수 있다.In this case, the image of the face may be an image obtained from an RGB camera or an image stored in a database.

그런 다음, 안면에 대한 영상으로부터 얼굴 영역을 검출한다(S20).Then, a face region is detected from the image of the face (S20).

이때, CNN, DeepFace, PCA, FDA, ICA, Haar-Cascade 등의 다양한 알고리즘을 활용하여, 안면에 대한 영상으로부터 얼굴 영역을 검출할 수 있다.In this case, various algorithms such as CNN, DeepFace, PCA, FDA, ICA, and Haar-Cascade may be used to detect a face region from an image of the face.

이어서, 얼굴 영역으로부터 눈 영역을 검출하고(S30), 얼굴 영역으로부터 참조 영역을 검출한다(S40).Next, an eye region is detected from the face region (S30), and a reference region is detected from the face region (S40).

구체적으로, CNN, DeepFace, PCA, FDA, ICA, Haar-Cascade 등의 다양한 알고리즘을 활용하여 얼굴 영역으로부터 눈 영역을 검출하고, 얼굴 영역 내에서 특정 영역을 지정하여 얼굴 영역으로부터 참조 영역을 검출할 수 있다.Specifically, using various algorithms such as CNN, DeepFace, PCA, FDA, ICA, Haar-Cascade, etc. to detect the eye region from the face region, and specify a specific region within the face region to detect the reference region from the face region. have.

또한, 눈 영역에 기반하여 볼 영역을 검출하거나(S50) 얼굴 영역에 기반하여 볼 영역을 검출한다(S60).Also, a cheek area is detected based on the eye area (S50) or a cheek area is detected based on the face area (S60).

구체적으로, 볼 영역은 눈 영역에 기반하여, 눈 영역의 너비와 동일한 너비 및 눈 영역의 하단으로부터 얼굴 영역의 1/8 높이로 이루어진 영역을 볼 영역으로 검출할 수 있다. 또는, 볼 영역은 얼굴 영역에 기반하여, 얼굴 영역의 중심으로부터 너비 방향으로 1/8 내지 3/8인 너비 및 얼굴 영역의 1/2 높이로부터 얼굴 영역의 1/8 높이로 이루어진 영역과 얼굴 영역의 중심으로부터 너비 방향으로 5/8 내지 7/8인 너비 및 얼굴 영역의 1/2 높이로부터 얼굴 영역의 1/8 높이로 이루어진 영역을 볼 영역으로 검출할 수 있다.In detail, the cheek area may be detected as a cheek area with a width equal to the eye area and 1/8 height of the face area from the lower end of the eye area, based on the eye area. Alternatively, the cheek area is based on the face area, and includes a face area with a width of 1/8 to 3/8 from the center of the face area and 1/8 height of the face area from 1/2 the height of the face area. A region consisting of a width of 5/8 to 7/8 in the width direction from the center of , and a height of 1/8 of the face region from a height of 1/2 of the face region may be detected as the cheek region.

마지막으로, 볼 영역과 참조 영역을 비교하여 안면 홍조를 분석한다(S60)Finally, the facial flushing is analyzed by comparing the cheek area and the reference area (S60)

구체적으로, 눈 영역에 기반하여 검출된 볼 영역과 참조 영역을 비교하여 안면 홍조를 분석하거나, 얼굴 영역에 기반하여 검출된 볼 영역과 참조 영역을 비교하여 안면 홍조를 분석할 수 있다.Specifically, the facial flush may be analyzed by comparing the cheek area and the reference area detected based on the eye area, or the facial flush may be analyzed by comparing the cheek area and the reference area detected based on the face area.

이와 같이 일 실시예에 따른 안면 홍조 분석 시스템 및 방법은 RGB 영상을 통하여 인물 영상을 획득하고, 획득된 영상에서 얼굴 영역, 눈 영역, 참조 영역을 검출하고, 얼굴 영역과 눈 영역을 이용하여 볼 영역을 계산하며, 상기 계산된 볼 영역과 참조 영역을 비교하여 안면 홍조 여부를 판단할 수 있다. 특히 RGB 영상을 이용하여 안면 홍조를 인식하여, 다양한 상황 또는 다양한 기기에서 간편하게 실시할 수 있고, 대상의 정서적 변화를 인지하는 데 활용할 수 있다.As such, the hot flush analysis system and method according to an embodiment acquires a person image through an RGB image, detects a face region, an eye region, and a reference region from the obtained image, and uses the face region and the eye region to obtain a cheek region , and comparing the calculated cheek area with the reference area, it is possible to determine whether the face flushes. In particular, by recognizing facial flushing using RGB images, it can be conveniently performed in various situations or various devices, and can be used to recognize emotional changes of the subject.

이상과 같이 본 발명의 실시예에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위뿐 아니라 이 청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. As described above, the embodiment of the present invention has been described with specific matters such as specific components and limited embodiments and drawings, but these are only provided to help a more general understanding of the present invention, and the present invention is limited to the above embodiments Various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be limited to the described embodiments, and not only the claims to be described below, but also all those with equivalent or equivalent modifications to the claims will fall within the scope of the spirit of the present invention.

10: 안면 홍조 인식 시스템
100: 영상 획득부
200: 얼굴 영역 추출부
300: 눈 영역 추출부
400: 제1 볼 영역 추출부
500: 제2 볼 영역 추출부
600: 참조 영역 추출부
700: 안면 홍조 분석부10: hot flush recognition system
100: image acquisition unit
200: face region extraction unit
300: eye region extraction unit
400: first ball area extraction unit
500: second ball area extraction unit
600: reference region extraction unit
700: hot flush analysis unit

Claims (5)

안면에 대한 영상을 획득하는 영상 획득부;
상기 영상 획득부에서 획득된 영상으로부터 얼굴 영역을 추출하는 얼굴 영역 추출부;
상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 눈 영역을 추출하는 눈 영역 추출부;
상기 눈 영역 추출부에서 추출된 눈 영역에 기반하여 볼 영역을 추출하는 제1 볼 영역 추출부;
상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 볼 영역을 추출하는 제2 볼 영역 추출부;
상기 제1 볼 영역 추출부 또는 상기 제2 볼 영역 추출부에서 추출된 볼 영역으로부터 안면 홍조 여부를 분석하는 안면 홍조 분석부; 및
상기 얼굴 영역 추출부에서 추출된 얼굴 영역에 기반하여 참조 영역을 추출하는 참조 영역 추출부
를 포함하고,
상기 제1 볼 영역 추출부는,
상기 눈 영역의 너비와 동일한 너비 및 상기 눈 영역의 하단으로부터 상기 얼굴 영역의 1/8 높이로 이루어진 영역을 볼 영역으로 추출하고,
상기 제2 볼 영역 추출부는,
상기 얼굴 영역의 중심으로부터 너비 방향으로 1/8 내지 3/8인 너비 및 상기 얼굴 영역의 1/2 높이로부터 상기 얼굴 영역의 1/8 높이로 이루어진 영역과 상기 얼굴 영역의 중심으로부터 너비 방향으로 5/8 내지 7/8인 너비 및 상기 얼굴 영역의 1/2 높이로부터 상기 얼굴 영역의 1/8 높이로 이루어진 영역을 볼 영역으로 추출하고,
상기 참조 영역 추출부는,
상기 얼굴 영역의 중심으로부터 6/8 너비 및 6/8 높이로 이루어진 영역을 참조 영역으로 추출하고,
상기 안면 홍조 분석부는 상기 제1 볼 영역 추출부에서 추출된 볼 영역과 상기 참조 영역 추출부에서 추출된 참조 영역의 픽셀 정보 또는 상기 제2 볼 영역 추출부에서 추출된 볼 영역과 상기 참조 영역 추출부에서 추출된 참조 영역의 픽셀 정보를 기반으로 안면 홍조 여부를 분석하는, 안면 홍조 인식 시스템.an image acquisition unit for acquiring an image of the face;
a face region extraction unit for extracting a face region from the image acquired by the image acquisition unit;
an eye region extractor configured to extract an eye region based on the face region extracted by the face region extractor;
a first cheek region extractor configured to extract a cheek region based on the eye region extracted by the eye region extractor;
a second cheek region extraction unit for extracting a cheek region based on the face region extracted by the face region extraction unit;
a hot flush analyzer for analyzing whether or not there is a hot flush from the cheek area extracted by the first cheek area extraction unit or the second cheek area extraction unit; and
A reference region extraction unit for extracting a reference region based on the face region extracted by the face region extraction unit
including,
The first ball area extraction unit,
Extracting an area consisting of a width equal to the width of the eye area and 1/8 height of the face area from the lower end of the eye area as a cheek area,
The second ball area extraction unit,
A region consisting of a width of 1/8 to 3/8 from the center of the face region in a width direction and a height of 1/8 of the height of the face region from a height of 1/2 of the face region, and 5 in the width direction from the center of the face region Extracting an area consisting of a width of /8 to 7/8 and a height of 1/8 of the face area from a height of 1/2 of the face area as a cheek area,
The reference region extraction unit,
Extracting a region consisting of a width of 6/8 and a height of 6/8 from the center of the face region as a reference region,
The redness analysis unit includes pixel information of the cheek area extracted by the first cheek area extraction unit and the reference area extracted by the reference area extraction unit, or the cheek area and the reference area extraction unit extracted by the second cheek area extraction unit A hot flush recognition system that analyzes whether or not there is a hot flush based on the pixel information of the reference area extracted from 삭제delete 삭제delete 삭제delete 삭제delete
KR1020170174281A 2017-12-18 2017-12-18 System and method for hot flush recognition KR102419340B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170174281A KR102419340B1 (en) 2017-12-18 2017-12-18 System and method for hot flush recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170174281A KR102419340B1 (en) 2017-12-18 2017-12-18 System and method for hot flush recognition

Publications (2)

Publication Number Publication Date
KR20190073034A KR20190073034A (en) 2019-06-26
KR102419340B1 true KR102419340B1 (en) 2022-07-15

Family

ID=67105146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170174281A KR102419340B1 (en) 2017-12-18 2017-12-18 System and method for hot flush recognition

Country Status (1)

Country Link
KR (1) KR102419340B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000279228A (en) * 1999-03-29 2000-10-10 Shiseido Co Ltd Rouge makeup simulation system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150072463A (en) * 2013-12-11 2015-06-30 한국 한의학 연구원 Health state determining method and health state determining apparatus using image of face
KR102214918B1 (en) 2014-10-21 2021-02-10 삼성전자주식회사 Method and apparatus for face recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000279228A (en) * 1999-03-29 2000-10-10 Shiseido Co Ltd Rouge makeup simulation system

Also Published As

Publication number Publication date
KR20190073034A (en) 2019-06-26

Similar Documents

Publication Publication Date Title
JP6268960B2 (en) Image recognition apparatus and data registration method for image recognition apparatus
Marciniak et al. Influence of low resolution of images on reliability of face detection and recognition
US9036917B2 (en) Image recognition based on patterns of local regions
Dhavalikar et al. Face detection and facial expression recognition system
EP2357589A2 (en) Image recognition apparatus and method
EP2955666A1 (en) Image recognition device and method for registering feature data in image recognition device
EP3324618A1 (en) Moving object tracking device, display device and moving object tracking method
US20140241593A1 (en) Authentication apparatus, authentication method, and non-transitory computer readable medium
JP6700791B2 (en) Information processing apparatus, information processing method, and program
EP2908267B1 (en) Image processing device and image processing method
CN111373408B (en) Expression recognition device
US10441198B2 (en) Face detection device, face detection system, and face detection method
KR19990016896A (en) Eye region detection method in face image
US10127428B2 (en) Fingerprint identification method and fingerprint identification device
EP3249576A1 (en) Biometric information processing device, biometric information processing method and biometric information processing program
JP6157165B2 (en) Gaze detection device and imaging device
KR19990034361A (en) Object Extraction Method Using Video
US11315360B2 (en) Live facial recognition system and method
KR20160009972A (en) Iris recognition apparatus for detecting false face image
JP3577908B2 (en) Face image recognition system
KR102419340B1 (en) System and method for hot flush recognition
Srinivas et al. Human identification using automatic and semi‐automatically detected facial Marks
US20120257799A1 (en) Image recognition apparatus, image recognition method, and program
Supriyanti et al. Detecting pupil and iris under uncontrolled illumination using fixed-Hough circle transform
KR102518061B1 (en) Method and apparatus for checking whether mask is worn through facial contour estimation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant