KR101389015B1 - Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus - Google Patents

Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus Download PDF

Info

Publication number
KR101389015B1
KR101389015B1 KR1020120065715A KR20120065715A KR101389015B1 KR 101389015 B1 KR101389015 B1 KR 101389015B1 KR 1020120065715 A KR1020120065715 A KR 1020120065715A KR 20120065715 A KR20120065715 A KR 20120065715A KR 101389015 B1 KR101389015 B1 KR 101389015B1
Authority
KR
South Korea
Prior art keywords
frequency
eeg
visual
signal
visual stimulus
Prior art date
Application number
KR1020120065715A
Other languages
Korean (ko)
Other versions
KR20130142476A (en
Inventor
박광석
장민혜
이승민
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020120065715A priority Critical patent/KR101389015B1/en
Publication of KR20130142476A publication Critical patent/KR20130142476A/en
Application granted granted Critical
Publication of KR101389015B1 publication Critical patent/KR101389015B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/0613Apparatus adapted for a specific treatment
    • A61N5/0622Optical stimulation for exciting neural tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N5/067Radiation therapy using light using laser light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/0635Radiation therapy using light characterised by the body area to be irradiated
    • A61N2005/0643Applicators, probes irradiating specific body areas in close proximity
    • A61N2005/0645Applicators worn by the patient
    • A61N2005/0647Applicators worn by the patient the applicator adapted to be worn on the head
    • A61N2005/0648Applicators worn by the patient the applicator adapted to be worn on the head the light being directed to the eyes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N5/00Radiation therapy
    • A61N5/06Radiation therapy using light
    • A61N2005/065Light sources therefor
    • A61N2005/0651Diodes
    • A61N2005/0653Organic light emitting diodes

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Neurosurgery (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 발명은, 시각적 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용하여 BCI(Brin Computer Interface) 시스템을 구축하기 위한 안정상태 시각유발전위 발생장치(steady-state visual evoked potential, SSVEP) 및 이를 이용한 뇌파분석방법에 관한 것으로, 본 발명에 따르면, 기존의 안정상태 시각유발전위(SSVEP) 기반 뇌-컴퓨터 인터페이스(BCI)는 시각적 자극을 주기 위하여 7 ~ 20Hz의 저주파 영역자극을 이용하므로 사용자가 쉽게 피로감을 느끼고, 광과민성 사용자에게 발작을 유발시킬 수 있었던 문제점을 해결하기 위해, 30Hz 이상의 고주파로 진폭 변조된 시각적 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용함으로써, 사용자의 피로도를 줄이고 최종 판단을 내릴 때 두 개 이상의 주파수에서 발생하는 피크를 사용하여 좀 더 안정된 BCI 시스템을 구축할 수 있는 진폭 변조된 시각 자극을 이용한 안정상태 시각유발전위 발생장치 및 이를 이용한 뇌파분석방법이 제공된다. The present invention provides a steady-state visual evoked potential (SSVEP) for analyzing brain waves generated using visual stimuli and applying them to a brain-computer interface to build a BCI (Brin Computer Interface) system. According to the present invention, according to the present invention, the conventional steady-state visual genetic development (SSVEP) -based brain-computer interface (BCI) uses a low frequency region stimulation of 7 ~ 20Hz to give a visual stimulus, To solve the problem that could easily cause fatigue and seizure in the photosensitive user, by analyzing the EEG generated by using high frequency amplitude modulated visual stimulus of 30Hz or higher and applying it to the brain-computer interface, When making final judgments, use peaks from more than one frequency to get more Provided are a steady state visual genetic potential generator using an amplitude modulated visual stimulus capable of constructing a stable BCI system, and an EEG analysis method using the same.

Description

진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템{Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus} Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus

본 발명은 안정상태 시각유발전위(steady-state visual evoked potential, 이하, SSVEP라 함) 발생장치 및 이를 이용한 뇌파 분석방법에 관한 것으로, 더 상세하게는, 기존의 안정상태 시각유발전위 발생장치에서 사용되는 단일 주파수를 가지는 사인파 형식의 시각자극을 벗어나, 진폭변조(Amplitude-modulation)된 시각자극을 통하여 뇌파측정을 수행함으로써, 기존의 방법에 비하여 피험자의 눈의 피로를 줄여주고 최종 판단에 사용될 특징의 개수가 증가하여 높은 정확도를 나타낼 수 있는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템에 관한 것이다.
The present invention relates to a steady-state visual evoked potential (SSVEP) generating apparatus and an EEG analysis method using the same, and more particularly, to use in the existing steady-state visual evoked potential generating apparatus By performing EEG measurement through amplitude-modulated visual stimulus, it is possible to reduce the eye fatigue of the subject and to use the final judgment. The present invention relates to an EEG analysis system using amplitude modulated steady-state visual genetic potential visual stimulation that can increase in number and exhibit high accuracy.

종래, 뇌-컴퓨터 인터페이스(Brin Computer Interface, 이하, BCI라 함), 인지신경과학 분야, 알츠하이머 병이나 치매와 같은 신경변성 질환의 연구 및 진단, 안과 병리학 분야, 자폐증 환자의 연구 및 진단, 광과민성 발작의 연구 등에 있어서, 일반적으로, 안정상태 시각유발전위(SSVEP)를 기반으로 한 뇌-컴퓨터 인터페이스(BCI) 방식이 다른 방식에 비해 비교적 적은 트레이닝 기간을 요구하면서도 높은 정확도를 보인다는 점에서 많이 이용되고 있다.
Conventionally, the brain computer interface (hereinafter referred to as BCI), the field of cognitive neuroscience, the research and diagnosis of neurodegenerative diseases such as Alzheimer's disease or dementia, the field of ophthalmic pathology, the research and diagnosis of autism patients, photosensitive seizures In general, the brain-computer interface (BCI) method based on the steady-state visual genetic development (SSVEP) method is widely used in that it requires a relatively short training period and high accuracy compared to other methods. have.

더 상세하게는, BCI란, 뇌전도(Electroencephalography, EEG)를 이용하여 사람과 컴퓨터 간의 통신을 가능하게 하는 기술로서, 최근에는 장애인을 대상으로 하는 재활의학이나, 일반인을 대상으로 하는 가상현실 또는 게임 등의 다양한 분야에서 활발한 연구들이 진행되고 있다.
More specifically, BCI is a technology that enables communication between a person and a computer using electroencephalography (EEG), and recently, rehabilitation medicine for the disabled, virtual reality or games for the general public, and the like. Active research is underway in various fields.

또한, SSVEP는, 눈을 통해 뇌의 후두엽(occipital Lobe)에 위치한 시각피질의 시각중추에 시각정보가 전달되면 그러한 외부의 시각적 자극에 대하여 그 시각적 자극과 동일한 주파수로 뇌의 후두엽 영역에서 발생되는 활동전위를 의미한다.
In addition, SSVEP is an activity that occurs in the occipital lobe of the brain at the same frequency as the visual stimulus to the external visual stimulus when visual information is transmitted through the eye to the visual center of the visual cortex located in the occipital lobe of the brain. It means potential.

아울러, 이러한 안정상태 시각유발전위(SSVEP)를 기반으로 뇌-컴퓨터 인터페이스(BCI)를 구축하는 방법에 대한 종래기술로는, 예를 들면, 한국 등록특허 제10-1030162호(2011.04.12. 등록)에 개시된 바와 같은"안정-상태 시각 유발전위를 이용한 집중력 테스트 방법과, 이를 이용한 집중력 테스트 장치 및 이를 이용한 집중력 트레이닝 방법"이 있다.
In addition, as a conventional technique for building a brain-computer interface (BCI) based on the steady state visual genetic development (SSVEP), for example, Korean Patent No. 10-1030162 (registered on April 12, 2011) There is a "concentration test method using a stable-state visual induced potential, a concentration test apparatus using the same and a concentration training method using the same" as disclosed in the).

더 상세하게는, 상기한 등록특허 제10-1030162호의 "안정-상태 시각 유발전위를 이용한 집중력 테스트 방법과, 이를 이용한 집중력 테스트 장치 및 이를 이용한 집중력 트레이닝 방법"은, 종래의 집중력을 측정하는 방법은 청각자극을 주었을 때 청각자극에 반응하는 사용자의 반응시간을 측정하여 이루어졌으므로, 청각자극을 수용할 수 있는 청각기능 및 자극에 반응하는 신체의 반응속도에 큰 영향을 받게 되어 정확한 집중력을 측정할 수 없었던 문제점을 해결하기 위해 안정-상태 시각 유발전위를 이용하여 집중력을 테스트하는 방법 및 이를 이용한 집중력 테스트 장치를 제공하고자 하는 것이다.
More specifically, the "concentration test method using the stable-state visual induced potential, the concentration test apparatus using the same and the concentration training method using the same" of the Patent No. 10-1030162 described above, the conventional method of measuring the concentration When the auditory stimulus was given to measure the response time of the user responding to the auditory stimulus, the hearing function that can accommodate the auditory stimulation and the response rate of the body in response to the stimulation can be greatly influenced to accurately measure the concentration In order to solve the problem that did not exist to provide a method for testing the concentration using the steady-state visual induced potential and the concentration test apparatus using the same.

이를 위해, 상기한 등록특허 제10-1030162호는, 점멸되지 않는 영상(映像)을 주시하는 사용자의 뇌파를 검출하는 제1 단계; 측정하고자 하는 진동수를 가지며 점멸되는 목표영상 또는 상기 목표영상과 다른 진동수를 가지며 점멸되는 적어도 하나의 방해영상을 주시하는 사용자의 뇌파신호를 측정시간대별로 검출하는 제2 단계; 상기 제1 단계와 제2 단계에서 검출된 뇌파신호를 진동수별 주파수 진폭의 값으로 변환시키는 제3 단계; 및 상기 제3 단계에서 변환된 뇌파신호를 저장하고, 상기 저장된 뇌파신호들을 상호 비교하여 집중력을 판단하는 제4 단계를 포함하여 이루어지는 것을 특징으로 하는 안정-상태 시각 유발전위를 이용한 집중력 테스트 방법을 제시하고 있다.
To this end, the registered Patent No. 10-1030162, the first step of detecting the brain waves of the user watching the image (영상) that is not flashing; A second step of detecting an EEG signal of a user who watches a target image having a frequency to be measured and blinks or at least one disturbed image having a frequency different from the target image and blinking; A third step of converting the EEG signals detected in the first step and the second step into values of frequency amplitude according to frequencies; And a fourth step of storing the EEG signal converted in the third step, and comparing the stored EEG signals with each other to determine the concentration force. Doing.

또한, 안정상태 시각유발전위(SSVEP)를 기반으로 뇌-컴퓨터 인터페이스(BCI)를 구축하는 방법에 대한 종래기술의 다른 예로서, 예를 들면, 한국 공개특허 제10-2012-0042252호(2012.05.03. 공개)에 개시된 바와 같은 "안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템"이 있다.
In addition, as another example of the prior art for the method of building a brain-computer interface (BCI) based on the steady-state visual genetic development (SSVEP), for example, Korean Patent Publication No. 10-2012-0042252 (2012.05. 03. Disclosure) is a functional electric stimulation rehabilitation system based on the steady-state visual oil generation committee.

더 상세하게는, 상기한 공개특허 제10-2012-0042252호의 "안정상태 시각유발전위 기반의 기능적 전기자극 재활훈련 시스템"은, 안정상태 시각유발전위(SSVEP)를 검출하여 기능적 전기자극기를 원격 제어함으로써 척수손상 환자들이 자신의 의지에 따라 능동적으로 재활훈련을 실시할 수 있도록 하는 SSVEP 기반의 기능적 전기자극 재활훈련 시스템에 관한 것이다.
More specifically, the "functional electric stimulation rehabilitation system based on the stable state visual oil level" of the above-described Patent Publication No. 10-2012-0042252, remotely control the functional electric stimulator by detecting the steady state visual oil level (SSVEP) The present invention relates to an SSVEP-based functional electrical stimulation rehabilitation system that enables patients with spinal cord injury to actively perform rehabilitation according to their will.

이를 위해, 상기한 공개특허 제10-2012-0042252호는, 관절 운동 또는 근육운동을 지시하는 다수의 표적신호를 디스플레이하는 표적신호 표시부; 뇌파 계측용 전극부를 구비하여, 피검자가 상기 다수의 표적신호 중 하나의 표적신호를 주시할때의 뇌파신호를 검출하고 검출된 뇌파신호를 증폭하는 뇌파 검출부; 상기 뇌파 검출부로부터 출력된 뇌파신호를 디지탈신호로 변환하여 수집하는 뇌파신호수집부; 상기 뇌파신호수집부로부터 출력된 뇌파신호를 수신하여, 주파수 분석을 통해, 상기 다수의 표적신호 중에서 피검자가 주시하고 있는 표적신호를 판별하고, 판별된 표적신호에 따라 관절 운동 또는 근육운동을 위한 자극제어 신호를 생성하는 주제어부; 관절 또는 근육에 장착된 기능적 전기자극기를 구비하여, 상기 주제어부로부터의 자극제어신호에 의해, 기능적 전기자극기를 구동하는 무선 전기자극부;를 포함하여 이루어진 것을 특징으로 하는 기능적 전기자극 재활훈련 시스템을 제시하고 있다.
To this end, the above-mentioned Patent Publication No. 10-2012-0042252, Target signal display unit for displaying a plurality of target signals indicating the joint movement or muscle movement; An electroencephalogram detection unit including an electroencephalogram measurement electrode unit to detect an EEG signal when the subject observes one of the plurality of target signals and amplify the detected EEG signal; An EEG signal collecting unit for converting and collecting EEG signals output from the EEG detection unit into digital signals; Receiving an EEG signal output from the EEG signal collection unit, and through the frequency analysis, to determine the target signal that the subject is watching from the plurality of target signals, according to the determined target signal for stimulation for joint or muscle movement A main controller for generating a control signal; A functional electric stimulation rehabilitation system comprising a; a functional electric stimulator mounted on a joint or muscle; and a wireless electric stimulator driving a functional electric stimulator by a stimulus control signal from the main control part. Suggesting.

상기한 바와 같이, 종래, SSVEP를 기반으로 BCI를 구현하는 여러 가지 방안이 제시되어 있으나, 이러한 종래의 SSVEP 기반 BCI는 다음과 같은 문제점들이 있는 것이었다.
As described above, various methods for implementing BCI based on SSVEP have been proposed. However, such conventional SSVEP based BCI has the following problems.

즉, 더 상세하게는, 상기한 바와 같은 종래의 SSVEP 기반 BCI는, 안정상태 시각유발전위에 대한 뇌파 분석시, 시각적 자극을 주기 위하여 일반적으로 SSVEP가 잘 측정되고 높은 정확도를 보이는 주파수 대역인 7Hz ~ 20Hz의 저주파 영역의 시각자극을 이용하고 있다.
That is, more specifically, the conventional SSVEP-based BCI as described above, in order to give a visual stimulus in the EEG analysis of the steady-state visual genetic potential, in general, the frequency band 7Hz ~ SSVEP is well measured and shows a high accuracy Visual stimulation in the low frequency region of 20 Hz is used.

더 상세하게는, 상기한 바와 같은 종래기술에 사용되는 기존의 SSVEP 발생장치는, 대부분 7Hz ~ 20Hz의 주파수로 깜빡이는 LED를 이용하여 시각자극을 발생시킨다.
More specifically, the conventional SSVEP generator used in the prior art as described above, the visual stimulus is generated using the LED blinking at a frequency of 7Hz ~ 20Hz.

그러나 이러한 7Hz ~ 20Hz의 저주파 영역의 주파수 범위는 점멸융합주파수보다 낮으므로, 즉, 피측정자가 계속해서 깜빡이는 불빛을 응시하는 형태가 되므로 사용자가 쉽게 피로감을 느끼게 되어 장시간 사용이 어렵고, 또한, 드문 경우라 해도 광과민성이 있는 사용자에게는 발작을 유발시킬 수 있다는 문제점이 있다.
However, since the frequency range of the low frequency region of 7 Hz to 20 Hz is lower than the blinking fusion frequency, that is, the subject is continuously staring at a blinking light, the user easily feels tired and difficult to use for a long time. Even if there is a problem that can cause seizure in the user who is photosensitive.

또한, 기존의 SSVEP 발생장치는, 하나의 LED, 즉, 하나의 시각자극이 하나의 주파수만을 가지므로, 따라서 최종 판단을 위해 사용할 수 있는 주파수적 특징이 파워스펙트럼밀도(PSD) 상에서 시각적 자극 주파수의 하모닉 성분들의 크기값뿐이다.
In addition, in the conventional SSVEP generator, since one LED, that is, one visual stimulus has only one frequency, the frequency characteristic that can be used for the final judgment is that the visual stimulus frequency on the power spectrum density (PSD) Only the magnitude of the harmonic components.

따라서 상기한 바와 같은 종래의 SSVEP 기반 BCI에서는, 측정의 정확도 및 안정성을 위하여는 해당 주파수에서 피크가 연속적으로 발생해야 최종적인 판단을 내릴 수 있으나, 잡음에 취약한 뇌파의 특성상, 주위의 자극에 대한 반응도 함께 측정될 경우 잘못된 판단을 내리게 되므로, 정확한 측정을 원할수록 장시간에 걸친 반복 측정이 필요하게 된다는 문제점이 있다.
Therefore, in the conventional SSVEP-based BCI as described above, in order to determine the accuracy and stability of the measurement, the peak must be continuously generated at the corresponding frequency to make a final judgment, but due to the nature of the EEG, which is vulnerable to noise, the response to the surrounding stimulus When measured together, a wrong decision is made, and thus, there is a problem in that it is necessary to repeat the measurement for a long time as the accurate measurement is desired.

따라서 상기한 바와 같은 종래의 SSVEP 기반 BCI의 문제점을 해결하기 위하여는, 1차적으로 SSVEP 발생장치로부터의 시각 자극에 의한 사용자의 피로도를 감소하는 동시에, 기존의 측정방식에 비하여 뇌파를 판단하기 위한 보다 많은 특징을 제공함으로써 적은 회수의 측정으로도 판단의 정확성 및 안정성을 높일 수 있는 새로운 패러다임의 SSVEP 발생장치 및 BCI 시스템의 구축이 요구되고 있으나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제공되지 못하고 있는 실정이다.
Therefore, in order to solve the problems of the conventional SSVEP-based BCI as described above, it is primarily to reduce the fatigue of the user due to visual stimulation from the SSVEP generating device, and to determine the EEG compared to the conventional measurement method. Although many features are required to establish a new paradigm SSVEP generator and BCI system that can improve the accuracy and stability of the measurement even with a small number of measurements, there is no device or method that satisfies all such requirements. I can't do it.

본 발명은 상기한 바와 같은 종래기술의 문제점들을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 저주파 대역의 시각자극을 이용함으로써 피측정자가 쉽게 피로감을 느끼게 되는 종래의 SSVEP 발생장치의 문제점을 해결하여, 사람이 깜빡임을 인식할 수 없는 범위의 고주파로 진폭 변조된 시각자극을 이용함으로써 피측정자의 피로도를 감소할 수 있는 새로운 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 제공하고자 하는 것이다.
The present invention is to solve the problems of the prior art as described above, the object of the present invention is to solve the problem of the conventional SSVEP generating device that the subject feels easily fatigue by using the visual stimulation of the low frequency band To provide an EEG analysis system using a new amplitude-modulated steady-state visual-genetic potential visual stimulus that can reduce the fatigue of the subject by using high-frequency amplitude-modulated visual stimuli in a range where humans cannot perceive flicker. will be.

또한, 본 발명의 다른 목적은, 상기한 바와 같이 피측정자의 피로도를 감소하여 장시간에 걸친 반복 측정이 가능하도록 하는 동시에, 고주파로 진폭 변조된 시각자극을 이용함으로써, 종래에 비하여 측정된 뇌파신호를 판정하기 위한 특징을 증가시켜 보다 적은 회수의 측정으로도 정확하고 안정된 판단결과를 얻을 수 있는 새로운 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 제공하고자 하는 것이다.
In addition, another object of the present invention is to reduce the fatigue of the subject as described above to enable repeated measurement over a long time, and by using a high-frequency amplitude-modulated visual stimulus, The purpose of the present invention is to provide an EEG analysis system using a new amplitude-modulated steady-state visual-genetic potential visual stimulus that can increase the characteristics for judgment and obtain accurate and stable judgment results with fewer measurements.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 진폭 변조된 안정상태 시각유발전위(Steady-state visual evoked potential, SSVEP) 시각자극을 이용한 뇌파 분석시스템에 있어서, 진폭 변조된 안정상태 시각유발전위 시각자극을 발생하는 시각자극 생성부; 및 상기 시각자극 생성부에서 생성된 시각자극에 대응하는 사용자의 뇌파신호를 수신하여 뇌파 분석을 수행하는 뇌파분석부를 포함하여 구성된 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템이 제공된다.
In order to achieve the above object, according to the present invention, in the EEG analysis system using amplitude-modulated steady-state visual evoked potential (SSVEP) visual stimulation, amplitude-modulated stable state visual provocation A visual stimulus generating unit generating a potential visual stimulus; And an EEG analysis unit configured to receive an EEG signal of a user corresponding to the visual stimulus generated by the visual stimulus generating unit and perform an EEG analysis. A system is provided.

여기서, 상기 시각자극 생성부는, 저주파수를 가지는 메시지 신호에 고주파수를 가지는 캐리어 신호를 곱함으로써 진폭 변조된 시각자극 신호를 발생하는 신호발생부; 및 상기 진폭 변조된 시각자극 신호를 사용자에게 시각적인 자극으로 전달하기 위한 시각자극 발생부를 포함하여 구성된 것을 특징으로 한다.
The visual stimulus generation unit may include: a signal generator for generating an amplitude modulated visual stimulus signal by multiplying a message signal having a low frequency by a carrier signal having a high frequency; And a visual stimulus generating unit for transmitting the amplitude modulated visual stimulus signal to a user as a visual stimulus.

또한, 상기 저주파수를 가지는 메시지 신호는 30Hz보다 낮은 주파수의 신호이고, 상기 고주파수를 가지는 캐리어 신호는 30Hz보다 높은 주파수의 신호인 것을 특징으로 한다.
In addition, the low-frequency message signal is a signal of a frequency lower than 30Hz, the carrier signal having a high frequency is characterized in that the signal of a frequency higher than 30Hz.

아울러, 상기 시각자극 발생부는, 발광 다이오드(LED)나 액정 디스플레이(LCD) 또는 음극선관(CRD) 모니터로 구성되는 발광수단을 포함하는 것을 특징으로 한다.
In addition, the visual stimulus generating unit is characterized in that it comprises a light emitting means consisting of a light emitting diode (LED), a liquid crystal display (LCD) or a cathode ray tube (CRD) monitor.

더욱이, 상기 시각자극 발생부는, 1개의 발광수단으로 적어도 2개의 주파수를 가지는 시각자극 신호를 발생하는 것을 특징으로 한다.
Further, the visual stimulus generating unit is characterized by generating a visual stimulus signal having at least two frequencies by one light emitting means.

또한, 상기 뇌파분석부는, 상기 시각자극 생성부를 통해 전달된 시각적 자극에 의해 발생하는 사용자의 뇌파를 검출하는 센서부; 상기 센서부로부터 검출된 뇌파에서 잡음을 필터링하는 전처리부; 상기 전처리부에서 처리된 상기 안정상태 시각유발전위의 주파수별 크기 값을 구하는 주파수 분석부; 상기 주파수 분석부에서 변환된 뇌파신호를 상호 비교하여 최종적으로 뇌파에 해당하는 주파수를 선택하는 뇌파 판단부를 포함하여 구성된 것을 특징으로 한다.
The EEG analyzer may further include: a sensor unit configured to detect an EEG of a user generated by a visual stimulus transmitted through the visual stimulus generation unit; A pre-processing unit for filtering out noise from the EEG detected by the sensor unit; A frequency analyzer for obtaining magnitude values of frequencies of the steady state visual power generators processed by the preprocessor; And an EEG determination unit configured to compare the EEG signals converted by the frequency analyzer with each other and finally select a frequency corresponding to EEG.

여기서, 상기 전처리부는, 공통 모드 잡음을 필터링하기 위한 대역통과필터 또는 앙상블 애버리징을 포함하는 신호처리방법을 통하여 잡음을 최소화하는 것을 특징으로 한다.
The preprocessor may minimize noise through a signal processing method including a bandpass filter or ensemble averaging for filtering common mode noise.

아울러, 상기 뇌파 판단부는, 특징(feature) 주파수에서의 뇌파 신호의 신호대 잡음비(SNR)의 크기 또는 상관 계수(correlation)를 비교하여 가장 큰 값을 가진 주파수에 해당하는 명령으로 뇌파를 결정하는 것을 특징으로 한다.
In addition, the EEG determination unit, by comparing the magnitude or correlation coefficient (correlation) of the signal-to-noise ratio (SNR) of the EEG signal at the feature frequency (feature) is characterized by determining the EEG with a command corresponding to the frequency having the largest value It is done.

더욱이, 상기 특징 주파수는, 제시된 시각 자극의 캐리어 주파수(fc) 또는 메시지 주파수(fm)의 배수에 해당하는 주파수와, 상기 캐리어 주파수와 상기 메시지 주파수의 합(fc + fm) 및 차(fc - fm), 또는, 선형적 성분의 합(fc + 3fm) 및 차(fc - 3fm) 중 둘 이상의 조합으로 이루어지는 것을 특징으로 한다.
Moreover, the characteristic frequency is a frequency corresponding to a carrier frequency f c or a multiple of the message frequency f m of a given visual stimulus, and a sum f c + f m and a difference between the carrier frequency and the message frequency. (f c -f m ), or the sum of the linear components (f c + 3f m ) and the difference (f c -3f m ).

또한, 본 발명에 따르면, 상기에 기재된 뇌파 분석 시스템을 이용하여 뇌파 분석을 수행하는 것을 특징으로 하는 뇌파분석방법이 제공된다.
In addition, according to the present invention, there is provided an EEG analysis method characterized in that the EEG analysis is performed using the EEG analysis system described above.

아울러, 본 발명에 따르면, 진폭 변조된 안정상태 시각유발전위 발생장치에 있어서, 저주파수를 가지는 메시지 신호에 고주파수를 가지는 캐리어 신호를 곱함으로써 진폭 변조된 시각자극 신호를 발생하는 진폭변조부; 및 상기 진폭 변조된 시각자극 신호를 사용자에게 시각적인 자극으로 전달하기 위한 발광수단을 포함하여 구성된 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 발생장치가 제공된다.
In addition, according to the present invention, an amplitude modulated steady-state visual potential generating device, comprising: an amplitude modulator for generating an amplitude modulated visual stimulus signal by multiplying a message signal having a low frequency by a carrier signal having a high frequency; And light emitting means for transmitting the amplitude modulated visual stimulus signal to a visual stimulus to a user.

여기서, 상기 메시지 신호는 30Hz보다 낮은 주파수의 신호이고, 상기 캐리어 신호는 30Hz보다 높은 주파수의 신호인 것을 특징으로 한다.
Here, the message signal is a signal of a frequency lower than 30Hz, the carrier signal is characterized in that the signal of a frequency higher than 30Hz.

또한, 상기 발광수단은, 발광 다이오드(LED), 액정 디스플레이(LCD), 또는, 음극선관(CRD) 모니터로 구성되는 것을 특징으로 한다.
The light emitting means may include a light emitting diode (LED), a liquid crystal display (LCD), or a cathode ray tube (CRD) monitor.

아울러, 상기 장치는, 1개의 발광수단으로 적어도 2개의 주파수를 가지는 시각자극 신호를 발생하는 것을 특징으로 한다.
In addition, the apparatus is characterized by generating a visual stimulus signal having at least two frequencies with one light emitting means.

상기한 바와 같이, 본 발명에 따르면, 진폭 변조된 시각적 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용함으로써, 사용자의 피로도를 감소하는 동시에, 최종 판단을 내릴 때 두 개 이상의 주파수에서 발생하는 피크를 사용하여 보다 정확하고 안정된 BCI 시스템을 구축할 수 있다.
As described above, according to the present invention, by analyzing the electroencephalogram generated by using the amplitude-modulated visual stimulus and applying it to the brain-computer interface, while reducing the fatigue of the user, it occurs at two or more frequencies when making the final judgment Peaks can be used to build more accurate and stable BCI systems.

즉, 본 발명에 따르면, 고주파수의 캐리어 신호로 저주파의 메시지 신호를 진폭 변조하여 시각자극 신호를 출력함으로써, 저주파수로 깜빡이는 기존의 시각적 자극에 비해 깜빡임을 느끼지 않게 되어 사용자의 눈에 가해지는 피로가 감소하며, 그것에 의해, 장시간의 반복 측정이나 노약자나 장애인과 같이 생활 보조를 위해 뇌-컴퓨터 인터페이스를 오랜 시간 이용해야 하는 사용자의 불편을 대폭 감소시킬 수 있는 새로운 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 제공할 수 있다.
That is, according to the present invention, by outputting a visual stimulus signal by amplitude-modulating the low frequency message signal with a high frequency carrier signal, the user does not feel the flicker compared to the existing visual stimulus flickering at a low frequency, thereby causing fatigue to the user's eyes. A new amplitude modulated steady state visual generation potential visual stimulus, thereby reducing the discomfort of users who have to use the brain-computer interface for long periods of time, such as long-term repetitive measurements or living aids for the elderly or disabled. It can provide an EEG analysis system using.

또한, 본 발명에 따르면, 상기한 바와 같이 저주파의 메시지 신호가 고주파수의 캐리어 신호로 진폭 변조된 시각 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용함으로써, 뇌파의 주파수 분석 후 최종 판단에서 이용할 수 있는 특징(feature)이 캐리어 주파수, 메시지 주파수, 캐리어 주파수와 메시지 주파수의 차 등 두 가지 이상으로 늘어나므로, 메시지 주파수의 배수에서 뇌파 신호의 크기만 특징으로 사용하던 기존의 방법에 비해 더욱 정확하고 안정적인 뇌파 측정이 가능한 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 제공할 수 있다.
In addition, according to the present invention, by analyzing the EEG generated by using a visual stimulus amplitude-modulated into a low-frequency carrier signal as described above and applied to the brain-computer interface, in the final judgment after the frequency analysis of the EEG The features available increase to more than one such as carrier frequency, message frequency, and the difference between carrier frequency and message frequency, making them more accurate than conventional methods that used only the magnitude of the EEG signal in multiples of the message frequency. It is possible to provide an EEG analysis system using amplitude modulated steady-state visual generation potential visual stimulation capable of stable and stable EEG measurement.

아울러, 본 발명에 따르면, 상기한 바와 같이 저주파의 메시지 신호가 고주파수의 캐리어 신호로 진폭 변조된 시각 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용함으로써, 적은 수의 캐리어 주파수와 적은 수의 메시지 주파수의 조합으로 많은 수의 자극을 만들 수 있고, 캐리어 주파수와 메시지 주파수의 값에 따라 다양한 대역의 주파수 이용 가능해지며, 그것에 의해, 고주파수의 SSVEP가 잘 나타나지 않는 사용자에게도 적용이 가능한 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 제공할 수 있다.
In addition, according to the present invention, by analyzing the brain wave generated by using a visual stimulus amplitude-modulated into a high-frequency carrier signal as described above and applied to the brain-computer interface, a small number of carrier frequencies and a small number The combination of the message frequencies can produce a large number of stimuli, and the frequency of the various bands can be used according to the values of the carrier frequency and the message frequency. The EEG analysis system using the steady state visual genetic development visual stimulation can be provided.

더욱이, 본 발명에 따르면, 비교적 SNR이 낮으나 뇌파의 크기가 큰 저주파수의 안정상태 시각유발전위와, 비교적 SNR이 높으나 뇌파의 크기가 작은 고주파수의 안정상태 시각유발전위를 모두 이용함으로써, 각 주파수별로 상호 단점을 보완하여 저주파수의 시각자극 신호만을 이용하는 기존의 방법에 비해 보다 정확하고 안정적인 판단을 내릴 수 있는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 제공할 수 있다.
Further, according to the present invention, by using both the low-frequency steady-state visual generating potential of relatively low SNR but large EEG, and the high-frequency steady-state visual generating potential of relatively high SNR but small EEG, Complementing the shortcomings, it is possible to provide an EEG analysis system using amplitude modulated steady-state visual-genetic potential visual stimulation that can make more accurate and stable judgment than the conventional method using only low-frequency visual stimulation signal.

도 1은 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 전체적인 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 메시지 신호, 캐리어 신호 및 진폭 변조된 시각 자극 신호와, 이들 신호들의 주파수 분석 결과를 각각 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 성능을 시험하기 위해, 두 개의 진폭 변조된 시각적 자극에 대한 뇌파의 주파수 분석결과를 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 성능을 시험하기 위해, 네 개의 진폭 변조된 시각적 자극에 대한 뇌파의 주파수 분석결과를 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 성능을 시험하기 위해, 두 개의 진폭 변조된 시각적 자극에 대한 뇌파의 최종 판단 결과를 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템에 있어서, 진폭 변조된 시각자극에 대한 뇌파의 SNR을 나타내는 도면이다.
1 is a view schematically showing the overall configuration of the EEG analysis system using the amplitude-modulated stable state visual generation potential visual stimulation according to an embodiment of the present invention.
2 is a view showing a message signal, a carrier signal, an amplitude modulated visual stimulus signal, and a frequency analysis result of these signals in an EEG analysis system using amplitude modulated steady state visual generation potential visual stimulation according to an embodiment of the present invention. to be.
3 is a view showing the results of the frequency analysis of the EEG for the two amplitude-modulated visual stimulus to test the performance of the EEG system using the amplitude-modulated steady-state visual generation potential visual stimulation according to an embodiment of the present invention .
4 is a view showing the results of the frequency analysis of the EEG for the four amplitude-modulated visual stimulus to test the performance of the EEG system using the amplitude-modulated steady-state visual generation potential visual stimulation according to an embodiment of the present invention .
5 is a view showing the final determination result of the EEG for the two amplitude-modulated visual stimulus to test the performance of the EEG analysis system using the amplitude-modulated steady-state visual generation potential visual stimulation according to an embodiment of the present invention .
6 is a view showing the SNR of the EEG for the amplitude-modulated visual stimulus in the EEG analysis system using the amplitude-modulated steady-state visual genetic potential visual stimulation according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 상세한 내용에 대하여 설명한다.
Hereinafter, with reference to the accompanying drawings will be described in detail the EEG analysis system using the amplitude modulated steady state visual generation potential visual stimulation according to the present invention.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다.
It should be noted that the following description is only an embodiment for carrying out the present invention, and the present invention is not limited to the contents of the embodiments described below.

즉, 본 발명은, 후술하는 바와 같이, 기존의 SSVEP 방식을 그대로 유지하되, 시각적 자극을 고주파로 진폭 변조된 신호의 형태로 제공하여, 즉, 실제 시각적 자극이 깜빡이는 주파수를 높임으로써 사용자가 깜박임을 느끼지 않게 되어, 기존의 시각 자극에 비하여 장시간 사용이 가능하도록 피로감을 감소할 수 있는 진폭 변조된 시각자극을 이용한 안정상태 시각유발전위 발생장치 및 이를 이용한 뇌파 분석방법에 관한 것이다.
That is, the present invention, as will be described later, while maintaining the existing SSVEP method as it is, providing a visual stimulus in the form of a signal amplitude modulated at a high frequency, that is, the user blinks by increasing the frequency at which the actual visual stimulus blinks The present invention relates to a steady-state visual genetic potential generating device using amplitude modulated visual stimulation that can reduce fatigue so that it can be used longer than conventional visual stimuli, and an EEG analysis method using the same.

또한, 본 발명은, 기존에 많이 이용되는 저주파의 메시지 신호를, 상기한 바와 같이 고주파의 캐리어 신호에 실어 보냄으로써, 측정된 뇌파의 파워 스펙트럼 밀도 상에서 메시지 신호의 주파수(fm)나 캐리어 신호의 주파수(fc) 뿐만 아니라, 캐리어 신호의 주파수와 메시지 신호의 주파수 합(fc+fm)과 차(fc-fm) 및 선형적 성분의 합(fc + 3fm)과 차(fc - 3fm)에서도 피크가 발생하여, 두 개의 특징을 이용하여 최종 판단을 내릴 수 있게 됨으로써, 한 개의 주파수에서 발생하는 피크만을 특징으로 이용하여 판단을 내리던 기존의 방법에 비하여 더욱 안정적인 판단을 내릴 수 있는 진폭 변조된 시각자극을 이용한 안정상태 시각유발전위 발생장치 및 이를 이용한 뇌파 분석방법에 관한 것이다.
In addition, the present invention, by sending a low-frequency message signal, which is widely used in the past to a high-frequency carrier signal as described above, the frequency (f m ) of the message signal or the frequency of the carrier signal on the measured power spectral density of the brain waves In addition to the frequency (f c ), the frequency sum of the carrier signal and the frequency of the message signal (f c + f m ) and the difference (f c -f m ) and the sum of the linear components (f c + 3f m ) and the difference ( f c -3 f m ), the peak is generated, so that the final judgment can be made by using two features, making the judgment more stable than the conventional method of making a judgment using only the peak occurring at one frequency as a feature. The present invention relates to a steady state visual genetic potential generator using an amplitude modulated visual stimulus and an EEG analysis method using the same.

아울러, 본 발명은, 센서부에서 측정된 뇌파에 대하여 여러 신호처리 과정을 거친 후 뇌파신호의 크기가 가장 큰 주파수를 최종적으로 선택하여 사용자의 명령을 내리도록 구성되어 BCI에 적용 가능한 진폭 변조된 시각자극을 이용한 안정상태 시각유발전위 발생장치 및 이를 이용한 뇌파 분석방법에 관한 것이다.
In addition, the present invention, after the various signal processing process for the EEG measured by the sensor unit is configured to give the user's command by finally selecting the frequency with the largest magnitude of the EEG signal is amplitude modulated time applicable to the BCI The present invention relates to a steady-state visual genetic generator using stimulation and an EEG analysis method using the same.

여기서, 최종 선택을 위한 주파수를 선택하는 알고리즘은, 대역통과필터 처리단계, 뇌파를 주파수별 크기 값 또는 상관계수 값으로 변환시키는 처리단계, 변환된 뇌파신호를 상호 비교하여 최종 주파수 선택하는 처리단계로 이루어진다.
Here, the algorithm for selecting a frequency for the final selection, the band pass filter processing step, the processing step of converting the brain waves into the frequency value or correlation coefficient value for each frequency, the processing step of selecting the final frequency by comparing the converted EEG signal with each other Is done.

계속해서, 첨부된 도면을 참조하여, 상기한 바와 같은 본 발명에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 구체적인 실시예에 대하여 상세히 설명한다.
Subsequently, with reference to the accompanying drawings, a specific embodiment of the EEG analysis system using the amplitude-modulated stable state visual genetic potential visual stimulation according to the present invention as described above will be described in detail.

먼저, 도 1을 참조하면, 도 1은 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템(10)에 있어서, 진폭 변조된 시각적 자극과 그에 대한 사용자의 뇌파를 측정하고 처리하여 최종 판단에 이르는 전체적인 구성및 처리 흐름을 나타내는 도면이다.
First, referring to FIG. 1, FIG. 1 is a brain wave analysis system 10 using amplitude modulated stable state visual genetic potential visual stimulation according to an embodiment of the present invention. Is a diagram showing the overall configuration and processing flow from the measurement and processing to the final judgment.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 따른 뇌파 분석시스템(10)은, 크게 나누어, 진폭 변조된 시각자극을 이용한 안정상태 시각유발전위 발생장치를 포함하는 시각자극 생성부(11)와, 이를 이용하여 뇌파 분석을 수행하기 위한 뇌파분석부(12)를 포함하여 구성된다.
As shown in FIG. 1, the EEG analysis system 10 according to an embodiment of the present invention includes a visual stimulus generating unit 11 including a steady state visual generator potential generator using a broadly divided amplitude modulated visual stimulus. It is configured to include an EEG analysis unit 12 for performing EEG analysis using this.

여기서, 시각자극 생성부(11)는, 저주파수를 가지는 메시지 신호와 고주파수를 가지는 캐리어 신호의 곱으로 이루어지는 시각자극 신호를 발생하는 신호발생부(13)와, 이러한 진폭 변조된 주파수의 신호를 사용자에게 시각적인 자극으로 전달하기 위한 LED를 포함하여 구성되는 시각자극 발생부(14)로 구성된다.
Here, the visual stimulus generation unit 11, the signal generator 13 for generating a visual stimulus signal consisting of the product of the message signal having a low frequency and the carrier signal having a high frequency, and the signal of the amplitude-modulated frequency to the user It is composed of a visual stimulation generating unit 14 including an LED for delivering a visual stimulus.

또한, 상기한 저주파수의 메시지 신호는 30Hz보다 낮은 주파수의 신호이고, 상기한 고주파수의 캐리어 신호는 30Hz보다 높은 주파수의 신호이며, 이는, 상기한 바와 같이, 일반적으로 30Hz 이하의 주파수에서는 사람이 깜빡임을 인식할 수 있으므로 눈의 피로가 빨리 오게 되나, 30Hz를 넘는 주파수의 신호는 깜빡이는 것을 인식하지 못하고 계속 켜진 상태로 인식하므로 눈의 피로가 덜하기 때문이다.
In addition, the low-frequency message signal is a signal of a frequency lower than 30Hz, the high-frequency carrier signal is a signal of a frequency higher than 30Hz, as described above, in general, people blink at a frequency below 30Hz Eyes get tired quickly because they can be recognized, but signals with frequencies above 30 Hz are not recognized as blinking and are turned on continuously, so eyes are less tired.

따라서 상기한 바와 같이 구성된 시각자극 생성부(11)를 통해 사용자에게 전달되는 시각자극 신호는, 실제로는 저주파수의 메시지 신호 성분을 포함하고 있으나, 사용자는 고주파의 캐리어 신호의 주파수로 인식하여 깜빡임을 인식하지 못하게 된다.
Therefore, the visual stimulus signal transmitted to the user through the visual stimulus generation unit 11 configured as described above actually includes a low frequency message signal component, but the user recognizes the flicker by recognizing the frequency of the high frequency carrier signal. You won't be able to.

다음으로, 상기한 바와 같이 시각자극 생성부(11)를 통한 시각 자극에 대한 사용자의 뇌파를 측정하고, 측정된 뇌파를 뇌파분석부(12)를 통하여 분석한다.
Next, as described above, the brain wave of the user with respect to the visual stimulus through the visual stimulus generating unit 11 is measured, and the measured brain wave is analyzed through the brain wave analyzer 12.

더 상세하게는, 뇌파분석부(12)는, 도 1에 나타낸 바와 같이, 상기한 시각자극 생성부(11)를 통해 전달된 시각적 자극에 의해 발생하는 사용자의 안정상태 시각유발전위(Steady-state visual evoked potential)를 검출하는 센서부(15)와, 상기 센서부(15)로부터 검출된 뇌파에서 공통 모드 잡음 등을 필터링하기 위한 대역통과필터를 포함하는 전처리부(16)와, 상기 전처리부(16)에서 처리된 안정상태 시각유발전위의 주파수별 크기 값 또는 상관계수 값을 구하는 주파수 분석부(17)와, 상기 주파수 분석부(17)에서 변환된 뇌파신호를 상호 비교하여 최종적으로 뇌파에 해당하는 주파수를 선택하는 뇌파 판단부(18)를 포함하여 구성된다.
More specifically, the EEG analysis unit 12, as shown in Figure 1, the steady-state visual oil power level (Steady-state) of the user generated by the visual stimulus transmitted through the visual stimulus generating unit 11 a preprocessing unit 16 including a sensor unit 15 for detecting a visual evoked potential, a band pass filter for filtering common mode noise, etc. in the EEG detected by the sensor unit 15, and the preprocessor unit ( Compared to the frequency analysis unit 17 and the EEG signals converted by the frequency analysis unit 17 to obtain a magnitude value or a correlation coefficient value for each frequency of the steady state visual genetic power stage processed in 16). EEG determination unit 18 for selecting the frequency to be configured.

계속해서, 도 2 내지 도 6을 참조하여, 상기한 바와 같이 구성되는 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템(10)의 구체적인 내용에 대하여 더욱 상세히 설명한다.
Subsequently, with reference to Figs. 2 to 6, the specific details of the EEG analysis system 10 using the amplitude-modulated stable state visual generation potential visual stimulation according to the embodiment of the present invention configured as described above in more detail Explain.

먼저, 도 2를 참조하면, 도 2는 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 메시지 신호, 캐리어 신호 및 진폭 변조된 시각 자극 신호와, 이들 신호들의 주파수 분석 결과를 각각 나타내는 도면이다.
First, referring to FIG. 2, FIG. 2 is a message signal, a carrier signal, and an amplitude modulated visual stimulus signal of an EEG analysis system using an amplitude modulated steady state visual genetic potential visual stimulus according to an embodiment of the present invention, and these signals. It is a figure which shows the frequency analysis result of these, respectively.

도 2에 있어서, 도 2a는 11Hz의 주파수를 가지는 메시지 신호와 그 주파수 분석 결과를 나타내고, 도 2b는 50Hz의 주파수를 가지는 캐리어 신호와 그 주파수 분석 결과를 나타내며, 도 2c는 메시지 신호와 캐리어 신호의 곱으로 진폭 변조된 시각자극 신호와 그 주파수 분석 결과를 각각 나타내고 있다.
In FIG. 2, FIG. 2A shows a message signal having a frequency of 11 Hz and its frequency analysis result, FIG. 2B shows a carrier signal having a frequency of 50 Hz and its frequency analysis result, and FIG. 2C shows a message signal and a carrier signal. The visually stimulated signal amplitude-modulated by the product and the frequency analysis result are shown, respectively.

더 상세하게는, 각각의 신호에 대하여 FFT를 통한 주파수 분석을 수행하면, 도 2에 나타낸 바와 같이, 원래 신호의 주파수에 해당하는 부분에서 피크를 나타냄을 알 수 있으며, 또한, 메시지 신호(fm)와 캐리어 신호(fc)의 곱으로 진폭 변조된 시각자극 신호는 캐리어 주파수(fc)와 메시지 주파수(fm)의 합과 차에 해당하는 부분에서 각각 피크를 나타내는 것을 알 수 있다.
More specifically, when performing the frequency analysis through the FFT for each signal, as shown in Figure 2, it can be seen that the peak at the portion corresponding to the frequency of the original signal, and also the message signal (f m It can be seen that the time-stimulated signal, which is amplitude modulated by the product of the carrier signal f c , shows a peak at portions corresponding to the sum and difference of the carrier frequency f c and the message frequency f m , respectively.

이러한 내용을 수식으로 표현하면 다음과 같다.
This content is expressed as an expression as follows.

[메시지 신호] [Message signal]

Figure 112012048757570-pat00001

Figure 112012048757570-pat00001

[캐리어 신호] [Carrier signal]

Figure 112012048757570-pat00002

Figure 112012048757570-pat00002

[진폭 변조된 시각자극 신호] [Amplitude Modulated Visual Stimulation Signal]

Figure 112012048757570-pat00003

Figure 112012048757570-pat00003

따라서 이를 이용하여, 진폭 변조된 시각 자극을 해당 주파수로 깜빡이는 발광 다이오드(LED)나 액정 디스플레이(LCD) 또는 음극선관(CRD) 모니터 등을 이용하여 사용자에게 제공하도록 시각자극 생성부(11)를 구성함으로써, 즉, 1개의 LED로 2개의 주파수를 가지는 시각자극 신호를 제공하는 것이 가능해진다.
Therefore, by using this, the visual stimulus generating unit 11 to provide the user with an amplitude modulated visual stimulus using a light emitting diode (LED), a liquid crystal display (LCD), or a cathode ray tube (CRD) monitor that blinks at a corresponding frequency. In other words, it is possible to provide a visual stimulus signal having two frequencies with one LED.

여기서, 다수의 시각 자극을 이용할 경우, 각각의 메시지 함수는 배수가 아닌 서로 다른 주파수로 진동하며, 이와 같이 다수의 시각 자극을 이용할 경우, 각각의 자극은 하나의 명령(command)을 의미하게 된다.
Here, when using multiple visual stimuli, each message function oscillates at a different frequency rather than a multiple. In this way, when using multiple visual stimuli, each stimulus means one command.

또한, 다수의 시각 자극을 이용할 경우, 측정한 뇌파의 주파수 분석시 발생하는 피크의 주파수를 이용하여 최종 판단을 내린다.
In addition, when using a plurality of visual stimulus, the final judgment is made using the frequency of the peak generated during the frequency analysis of the measured EEG.

더 상세하게는, 상기한 바와 같이 하여 진폭 변조된 시각적 자극을 보고 있는 사용자에게서 발생한 뇌파는, 뇌파분석부(12)의 센서부(15)의 전극을 통하여 측정되어 디지털화되고, 전처리부(16)로 전달된다.
More specifically, the brain waves generated by the user viewing the amplitude-modulated visual stimulus as described above are measured and digitized through the electrodes of the sensor unit 15 of the brain wave analysis unit 12, and the preprocessing unit 16 Is passed to.

이어서, 전처리부(16)에 전송된 디지털화된 뇌파는, 전처리부(16)에서 대역 통과 필터 또는 앙상블 애버리징과 같은 신호처리 방법을 통하여 잡음을 최소화한다.
The digitized EEG transmitted to the preprocessor 16 then minimizes noise in the preprocessor 16 through signal processing methods such as band pass filters or ensemble averaging.

다음으로, 전처리부(16)에 의해 잡음이 제거된 뇌파 신호는, 주파수 분석부(17)에서 주파수 분석을 통하여 주파수별 크기의 값 또는 상관계수 값으로 변환된다.
Next, the EEG signal from which the noise is removed by the preprocessing unit 16 is converted into a frequency-specific magnitude or correlation coefficient value through frequency analysis in the frequency analyzer 17.

이어서, 주파수 분석부(17)에서 주파수 분석을 통하여 주파수별 크기의 값 또는 상관계수 값으로 변환된 신호에 근거하여, 뇌파 판단부(18)에서 최종적인 뇌파를 결정한다.
Subsequently, the EEG determining unit 18 determines the final EEG on the basis of the signal converted into a magnitude value or a correlation coefficient value through frequency analysis in the frequency analyzer 17.

여기서, 뇌파의 채널이 두 곳 이상일 경우, 뇌파 판단부(18)는, 특징 (feature) 주파수에서의 신호대 잡음비(SNR)의 크기를 비교하여 최종 판단을 내릴 채널을 선택한다.
Here, when there are two or more channels of the EEG, the EEG determining unit 18 selects a channel to make a final decision by comparing the magnitude of the signal-to-noise ratio (SNR) at the feature frequency.

더 상세하게는, 뇌파의 채널은 실제 측정 위치별로 하나씩 존재하는 단극성(monopolar) 신호와, 서로 다른 위치에서 측정된 뇌파의 차로 이루어진 양극성(bipolar) 신호로 이루어진다.
More specifically, the EEG channel consists of a bipolar signal consisting of a monopolar signal existing for each measurement position and a difference of the EEG measured at different positions.

또한, 주파수 분석부(17) 및 뇌파 판단부(18)에서 이용될 특징 주파수는, 제시된 시각 자극의 캐리어 주파수 또는 메시지 주파수의 배수에 해당하는 주파수 및 캐리어 주파수와 메시지 주파수의 합과 차(fc±fm) 또는 선형적 성분의 합과 차(fc ± 3fm) 중 둘 이상의 조합으로 이루어진다.
In addition, the feature frequency to be used in the frequency analyzer 17 and the EEG determiner 18 is a frequency corresponding to a carrier frequency of a visual stimulus or a multiple of a message frequency and a sum and a difference of a carrier frequency and a message frequency (f c). ± f m ) or a combination of two or more of the sum of the linear components and the difference (f c ± 3f m ).

따라서 뇌파 판단부(18)에서는, 특징 주파수에서의 뇌파 신호 크기를 상호 비교하여 가장 큰 값을 가진 주파수에 해당하는 명령으로 최종 판단을 내린다.
Therefore, the EEG determining unit 18 compares the EEG signal magnitudes at the characteristic frequencies with each other and makes a final determination with a command corresponding to the frequency having the largest value.

또한, 상관계수 값을 이용하는 경우는, 예를 들면, 두 개의 데이터 셋을 상호 비교하여 상관관계를 확인하는 이른바 정준상관분석(Canonical Correlation Analysis, CCA)라 불리는 방법을 이용할 수 있다.
In the case of using the correlation coefficient value, for example, a method called canonical correlation analysis (CCA) that compares two data sets and checks correlations may be used.

더 상세하게는, 여러 채널에서 측정한 뇌파 신호(X)와, 자극 주파수들의 하모닉 성분으로 이루어진 자극 신호들(Y1, Y2, ...)과의 상관계수를 각각 구하고, 그 중 가장 큰 상관계수 값을 가지는 자극 신호를 최종 뇌파로서 선택하도록 구성할 수 있다.
More specifically, the correlation coefficient between the EEG signal (X) measured in the various channels and the stimulation signals (Y1, Y2, ...) consisting of harmonic components of the stimulation frequencies are respectively obtained, and the largest correlation coefficient is obtained. Can be configured to select a stimulus signal having a value as the final brain wave.

예를 들면, f1 = 11Hz, f2 = 15Hz 로 깜빡이는 두 개의 자극이 있는 것으로 가정하면, For example, suppose you have two stimuli flashing at f 1 = 11 Hz and f 2 = 15 Hz.

Y1=(sin(2*pi*f1*t),cos(2*pi*f1*t),sin(2*pi*2*f1*t),cos(2*pi*2*f1*t),...) Y1 = (sin (2 * pi * f 1 * t), cos (2 * pi * f 1 * t), sin (2 * pi * 2 * f 1 * t), cos (2 * pi * 2 * f 1 * t), ...)

Y2=(sin(2*pi*f2*t),cos(2*pi*f2*t),sin(2*pi*2*f2*t),cos(2*pi*2*f2*t),...) Y2 = (sin (2 * pi * f 2 * t), cos (2 * pi * f 2 * t), sin (2 * pi * 2 * f 2 * t), cos (2 * pi * 2 * f 2 * t), ...)

로 두고, X - Y1, X - Y2 간의 상관계수를 구하여 더 큰 상관계수를 가지는 Y를 최종 선택한다.
The correlation coefficient between X-Y1 and X-Y2 is determined to finally select Y having a larger correlation coefficient.

여기서, CCA에 대한 더욱 상세한 내용은, 예를 들면, "Frequency Recognition Based on Canonical Correlation Analysis for SSVEP-Based BCIs", Zhonglin Lin, Changshui Zhang, member, IEEE, Wei Wu and Xiaorong Gao, member, IEEE, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 54, NO. 6, JUNE 2007에 제시된 바와 같은 내용을 참조할 수 있다.
Here, for more details on the CCA, for example, "Frequency Recognition Based on Canonical Correlation Analysis for SSVEP-Based BCIs", Zhonglin Lin, Changshui Zhang, member, IEEE, Wei Wu and Xiaorong Gao, member, IEEE, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, VOL. 54, NO. 6, as shown in JUNE 2007.

따라서 상기한 바와 같이 하여, 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 구현할 수 있다.
Therefore, as described above, the EEG analysis system using the amplitude-modulated stable state visual generation potential visual stimulation according to the embodiment of the present invention can be implemented.

계속해서, 상기한 바와 같은 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 성능을 시험하기 위하여, 상기한 바와 같은 본 발명의 실시예에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 실제 뇌파 측정에 적용한 실험예에 대하여 설명한다.
Subsequently, in order to test the performance of the EEG analysis system using the amplitude modulated steady state visual power generation visual stimulation according to the embodiment of the present invention as described above, the amplitude modulated according to the embodiment of the present invention as described above An experimental example in which the EEG analysis system using the steady state visual genetic development visual stimulation is applied to the actual EEG measurement will be described.

먼저, 도 3을 참조하면, 도 3은 두 개의 진폭 변조된 시각적 자극에 대한 뇌파의 주파수 분석을 위해, 모니터의 왼쪽과 오른쪽에 각각 LED를 배치하여 서로 다른 메시지 주파수를 가지는 진폭 변조된 시각 자극을 주고, 피험자가 그 중 어느 한쪽을 응시하였을 때 발생하는 뇌파를 주파수 분석한 결과를 나타내는 도면이다.
First, referring to FIG. 3, FIG. 3 shows amplitude modulated visual stimuli having different message frequencies by placing LEDs on the left and right sides of the monitor for frequency analysis of brain waves for two amplitude modulated visual stimuli. It is a figure which shows the result of the frequency analysis of the EEG which arises when a subject gazes at one of them.

더 상세하게는, 도 3에 있어서, 도 3a는 메시지 주파수가 9Hz인 자극을 응시하였을 때의 뇌파 측정 결과이며, 도 3b는 메시지 주파수가 11Hz인 자극을 응시하였을 때의 뇌파 측정 결과이고, 도 3c는 메시지 주파수가 13Hz인 자극을 응시하였을 때의 뇌파 측정 결과이다.
More specifically, in FIG. 3, FIG. 3A is an EEG measurement result when gazing at a stimulus having a message frequency of 9 Hz, and FIG. 3B is an EEG measurement result when gazing at a stimulus having a message frequency of 11 Hz, and FIG. 3C. Is the EEG measurement result when staring at the stimulus whose message frequency is 13Hz.

또한, 도 3에 있어서, 두 개의 자극 모두 캐리어 주파수는 50Hz로 일정하였다.
3, the carrier frequency of both stimuli was constant at 50 Hz.

따라서 도 3에 나타낸 바와 같이, 5초의 데이터를 주파수로 분해한 피리오도그램(periodogram)에서, 메시지 주파수의 배수 성분과 캐리어 주파수와 메시지 주파수의 차에서 각각 피크를 나타내는 것을 확인할 수 있다.
Therefore, as shown in FIG. 3, it can be seen that the peaks are shown in the frequency component of the message frequency and the difference between the carrier frequency and the message frequency, respectively, in a periodogram obtained by decomposing the data of 5 seconds into frequencies.

다음으로, 도 4를 참조하면, 도 4는 네 개의 자극을 상하좌우에 배치하고 그 중 하나의 자극을 응시하였을 때 발생하는 뇌파를 주파수 분석한 결과를 나타내는 도면이다.
Next, referring to FIG. 4, FIG. 4 is a diagram illustrating a result of frequency analysis of brain waves generated when four stimuli are disposed in the top, bottom, left, and right directions, and one of the stimuli is stared.

이 경우, 도 4에 나타낸 바와 같이, 다양한 주파수에서 피크가 발생하였으며, 즉, 캐리어 주파수가 fc, 메시지 주파수가 fm일 때, 발생한 피크 주파수는 fc-fm, fc-3fm, 2fm으로 총 세 종류이고, fc+fm, fc+3fm, 2fc 성분은 50Hz 이상의 영역에 있기 때문에 대역통과 필터의 영향으로 확인할 수 없으나, 대역통과 필터를 사용하지 않거나 fc, fm이 충분히 작을 경우는 측정될 것임을 알 수 있다.
In this case, as shown in FIG. 4, peaks occur at various frequencies, that is, when the carrier frequency is f c and the message frequency is f m , the peak frequencies generated are f c -f m , f c -3 f m , a total of three kinds 2f m, f c + f m, f c + 3f m, 2f c component, since the above 50Hz area, but to check the influence of the band-pass filter, not using the band pass filter f c, It can be seen that if f m is small enough, it will be measured.

계속해서, 도 5를 참조하면, 도 5는 도 3에 나타낸 바와 같이 모니터의 왼쪽과 오른쪽에 서로 다른 메시지 주파수를 가지는 진폭 변조된 시각 자극을 배치하고 그 중 한쪽을 응시하였을 때 나타나는 뇌파에 대한 최종 판단 결과를 나타내는 도면이다.
5, FIG. 5 shows the final response to the EEG when the amplitude-modulated visual stimulus having different message frequencies is placed on the left and right sides of the monitor and stared at one of them, as shown in FIG. It is a figure which shows a determination result.

도 5에 있어서, 도 5a는 왼쪽 자극의 메시지 주파수가 11Hz이고 오른쪽 자극의 메시지 주파수가 13Hz인 경우에 사용자가 왼쪽 자극을 응시할 때 발생한 뇌파에 대한 최종 판단 결과를 나타내는 도면이고, 도 5b는 왼쪽 자극의 메시지 주파수가 13Hz이고 오른쪽 자극의 메시지 주파수가 15Hz인 경우에 사용자가 오른쪽 자극을 응시할 때 발생한 뇌파에 대한 최종 판단 결과를 나타내는 도면이다.
In FIG. 5, FIG. 5A is a diagram illustrating a final determination result of EEG generated when a user gazes at the left stimulus when the message frequency of the left stimulus is 11 Hz and the message frequency of the right stimulus is 13 Hz, and FIG. 5B is a left stimulus. If the message frequency is 13Hz and the message frequency of the right stimulus is 15Hz, it is a diagram showing the final determination result for the EEG generated when the user gazes at the right stimulus.

또한, 도 5에 나타낸 판단 결과는, 도 3의 분석 결과에 더하여 신호의 전처리 후 고속 푸리에 변환을 실시하고 O1, O2, 양극성 신호 중 하나의 채널을 선택하여 최종 판단을 내린 결과를 그래프로 나타내었다.
In addition, the decision result shown in FIG. 5 is a graph showing the result of performing the fast Fourier transform after pre-processing the signal and selecting one channel among O1, O2 and the bipolar signal in addition to the analysis result of FIG. .

아울러, 도 5에 나타낸 판단 결과는, 메시지 주파수의 배수 성분에 의한 뇌파의 크기에 의해 내려진 판단과, 캐리어 주파수와 메시지 주파수의 차에 의한 뇌파의 크기에 의해 내려진 판단이 일치할 때 최종 판단이 동일한 판단으로 내려지도록 하였다.
In addition, the judgment result shown in FIG. 5 is the same as the final judgment when the judgment made by the magnitude of the EEG by the multiple of the message frequency and the judgment made by the magnitude of the EEG by the difference between the carrier frequency and the message frequency are the same. Judgment was made.

즉, 도 5에 나타낸 바와 같이, 두 경우 모두 최종 판단이 실제 사용자가 응시한 자극과 일치하는 것을 확인할 수 있다.
That is, as shown in Figure 5, in both cases it can be confirmed that the final judgment is consistent with the stimulus stared by the actual user.

계속해서, 도 6을 참조하면, 도 6은 서로 다른 메시지 주파수를 가지는 네 개의 진폭 변조된 시각 자극을 모니터의 동서남북 방향에 배치하고, 각각을 응시할 때 발생한 뇌파의 SNR을 비교한 결과를 나타내는 도면이다.
6, FIG. 6 is a diagram showing the result of comparing four SNRs of amplitude modulated visual stimuli having different message frequencies in the north-east, north-south direction of the monitor, and comparing the SNRs of EEG generated when staring at each of them. .

도 6을 참조하면, 30Hz보다 큰 고주파수 영역에 속하는 캐리어 주파수와 30Hz보다 작은 메시지 주파수의 차에서의 SNR이 30Hz 보다 작은 저주파수 영역에 속하는 메시지 주파수에서의 SNR보다 큼을 알 수 있다.
Referring to FIG. 6, it can be seen that an SNR in a difference between a carrier frequency belonging to a high frequency region greater than 30 Hz and a message frequency smaller than 30 Hz is greater than an SNR at a message frequency belonging to a low frequency region smaller than 30 Hz.

즉, 다시 말하면, 두 사용자 모두 캐리어 주파수와 메시지 주파수의 차(fc-fm)에서의 SNR이 메시지 주파수(fm)에서의 SNR보다 유의미하게 큰 것을 알 수 있다.
In other words, both users can see that the SNR at the difference between the carrier frequency and the message frequency f c- f m is significantly larger than the SNR at the message frequency fm.

따라서 상기한 바와 같이 하여, 본 발명에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템을 구현할 수 있으며, 그것에 의해, 진폭 변조된 시각적 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용함으로써, 사용자의 피로도를 감소하는 동시에, 최종 판단을 내릴 때 두 개 이상의 주파수에서 발생하는 피크를 사용하여 보다 정확하고 안정된 BCI 시스템을 구축할 수 있다.
Therefore, as described above, it is possible to implement an EEG analysis system using the amplitude-modulated steady-state visual genetic development visual stimulation according to the present invention, thereby analyzing the EEG generated by using the amplitude-modulated visual stimulus and brain-computer By applying to the interface, the user can reduce fatigue and at the same time make more accurate and stable BCI systems using peaks occurring at two or more frequencies when making final decisions.

또한, 본 발명에 따르면, 고주파수의 캐리어 신호로 저주파의 메시지 신호를 진폭 변조하여 시각자극 신호를 출력함으로써, 저주파수로 깜빡이는 기존의 시각적 자극에 비해 깜빡임을 느끼지 않게 되어 사용자의 눈에 가해지는 피로가 감소하며, 그것에 의해, 장시간의 반복 측정이나 노약자나 장애인과 같이 생활 보조를 위해 뇌-컴퓨터 인터페이스를 오랜 시간 이용해야 하는 사용자의 불편을 대폭 감소시킬 수 있다.
In addition, according to the present invention, by outputting a visual stimulus signal by amplitude-modulating the low-frequency message signal with a high-frequency carrier signal, the user does not feel the flicker compared to the existing visual stimulus flickering at a low frequency, the fatigue applied to the eyes of the user By doing so, it is possible to drastically reduce the inconvenience of users who have to use the brain-computer interface for a long time to assist the living, such as long time repetitive measurement or the elderly or the disabled.

아울러, 본 발명에 따르면, 상기한 바와 같이 저주파의 메시지 신호가 고주파수의 캐리어 신호로 진폭 변조된 시각 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용함으로써, 뇌파의 주파수 분석 후 최종 판단에서 이용할 수 있는 특징(feature)이 캐리어 주파수, 메시지 주파수, 캐리어 주파수와 메시지 주파수의 배수 및 캐리어 주파수와 메시지 주파수의 합과 차 등 최대 6가지로 늘어나므로, 메시지 주파수의 배수에서 뇌파 신호의 크기만 특징으로 사용하던 기존의 방법에 비해 더욱 정확하고 안정적인 뇌파 측정이 가능해진다.
In addition, according to the present invention, by analyzing the EEG generated by using a visual stimulus amplitude-modulated into a low-frequency carrier signal as described above and applied to the brain-computer interface, in the final judgment after the frequency analysis of EEG The feature is available up to six times, including carrier frequency, message frequency, multiples of carrier frequency and message frequency, and sum and difference of carrier frequency and message frequency. Compared to the existing method used, more accurate and stable EEG measurement is possible.

더욱이, 본 발명에 따르면, 상기한 바와 같이 저주파의 메시지 신호가 고주파수의 캐리어 신호로 진폭 변조된 시각 자극을 이용하여 발생한 뇌파를 분석하고 뇌-컴퓨터 인터페이스에 적용함으로써, 적은 수의 캐리어 주파수와 적은 수의 메시지 주파수의 조합으로 많은 수의 자극을 만들 수 있고, 캐리어 주파수와 메시지 주파수의 값에 따라 다양한 대역의 주파수 이용 가능해지며, 그것에 의해, 고주파수의 SSVEP가 잘 나타나지 않는 사용자에게도 적용이 가능해진다.
Furthermore, according to the present invention, as described above, by analyzing the brain waves generated by using a visual stimulus amplitude-modulated with a high frequency carrier signal and applying them to the brain-computer interface, a small number of carrier frequencies and a small number A large number of stimuli can be created by the combination of the message frequencies, and the frequencies of various bands can be used according to the values of the carrier frequency and the message frequency, thereby making it possible to apply to users whose high frequency SSVEP does not appear well.

또한, 본 발명에 따르면, 비교적 SNR이 낮으나 뇌파의 크기가 큰 저주파수의 안정상태 시각유발전위와, 비교적 SNR이 높으나 뇌파의 크기가 작은 고주파수의 안정상태 시각유발전위를 모두 이용함으로써, 각 주파수별로 상호 단점을 보완하여 저주파수의 시각자극 신호만을 이용하는 기존의 방법에 비해 보다 정확하고 안정적인 판단을 내릴 수 있다.
In addition, according to the present invention, by using both the low-frequency steady-state visual generation potential of relatively low SNR but large EEG, and the high-frequency steady-state visual generation potential of relatively high SNR but small EEG, Compensating the shortcomings, more accurate and stable judgment can be made than the conventional method using only the low frequency visual stimulus signal.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다.
As described above, the details of the EEG analysis system using the amplitude-modulated steady-state visual genetic potential visual stimulation according to the present invention are described through the embodiments of the present invention as described above. Therefore, the present invention is not limited to the present invention, and various modifications, changes, combinations, and substitutions may be made by those skilled in the art according to design needs and various other factors. It is natural.

10. 뇌파 분석시스템 11. 시각자극 생성부
12. 뇌파분석부 13. 신호발생부
14. 시각자극 발생부 15. 센서부
16. 전처리부 17. 주파수 분석부
18. 뇌파 판단부
10. EEG analysis system 11. Visual stimulus generation unit
12. EEG analyzer 13. Signal generator
14. Visual stimulus generating unit 15. Sensor unit
16. Preprocessor 17. Frequency Analyzer
18. EEG judging unit

Claims (14)

진폭 변조된 안정상태 시각유발전위(Steady-state visual evoked potential, SSVEP) 시각자극을 이용한 뇌파 분석시스템에 있어서,
진폭 변조된 안정상태 시각유발전위 시각자극을 발생하는 시각자극 생성부; 및
상기 시각자극 생성부에서 생성된 시각자극에 대응하는 사용자의 뇌파신호를 수신하여 뇌파 분석을 수행하는 뇌파분석부를 포함하고,
상기 시각자극 생성부는,
저주파수를 가지는 메시지 신호에 고주파수를 가지는 캐리어 신호를 곱함으로써 상기 진폭 변조된 시각자극 신호를 발생하는 신호발생부; 및
상기 진폭 변조된 시각자극 신호를 사용자에게 시각적인 자극으로 전달하기 위한 시각자극 발생부를 포함하며,
상기 저주파수를 가지는 메시지 신호는 7Hz 내지 20Hz 주파수의 신호이고,
상기 고주파수를 가지는 캐리어 신호는 30Hz 초과인 주파수의 신호이며,
상기 뇌파분석부는,
상기 시각자극 생성부를 통해 전달된 시각적 자극에 의해 발생하는 사용자의 뇌파를 검출하는 센서부;
상기 센서부로부터 검출된 뇌파에서 잡음을 필터링하는 전처리부;
상기 전처리부에서 처리된 상기 안정상태 시각유발전위의 특징(feature) 주파수들 각각의 크기 값 또는 상관계수 값을 구하는 주파수 분석부;
상기 특징 주파수들의 뇌파 신호의 크기, 신호대 잡음비(SNR)의 크기 또는 상관계수 값을 비교하여 가장 큰 값을 가진 주파수에 해당하는 명령을 뇌파로 판단하는 뇌파 판단부를 포함하되,
상기 특징 주파수들은,
제시된 시각 자극의 캐리어 주파수(fc)의 배수에 해당하는 주파수, 제시된 시각 자극의 메시지 주파수(fm)의 배수에 해당하는 주파수, 상기 캐리어 주파수와 상기 메시지 주파수의 합(fc + fm), 상기 캐리어 주파수와 상기 메시지 주파수의 차(fc - fm), 상기 캐리어 주파수의 선형적 성분과 상기 메시지 주파수의 선형적 성분의 합 및 상기 캐리어 주파수의 선형적 성분과 상기 메시지 주파수의 선형적 성분의 차로 이루어진 군으로부터 선택되는 둘 이상의 주파수들로 이루어지며,
상기 뇌파의 채널은 실제 측정 위치별로 하나씩 존재하는 단극성(monopolar) 신호 또는 서로 다른 위치에서 측정된 뇌파의 차로 이루어진 양극성(bipolar) 신호로 이루어지는 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템.
In the EEG analysis system using amplitude modulated steady-state visual evoked potential (SSVEP) visual stimulation,
A visual stimulus generator for generating an amplitude-modulated stable state visual generator potential visual stimulus; And
EEG analysis unit for receiving an EEG signal of the user corresponding to the visual stimulus generated by the visual stimulus generation unit for performing EEG analysis,
The visual stimulus generation unit,
A signal generator for generating the amplitude modulated visual stimulus signal by multiplying a message signal having a low frequency by a carrier signal having a high frequency; And
A visual stimulus generation unit for delivering the amplitude modulated visual stimulus signal to a visual stimulus to a user,
The message signal having the low frequency is a signal of the frequency of 7Hz to 20Hz,
The carrier signal having a high frequency is a signal of a frequency greater than 30 Hz,
The EEG analysis unit,
A sensor unit for detecting brain waves of a user generated by the visual stimulus transmitted through the visual stimulus generation unit;
A pre-processing unit for filtering out noise from the EEG detected by the sensor unit;
A frequency analyzer for obtaining magnitude values or correlation coefficient values of each of the feature frequencies of the stable state visual power generation stage processed by the preprocessor;
Comprising the size of the EEG signal, the signal-to-noise ratio (SNR) of the characteristic frequencies or correlation coefficient value includes an EEG determination unit for determining the command corresponding to the frequency having the highest value as the EEG,
The characteristic frequencies are
A frequency corresponding to a multiple of the carrier frequency f c of the presented visual stimulus, a frequency corresponding to a multiple of the message frequency f m of the presented visual stimulus, and a sum of the carrier frequency and the message frequency (f c + f m ) A difference between the carrier frequency and the message frequency (f c -f m ), the sum of the linear component of the carrier frequency and the linear component of the message frequency and the linear component of the carrier frequency and the message frequency Consists of two or more frequencies selected from the group of component differences,
The EEG channel is an amplitude modulated stable state visual genetic potential visual stimulus, characterized in that it consists of a monopolar signal existing for each measurement position or a bipolar signal composed of differences in brain waves measured at different positions. EEG analysis system using the.
제 1항에 있어서,
상기 고주파수를 가지는 캐리어 신호는 30Hz 초과, 50Hz 이하인 주파수의 신호인 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템.
The method of claim 1,
And a carrier signal having a high frequency is a signal of a frequency above 30 Hz and below 50 Hz.
삭제delete 제 1항에 있어서,
상기 시각자극 발생부는,
발광 다이오드(LED)나 액정 디스플레이(LCD) 또는 음극선관(CRD) 모니터로 구성되는 발광수단을 포함하는 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템.
The method of claim 1,
The visual stimulus generation unit,
EEG analysis system using an amplitude-modulated steady-state visual genetic potential visual stimulus, characterized in that it comprises a light emitting means consisting of a light emitting diode (LED), a liquid crystal display (LCD) or a cathode ray tube (CRD) monitor.
제 1항에 있어서,
상기 시각자극 발생부는, 1개의 발광수단으로 적어도 2개의 주파수를 가지는 시각자극 신호를 발생하는 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템.
The method of claim 1,
And the visual stimulus generating unit generates a visual stimulus signal having at least two frequencies with one light emitting means.
제 1항에 있어서,
상기 뇌파 판단부는,
상기 주파수 분석부에서 변환된 뇌파신호를 상호 비교하여 최종적으로 뇌파에 해당하는 주파수를 선택하는 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템.
The method of claim 1,
The brain wave determination unit,
EEG analysis system using the amplitude-modulated stable state visual genetic potential visual stimulus, characterized in that the frequency analysis unit compares the EEG signals converted by each other and finally selects the frequency corresponding to the EEG.
제 6항에 있어서,
상기 전처리부는, 공통 모드 잡음을 필터링하기 위한 대역통과필터 또는 앙상블 애버리징을 포함하는 신호처리방법을 통하여 잡음을 최소화하는 것을 특징으로 하는 진폭 변조된 안정상태 시각유발전위 시각자극을 이용한 뇌파 분석시스템.
The method according to claim 6,
And the preprocessor is configured to minimize noise through a signal processing method including a bandpass filter or ensemble averaging for filtering common mode noise.
삭제delete 삭제delete 청구항 1항, 2항 및 4항 내지 7항 중 어느 한 항에 기재된 뇌파 분석시스템을 이용하여 뇌파 분석을 수행하는 것을 특징으로 하는 뇌파분석방법. EEG analysis method using the EEG analysis system according to any one of claims 1, 2 and 4 to 7. 삭제delete 삭제delete 삭제delete 삭제delete
KR1020120065715A 2012-06-19 2012-06-19 Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus KR101389015B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120065715A KR101389015B1 (en) 2012-06-19 2012-06-19 Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120065715A KR101389015B1 (en) 2012-06-19 2012-06-19 Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus

Publications (2)

Publication Number Publication Date
KR20130142476A KR20130142476A (en) 2013-12-30
KR101389015B1 true KR101389015B1 (en) 2014-04-24

Family

ID=49986058

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120065715A KR101389015B1 (en) 2012-06-19 2012-06-19 Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus

Country Status (1)

Country Link
KR (1) KR101389015B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030611A (en) 2017-09-14 2019-03-22 고려대학교 산학협력단 Method for integrated signal processing of bci system
KR20190030612A (en) 2017-09-14 2019-03-22 고려대학교 산학협력단 System for providing subject-independent brain-computer interface and method thereof
KR20190056287A (en) 2017-11-16 2019-05-24 고려대학교 산학협력단 Visual stimulation-based brain-computer interface apparatus and method of processing information thereof

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101878416B1 (en) * 2016-12-23 2018-07-13 계명대학교 산학협력단 Game-based rehabilitation system using brain-computer interface (bci) and its control method
KR101973081B1 (en) * 2017-03-28 2019-04-26 서울대학교산학협력단 Method and system for distinguishing optimal visual stimulation
US11241185B2 (en) 2018-02-26 2022-02-08 Korea University Research And Business Foundation Resonating device and method of individual EEG cognitive frequency, recording medium for performing the method
KR102113547B1 (en) * 2019-01-22 2020-05-21 고려대학교 산학협력단 Resonating Device and Method of Individual EEG Cognitive Frequency, Recording Medium for Performing the Method
CN115826743B (en) * 2022-11-16 2023-10-20 西北工业大学太仓长三角研究院 Multi-channel brain-computer signal modeling method for SSVEP brain-computer interface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296607A (en) * 2003-08-05 2005-10-27 Baycrest Centre For Geriatric Care System and method for objective evaluation of hearing ability using response of steady state of hearing ability
KR20110130482A (en) * 2009-03-16 2011-12-05 뉴로스카이 인코포레이션 Eeg control of devices using sensory evoked potentials

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005296607A (en) * 2003-08-05 2005-10-27 Baycrest Centre For Geriatric Care System and method for objective evaluation of hearing ability using response of steady state of hearing ability
KR20110130482A (en) * 2009-03-16 2011-12-05 뉴로스카이 인코포레이션 Eeg control of devices using sensory evoked potentials

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190030611A (en) 2017-09-14 2019-03-22 고려대학교 산학협력단 Method for integrated signal processing of bci system
KR20190030612A (en) 2017-09-14 2019-03-22 고려대학교 산학협력단 System for providing subject-independent brain-computer interface and method thereof
KR20190056287A (en) 2017-11-16 2019-05-24 고려대학교 산학협력단 Visual stimulation-based brain-computer interface apparatus and method of processing information thereof

Also Published As

Publication number Publication date
KR20130142476A (en) 2013-12-30

Similar Documents

Publication Publication Date Title
KR101389015B1 (en) Brain wave analysis system using amplitude-modulated steady-state visual evoked potential visual stimulus
US11464973B2 (en) Transcranial stimulation device and method based on electrophysiological testing
Liu et al. Implementation of SSVEP based BCI with Emotiv EPOC
US11529515B2 (en) Transcranial stimulation device and method based on electrophysiological testing
Hashimoto et al. EEG-based classification of imaginary left and right foot movements using beta rebound
Lesenfants et al. An independent SSVEP-based brain–computer interface in locked-in syndrome
Cao et al. Flashing color on the performance of SSVEP-based brain-computer interfaces
JP6254281B2 (en) EEG measurement and brain stimulation system
KR101457477B1 (en) Auditory stimulus generator inducing brain wave, Brain computer interface system and method
Angrisani et al. A single-channel SSVEP-based instrument with off-the-shelf components for trainingless brain-computer interfaces
Wang et al. Measuring steady-state visual evoked potentials from non-hair-bearing areas
KR20190056287A (en) Visual stimulation-based brain-computer interface apparatus and method of processing information thereof
KR101527273B1 (en) Method and Apparatus for Brainwave Detection Device Attached onto Frontal Lobe and Concentration Analysis Method based on Brainwave
Chailloux Peguero et al. SSVEP detection assessment by combining visual stimuli paradigms and no-training detection methods
US11723580B2 (en) Objective EEG quantitative measurement method for amblyopia
Huang et al. Empirical mode decomposition improves detection of SSVEP
CN117648617A (en) Cerebral apoplexy recognition method, cerebral apoplexy recognition device, electronic equipment and storage medium
Lai et al. A chromatic transient visual evoked potential based encoding/decoding approach for brain–computer interface
Zerafa et al. Comparison of plain and checkerboard stimuli for brain computer interfaces based on steady state visual evoked potentials
Liang et al. Optimizing a left and right visual field biphasic stimulation paradigm for SSVEP-based BCIs with hairless region behind the ear
Dzitac et al. Fuzzy algorithm for human drowsiness detection devices
Zao et al. 37‐4: Invited Paper: Intelligent Virtual‐Reality Head‐Mounted Displays with Brain Monitoring and Visual Function Assessment
Zambalde et al. Influence of stimuli spatial proximity on a SSVEP-based BCI performance
Murillo López et al. Study of the Influences of Stimuli Characteristics in the Implementation of Steady State Visual Evoked Potentials Based Brain Computer Interface Systems
Calore Towards Steady-State Visually Evoked Potentials Brain-Computer Interfaces for Virtual Reality environments explicit and implicit interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160224

Year of fee payment: 6