KR100798475B1 - Apparatus and control method for brain biofeedback by using color - Google Patents
Apparatus and control method for brain biofeedback by using color Download PDFInfo
- Publication number
- KR100798475B1 KR100798475B1 KR1020060042006A KR20060042006A KR100798475B1 KR 100798475 B1 KR100798475 B1 KR 100798475B1 KR 1020060042006 A KR1020060042006 A KR 1020060042006A KR 20060042006 A KR20060042006 A KR 20060042006A KR 100798475 B1 KR100798475 B1 KR 100798475B1
- Authority
- KR
- South Korea
- Prior art keywords
- color
- neurofeedback
- eeg
- vector
- mode
- Prior art date
Links
Images
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
본 발명은 색채를 이용한 뉴로피드백 장치 및 그 제어방법을 제공하기 위한 것으로, 색채표시부에서 발생된 색채에 반응하는 사용자의 뇌파를 측정하는 헤드셋부와; 상기 헤드셋부와 유선 또는 무선으로 연결되고, 상기 헤드셋부에서 측정된 뇌파 신호에 따라 상기 색채표시부에서 표시되는 색채가 변화되도록 제어하여 사용자의 특정 뇌파에 반응하는 특정 색채를 추출하는 뉴로피드백 처리부와; 상기 뉴로피드백 처리부와 유선 또는 무선으로 연결되고, 상기 뉴로피드백 처리부의 제어에 따라 색채를 변화시켜 표시하는 색채표시부;를 포함하여 구성함으로서, 뇌에서 무의식적으로 선호하는 색채를 추출하여 뇌기능 장애를 해결할 수 있게 되는 것이다.The present invention provides a neurofeedback device using a color and a control method thereof, comprising: a headset unit for measuring brain waves of a user in response to a color generated from a color display unit; A neurofeedback processing unit connected to the headset unit in a wired or wireless manner and extracting a specific color in response to a specific brain wave of the user by controlling the color displayed on the color display unit to be changed according to the brain wave signal measured by the headset unit; Connected to the neurofeedback processing unit by wire or wirelessly, the color display unit for changing and displaying the color under the control of the neurofeedback processing unit; comprising, by unconsciously extracting the preferred color in the brain to solve the brain dysfunction It will be possible.
뉴로피드백, 바이오피드백, 과잉행동장애, 뇌파, 센서, 색채, 무의식 Neurofeedback, Biofeedback, Hyperactivity Disorder, EEG, Sensor, Color, Unconscious
Description
도 1은 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 개념도이다.1 is a conceptual diagram of a neurofeedback apparatus using colors according to an embodiment of the present invention.
도 2는 도 1에서 헤드셋부의 상세블록도이다.FIG. 2 is a detailed block diagram of the headset unit in FIG. 1.
도 3은 도 2에서 헤드셋부의 일실시예를 보인 사시도이다.3 is a perspective view illustrating an embodiment of a headset unit in FIG. 2.
도 4는 도 3에서 헤드셋부의 장착상태를 보인 사시도이다.4 is a perspective view illustrating a mounting state of the headset unit in FIG. 3.
도 5는 도 3의 정면도이다.5 is a front view of FIG. 3.
도 6은 도 3의 평면도이다.6 is a plan view of FIG. 3.
도 7은 도 1에서 뉴로피드백 처리부의 상세블록도이다.7 is a detailed block diagram of the neurofeedback processing unit in FIG. 1.
도 8은 도 7에서 뉴로피드백 처리부의 앞면을 보인 정면도이다.FIG. 8 is a front view illustrating the front of the neurofeedback processing unit of FIG. 7.
도 9는 도 7에서 뉴로피드백 처리부의 뒷면을 보인 배면도이다.FIG. 9 is a rear view of the neurofeedback processor of FIG. 7.
도 10은 도 1에서 색채표시부의 상세블록도이다.FIG. 10 is a detailed block diagram of the color display unit of FIG. 1.
도 11은 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 제어방법을 보인 흐름도이다.11 is a flowchart illustrating a control method of a neurofeedback device using colors according to an embodiment of the present invention.
도 12 및 도 13은 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 기준 모드에서의 제어방법을 보인 흐름도이다.12 and 13 are flowcharts illustrating a control method in a reference mode of a neurofeedback device using colors according to an embodiment of the present invention.
도 14 및 도 15는 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 뉴로피드백 모드에서의 제어방법을 보인 흐름도이다.14 and 15 are flowcharts illustrating a control method in a neurofeedback mode of a neurofeedback device using colors according to an embodiment of the present invention.
도 16 및 도 17은 도 14 및 도 15에서 뉴로피드백 모드의 출력예를 보인 도면이다.16 and 17 show examples of output of the neurofeedback mode in FIGS. 14 and 15.
도 18은 본 발명에서 헤드셋부를 이용하여 뇌파측정을 할 때 전극배치를 위한 국제 10-20 시스템을 보인 도면이다.FIG. 18 is a view showing an international 10-20 system for electrode placement when performing EEG measurement using a headset in the present invention.
* 도면의 주요 부분에 대한 부호의 설명 *Explanation of symbols on the main parts of the drawings
10 : 헤드셋부 11 : Ag/Agcl 센서10: Headset part 11: Ag / Agcl sensor
12 : 아이솔레이션 증폭부 13 : 증폭부12: isolation amplifier 13: amplifier
20 : 뉴로피드백 처리부 21 : LPF20: neurofeedback processing unit 21: LPF
22 : 노치 필터 23 : 증폭부22: notch filter 23: amplification unit
24 : ADC 25 : DSP24: ADC 25: DSP
26 : 메모리 27 : 신호송신부26: memory 27: signal transmitter
28 ; 결과표시부 30 : 색채표시부28; Result display unit 30: color display unit
31 : 신호수신부 32 : 색채표시 드라이버31: signal receiver 32: color display driver
33 : 색채표시기33: color indicator
본 발명은 색채를 이용한 뉴로피드백 장치 및 그 제어방법에 관한 것으로, 특히 뇌에서 무의식적으로 선호하는 색채를 추출하여 뇌기능 장애를 해결하기에 적당하도록 한 색채를 이용한 뉴로피드백 장치 및 그 제어방법에 관한 것이다.The present invention relates to a neurofeedback device using a color and a control method thereof, and more particularly to a neurofeedback device using a color that is suitable for solving the brain dysfunction by unconsciously extracting the preferred color from the brain will be.
일반적으로 뉴로피드백(Biofeedback)은 생체의 자기제어, 즉 생체의 신경상태 또는 생리상태 등을 어떤 형태의 자극정보로 바꾸어서 생체에 전달하는 조작을 말한다. 예를 들면, 뇌파피드백의 경우 피검자의 머리에 전극을 부착시키고 뇌파를 채취하며, 일정한 주파수 성분(알파파)이 나타날 때마다 버저를 울려서 일정한 주파수 성분의 파(알파파)가 나왔다고 피검자에게 알린다. 그러면 피검자는 항상 자신의 뇌파상태를 파악하면서 훈련을 받을 수 있게 되고, 이에 따라 자의로 일정한 주파수 성분의 파(알파파)를 내보낼 수 있게 된다. 이는 뇌파도 스스로 컨트롤할 수 있음을 보여주는 것으로, 본태성(本態性) 고혈압, 긴장성 두통, 편두통, 부정맥(不整脈), 간질, 천식, 불안신경증, 불면증 등의 치료법으로서 연구되고 있다.In general, neurofeedback refers to an operation of transferring a self-control of a living body, that is, changing a nerve state or a physiological state of the living body to some form of stimulus information and delivering the same to the living body. For example, in the case of EEG feedback, the electrode is attached to the subject's head and the EEG is collected, and whenever a certain frequency component (alpha) appears, a buzzer sounds to inform the examinee that a certain frequency component has appeared. In this case, the subject can always be trained while grasping his brain wave state, and thus will be able to arbitrarily emit a frequency wave (alpha). This shows that brain waves can be controlled by themselves, and is being studied as a treatment for essential hypertension, tension headache, migraine, arrhythmia, epilepsy, asthma, anxiety neurosis and insomnia.
이를 위해 BCI(Brain Computer Interface)가 사용되고 있다. 이러한 BCI는 개개인이 외부 세계로 보내는 메시지 또는 명령이 뇌의 정상적인 출력 경로인 말초신경을 거치지 않는 의사소통 시스템이다. BCI는 뇌에서 측정할 수 있는 전기신호를 제어하거나 또는 통신 시스템을 이용하여 구현한다. 뇌에서 측정하는 전기신호는 두피로부터 비침습적으로 얻어지며, 뇌전도(electroencephalogram, EEG)로 나타난다. 향후 BCI 시스템은 실시간으로 뇌파 활동을 모니터할 것이고, 사람들은 국부적인 프로세서를 통해서 어떤 전자적으로 전할 수 있는 소자나 소프트웨어를 제어하는데 뇌파를 사용할 것이다.BCI (Brain Computer Interface) is used for this purpose. These BCIs are communication systems in which messages or commands sent to the outside world by individuals do not go through the peripheral nerves, which are the normal output pathways of the brain. BCI is implemented by controlling electrical signals that can be measured in the brain or by using communication systems. Electrical signals measured in the brain are obtained noninvasively from the scalp and are represented by electroencephalograms (EGEs). Future BCI systems will monitor EEG activity in real time, and people will use EEG to control any electronically communicated device or software via a local processor.
1980년대 후반과 1990년대 초에 BCI의 분야가 이용 가능한 강력한 컴퓨터를 사용하여 많은 장애자들의 의사소통 문제를 해결하기 위한 아이디어 입각해서 유럽과 미국에서 출현하기 시작하였다. BCI 개발의 필수적인 부분은 카미야(Kamiya, 1968)가 처음에 기술한 뉴로피드백(Neurofeedback, NF) 조절로 잘 알려져 있다. 카미야(Kamiya)의 연구와 더 많은 연구에서 사람들은 EEG 파라미터들을 화면에서 보게 되면 자신의 EEG 파라미터를 조작할 수 있고, 점수, 돈 또는 간단히 용기를 주는 단어들과 같은 적절한 보상으로 강화될 수 있다고 보였다.In the late 1980s and early 1990s, BCI began to emerge in Europe and the United States on the basis of ideas for solving the communication problems of many people with disabilities using powerful computers available to the field. An essential part of BCI development is well known for the neurofeedback (NF) regulation described earlier by Kamiya (1968). In Kamiya's research and more, people have shown that viewing EEG parameters on the screen allows them to manipulate their EEG parameters and enhance them with appropriate rewards such as scores, money, or simply courageous words. .
NF의 주된 메커니즘은 사용자들이 자신의 뇌의 전기적 활동에 영향을 주도록 학습하는 자의적 조건화 패러다임이다. 건강과 임상적 대중성으로 적합할 수 있는 EEG 리듬 훈련은 원래 선 명상(Zen meditation)과 관련된 전통적인 이완 유도 기법에서 유용한 것으로 고찰되었다. 그것은 경련을 방지하는 치료의 일부를 형성하는 간질(epilepsy)과 어린이에서 주의력결핍 과잉행동장애(attention deficit hyperactivity disorder, ADHD)와 같은 피질 활동의 기능장애 조절(dysfunctional regulation)에 의해서 특징지어지는 병리학에 관계되는 것이다. 대개 건강한 개개인은 단지 5번의 세션 후에 자신의 세타/알파 비율을 증가시킬 수 있다.The main mechanism of NF is the arbitrary conditioning paradigm in which users learn to influence the electrical activity of their brains. EEG rhythm training, which may be appropriate for health and clinical popularity, was originally considered useful in traditional relaxation induction techniques associated with Zen meditation. It is a pathology characterized by epilepsy forming part of the treatment to prevent cramps and dysfunctional regulation of cortical activity such as attention deficit hyperactivity disorder (ADHD) in children. It is related. Usually a healthy individual can increase their theta / alpha ratio after only five sessions.
따라서 사람이 자신의 뇌 활동의 파라미터들을 조작할 수 있다면, 이 파라미터들은 다른 여러 종류의 외부 장치들을 취급하거나 자극하는 신호로 사용될 수 있다. 뇌-기계 협력의 기본적인 아이디어는 예를 들면 건강을 증진시키기 위해서 세션당 EEG 파라미터들을 제어하기 위해서 뿐만 아니라 BCI라고 하는 특별한 인터페이스의 방법으로 사전에 EEG 파라미터들과 접속된 외부 대상들을 이용하기 위해서 EEG 파라미터들을 사용하는 것이다.Thus, if a person can manipulate the parameters of his or her brain activity, these parameters can be used as signals to handle or stimulate various other types of external devices. The basic idea of brain-machine coordination is not only to control EEG parameters per session, for example to promote health, but also to use EEG parameters in order to use EEG parameters and external objects previously connected by means of a special interface called BCI. To use them.
BCI는 의학적 공동체 내에서 예를 들면 자신의 근육을 사용하는데 불가능한 고정된 환자(locked-in patients)들에 대해서 몇 가지 응용을 가진다.BCI has several applications in locked-in patients, for example, who are unable to use their muscles within the medical community.
그러나 아직까지는 장애인과 건강한 개개인을 위해서 BCI 시스템을 사용하는 것은 매우 불편하다. 예를 들면, 최상의 BCI 시스템 중의 하나인 생각 변환 인터페이스(Thought Translation Interface, TTI)는 아주 잘 적응된 사용자들조차도 매우 적절한 결과를 얻는데 수개월 이상이 걸리는 문제점이 있었다.However, it is still very inconvenient to use the BCI system for people with disabilities and healthy individuals. For example, the Thought Translation Interface (TTI), one of the best BCI systems, has had a problem that even very well-adapted users would take months or longer to get very relevant results.
이에 따라 종래 BCI 시스템은 BCI가 잘 인식할 수 있는 내적 이미지 또는 EEG 패턴에서 특정한 반영을 갖는 다른 종류의 정신상태에 관하여 계속해서 집중하는 정신적 상태를 유지할 필요가 있다는 문제점이 있었다.Accordingly, the conventional BCI system has a problem in that it is necessary to maintain a mental state that continuously concentrates on other kinds of mental states having a specific reflection in the internal image or the EEG pattern that the BCI can recognize well.
이에 본 발명은 상기와 같은 종래의 제반 문제점을 해결하기 위해 제안된 것으로, 본 발명의 목적은 뇌에서 무의식적으로 선호하는 색채를 추출하여 뇌기능 장애를 해결할 수 있는 색채를 이용한 뉴로피드백 장치 및 그 제어방법을 제공하는데 있다.Accordingly, the present invention has been proposed to solve the conventional problems as described above, an object of the present invention is to unload the color unconsciously preferred in the brain neurofeedback device using color that can solve the brain dysfunction and its control To provide a method.
상기와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치는,Neurofeedback device using the color according to an embodiment of the present invention to achieve the above object,
색채표시부에서 발생된 색채에 반응하는 사용자의 뇌파를 측정하는 헤드셋부와; 상기 헤드셋부와 유선 또는 무선으로 연결되고, 상기 헤드셋부에서 측정된 뇌파 신호에 따라 상기 색채표시부에서 표시되는 색채가 변화되도록 제어하여 사용자의 특정 뇌파에 반응하는 특정 색채를 추출하는 뉴로피드백 처리부와; 상기 뉴로피 드백 처리부와 유선 또는 무선으로 연결되고, 상기 뉴로피드백 처리부의 제어에 따라 색채를 변화시켜 표시하는 색채표시부;를 포함하여 이루어짐을 그 기술적 구성상의 특징으로 한다.A headset unit for measuring brain waves of a user in response to the colors generated by the color display unit; A neurofeedback processing unit connected to the headset unit in a wired or wireless manner and extracting a specific color in response to a specific brain wave of the user by controlling the color displayed on the color display unit to be changed according to the brain wave signal measured by the headset unit; And a color display unit connected to the neuro feedback processing unit by wire or wirelessly and changing a color under the control of the neuro feedback processing unit.
상기와 같은 목적을 달성하기 위하여 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 제어방법은,In order to achieve the above object, a control method of a neurofeedback device using colors according to an embodiment of the present invention,
뉴로피드백 처리부는 헤드셋부에서 측정된 사용자의 뇌파 신호를 입력받고, 색채표시부를 제어하여 기준 색채가 출력되도록 하는 제 1 단계와; 상기 제 1 단계 후 상기 뉴로피드백 처리부는 상기 헤드셋부에서 측정된 뇌파를 입력받아 실시간 뇌파 측정을 수행하고, 뇌파 분석 데이터에 의한 색채 변화를 수행하여 색채가 일정하게 수렴하는지 판별하는 제 2 단계와; 상기 제 2 단계에서 상기 색채표시부에서 출력되는 색채가 일정하게 수렴하면, 해당 색채를 사용자의 특정 뇌파의 색채로 진단하는 제 3 단계;를 포함하여 수행함을 그 기술적 구성상의 특징으로 한다.A neurofeedback processor comprising: a first step of receiving an EEG signal of the user measured by the headset unit and controlling a color display unit to output a reference color; A second step of determining, after the first step, the neurofeedback processing unit receives the brain waves measured by the headset unit to perform real-time EEG measurement, and performs color change by EEG analysis data to determine whether the colors constantly converge; And a third step of diagnosing the corresponding color as a color of a specific brain wave of the user when the colors output from the color display unit constantly converge in the second step.
이하, 상기와 같은 본 발명, 색채를 이용한 뉴로피드백 장치 및 그 제어방법의 기술적 사상에 따른 일실시예를 도면을 참조하여 설명하면 다음과 같다.Hereinafter, an embodiment according to the present invention as described above, a neurofeedback apparatus using colors and a control method thereof will be described with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 개념도이다.1 is a conceptual diagram of a neurofeedback apparatus using colors according to an embodiment of the present invention.
이에 도시된 바와 같이, 색채표시부(30)에서 발생된 색채에 반응하는 사용자의 뇌파를 측정하는 헤드셋부(10)와; 상기 헤드셋부(10)와 유선 또는 무선으로 연결되고, 상기 헤드셋부(10)에서 측정된 뇌파 신호에 따라 상기 색채표시부(30)에서 표시되는 색채가 변화되도록 제어하여 사용자의 특정 뇌파에 반응하는 특정 색채를 추출하는 뉴로피드백 처리부(20)와; 상기 뉴로피드백 처리부(20)와 유선 또는 무선으로 연결되고, 상기 뉴로피드백 처리부(20)의 제어에 따라 색채를 변화시켜 표시하는 색채표시부(30);를 포함하여 구성된 것을 특징으로 한다.As shown in the figure, the
도 2는 도 1에서 헤드셋부의 상세블록도이고, 도 3은 도 2에서 헤드셋부의 일실시예를 보인 사시도이며, 도 4는 도 3에서 헤드셋부의 장착상태를 보인 사시도이고, 도 5는 도 3의 정면도이며, 도 6은 도 3의 평면도이다. 또한 도 18은 본 발명에서 헤드셋부를 이용하여 뇌파측정을 할 때 전극배치를 위한 국제 10-20 시스템(International 10-20 System)을 보인 도면이다.FIG. 2 is a detailed block diagram of the headset unit in FIG. 1, FIG. 3 is a perspective view showing an embodiment of the headset unit in FIG. 2, FIG. 4 is a perspective view showing a mounting state of the headset unit in FIG. 3, and FIG. 5 is of FIG. 3. It is a front view, and FIG. 6 is a top view of FIG. In addition, FIG. 18 is a view showing an international 10-20 system for electrode placement when performing EEG measurement using a headset in the present invention.
상기 헤드셋부(10)는, 상기 색채표시부(30)에서 발생된 색채에 반응하는 사용자의 뇌파를 측정하는 센서(11)와; 상기 센서(11)에서 측정된 신호를 아이솔레이션 증폭(Isolation amplify)하는 아이솔레이션 증폭부(12)와; 상기 아이솔레이션 증폭부(12)에서 아이솔레이션 증폭된 신호를 증폭하여 상기 뉴로피드백 처리부(20)로 전송하는 증폭부(AMP, amplifier)(13);를 포함하여 구성된 것을 특징으로 한다.The
본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치는, 도 2에 도시된 바와 같이, 색채표시부(30)에서 발생된 색채에 반응하는 사용자의 뇌파를 측정하는 센서(11)와; 상기 센서(11)에서 측정된 신호를 아이솔레이션 증폭하는 아이솔레이션 증폭부(12)와; 상기 아이솔레이션 증폭부(12)에서 아이솔레이션 증폭된 신호를 증폭하여 뉴로피드백 처리부(20)로 전송하는 증폭부(13);를 포함하여 헤드셋부(10)를 구성한 것을 특징으로 한다.Neurofeedback device using a color according to an embodiment of the present invention, as shown in Figure 2, the
상기 센서(11)는, Ag/Agcl 센서로 구성된 것을 특징으로 한다.The
상기 센서(11)는, 도 18에 도시된 바와 같이, 측정 채널은 Fp1, Fp2, AF7, AF8로 전극을 설정하고, 기준(Reference) 상태는 Fpz로 설정하는 것을 특징으로 한다.As illustrated in FIG. 18, the
도 7은 도 1에서 뉴로피드백 처리부의 상세블록도이고, 도 8은 도 7에서 뉴로피드백 처리부의 앞면을 보인 정면도이며, 도 9는 도 7에서 뉴로피드백 처리부의 뒷면을 보인 배면도이다.7 is a detailed block diagram of the neurofeedback processing unit in FIG. 1, FIG. 8 is a front view showing the front of the neurofeedback processing unit in FIG. 7, and FIG. 9 is a rear view showing the back side of the neurofeedback processing unit in FIG. 7.
상기 뉴로피드백 처리부(20)는, 상기 헤드셋부(10)로부터 유선 또는 무선을 통해 전달된 신호를 저역통과 필터링(Low Pass Filtering)하는 LPF(Low Pass Filter, 저역 통과 필터)(21)와; 상기 LPF(21)에서 출력되는 신호를 노치 필터링(Notch filtering)하는 노치 필터(22)와; 상기 노치 필터(22)의 출력을 증폭시키는 증폭부(AMP, amplifier)(23)와; 상기 증폭부(23)의 아날로그 출력을 입력받아 디지털 신호로 변환시키는 ADC(Analog to Digital Converter, 아날로그 디지털 변환기)(24)와; 상기 ADC의 출력을 입력받아 디지털 신호처리를 수행하여 상기 헤드셋부(10)에서 측정된 뇌파 신호에 따라 상기 색채표시부(30)에서 표시되는 색채가 변화되도록 제어하여 사용자의 특정 뇌파에 반응하는 특정 색채를 추출하도록 제어하는 DSP(Digital Signal Processor, 디지털 신호처리 프로세서)(25)와; 상기 DSP(25)와 연결되고, 뉴로피드백 처리와 관련된 데이터를 저장하는 메모리(26)와; 상기 DSP(25)와 연결되고, 상기 DSP(25)의 제어 명령을 상기 색채표시부(30)로 유선 또는 무선을 통해 전달하는 신호송신부(27);를 포함하여 구성된 것을 특징으로 한다.The
본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치는, 도 7에 도시된 바와 같이, 헤드셋부(10)로부터 유선 또는 무선을 통해 전달된 신호를 저역통과 필터링하는 LPF(21)와; 상기 LPF(21)에서 출력되는 신호를 노치 필터링하는 노치 필터(22)와; 상기 노치 필터(22)의 출력을 증폭시키는 증폭부(23)와; 상기 증폭부(23)의 아날로그 출력을 입력받아 디지털 신호로 변환시키는 ADC(24)와; 상기 ADC의 출력을 입력받아 디지털 신호처리를 수행하여 상기 헤드셋부(10)에서 측정된 뇌파 신호에 따라 상기 색채표시부(30)에서 표시되는 색채가 변화되도록 제어하여 사용자의 특정 뇌파에 반응하는 특정 색채를 추출하도록 제어하는 DSP(25)와; 상기 DSP(25)와 연결되고, 뉴로피드백 처리와 관련된 데이터를 저장하는 메모리(26)와; 상기 DSP(25)와 연결되고, 상기 DSP(25)의 제어 명령을 색채표시부(30)로 유선 또는 무선을 통해 전달하는 신호송신부(27);를 포함하여 뉴로피드백 처리부(20)를 구성한 것을 특징으로 한다.The neurofeedback apparatus using colors according to an embodiment of the present invention, as shown in Figure 7,
상기 뉴로피드백 처리부(20)는, 상기 DSP(25)에서 처리된 결과를 표시하는 결과표시부(28);를 더욱 포함하여 구성된 것을 특징으로 한다.The
도 10은 도 1에서 색채표시부의 상세블록도이다.FIG. 10 is a detailed block diagram of the color display unit of FIG. 1.
상기 색채표시부(30)는, 상기 뉴로피드백 처리부(20)와 유선 또는 무선으로 연결되어 상기 뉴로피드백 처리부(20)의 제어명령을 전송받는 신호수신부(31)와; 상기 신호수신부(31)에서 수신된 제어명령에 따라 색채표시기(33)를 구동시키는 색채표시 드라이버(32)와; 상기 색채표시 드라이버(32)의 구동에 의해 구동되어 색채를 표시하는 색채표시기(33);를 포함하여 구성된 것을 특징으로 한다.The
본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치는, 도 10에 도시된 바와 같이, 뉴로피드백 처리부(20)와 유선 또는 무선으로 연결되어 상기 뉴로피드백 처리부(20)의 제어명령을 전송받는 신호수신부(31)와; 상기 신호수신부(31)에서 수신된 제어명령에 따라 색채표시기(33)를 구동시키는 색채표시 드라이버(32)와; 상기 색채표시 드라이버(32)의 구동에 의해 구동되어 색채를 표시하는 색채표시기(33);를 포함하여 색채표시부(30)를 구성한 것을 특징으로 한다.As shown in FIG. 10, the neurofeedback apparatus using colors according to an embodiment of the present invention is connected to the
도 11은 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 제어방법을 보인 흐름도이다.11 is a flowchart illustrating a control method of a neurofeedback device using colors according to an embodiment of the present invention.
이에 도시된 바와 같이, 뉴로피드백 처리부(20)는 헤드셋부(10)에서 측정된 사용자의 뇌파 신호를 입력받고, 색채표시부(30)를 제어하여 기준 색채가 출력되도록 하는 제 1 단계(ST1, ST2)와; 상기 제 1 단계 후 상기 뉴로피드백 처리부(20)는 상기 헤드셋부(10)에서 측정된 뇌파를 입력받아 실시간 뇌파 측정을 수행하고, 뇌파 분석 데이터에 의한 색채 변화(RGB 변화)를 수행하여 색채가 일정하게 수렴하는지 판별하는 제 2 단계(ST3 ~ ST5)와; 상기 제 2 단계에서 상기 색채표시부(30)에서 출력되는 색채가 일정하게 수렴하면, 해당 색채를 사용자의 특정 뇌파의 색채로 진단하는 제 3 단계(ST6);를 포함하여 수행하는 것을 특징으로 한다.As shown in the drawing, the
상기 제 1 단계는, 기준 색채가 회색(Gray)으로 출력되도록 하는 것을 특징으로 한다.The first step is characterized in that the reference color is output in gray (Gray).
도 12 및 도 13은 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 기준 모드에서의 제어방법을 보인 흐름도이다.12 and 13 are flowcharts illustrating a control method in a reference mode of a neurofeedback device using colors according to an embodiment of the present invention.
이에 도시된 바와 같이, 뉴로피드백 장치의 기준 모드 설정을 위해 색채표시부(30)를 초기화하는 제 11 단계(ST11)와; 상기 제 11 단계 후 뇌파를 측정하여 3D(Dimension) 벡터 PSD(Power Spectral Density)를 계산하여 색깔에 매핑시키는 제 12 단계(ST12 ~ ST17)와; 상기 제 12 단계 후 3D 벡터 sPSD(subtraction PSD, 3D 벡터의 변화량)를 계산하여 3D 벡터의 sPSD와 RGB 벡터를 매핑시켜 RGB 벡터의 변화값을 저장한 다음 일정 시간이 경과했는지 판별하는 제 13 단계(ST18 ~ ST21)와; 상기 제 13 단계에서 일정 시간이 경과했으면, RGB 벡터의 변화값을 로딩하여 피험자의 선호 색상을 분류하고, 피험자의 선호 색상을 결정하며, 뉴로피드백 모드 선정을 수행하는 제 14 단계(ST22 ~ ST25)와; 상기 제 14 단계 후 뇌파를 측정하여 색채표시기(33)의 색상을 변화시키는 제 15 단계(ST26 ~ ST32);를 포함하여 수행하는 것을 특징으로 한다.As shown therein, an eleventh step ST11 of initializing the
상기 제 11 단계(ST11)는, 상기 색채표시부(30)의 초기색은 회색(R=128, G=128, B=128)으로 설정하고, 색채 신호 단계는 256 단계로 설정하는 것을 특징으로 한다.In the eleventh step ST11, the initial color of the
상기 제 12 단계(ST12 ~ ST17)는, 상기 제 11 단계 후 사용자의 뇌파를 측정하는 뇌파측정 단계(ST12)와; 상기 뇌파측정 단계(ST12) 후 뇌파 신호의 전처리를 수행하는 뇌파신호 전처리 단계(ST13)와; 상기 뇌파신호 전처리 단계(ST13) 후 뇌파 신호 디지타이징을 수행하는 뇌파신호 디지타이징 단계(ST14)와; 상기 뇌파신호 디지타이징 단계(ST14) 후 ICA(Independent Component Analysis, 독립 성분 분석) 알고리즘을 적용하는 ICA 알고리즘 적용 단계(ST15)와; 상기 ICA 알고리즘 적용 단 계(ST15) 후 3D 벡터 PSD를 계산하는 3D 벡터 PSD 계산 단계(ST16)와; 상기 3D 벡터 PSD 계산 단계(ST16) 후 3D 벡터 PSD와 색깔을 매핑시키는 색깔매핑 단계(ST17);를 포함하여 수행하는 것을 특징으로 한다.The twelfth step ST12 to ST17 may include an electroencephalogram measurement step ST12 for measuring brain waves of a user after the eleventh step; An EEG signal preprocessing step (ST13) for performing an EEG signal preprocessing after the EEG measurement step (ST12); An EEG signal digitizing step (ST14) for performing EEG signal digitizing after the EEG signal preprocessing step (ST13); An ICA algorithm applying step (ST15) of applying an ICA (Independent Component Analysis) algorithm after the EEG signal digitizing step (ST14); A 3D vector PSD calculation step (ST16) of calculating a 3D vector PSD after the step of applying the ICA algorithm (ST15); And a color mapping step (ST17) for mapping the color with the 3D vector PSD after the 3D vector PSD calculation step (ST16).
상기 뇌파측정 단계(ST12)는, 측정채널을 Fp1, Fp2, AF3, AF8로 설정하고, 참조채널로 유양돌기를 설정하며, 접지채널로 Fpz를 설정하며, IA(Isolation amplify) 증폭 및 초단 이득 증폭을 수행하는 것을 특징으로 한다.In the EEG measurement step ST12, the measurement channel is set to Fp1, Fp2, AF3, and AF8, the drift protrusion is set as the reference channel, the Fpz is set as the ground channel, IA (Isolation amplify) amplification and ultra-short gain amplification. It characterized in that to perform.
상기 뇌파신호 전처리 단계(ST13)는, 저역통과 필터링(LPF)을 수행하고, 노치필터링(예를 들면, 60Hz/50Hz)을 수행하며, 종단 이득 증폭을 수행하는 것을 특징으로 한다.The EEG signal preprocessing step ST13 may include performing low pass filtering (LPF), performing notch filtering (for example, 60 Hz / 50 Hz), and performing terminal gain amplification.
상기 뇌파신호 디지타이징 단계(ST14)는, 표본화율(예를 들면, 250Hz)과 분해능(12비트)과 채널수(4CH, 4채널)를 포함한 조건에 의해 디지타이징을 수행하는 것을 특징으로 한다.The EEG digitizing step (ST14) is characterized in that digitizing is performed under conditions including a sampling rate (for example, 250 Hz), a resolution (12 bits), and the number of channels (4CH, 4 channels).
상기 ICA 알고리즘 적용 단계(ST15)는, 디지털 필터링을 수행하고, 눈 깜박임(Eye Blink) 아티팩트(Artifact, 장애신호), EOG(Electro Oculography, 안구전도) 아티팩트, EMG(Electromyogram, 근전도) 아티팩트 중에서 하나 이상의 아티팩트를 제거하는 것을 특징으로 한다.The step of applying the ICA algorithm (ST15), performing digital filtering, one or more of Eye Blink (Artifact), EOG (Electro Oculography) artifacts, EMG (Electromyogram, EMG) artifacts It is characterized by removing artifacts.
상기 3D 벡터 PSD 계산 단계(ST16)는, FFT(Fast Fourier Transform, 고속 푸리에 변환)/AR(Auto Regressive, 회귀분석법) 기법을 적용하여 수행하고, 주파수 분해도를 미리 설정하며(예를 들면, 0.5Hz), 슬라이딩 기법을 적용하고(예를 들면, 75% 중복), 세타파와 알파파와 베타파에 대해 주파수 대역을 설정(예를 들면, 세타 파는 4.0 ~ 7.0Hz, 알파파는 7.5 ~ 12.0Hz, 베타파는 16.0 ~ 22.0Hz)하는 것을 특징으로 한다.The 3D vector PSD calculation step (ST16) is performed by applying a Fast Fourier Transform (FFT) / AR (Auto Regressive) technique, and sets a frequency resolution in advance (for example, 0.5 Hz). ), Apply a sliding technique (e.g. 75% overlap), set frequency bands for theta waves, alpha waves and beta waves (e.g., theta waves range from 4.0 to 7.0 Hz, the alpha waves range from 7.5 to 12.0 Hz, and the beta waves 16.0 to 22.0 Hz).
상기 색깔매핑 단계(ST17)는, 세타파는 레드(Red)로 매핑시키고, 알파파는 그린(Green)으로 매핑시키며, 베타파는 블루(Blue)로 매핑시키는 것을 특징으로 한다.In the color mapping step (ST17), the theta waves are mapped to red, the alpha waves are mapped to green, and the beta waves are mapped to blue.
상기 제 13 단계(ST18 ~ ST21)는, 상기 제 12 단계 후 이전의 PSD와 현재의 PSD를 이용하여 3D 벡터 sPSD 계산을 수행하는 sPSD 계산 단계(ST18)와; 상기 sPSD 계산 단계 후 3D 벡터 PSD의 변화량을 이용하여 RGB 벡터를 매핑시키는 RGB 벡터 매핑 단계(ST19)와; 상기 RGB 벡터 매핑 단계 후 RGB 벡터의 변화값을 저장하는 저장단계(ST20)와; 상기 RGB 벡터 매핑 단계 후 일정시간이 경과했는지를 판별하여, 일정시간이 경과하지 않았으면 상기 sPSD 계산 단계로 리턴하고, 일정시간이 경과했으면 상기 제 14 단계로 리턴하는 판별단계(ST21);를 포함하여 수행하는 것을 특징으로 한다.The thirteenth step (ST18 to ST21) may include: an sPSD calculation step (ST18) of performing a 3D vector sPSD calculation using the previous PSD and the current PSD after the twelfth step; An RGB vector mapping step (ST19) for mapping an RGB vector using a change amount of the 3D vector PSD after the sPSD calculation step; A storage step (ST20) of storing a change value of the RGB vector after the RGB vector mapping step; Determining whether a predetermined time has elapsed after the RGB vector mapping step, and if the predetermined time has not elapsed, returns to the sPSD calculation step, and if the predetermined time has elapsed, determining to return to the fourteenth step (ST21). It is characterized by performing.
상기 sPSD 계산 단계(ST18)는, (이전의 PSD - 현재의 PSD) / ( 이전의 PSD) X 100%를 수행하여 3D 벡터 sPSD를 계산하는 것을 특징으로 한다.The sPSD calculation step (ST18) is characterized by calculating the 3D vector sPSD by performing (previous PSD-current PSD) / (previous PSD) X 100%.
상기 RGB 벡터 매핑 단계(ST19)는, 3D 벡터 PSD의 변화량에 대한 1%당 RGB를 3단계 변화로 매핑시키는 것을 특징으로 한다.In the RGB vector mapping step ST19, RGB per 1% of the amount of change of the 3D vector PSD is mapped into a three-step change.
상기 제 14 단계(ST22 ~ ST25)는, 상기 제 13 단계에서 저장된 RGB 벡터의 변화값을 로딩하는 로딩단계(ST22)와; 상기 제 13 단계 후 상기 로딩단계에서 로딩된 RGB 벡터의 변화값을 이용하여 피험자의 선호 색상을 분류하는 색상분류 단계 (ST23)와; 상기 색상분류 단계 후 피험자의 선호 색상을 결정하는 색상결정 단계(ST24)와; 상기 색상결정 단계 후 뉴로피드백 모드를 선정하는 모드선정 단계(ST25);를 포함하여 수행하는 것을 특징으로 한다.The fourteenth step ST22 to ST25 may include a loading step of loading a change value of the RGB vector stored in the thirteenth step; A color classification step (ST23) of classifying a subject's preferred color by using the change value of the RGB vector loaded in the loading step after the thirteenth step; A color determination step (ST24) of determining a subject's preferred color after the color classification step; And a mode selection step (ST25) for selecting a neurofeedback mode after the color determination step.
상기 색상분류 단계(ST23)는, K-means 클러스터링을 적용하고, 클러스터의 개수를 결정하며, 역치(threshold)값을 선정하여 피험자의 선호 색상을 분류하는 것을 특징으로 한다.In the color classification step ST23, K-means clustering is applied, the number of clusters is determined, and a threshold value is selected to classify a subject's preferred color.
상기 색상결정 단계(ST24)는, 벡터의 값이 가장 많은 클러스터인 메이저 클러스터(Major cluster)의 평균 RGB 값에 해당하는 색상을 선호 색상으로 결정하는 것을 특징으로 한다.The color determination step (ST24), characterized in that the color corresponding to the average RGB value of the major cluster (Major cluster) that is the cluster with the most value of the vector is characterized in that the preferred color.
상기 모드선정 단계(ST25)는, 이완도, 집중도, 우울증 개선 모드 중에서 하나 이상의 모드를 포함하여 뉴로피드백 모드를 선정하고, 선호색을 개선하고자 하는 뇌파 파라미터로 대응시키는 것을 특징으로 한다.The mode selection step ST25 may include selecting a neurofeedback mode including one or more modes of relaxation, concentration, and depression improvement mode, and corresponding the EEG parameters to improve the preferred color.
상기 제 15 단계(ST26 ~ ST32)는, 상기 제 14 단계 후 사용자의 뇌파를 측정하는 뇌파측정 단계(ST26)와; 상기 뇌파측정 단계(ST26) 후 뇌파 신호의 전처리를 수행하는 뇌파신호 전처리 단계(ST27)와; 상기 뇌파신호 전처리 단계(ST27) 후 뇌파 신호 디지타이징을 수행하는 뇌파신호 디지타이징 단계(ST28)와; 상기 뇌파신호 디지타이징 단계(ST28) 후 ICA 알고리즘을 적용하는 ICA 알고리즘 적용 단계(ST29)와; 상기 ICA 알고리즘 적용 단계(ST29) 후 3D 벡터 PSD를 계산하는 3D 벡터 PSD 계산 단계(ST30)와; 상기 3D 벡터 PSD 계산 단계(ST30) 후 상기 색채표시기(33)의 색상을 변화시키는 색상변화 단계(ST31)와; 상기 색상변화 단계(ST31) 후 일정시간 동안 색채의 변화가 없는지를 판별하여, 일정시간 동안 색채의 변화가 있으면 상기 제 15 단계를 재수행하고, 일정시간 동안 색채의 변화가 없으면 종료하는 판별단계(ST32);를 포함하여 수행하는 것을 특징으로 한다.The fifteenth step ST26 to ST32 may include an electroencephalogram measurement step ST26 for measuring brain waves of a user after the fourteenth step; An EEG signal preprocessing step (ST27) for performing an EEG signal preprocessing after the EEG measurement step (ST26); An EEG signal digitizing step (ST28) for performing EEG signal digitizing after the EEG signal preprocessing step (ST27); An ICA algorithm applying step (ST29) for applying an ICA algorithm after the EG digitizing step (ST28); A 3D vector PSD calculation step (ST30) for calculating a 3D vector PSD after the step of applying the ICA algorithm (ST29); A color changing step (ST31) of changing the color of the color indicator (33) after the 3D vector PSD calculation step (ST30); After the color change step ST31, it is determined whether there is no color change for a predetermined time, and if there is a change in color for a predetermined time, the step 15 is repeated. It is characterized by performing, including.
도 14 및 도 15는 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 뉴로피드백 모드에서의 제어방법을 보인 흐름도이고, 도 16 및 도 17은 도 14 및 도 15에서 뉴로피드백 모드의 출력예를 보인 도면이다.14 and 15 are flowcharts illustrating a control method in a neurofeedback mode of a neurofeedback device using colors according to an embodiment of the present invention, and FIGS. 16 and 17 are outputs of the neurofeedback mode in FIGS. 14 and 15. The figure shows an example.
이에 도시된 바와 같이, 뉴로피드백 장치에 접속하여 파워 온(Power On)이 되면, 기능선택을 할 수 있도록 하는 제 21 단계(ST41, ST42)와; 상기 제 21 단계에서 기능선택이 트레이닝 모드(Training Mode)이면, 이완도 향상 훈련, 집중도 향상훈련 또는 우울증 개선훈련을 포함한 개선훈련 중에서 하나 이상을 수행하도록 하는 제 22 단계(ST43 ~ ST69)와; 상기 제 21 단계에서 기능선택이 표시 모드이면, 뇌파표시 또는 저장데이터표시를 수행하도록 하는 제 23 단계(ST70 ~ ST79);를 포함하여 수행하는 것을 특징으로 한다.As shown in FIG. 21, when the power is turned on by connecting to the neurofeedback device, a twenty-first step (ST41, ST42) is provided to allow a function selection; If the function selection is a training mode in the twenty-first step, a twenty-second step (ST43 to ST69) to perform one or more of improvement training including relaxation training, concentration training, or depression training; If the function selection is the display mode in the twenty-first step, the twenty-third step (ST70 ~ ST79) to perform the EEG display or stored data display; characterized in that it comprises.
상기 제 22 단계(ST43 ~ ST69)는, 사용자의 기능선택이 트레이닝 모드인지 판별하는 기능판별 단계(ST43)와; 상기 기능판별 단계에서 사용자의 기능선택이 트레이닝 모드이면, 사용자의 기능선택이 이완도모드(Relaxation Mode)인지 판별하는 이완도모드 판별단계(ST44)와; 상기 이완도모드 판별단계에서 사용자의 기능선택이 이완도모드이면, 이완도 향상훈련이 수행되도록 하는 이완도 향상훈련 단계(ST45 ~ ST52)와; 상기 이완도모드 판별단계에서 사용자의 기능선택이 이완도모드가 아니면, 사용자의 기능선택이 집중도모드(Attention Mode)인지 판별하는 집중도모드 판 별단계(ST53)와; 상기 집중도모드 판별단계에서 사용자의 기능선택이 집중도모드이면, 집중도 향상훈련이 수행되도록 하는 집중도 향상훈련 단계(ST54 ~ ST61)와; 상기 집중도모드 판별단계에서 사용자의 기능선택이 집중도모드가 아니면, 우울증 개선훈련이 수행되도록 하는 우울증 개선훈련 단계(ST62 ~ ST69);를 포함하여 수행하는 것을 특징으로 한다.The twenty-second step ST43 to ST69 may include a function discrimination step ST43 for determining whether a user's function selection is a training mode; A relaxation mode determination step (ST44) of determining whether the user's function selection is a relaxation mode if the user's function selection is a training mode in the function discriminating step; A relaxation improvement training step (ST45 to ST52) for performing relaxation improvement training if the user's function selection in the relaxation mode determining step is a relaxation mode; A concentration mode determination step (ST53) of determining whether the user's function selection is an attention mode if the user's function selection is not a relaxation mode in the relaxation mode determination step; A concentration improvement training step (ST54 to ST61) in which the concentration improvement training is performed if the user's function selection is in the concentration mode in the concentration mode determination step; If the user's function selection in the concentration mode determination step is not the concentration mode, depression improvement training step (ST62 ~ ST69) to perform the depression improvement training, characterized in that it comprises a.
상기 이완도 향상훈련 단계(ST45 ~ ST52)와 상기 집중도 향상훈련 단계(ST54 ~ ST61)와 상기 우울증 개선훈련 단계(ST62 ~ ST69)는 각각, 훈련을 수행하는 훈련수행 단계(ST45, ST54, ST62)와; 상기 훈련수행 단계 수행 중 스탑(Stop) 버튼이 온(On) 되었는지 판별하는 스탑온 판별단계(ST46, ST55, ST63)와; 상기 스탑온 판별단계에서 스탑 버튼이 온 되어 있으면, 데이터를 저장할 것인지 판별하는 저장판별단계(ST47, ST56, ST64)와; 상기 저장판별단계에서 데이터를 저장할 것으로 판별되면, 훈련과 관련된 데이터를 메모리(26)에 저장하는 단계(ST48, ST57, ST65)와; 상기 저장판별단계에서 데이터를 저장할 것으로 판별되지 않으면, 무시하는 단계(ST49, ST58, ST66)와; 상기 스탑온 판별단계에서 스탑 버튼이 온 되어 있지 않으면 표시색채가 불변인지 판별하는 표시색채불변 판별단계(ST50, ST59, ST67)와; 상기 표시색채불변 판별단계에서 표시색채가 불변이 아니면 상기 훈련수행 단계로 리턴하고, 표시색채가 불변이면 이때의 데이터를 상기 메모리(26)에 저장하고 결과표시부(28)를 통해 이를 알리는 단계(ST51, ST52, ST60, ST61, ST68, ST69);를 포함하여 수행하는 것을 특징으로 한다.The relaxation improvement training step (ST45 ~ ST52), the concentration improvement training step (ST54 ~ ST61) and the depression improvement training step (ST62 ~ ST69), respectively, the training performing step (ST45, ST54, ST62) to perform the training Wow; A stop-on determination step (ST46, ST55, ST63) for determining whether a stop button is turned on during the execution of the training step; A storage discrimination step (ST47, ST56, ST64) for determining whether to store data when the stop button is turned on in the stop-on determination step; If it is determined that the data is to be stored in the storage discrimination step, storing data related to training in the memory 26 (ST48, ST57, ST65); If it is not determined that the data is to be stored in the storage discrimination step, ignore the steps (ST49, ST58, ST66); A display color invariant determination step (ST50, ST59, ST67) for determining whether the display color is invariant if the stop button is not turned on in the stop-on determination step; In the display color invariant determination step, if the display color is not invariant, return to the training execution step. If the display color is invariant, store the data at this time in the
상기 제 23 단계(ST70 ~ ST79)는, 상기 제 21 단계에서 표시 모드의 기능선 택이 뇌파표시이면, 사용자의 실시간 뇌파를 표시하는 뇌파표시 단계(ST70 ~ ST72)와; 상기 제 21 단계에서 표시 모드의 기능선택이 저장데이터표시이면, 상대파워 밀도와 횟수별 파워 밀도 중에서 하나 이상을 포함하여 메모리(26)에 저장된 데이터를 표시하는 저장데이터표시 단계(ST73 ~ ST79);를 포함하여 수행하는 것을 특징으로 한다.The twenty-third step (ST70 ~ ST79), if the function selection of the display mode in the twenty-first step EEG display, EEG display step (ST70 ~ ST72) for displaying the real-time brain waves of the user; A storage data display step (ST73 to ST79) of displaying data stored in the
상기 저장데이터표시 단계(ST73 ~ ST79)에서 상기 상대파워 밀도는, 막대 그래프로 표시하는 것을 특징으로 한다.In the storage data display steps ST73 to ST79, the relative power density is displayed in a bar graph.
상기 저장데이터표시 단계(ST73 ~ ST79)에서 상기 횟수별 파워 밀도는, 꺾은 선으로 표시하는 것을 특징으로 한다.In the stored data display steps ST73 to ST79, the power density for each number of times is displayed as a broken line.
이와 같이 구성된 본 발명에 의한 색채를 이용한 뉴로피드백 장치 및 그 제어방법의 동작을 첨부한 도면에 의거 상세히 설명하면 다음과 같다.Referring to the accompanying drawings, the operation of the neurofeedback device using the color and the control method according to the present invention configured as described above in detail as follows.
먼저 본 발명은 뇌에서 무의식적으로 선호하는 색채를 추출하여 뇌기능 장애를 해결하고자 한 것이다.First, the present invention aims to solve brain dysfunction by unconsciously extracting preferred colors from the brain.
종래 BCI 시스템은 BCI가 잘 인식할 수 있는 내적 이미지 또는 EEG 패턴에서 특정한 반영을 갖는 다른 종류의 정신상태에 관하여 계속해서 집중하는 정신적 상태를 유지할 필요가 있다는 문제점이 있었다. 종래 BCI 시스템에 의할 경우, 외부 대상들과 동작은 예를 들면 손가락이나 발을 어떻게 움직일까 여부를 계속 생각하면서 피아노를 연주하거나 자전거를 타는 것을 요구하는 방식이 되는데, 이렇게 손가락과 발의 움직임을 의식적으로 생각하면서 피아노 연주 또는 자전거 타기를 하 는 것은 결코 쉽지 않다. 다행히 일정한 훈련 후 거의 누구나 의식적인 제어를 하지 않고 자동적으로 피아노 음악 연주와 자전거를 탈 수 있다. 이 과정은 운동 기술 습득 동안에 자동조작(automation)으로 알려져 있다. 뇌 영역의 여러 집합들이 자동조작 전후 행동을 책임진다. 그러나 불행하게도 최상의 동기화가 이루어지는 BCI 시스템에서는 몇 년을 훈련한 후에도 사람에서 자동조작이 발생하지 않는다.The conventional BCI system has a problem in that it is necessary to maintain a mental state that continues to focus on other kinds of mental states having specific reflections in internal images or EEG patterns that the BCI can recognize well. In the conventional BCI system, external objects and movements require a player to play the piano or ride a bicycle while constantly thinking about how to move a finger or foot, for example. It is never easy to play the piano or ride a bicycle while thinking. Luckily, after constant training, almost anyone can automatically play piano music and bike without conscious control. This process is known as automation during the acquisition of motor skills. Several sets of brain regions are responsible for the behavior before and after automatic manipulation. Unfortunately, in BCI systems, where the best synchronization is achieved, automatic manipulation does not occur in humans after several years of training.
이러한 BCI 시스템에서의 불충분한 자동조작 과정에 대한 주된 이유는 EEG 신호의 가시적인 구현으로서 조건화의 대상(예, 화면에서 커서 움직임)과 성공적인 시도의 의식적인 평가로서의 보상 사이에 존재하는 이중적인 불확정이라고 볼 수 있다.The main reason for the inadequate automatic manipulation process in this BCI system is the visible uncertainty of the EEG signal as a double uncertainty that exists between the object of conditioning (e.g. cursor movement on the screen) and the compensation as a conscious assessment of successful attempts. Can be.
그것들 중의 첫 번째는 명확한 정신상태(이미지)를 얻기 위한 사용자의 의식적인 의도와 이 과정의 결과 사이에 명확한 결정의 부재이다. 두 번째는 간단한 운동 이미지에서조차도, 더 복잡한 이미지로 하여도 얻어진 EEG 패턴과의 명확한 관계의 결함이다. 결과적으로 사용자는 시도할 때마다 동일한 EEG 패턴을 불러낼 수 없고, BCI는 사용자의 의도를 적절하게 인식할 수 없다.The first of them is the absence of a clear decision between the user's conscious intention to obtain a clear mental state (image) and the result of this process. The second is a deficiency of a clear relationship with the EEG pattern obtained even with simpler images of motion, even with more complex images. As a result, the user cannot invoke the same EEG pattern each time he tries, and the BCI cannot properly recognize the user's intentions.
이러한 종래의 문제점을 극복하기 위한 해결책 중의 하나는 BCI 시스템에서 피드백 정보의 의식적인 제어를 제거하는 것이다. 이처럼 의식적인 제어를 제거하는 방식은 사용자가 의식적인 평가에 대해 시도가 성공한 후에 오는 긍정적인 강화를 잃어버리기 때문에 불가능한 것처럼 보인다. 실제로 NF의 고전적인 구조에서, 피드백은 사용자에게 화면에서 커서를 움직이는 것과 같은 대수롭지 않은 신호를 다시 제공하고, 이전의 명령이 참여자가 이 신호를 강화 보상으로 바꾸도록 허용한 다.One solution to overcome this conventional problem is to remove conscious control of feedback information in the BCI system. This way of removing conscious control seems impossible because the user loses the positive reinforcement that comes after successful attempts at conscious evaluation. Indeed, in the classical structure of the NF, feedback gives the user an insignificant signal, such as moving the cursor on the screen, and the previous command allows the participant to turn this signal into a hardening reward.
기본적으로 무의식적인 강화 보상은 사전 지식이 없이 세션당 피드백 신호에 대해서 능동적으로 효과를 발휘하는 경우에만 가능하다. 이 경우에 사용자는 의식적인 제어 없이 BCI를 취급할 수 있다면, 자동적으로 피드백 신호를 자신에게 편안하게만 유지하려고 하고 원하지 않는 신호를 제거하려고 할 것이다.Basically, unconscious reinforcement compensation is possible only if it is actively working on the feedback signal per session without prior knowledge. In this case, if the user can handle the BCI without conscious control, he will automatically try to keep the feedback signal to himself comfortably and eliminate unwanted signals.
따라서 사용자는 BCI 시스템을 조작하는데 적합한 정신상태를 자동적으로 선택할 것이다. 훈련 절차 마친 후에 사용자가 이 무의식적인 정신상태를 BCI 시스템을 위한 뇌 무의식적인 명령들로서 자동적으로 사용하게 될 것이다. 이것은 BCI 시스템에 대한 새로운 패러다임을 개발하는 해결책의 중요한 아이디어이다.Thus, the user will automatically select the mental state suitable for operating the BCI system. After the training procedure, the user will automatically use this unconscious mental state as brain unconscious commands for the BCI system. This is an important idea of a solution for developing a new paradigm for BCI systems.
그래서 본 발명은 사람에게서 EEG 패턴들의 자의적 조건화가 잠재 의식적 레벨에서 가능하도록 한 것이고, 본 발명에서는 이를 위해 BCI의 피드백 채널에서 정보 전달매체로 색채를 사용한다.Thus, the present invention allows the arbitrary conditioning of EEG patterns in humans at the subconscious level, and the present invention uses color as the information transfer medium in the BCI's feedback channel.
이는 주변 색채가 잠재 의식적인 수준에서 정신상태를 분명한 방향으로 바꿀 수 있다는 아이디어에 기초를 두고 있다. 이 개념은 또한 사람이 좋아하는 색채 배경이나 색채 카드를 선택할 때, 그 사람은 무의식적으로 자신의 정신상태에 영향을 줄 수 있는 색채 상태로 되는 경향이 있다는 것을 전제로 한다. 이러한 색채 스펙트럼의 선택은 어린 시절에 습득된 인간의 감성적 언어라고 할 수 있다.It is based on the idea that surrounding colors can change mental states in a clear direction at a subconscious level. This concept also presupposes that when a person chooses a favorite color background or color card, the person tends to be in a color state that unconsciously affects his mental state. This choice of color spectrum can be said to be a human emotional language acquired in childhood.
색채에 대한 보상 신호는 NF 패러다임에서 무의식적인 강화 효과를 갖고, 색채-유도 EEG 패턴은 BCI 시스템을 위한 취급 신호로 사용될 수 있다. 그래서 색채 보상 신호를 사용하여 NF 훈련 동안에 동적 EEG 패턴에서 방향성 변화를 추적한다. 이에 따라 편안한 색채에 의한 긍정적인 강화는 대응하는 EEG 패턴을 더 빈번한 발생을 이끌어낸다. 반대로, 기피하는 색채에 의한 부정적인 강화는 대응하는 EEG 패턴의 감소로 이어지거나 심지어는 사라지게 할 것이다.The compensation signal for color has an unconscious reinforcement effect in the NF paradigm, and the color-induced EEG pattern can be used as a handling signal for the BCI system. Hence, color compensation signals are used to track directional changes in dynamic EEG patterns during NF training. Accordingly, positive reinforcement by comfortable color leads to more frequent occurrence of the corresponding EEG pattern. Conversely, negative reinforcement by avoiding colors will lead to or even disappear of the corresponding EEG pattern.
본 발명은 BCI 패러다임에서 색채 조절의 과정과 은연 중의 학습 동안에 발생하는 EEG 패턴을 설명한다. 본 발명은 의식적인 제어가 없이 자동적으로 BCI를 조작하는 방법에 대한 개념과 결과적으로 BCI를 통해서 피아노 연주할 때 발생하는 것처럼 자연스러운 인간 감정을 표현하기 위한 가능성을 강조한다.The present invention describes the EEG pattern that occurs during the process of color regulation and stealth learning in the BCI paradigm. The present invention emphasizes the concept of a method of automatically operating BCI without conscious control and the possibility for expressing natural human emotion as it occurs when playing piano through BCI as a result.
이를 위해 본 발명은 도 1에서와 같이, 헤드셋부(10), 뉴로피드백 처리부(20), 색채표시부(30)를 전체로 구성할 수 있으며, 각각 별개로 구성하는 것도 가능하다.To this end, in the present invention, as shown in FIG. 1, the
여기서 헤드셋부(10)에서는 색채표시부(30)에서 발생된 색채에 반응하는 사용자의 뇌파를 측정하게 된다. 이러한 헤드셋부(10)는 뉴로피드백 처리부(20)와 유선으로 연결되거나 또는 무선으로 연결될 수 있다.Here, the
이러한 헤드셋부(10)는 도 2에서와 같이 센서(11), 아이솔레이션 증폭부(12), 증폭부(13)로 구성할 수 있다.The
그래서 헤드셋부(10)의 센서(11)는 색채표시부(30)에서 발생된 색채에 반응하는 사용자의 뇌파를 측정하는 것으로, Ag/Agcl 센서로 구성할 수 있다. 이때 뇌파의 측정은 도 18의 국제 10-20 시스템에서 측정 채널은 Fp1, Fp2, AF7, AF8로 전극을 설정하고, 기준(Reference) 상태는 Fpz로 설정할 수 있다. 그래서 측정 채널은 Fp1, Fp2, AF7, AF8이고, 참조채널은 유양돌기이고, 접지채널은 Fpz로 설정하게 된다.Therefore, the
또한 헤드셋부(10)의 아이솔레이션 증폭부(12)는 센서(11)에서 측정된 신호를 아이솔레이션 증폭하게 된다.In addition, the
또한 헤드셋부(10)의 증폭부(13)는 아이솔레이션 증폭부(12)에서 아이솔레이션 증폭된 신호를 증폭하여 뉴로피드백 처리부(20)로 전송하게 된다. 이때 헤드셋부(10)의 증폭부(13)는 초단 이득 증폭을 수행하게 되는데, 종단 이득 증폭은 뉴로피드백 처리부(20)의 증폭부(23)에서 수행하게 된다.In addition, the amplifying
이러한 헤드셋부(10)의 실제 구성예를 도 3 내지 도 6에 예시하였다.An example of the actual configuration of the
그리고 뉴로피드백 처리부(20)는 헤드셋부(10)와 유선 또는 무선으로 연결되고, 헤드셋부(10)에서 측정된 뇌파 신호에 따라 색채표시부(30)에서 표시되는 색채가 변화되도록 제어하여 사용자의 특정 뇌파에 반응하는 특정 색채를 추출하게 된다.In addition, the
이러한 뉴로피드백 처리부(20)는, 도 7에서와 같이, LPF(21), 노치 필터(22), 증폭부(23), ADC(24), DSP(25), 메모리(26), 신호송신부(27)로 구성할 수 있고, 결과표시부(28)를 더욱 포함할 수 있다.As shown in FIG. 7, the
그래서 뉴로피드백 처리부(20)의 LPF(21)는 헤드셋부(10)로부터 유선 또는 무선을 통해 전달된 신호를 저역통과 필터링을 수행하여 노치 필터(22)로 전송한다.Therefore, the
또한 뉴로피드백 처리부(20)의 노치 필터(22)는 LPF(21)에서 출력되는 신호를 노치 필터링한다. 여기서 노치 필터링이란 특정의 주파수 응답 곡선 중에서 날 카로운 패인 편인 급격한 감쇠 특성을 나타내도록 하는 필터링을 말한다.In addition, the
또한 뉴로피드백 처리부(20)의 증폭부(23)는 노치 필터(22)의 출력을 증폭시킨다. 이러한 뉴로피드백 처리부(20)의 증폭부(23)는 헤드셋부(10)의 증폭부(13)와 비교하여 종단 이득 증폭을 수행하게 된다.In addition, the
또한 뉴로피드백 처리부(20)의 ADC(24)는 증폭부(23)에서 출력된 아날로그 신호를 입력받아 디지털 신호로 변환시켜 DSP(25)로 전달한다.In addition, the
또한 뉴로피드백 처리부(20)의 DSP(25)는 ADC(24)에서 출력된 디지털 신호를 입력받아 디지털 신호처리를 수행하여 헤드셋부(10)에서 측정된 뇌파 신호에 따라 색채표시부(30)에서 표시되는 색채가 변화되도록 제어하여 사용자의 특정 뇌파에 반응하는 특정 색채를 추출하도록 제어한다. 이러한 DSP(25)에서의 제어에 의해 기준 모드와 뉴로피드백 모드의 동작이 수행된다.In addition, the
또한 뉴로피드백 처리부(20)의 메모리(26)는 DSP(25)와 연결되고, 뉴로피드백 처리와 관련된 데이터를 저장한다.In addition, the
또한 뉴로피드백 처리부(20)의 신호송신부(27)는 DSP(25)와 연결되고, DSP(25)의 제어 명령을 색채표시부(30)로 유선 또는 무선을 통해 전달한다.In addition, the
또한 뉴로피드백 처리부(20)의 결과표시부(28)는 DSP(25)에서 처리된 결과를 표시하게 된다.In addition, the
이러한 뉴로피드백 처리부(20)는 도 8 및 도 9에서와 같은 형상으로 구성할 수 있다.The
그래서 뉴로피드백 처리부(20)의 앞면에서는, 도 8에서와 같이, 입력잭, 안 테나, 그래픽 LCD(Liquid Crystal Display) 디스플레이, 스타트(Start) 버튼, 이동 버튼, 스탑(Stop) 버튼, OK 버튼, 램프(Lamp), 파워 온/오프(Power on/off) 버튼, 출력잭 등이 보여질 수 있다.So, in front of the
또한 뉴로피드백 처리부(20)의 뒷면에서는, 도 9에서와 같이, 안테나, 입력잭, 스피커, 벨트 클립, 배터리 홀더, 출력잭 등이 보여질 수 있다.Also, as shown in FIG. 9, an antenna, an input jack, a speaker, a belt clip, a battery holder, an output jack, and the like may be seen from the back of the
그리고 색채표시부(30)는 뉴로피드백 처리부(20)와 유선 또는 무선으로 연결되고, 뉴로피드백 처리부(20)의 제어에 따라 색채를 변화시켜 표시하게 된다.The
이러한 색채표시부(30)는, 도 10에서와 같이, 신호수신부(31), 색채표시 드라이버(32), 색채표시기(33)로 구성할 수 있다.The
그래서 색채표시부(30)의 신호수신부(31)는 뉴로피드백 처리부(20)와 유선 또는 무선으로 연결되어 뉴로피드백 처리부(20)의 제어명령을 전송받아 색채표시 드라이버(32)로 전송한다.Thus, the
또한 색채표시부(30)의 색채표시 드라이버(32)는 신호수신부(31)에서 수신된 뉴로피드백 처리부(20)의 DSP(25)의 제어명령에 따라 색채표시기(33)를 구동시킨다.In addition, the
또한 색채표시부(30)의 색채표시기(33)는 색채표시 드라이버(32)의 구동에 의해 구동되어 색채를 표시하게 된다. 그러면 사용자의 머리에 장착된 헤드셋부(10)를 통해 색채표시기(33)에 감응하는 사용자의 반응을 Ag/Agcl 센서(11)에서 감지하여 뉴로피드백 처리부(20)에서 처리할 수 있게 된다.In addition, the
한편 본 발명의 제어 방법은 도 11에서와 같이 수행할 수 있다.Meanwhile, the control method of the present invention can be performed as shown in FIG.
그래서 먼저 헤드셋부(10)의 Ag/Agcl 센서(11)는 색채표시부(30)의 색채표시기(33)에 반응하는 사용자의 뇌파를 측정한다(ST1).Therefore, first, the Ag /
그러면 뉴로피드백 처리부(20)는 헤드셋부(10)에서 측정된 사용자의 뇌파 신호를 입력받고, 색채표시부(30)를 제어하여 기준 색채가 출력되도록 한다(ST2). 이때의 기준 색채는 회색으로 출력되도록 할 수 있다.Then, the
그리고 뉴로피드백 처리부(20)는 헤드셋부(10)에서 측정된 뇌파를 입력받아 실시간 뇌파 측정을 수행한다(ST3).The
또한 측정된 뇌파에 따라 색채표시부(30)에서 출력된 색채가 변화되도록 제어하여 뇌파 분석 데이터에 의한 색채 변화(RGB 변화)를 수행한다(ST4).In addition, the color output from the
그래서 색채가 일정하게 수렴하는지를 판별한다(ST5).Thus, it is determined whether the colors constantly converge (ST5).
색채가 일정하게 수렴할 때까지 실시간 뇌파 측정과 RGB 변화를 반복적으로 수행한 다음 색채가 일정하게 수렴하게 되면 해당 색채를 사용자의 특정 뇌파의 색채로 진단하게 된다(ST6).Real-time EEG measurement and RGB changes are repeatedly performed until the colors converge constantly, and when the colors converge constantly, the color is diagnosed as the color of the specific EEG of the user (ST6).
한편 도 12 및 도 13은 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 기준 모드에서의 제어방법을 보인 흐름도이다. 이를 통해 기준 모드에서의 동작을 상세히 설명하면 다음과 같다.12 and 13 are flowcharts illustrating a control method in a reference mode of a neurofeedback device using colors according to an embodiment of the present invention. The operation in the reference mode will be described in detail as follows.
먼저 제 11 단계(ST11)에서는 뉴로피드백 장치의 기준 모드 설정을 위해 색채표시부(30)를 초기화한다. 이때 색채표시부(30)의 초기색은 회색(R=128, G=128, B=128)으로 설정하고, 색채 신호 단계는 256 단계로 설정할 수 있다(ST11).First, in the eleventh step ST11, the
그리고 제 12 단계(ST12 ~ ST17)에서는 뇌파를 측정하여 3D 벡터 PSD를 계산 하여 색깔에 매핑시킨다.In the twelfth step ST12 to ST17, the brain wave is measured to calculate and map the 3D vector PSD to color.
이를 위해 먼저 Ag/Agcl 센서(11)에 의해 뇌파 측정을 하는데, 이는 측정채널을 Fp1, Fp2, AF3, AF8로 설정하고, 참조채널로 유양돌기를 설정하며, 접지채널로 Fpz를 설정한다. 이때 Ag/Agcl 센서(11)의 전극들은 좌우 눈 꼬리와 좌측 눈 위아래 약 1.5cm에 위치하도록 설정할 수 있다. 또한 아이솔레이션 증폭부(12)에 의한 IA 증폭 및 증폭부(13)에 의한 초단 이득 증폭을 수행한다(ST12).To this end, the EEG measurement is first performed by the Ag /
그리고 뇌파 신호의 전처리를 수행한다. 이는 LPF(21)에서 저역통과 필터링(LPF)을 수행하고, 노치 필터(22)에서 노치필터링(예를 들면, 60Hz/50Hz)을 수행하며, 증폭부(23)에서 종단 이득 증폭을 수행한다(ST13).And pre-processing the EEG signal. It performs low pass filtering (LPF) in the
그런 다음 뇌파 신호 디지타이징을 수행한다. 이는 ADC(24)에서 변환된 디지털 신호를 이용하여 DSP(25)에서 수행한다. 그래서 표본화율(예를 들면, 250Hz)과 분해능(12비트)과 채널수(4CH, 4채널)를 포함한 조건에 의해 디지타이징을 수행한다(ST14).Then, EEG signal digitization is performed. This is performed in the
그리고 ICA 알고리즘을 적용한다. 즉, 디지털 필터링을 수행하고, 눈 깜박임 아티팩트, EOG 아티팩트, EMG 아티팩트를 제거한다(ST15).And apply ICA algorithm. That is, digital filtering is performed and eye blink artifacts, EOG artifacts, and EMG artifacts are removed (ST15).
또한 3D 벡터 PSD를 계산한다. 이는 FFT/AR 기법을 적용하여 수행한다. 주파수 분해도는 0.5Hz로 설정할 수 있으며, 슬라이딩 기법을 적용하고 75% 중복으로 설정할 수 있다. 그리고 세타파와 알파파와 베타파에 대해 주파수 대역을 설정하는데, 예를 들면, 세타파는 4.0 ~ 7.0Hz, 알파파는 7.5 ~ 12.0Hz, 베타파는 16.0 ~ 22.0Hz로 설정할 수 있다(ST16).Also calculate 3D vector PSD. This is done by applying the FFT / AR technique. The frequency resolution can be set to 0.5Hz, with a sliding technique and set to 75% redundancy. And the frequency band is set for theta wave, alpha wave and beta wave, for example, theta wave can be set to 4.0 ~ 7.0Hz, alpha wave 7.5 ~ 12.0Hz, beta wave 16.0 ~ 22.0Hz (ST16).
그리고 3D 벡터 PSD와 색깔을 매핑시킨다. 이를 위해 예를 들어, 세타파는 레드(Red)로 매핑시키고, 알파파는 그린(Green)으로 매핑시키며, 베타파는 블루(Blue)로 매핑시킬 수 있다(ST17).And map the color with the 3D vector PSD. To do this, for example, theta waves may be mapped to red, alpha waves to green, and beta waves to blue (ST17).
또한 제 13 단계(ST18 ~ ST21)에서는 3D 벡터의 변화량인 3D 벡터 sPSD를 계산하여 3D 벡터의 sPSD와 RGB 벡터를 매핑시켜 RGB 벡터의 변화값을 저장한 다음 일정 시간이 경과했는지 판별하게 된다.In the thirteenth step (ST18 to ST21), the 3D vector sPSD, which is the change amount of the 3D vector, is calculated, the sPSD and the RGB vector of the 3D vector are mapped to store the change value of the RGB vector, and then it is determined whether a predetermined time elapses.
그래서 먼저 sPSD 계산을 수행한다. 예를 들면, (이전의 PSD - 현재의 PSD) / ( 이전의 PSD) X 100%를 수행하여 3D 벡터 sPSD를 계산할 수 있다(ST18).So first we perform the sPSD calculation. For example, 3D vector sPSD may be calculated by performing (old PSD-current PSD) / (old PSD) X 100% (ST18).
그리고 RGB 벡터를 매핑시킨다. 예를 들면, 3D 벡터 PSD의 변화량에 대한 1%당 RGB를 3단계 변화로 매핑시킬 수 있다. 이러한 매핑된 결과를 이용하여 색채표시부(30)의 색채표시기(33)에 색채를 표시하게 된다(ST19).Then map the RGB vectors. For example, RGB per 1% of the amount of change in the 3D vector PSD may be mapped to a three-step change. The color is displayed on the
그런 다음 RGB 벡터의 변화값을 저장한다(ST20).Then, the change value of the RGB vector is stored (ST20).
이렇게 RGB 벡터를 매핑시킨 다음 일정시간이 경과했는지를 판별한다.After mapping the RGB vectors, it is determined whether a certain time has elapsed.
그래서 일정시간이 경과하지 않았으면 sPSD 계산 단계로 리턴하여 다시 sPSD 계산과 RGB 벡터 매핑을 재수행하고, 일정시간이 경과했으면 다음 단계인 제 14 단계로 리턴하게 된다(ST21).If the predetermined time has not elapsed, the process returns to the sPSD calculation step and re-performs the sPSD calculation and the RGB vector mapping. If the predetermined time has elapsed, the process returns to the next step 14 (ST21).
또한 제 14 단계(ST22 ~ ST25)에서는 RGB 벡터의 변화값을 로딩하여 피험자의 선호 색상을 분류하고, 피험자의 선호 색상을 결정하며, 뉴로피드백 모드 선정을 수행하게 된다.In addition, in the fourteenth step (ST22 to ST25), the change of the RGB vector is loaded to classify the subject's preferred color, determine the subject's preferred color, and perform neurofeedback mode selection.
그래서 먼저 제 13 단계에서 저장된 RGB 벡터의 변화값을 로딩한다(ST22).Therefore, first, the change value of the RGB vector stored in the thirteenth step is loaded (ST22).
그리고 로딩된 RGB 벡터의 변화값을 이용하여 피험자의 선호 색상을 분류한다. 이에 따라 저장된 3D 벡터의 변화량(sPSD)의 클러스터링(clustering) 분석을 통한 개인별 선호색을 결정하게 된다. 이러한 피험자의 선호 색상 분류는 K-means 클러스터링 또는 PCA(Prime Component Analysis, 주성분 분석)를 적용할 수 있다. 여기서 K-means 클러스터링(K-평균 군집화)은 유사한 특성을 갖는 요소들은 서로 근접하여 위치한다는 가정에 근거하여 가깝게 위치한 요소들을 찾아 군집으로 묶어주는 기법이고, PCA는 주성분 분석을 통해 군집화를 수행하는 기법이다. 그래서 K-means 클러스터링을 이용할 경우 클러스터의 개수를 결정하며, 역치(threshold)값을 선정한다. 이때 역치값 선정은 RGB 3D 공간에서 거리편차가 36.4(PSD의 7% 변화량에 대응) 이하는 분류에서 제외하는 방식을 이용하여 선정할 수 있다(ST23).The subject's preferred color is classified by using the change value of the loaded RGB vector. As a result, individual preference colors are determined through clustering analysis of the variation amount (sPSD) of the stored 3D vector. The subject's preferred color classification may apply K-means clustering or PCA (Prime Component Analysis). Here, K-means clustering (K-means clustering) is a technique that clusters the elements located close to each other based on the assumption that elements with similar characteristics are located close to each other, and PCA performs clustering through principal component analysis. to be. Therefore, when using K-means clustering, the number of clusters is determined, and a threshold value is selected. In this case, the threshold value may be selected using a method of excluding a distance deviation of 36.4 or less (corresponding to 7% variation of PSD) in the RGB 3D space from the classification (ST23).
또한 피험자의 선호 색상을 결정한다. 이는 벡터의 값이 가장 많은 클러스터인 메이저 클러스터(Major cluster)의 평균 RGB 값에 해당하는 색상을 선호 색상으로 결정할 수 있다(ST24).It also determines the subject's preferred color. This may determine the color corresponding to the average RGB value of the major cluster, which is the cluster having the largest value of the vector, as the preferred color (ST24).
그리고 뉴로피드백 모드를 선정한다. 이는 이완도, 집중도, 우울증 개선 모드 중에서 하나 이상의 모드를 포함하여 뉴로피드백 모드를 선정할 수 있다. 또한 선호색을 개선하고자 하는 뇌파 파라미터로 대응시킬 수 있다(ST25).Then select the neurofeedback mode. It may select a neurofeedback mode, including one or more modes among relaxation, concentration, and depression improvement modes. In addition, it may be mapped to the EEG parameter to improve the preferred color (ST25).
또한 제 15 단계(ST26 ~ ST32)에서는 뇌파를 측정하여 색채표시기(33)의 색상을 변화시키게 된다.In addition, in the fifteenth step ST26 to ST32, the color of the
이때 뇌파측정 단계(ST26), 뇌파신호 전처리 단계(ST27), 뇌파신호 디지타이징 단계(ST28), ICA 알고리즘 적용 단계(ST29), 3D 벡터 PSD 계산 단계(ST30)는 제 12 단계에서의 뇌파측정 단계(ST12), 뇌파신호 전처리 단계(ST13), 뇌파신호 디지타이징 단계(ST14), ICA 알고리즘 적용 단계(ST15), 3D 벡터 PSD 계산 단계(ST16)의 동작과 동일하게 수행한다.The EEG measurement step (ST26), EEG signal preprocessing step (ST27), EEG signal digitizing step (ST28), ICA algorithm application step (ST29), 3D vector PSD calculation step (ST30) is the EEG measurement step (12) ST12), the EEG signal preprocessing step ST13, the EEG signal digitizing step ST14, the ICA algorithm application step ST15, and the 3D vector PSD calculation step ST16.
그런 다음 색채표시기(33)의 색상을 변화시킨다(ST31).Then, the color of the
그래서 일정시간 동안 색채의 변화가 없는지를 판별하여, 일정시간 동안 색채의 변화가 있으면 제 15 단계를 재수행하고, 일정시간 동안 색채의 변화가 없으면 종료하게 된다(ST32).Thus, it is determined whether there is no color change for a predetermined time, and if there is a color change for a predetermined time, the fifteenth step is performed again, and if there is no color change for a predetermined time, the process ends (ST32).
한편 도 14 및 도 15는 본 발명의 일실시예에 의한 색채를 이용한 뉴로피드백 장치의 뉴로피드백 모드에서의 제어방법을 보인 흐름도이다. 이를 통해 뉴로피드백 모드의 동작을 상세히 설명하면 다음과 같다.14 and 15 are flowcharts illustrating a control method in a neurofeedback mode of a neurofeedback device using colors according to an embodiment of the present invention. This will be described in detail the operation of the neurofeedback mode as follows.
먼저 뉴로피드백 장치에 접속하여 뉴로피드백 장치가 파워 온(Power On)이 되면(ST41), 뉴로피드백 처리부(20)에서 기능선택을 할 수 있도록 하는 화면을 출력한다(ST42).First, when the neurofeedback device is powered on (ST41), the
그러면 트레이닝 모드를 선택할 수 있도록 하는 화면을 출력한다(ST43).Then, a screen for selecting a training mode is output (ST43).
이때 사용자가 트레이닝 모드를 선택하면 이완도 모드를 선택할 수 있도록 하는 화면을 출력한다(ST44).At this time, when the user selects the training mode, a screen for selecting the relaxation mode is output (ST44).
그래서 사용자가 이완도 모드를 선택하면 이완도 향상훈련이 수행되도록 한다(ST45).Thus, when the user selects the relaxation mode, relaxation improvement training is performed (ST45).
이렇게 이완도 향상훈련이 수행되는 도중에 뉴로피드백 처리부(20)의 스탑 버튼이 온 되면(ST46). 데이터를 저장할 것인지를 묻는 화면을 출력한다(ST47). 사 용자가 데이터 저장을 선택하면, 이완도 향상훈련의 결과 데이터를 뉴로피드백 처리부(20)의 메모리(26)에 저장한다(ST48). 사용자가 데이터 저장을 선택하지 않으면 무시한다(ST49).When the stop button of the
그리고 이완도 향상훈련이 수행되는 도중에 뉴로피드백 처리부(20)의 스탑 버튼이 온 되지 않으면, 색채표시부(30)에서 표시되는 색채가 불변인지를 판별한다(ST50). 그래서 표시색채가 불변이 아니면, 다시 이완도 향상훈련이 계속 진행되도록 한다. 그리고 표시색채가 불변이면, 이때의 결과 데이터를 뉴로피드백 처리부(20)의 메모리(26)에 저장하고(ST51), 사용자에게 알린다(ST52).If the stop button of the
또한 사용자가 이완도 모드를 선택하지 않으면 집중도 모드를 선택할 수 있도록 하는 화면을 출력한다(ST53).In addition, if the user does not select the relaxation mode, a screen for selecting the concentration mode is output (ST53).
그래서 사용자가 집중도 모드를 선택하면 집중도 향상훈련이 수행되도록 한다(ST54).Thus, when the user selects the concentration mode, concentration improvement training is performed (ST54).
이렇게 집중도 향상훈련이 수행되는 도중에 뉴로피드백 처리부(20)의 스탑 버튼이 온 되면(ST55). 데이터를 저장할 것인지를 묻는 화면을 출력한다(ST56). 사용자가 데이터 저장을 선택하면, 집중도 향상훈련의 결과 데이터를 뉴로피드백 처리부(20)의 메모리(26)에 저장한다(ST57). 사용자가 데이터 저장을 선택하지 않으면 무시한다(ST58).When the stop button of the
그리고 집중도 향상훈련이 수행되는 도중에 뉴로피드백 처리부(20)의 스탑 버튼이 온 되지 않으면, 색채표시부(30)에서 표시되는 색채가 불변인지를 판별한다(ST59). 그래서 표시색채가 불변이 아니면, 다시 집중도 향상훈련이 계속 진행되도 록 한다. 그리고 표시색채가 불변이면, 이때의 결과 데이터를 뉴로피드백 처리부(20)의 메모리(26)에 저장하고(ST60), 사용자에게 알린다(ST61).If the stop button of the
또한 사용자가 집중도 모드를 선택하지 않으면 우울증 개선훈련이 수행되도록 한다(ST62).In addition, if the user does not select the concentration mode, the depression improvement training is performed (ST62).
이렇게 우울증 개선훈련이 수행되는 도중에 뉴로피드백 처리부(20)의 스탑 버튼이 온 되면(ST63). 데이터를 저장할 것인지를 묻는 화면을 출력한다(ST64). 사용자가 데이터 저장을 선택하면, 우울증 개선훈련의 결과 데이터를 뉴로피드백 처리부(20)의 메모리(26)에 저장한다(ST65). 사용자가 데이터 저장을 선택하지 않으면 무시한다(ST66).When the stop button of the
그리고 우울증 개선훈련이 수행되는 도중에 뉴로피드백 처리부(20)의 스탑 버튼이 온 되지 않으면, 색채표시부(30)에서 표시되는 색채가 불변인지를 판별한다(ST67). 그래서 표시색채가 불변이 아니면, 다시 우울증 개선훈련이 계속 진행되도록 한다. 그리고 표시색채가 불변이면, 이때의 결과 데이터를 뉴로피드백 처리부(20)의 메모리(26)에 저장하고(ST68), 사용자에게 알린다(ST69).If the stop button of the
또한 사용자가 트레이닝 모드를 선택하지 않으면, 뇌파 표시 여부를 선택할 수 있도록 하는 화면을 출력한다(ST70).In addition, if the user does not select a training mode, a screen for selecting whether to display the EEG is output (ST70).
그래서 사용자가 뇌파 표시를 선택하면, 실시간 뇌파 표시를 수행한다(ST71). 그리고 뉴로피드백 처리부(20)의 OK 버튼이 눌러지지 않으면 실시간 뇌파 표시를 계속적으로 수행하고, 뉴로피드백 처리부(20)의 OK 버튼이 눌러지면 초기의 기능 선택 모드를 출력한다(ST42).Thus, when the user selects the EEG display, real-time EEG display is performed (ST71). If the OK button of the
또한 사용자가 뇌파 표시를 선택하지 않으면, 저장 데이터 표시를 출력한다(ST73).If the user does not select the EEG display, the stored data display is output (ST73).
그래서 사용자가 저장 데이터 표시를 선택하지 않으면 초기의 기능 선택 모드를 출력하고(ST42), 사용자가 저장 데이터 표시를 선택하면 상대 파워 밀도를 출력할 것인지를 선택하게 하는 화면을 출력한다(ST74).Thus, if the user does not select the display of stored data, the initial function selection mode is output (ST42), and if the user selects the display of stored data, a screen for selecting whether to output the relative power density is output (ST74).
그래서 사용자가 상대 파워 밀도를 출력하고자 선택하면, 상대 파워 밀도를 막대 그래프로 표시한다(ST75). 그리고 뉴로피드백 처리부(20)의 OK 버튼이 눌러지지 않으면 상대 파워 밀도에 대한 막대 그래프 표시를 계속적으로 수행하고, 뉴로피드백 처리부(20)의 OK 버튼이 눌러지면 초기의 기능 선택 모드를 출력한다(ST42).Thus, when the user selects to output the relative power density, the relative power density is displayed in the bar graph (ST75). If the OK button of the
그리고 사용자가 상대 파워 밀도를 선택하지 않으면, 횟수별 파워 밀도를 출력할 것인지를 선택하게 하는 화면을 출력한다(ST77).If the user does not select the relative power density, a screen for selecting whether to output the power density for each time is output (ST77).
그래서 사용자가 횟수별 파워 밀도를 출력하고자 선택하면, 횟수별 파워 밀도를 꺾은 선으로 표시한다(ST78). 그리고 뉴로피드백 처리부(20)의 OK 버튼이 눌러지지 않으면 횟수별 파워 밀도에 대한 꺾은 선 표시를 계속적으로 수행하고, 뉴로피드백 처리부(20)의 OK 버튼이 눌러지면 초기의 기능 선택 모드를 출력한다(ST42).Thus, when the user selects to output the power density for each time, the power density for each time is displayed as a broken line (ST78). If the OK button of the
도 16 및 도 17은 도 14 및 도 15에서 뉴로피드백 모드의 출력예를 보인 도면이다.16 and 17 show examples of output of the neurofeedback mode in FIGS. 14 and 15.
그래서 도 16의 (a)는 뉴로피드백 처리부(20)의 결과표시부(28)에 초기 화면 에서 트레이닝 모드(Training Mode), 뇌파 표시(Brainwave Display), 저장 데이터 표시(result Data Display)에서 트레이닝 모드를 선택한 예를 보인 것이다. 도 16의 (b)는 (a)에서 트레이닝 모드를 선택했을 경우에 이완도 향상훈련(Relaxation Training), 집중도 향상훈련(Attention Training), 우울증 개선훈련(Anti-depression Training) 모드를 출력한 예를 보인 것이다.16A illustrates a training mode in a training mode, a brainwave display, and a stored data display on an initial screen of the
또한 도 16의 (c)는 (a)에서 뇌파 표시(Brainwave Display)를 선택한 예를 보인 것이다. 도 16의 (d)는 (c)에서 뇌파 표시를 선택했을 경우에 우뇌(Right Hemisphere)와 좌뇌(Left Hemisphere)의 뇌파를 출력한 예를 보인 것이다.In addition, Figure 16 (c) shows an example of selecting a brainwave display (Brainwave Display) in (a). (D) of FIG. 16 shows an example in which the brain waves of the right hemisphere and the left hemisphere are output when the brain wave display is selected in (c).
또한 도 16의 (e)는 (a)에서 저장 데이터 표시(Result Data Display)를 선택한 예를 보인 것이다. 도 16의 (f)는 (e)에서 저장 데이터 표시를 선택했을 경우에 상대 파워 밀도(Relative Power Density), 횟수별 파워 밀도(Trail Result History) 모드를 출력한 예를 보인 것이다.In addition, FIG. 16E illustrates an example in which a stored data display is selected in (a). FIG. 16 (f) shows an example of outputting a relative power density and a trail result history mode when the stored data display is selected in (e).
또한 도 17의 (g)는 도 16의 (f)에서 상대 파워 밀도(Relative Power Density)를 선택한 예를 보인 것이다. 도 17의 (h)는 도 17의 (g)에서 우뇌와 좌뇌에 대한 상대 파워 밀도를 막대 그래프로 표시한 예를 보인 것이다.In addition, FIG. 17G illustrates an example in which a relative power density is selected in FIG. 16F. FIG. 17H illustrates an example in which a relative power density of the right brain and the left brain is displayed in a bar graph in FIG. 17G.
또한 도 17의 (i)는 도 16의 (f)에서 횟수별 파워 밀도(trail Result History)를 선택한 예를 보인 것이다. 도 17의 (j)는 도 17의 (i)에서 우뇌와 좌뇌에 대한 횟수별 파워 밀도를 꺾은 선으로 표시한 예를 보인 것이다.17 (i) shows an example of selecting a trail result history by the number of times in FIG. 16 (f). FIG. 17 (j) shows an example in which power densities for the right brain and the left brain are indicated by broken lines in FIG. 17 (i).
이처럼 본 발명은 뇌에서 무의식적으로 선호하는 색채를 추출하여 뇌기능 장애를 해결하게 되는 것이다.As described above, the present invention solves brain dysfunction by unconsciously extracting preferred colors from the brain.
이상에서 살펴본 바와 같이, 본 발명에 의한 색채를 이용한 뉴로피드백 장치 및 그 제어방법은 뇌에서 무의식적으로 선호하는 색채를 추출하여 뇌기능 장애를 해결할 수 있는 효과가 있게 된다.As described above, the neurofeedback device using the color according to the present invention and a control method thereof have the effect of unconsciously extracting preferred colors from the brain to solve brain dysfunction.
그래서 본 발명은 색채를 이용한 무의식적인 BCI 훈련의 최적화를 통해 사용자들이 최적으로 자동적인 자기-조절로 자신들의 인지와 감성 수단들을 다루도록 하는 도구를 제공할 수 있는 효과가 있게 된다.Thus, the present invention has the effect of providing a tool that allows users to handle their cognitive and emotional means with optimal automatic self-regulation through the optimization of unconscious BCI training using color.
이상에서 본 발명의 바람직한 실시예에 한정하여 설명하였으나, 본 발명은 이에 한정되지 않고 다양한 변화와 변경 및 균등물을 사용할 수 있다. 따라서 본 발명은 상기 실시예를 적절히 변형하여 응용할 수 있고, 이러한 응용도 하기 특허청구범위에 기재된 기술적 사상을 바탕으로 하는 한 본 발명의 권리범위에 속하게 됨은 당연하다 할 것이다.Although the above has been described as being limited to the preferred embodiment of the present invention, the present invention is not limited thereto and various changes, modifications, and equivalents may be used. Therefore, the present invention can be applied by appropriately modifying the above embodiments, it will be obvious that such application also belongs to the scope of the present invention based on the technical idea described in the claims below.
Claims (35)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060042006A KR100798475B1 (en) | 2006-05-10 | 2006-05-10 | Apparatus and control method for brain biofeedback by using color |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060042006A KR100798475B1 (en) | 2006-05-10 | 2006-05-10 | Apparatus and control method for brain biofeedback by using color |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100798475B1 true KR100798475B1 (en) | 2008-01-28 |
Family
ID=41338955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060042006A KR100798475B1 (en) | 2006-05-10 | 2006-05-10 | Apparatus and control method for brain biofeedback by using color |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100798475B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850223A (en) * | 2015-04-28 | 2015-08-19 | 成都腾悦科技有限公司 | Music terminal real-time interaction system based on brain wave wireless headset |
KR20200113614A (en) | 2019-03-26 | 2020-10-07 | 재단법인 철원플라즈마 산업기술연구원 | User-based customized lighting system and method considering surrounding environment |
KR20210030325A (en) | 2019-03-26 | 2021-03-17 | 재단법인 철원플라즈마 산업기술연구원 | User-based customized lighting system and method considering surrounding environment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000350784A (en) * | 1999-06-11 | 2000-12-19 | Pioneer Electronic Corp | Brain wave induction apparatus |
US20040210156A1 (en) | 2002-02-19 | 2004-10-21 | Hogan Mark Bradford | Color-based neurofeedback |
-
2006
- 2006-05-10 KR KR1020060042006A patent/KR100798475B1/en not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000350784A (en) * | 1999-06-11 | 2000-12-19 | Pioneer Electronic Corp | Brain wave induction apparatus |
US20040210156A1 (en) | 2002-02-19 | 2004-10-21 | Hogan Mark Bradford | Color-based neurofeedback |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104850223A (en) * | 2015-04-28 | 2015-08-19 | 成都腾悦科技有限公司 | Music terminal real-time interaction system based on brain wave wireless headset |
KR20200113614A (en) | 2019-03-26 | 2020-10-07 | 재단법인 철원플라즈마 산업기술연구원 | User-based customized lighting system and method considering surrounding environment |
KR20210030325A (en) | 2019-03-26 | 2021-03-17 | 재단법인 철원플라즈마 산업기술연구원 | User-based customized lighting system and method considering surrounding environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Müller-Putz | Electroencephalography | |
Neuper et al. | Motor imagery and EEG-based control of spelling devices and neuroprostheses | |
He et al. | Brain–computer interfaces | |
Borgheai et al. | Enhancing communication for people in late-stage ALS using an fNIRS-based BCI system | |
KR100508885B1 (en) | Wireless telemetric system and method for neurofeedback training using parameters of electroencephalogram(EEG) | |
Mak et al. | Clinical applications of brain-computer interfaces: current state and future prospects | |
Sorger et al. | Another kind of ‘BOLD Response’: answering multiple-choice questions via online decoded single-trial brain signals | |
CA2935813C (en) | Adaptive brain training computer system and method | |
WO1998001177A1 (en) | Relax guiding device and biofeedback guiding device | |
KR20070109260A (en) | Apparatus and control method for brain biofeedback by using color | |
KR102420359B1 (en) | Apparatus and method for generating 1:1 emotion-tailored cognitive behavioral therapy in metaverse space through AI control module for emotion-customized CBT | |
Yao et al. | Performance variation of a somatosensory BCI based on imagined sensation: a large population study | |
Robinson et al. | Bi-directional imagined hand movement classification using low cost EEG-based BCI | |
KR100798475B1 (en) | Apparatus and control method for brain biofeedback by using color | |
CN110491498A (en) | A kind of data receiver and processing method of brain wave signal | |
KR20220028967A (en) | Treatement apparatus and method based on neurofeedback | |
Carabalona et al. | Brain-computer interfaces and neurorehabilitation | |
CN114376586A (en) | Attention training system based on memorial and electroencephalogram signal feedback | |
Albajes-Eizagirre et al. | Quantitative EEG for Brain–Computer Interfaces | |
Prasad et al. | Brain–machine interfaces | |
Alzahrani et al. | EEG P300 wave detection using Emotiv EPOC+: Effects of matrix size, flash duration, and colors | |
Khan et al. | EEG-based BCI systems for neurorehabilitation applications | |
Sansana | BCI-based spatial navigation control: a comparison study | |
Laport Lopez | Novel developments of brain-computer interfaces for smart home control | |
Barreto | Non-intrusive physiological monitoring for affective sensing of computer users |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
G170 | Publication of correction | ||
FPAY | Annual fee payment |
Payment date: 20120711 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |