KR101077664B1 - 노래반주기의 악보를 이용한 채점 및 분석 방법 - Google Patents

노래반주기의 악보를 이용한 채점 및 분석 방법 Download PDF

Info

Publication number
KR101077664B1
KR101077664B1 KR1020090091338A KR20090091338A KR101077664B1 KR 101077664 B1 KR101077664 B1 KR 101077664B1 KR 1020090091338 A KR1020090091338 A KR 1020090091338A KR 20090091338 A KR20090091338 A KR 20090091338A KR 101077664 B1 KR101077664 B1 KR 101077664B1
Authority
KR
South Korea
Prior art keywords
score
song
scoring
information
pitch
Prior art date
Application number
KR1020090091338A
Other languages
English (en)
Other versions
KR20110033736A (ko
Inventor
김명환
Original Assignee
주식회사 금영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 금영 filed Critical 주식회사 금영
Priority to KR1020090091338A priority Critical patent/KR101077664B1/ko
Publication of KR20110033736A publication Critical patent/KR20110033736A/ko
Application granted granted Critical
Publication of KR101077664B1 publication Critical patent/KR101077664B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/101—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters
    • G10H2220/131—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith for graphical creation, edition or control of musical data or parameters for abstract geometric visualisation of music, e.g. for interactive editing of musical parameters linked to abstract geometric figures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
    • G10H2250/131—Mathematical functions for musical analysis, processing, synthesis or composition
    • G10H2250/215—Transforms, i.e. mathematical transforms into domains appropriate for musical signal processing, coding or compression
    • G10H2250/235—Fourier transform; Discrete Fourier Transform [DFT]; Fast Fourier Transform [FFT]

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

노래반주기의 악보를 이용한 채점 및 분석 방법이 개시된다. 개시된 노래반주기의 악보를 이용한 채점 및 분석 방법은, (a) 노래반주기가 출력하는 음원이 멜로디 악보로 변환되면서 상기 노래반주기에 연결된 디스플레이에 표시되는 단계와; (b) 상기 노래반주기로 입력되는 음성 데이터를 FFT(Fast Fourier Transformation) 연산하여 음정, 박자, 및 떨림을 분석하여 검출하고, 검출된 데이터를 DB로 전환하는 단계와; (c) 상기 DB로 전환된 상기 음정, 박자, 및 떨림의 입력정보와 기준정보와의 편차를 비교하는 단계와; (d) 상기 단계 (c)에서, 상기 입력정보와 상기 기준정보와의 편차가 기준 편차 범위 내인 경우, 실시간으로 멜로디 악보가 상기 디스플레이에 표시되는 단계와; (e) 상기 노래반주기의 출력이 종료되는 단계와; (f) 상기 입력정보와 상기 기준정보를 최종적으로 비교 분석하는 단계와; (g) 분석한 결과에 따라 채점을 하고, 채점 결과를 상기 디스플레이에 표시하는 단계;를 포함하는 것을 그 특징으로 한다.
노래반주기, 악보, 채점, FFT

Description

노래반주기의 악보를 이용한 채점 및 분석 방법{METHOD OF SCORING AND ANALYZING SONG USING SCORE OF KARAOKE PLAYER}
본 발명은 노래반주기의 악보를 이용한 채점 및 분석 방법에 관한 것으로서, 보다 상세하게는 자신이 노래한 결과에 대하여 실시간으로 분석 및 시각적 정보로 화면에 보여줌으로서 혼자서도 완벽한 노래 연습 및 악보 분석이 가능하게 한 노래반주기의 악보를 이용한 채점 및 분석 방법에 관한 것이다.
일반적으로 노래반주기[일명, 가라오케(KARAOKE)]란 노래반주기 내에 저장되어 있는 노래 중 사용자에 의해 선곡된 노래의 반주(오디오 데이터)와 특정 화면(영상 데이터), 예컨대 배경화면, 가사 등을 출력하는 기기로서, 이에 사용자가 모니터에 표시되는 가사를 보고 스피커에서 출력되는 반주를 들으면서 마이크를 사용하여 노래를 따라 부르게 된다.
이와 같이 노래반주기를 이용하여 노래를 부르는 경우, 이 노래반주기에 입력된 음성 신호의 세기만을 측정하여 노래 부른 결과에 대하여 채점을 하게 된다.
이러한 채점 결과는 사실상 노래의 순수음악적 정보인 음정, 박자 등을 분석 하는 프로세스를 거치지 않기 때문에 소비자들은 음악적으로 일정한 기준이 없는 채점 알고리즘 상에서 만족할 만한 결과를 획득할 수 없고, 사실상 채점의 의미 및 사실적 여부에 대하여 신뢰도가 형성되지 않고 있다.
그리고 종래의 노래반주기 채점 기술은 마이크로부터 입력된 음성신호의 세기만을 분석하여 채점함으로서 실연된 음성의 음악적 정보[예컨대, 음정(PITCH) 및 박자(BEAT)]와는 관계가 없어 채점결과에 대하여 객관적이지 못하여 신뢰성이 없다. 이에 따라 노래한 사람들의 상대적 비교에 한계를 가지고 있다.
이는 노래 대결 등의 게임 등에서 객관적이고 공정한 심사결과를 도출할 수 없으며, 다수의 인원을 기준으로 채점할 때 제일 취약한 구조를 가지고 있다.
또한 종래의 노래반주기에 입력된 음성은 FFT(Fast Fourier Transformation) 등의 알고리즘으로 처리되지 않기 때문에 그 정보를 악보(SCORE) 등과 비교할 수 없으며, 소비자들에게 보다 합리적인 기능을 제안할 수 없다.
그리고 입력된 음성신호를 음정 및 박자로 구분하여 채점하는 기술도 숫자로 보여주는 것에 그치고 있으며, 악보상의 음표에 실시간으로 대입하여 보여주거나 채점결과를 저장 및 전송 관리는 하는 기술 및 방법은 아직까지 없는 실정이다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 창출된 것으로서, 모니터에 표출되는 악보 상의 음정과 박자에 아날로그 음성신호를 FFT(Fast Fourier Transformation) 방식으로 치환한 디지털 시그널 결과를 비교하여 자신이 노래한 결과에 대하여 실시간으로 분석하고, 시각적 정보로 모니터에 보여줘 지속적으로 자신의 노래 부르는 것에 대한 음정, 박자 등의 데이터를 관리하여 자신의 노래 실력을 향상시킬 수 있도록 한 노래반주기의 악보를 이용한 채점 및 분석 방법을 제공하는데 그 목적이 있다.
삭제
상기와 같은 목적을 달성하기 위한 본 발명의 노래반주기의 악보를 이용한 채점 및 분석 방법은, (a) 노래반주기가 출력하는 음원이 멜로디 악보로 변환되면서 상기 노래반주기에 연결된 디스플레이에 표시되는 단계와; (b) 상기 노래반주기로 입력되는 음성 데이터를 FFT(Fast Fourier Transformation) 연산하여 음정, 박자, 및 떨림을 분석하여 검출하고, 검출된 데이터를 DB로 전환하는 단계와; (c) 상기 DB로 전환된 상기 음정, 박자, 및 떨림의 입력정보와 기준정보와의 편차를 비교하는 단계와; (d) 상기 단계 (c)에서, 상기 입력정보와 상기 기준정보와의 편차가 기준 편차 범위 내인 경우, 실시간으로 멜로디 악보가 상기 디스플레이에 표시되는 단계와; (e) 상기 노래반주기의 출력이 종료되는 단계와; (f) 상기 입력정보와 상기 기준정보를 최종적으로 비교 분석하는 단계와; (g) 분석한 결과에 따라 채점을 하고, 채점 결과를 상기 디스플레이에 표시하는 단계;를 포함하되,
상기 단계 (c)에서, 상기 입력정보와 상기 기준정보와의 편차가 기준 편차를 벗어나는 경우, 실시간으로 멜로디 악보 표시를 변경하고, 변경 시간 및 변경 음정 정보를 저장하고, 상기 단계 (e)를 수행하고,
그리고, 상기 악보 표시의 변경은 상기 악보의 칼라가 변경되며 표시되고,
또한, 상기 기준정보는 상기 음원 데이터의 고정된 노래 멜로디 트랙을 사용하며,
그리고, 상기 FFT(Fast Fourier Transformation) 연산은 상기 노래반주기에 입력된 음성 아날로그 신호를 주파수 도메인 및 시간 도메인 분석방법을 이용하여 입력되는 상기 음정, 박자, 및 떨림을 분석하는 것을 그 특징으로 한다.
본 발명의 실시예에 따르면, 노래하는 동안에 자신(사용자)의 음정 및 박자의 변화, 음정의 옳고 그름 등을 실시간으로 악보 화면을 통해 인지할 수 있고, 한 곡에 대한 자신의 전체 노래정보를 그래프 등을 통하여 시간구간별에 따른 변화 및 정확한 정보를 알 수 있다.
그리고 도출된 노래 분석 그래프를 보면서 음정과 박자가 좋지 않은 구간을 선택해 반복, 숙달시킴으로써 노래 연습의 효율을 높일 수 있고, 높은 만족도를 동시에 얻을 수 있다.
또한 종래에는 노래가 끝난 다음에만 자신의 노래점수(신호의 세기로만 측정하므로 음정, 박자 등의 음악적 기본정보는 수록되지 않음)를 확인할 수 있었고, 그 결과를 자신이 관리 및 교육, 연습용 등으로 활용이 불가능하였다.
하지만, 본 발명은 실시간으로 자신의 노래를 분석할 수 있는 것은 물론이고, 노래 결과에 대한 자신의 음정, 박자 정보를 웹(서버)으로 전송하여 저장할 수 있고, 그것을 모니터링 하여 지속적으로 자신의 노래 숙련도를 관리 및 개선할 수 있다. 이는 일정한 곡에 대한 고정밀 채점 결과를 시간대별로(과거, 현재 등) 저장 관리함으로서 노래 향상 과정을 매우 간단하게 관리할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.
도 1에는 후술하는 본 발명에 적용되는 노래반주기의 구성을 개략적으로 나타낸 블록 구성도가 도시되어 있다.
도면을 참조하면, 본 발명에 적용되는 노래반주기(30)는, 마이크를 통해 노래부를 사용자의 음성이 입력되게 하는 음성신호 입력부(38)와, 이 음성신호 입력부(38)로 입력되는 아날로그의 음성 신호를 디지털 신호로 변환하여 음정 및 박자 정보를 생성하는 DSP(Digital Signal Processor)(31)와, 사용자가 선곡하여 부르는 곡의 음원(MIDI) 및 가사 데이터가 저장된 기준 데이터베이스(40)와, 이 기준 데이터베이스(Reference DB)(40)의 정보를 이용하여 악보로 변경하여 디스플레이(10)에 표시되도록 하는 악보표시 전환부(32)를 포함하여 구성된다.
여기서, 상기 기준 데이터베이스(40)는, 곡의 음원(MIDI) 데이터가 저장된 음원 멜로디 데이터베이스(33)와, 곡의 가사 데이터가 저장된 가사 데이터베이스(37)를 포함하여 구성된다.
그리고 본 발명에 적용되는 노래반주기(30)에는, 상기 악보표시 전환부(31)에 의해 악보로 전환된 데이터를 노래반주기(30)와 연결된 디스플레이(10)에 악보로 표시되도록 하는 악보재생부(35)와, 상기 DSP(31)와 악보재생부(35)의 출력 데이터를 동기시켜주는 동기통신부(34)와, 상기 DSP(31)의 출력 데이터와 악보재생부(35)의 출력 데이터를 실시간으로 비교하여 연산하는 비교부(39)가 구비된다.
또한 본 발명에 적용되는 노래반주기(30)에는, 상기 악보재생부(35)에서 출력되는 데이터를 저장하는 저장부(36)가 구비된다.
상기한 바와 같은 구성을 갖는 노래반주기(30)의 악보를 이용한 채점 및 분석 방법을 설명하면 다음과 같다.
도 2에는 본 발명에 따른 노래반주기의 악보를 이용한 채점 및 분석 방법을 순차적으로 나타내 보인 순서도가 도시되어 있다.
도 1 및 도 2를 참조하면, 본 발명에 따른 노래반주기(30)의 악보를 이용한 채점 및 분석 방법은, 우선, 노래반주기(30)의 기준 데이터베이스(40)의 음원 멜로디 데이터베이스(33)에 저장되어 출력되는 노래반주기(30)의 음원(MIDI)이 악보표시 전환부(32)에 의해 멜로디 악보(SCORE)로 변환되면서 노래반주기(30)와 연결된 디스플레이(10)에 표시된다.(단계 110,120)
이어서, 마이크를 통해 노래반주기(30)의 음성신호 입력부(38)로 사용자의 음성 데이터가 입력되면, 이 음성 데이터를 FFT(Fast Fourier Transformation) 연산한다.(단계 130,140)
여기서, 상기 기준정보는 음원 데이터의 고정된 노래 멜로디 트랙을 사용한다. 그리고 상기 FFT(Fast Fourier Transformation) 연산은 노래반주기(30)에 입력된 음성 아날로그 신호를 주파수 도메인(domain) 및 시간(time) 도메인 분석방법을 이용하여 입력되는 음정(PITCH), 박자(TIME), 및 떨림(VIBRATO)을 분석한다.
이렇게 입력된 음정, 박자, 및 떨림을 분석하여 검출하고, 검출된 데이터를 데이터베이스(DB)화가 가능하게 전환한다.(단계 150,160)
즉, 상기 음성신호 입력부(38)로 입력된 사용자의 아날로그 음성 신호를 DSP(31)에서 디지털 신호로 처리하면, 사용자의 음정 신호는 음정, 박자, 및 떨림의 정보(입력정보)로 생성되게 된다.
이와 같이 생성된 상기 음정, 박자, 및 떨림의 입력정보와 기준 데이터베이스(40)의 기준정보와의 편차를 비교한다.(단계 210) 여기서, 상기 편차는 기준 주파수 - 음성 입력 주파수 = ±결과 편차로 구한다.
상기 단계 210에서, 입력정보와 상기 기준정보와의 편차가 기준 편차 범위 내인 경우, 실시간으로 멜로디 악보가 상기 디스플레이(10)에 표시된다.(단계 220)
이때에는 입력정보가 기준 편차 범위 내에 있으므로 입력정보와 기준정보에 해당되는 멜로디 악보에 칼라 변화가 없이(거의 동일 칼라로) 디스플레이(10)상에 표시된다.
그리고 상기 노래반주기(30)의 곡의 출력이 종료되면, 상기 입력정보와 기준정보를 최종적으로 비교 분석한다.(단계 230,240)
상기 단계 240에서 최종 분석한 결과에 따라 채점을 하고, 채점 결과를 디스플레이(10)에 표시한다.(단계 250)
이렇게 출력한 채점 결과를 노래반주기(30)의 저장부(36)에 저장하고, 노래반주기(30)와 보통 인터넷으로 연결된 (컨텐츠)서버(미도시)로 전송한다.(단계 260)
한편, 상기 단계 210에서, 상기 입력정보와 기준정보와의 편차가 기준 편차를 벗어나는 경우, 실시간으로 멜로디 악보 표시를 변경하고, 변경 시간 및 변경 음정 정보를 저장부(36)에 저장한 후, 상기 단계 230부터 재 수행한다.(단계 270,280)
이때에는 입력정보가 기준 편차 범위를 벗어났으므로 입력정보와 기준정보에 해당되는 멜로디 악보가 서로 다르게(다른 칼라로 변경되며) 디스플레이(10)상에 표시된다. 특히, 상기 단계 270 및 280은 상기 단계 230과 합산하여 상기 단계 240에서 종합적으로 최종 분석을 할 수도 있다.
상기한 바와 같이 본 발명에 따른 노래반주기의 악보를 이용한 채점 및 분석 방법의 구체적인 실시예를 설명한다.
실시예
우선, 상기 기준정보와 입력된 입력정보인 음성의 음정, 시간을 비교 분석하는 방법이다.
도 3에 도시된 기준정보의 멜로디 음표에 해당되는 기준 주파수를 기준으로 입력된 음성신호와의 주파수를 비교한다. 보통 후술하는 도 5의 입력된 음성 주파수의 결과 값이 도 3의 기준 음정값이 시간값에 가까울수록 정확도는 높아진다. 그리고 절대적인 기준값을 중심으로 주파수와 시간의 오차범위를 지정하여 채점 난이도를 조절한다.
도 4는 도 3의 기준음정을 파형으로 나타내 보인 것으로, 도 4의 파형 상에서는 음량의 세기밖에 분석할 수 없기 때문에 이 파형을 FFT(Fast Fourier Transformation)로 계산하여 후술하는 도 5로 치환한다.
도 5는 전술한 바와 같이, 입력된 음성신호를 FFT(Logarithmic)로 치환하여 주파수 스펙트럼으로 나타내 보인 것이다. 이를 통해 분석된 주파수 중 기음을 기 준으로 음계별 주파수 데이터로 전환하여 음원상의 음정 정보를 비교한다.
그리고 도 6은 상기 입력정보와 기준정보가 디스플레이(10)상에 실시간으로 나타내 보인 디스플레이(10) 화면을 나타내 보인 것이다.
도 6을 참조하면, 파란색 음표 표시는 입력된 음성 주파수와 기준 주파수와의 편차가 음정(Interval)과 50% 이내의 정보(20마디 째)이고, 붉은 색 음표 표시는 입력된 음성 주파수와 기준 주파수와의 편차가 음정(Interval)과 51~100% 이내의 정보(19마디 째)이다. 또한 기준 음표 이외에 생성된 붉은 색 음표는 기준 주파수와의 편차가 음정(Interval) 100%를 초과할 때의 생성 정보(22마디 째)이다.
여기서, 주지의 사실이지만, 상기 음정(Interval)은 상하로 인접한 음과의 차이를 의미하며, 로우 주파수(Low Frequency)에서 하이 주파수(High Frequency)로 갈수록 음정의 차이가 증가한다.
도 7에는 상기한 음정별 주파수 분석 차트가 도시되어 있다. 도시된 바와 같이, 각 음정마다 고유한 주파수 특성이 가지고 있으며, 그것은 입력된 음성 데이터와 비교하여 편차를 구하는 중요한 기준으로, 이 편차는 전술한 바와 같이, 기준 주파수 - 음성 입력 주파수 = ±결과 편차로 구한다.
또한 상기 편차의 값이 음정간 음정(Interval) 주파수 허용치를 넘어서면 다른 음정으로 표시하며, 음정(Interval) 허용치 이내의 편차는 단계별 색으로 구분한다.
도 8은 특정 곡(예컨대, 제목: Hey Boy / 곡번호: 45834 / 가수: 서지영)에 대한 노래 채점 분석 결과를 나타낸 차트로, 마디별로 음정과 박자의 정확도를 기 준값 100%에 비교하여 보여준다.
이와 같이 본 발명에 따른 노래반주기의 악보를 이용한 채점 및 분석 방법은, 기존과 같이 노래반주기에서의 채점을 '숫자'로 디스플레이에 표시하는 방식이 아니라, 디스플레이(10)에 표시되는 멜로디 악보상의 음정과 박자에 아날로그 음성 신호를 FFT 방식으로 치환한 디지털 시그널 결과를 비교함으로서, 자신이 노래한 결과에 대하여 실시간으로 분석하고, 이를 시각적 정보로 화면에 보여줌으로서 노래 교습자 없이도 혼자서도 완벽한 노래연습 및 악보 분석이 가능하다.
그리고 기존의 노래반주기 채점 방법은 노래반주기에 입력된 음성의 세기만을 분석하여 채점하기 때문에, 그 채점 결과에 대한 신뢰성이 낮고, 다른 기능으로의 활용이 불가능하였다.
반면, 본 발명에 따른 노래반주기의 악보를 이용한 채점 및 분석 방법은, 악보와 음성, FFT 분석 결과를 비교하여 자신의 음악적 능력분석 및 연습과 교육 등 다양한 게임으로도 활용이 가능하게 해준다.
또한 시각적 분석 및 정보전달방식이란, 악보를 보면서 노래할 때 올바른 음정과 박자에서는 정상적 악보로 나오지만, 멜로디와 불협화된 음정과 박자로 노래할 때에는 그 차이를 실시간으로 보여주고 악보의 색이 붉은 색 및 사전에 정의된 색으로 변함으로서 자신의 음정 및 박자 정확도에 대하여 인지할 수 있게 된다.
그리고 음성의 세기, 음정, 박자의 정밀한 결과를 얻기 위해 FFT(Fast Fourier Transformation) 계산을 수행하며, 도출된 결과를 음악의 시각적 정보인 악보에 대입시킴으로서 정밀채점과 인지도 높은 시각화정보로 표시할 수 있다.
또한 채점을 위해 필요한 기준정보는 음원 데이터의 고정된 노래 멜로디 트랙을 사용함으로서 입력된 정보 외의 비교시 완벽한 레퍼런스(reference)를 제공할 뿐만 아니라 사람의 귀가 판단하는 음정과 박자의 편차 오류를 방지할 수 있다.
특히, 노래방의 문화가 많이 보급되면서 단순히 노래를 즐기는 부분을 넘어 자신의 노래실력을 향상시키고자 하는 욕구와 학습에 대한 필요성이 나타냄으로서 고정밀 채점이 필요하고, 이것을 단순화(시각화 및 인지도)시킴으로서 새로운 노래방채점 문화를 창조할 수 있다.
그리고 FFT(Fast Fourier Transformation) 디지털 시그널 분석은 반주기에 입력된 아날로그의 음성 신호를 주파수 도메인 및 시간 도메인 분석방법을 이용하여 목소리의 현재 음정, 박자는 물론 목소리의 떨림의 정도까지 분석하여 채점하며, 그것을 기준멜로디 악보에 대입하여 정확도를 시각화 해주는 것이다.
또한 온라인(On-line)상에 연결된 소비자들의 대상으로 채점을 할 경우 고정밀 채점이 필요한 이유는, 만약 10,000명의 소비자를 대상으로 노래채점순위를 정하는 상황에서 채점의 정밀도는 00,000까지 정밀하지 않으면 그 객관성과 공정성의 기준을 정할 수 없으며, 그 점수를 소비자가 공정한 기준으로 인식하게 하기 위하여 실시간 분석 및 결과에 대하여 데이터로 제공하여 비교할 수 있다.
상술한 바와 같이 본 발명은 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 것이다. 따라 서 본 발명의 진정한 보호 범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.
도 1은 본 발명에 따른 노래반주기의 구성을 개략적으로 나타낸 블록 구성도.
도 2는 본 발명에 따른 노래반주기의 악보를 이용한 채점 및 분석 방법을 순차적으로 나타내 보인 순서도.
도 3은 기준음정을 악보로 나타내 보인 도면.
도 4는 도 3의 기준음정을 파형으로 나타내 보인 도면.
도 5는 입력된 음성신호를 FFT(Fast Fourier Transformation)로 치환하여 주파수 스펙트럼으로 나타내 보인 도면.
도 6은 입력정보와 기준정보가 실시간으로 나타내 보인 디스플레이 화면.
도 7은 음정별 주파수 분석 차트.
도 8은 특정 곡에 대한 노래 채점 분석 결과를 나타낸 차트.
<도면의 주요부분에 대한 부호의 설명>
31. DSP(Digital Signal Processor)
32. 악보표시 전환부
34. 동기통신부
35. 악보재생부
39. 비교부

Claims (8)

  1. 삭제
  2. 삭제
  3. (a) 노래반주기가 출력하는 음원이 멜로디 악보로 변환되면서 상기 노래반주기에 연결된 디스플레이에 표시되는 단계와;
    (b) 상기 노래반주기로 입력되는 음성 데이터를 FFT(Fast Fourier Transformation) 연산하여 음정, 박자, 및 떨림을 분석하여 검출하고, 검출된 데이터를 DB로 전환하는 단계와;
    (c) 상기 DB로 전환된 상기 음정, 박자, 및 떨림의 입력정보와 기준정보와의 편차를 비교하는 단계와;
    (d) 상기 단계 (c)에서, 상기 입력정보와 상기 기준정보와의 편차가 기준 편차 범위 내인 경우, 실시간으로 멜로디 악보가 상기 디스플레이에 표시되는 단계와;
    (e) 상기 노래반주기의 출력이 종료되는 단계와;
    (f) 상기 입력정보와 상기 기준정보를 최종적으로 비교 분석하는 단계와;
    (g) 분석한 결과에 따라 채점을 하고, 채점 결과를 상기 디스플레이에 표시하는 단계;를 포함하되,
    상기 단계 (c)에서, 상기 입력정보와 상기 기준정보와의 편차가 기준 편차를 벗어나는 경우, 실시간으로 멜로디 악보 표시를 변경하고, 변경 시간 및 변경 음정 정보를 저장하고, 상기 단계 (e)를 수행하고,
    그리고, 상기 악보 표시의 변경은 상기 악보의 칼라가 변경되며 표시되고,
    또한, 상기 기준정보는 상기 음원 데이터의 고정된 노래 멜로디 트랙을 사용하며,
    그리고, 상기 FFT(Fast Fourier Transformation) 연산은 상기 노래반주기에 입력된 음성 아날로그 신호를 주파수 도메인 및 시간 도메인 분석방법을 이용하여 입력되는 상기 음정, 박자, 및 떨림을 분석하는 것을 특징으로 하는 노래반주기의 악보를 이용한 채점 및 분석 방법.
  4. 제3항에 있어서,
    상기 단계 (g) 수행 후, 채점 결과를 상기 노래반주기에 저장하고, 서버로 전송하는 것을 특징으로 하는 노래반주기의 악보를 이용한 채점 및 분석 방법.
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
KR1020090091338A 2009-09-25 2009-09-25 노래반주기의 악보를 이용한 채점 및 분석 방법 KR101077664B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090091338A KR101077664B1 (ko) 2009-09-25 2009-09-25 노래반주기의 악보를 이용한 채점 및 분석 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090091338A KR101077664B1 (ko) 2009-09-25 2009-09-25 노래반주기의 악보를 이용한 채점 및 분석 방법

Publications (2)

Publication Number Publication Date
KR20110033736A KR20110033736A (ko) 2011-03-31
KR101077664B1 true KR101077664B1 (ko) 2011-10-27

Family

ID=43938093

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090091338A KR101077664B1 (ko) 2009-09-25 2009-09-25 노래반주기의 악보를 이용한 채점 및 분석 방법

Country Status (1)

Country Link
KR (1) KR101077664B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189471A (ja) * 2004-12-28 2006-07-20 Konami Co Ltd プログラム、歌唱力判定方法、ならびに、判定装置
KR100718843B1 (ko) * 2006-05-09 2007-05-18 주식회사 엔터기술 Ｄｖｄ 노래반주기

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189471A (ja) * 2004-12-28 2006-07-20 Konami Co Ltd プログラム、歌唱力判定方法、ならびに、判定装置
KR100718843B1 (ko) * 2006-05-09 2007-05-18 주식회사 엔터기술 Ｄｖｄ 노래반주기

Also Published As

Publication number Publication date
KR20110033736A (ko) 2011-03-31

Similar Documents

Publication Publication Date Title
CN101645268B (zh) 一种演唱和演奏的计算机实时分析系统
CN103187046B (zh) 显示控制装置及方法
Gupta et al. Perceptual evaluation of singing quality
JP2012532340A (ja) 音楽教育システム
KR20070099501A (ko) 노래 학습 시스템 및 방법
JP4479701B2 (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
CN108257588B (zh) 一种谱曲方法及装置
JP2007232750A (ja) カラオケ装置、制御方法およびプログラム
CN105244021B (zh) 哼唱旋律到midi旋律的转换方法
JP5244739B2 (ja) 歌唱音声再生装置、歌唱音声再生方法及びコンピュータプログラム
WO2019180830A1 (ja) 歌唱評価方法及び装置、プログラム
KR20150069660A (ko) 연주 연습 성과 관리 방법
JP2014041319A (ja) 音楽表現力の教育装置及び方法並びに音楽演奏評価装置
JP4839967B2 (ja) 指導装置及びプログラム
Molina et al. Automatic scoring of singing voice based on melodic similarity measures
KR101077664B1 (ko) 노래반주기의 악보를 이용한 채점 및 분석 방법
JP5244738B2 (ja) 歌唱評価装置、歌唱評価方法及びコンピュータプログラム
JP2008040260A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP2016184112A (ja) アンサンブル評価装置
KR20190121080A (ko) 미디어 컨텐츠 서비스 시스템
JP6219750B2 (ja) 歌唱対戦カラオケシステム
JP5618743B2 (ja) 歌唱音声評価装置
JP6788560B2 (ja) 歌唱評価装置、歌唱評価プログラム、歌唱評価方法及びカラオケ装置
JP2008040258A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP2007240552A (ja) 楽器音認識方法、楽器アノテーション方法、及び楽曲検索方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140923

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161020

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171017

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181008

Year of fee payment: 8