KR102117685B1 - Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof - Google Patents

Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof Download PDF

Info

Publication number
KR102117685B1
KR102117685B1 KR1020130128585A KR20130128585A KR102117685B1 KR 102117685 B1 KR102117685 B1 KR 102117685B1 KR 1020130128585 A KR1020130128585 A KR 1020130128585A KR 20130128585 A KR20130128585 A KR 20130128585A KR 102117685 B1 KR102117685 B1 KR 102117685B1
Authority
KR
South Korea
Prior art keywords
information
sound
score
performance
unit
Prior art date
Application number
KR1020130128585A
Other languages
Korean (ko)
Other versions
KR20150048472A (en
Inventor
이중재
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020130128585A priority Critical patent/KR102117685B1/en
Publication of KR20150048472A publication Critical patent/KR20150048472A/en
Application granted granted Critical
Publication of KR102117685B1 publication Critical patent/KR102117685B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

본 발명은 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 현악기로 악보에 따른 연주시 연주음이나 스트로크가 악보와 일치하는지 여부를 판단하여 연주의 정확도를 높일 수 있도록 안내하는 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 악보 정보의 재생에 따라 분석된 악보 분석정보와 사용자의 현악기 연주에 따른 연주 분석정보를 상호 비교하여 연주의 정확도를 판단하여 사용자가 잘못 연주한 부분을 정확히 제공하여 연주의 정확도를 향상시킬 수 있도록 제공할 수 있을 뿐 아니라, 현악기 고유의 주법인 스트로크에 대한 정확도를 판단할 수 있어 더욱 정밀한 정확도 판단을 제공할 뿐만 아니라 스트로크를 집중적으로 향상시킬 수 있도록 안내하는 효과가 있다.The present invention relates to an apparatus and method for guiding a string instrument, and a recording medium in which a computer program is recorded. More specifically, the accuracy of the performance is determined by determining whether the playing sound or the stroke coincides with the score when playing according to the score with the string instrument. It relates to a recording medium in which a computer program is recorded, and an apparatus and method for guiding a string instrument to guide the player to increase the. The present invention compares the score analysis information analyzed according to the reproduction of the score information and the performance analysis information according to the performance of the stringed instrument of the user to determine the accuracy of the performance, thereby accurately providing the part played by the user to improve the accuracy of the performance In addition, it is possible to determine the accuracy of the stroke, which is the main method of the string instrument, and thus provides a more accurate determination of accuracy, and has an effect of guiding the stroke to be intensively improved.

Description

현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체{Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof}Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof}

본 발명은 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로서, 더욱 상세히는 현악기로 악보에 따른 연주시 연주음이나 스트로크가 악보와 일치하는지 여부를 판단하여 연주의 정확도를 높일 수 있도록 안내하는 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to an apparatus and method for guiding a string instrument, and a recording medium on which a computer program is recorded. More specifically, the accuracy of performance is determined by determining whether the playing sound or the stroke coincides with the score when playing according to the score with the string instrument. It relates to an apparatus and a method for guiding a string instrument to guide the user to increase the height, and a recording medium on which a computer program is recorded.

각종 전자기술의 발전과 더불어 사용자 장치에서 악기를 통해 연주되는 음을 분석하거나 다양한 악기를 사용자 장치에서 전자적으로 구현하여 사용자 장치를 이용하여 실제 악기와 동일하게 연주할 수 있는 시스템이 제공되고 있다.With the development of various electronic technologies, a system has been provided that analyzes sounds played through musical instruments on a user device or electronically implements various musical instruments on a user device to play the same as a real musical instrument using a user device.

그러나, 다양한 악기 중에서 복수의 현줄로 구성된 현악기의 경우 다른 악기와 달리 주법의 종류가 다양하다.However, in the case of string instruments composed of a plurality of strings among various instruments, different types of state methods are different from other instruments.

대표적으로, 현악기의 고유 주법인 스트로크 주법의 경우 여러 줄을 내려치거나 올려치는 주법으로서, 악보에는 동시에 현줄을 울리는 것으로 되어 있으나 실질적으로는 순차적으로 현줄을 울리도록 연주한다.Typically, in the case of the stroke main method, which is the original method of string instruments, it is a method of lowering or raising several lines, and it is said that the strings are simultaneously ringing in the score, but the strings are actually played sequentially.

기존에는 이러한 스트로크 주법을 악보와 비교하여 전자적인 분석을 통해 정확도를 제공하는 장치가 없어, 연주음을 분석하는 장치를 통해서도 올바른 연주가 이루어지고 있는지 판단하기 어려운 문제점이 있다.Conventionally, since there is no device that provides accuracy through electronic analysis by comparing the stroke method with sheet music, it is difficult to determine whether the correct performance is being performed through the device for analyzing the performance sound.

따라서, 이러한 현악기의 특수성을 고려하여 연주음을 분석하고 실수한 부분을 정확히 제공하는 장치의 개발이 요구되고 있다.Accordingly, there is a need to develop a device that analyzes a performance sound in consideration of the specificity of such a string instrument and accurately provides a mistake.

한국등록특허 제10-1221673호 [발명의 명칭: 전자기타 연습장치]Korean Registered Patent No. 10-1221673 [Invention name: electromagnetic guitar exercise device]

본 발명은 현악기의 연주시 사용자 장치를 통해 연주음을 수신하고, 수신된 연주음을 연주대상인 악보와 비교하여 악보와 상이한 부분을 정확히 제공하며, 특히 스트로크 부분에 있어 스트로크의 정확도를 정확히 판단할 수 있는 장치를 제공하는데 그 목적이 있다.The present invention receives a performance sound through a user device when playing a string instrument, and provides a part different from the score accurately by comparing the received performance sound with the score to be played, and in particular, it is possible to accurately determine the accuracy of the stroke in the stroke part. The purpose is to provide a device.

본 발명의 실시예에 따른 현악기 연주 가이드를 위한 장치는 현악기의 연주에 따른 음향신호를 수신하는 마이크부, 상기 마이크부를 통해 수신된 음향신호를 처리하여, 현재 연주되는 연주음에 대한 연주음 정보와 현악기의 코드에 대한 연주 코드정보를 생성하는 음향 분석부, 미리 저장된 악보 정보 중 사용자 입력에 따라 선택된 악보 정보를 재생하는 재생부, 상기 재생부를 통한 악보 정보의 재생 순서에 따라 현재 재생되는 위치에 대응되는 현악기의 코드에 대한 악보 코드정보 및 상기 위치에서 상기 악보 정보에 스트로크가 존재하는 경우 상기 악보 코드정보에 대응되는 스트로크의 시작음과 끝음에 대한 스트로크 정보를 생성하는 악보 분석부 및 상기 음향 분석부와 악보 분석부로부터 상기 연주 코드정보와 악보 코드정보를 수신한 후 상호 비교하여 일치여부에 대한 결과정보를 제공하며, 상기 악보 분석부로부터 스트로크 정보를 수신하는 시점을 기준으로 상기 음향 분석부로부터 순차적으로 수신되는 복수의 상기 연주음 정보로부터 시작음과 끝음을 인식하여 시작음 정보와 끝음 정보를 생성한 후 상기 스트로크 정보와 비교하여 일치여부를 상기 결과정보에 포함하여 제공하는 판정부를 포함할 수 있다.An apparatus for guiding a string instrument according to an embodiment of the present invention includes a microphone unit for receiving an acoustic signal according to the performance of a string instrument, processing the acoustic signal received through the microphone unit, and performing sound information for the currently played sound Acoustic analysis unit that generates performance chord information for the chords of a string instrument, a playback unit that plays selected score information according to a user input from among pre-stored score information, and corresponds to a currently played position according to the playback order of the score information through the playback unit Sheet music analysis unit and the sound analysis unit for generating the stroke information for the start sound and the end sound of the stroke corresponding to the sheet music code information when a stroke is present in the sheet music information at the position and the sheet music code information for the chord of the stringed instrument After receiving the performance code information and the score code information from the music score analysis unit and comparing them with each other, the result information on whether or not the match is provided is provided, and sequentially from the sound analysis unit based on the point of time when the stroke information is received from the score analysis unit. It may include a judging unit that recognizes a start sound and an end sound from a plurality of the received sound information, generates start sound information and end sound information, and compares the stroke information with the stroke information to provide a match. .

본 발명과 관련된 일 예로서, 상기 악보 분석부는 상기 스트로크가 업 스트로크인 경우 상기 악보 코드정보에 대응되는 상기 코드를 구성하는 코드음 중 가장 높은 코드음을 시작음으로 설정하고 가장 낮은 코드음을 끝음으로 설정한 스트로크 정보를 생성하며, 상기 스트로크가 다운 스트로크인 경우 상기 악보 코드정보에 대응되는 코드를 구성하는 코드음 중 가장 낮은 코드음을 시작음으로 설정하고 가장 높은 코드음을 끝음으로 설정한 스트로크 정보를 생성하는 것을 특징으로 할 수 있다.As an example related to the present invention, when the stroke is an up-stroke, the score analysis unit sets the highest chord tone among the chord sounds constituting the chord corresponding to the score code information as the start tone and ends the lowest chord tone. Stroke information is set, and when the stroke is a down stroke, the lowest chord sound among the chords constituting the code corresponding to the score code information is set as the start sound and the highest chord sound is set as the end sound. It may be characterized by generating information.

본 발명과 관련된 일 예로서, 상기 음향 분석부는 상기 음향신호를 주파수 영역으로 변환하여 주파수 성분을 검출하며, 검출된 주파수 성분에 대응되어 미리 설정된 연주음에 대한 연주음 정보를 생성하고, 상기 연주음 정보에 대응되는 연주 코드정보를 생성하는 것을 특징으로 할 수 있다.As an example related to the present invention, the acoustic analysis unit converts the acoustic signal into a frequency domain to detect a frequency component, generates performance sound information for a preset performance sound corresponding to the detected frequency component, and generates the performance sound It may be characterized by generating performance chord information corresponding to the information.

본 발명과 관련된 일 예로서, 상기 음향 분석부는 상기 음향신호를 미리 설정된 코드별 샘플신호와 비교하여 음향신호에 대응되는 샘플신호에 매칭된 코드에 대한 연주 코드정보를 생성하고, 상기 샘플신호에 미리 설정된 연주음에 대한 연주음 정보를 생성하는 것을 특징으로 할 수 있다.As an example related to the present invention, the acoustic analysis unit compares the acoustic signal with a sample signal for each code, and generates performance code information for a code matched to the sample signal corresponding to the acoustic signal. It may be characterized by generating performance sound information for the set performance sound.

본 발명과 관련된 일 예로서, 상기 음향 분석부는 상기 음향신호에 포함된 주파수 성분이나 샘플신호의 진폭에 따라 상기 연주음에 대한 세기 정보를 생성하여 상기 판정부로 제공하며, 상기 악보 분석부는 상기 악보 정보의 재생에 따라 현재 재생되는 위치에 대응되는 코드음의 강약에 대한 강약정보를 생성하여 상기 판정부로 제공하고, 상기 판정부는 상기 세기 정보와 강약정보를 비교하여 스트로크에 포함된 연주음의 강약에 대한 일치여부를 상기 결과정보에 더 포함하여 제공하는 것을 특징으로 할 수 있다.As an example related to the present invention, the acoustic analysis unit generates intensity information for the performance sound according to the frequency component included in the acoustic signal or the amplitude of the sample signal and provides it to the determination unit. According to the reproduction of the information, the strength information about the strength and weakness of the chord sound corresponding to the currently reproduced position is generated and provided to the determination unit, and the determination unit compares the strength information and the strength information and the strength and weakness of the performance sound included in the stroke It may be characterized in that it further includes whether or not to match the result information.

본 발명과 관련된 일 예로서, 상기 음향 분석부는 현재 연주되는 상기 연주음의 연주 시간에 대한 타이밍 정보를 생성하여 상기 판정부로 제공하며, 상기 악보 분석부는 상기 악보 정보의 재생에 따라 현재 재생되는 위치의 박자정보를 생성하여 상기 판정부로 제공하며, 상기 판정부는 상기 타이밍 정보에 따른 서로 다른 연주음 사이의 시간 차이와 상기 박자정보를 비교하여 일치여부를 상기 결과정보에 더 포함하여 제공하는 것을 특징으로 할 수 있다.As an example related to the present invention, the acoustic analysis unit generates timing information on a playing time of the currently played performance sound and provides it to the determination unit, wherein the score analysis unit is currently played according to the reproduction of the sheet music information The time signature information is generated and provided to the determination unit, and the determination unit compares the time difference between different performance sounds according to the timing information and the time signature information to further include whether the match is included in the result information. Can be done with

본 발명의 실시예에 따른 현악기 연주 가이드를 위한 서비스 장치는 사용자 장치로부터 통신망을 통해 수신된 현악기의 연주에 따른 음향신호를 처리하여, 현재 연주되는 연주음에 대한 연주음 정보와 현악기의 코드에 대한 연주 코드정보를 생성하는 음향 분석부, 미리 저장된 악보 정보 중 사용자 장치로부터 수신된 선택정보에 따라 선택된 악보 정보를 사용자 장치로 전송하여 재생하는 재생부, 상기 재생부를 통한 악보 정보의 재생 순서에 따라 현재 재생되는 위치에 대응되는 현악기의 코드에 대한 악보 코드정보 및 상기 위치에서 상기 악보 정보에 스트로크가 존재하는 경우 상기 악보 코드정보에 대응되는 시작음과 끝음에 대한 스트로크 정보를 생성하는 악보 분석부 및 상기 음향 분석부와 악보 분석부로부터 상기 연주 코드정보와 악보 코드정보를 수신한 후 상호 비교하여 일치여부에 대한 결과정보를 생성하며, 상기 악보 분석부로부터 스트로크 정보를 수신하는 시점을 기준으로 상기 음향 분석부로부터 순차적으로 수신되는 복수의 연주음 정보로부터 시작음과 끝음을 인식하여 시작음 정보와 끝음 정보를 생성한 후 상기 스트로크 정보와 비교하여 일치여부를 상기 결과정보에 포함하여 사용자 장치로 전송하는 판정부를 포함할 수 있다.The service device for a string performance guide according to an embodiment of the present invention processes sound signals according to the performance of a string instrument received from a user device through a communication network, thereby providing information about the performance sound and the code of the string performance. Acoustic analysis unit that generates performance chord information, a playback unit that transmits and plays selected musical score information according to selection information received from a user device among pre-stored musical score information to a user device, and according to the playback order of the musical score information through the playback unit Sheet music code information for the code of the string of the string corresponding to the position to be reproduced, and a stroke analysis unit for generating stroke information for the start and end sounds corresponding to the sheet music code information when a stroke exists in the sheet music information at the position and the After receiving the performance code information and the score code information from the sound analysis unit and the score analysis unit, comparing them with each other to generate result information on whether to match, and analyzing the sound based on the time point at which the stroke information is received from the score analysis unit Decision to generate start sound and end sound by recognizing the start sound and end sound from a plurality of performance sound information sequentially received from a part, and compare the stroke information with the stroke information and transmit the result to the user device It may contain wealth.

본 발명의 실시예에 따른 현악기 연주 가이드를 위한 방법은, 사용자 장치가 미리 저장된 악보 정보 중 사용자 입력에 따라 선택된 악보 정보를 재생하는 단계, 상기 사용자 장치가 마이크부를 통해 현악기의 연주에 따른 음향신호를 수신하는 단계, 상기 사용자 장치가 상기 마이크부를 통해 수신된 음향신호를 처리하여 현재 연주되는 연주음에 대한 연주음 정보와 현악기의 코드에 대한 연주 코드정보를 생성하고, 악보 정보의 재생 순서에 따라 현재 재생되는 위치에 대응되는 현악기의 코드에 대한 악보 코드정보 및 상기 위치에서 상기 악보정보에 스트로크가 존재하는 경우 상기 악보 코드정보에 대응되는 스트로크의 시작음과 끝음에 대한 스트로크 정보를 생성하는 단계 및 상기 사용자 장치가 상기 연주 코드정보와 악보 코드정보를 수신한 후 상호 비교하여 일치여부에 대한 결과정보를 제공하며, 상기 스트로크 정보가 생성되는 시점을 기준으로 순차적으로 생성되는 복수의 연주음 정보로부터 시작음과 끝음을 인식하여 시작음 정보와 끝음 정보를 생성한 후 상기 스트로크 정보와 비교하여 일치여부에 대한 결과정보를 제공하는 단계를 포함할 수 있다.Method for a string instrument playing guide according to an embodiment of the present invention, the user device reproducing the selected sheet music information according to the user input from the pre-stored sheet music information, the user device through the microphone unit to the acoustic signal according to the performance of the string instrument In the receiving step, the user device processes the sound signal received through the microphone unit to generate performance sound information for the currently played performance sound and performance code information for the chord of the string instrument, and according to the playback order of the music score information Generating stroke information for the start and end sounds of the stroke corresponding to the score code information, if the stroke is present in the score information and the score code information for the chord of the string corresponding to the position to be reproduced; and After the user device receives the performance code information and score code information, it compares with each other to provide result information on whether or not it matches, and starts from a plurality of performance sound information sequentially generated based on a time point at which the stroke information is generated. And generating start sound information and end sound information by recognizing the end sound and providing the result information on whether the match is made by comparing the stroke information.

본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 현악기 연주 가이드를 위한 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.A computer program performing a method for guiding a string instrument may be stored in a recording medium on which a computer program according to an embodiment of the present invention is recorded.

본 발명은 악보 정보의 재생에 따라 분석된 악보 분석정보와 사용자의 현악기 연주에 따른 연주 분석정보를 상호 비교하여 연주의 정확도를 판단하여 사용자가 잘못 연주한 부분을 정확히 제공하여, 연주의 정확도를 향상시킬 수 있도록 제공하는 효과가 있다.The present invention compares the score analysis information analyzed according to the reproduction of the score information and the performance analysis information according to the performance of the user's string instrument, judges the accuracy of the performance, and accurately provides the part that the user incorrectly played, thereby improving the accuracy of the performance It has the effect of providing so that it can be made.

또한, 본 발명은 단순 코드나 연주음의 정확도를 판단하는 것뿐만 아니라 현악기 고유의 주법인 스트로크에 대한 정확도를 판단할 수 있어, 더욱 정밀한 정확도 판단을 제공할 뿐만 아니라 스트로크를 집중적으로 향상시킬 수 있도록 안내하는 효과가 있다.In addition, the present invention is capable of not only determining the accuracy of a simple chord or playing sound, but also determining the accuracy of the stroke, which is the main method of the string instrument, so as to provide a more accurate determination of accuracy and intensively improve the stroke. It has a guiding effect.

도 1은 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 사용자 장치의 구성 환경도.
도 2는 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 사용자 장치의 상세 구성도.
도 3은 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 사용자 장치의 연주 분석 및 악보 분석에 따른 결과정보 산출에 대한 구성도.
도 4는 본 발명의 실시예에 따른 코드 설정정보의 예시도.
도 5는 본 발명의 실시예에 따른 판정부의 상세 구성도.
도 6은 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 사용자 장치의 스트로크에 대한 정확도 판단을 예시한 예시도.
도 7은 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 서비스 장치의 상세 구성도.
도 8은 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 방법에 대한 순서도.1 is a configuration environment diagram of a user device for a string instrument playing guide according to an embodiment of the present invention.
2 is a detailed configuration diagram of a user device for a string playing guide according to an embodiment of the present invention.
3 is a configuration diagram for calculating the result information according to the performance analysis and score analysis of the user device for a string playing guide according to an embodiment of the present invention.
4 is an exemplary diagram of code setting information according to an embodiment of the present invention.
5 is a detailed configuration diagram of a determination unit according to an embodiment of the present invention.
Figure 6 is an exemplary view illustrating the accuracy of the stroke of the user device for the string playing guide according to an embodiment of the present invention.
7 is a detailed configuration diagram of a service device for a string instrument playing guide according to an embodiment of the present invention.
8 is a flow chart for a method for a string instrument playing guide according to an embodiment of the present invention.

본 발명은 사용자가 악보를 보면서 현악기를 연주할 때 악보와 연주 사이의 정확도를 제공하여 잘못 연주된 부분을 안내하기 위한 장치로서, 단순 코드나 연주음의 정확도를 판단하는 것 뿐만 아니라 현악기 고유의 주법인 스트로크에 대한 정확도를 판단할 수 있어 현악기의 연주 정확도를 향상시킬 수 있도록 가이드 한다.The present invention is a device for guiding the wrongly played part by providing the accuracy between the score and the performance when the user plays the string while looking at the score, as well as judging the accuracy of a simple chord or playing sound, as well as the main notes of the string instrument. The accuracy of the corporate stroke can be judged and guided to improve the accuracy of string instrument performance.

설명에 앞서, 본 발명에서 설명되는 현악기는 연주방법에 따라 손가락이나 손톱 또는 피크 등으로 퉁겨서 소리내는 발현악기, 활로 마찰시켜서 소리를 내는 찰현악기, 채로 쳐서 소리를 내는 타현악기 등을 포함할 수 있다.Prior to the description, the string instrument described in the present invention may include a plucked musical instrument that makes a sound by rubbing it with a finger, fingernail or peak, etc., a string instrument that makes a sound by rubbing it with a bow, a string instrument that makes a sound by striking it, etc. have.

이하, 본 발명에 따른 현악기 연주 가이드를 위한 장치 및 방법, 그리고 컴퓨터 프로그램이 기록된 기록매체에 대하여 도면을 참고하여 상세히 설명한다.Hereinafter, an apparatus and method for a string playing guide according to the present invention, and a recording medium on which a computer program is recorded will be described in detail with reference to the drawings.

도 1은 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 사용자 장치의 구성 환경도로서, 도시된 바와 같이 현악기 연주 가이드를 위한 사용자 장치(100)는 현악기(10)의 연주에 따른 음향신호를 마이크를 통해 수신하며, 미리 저장된 악보정보와 비교하여 연주 정확도를 판단할 수 있다.1 is a configuration environment diagram of a user device for a string playing guide according to an embodiment of the present invention, as shown, the user device 100 for the string playing guide is a microphone for sound signal according to the performance of the string instrument 10 Through the received, it is possible to determine the performance accuracy by comparing with the pre-stored score information.

도 2는 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 사용자 장치(100)의 상세 구성도로서, 도시된 바와 같이 마이크부(120), 사용자 인터페이스부(130), 메모리부(140), 출력부(150) 및 어플리케이션부(110)를 포함할 수 있다.2 is a detailed configuration diagram of a user device 100 for a string playing guide according to an embodiment of the present invention, as shown, the microphone unit 120, the user interface unit 130, the memory unit 140, the output It may include a unit 150 and the application unit 110.

이때, 어플리케이션부(110)는 사용자 장치(100)에 다운로드하여 설치되거나 기설치되어 동작하는 어플리케이션을 포함하며, 상기 어플리케이션의 기능을 지원하기 위한 각종 프로세서를 포함할 수 있다.In this case, the application unit 110 may include an application that is downloaded and installed or pre-installed and operated on the user device 100, and may include various processors to support the function of the application.

상술한 구성에 따라, 어플리케이션부(110)는 마이크부(120)를 통해 현악기의 연주음향을 수신 후 분석하여 연주 분석정보를 생성할 수 있다.According to the above-described configuration, the application unit 110 may generate performance analysis information by receiving and analyzing the performance sound of the string instrument through the microphone unit 120.

이를 더 구체화하면, 어플리케이션부(110)는 마이크부(120)를 통해 수신되는 음향신호를 주파수 영역으로 분할하거나 메모리부(140)에 미리 설정된 샘플신호와 비교하여, 연주음향에 대응되는 연주 코드정보, 연주음향에 포함되는 연주음에 대한 연주음 정보, 각 연주음의 연주시간에 대한 타이밍 정보, 연주음에 대응되는 신호의 진폭에 따른 세기 정보 등을 포함하는 연주 분석정보를 생성할 수 있다.In more detail, the application unit 110 divides the sound signal received through the microphone unit 120 into a frequency domain or compares the sample signal set in the memory unit 140 with the performance code information corresponding to the performance sound. , Performance analysis information including performance information for performance sounds included in the performance sound, timing information for performance time of each performance sound, and intensity information according to amplitude of a signal corresponding to the performance sound may be generated.

또한, 어플리케이션부(110)는 사용자 인터페이스부(130)를 통한 사용자 입력에 따라 메모리부(140)에 미리 저장된 악보정보를 추출한 후 상기 악보정보를 재생하며, 악보정보의 재생시 현재 재생되는 위치에서 악보정보에 포함된 현악기의 코드에 대한 악보 코드정보, 상기 현악기의 코드에 대응되는 스트로크 정보, 상기 현악기의 코드를 구성하는 음에 대한 코드음 정보, 박자 정보, 강약 정보 등을 악보정보로부터 추출하여 악보 분석정보를 생성할 수 있다.In addition, the application unit 110 extracts sheet music information previously stored in the memory unit 140 according to a user input through the user interface unit 130 and then reproduces the sheet music information. The music score code information for the chord of the string included in the music score information, the stroke information corresponding to the chord of the string instrument, the chord sound information for the sound constituting the chord of the string instrument, the beat information, and the strength information are extracted from the score information Score analysis information can be generated.

따라서, 어플리케이션부(110)는 악보정보의 재생 순서에 따라 악보 분석정보와 연주 분석정보를 상호 비교하여 실시간으로 일치여부를 판단하며, 일치하지 않는 부분을 악보정보 상에 표시하여 출력부(150)를 통해 출력할 수 있다.Accordingly, the application unit 110 compares the score analysis information and the performance analysis information according to the reproduction order of the score information to determine whether or not the match is in real time, and displays the unmatched parts on the score information to output the output unit 150 Can be output via

이를 통해, 사용자는 재생되는 악보정보에 따라 현악기를 연주하면서 악보정보와 일치하지 않는 부분을 용이하게 파악하여 연주의 정확도를 판단할 수 있다.Through this, the user can easily determine the accuracy of the performance by easily grasping the part that does not match the sheet music information while playing the string instrument according to the sheet music information being reproduced.

이를 위한, 어플리케이션부(110)의 더욱 상세한 구성을 설명하면 도시된 바와 같이 어플리케이션부(110)는 판정부(114), 음향 분석부(111), 악보 분석부(113) 및 재생부(112)를 포함할 수 있다. For this, when more detailed configuration of the application unit 110 is described, as shown, the application unit 110 may include a determination unit 114, an acoustic analysis unit 111, a score analysis unit 113, and a reproduction unit 112. It may include.

우선, 음향 분석부(111)는 마이크부(120)로부터 수신된 음향신호를 수신하여 연주음향을 인식하고, 인식된 연주음향에 대한 연주 분석정보를 생성하여 판정부(114)로 제공할 수 있다.First, the acoustic analysis unit 111 may recognize the performance sound by receiving the sound signal received from the microphone unit 120, generate performance analysis information on the recognized performance sound, and provide it to the determination unit 114. .

또한, 음향 분석부(111)는 마이크부(120)로부터 수신된 음향신호를 도 3(a)에 도시된 바와 같이 푸리에 변환을 통해 주파수 영역으로 변환하여, 시간 순서에 따라 연주되는 연주음의 주파수 성분을 검출할 수 있으며, 시간 흐름에 따라 검출되는 주파수 성분을 미리 설정된 연주음별 주파수 정보와 비교하여 주파수 성분에 대응되는 연주음에 대한 연주음 정보를 생성할 수 있다.In addition, the acoustic analysis unit 111 converts the acoustic signal received from the microphone unit 120 into a frequency domain through Fourier transform as shown in FIG. The component can be detected, and the frequency component detected over time can be compared with frequency information for each pre-set performance sound to generate performance sound information for the performance sound corresponding to the frequency component.

또한, 음향 분석부(111)는 시간 순서에 따라 생성되는 연주음 정보를 기초로 미리 설정된 하나 이상의 현악기의 코드에 대한 코드 설정정보와 비교하여, 현재 연주되는 현악기의 코드에 대한 연주 코드정보를 생성할 수 있다.In addition, the acoustic analysis unit 111 compares the code setting information for the chords of one or more string instruments preset based on the performance sound information generated in chronological order, and generates performance chord information for the chords of the currently played string instrument. can do.

일례로, 음향 분석부(111)는 도 4에 도시된 바와 같이 하나 이상의 연주음으로 구성된 하나 이상의 기타 코드에 대한 코드 설정정보가 미리 설정될 수 있으며, 시간 순서에 따라 생성되는 하나 이상의 연주음 정보를 코드정보와 비교하여, 연주음 정보와 매칭되는 코드를 선택하여 연주 코드정보를 생성할 수 있다.As an example, the acoustic analysis unit 111 may be preset code setting information for one or more guitar chords composed of one or more performance sounds, as shown in FIG. 4, and one or more performance sound information generated according to a time sequence The chord information may be compared with the chord information, and chord information matching the performance sound information may be selected to generate performance chord information.

이때, 음향분석부(111)에 설정되는 상기 연주음별 주파수 정보 및 코드 설정정보는 메모리부(140)에 저장될 수 있으며, 음향 분석부(111)가 메모리부(140)에 저장된 정보와 연주음 정보의 비교를 통해 상기 연주음 정보와 연주 코드정보를 생성할 수도 있다.At this time, the frequency information and chord setting information for each performance sound set in the acoustic analysis unit 111 may be stored in the memory unit 140, and the acoustic analysis unit 111 may store information and performance sounds stored in the memory unit 140. The performance sound information and performance chord information may be generated by comparing information.

상술한 방식 외에도 음향분석부(111)는 도 3(b)에 도시된 바와 같이, 마이크부(120)로부터 수신된 음향신호를 메모리부(140)에 미리 저장된 현악기의 코드별 샘플링 신호와 비교하여, 음향신호에 대응되는 샘플링 신호에 매칭된 코드로부터 연주 코드정보를 생성할 수 있으며, 해당 샘플링 신호에 미리 설정된 연주음을 기초로 연주음 정보를 생성할 수 있다.In addition to the above-described method, the acoustic analysis unit 111 compares the acoustic signal received from the microphone unit 120 with the sampling signal for each string of a string instrument previously stored in the memory unit 140, as shown in FIG. 3 (b). , Performance code information may be generated from a code matched to a sampling signal corresponding to an acoustic signal, and performance sound information may be generated based on a performance tone preset in the corresponding sampling signal.

상술한 도 3의 방식을 통해 음향분석부(111)는 상기 연주 코드정보와 연주음 정보를 포함하는 연주 분석정보를 생성할 수 있으며, 상기 연주 분석정보를 판정부(114)로 제공할 수 있다.Through the above-described method of FIG. 3, the acoustic analysis unit 111 may generate performance analysis information including the performance code information and performance sound information, and provide the performance analysis information to the determination unit 114. .

상술한 구성에서, 음향분석부(111)는 음향신호의 수신시점을 기초로 음향신호에 포함된 연주음의 시점에 대한 타이밍 정보와, 연주음에 대응되는 신호의 진폭에 따른 세기 정보 등을 연주 분석정보에 더 포함하여 판정부(114)로 제공할 수도 있다.In the above-described configuration, the acoustic analysis unit 111 plays timing information on the starting point of the playing sound included in the sound signal, and intensity information according to the amplitude of the signal corresponding to the playing sound, based on the receiving time of the sound signal. It may be further included in the analysis information and provided to the determination unit 114.

또한, 상술한 음향 분석부(111)는 어플리케이션부(110)와 별도로 사용자 장치(100)에 구성될 수 있다.In addition, the acoustic analysis unit 111 described above may be configured in the user device 100 separately from the application unit 110.

한편, 재생부(112)는 사용자 입력을 수신하는 사용자 인터페이스부(130)를 통한 사용자 입력에 따라, 메모리부(140)에 미리 저장된 악보 정보 중 어느 하나를 로드하여 재생할 수 있다.Meanwhile, the playback unit 112 may load and play any one of sheet music information previously stored in the memory unit 140 according to the user input through the user interface unit 130 receiving the user input.

또한, 악보 분석부(113)는 재생부(112)를 통해 재생되는 악보 정보에서 현재 재생중인 위치에 대응되는 악보 코드정보, 스트로크 정보, 코드음 정보, 박자정보, 강약 정보 등을 추출하여 악보 분석정보를 생성하고, 도 3에 도시된 바와 같이 상기 악보 분석정보를 상기 판정부(114)로 제공할 수 있다.In addition, the sheet music analysis unit 113 extracts sheet music code information, stroke information, chord sound information, beat information, strength information, etc. corresponding to the currently playing position from the sheet music information played through the playback unit 112 to analyze the sheet music Information may be generated and the score analysis information may be provided to the determination unit 114 as shown in FIG. 3.

이에 따라, 판정부(114)는 음향 분석부(111)로부터 제공되는 연주 분석정보와 악보 분석부(113)로부터 제공되는 악보 분석정보를 비교하여 일치여부를 판정하고, 판정된 결과에 대한 결과정보를 출력부(150)를 통해 출력할 수 있으며, 이에 따라 악보의 재생순서에 따른 악보와 연주음의 일치여부를 사용자가 판단할 수 있도록 제공한다.Accordingly, the judging unit 114 compares the performance analysis information provided from the acoustic analysis unit 111 with the score analysis information provided from the score analysis unit 113 to determine whether or not the match is found, and the result information on the determined result It can be output through the output unit 150, thereby providing a user to determine whether or not the match between the score and the playing sound according to the reproduction order of the score.

이때, 판정부(114)는 일치여부에 따른 결과정보를 악보정보에서 해당되는 위치에 표시하여 출력할 수 있으며, 이에 따라 사용자가 현악기 연주시 잘못 연주된 부분을 인식할 수 있도록 제공할 수 있다.At this time, the judging unit 114 may display and output the result information according to whether or not the match is in the corresponding position in the score information, so that the user can recognize the wrongly played part when playing the string instrument.

상술한 판정부(114)의 구성을 도 5를 통해 더욱 상세히 설명하면, 도 5(a)에 도시된 바와 같이 상기 판정부(114)는 코드 비교부(200), 개별음 비교부(300) 및 스트로크 비교부(400)를 포함할 수 있다.When the configuration of the above-described determination unit 114 is described in more detail through FIG. 5, as shown in FIG. 5 (a), the determination unit 114 includes a code comparison unit 200 and an individual sound comparison unit 300. And it may include a stroke comparison unit 400.

우선, 코드 비교부(200)는 연주 분석정보와 악보 분석정보에 포함된 연주 코드정보와 악보 코드정보를 비교하여 상호 일치하는지 여부를 판단할 수 있다.First, the chord comparison unit 200 compares the performance chord information included in the performance analysis information and the score analysis information and the score code information to determine whether they match each other.

또한, 개별음 비교부(300)는 연주 분석정보에 포함된 연주음 정보와 악보 분석정보에 포함된 코드음 정보가 상호 일치하는지 여부를 판단할 수 있다.Also, the individual sound comparison unit 300 may determine whether the performance sound information included in the performance analysis information and the code sound information included in the music score analysis information match each other.

이때, 코드 비교부(200)와 개별음 비교부(300)는 연주 분석정보에 포함된 타이밍 정보를 기초로 서로 다른 연주음간 시간 차이를 측정하여 악보 분석정보에 포함된 박자정보와 비교할 수 있으며, 이에 따라 연주에 따른 박자가 악보에 따른 박자와 상호 일치하는지 여부를 판단할 수 있다.At this time, the chord comparator 200 and the individual sound comparator 300 may measure a time difference between different performance tones based on timing information included in the performance analysis information and compare it with the beat information included in the score analysis information. Accordingly, it is possible to determine whether the beat according to the performance coincides with the beat according to the score.

상술한 바에 따라, 코드 비교부(200)와 개별음 비교부(300)는 판단결과에 대한 결과정보를 도 3에 도시된 바와 같이 출력부(150)를 통해 출력할 수 있으며, 연주 분석정보와 악보 분석정보가 상호 불일치하는 경우 출력부(150)를 통해 불일치에 대한 결과정보를 출력할 수 있다. 또한, 코드 비교부(200)와 개별음 비교부(300)는 악보 정보에 불일치 부분을 표시하여 출력부(150)를 통해 결과정보로 제공할 수 있다.As described above, the chord comparator 200 and the individual sound comparator 300 can output the result information for the determination result through the output unit 150 as shown in FIG. 3, and the performance analysis information and When the score analysis information is inconsistent with each other, the result information on the inconsistency may be output through the output unit 150. In addition, the code comparison unit 200 and the individual sound comparison unit 300 may display a discrepancy portion in the score information and provide the result information through the output unit 150.

더하여, 코드 비교부(200)와 개별음 비교부(300)는 연주음 정보와 코드음 정보의 불일치에 따른 음의 높낮이 차이에 대한 차이정보를 결과정보에 포함하여 출력할 수도 있다.In addition, the chord comparator 200 and the individual sound comparator 300 may output information including difference information on the difference in pitch height according to a mismatch between the performance sound information and the chord sound information.

한편, 코드 비교부(200)와 개별음 비교부(300)는 연주 분석정보에 포함된 세기정보와 악보 분석정보에 포함된 강약정보를 상호 비교하여, 연주음별 강약에 대한 일치여부를 판단하여 강약의 일치 또는 불일치에 대한 정보를 결과정보에 포함하여 출력할 수 있다.On the other hand, the chord comparison unit 200 and the individual sound comparison unit 300 compare strength information included in the performance analysis information and strength information included in the music score analysis information, and determine whether the strength and weakness of each performance sound match or not. The information on the coincidence or disagreement can be included and output in the result information.

한편, 도 5(a)에 도시된 바와 같이 판정부(114)는 스트로크 비교부(400)를 더 포함하며, 현악기의 연주 주법인 스트로크에 대한 정확도를 판단할 수도 있다.On the other hand, as shown in Figure 5 (a), the determination unit 114 further includes a stroke comparison unit 400, it is also possible to determine the accuracy of the stroke, the main playing method of the string instrument.

이에 대한 실시예를 도 6을 참고로 설명하면, 현악기의 연주 주법인 스트로크 주법은 여러 줄을 올려치거나 내려치는 주법으로서, 낮은 음줄 쪽에서 높은 음줄을 향해 쳐서 내리는 동작을 '다운 스트로크'라고 하며, 높은 음줄 쪽에서 낮은 음줄을 향해 쳐 올리는 동작을 '업 스토르크'라 한다.Referring to Figure 6 for an embodiment of this, the main method of playing a string is the method of raising or lowering several strings, and the operation of striking and lowering from the low-line side toward the high-line is called a 'down stroke'. The action of striking from the high-line side to the low-line is called the 'up stork'.

이와 같은 스트로크 주법에 따른 연주시 복수의 현줄을 순차적으로 울리게 되므로, 시작음과 끝음이 발생한다.When playing according to the stroke method, a plurality of strings are sequentially sounded, so that a start sound and an end sound are generated.

따라서, 악보 분석부(113)는 도 6에 도시된 바와 같이 악보 정보로부터 코드정보를 확인하며, 코드정보에 대응되는 시작음 및 끝음을 포함하는 스트로크 정보를 생성하여 판정부(114)로 제공할 수 있다. 이때, 악보 분석부(113)는 악보 정보에 스트로크가 존재하는 위치에서만 상기 스트로크 정보를 생성할 수 있다.Therefore, the sheet music analysis unit 113 confirms the code information from the sheet music information as shown in FIG. 6, generates stroke information including a start sound and an end sound corresponding to the code information, and provides it to the determination unit 114 Can be. At this time, the score analysis unit 113 may generate the stroke information only at a position where a stroke exists in the score information.

현악기 중 기타를 예로 들어 설명하면, 악보 분석부는 C코드에 대한 '업 스트로크'인 경우 '솔, 미, 도' 중 '솔'을 시작음으로 하고 '도'를 끝음으로 하는 스트로크 정보를 생성하며, C코드에 대한 '다운 스트로크'인 경우 '도, 미, 솔' 중 '도'를 시작음으로 하고 '솔'을 끝음으로 하는 스트로크 정보를 생성할 수 있다.If the guitar is described as an example of the string instrument, in the case of the 'up stroke' for the C code, the score analysis section generates stroke information with 'sol' as the starting sound and 'degree' as the starting sound. , In the case of the 'down stroke' for the C code, it is possible to generate stroke information with 'degree' as the starting sound and 'sol' as the ending sound among 'degree, beauty, sole'.

상술한 구성에 따라, 판정부(114)는 악보 분석부(113)로부터 수신된 악보 분석정보에 스트로크에 대한 스트로크 정보의 포함여부를 판단하며, 스트로크 정보가 포함된 경우 스트로크 비교부(400)를 활성화시키며, 스트로크 주법의 정확성을 판단하기 위해 스트로크 비교부(400)는 도 5(b)에 도시된 바와 같이 시작음 인식부(410), 끝음 인식부(420) 및 스트로크 판단부(430)를 포함할 수 있다.According to the above-described configuration, the determination unit 114 determines whether stroke information for the stroke is included in the score analysis information received from the score analysis unit 113, and if the stroke information is included, the stroke comparison unit 400 In order to activate and determine the accuracy of the stroke main method, the stroke comparison unit 400 uses the start sound recognition unit 410, the end sound recognition unit 420, and the stroke determination unit 430 as shown in FIG. 5 (b). It can contain.

우선, 시작음 인식부(410)는 악보 분석정보에 포함된 스트로크 정보의 수신시점에 음향 분석부로부터 순차적으로 수신되는 복수의 연주음 정보에서 시작음을 인식하여 시작음 정보를 생성한 후 스트로크 판단부(430)로 제공하며, 끝음 인식부(420)는 상기 복수의 연주음 정보 중에서 끝음을 인식하여 끝음 정보를 생성한 후 스트로크 판단부(430)로 제공할 수 있다.First, the start sound recognition unit 410 recognizes the start sound from a plurality of pieces of sound information sequentially received from the sound analysis unit at the time of receiving the stroke information included in the score analysis information, and then determines the stroke after generating the start sound information Provided by the unit 430, the end sound recognition unit 420 may recognize the end sound among the plurality of pieces of performance information, generate end sound information, and provide it to the stroke determination unit 430.

이에 따라, 스트로크 판단부(430)는 시작음 인식부(410)와 끝음 인식부(420)로부터 수신한 시작음 정보와 끝음 정보를 악보 분석부(113)로부터 수신한 스트로크 정보와 비교할 수 있으며, 이에 따라 스트로크 연주에 따른 시작음 및 끝음이 악보 정보에 따른 스트로크의 시작음 및 끝음과 일치하는지 여부를 판단할 수 있다.Accordingly, the stroke determination unit 430 may compare the start sound information and the end sound information received from the start sound recognition unit 410 and the end sound recognition unit 420 with the stroke information received from the score analysis unit 113, Accordingly, it is possible to determine whether the starting and ending sounds according to the stroke performance match the starting and ending sounds of the stroke according to the score information.

이후, 스트로크 판단부(430)는 스트로크의 일치여부에 대한 판단결과를 결과정보에 포함하여 출력부(150)를 통해 출력할 수 있다.Thereafter, the stroke determination unit 430 may include a result of determining whether the strokes match or not in the result information and output the result through the output unit 150.

이를 통해, 본 발명은 단순 코드와 연주음에 대한 정확도 판단 뿐만 아니라 스트로크의 정확도 판단에 대한 결과를 제공할 수도 있어, 사용자의 연주 정확도를 높일 수 있도록 안내할 수 있다.Through this, the present invention can provide a result of determining the accuracy of the stroke as well as determining the accuracy of the simple chord and the playing sound, and can guide the user to increase the playing accuracy.

한편, 스트로크 비교부(430)는 코드 비교부(410)와 연동하여 연주 분석정보에 포함된 연주 코드정보와 악보 분석정보에 포함된 연주 코드정보가 상호 불일치 하는 경우 스트로크 정보에 따른 스트로크의 일치여부를 판단하지 않을 수 있다.On the other hand, when the stroke comparison unit 430 interoperates with the chord comparison unit 410 and the performance chord information included in the performance analysis information and the performance chord information included in the music score analysis information are inconsistent with each other, whether the stroke is matched according to the stroke information You may not judge.

상술한 실시예에서, 사용자 장치(100)에 구성된 어플리케이션부(110)는 사용자 장치(100)와 통신하는 서비스 장치(500)에 구성될 수도 있다.In the above-described embodiment, the application unit 110 configured in the user device 100 may be configured in the service device 500 communicating with the user device 100.

이에 대한 실시예를 도 7을 통해 설명하면, 서비스 장치에 구성된 어플리케이션부(510)는 상술한 실시예에서 설명한 바와 같이, 음향분석부(511), 재생부(512), 악보 분석부(513) 및 판정부(514)를 포함할 수 있다.When an embodiment of this is described with reference to FIG. 7, the application unit 510 configured in the service device, as described in the above-described embodiment, the acoustic analysis unit 511, the reproduction unit 512, the music analysis unit 513 And a determination unit 514.

이때, 재생부(512)는 사용자 장치(100)로 음악 리스트 정보를 전송하여, 상기 음악 리스트 정보에서 사용자 장치의 선택정보에 따라 선택된 음악에 대한 악보정보를 스트리밍 방식으로 사용자 장치(100)에 전송하여 사용자 장치(100)에서 악보정보를 재생할 수 있다.At this time, the playback unit 512 transmits music list information to the user device 100, and transmits music score information for the selected music according to the user device selection information from the music list information to the user device 100 in a streaming manner. By doing so, the user device 100 can play score information.

이에 따라, 악보 분석부(513)는 재생부(512)의 재생에 따라 사용자 장치(100)에 구성된 악보 분석부(113)의 구성과 마찬가지로 악보 분석정보를 생성하여 판정부(514)로 제공할 수 있다.Accordingly, the sheet music analysis unit 513 generates sheet music analysis information and provides it to the determination unit 514 as in the configuration of the sheet music analysis unit 113 configured in the user device 100 according to the reproduction of the reproduction unit 512. Can be.

또한, 사용자 장치(100)는 마이크부(120)를 통해 현악기의 연주에 따른 음향신호를 통신망을 통해 서비스 장치(500)로 전송할 수 있으며, 서비스 장치(500)에 포함된 음향 분석부(511)는 사용자 장치(100)로부터 상기 음향신호를 수신하여 사용자 장치(100)에 구성된 음향 분석부(111)의 상술한 구성과 마찬가지로 연주 분석정보를 생성하여 판정부(514)로 제공할 수 있다.In addition, the user device 100 may transmit an acoustic signal according to the performance of the string instrument through the microphone unit 120 to the service device 500 through a communication network, and the acoustic analysis unit 511 included in the service device 500 May receive the sound signal from the user device 100 and generate performance analysis information as in the above-described configuration of the sound analysis unit 111 configured in the user device 100 and provide it to the determination unit 514.

더하여, 판정부(514) 역시 사용자 장치(100)에 구성된 판정부(114)와 마찬가지로 동일한 구성을 가질 수 있으며, 다만 결과정보를 통신망을 통해 사용자 장치(100)로 전송하도록 구성될 수 있다.In addition, the determination unit 514 may also have the same configuration as the determination unit 114 configured in the user device 100, but may be configured to transmit result information to the user device 100 through a communication network.

도 8은 상술한 실시예에 따른 현악기 연주 가이드를 위한 방법에 관한 순서도로서, 우선 사용자 장치(100)는 미리 저장된 악보 정보 중 사용자 입력에 따라 선택된 악보 정보를 재생할 수 있다(S1, S2).8 is a flowchart of a method for a string playing guide according to the above-described embodiment, first of all, the user device 100 may play score information selected according to a user input among pre-stored score information (S1, S2).

또한, 사용자 장치(100)는 악보 정보의 재생 순서에 따라 현재 재생되는 위치에 대응되는 현악기의 코드에 대한 악보 코드정보를 생성할 수 있다(S3).In addition, the user device 100 may generate sheet music code information for the code of the string instrument corresponding to the currently played position according to the reproduction order of the sheet music information (S3).

더하여, 사용자 장치(100)는 상기 악보 코드정보에 대응되는 재생 위치에서 상기 악보정보에 스트로크가 존재하는 경우 상기 악보 코드정보에 대응되는 스트로크의 시작음과 끝음에 대한 스트로크 정보를 생성할 수 있다(S3).In addition, when a stroke exists in the score information at a playback position corresponding to the score code information, the user device 100 may generate stroke information for the start and end sounds of the stroke corresponding to the score code information ( S3).

동시에, 사용자 장치(100)는 마이크부(120)를 통해 현악기의 연주에 따른 음향신호를 수신하고(S4), 상기 마이크부(120)를 통해 수신된 음향신호를 처리하여 현재 연주되는 연주음에 대한 연주음 정보와 현악기의 코드에 대한 연주 코드정보를 생성할 수 있다(S5).At the same time, the user device 100 receives the sound signal according to the performance of the string instrument through the microphone unit 120 (S4), processes the sound signal received through the microphone unit 120 to the currently played sound. It is possible to generate performance chord information for chords and strings of a string instrument (S5).

이후, 사용자 장치(100)는 악보 코드정보와 연주 코드정보를 비교하여 일치여부를 판단할 수 있으며(S6), 불일치 하는 경우 불일치에 대한 결과정보를 출력할 수 있다(S7).Thereafter, the user device 100 may compare the score code information and the performance code information to determine whether or not the match (S6), and if there is a mismatch, may output the result information for the mismatch (S7).

또한, 사용자 장치(100)는 악보 코드정보와 연주 코드정보가 상호 일치하는 경우 일치에 대한 결과정보를 출력할 수 있으며(S11), 상기 스트로크 정보가 생성된 경우(S8) 상기 스트로크 정보의 생성 시점을 기준으로 순차적으로 생성되는 복수의 연주음 정보로부터 시작음과 끝음을 인식하여 시작음 정보와 끝음 정보를 생성한 후(S9) 상기 스트로크 정보와 비교하여 일치여부에 대한 결과정보를 제공할 수 있다(S10, S11).In addition, when the score code information and the performance code information coincide with each other, the user device 100 may output the result information for the match (S11), and when the stroke information is generated (S8), when the stroke information is generated Based on a plurality of performance sounds sequentially generated, a start sound and an end sound are recognized to generate the start sound information and the end sound information (S9), and the result information on whether or not match can be provided is compared with the stroke information. (S10, S11).

다음, 사용자 장치는 악보 정보의 재생이 종료되는지 여부를 판단하며(S12), 종료되지 않은 경우 악보 정보의 재생이 종료될때 까지 상술한 구성을 반복할 수 있다.Next, the user device determines whether or not the reproduction of the music score information is ended (S12), and if not, the above-described configuration can be repeated until the reproduction of the music score information ends.

본 발명의 실시예에 따른 현악기 연주 가이드를 위한 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 사용자 장치, 서비스 장치 등에 의하여 읽혀지고 실행됨으로써 현악기 연주 가이드를 위한 방법을 구현할 수 있다. The method for guiding a string instrument according to an embodiment of the present invention can be written in a computer program, and codes and code segments constituting the computer program can be easily inferred by a computer programmer in the field. In addition, the computer program is stored in a computer readable information storage medium (computer readable media), the method for a string playing guide by being read and executed by a computer or a user device, a service device, etc. according to an embodiment of the present invention Can be implemented.

정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 방법을 구현하는 컴퓨터 프로그램은 사용자 장치 또는 서비스 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 현악기 연주 가이드를 위한 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 장치에 장착될 수도 있다.The information storage medium includes a magnetic recording medium, an optical recording medium and a carrier wave medium. A computer program implementing the method for a string playing guide according to an embodiment of the present invention may be stored and installed in the internal memory of a user device or a service device. Alternatively, an external memory such as a smart card storing and installing a computer program implementing a method for a string playing guide according to an embodiment of the present invention may be mounted on a user device through an interface.

이상에서는 본 발명에 따른 바람직한 실시예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다. In the above, preferred embodiments according to the present invention have been illustrated and described. However, the present invention is not limited to the above-described embodiments, and various modifications can be made to anyone having ordinary knowledge in the technical field to which the present invention pertains without departing from the gist of the present invention attached in the claims. .

본 발명은 악보를 재생하면서 현악기를 연주하는 사용자의 연주 정확도를 판단하여 사용자의 연주 정확도를 향상시키며, 특히 현악기의 스트로크 주법에 따른 연주시에도 정확도를 제공하여 더욱 자세한 정보를 제공하기 위한 것으로서, 음악 서비스 분야, 각종 게임 서비스 분야, 소셜 네트워킹 분야 등에서 광범위하게 이용될 수 있다.The present invention improves the user's playing accuracy by judging the playing accuracy of the user playing the string instrument while reproducing the score, in particular, providing the accuracy even when playing according to the stroke method of the string instrument to provide more detailed information, music service It can be widely used in fields, various game service fields, and social networking fields.

10: 현악기 100: 사용자 장치
110, 510: 어플리케이션부 111. 511: 음향 분석부
112, 512: 재생부 113, 513: 악보 분석부
114, 514: 판정부 120: 마이크부
130: 사용자 인터페이스부 140: 메모리부
150: 출력부 200: 코드 비교부
300: 개별음 비교부 400: 스트로크 비교부
500: 서비스 장치10: stringed instrument 100: user device
110, 510: application unit 111. 511: acoustic analysis unit
112, 512: playback unit 113, 513: sheet music analysis unit
114, 514: judgment unit 120: microphone unit
130: user interface unit 140: memory unit
150: output unit 200: code comparison unit
300: individual sound comparison unit 400: stroke comparison unit
500: service device

Claims (9)

현악기의 연주에 따른 음향신호를 수신하는 마이크부;
상기 마이크부를 통해 수신된 음향신호를 처리하여, 현재 연주되는 연주음에 대한 연주음 정보와 현악기의 코드에 대한 연주 코드정보를 생성하는 음향 분석부;
미리 저장된 악보 정보 중 사용자 입력에 따라 선택된 악보 정보를 재생하는 재생부;
상기 재생부를 통한 악보 정보의 재생 순서에 따라 현재 재생되는 위치에 대응되는 현악기의 코드에 대한 악보 코드정보 및 상기 위치에서 상기 악보 정보에 스트로크가 존재하는 경우 상기 악보 코드정보에 대응되는 스트로크의 시작음과 끝음에 대한 스트로크 정보를 생성하는 악보 분석부; 및
상기 음향 분석부와 악보 분석부로부터 상기 연주 코드정보와 상기 악보 코드정보를 수신한 후 상호 비교하여 일치여부에 대한 결과정보를 제공하며, 상기 악보 분석부로부터 상기 스트로크 정보를 수신하는 시점을 기준으로 상기 음향 분석부로부터 순차적으로 수신되는 복수의 상기 연주음 정보로부터 시작음과 끝음을 인식하여 시작음 정보와 끝음 정보를 생성한 후 상기 스트로크 정보와 비교하여 일치여부를 상기 결과정보에 포함하여 제공하는 판정부;
를 포함하되,
상기 음향 분석부는 상기 음향신호의 진폭에 따라 상기 연주음에 대한 세기 정보를 생성하여 상기 판정부로 제공하며,
상기 악보 분석부는 상기 악보 정보의 재생에 따라 현재 재생되는 위치에 대응되는 코드음의 강약에 대한 강약정보를 생성하여 상기 판정부로 제공하고,
상기 판정부는 상기 음향 분석부 및 악보 분석부로부터 수신되는 상기 세기 정보와 강약정보를 연주음별로 비교하여 연주음별 강약의 일치여부에 대한 정보를 상기 결과정보에 더 포함하여 제공하는 것을 특징으로 하는 현악기 연주 가이드를 위한 사용자 장치.A microphone unit for receiving an acoustic signal according to the performance of the string instrument;
An acoustic analysis unit that processes the sound signal received through the microphone unit and generates performance sound information for the currently played performance sound and performance code information for the chord of the string instrument;
A reproducing unit for reproducing pre-stored score information selected according to user input;
Score code information for the chord of the string corresponding to the currently reproduced position according to the reproduction order of the score information through the reproducing unit, and a stroke starting sound of the stroke corresponding to the score code information when a stroke exists in the score information at the position A score analysis unit that generates stroke information for the and ending sounds; And
After receiving the performance code information and the score code information from the sound analysis unit and the score analysis unit, comparing them with each other to provide result information on whether or not they match, and based on the point in time when the stroke information is received from the score analysis unit. After starting and ending sounds are recognized from a plurality of pieces of performance information sequentially received from the sound analysis unit, start sound information and end sound information are generated, and compared with the stroke information, whether or not a match is included in the result information is provided. Judgment unit;
Including,
The acoustic analysis unit generates intensity information for the performance sound according to the amplitude of the acoustic signal and provides it to the determination unit,
The score analysis unit generates strength information about the strength and weakness of the chord sound corresponding to the currently played position according to the reproduction of the score information, and provides the strength information to the determination unit,
The determination unit compares the intensity information and strength information received from the sound analysis unit and the score analysis unit for each performance sound, and further includes information on whether the strength and weakness are matched for each performance sound in the result information, thereby providing a string instrument. User device for performance guide. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 사용자 장치로부터 현악기의 연주에 따른 음향신호를 수신 및 처리하여, 현재 연주되는 연주음에 대한 연주음 정보와 현악기의 코드에 대한 연주 코드정보를 생성하는 음향 분석부;
미리 저장된 악보 정보 중 사용자 장치로부터 수신된 선택정보에 따라 선택된 악보 정보를 사용자 장치로 전송하여 재생하는 재생부;
상기 재생부를 통한 악보 정보의 재생 순서에 따라 현재 재생되는 위치에 대응되는 현악기의 코드에 대한 악보 코드정보 및 상기 위치에서 상기 악보 정보에 스트로크가 존재하는 경우 상기 악보 코드정보에 대응되는 시작음과 끝음에 대한 스트로크 정보를 생성하는 악보 분석부; 및
상기 음향 분석부와 악보 분석부로부터 상기 연주 코드정보와 악보 코드정보를 수신한 후 상호 비교하여 일치여부에 대한 결과정보를 생성하며, 상기 악보 분석부로부터 스트로크 정보를 수신하는 시점을 기준으로 상기 음향 분석부로부터 순차적으로 수신되는 복수의 연주음 정보로부터 시작음과 끝음을 인식하여 시작음 정보와 끝음 정보를 생성한 후 상기 스트로크 정보와 비교하여 일치여부를 상기 결과정보에 포함하여 사용자 장치로 전송하는 판정부;
를 포함하되,
상기 음향 분석부는 상기 음향신호의 진폭에 따라 상기 연주음에 대한 세기 정보를 생성하여 상기 판정부로 제공하며,
상기 악보 분석부는 상기 악보 정보의 재생에 따라 현재 재생되는 위치에 대응되는 코드음의 강약에 대한 강약정보를 생성하여 상기 판정부로 제공하고,
상기 판정부는 상기 음향 분석부 및 악보 분석부로부터 수신되는 상기 세기 정보와 강약정보를 연주음별로 비교하여 연주음별 강약의 일치여부에 대한 정보를 상기 결과정보에 더 포함하여 제공하는 것을 특징으로 하는 현악기 연주 가이드를 위한 서비스 장치.An acoustic analysis unit receiving and processing an acoustic signal according to the performance of the string instrument from the user device to generate performance tone information for the currently played performance tone and performance code information for the chord of the string instrument;
A reproducing unit which transmits and plays selected score information to the user device according to selection information received from the user device among pre-stored score information;
Score code information for the chord of the string corresponding to the currently reproduced position according to the order of reproduction of the score information through the reproducing unit, and a start sound and an end sound corresponding to the score code information when a stroke exists in the score information at the position A score analysis unit for generating stroke information for the; And
After receiving the performance code information and the score code information from the sound analysis unit and the score analysis unit, comparing them with each other to generate result information on whether to match, and based on the point of time when the stroke information is received from the score analysis unit After generating the start sound and the end sound by recognizing the start sound and the end sound from a plurality of pieces of performance information sequentially received from the analysis unit, compare the stroke information and include whether the match is included in the result information and transmit it to the user device Judgment unit;
Including,
The acoustic analysis unit generates intensity information for the performance sound according to the amplitude of the acoustic signal and provides it to the determination unit,
The score analysis unit generates strength information about the strength and weakness of the chord sound corresponding to the currently played position according to the reproduction of the score information, and provides the strength information to the determination unit,
The determination unit compares the intensity information and strength information received from the sound analysis unit and the score analysis unit for each performance sound, and further includes information on whether the strength and weakness are matched for each performance sound in the result information, thereby providing a string instrument. Service device for performance guides. 삭제delete 삭제delete
KR1020130128585A 2013-10-28 2013-10-28 Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof KR102117685B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130128585A KR102117685B1 (en) 2013-10-28 2013-10-28 Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130128585A KR102117685B1 (en) 2013-10-28 2013-10-28 Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof

Publications (2)

Publication Number Publication Date
KR20150048472A KR20150048472A (en) 2015-05-07
KR102117685B1 true KR102117685B1 (en) 2020-06-01

Family

ID=53386961

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130128585A KR102117685B1 (en) 2013-10-28 2013-10-28 Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof

Country Status (1)

Country Link
KR (1) KR102117685B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101841033B1 (en) * 2016-09-19 2018-05-08 주식회사 잼이지 System, device, method and computer readable storage medium for providing performance guiding information based on performed note of instrument

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009047861A (en) * 2007-08-17 2009-03-05 Sony Corp Device and method for assisting performance, and program
JP2011069900A (en) * 2009-09-24 2011-04-07 Xing Inc Thrumming stringed instrument performance evaluation device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100354924C (en) * 2000-12-05 2007-12-12 娱乐技术有限公司 Method for analyzing music using sound information of instruments
KR100455751B1 (en) * 2001-12-18 2004-11-06 어뮤즈텍(주) Apparatus for analyzing music using sound of instruments
KR101221673B1 (en) 2012-03-21 2013-01-16 이승원 Apparatus for practicing electric guitar performance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009047861A (en) * 2007-08-17 2009-03-05 Sony Corp Device and method for assisting performance, and program
JP2011069900A (en) * 2009-09-24 2011-04-07 Xing Inc Thrumming stringed instrument performance evaluation device

Also Published As

Publication number Publication date
KR20150048472A (en) 2015-05-07

Similar Documents

Publication Publication Date Title
CN110070847B (en) Musical tone evaluation method and related products
Barbancho et al. Inharmonicity-based method for the automatic generation of guitar tablature
CN101652807A (en) Music transcription
CN104217729A (en) Audio processing method, audio processing device and training method
CN110111761B (en) Method for real-time following musical performance and related product
JP2010517060A (en) Music search method to search based on music segment information
CN108257588B (en) Music composing method and device
CN108038146A (en) Musical performance artificial intelligence analysis method, system and equipment
CN105474288A (en) Sound source evaluation method, performance information analysis method and recording medium used therein, and sound source evaluation apparatus using same
US7650281B1 (en) Method of comparing voice signals that reduces false alarms
CN105895079B (en) Voice data processing method and device
KR102117685B1 (en) Apparatus and method for guide to playing a stringed instrument, and computer readable medium having computer program recorded thereof
CN108369800A (en) Acoustic processing device
Shin et al. Real-time recognition of guitar performance using two sensor groups for interactive lesson
KR20160101355A (en) Apparatus and method for providing a personalized training program based on analysis of playing pattern
Chudy Discriminating music performers by timbre: On the relation between instrumental gesture, tone quality and perception in classical cello performance
CN115331648A (en) Audio data processing method, device, equipment, storage medium and product
CN116710998A (en) Information processing system, electronic musical instrument, information processing method, and program
CN110136677B (en) Musical tone control method and related product
Müller et al. Automatic transcription of bass guitar tracks applied for music genre classification and sound synthesis
JP6728572B2 (en) Plucked instrument performance evaluation device, music performance device, and plucked instrument performance evaluation program
JP2010224430A (en) Automatic music collection device, scale identification program, scale discrimination program, electric traditional stringed musical instrument music automatic collection system, and electric shamisen music automatic collection system
Barbancho et al. Discrimination between ascending/descending pitch arpeggios
Tindale Classification of snare drum sounds using neural networks
JP2017078829A (en) Performance analysis device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant