JP2006189471A - プログラム、歌唱力判定方法、ならびに、判定装置 - Google Patents

Abstract

【課題】 先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することのできるプログラム等を提供する。
【解決手段】 画像生成部２０４は、楽譜画像、判定ライン、および、鍵盤画像とを含む表示画像を生成する。シンボル表示制御部２０５は、模範音声情報に基づいて音符シンボルを楽譜画像の対応位置に配置し、再生される楽曲のリズムに合わせて音符シンボルを判定ライン等に向けてスクロールさせる。音階表示制御部２０７は、受け付けられた歌唱音声の音程に基づいて、鍵盤画像における対応する音階の鍵盤を発光させる。そして、歌唱力採点部２０８は、スクロールされた音符シンボルの位置と判定ライン等との関係、および、音符シンボルの楽譜画像上の配置と発光された鍵盤の位置との関係に基づいて、音程を含む歌唱力を採点する。
【選択図】 図２

Description

本発明は、プログラム、歌唱力判定方法、ならびに、判定装置に関する。

従来より、業務用や家庭用のカラオケ装置が広く普及している。また、汎用のパーソナルコンピュータやゲーム装置等においても、所定のカラオケ演奏ソフトウェアを実行させることにより、カラオケ装置として機能させることが可能となっている。
ユーザは、これらのカラオケ装置を使うことにより、お店や家庭等でカラオケを楽しむことができる。

このようなカラオケ装置は、一般に、主旋律となるメロディライン（メロディパート）が含まれる楽曲（カラオケ楽曲）を演奏する。そして、ユーザ（歌唱者）は、演奏されるメロディラインを頼りに、楽曲の主旋律を沿って歌唱する（表示される歌詞を歌う）ことになる。つまり、このメロディラインは、ユーザが楽曲を歌い易くガイドする役目を担っている。
そのため、歌い慣れていない楽曲やうろ覚えの楽曲等を歌唱する場合であっても、ユーザは、メロディラインの音程やリズム等に合わせて歌詞を歌唱することで、何とか最後まで楽曲を歌いきることができる。

また、カラオケ装置には、ユーザの歌唱力を採点できる機種も多い。このようなカラオケ装置は、カラオケ楽曲の演奏に伴って、ユーザの歌唱音声を入力すると、模範とすべき模範音声（音程、音量および、リズム等）との比較を行う。そして、この比較結果に基づいて、ユーザの歌唱力を採点し、たとえば、演奏の終了時に、採点結果を数値等にて表示する。

なお、この種のカラオケ装置の一例として、歌唱パートがユーザ毎に別れている場合に、各ユーザの歌唱音声を適切に出力制御することのできるカラオケ装置の技術も開示されている（たとえば、特許文献１参照）。
特開２００４−２４００６５号公報 （第６−１１頁、第２図）

上述したように、従来のカラオケ装置では、楽曲の終了時に、ユーザの歌唱力を数値等にて表示するのが一般的である。そのため、ユーザ等は、歌っている最中に歌唱力の評価ができないことになる。
つまり、歌の途中で、ユーザの歌唱音声と模範音声との比較結果が何ら報知されないため、現在歌唱している音声が模範音声と適切に合致しているのかや、模範音声とどの位ずれているのかを、ユーザ等が全く判断できないという問題があった。

また、上述したように、従来のカラオケ装置ではメロディラインが演奏され、このメロディラインを頼りにユーザが主旋律を歌唱する。そのため、歌い慣れていない楽曲等でも何とか歌うことができるものの、ユーザが歌唱音声をメロディラインに合わせる（追随させる）際に、幾分遅れが生じてしまっていた。
つまり、歌の途中で先のメロディラインが把握できていない場合等では、実際にメロディラインを聴きながら、ユーザが歌唱音声の音程等を調整することになる。これにより、自ずと歌唱音声と模範音声とにずれ（遅れ）が生じてしまい、歌唱力の評価が低くなってしまっていた。

これらのことから、歌の途中で歌唱音声と模範音声との比較状況の把握が行えたり、また、先のメロディラインの把握が行える技術が求められていた。

本発明は、このような課題を解決するためになされたもので、先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することのできるプログラム、歌唱力判定方法、ならびに、判定装置を提供することを目的とする。

本発明の第１の観点に係るプログラムは、コンピュータ（ゲーム装置を含む。）を、楽曲記憶部、画像表示部、伴奏再生部、シンボル表示制御部、音声入力受付部、音階表示制御部、および、採点部として機能させるように構成する。

まず、楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報とが含まれる楽曲情報を記憶する。また、画像表示部は、当該模範音声の音程を表す音程シンボル（たとえば、音符シンボル）を配置するための楽譜エリア（たとえば、楽譜画像）と、当該楽譜エリア内の所定領域に設定された判定エリア（たとえば、判定ラインや判定ゾーン）と、当該楽譜エリアの音階に対応して区画される音階区画がそれぞれ配置された入力エリア（たとえば、鍵盤画像）とが含まれる画像を表示する。そして、伴奏再生部は、当該伴奏情報に基づいて、楽曲を再生する。

一方、シンボル表示制御部は、当該模範音声情報に基づいて当該音程シンボルを当該楽譜エリアの対応位置に配置し、再生される楽曲のリズムに合わせて当該音程シンボルを当該判定エリアに向けてスクロールさせる。また、音声入力受付部は、ユーザが歌う歌唱音声の入力を受け付ける。音階表示制御部は、受け付けられた当該歌唱音声の音程に基づいて、当該入力エリアにおける対応する音階区画の表示形態を変化させる（たとえば、発光させる）。そして、採点部は、スクロールされた当該音程シンボルの位置と当該判定エリアとの関係、および、当該音程シンボルの楽譜エリア上の配置と表示形態が変化された当該音階区画の位置との関係に基づいて、音程を含む歌唱力を採点する。

たとえば、音程シンボルが判定エリアに到達しており、発光された音階区画と音程シンボルの音階とが等しい場合に、採点部は、発声のタイミングと発声の音程とが合致するため、プラス評価を下す。一方、音程シンボルが判定エリアに到達しいても、発光された音階区画と、音程シンボルの音階とが異なる場合に、採点部は、発声の音程がずれているため、マイナス評価を下す。この他にも、発光された音階区画と、音程シンボルの音階とが等しい場合であっても、音程シンボルが判定エリアに到達前等であれば、採点部は、発声タイミングがずれているため、マイナス評価を下す。
このように、ユーザが歌っている現在の歌唱音声と模範音声との比較状況を容易に把握することができる。また、歌う先のメロディが楽譜エリアに表示されるため、先のメロディラインの把握を事前に行うことができる。
この結果、先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することができる。

前記楽曲記憶部に記憶される模範音声情報には、模範音声の強弱を規定する音量情報が含まれており、
前記シンボル表示制御部は、当該音量情報に基づく模範音声の強弱に応じて、当該音程シンボルの表示形態を変化させてもよい。

上記プログラムは、コンピュータを、当該楽譜エリアにおける音程シンボルの配置状況に基づいて、前記画像表示部に表示される画像の音階方向の表示幅を変化させる画像表示制御部としてさらに機能させてもよい。

上記プログラムは、コンピュータを、受け付けられた当該歌唱音声の音程履歴を示す履歴情報を、当該模範音声情報に対応付けて記憶する履歴情報記憶部、
記憶された当該履歴情報に基づいて、歌唱音程を示す履歴シンボルを、前記シンボル表示制御部により配置される当該音程シンボルと合成して、当該楽譜エリアに配置する履歴シンボル合成部としてさらに機能させてもよい。

上記プログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記録媒体に記録することができる。

上記プログラムは、当該プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記録媒体は、当該コンピュータとは独立して配布・販売することができる。

本発明の第２の観点に係る歌唱力判定方法は、楽曲記憶部（楽曲の伴奏音を規定する伴奏情報と、楽曲のメロディを規定するメロディ情報とが含まれる楽曲情報を記憶する）を用いる歌唱力判定方法であって、画像表示工程、伴奏再生工程、シンボル表示制御工程、音声入力受付工程、音階表示制御工程、および、採点工程を備え、以下のように構成する。

まず、画像表示工程では、当該模範音声の音程を表す音程シンボルを配置するための楽譜エリアと、当該楽譜エリア内の所定領域に設定された判定エリアと、当該楽譜エリアの音階に対応して区画される音階区画がそれぞれ配置された入力エリアとが含まれる画像を表示する。また、伴奏再生工程では、当該伴奏情報に基づいて、楽曲を再生する。そして、シンボル表示制御工程では、当該模範音声情報に基づいて当該音程シンボルを当該楽譜エリアの対応位置に配置し、再生される楽曲のリズムに合わせて当該判定エリアに向けてスクロールさせる。

一方、音声入力受付工程では、ユーザが歌う歌唱音声の入力を受け付ける。また、音階表示制御工程では、受け付けられた当該歌唱音声の音程に基づいて、当該入力エリアにおける対応する音階区画の表示形態を変化させる。そして、採点工程では、スクロールされた当該音程シンボルの位置と当該判定エリアとの関係、および、当該音程シンボルの楽譜エリア上の配置と表示形態が変化された当該音階区画の位置との関係に基づいて、音程を含む歌唱力を採点する。

このように、ユーザが歌っている現在の歌唱音声と模範音声との比較状況を容易に把握することができる。また、歌う先のメロディが楽譜エリアに表示されるため、先のメロディラインの把握を事前に行うことができる。
この結果、先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することができる。

本発明の第３の観点に係る判定装置は、楽曲記憶部、画像表示部、伴奏再生部、シンボル表示制御部、音声入力受付部、音階表示制御部、および、採点部を備え、以下のように構成する。

まず、楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報とが含まれる楽曲情報を記憶する。また、画像表示部は、当該模範音声の音程を表す音程シンボルを配置するための楽譜エリア（たとえば、楽譜画像）と、当該楽譜エリア内の所定領域に設定された判定エリア（たとえば、判定ラインや判定ゾーン）と、当該楽譜エリアの音階に対応して区画される音階区画がそれぞれ配置された入力エリア（たとえば、鍵盤画像）とが含まれる画像を表示する。そして、伴奏再生部は、当該伴奏情報に基づいて、楽曲を再生する。

一方、シンボル表示制御部は、当該模範音声情報に基づいて当該音程シンボルを当該楽譜エリアの対応位置に配置し、再生される楽曲のリズムに合わせて当該音程シンボルを当該判定エリアに向けてスクロールさせる。また、音声入力受付部は、ユーザが歌う歌唱音声の入力を受け付ける。音階表示制御部は、受け付けられた当該歌唱音声の音程に基づいて、当該入力エリアにおける対応する音階区画の表示形態を変化させる（たとえば、発光させる）。そして、採点部は、スクロールされた当該音程シンボルの位置と当該判定エリアとの関係、および、当該音程シンボルの楽譜エリア上の配置と表示形態が変化された当該音階区画の位置との関係に基づいて、音程を含む歌唱力を採点する。

このように、ユーザが歌っている現在の歌唱音声と模範音声との比較状況を容易に把握することができる。また、歌う先のメロディが楽譜エリアに表示されるため、先のメロディラインの把握を事前に行うことができる。
この結果、先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することができる。

本発明によれば、先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することができる。

以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム装置に本発明が適用される実施形態を説明するが、各種のコンピュータ、ＰＤＡ、携帯電話などの情報処理装置、および専用のカラオケ装置においても同様に本発明を適用することができる。すなわち、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

（実施形態１）
図１は、本発明の実施の形態に係るカラオケ装置（判定装置）が実現される典型的なゲーム装置の概要構成を示す模式図である。以下、本図を参照して説明する。

ゲーム装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、マイク１０５と、コントローラ１０６と、外部メモリ１０７と、ＤＶＤ（Digital Versatile Disk）−ＲＯＭドライブ１０８と、画像処理部１０９と、音声処理部１１０と、ＮＩＣ（Network Interface Card）１１１と、を備える。

なお、ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、ゲーム装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態のカラオケ装置が実現される。

ＣＰＵ １０１は、ゲーム装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。

ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、ゲーム装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。

ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。

インターフェース１０４を介して接続されたマイク１０５は、ユーザが発する音声（歌唱音声等）を受け付けて、音声信号に変換して入力する。なお、２本のマイク１０５が２人のユーザにより使用された場合、各マイク１０５は、それぞれのユーザからの歌唱音声を受け付ける。

インターフェース１０４を介して接続されたコントローラ１０６は、ユーザがゲーム実行の際に行う操作入力を受け付ける。

インターフェース１０４を介して着脱自在に接続された外部メモリ１０７には、ゲームの進行状態を示すデータ、チャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０６を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０７に記録することができる。

ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。

画像処理部１０９は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０９が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０９が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０９に接続されるモニタ（図示せず）へ出力される。これにより、各種の画像表示が可能となる。

なお、画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
また、仮想３次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想３次元空間に配置されたポリゴンを俯瞰したレンダリング画像を得る演算の高速実行も可能である。

音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。

さらに、音声処理部１１０は、シンセサイザ等の音源を有しており、たとえば、ＭＩＤＩ（Musical Instrument Digital Interface）データにしたがって、電子音を順次合成し、楽曲音をスピーカから出力させる。また、各マイク１０５からそれぞれ入力された歌唱音声をサンプリングし、サンプリングした音声信号を楽曲音に合成して出力する。つまり、マイク１０５からの歌唱音声を楽曲音と共に出力する。
なお、音声処理部１１０は、各マイク１０５から入力された歌唱音声を通常に出力するだけでなく、ＣＰＵ １０１の制御の下、各マイク１０５に対応する歌唱音声の出力音量を制御する。

ＮＩＣ １１１は、ゲーム装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。

このほか、ゲーム装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０７、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
また、ユーザからの文字列の編集入力を受け付けるためのキーボードや、各種の位置の指定および選択入力を受け付けるためのマウスなどを接続する形態も採用することができる。また、本実施形態のゲーム装置１００にかえて、汎用のパーソナルコンピュータを利用することもできる。

（カラオケ装置の概要構成）
図２は、本実施形態に係るカラオケ装置の概要構成を示す模式図である。以下、本図を参照して説明する。

カラオケ装置２００は、楽曲記憶部２０１と、楽曲再生部２０２と、画像記憶部２０３と、画像生成部２０４と、シンボル表示制御部２０５と、音声入力受付部２０６と、音階表示制御部２０７と、歌唱力採点部２０８とを備える。

まず、楽曲記憶部２０１は、複数の楽曲情報をあらかじめ記憶している。この楽曲情報は、例えば、カラオケ楽曲を規定するＭＩＤＩデータ等からなる。また、楽曲記憶部２０１は、各楽曲に対応して、ユーザ（歌唱者）が模範とすべき歌唱音声（メロディライン）を規定する模範音声情報を記憶している。この模範音声情報には、たとえば、音程、音量、および、リズム等の情報が含まれている。

このような楽曲情報および模範音声情報の他に、楽曲記憶部２０１は、楽曲に応じた歌詞情報等を記憶している。
なお、ＤＶＤ−ＲＯＭドライブ１０８に装着されたＤＶＤ−ＲＯＭや外部メモリ１０７が、このような楽曲記憶部２０１として機能しうる。

楽曲再生部２０２は、楽曲記憶部２０１から再生対象となる楽曲情報（たとえば、ＭＩＤＩデータ等）を読み出し、カラオケ楽曲を再生する。たとえば、楽曲再生部２０２は、音源を有しており、読み出したＭＩＤＩデータに基づいて、電子音を順次合成し、楽曲音をスピーカから出力させる。つまり、楽曲再生部２０２は、ユーザが歌う楽曲の伴奏となるカラオケ楽曲を再生する。
なお、ＤＶＤ−ＲＯＭドライブ１０８、音声処理部１１０が、このような楽曲再生部２０２として機能しうる。

画像記憶部２０３は、画像生成部２０４等に使用される画像情報を予め記憶する。たとえば、画像記憶部２０３は、画像生成部２０４が生成する表示画像を形成する楽譜画像や鍵盤画像等を記憶する。また、シンボル表示制御部２０５に使用される音符シンボル（楽譜画像上にて音程を示すシンボルとなる）等も記憶する。
なお、ＤＶＤ−ＲＯＭドライブ１０８に装着されたＤＶＤ−ＲＯＭや外部メモリ１０７が、このような画像記憶部２０３として機能しうる。

画像生成部２０４は、画像記憶部２０３に記憶される楽譜画像や鍵盤画像等に基づいて、表示画像を生成する。
たとえば、画像生成部２０４は、図３に示すような、楽譜画像２１１、判定ライン２１２、判定ゾーン２１３、および、鍵盤画像２１４を含む表示画像を生成する。

図中における楽譜画像２１１は、後述する音符シンボルを記す（配置する）ための譜表である。
判定ライン２１２は、後述するように、シンボル表示制御部２０５により楽譜画像２１１に配置されてスクロールされる音符シンボルの発声タイミングを示すと共に、発声タイミングを正確に判定するための基準線である。
判定ゾーン２１３は、音符シンボルの発声タイミングを寛容に判定するための基準範囲である。
鍵盤画像２１４は、音階をそれぞれ示す鍵盤（黒鍵および白鍵）を表しており、後述するように、音声入力受付部２０６が受け付けた歌唱音声の音程を発光等にて表す。
なお、画像処理部１０９が、このような画像生成部２０４として機能しうる。

図２に戻って、シンボル表示制御部２０５は、模範とすべき模範音声（メロディ）の音程を表す音符シンボルを生成し、上述した楽譜画像２１１の対応位置に配置する。そして、楽曲再生部２０２にて再生されるカラオケ楽曲のリズムに合わせて、この音符シンボルをスクロールさせる。
つまり、シンボル表示制御部２０５は、画像記憶部２０３から音符シンボルの画像を読み出し、楽曲記憶部２０１から読み出した模範音声情報に基づいて、楽譜画像２１１に配置する。
たとえば、シンボル表示制御部２０５は、図４（ａ）に示すような音符シンボル２２１を生成する。なお、一例としてこの音符シンボル２２１には、楽曲記憶部２０１から読み出された歌詞が合成されている。
そして、シンボル表示制御部２０５は、図４（ｂ）に示すように、生成した音符シンボル２２１を楽譜画像２１１の対応位置（対応する音階）にそれぞれ配置する。
さらに、シンボル表示制御部２０５は、配置したこれらの音符シンボル２２１を、図４（ｃ）に示すように、判定ライン２１２（判定ゾーン２１３）に向けて、スクロールさせる。このスクロールは、楽曲再生部２０２にて再生されるカラオケ楽曲のリズムに合うように適宜調整される。
なお、画像処理部１０９が、このようなシンボル表示制御部２０５として機能しうる。

図２に戻って、音声入力受付部２０６は、楽曲再生部２０２により再生される楽曲音に合わせてユーザが歌う歌唱音声の入力を受け付ける。
たとえば、音声入力受付部２０６は、入力が受け付けられた歌唱音声（入力音声）をサンプリングし、サンプリングにより得た音声信号を音階表示制御部２０７に供給する。
なお、マイク１０５、音声処理部１１０が、このような音声入力受付部２０６として機能しうる。

音階表示制御部２０７は、音声入力受付部２０６から供給された音声信号について、音程等の解析を行い、解析したこの音程に基づいて、上述した鍵盤画像２１４の対応箇所（音程に対応する何れかの鍵盤）を発光させる。
たとえば、音階表示制御部２０７は、図５に示すように、歌唱音声の音程に応じた鍵盤２２２の表示色を変化させる。
なお、画像処理部１０９が、このような音階表示制御部２０７として機能しうる。

歌唱力採点部２０８は、シンボル表示制御部２０５によりスクロールされた音符シンボルの位置と判定ライン等との関係、および、音符シンボルの楽譜画像上の配置と発光された鍵盤の位置（音階）との関係に基づいて、音程を含む歌唱力を採点する。
たとえば、図６（ａ）に示すように、音符シンボル２２１が判定ライン２１２上に到達しており、発光された鍵盤２２２の音階と、音符シンボル２２１の音階とが等しい場合に、歌唱力採点部２０８は、最高のプラス評価を下す。なお、音符シンボル２２１が判定ゾーン２１３内であれば、標準のプラス評価を下す。
一方、図６（ｂ）に示すように、音符シンボル２２１が判定ライン２１２上に到達しいても、発光された鍵盤２２２の音階と、音符シンボル２２１の音階とが異なる場合に、歌唱力採点部２０８は、マイナス評価を下す。この他にも、発光された鍵盤２２２の音階と、音符シンボル２２１の音階とが等しい場合であっても、音符シンボル２２１が判定ライン２１２に到達前等であれば、歌唱力採点部２０８は、マイナス評価を下す。
なお、ＣＰＵ １０１がこのような歌唱力採点部２０８として機能しうる。

（カラオケ装置の動作の概要）
図７は、カラオケ装置２００において実行される歌唱力採点処理の流れを示すフローチャートである。以下、本図を参照して説明する。この歌唱力採点処理は、たとえば、楽曲記憶部２０１から、再生対象の任意の楽曲（ＭＩＤＩデータおよび模範音声情報等）が選択された後に開始される。

まず、楽曲再生部２０２は、楽曲記憶部２０１から楽曲情報を読み出してカラオケ楽曲を再生する（ステップＳ３０１）。
そして、画像生成部２０４は、上述した図３に示すような表示画像を生成する。

シンボル表示制御部２０５は、音符シンボルを生成し、表示画像（楽譜画像）に配置してスクロールさせる（ステップＳ３０２）。
つまり、シンボル表示制御部２０５は、楽曲記憶部２０１から読み出した模範音声情報に基づいて、上述した図４（ｂ）に示すように、音符シンボル２２１を楽譜画像２１１に配置する。そして、再生されるカラオケ楽曲のリズムに合わせて、図４（ｃ）に示すように、音符シンボル２２１を判定ライン２１２（判定ゾーン２１３）に向けてスクロールさせる。

このようにカラオケ楽曲が再生され、音符シンボルがスクロールする表示画像が表示されている状態でユーザが歌を歌うと、音声入力受付部２０６は、ユーザの歌唱音声の入力を受け付ける（ステップＳ３０３）。つまり、音声入力受付部２０６は、入力が受け付けられた歌唱音声（入力音声）をサンプリングし、サンプリングにより得た音声信号を順次、音階表示制御部２０７に供給する。

音階表示制御部２０７は、音声入力受付部２０６から供給された音声信号について、音程等を解析し、解析した音程に基づいて、鍵盤画像の対応箇所（音程に対応する何れかの鍵盤）を発光させる（ステップＳ３０４）。
つまり、音階表示制御部２０７は、上述した図５に示すように、歌唱音声の音程に応じた鍵盤２２２の表示色を変化させる。

歌唱力採点部２０８は、音符シンボルのスクロール位置および、音符シンボルの音階と鍵盤画像の発光箇所の音階とを比較する（ステップＳ３０５）。
そして、歌唱力採点部２０８は、これらの比較結果に基づいて、歌唱力を採点する（ステップＳ３０６）。
たとえば、上述した図６（ａ）に示すように、音符シンボル２２１が判定ライン２１２上に到達しており、発光された鍵盤２２２の音階と、音符シンボル２２１の音階とが等しい場合に、歌唱力採点部２０８は、発声のタイミングと発声の音程とが極めて正確に合致するため、最高のプラス評価を下す。なお、音符シンボル２２１が判定ゾーン２１３内であれば、標準のプラス評価を下す。
一方、図６（ｂ）に示すように、音符シンボル２２１が判定ライン２１２上に到達していても、発光された鍵盤２２２の音階と、音符シンボル２２１の音階とが異なる場合に、歌唱力採点部２０８は、発声の音程がずれているため、マイナス評価を下す。この他にも、発光された鍵盤２２２の音階と、音符シンボル２２１の音階とが等しい場合であっても、音符シンボル２２１が判定ライン２１２に到達前等であれば、歌唱力採点部２０８は、発声タイミングがずれているため、マイナス評価を下す。

カラオケ装置２００は、楽曲の再生が終了したか否かを判別し（ステップＳ３０７）、再生が終了していない場合（ステップＳ３０７；Ｎｏ）、ステップＳ３０１に処理を戻して、上述のステップＳ３０１〜Ｓ３０７の処理を繰り返し実行する。一方、再生が終了した場合（ステップＳ３０７；Ｙｅｓ）、カラオケ装置２００は、歌唱力採点処理を終了する。

このように、カラオケ装置２００は、ユーザが歌っている現在の歌唱音声と模範音声との比較状況を容易に把握することができる。また、歌う先のメロディが楽譜上に表示されるため、先のメロディラインの把握を事前に行うことができる。
この結果、先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することができる。

（他の実施形態）
上記実施形態では、固定の楽譜画像上に音符シンボルを配置する場合について説明したが、音符シンボルの配置状況に基づいて、見やすいように楽譜画像等の音階方向の幅を適宜変更するようにしてもよい。
以下、本発明の他の実施の形態に係るカラオケ装置４００について図８を参照して説明する。

図８は、本発明の他の実施の形態に係るカラオケ装置４００の概要構成を示す模式図である。
このカラオケ装置４００は、上述した図２のカラオケ装置２００の構成に加えて、画像表示制御部４０１をさらに備えている。

画像表示制御部４０１は、シンボル表示制御部２０５により楽譜画像に配置される音符シンボルの配置状況に基づいて、画像生成部２０４にて生成される楽譜画像等の音階方向の表示幅を変化させる。
たとえば、画像表示制御部４０１は、楽曲記憶部２０１から模範音声情報を読み出し、事前に、シンボル表示制御部２０５に配置される音符シンボルの配置状況を特定する。つまり、表示対象となっている音符シンボルの配置に必要となる音階の範囲を事前に特定する。
そして、画像表示制御部４０１は、音符シンボルの配置状況（必要となる音階の範囲）に基づいて、楽譜画像や鍵盤画像の音階方向の表示幅を変化させる。
具体的に、音符シンボルが音階の広い範囲に配置される場合に、画像表示制御部４０１は、図９（ａ）に示すように、楽譜画像２１１や鍵盤画像２１４の音階方向の表示幅を狭くする（縮小する）。一方、音符シンボルが音階の狭い範囲に配置される場合に、画像表示制御部４０１は、図９（ｂ）に示すように、楽譜画像２１１や鍵盤画像２１４の音階方向の表示幅を広くする（拡大する）。
このように、楽譜画像等の音階方向の表示幅を適宜変化させることにより、表示される音符シンボルの配置等を見やすくすることができる。

上記実施形態では、楽譜画像上に模範音声の音符シンボルだけを配置する場合について説明したが、過去に歌唱した結果等も併せて表示するようにしてもよい。
以下、本発明の他の実施の形態に係るカラオケ装置５００について図１０を参照して説明する。

図１０は、本発明の他の実施の形態に係るカラオケ装置５００の概要構成を示す模式図である。
このカラオケ装置５００は、上述した図２のカラオケ装置２００の構成に加えて、履歴情報記憶部５０１、および、履歴合成部５０２をさらに備えている。

履歴情報記憶部５０１は、音声入力受付部２０６により受け付けられた歌唱音声の音程履歴を示す履歴情報を、模範音声情報に対応付けて記憶する。
つまり、音階表示制御部２０７にて解析されたユーザの歌唱音程の履歴情報を、模範音声情報に対応付けて記憶する。

履歴合成部５０２は、履歴情報記憶部５０１に記憶された履歴情報に基づいて、歌唱音程を示す履歴シンボルを、シンボル表示制御部２０５により配置される音符シンボルと合成する。
たとえば、図１１に示すように、履歴合成部５０２は、履歴情報に基づく履歴シンボル５２１を、音符シンボル２１１と合成して楽譜画像２１１に配置する。
なお、この際、シンボル表示制御部２０５は、音符シンボル２１１と同様に、履歴シンボル５２１もスクロールさせるものとする。

このように、過去に歌唱した際の音程の履歴も表示されるため、ユーザは、楽曲中のどの箇所が正しく歌えなかったか等が、容易に把握することができる。

上記実施形態では、同一形状の音符シンボルを表示したが、模範音声の音量に応じて、音符シンボルの大きさ等を適宜変化させてもよい。
たとえば、シンボル表示制御部２０５は、楽曲記憶部２０１から模範音声の強弱を規定する音量情報を読み出し、この音量情報に基づいて音符シンボルの大きさを変化させる。
具体的には、図１２（ａ）に示すように、シンボル表示制御部２０５は、模範音声の音量が第１の規定値よりも小さい場合に、小さな音符シンボル２３１生成して配置する。また、模範音声の音量が第２の規定値よりも大きい場合に、大きな音符シンボル２３２を生成して配置する。そして、模範音声の音量が第１の規定値から第２の規定値の間である場合に、通常の大きさの音符シンボル２１１を生成して配置する。
また、これら音符シンボルの大きさを変化させる以外に、音符シンボルの色等を変化させてもよい。
このように、音符シンボルの表示形態が、模範音声の音量に応じて適宜変化するため、ユーザは、どの位の大きさで歌えばよいかを容易に把握することができる。

上記実施形態では、音符シンボルを音符の形状にて表す場合について説明したが、音程を表すためのシンボルの形状は任意である。また、ユーザが歌う歌唱音声の音程を鍵盤画像の発光等にて表示する場合について説明したが、このような鍵盤画像以外により、歌唱音声の音程を表示してもよい。
たとえば、図１２（ｂ）に示すように、棒状の音程シンボル２４１を配置してもよい。そして、鍵盤画像の代わりに、音階方向に沿って移動するマーカ２４２により、歌唱音声の音程を表示してもよい。

さらに、歌唱終了後に、模範音声の音程とユーザが歌った歌唱音声の音程とをグラフ表示するようにし、模範音声との比較結果を分かり易く表示可能としてもよい。
また、比較結果に基づいて、特に不得意とする区間（たとえば、小節単位）を繰り返し練習可能としてもよい。

以上説明したように、本発明によれば、先のメロディラインを表示しつつ、歌唱音声と模範音声との差を適切に表示することができる。

本発明の実施形態に係るゲーム装置の概要構成を示す模式図である。 本発明の実施形態に係るカラオケ装置の概要構成を示す模式図である。 画像生成部により生成される表示画像の一例を示す模式図である。 （ａ）が音符シンボルの一例を示す模式図であり、（ｂ）が楽譜画像に配置された音符シンボルの一例を示す模式図であり、（ｃ）が音符シンボルがスクロールする様子を説明するための模式図である。 画像生成部により生成される鍵盤画像の一例を示す模式図である。 （ａ），（ｂ）共に、鍵盤画像中の鍵盤が発光する様子を説明するための模式図である。 当該カラオケ装置において実行される歌唱力採点処理の流れを示すフローチャートである。 本発明の他の実施形態に係るカラオケ装置の概要構成を示す模式図である。 （ａ），（ｂ）共に、鍵盤画像等の音階方向の表示幅を変化させる様子を説明するための模式図である。 本発明の他の実施形態に係るカラオケ装置の概要構成を示す模式図である。 音符シンボルに履歴シンボルが合成された様子を説明するための模式図である。 （ａ），（ｂ）共に、他のシンボル等の表示例を示す模式図である。

符号の説明

１００ ゲーム装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェース
１０５ マイク
１０６ コントローラ
１０７ 外部メモリ
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ 画像処理部
１１０ 音声処理部
１１１ ＮＩＣ
２００ カラオケ装置
２０１ 楽曲記憶部
２０２ 楽曲再生部
２０３ 画像記憶部
２０４ 画像生成部
２０５ シンボル表示制御部
２０６ 音声入力受付部
２０７ 音階表示制御部
２０８ 歌唱力採点部
４０１ 画像表示制御部
５０１ 履歴情報記憶部
５０２ 履歴合成部

Claims (6)

1. コンピュータを、
   楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報とが含まれる楽曲情報を記憶する楽曲記憶部、
   当該模範音声の音程を表す音程シンボルを配置するための楽譜エリアと、当該楽譜エリア内の所定領域に設定された判定エリアと、当該楽譜エリアの音階に対応して区画される音階区画がそれぞれ配置された入力エリアとが含まれる画像を表示する画像表示部、
   当該伴奏情報に基づいて、楽曲を再生する伴奏再生部、
   当該模範音声情報に基づいて当該音程シンボルを当該楽譜エリアの対応位置に配置し、再生される楽曲のリズムに合わせて当該音程シンボルを当該判定エリアに向けてスクロールさせるシンボル表示制御部、
   ユーザが歌う歌唱音声の入力を受け付ける音声入力受付部、
   受け付けられた当該歌唱音声の音程に基づいて、当該入力エリアにおける対応する音階区画の表示形態を変化させる音階表示制御部、
   スクロールされた当該音程シンボルの位置と当該判定エリアとの関係、および、当該音程シンボルの楽譜エリア上の配置と表示形態が変化された当該音階区画の位置との関係に基づいて、音程を含む歌唱力を採点する採点部、
   として機能させることを特徴とするプログラム。
2. 請求項１に記載のプログラムであって、
   前記楽曲記憶部に記憶される模範音声情報には、模範音声の強弱を規定する音量情報が含まれており、
   前記シンボル表示制御部は、当該音量情報に基づく模範音声の強弱に応じて、当該音程シンボルの表示形態を変化させる、
   ことを特徴とするもの。
3. 請求項１または２に記載のプログラムであって、
   コンピュータを、
   当該楽譜エリアにおける音程シンボルの配置状況に基づいて、前記画像表示部に表示される画像の音階方向の表示幅を変化させる画像表示制御部としてさらに機能させる、
   ことを特徴とするもの。
4. 請求項１乃至３の何れか１項に記載のプログラムであって、
   コンピュータを、
   受け付けられた当該歌唱音声の音程履歴を示す履歴情報を、当該模範音声情報に対応付けて記憶する履歴情報記憶部、
   記憶された当該履歴情報に基づいて、歌唱音程を示す履歴シンボルを、前記シンボル表示制御部により配置される当該音程シンボルと合成して、当該楽譜エリアに配置する履歴シンボル合成部としてさらに機能させる、
   ことを特徴とするもの。
5. 楽曲記憶部を用いる歌唱力判定方法であって、前記楽曲記憶部は、楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報とが含まれる楽曲情報を記憶しており、
   当該模範音声の音程を表す音程シンボルを配置するための楽譜エリアと、当該楽譜エリア内の所定領域に設定された判定エリアと、当該楽譜エリアの音階に対応して区画される音階区画がそれぞれ配置された入力エリアとが含まれる画像を表示する画像表示工程と、
   当該伴奏情報に基づいて、楽曲を再生する伴奏再生工程と、
   当該模範音声情報に基づいて当該音程シンボルを当該楽譜エリアの対応位置に配置し、再生される楽曲のリズムに合わせて当該判定エリアに向けてスクロールさせるシンボル表示制御工程と、
   ユーザが歌う歌唱音声の入力を受け付ける音声入力受付工程と、
   受け付けられた当該歌唱音声の音程に基づいて、当該入力エリアにおける対応する音階区画の表示形態を変化させる音階表示制御工程と、
   スクロールされた当該音程シンボルの位置と当該判定エリアとの関係、および、当該音程シンボルの楽譜エリア上の配置と表示形態が変化された当該音階区画の位置との関係に基づいて、音程を含む歌唱力を採点する採点工程と、を備える、
   ことを特徴とする方法。
6. 楽曲の伴奏音を規定する伴奏情報と、模範とすべき楽曲の音声情報を規定する模範音声情報とが含まれる楽曲情報を記憶する楽曲記憶部と、
   当該模範音声の音程を表す音程シンボルを配置するための楽譜エリアと、当該楽譜エリア内の所定領域に設定された判定エリアと、当該楽譜エリアの音階に対応して区画される音階区画がそれぞれ配置された入力エリアとが含まれる画像を表示する画像表示部と、
   当該伴奏情報に基づいて、楽曲を再生する伴奏再生部と、
   当該模範音声情報に基づいて当該音程シンボルを当該楽譜エリアの対応位置に配置し、再生される楽曲のリズムに合わせて当該音程シンボルを当該判定エリアに向けてスクロールさせるシンボル表示制御部と、
   ユーザが歌う歌唱音声の入力を受け付ける音声入力受付部と、
   受け付けられた当該歌唱音声の音程に基づいて、当該入力エリアにおける対応する音階区画の表示形態を変化させる音階表示制御部と、
   スクロールされた当該音程シンボルの位置と当該判定エリアとの関係、および、当該音程シンボルの楽譜エリア上の配置と表示形態が変化された当該音階区画の位置との関係に基づいて、音程を含む歌唱力を採点する採点部と、を備える、
   ことを特徴とする判定装置。
   

Images