JP3589216B2 - 音声合成システム及び音声合成方法 - Google Patents
音声合成システム及び音声合成方法 Download PDFInfo
- Publication number
- JP3589216B2 JP3589216B2 JP2001337617A JP2001337617A JP3589216B2 JP 3589216 B2 JP3589216 B2 JP 3589216B2 JP 2001337617 A JP2001337617 A JP 2001337617A JP 2001337617 A JP2001337617 A JP 2001337617A JP 3589216 B2 JP3589216 B2 JP 3589216B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- data
- server
- speech synthesis
- mobile terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 83
- 238000003786 synthesis reaction Methods 0.000 title claims description 83
- 238000001308 synthesis method Methods 0.000 title claims description 9
- 238000005070 sampling Methods 0.000 claims description 105
- 238000004891 communication Methods 0.000 claims description 25
- 238000010276 construction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 230000002194 synthesizing effect Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
- G10L13/047—Architecture of speech synthesisers
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
- Mobile Radio Communication Systems (AREA)
- Information Transfer Between Computers (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、通信回線を介して互いに接続可能な携帯端末とサーバとを備えた音声合成システムに関し、詳しくは、携帯端末からテキストデータをサーバへ送信すると、サーバでテキストデータを音声合成データに変換して携帯端末へ返信する音声合成システムに関する。
【０００２】
【従来の技術】
近年、携帯電話機では、ｉモードに代表されるインターネット接続サービスが普及することにより、テキストデータでの情報配信が行われるようになった。その結果、電子メールの送受信に加え、モバイル・バンキング、オンライン・トレード、チケット購入などの各種のサービスが、携帯電話機で利用できるようになっている。
【０００３】
一方、テキストデータの情報には、次のような欠点があった。▲１▼．携帯電話の画面は狭いため、読みにくい。特に、高齢者にとって、その傾向が著しい。▲２▼．視覚障害者の方々にとっては、その情報は全く無意味である。
【０００４】
そのため、テキストデータを読み上げる機能を備えた携帯電話機も提案されている。例えば特開２０００−３３９１３７号公報に記載された携帯電話機では、予め用意された音声データの複数のカテゴリー（男性、女性、老人、子供など）の中からユーザが一つを選択すると、その選択された音声データを用いてテキストデータを音声に変換する。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された携帯電話機では、テキストデータを送信した者とは異なる声で音声合成データが再生されるので、ユーザにとって違和感が生じていた。
【０００６】
【発明の目的】
そこで、本発明の目的は、現実性を向上させた音声合成システム及び音声合成方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１記載の音声合成システムは、通信回線を介して互いに接続可能な携帯端末とサーバとを備えた音声合成システムである。そして、携帯端末は、他の携帯端末からテキストデータを受信するテキストデータ受信手段と、受信したテキストデータに他の携帯端末のユーザの音声サンプリング名を添付してサーバへ送信するテキストデータ送信手段と、音声合成データをサーバから受信する音声合成データ受信手段と、受信した音声合成データを音声に再生する音声再生手段とを備えている。サーバは、テキストデータ及び音声サンプリング名を携帯端末から受信するテキストデータ受信手段と、受信した音声サンプリング名に対応する他の携帯端末のユーザの音声サンプリングデータを用いて、受信したテキストデータを音声合成データに変換する音声合成手段と、変換した音声合成データを携帯端末へ送信する音声合成データ送信手段とを備えている。
【０００８】
請求項３記載の音声合成システムは、請求項１記載の音声合成システムにおいて、携帯端末を複数備えたものである。
【０００９】
請求項３記載の音声合成システムは、請求項２記載の音声合成システムにおいて更に次の構成要素を備えている。各携帯端末は、それぞれのユーザの音声サンプリングデータを採取する音声サンプリングデータ採取手段と、採取した音声サンプリングデータをサーバへ送信する音声サンプリングデータ送信手段とを備えている。サーバは、音声サンプリングデータを各携帯端末から受信する音声サンプリングデータ受信手段と、受信した音声サンプリングデータに音声サンプリング名を付してデータベースを構築するデータベース構築手段とを備えている。
【００１０】
本発明に係る音声合成方法は、本発明に係る音声合成システムに用いられるものである。
【００１１】
換言すると、本発明は、ＪＡＶＡアプリケーションと通信システムホスト端末とのデータプロトコルを用いて、受信したテキストデータを音声合成して携帯端末上で再生することを特徴とする。更に、このデータプロトコル内に音声合成に使用する音声サンプリングデータを指定することで、任意の音声合成データを出力することができる。また、携帯端末を使用してユーザの会話時にそのユーザの音声サンプリングデータを採取することで、ユーザの音声サンプリングデータを他のユーザへ配信することができる。
【００１２】
更に換言すると、本発明は、携帯端末のＪＡＶＡアプリケーションを用いた音声合成データ再生方式であって、次の特徴を有する。▲１▼．携帯端末と通信ホスト端末との独自のデータプロトコルを持つ。▲２▼．音声合成されたデータを受信し、自動再生する。▲３▼．通信システムホスト端末において、音声サンプリングデータを元にテキストデータを音声合成して、音声合成データを作成する。▲４▼．携帯電話でのユーザの会話時の音声サンプリングデータを採取し、ユーザ固有の音声サンプリングデータのデータベースを作成する。▲５▼．ユーザの作成したデータベースを他のユーザに公開する手段を提供する。
【００１３】
【発明の実施の形態】
図１は、本発明に係る音声合成システムの一実施形態を示す機能ブロック図である。以下、この図面に基づき説明する。なお、本発明に係る音声合成方法の実施形態についても同時に説明する。
【００１４】
本実施形態の音声合成システム１０は、通信回線１１を介して互いに接続可能な携帯端末１２とサーバ１３とを備えている。携帯端末１２は、一つのみを図示しているが、実際は複数設けられている。
【００１５】
それぞれの携帯端末１２は、テキストデータを受信するテキストデータ受信手段１２１と、受信したテキストデータに音声サンプリング名を添付してサーバ１３へ送信するテキストデータ送信手段１２２と、音声合成データをサーバ１３から受信する音声合成データ受信手段１２３と、受信した音声合成データを音声に再生する音声再生手段１２４と、携帯端末１２のユーザの音声サンプリングデータを採取する音声サンプリングデータ採取手段１２５と、採取した音声サンプリングデータをサーバ１３へ送信する音声サンプリングデータ送信手段１２６とを備えている。
【００１６】
サーバ１３は、テキストデータ及び音声サンプリング名を携帯端末１２から受信するテキストデータ受信手段１３１と、受信した音声サンプリング名に対応する音声サンプリングデータを用いて、受信したテキストデータを音声合成データに変換する音声合成手段１３２と、変換した音声合成データを携帯端末１２へ送信する音声合成データ送信手段１３３と、音声サンプリングデータを携帯端末１２から受信する音声サンプリングデータ受信手段１３４と、受信した音声サンプリングデータに音声サンプリング名を付してデータベース１３５を構築するデータベース構築手段１３６とを備えている。
【００１７】
通信回線１１は、例えば電話回線及びインターネットである。携帯端末１２は、コンピュータを内蔵した携帯電話機や携帯情報端末（ＰＤＡ）などである。サーバ１３は、パーソナルコンピュータなどのコンピュータである。携帯端末１２及びサーバ１３に具備された上記各手段は、コンピュータ・プログラムによって実現されている。また、データの送受信は、送受信回路（図示せず）及び通信回線１１等のハードウェアを介して行なわれる。
【００１８】
図２は、音声合成システム１０の動作の一例を示すシーケンス図である。以下、図１及び図２に基づき説明する。なお、携帯端末１２Ａ，１２Ｂは、それぞれ携帯端末１２と同一構成である。
【００１９】
まず、携帯端末１２Ａにおいて、音声サンプリングデータ採取手段１２５がユーザＡの音声サンプリングデータａを採取し（ステップ１０１）、音声サンプリングデータ送信手段１２６が音声サンプリングデータａをサーバ１３へ送信する（ステップ１０２）。すると、サーバ１３では、音声サンプリングデータ受信手段１３４が音声サンプリングデータａを受信し（ステップ１０３）、データベース構築手段１３６が音声サンプリングデータａに音声サンプリング名Ａ’を付してデータベース１３５を構築する（ステップ１０４）。同様に、携帯端末１２Ｂにおいて、ユーザＢの音声サンプリングデータｂを採取し（ステップ１０５）、音声サンプリングデータｂをサーバ１３へ送信する（ステップ１０６）。すると、サーバ１３では、音声サンプリングデータｂを受信し（ステップ１０７）、音声サンプリングデータｂに音声サンプリング名Ｂ’を付してデータベース１３５を構築する（ステップ１０８）。
【００２０】
ここで、携帯端末１２Ａにおいて、携帯端末１２Ｂから送信されたテキストデータｂ１をテキストデータ受信手段１２１が受信すると（ステップ１０９，１１０）、テキストデータ送信手段１２２がテキストデータｂ１に音声サンプリング名Ｂ’を添付してサーバ１３へ送信する（ステップ１１１）。すると、サーバ１３では、テキストデータ受信手段１３１がテキストデータｂ１及び音声サンプリング名Ｂ’を受信し（ステップ１１２）、音声合成手段１３２が音声サンプリング名Ｂ’に対応する音声サンプリングデータｂを用いてテキストデータｂ１を音声合成データｂ２に変換し（ステップ１１３）、音声合成データ送信手段１３３が音声合成データｂ２を携帯端末１２Ａへ送信する（ステップ１１４）。すると、携帯端末１２Ａでは、音声合成データ受信手段１２３が音声合成データｂ２を受信し（ステップ１１５）、音声再生手段１２４が音声合成データｂ２を音声ｂ３に再生する（ステップ１１６）。
【００２１】
以上のように、音声合成システム１０によれば、携帯端末１２Ａ，１２ＢのユーザＡ，Ｂの音声サンプリングデータａ，ｂがサーバ１３内にデータベース化されている。そのため、携帯端末１２Ａでは、携帯端末１２Ｂから送られてきたテキストデータｂ１をサーバ１３へ送ると、携帯端末１２ＢのユーザＢの声からなる音声合成データｂ２がサーバ１３から返ってくるので、ユーザＢの声でテキストデータｂ１を読み上げることができる。したがって、現実性が向上する。
【００２２】
また、各携帯端末１２Ａ，…がユーザＡ，…の音声サンプリングデータａ，…を採取してサーバ１３へ送信し、サーバ１３が音声サンプリングデータａ，…をデータベース化することにより、自動的かつ容易に音声合成システム１０が拡張される。例えば、新たな携帯端末１２ＣのユーザＣが音声合成システム１０に参加する場合も、即座に前述のサービスが受けられる。
【００２３】
なお、音声サンプリングデータ採取手段１２５、音声サンプリングデータ送信手段１２６、音声サンプリングデータ受信手段１３４、及びデータベース構築手段１３６は、省略してもよい。この場合は、別の方法でデータベース１３５を構築しておく必要がある。
【００２４】
また、音声の個人性に関する研究は、これまで主にスペクトルとピッチ周波数とを中心に行なわれている。例えば、ピッチ周波数の時間変化又は平均ピッチ周波数に関する研究として、ピッチ周波数の時間変化などの韻律情報の言語了解性に対する効果、３モーラ単語によるピッチ周波数の時間変化の個人性の抽出及びその制御などが報告されている。一方、スペクトルに関する研究として、ホルマント周波数とバンド幅による声道特性と個人性との関係、単母音のスペクトル包絡成分に注目した個人性の分析などが報告されている。
【００２５】
【実施例】
次に、音声合成システム１０を更に具体化した一実施例について説明する。
【００２６】
図３は、本実施例の音声合成システムを示す構成図である。以下、この図面に基づき説明する。
【００２７】
携帯端末１２は、パケット情報受信端末であり、複数あるうちの一つのみを示す。サーバ１３は、ゲートウェイサーバ１３７及び任意のサーバ１３８からなる。携帯端末１２とゲートウェイサーバ１３７とは通信回線１１１を介して接続され、ゲートウェイサーバ１３７とサーバ１３８とは通信回線１１２を介して接続されている。ここで、携帯端末１２の通信要求をゲートウェイサーバ１３７の中継により任意のサーバ１３８に伝達し、その応答として、任意のサーバ１３８がゲートウェイサーバ１３７を通して携帯端末１２に情報を伝達する。
【００２８】
携帯端末１２は、サーバ１３からの情報を受信するとともに、サーバ１３に対する情報取得要求を送信する。ゲートウェイサーバ１３７は、携帯端末１２と任意のサーバ１３８との中継点にあって、携帯端末１２に応答情報を伝達する。任意のサーバ１３８は、携帯端末１２から送信されてくる情報要求に対し、その応答として適当なデータを返すとともに、携帯端末１２に対してＰＵＳＨ型の自動配信を行う。
【００２９】
図４［１］は携帯端末１２のソフトウェア構成を示すブロック図であり、図４［２］は携帯端末１２のハードウェア構成を示すブロック図である。以下、図３及び図４に基づき説明する。
【００３０】
図４［１］に示すように、携帯端末１２のソフトウェア２０は、ＯＳ２１、通信モジュール２２、ＪＡＶＡ管理モジュール２３，ＪＡＶＡ ＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：仮想マシン）２４及びＪＡＶＡアプリケーション２５の五層から構成される。「ＪＡＶＡ」とは、オブジェクト指向のプログラミング言語の一種であり、ＪＡＶＡ ＶＭというレイヤーが個々のＯＳやＣＰＵの違いを吸収することにより、一つのバイナリ・アプリケーションでどの環境でも実行できるようにしたものである。
【００３１】
ＯＳ２１は、プラットフォームを表す。ただし、ＪＡＶＡがプラットフォームに依存しないというメリットを持っていることから、ＯＳ２１は特に特定されない。通信モジュール２２は、パケット通信データを送受信するためのモジュールである。ＪＡＶＡ管理モジュール２３、ＪＡＶＡ ＶＭ２４及びＪＡＶＡアプリケーション２５は、通信モジュール２２を介してパケットデータを受信したことを関知する。ＪＡＶＡ管理モジュール２３は、ＪＡＶＡ ＶＭ２４の動作等の制御を管理する。ＪＡＶＡ管理モジュール２３が、実際の携帯端末１２上でのＪＡＶＡアプリケーション２５の振る舞いを制御する。ＪＡＶＡ ＶＭ２４は、機能として特に規定はしない。しかし、現在のパーソナルコンピュータ等に含まれているＪＡＶＡ ＶＭでは、携帯端末１２に実装するとメモリ容量が不足する。したがって、ＪＡＶＡ ＶＭ２４は、携帯端末１２として使用するのに必要な機能しか持たないものとする。ＪＡＶＡアプリケーション２５は、通信モジュール２２で受信したデータに基づいて動作するように作成されたアプリケーション・プログラムである。
【００３２】
図４［２］に示すように、携帯端末１２のハードウェア３０は、システム制御部３１、記憶メモリ３２、音声認識部３７、無線制御部３８及びオーディオ部３９からなる。更に、無線制御部３８は通信データ受信部３３及び通信データ送信部３４を備え、オーディオ部３９はスピーカ３５及びマイク３６を備えている。
【００３３】
システム制御部３１は、携帯端末１２のメイン部分の動作を担い、図１に示す携帯端末１２の各手段をコンピュータ・プログラムによって実現している。記憶メモリ３２は、ＪＡＶＡアプリケーション２５によって採取した音声サンプリングデータを保存する領域として使用したり、サーバ１３から取得した音声合成データを保存する領域として使用する。通信データ受信部３３は、携帯端末１２に入力される通信データを受信する。通信データ送信部３４は、携帯端末１２から通信データを出力する。スピーカ３５は、受信した音声合成データを音声として外部に出力する。マイク３６は、ユーザが発声した音声を携帯端末１２内に入力する。音声認識部３７は、マイク３６から入力された音声データを認識し、ＪＡＶＡアプリケーション２５に対して通知する。
【００３４】
次に、図５乃至図９に基づき、本実施例の音声合成システムにおける動作の一例を説明する。以下の「データベース」は、携帯端末のユーザごとに別々にサーバ内に設けられ、当該ユーザの許可がない限り、他のユーザがアクセスできないようになっている。
【００３５】
図５は、テキストデータを受信した場合の携帯端末の動作を示すフローチャートである。以下、この図面に基づき説明する。
【００３６】
まず、テキストデータを受信すると（ステップ４１）、音声合成をするか否かを判定する（ステップ４２）。その判定方法としては、ユーザが選択する、又は設定されたデータ（例えば音声合成をする又はしない）に従うなどがある。音声合成をする場合は、音声合成に使用する音声サンプリングデータを決定する（ステップ４３）。このサンプリングデータの決定は、携帯端末のユーザ自身のデータベース内の音声サンプリングデータを使用するか、又は他のユーザのデータベース内の音声サンプリングデータを使用するか、を決定するものである。この動作により、ユーザ自身が所有する音声サンプリングデータだけでなく、他のユーザが所有する音声サンプリングデータを参照して、自己の携帯端末において音声合成データを再生することが可能になる。サーバのデータベースにアクセスする時は、自己のアクセス識別子を使用することによりアクセス許可を取得する。このとき、他のユーザが所有するデータベースにアクセスする時は、後述する図８及び図９に示すように、データベース参照許可を受ける。
【００３７】
使用するサンプリングデータを決定した後は、音声サンプリングデータが保存されているデータベースに対してアクセスを要求する（ステップ４４，４５）。そのアクセスする際のサーバと携帯端末とのシーケンスについては、後述する図６に示す。データベースに対するアクセス許可が下りた場合は、音声合成をしてもらうためのテキストデータを送信する（ステップ４６，４７）。サーバから音声合成データが配信されると、その音声合成データを携帯端末が受信する（ステップ４８）。これにより、受信した音声合成データを再生することができる（ステップ４９）。
【００３８】
図６は、携帯端末からサーバに対してアクセスする動作を示すシーケンス図である。以下、この図面に基づき説明する。
【００３９】
まず、携帯端末からサーバに対して、携帯端末自身のアクセス識別子付きでデータベース参照要求を送信する（ステップ５１〜５３）。サーバ側では、その要求によりサーバ内のデータベースを検索し、アクセスできるユーザかどうかを判別する（ステップ５４）。アクセス可能なユーザの場合はアクセスＩＤを送信し、次回からは携帯端末から送信されるヘッダ情報内のアクセスＩＤを確認することで、データベースの参照を許可する。すなわち、データベースにアクセス許可が下りた場合は、サーバ側から携帯端末側に対してアクセスＩＤを配布する（ステップ５５）。携帯端末側では、サーバ側からアクセスＩＤをもらうことで、自己のアクセス識別子とアクセスＩＤとをデータ内のヘッダに入力して、音声合成をしてもらうためのテキストデータを送信する（ステップ５６〜６０）。
【００４０】
サーバ側では、アクセスＩＤを識別することによりユーザのアクセス許可をチェックし、その後に受信したテキストデータの音声合成を開始する（ステップ６１）。このとき、音声合成に使用する音声サンプリングデータは、アクセスＩＤを元に指定のデータベースから取得する。音声合成終了後、サーバは携帯端末に音声合成データを配信する（ステップ６２）。すると、携帯端末側では、ＪＡＶＡアプリケーションに対して受信通知が行われ、音声合成データをＪＡＶＡアプリケーションに引き渡す（ステップ６３）。この動作により、ＪＡＶＡアプリケーションは、音声合成データの受信を認知し、受信した音声合成データを再生することができる（ステップ６４）。
【００４１】
図７は、音声サンプリングデータをデータベース化する動作を示すシーケンス図である。以下、この図面に基づき説明する。
【００４２】
まず、ＪＡＶＡアプリケーション起動中に、ユーザが音声通話等で携帯端末のマイクに入力する音声データを、音声サンプリングデータとしてＪＡＶＡアプリケーションに引き渡す（ステップ７１）。この音声サンプリングデータを携帯端末の記憶メモリに蓄積する（ステップ７２）。音声サンプリングデータがある一定量記憶メモリに蓄積された時点（ステップ７３）で、ＪＡＶＡアプリケーションは、自動的に図６のサーバアクセスシーケンスを使用し（図６のステップ５１〜６１参照）、自己のデータベースへ記憶メモリ内の自己の音声サンプリングデータを保存する（ステップ７４〜８４）。この仕組みにより、ユーザは、自己の音声サンプリングデータをサーバ内のデータベースとして構築し、他のユーザに自己の音声サンプリングデータを公開することで、他のユーザの携帯端末で音声合成データを自己の音声で再生することを可能にする。
【００４３】
図８及び図９は、ユーザが所有する音声サンプリングデータのデータベースを他のユーザに公開する動作を示すシーケンス図である。以下、この図面に基づき説明する。
【００４４】
まず、携帯端末Ａのユーザが所有するデータベースにアクセスを希望する携帯端末Ｂのメールアドレスを、携帯端末ＡのＪＡＶＡアプリケーション上から入力する（ステップ１４１）。続いて、そのメールアドレスをサーバへ送信する（ステップ１４２〜１４４）。サーバ側では、携帯端末Ａのユーザのデータベースに対して携帯端末Ａからアクセス要求があった場合に、メールアドレスが付加されていたら、仮のデータベースアクセス許可ＩＤを発行し、メールアドレス先の携帯端末Ｂに仮のデータベースアクセス許可ＩＤとデータベース接続先（サーバ）とを送付する（ステップ１４５〜１５３）。
【００４５】
メールを受信した携帯端末Ｂ側では、ユーザがメール画面にてその仮のデータベースアクセス許可ＩＤを選択した時に、メーラとＪＡＶＡアプリケーションとの連動により、ＪＡＶＡアプリケーションにその仮のデータベースアクセス許可ＩＤとデータベース接続先（サーバ）とを引き渡す（ステップ１６１〜１６４）。この動作により、ＪＡＶＡアプリケーションはデータベース接続先（サーバ）に対して、自身のアクセス識別子と仮のデータベースアクセス許可ＩＤとを送信する（ステップ１６５〜１６７）。サーバ側では、アクセス識別子と仮のデータベースアクセス許可ＩＤとを受信することにより、次回から携帯端末Ｂのアクセスが許可されるようにデータベースの更新作業を行う（ステップ１６８）。
【００４６】
【発明の効果】
本発明に係る音声合成システム及び音声合成方法によれば、複数の携帯端末のユーザの音声サンプリングデータがサーバ内にデータベース化されていることにより、他の携帯端末から送られてきたテキストデータをサーバへ送ると、その携帯端末のユーザの声からなる音声合成データがサーバから返ってくるので、その携帯端末のユーザの声でテキストデータを読み上げることができる。したがって、現実性を向上できる。
【００４７】
また、各携帯端末がユーザの音声サンプリングデータを採取してサーバへ送信し、サーバがその音声サンプリングデータをデータベース化することにより、自動的かつ容易に当該音声合成システムを拡張することができる。すなわち、新たな携帯端末のユーザが当該音声合成システムに参加する場合も、即座に前述のサービスが受けられる。
【００４８】
換言すると、本発明によれば、メール等で送信されてくるテキスト文書をユーザ選択により、任意の音声データに変換することで、文書の内容を自分で読まなくても、ユーザの聞きたい音声データで内容を再生することができるため、視覚的に障害を持つ方々にも便利な機能を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る音声合成システムの一実施形態を示す機能ブロック図である。
【図２】図１の音声合成システムにおける動作の一例を示すシーケンス図である。
【図３】本発明に係る音声合成システムの一実施例を示す構成図である。
【図４】図３内の携帯端末の構成例を示すブロック図であり、図４［１］は携帯端末のソフトウェア構成、図４［２］は携帯端末のハードウェア構成である。
【図５】図３の音声合成システムにおける、テキストデータを受信した場合の携帯端末の動作を示すフローチャートである。
【図６】図３の音声合成システムにおける、携帯端末からサーバに対してアクセスする動作を示すシーケンス図である。
【図７】図３の音声合成システムにおける、音声サンプリングデータをデータベース化する動作を示すシーケンス図である。
【図８】図３の音声合成システムにおける、ユーザが所有する音声サンプリングデータのデータベースを他のユーザに公開する動作を示すシーケンス図である。
【図９】図３の音声合成システムにおける、ユーザが所有する音声サンプリングデータのデータベースを他のユーザに公開する動作を示すシーケンス図である。
【符号の説明】
１０ 音声合成システム
１１ 通信回線
１３ サーバ
１２，１２Ａ，１２Ｂ 携帯端末
１２１ テキストデータ受信手段
１２２ テキストデータ送信手段
１２３ 音声合成データ受信手段
１２４ 音声再生手段
１２５ 音声サンプリングデータ採取手段
１２６ 音声サンプリングデータ送信手段
１３１ テキストデータ受信手段
１３２ 音声合成手段
１３３ 音声合成データ送信手段
１３４ 音声サンプリングデータ受信手段
１３５ データベース構築手段
【発明の属する技術分野】
本発明は、通信回線を介して互いに接続可能な携帯端末とサーバとを備えた音声合成システムに関し、詳しくは、携帯端末からテキストデータをサーバへ送信すると、サーバでテキストデータを音声合成データに変換して携帯端末へ返信する音声合成システムに関する。
【０００２】
【従来の技術】
近年、携帯電話機では、ｉモードに代表されるインターネット接続サービスが普及することにより、テキストデータでの情報配信が行われるようになった。その結果、電子メールの送受信に加え、モバイル・バンキング、オンライン・トレード、チケット購入などの各種のサービスが、携帯電話機で利用できるようになっている。
【０００３】
一方、テキストデータの情報には、次のような欠点があった。▲１▼．携帯電話の画面は狭いため、読みにくい。特に、高齢者にとって、その傾向が著しい。▲２▼．視覚障害者の方々にとっては、その情報は全く無意味である。
【０００４】
そのため、テキストデータを読み上げる機能を備えた携帯電話機も提案されている。例えば特開２０００−３３９１３７号公報に記載された携帯電話機では、予め用意された音声データの複数のカテゴリー（男性、女性、老人、子供など）の中からユーザが一つを選択すると、その選択された音声データを用いてテキストデータを音声に変換する。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記公報に記載された携帯電話機では、テキストデータを送信した者とは異なる声で音声合成データが再生されるので、ユーザにとって違和感が生じていた。
【０００６】
【発明の目的】
そこで、本発明の目的は、現実性を向上させた音声合成システム及び音声合成方法を提供することにある。
【０００７】
【課題を解決するための手段】
請求項１記載の音声合成システムは、通信回線を介して互いに接続可能な携帯端末とサーバとを備えた音声合成システムである。そして、携帯端末は、他の携帯端末からテキストデータを受信するテキストデータ受信手段と、受信したテキストデータに他の携帯端末のユーザの音声サンプリング名を添付してサーバへ送信するテキストデータ送信手段と、音声合成データをサーバから受信する音声合成データ受信手段と、受信した音声合成データを音声に再生する音声再生手段とを備えている。サーバは、テキストデータ及び音声サンプリング名を携帯端末から受信するテキストデータ受信手段と、受信した音声サンプリング名に対応する他の携帯端末のユーザの音声サンプリングデータを用いて、受信したテキストデータを音声合成データに変換する音声合成手段と、変換した音声合成データを携帯端末へ送信する音声合成データ送信手段とを備えている。
【０００８】
請求項３記載の音声合成システムは、請求項１記載の音声合成システムにおいて、携帯端末を複数備えたものである。
【０００９】
請求項３記載の音声合成システムは、請求項２記載の音声合成システムにおいて更に次の構成要素を備えている。各携帯端末は、それぞれのユーザの音声サンプリングデータを採取する音声サンプリングデータ採取手段と、採取した音声サンプリングデータをサーバへ送信する音声サンプリングデータ送信手段とを備えている。サーバは、音声サンプリングデータを各携帯端末から受信する音声サンプリングデータ受信手段と、受信した音声サンプリングデータに音声サンプリング名を付してデータベースを構築するデータベース構築手段とを備えている。
【００１０】
本発明に係る音声合成方法は、本発明に係る音声合成システムに用いられるものである。
【００１１】
換言すると、本発明は、ＪＡＶＡアプリケーションと通信システムホスト端末とのデータプロトコルを用いて、受信したテキストデータを音声合成して携帯端末上で再生することを特徴とする。更に、このデータプロトコル内に音声合成に使用する音声サンプリングデータを指定することで、任意の音声合成データを出力することができる。また、携帯端末を使用してユーザの会話時にそのユーザの音声サンプリングデータを採取することで、ユーザの音声サンプリングデータを他のユーザへ配信することができる。
【００１２】
更に換言すると、本発明は、携帯端末のＪＡＶＡアプリケーションを用いた音声合成データ再生方式であって、次の特徴を有する。▲１▼．携帯端末と通信ホスト端末との独自のデータプロトコルを持つ。▲２▼．音声合成されたデータを受信し、自動再生する。▲３▼．通信システムホスト端末において、音声サンプリングデータを元にテキストデータを音声合成して、音声合成データを作成する。▲４▼．携帯電話でのユーザの会話時の音声サンプリングデータを採取し、ユーザ固有の音声サンプリングデータのデータベースを作成する。▲５▼．ユーザの作成したデータベースを他のユーザに公開する手段を提供する。
【００１３】
【発明の実施の形態】
図１は、本発明に係る音声合成システムの一実施形態を示す機能ブロック図である。以下、この図面に基づき説明する。なお、本発明に係る音声合成方法の実施形態についても同時に説明する。
【００１４】
本実施形態の音声合成システム１０は、通信回線１１を介して互いに接続可能な携帯端末１２とサーバ１３とを備えている。携帯端末１２は、一つのみを図示しているが、実際は複数設けられている。
【００１５】
それぞれの携帯端末１２は、テキストデータを受信するテキストデータ受信手段１２１と、受信したテキストデータに音声サンプリング名を添付してサーバ１３へ送信するテキストデータ送信手段１２２と、音声合成データをサーバ１３から受信する音声合成データ受信手段１２３と、受信した音声合成データを音声に再生する音声再生手段１２４と、携帯端末１２のユーザの音声サンプリングデータを採取する音声サンプリングデータ採取手段１２５と、採取した音声サンプリングデータをサーバ１３へ送信する音声サンプリングデータ送信手段１２６とを備えている。
【００１６】
サーバ１３は、テキストデータ及び音声サンプリング名を携帯端末１２から受信するテキストデータ受信手段１３１と、受信した音声サンプリング名に対応する音声サンプリングデータを用いて、受信したテキストデータを音声合成データに変換する音声合成手段１３２と、変換した音声合成データを携帯端末１２へ送信する音声合成データ送信手段１３３と、音声サンプリングデータを携帯端末１２から受信する音声サンプリングデータ受信手段１３４と、受信した音声サンプリングデータに音声サンプリング名を付してデータベース１３５を構築するデータベース構築手段１３６とを備えている。
【００１７】
通信回線１１は、例えば電話回線及びインターネットである。携帯端末１２は、コンピュータを内蔵した携帯電話機や携帯情報端末（ＰＤＡ）などである。サーバ１３は、パーソナルコンピュータなどのコンピュータである。携帯端末１２及びサーバ１３に具備された上記各手段は、コンピュータ・プログラムによって実現されている。また、データの送受信は、送受信回路（図示せず）及び通信回線１１等のハードウェアを介して行なわれる。
【００１８】
図２は、音声合成システム１０の動作の一例を示すシーケンス図である。以下、図１及び図２に基づき説明する。なお、携帯端末１２Ａ，１２Ｂは、それぞれ携帯端末１２と同一構成である。
【００１９】
まず、携帯端末１２Ａにおいて、音声サンプリングデータ採取手段１２５がユーザＡの音声サンプリングデータａを採取し（ステップ１０１）、音声サンプリングデータ送信手段１２６が音声サンプリングデータａをサーバ１３へ送信する（ステップ１０２）。すると、サーバ１３では、音声サンプリングデータ受信手段１３４が音声サンプリングデータａを受信し（ステップ１０３）、データベース構築手段１３６が音声サンプリングデータａに音声サンプリング名Ａ’を付してデータベース１３５を構築する（ステップ１０４）。同様に、携帯端末１２Ｂにおいて、ユーザＢの音声サンプリングデータｂを採取し（ステップ１０５）、音声サンプリングデータｂをサーバ１３へ送信する（ステップ１０６）。すると、サーバ１３では、音声サンプリングデータｂを受信し（ステップ１０７）、音声サンプリングデータｂに音声サンプリング名Ｂ’を付してデータベース１３５を構築する（ステップ１０８）。
【００２０】
ここで、携帯端末１２Ａにおいて、携帯端末１２Ｂから送信されたテキストデータｂ１をテキストデータ受信手段１２１が受信すると（ステップ１０９，１１０）、テキストデータ送信手段１２２がテキストデータｂ１に音声サンプリング名Ｂ’を添付してサーバ１３へ送信する（ステップ１１１）。すると、サーバ１３では、テキストデータ受信手段１３１がテキストデータｂ１及び音声サンプリング名Ｂ’を受信し（ステップ１１２）、音声合成手段１３２が音声サンプリング名Ｂ’に対応する音声サンプリングデータｂを用いてテキストデータｂ１を音声合成データｂ２に変換し（ステップ１１３）、音声合成データ送信手段１３３が音声合成データｂ２を携帯端末１２Ａへ送信する（ステップ１１４）。すると、携帯端末１２Ａでは、音声合成データ受信手段１２３が音声合成データｂ２を受信し（ステップ１１５）、音声再生手段１２４が音声合成データｂ２を音声ｂ３に再生する（ステップ１１６）。
【００２１】
以上のように、音声合成システム１０によれば、携帯端末１２Ａ，１２ＢのユーザＡ，Ｂの音声サンプリングデータａ，ｂがサーバ１３内にデータベース化されている。そのため、携帯端末１２Ａでは、携帯端末１２Ｂから送られてきたテキストデータｂ１をサーバ１３へ送ると、携帯端末１２ＢのユーザＢの声からなる音声合成データｂ２がサーバ１３から返ってくるので、ユーザＢの声でテキストデータｂ１を読み上げることができる。したがって、現実性が向上する。
【００２２】
また、各携帯端末１２Ａ，…がユーザＡ，…の音声サンプリングデータａ，…を採取してサーバ１３へ送信し、サーバ１３が音声サンプリングデータａ，…をデータベース化することにより、自動的かつ容易に音声合成システム１０が拡張される。例えば、新たな携帯端末１２ＣのユーザＣが音声合成システム１０に参加する場合も、即座に前述のサービスが受けられる。
【００２３】
なお、音声サンプリングデータ採取手段１２５、音声サンプリングデータ送信手段１２６、音声サンプリングデータ受信手段１３４、及びデータベース構築手段１３６は、省略してもよい。この場合は、別の方法でデータベース１３５を構築しておく必要がある。
【００２４】
また、音声の個人性に関する研究は、これまで主にスペクトルとピッチ周波数とを中心に行なわれている。例えば、ピッチ周波数の時間変化又は平均ピッチ周波数に関する研究として、ピッチ周波数の時間変化などの韻律情報の言語了解性に対する効果、３モーラ単語によるピッチ周波数の時間変化の個人性の抽出及びその制御などが報告されている。一方、スペクトルに関する研究として、ホルマント周波数とバンド幅による声道特性と個人性との関係、単母音のスペクトル包絡成分に注目した個人性の分析などが報告されている。
【００２５】
【実施例】
次に、音声合成システム１０を更に具体化した一実施例について説明する。
【００２６】
図３は、本実施例の音声合成システムを示す構成図である。以下、この図面に基づき説明する。
【００２７】
携帯端末１２は、パケット情報受信端末であり、複数あるうちの一つのみを示す。サーバ１３は、ゲートウェイサーバ１３７及び任意のサーバ１３８からなる。携帯端末１２とゲートウェイサーバ１３７とは通信回線１１１を介して接続され、ゲートウェイサーバ１３７とサーバ１３８とは通信回線１１２を介して接続されている。ここで、携帯端末１２の通信要求をゲートウェイサーバ１３７の中継により任意のサーバ１３８に伝達し、その応答として、任意のサーバ１３８がゲートウェイサーバ１３７を通して携帯端末１２に情報を伝達する。
【００２８】
携帯端末１２は、サーバ１３からの情報を受信するとともに、サーバ１３に対する情報取得要求を送信する。ゲートウェイサーバ１３７は、携帯端末１２と任意のサーバ１３８との中継点にあって、携帯端末１２に応答情報を伝達する。任意のサーバ１３８は、携帯端末１２から送信されてくる情報要求に対し、その応答として適当なデータを返すとともに、携帯端末１２に対してＰＵＳＨ型の自動配信を行う。
【００２９】
図４［１］は携帯端末１２のソフトウェア構成を示すブロック図であり、図４［２］は携帯端末１２のハードウェア構成を示すブロック図である。以下、図３及び図４に基づき説明する。
【００３０】
図４［１］に示すように、携帯端末１２のソフトウェア２０は、ＯＳ２１、通信モジュール２２、ＪＡＶＡ管理モジュール２３，ＪＡＶＡ ＶＭ（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：仮想マシン）２４及びＪＡＶＡアプリケーション２５の五層から構成される。「ＪＡＶＡ」とは、オブジェクト指向のプログラミング言語の一種であり、ＪＡＶＡ ＶＭというレイヤーが個々のＯＳやＣＰＵの違いを吸収することにより、一つのバイナリ・アプリケーションでどの環境でも実行できるようにしたものである。
【００３１】
ＯＳ２１は、プラットフォームを表す。ただし、ＪＡＶＡがプラットフォームに依存しないというメリットを持っていることから、ＯＳ２１は特に特定されない。通信モジュール２２は、パケット通信データを送受信するためのモジュールである。ＪＡＶＡ管理モジュール２３、ＪＡＶＡ ＶＭ２４及びＪＡＶＡアプリケーション２５は、通信モジュール２２を介してパケットデータを受信したことを関知する。ＪＡＶＡ管理モジュール２３は、ＪＡＶＡ ＶＭ２４の動作等の制御を管理する。ＪＡＶＡ管理モジュール２３が、実際の携帯端末１２上でのＪＡＶＡアプリケーション２５の振る舞いを制御する。ＪＡＶＡ ＶＭ２４は、機能として特に規定はしない。しかし、現在のパーソナルコンピュータ等に含まれているＪＡＶＡ ＶＭでは、携帯端末１２に実装するとメモリ容量が不足する。したがって、ＪＡＶＡ ＶＭ２４は、携帯端末１２として使用するのに必要な機能しか持たないものとする。ＪＡＶＡアプリケーション２５は、通信モジュール２２で受信したデータに基づいて動作するように作成されたアプリケーション・プログラムである。
【００３２】
図４［２］に示すように、携帯端末１２のハードウェア３０は、システム制御部３１、記憶メモリ３２、音声認識部３７、無線制御部３８及びオーディオ部３９からなる。更に、無線制御部３８は通信データ受信部３３及び通信データ送信部３４を備え、オーディオ部３９はスピーカ３５及びマイク３６を備えている。
【００３３】
システム制御部３１は、携帯端末１２のメイン部分の動作を担い、図１に示す携帯端末１２の各手段をコンピュータ・プログラムによって実現している。記憶メモリ３２は、ＪＡＶＡアプリケーション２５によって採取した音声サンプリングデータを保存する領域として使用したり、サーバ１３から取得した音声合成データを保存する領域として使用する。通信データ受信部３３は、携帯端末１２に入力される通信データを受信する。通信データ送信部３４は、携帯端末１２から通信データを出力する。スピーカ３５は、受信した音声合成データを音声として外部に出力する。マイク３６は、ユーザが発声した音声を携帯端末１２内に入力する。音声認識部３７は、マイク３６から入力された音声データを認識し、ＪＡＶＡアプリケーション２５に対して通知する。
【００３４】
次に、図５乃至図９に基づき、本実施例の音声合成システムにおける動作の一例を説明する。以下の「データベース」は、携帯端末のユーザごとに別々にサーバ内に設けられ、当該ユーザの許可がない限り、他のユーザがアクセスできないようになっている。
【００３５】
図５は、テキストデータを受信した場合の携帯端末の動作を示すフローチャートである。以下、この図面に基づき説明する。
【００３６】
まず、テキストデータを受信すると（ステップ４１）、音声合成をするか否かを判定する（ステップ４２）。その判定方法としては、ユーザが選択する、又は設定されたデータ（例えば音声合成をする又はしない）に従うなどがある。音声合成をする場合は、音声合成に使用する音声サンプリングデータを決定する（ステップ４３）。このサンプリングデータの決定は、携帯端末のユーザ自身のデータベース内の音声サンプリングデータを使用するか、又は他のユーザのデータベース内の音声サンプリングデータを使用するか、を決定するものである。この動作により、ユーザ自身が所有する音声サンプリングデータだけでなく、他のユーザが所有する音声サンプリングデータを参照して、自己の携帯端末において音声合成データを再生することが可能になる。サーバのデータベースにアクセスする時は、自己のアクセス識別子を使用することによりアクセス許可を取得する。このとき、他のユーザが所有するデータベースにアクセスする時は、後述する図８及び図９に示すように、データベース参照許可を受ける。
【００３７】
使用するサンプリングデータを決定した後は、音声サンプリングデータが保存されているデータベースに対してアクセスを要求する（ステップ４４，４５）。そのアクセスする際のサーバと携帯端末とのシーケンスについては、後述する図６に示す。データベースに対するアクセス許可が下りた場合は、音声合成をしてもらうためのテキストデータを送信する（ステップ４６，４７）。サーバから音声合成データが配信されると、その音声合成データを携帯端末が受信する（ステップ４８）。これにより、受信した音声合成データを再生することができる（ステップ４９）。
【００３８】
図６は、携帯端末からサーバに対してアクセスする動作を示すシーケンス図である。以下、この図面に基づき説明する。
【００３９】
まず、携帯端末からサーバに対して、携帯端末自身のアクセス識別子付きでデータベース参照要求を送信する（ステップ５１〜５３）。サーバ側では、その要求によりサーバ内のデータベースを検索し、アクセスできるユーザかどうかを判別する（ステップ５４）。アクセス可能なユーザの場合はアクセスＩＤを送信し、次回からは携帯端末から送信されるヘッダ情報内のアクセスＩＤを確認することで、データベースの参照を許可する。すなわち、データベースにアクセス許可が下りた場合は、サーバ側から携帯端末側に対してアクセスＩＤを配布する（ステップ５５）。携帯端末側では、サーバ側からアクセスＩＤをもらうことで、自己のアクセス識別子とアクセスＩＤとをデータ内のヘッダに入力して、音声合成をしてもらうためのテキストデータを送信する（ステップ５６〜６０）。
【００４０】
サーバ側では、アクセスＩＤを識別することによりユーザのアクセス許可をチェックし、その後に受信したテキストデータの音声合成を開始する（ステップ６１）。このとき、音声合成に使用する音声サンプリングデータは、アクセスＩＤを元に指定のデータベースから取得する。音声合成終了後、サーバは携帯端末に音声合成データを配信する（ステップ６２）。すると、携帯端末側では、ＪＡＶＡアプリケーションに対して受信通知が行われ、音声合成データをＪＡＶＡアプリケーションに引き渡す（ステップ６３）。この動作により、ＪＡＶＡアプリケーションは、音声合成データの受信を認知し、受信した音声合成データを再生することができる（ステップ６４）。
【００４１】
図７は、音声サンプリングデータをデータベース化する動作を示すシーケンス図である。以下、この図面に基づき説明する。
【００４２】
まず、ＪＡＶＡアプリケーション起動中に、ユーザが音声通話等で携帯端末のマイクに入力する音声データを、音声サンプリングデータとしてＪＡＶＡアプリケーションに引き渡す（ステップ７１）。この音声サンプリングデータを携帯端末の記憶メモリに蓄積する（ステップ７２）。音声サンプリングデータがある一定量記憶メモリに蓄積された時点（ステップ７３）で、ＪＡＶＡアプリケーションは、自動的に図６のサーバアクセスシーケンスを使用し（図６のステップ５１〜６１参照）、自己のデータベースへ記憶メモリ内の自己の音声サンプリングデータを保存する（ステップ７４〜８４）。この仕組みにより、ユーザは、自己の音声サンプリングデータをサーバ内のデータベースとして構築し、他のユーザに自己の音声サンプリングデータを公開することで、他のユーザの携帯端末で音声合成データを自己の音声で再生することを可能にする。
【００４３】
図８及び図９は、ユーザが所有する音声サンプリングデータのデータベースを他のユーザに公開する動作を示すシーケンス図である。以下、この図面に基づき説明する。
【００４４】
まず、携帯端末Ａのユーザが所有するデータベースにアクセスを希望する携帯端末Ｂのメールアドレスを、携帯端末ＡのＪＡＶＡアプリケーション上から入力する（ステップ１４１）。続いて、そのメールアドレスをサーバへ送信する（ステップ１４２〜１４４）。サーバ側では、携帯端末Ａのユーザのデータベースに対して携帯端末Ａからアクセス要求があった場合に、メールアドレスが付加されていたら、仮のデータベースアクセス許可ＩＤを発行し、メールアドレス先の携帯端末Ｂに仮のデータベースアクセス許可ＩＤとデータベース接続先（サーバ）とを送付する（ステップ１４５〜１５３）。
【００４５】
メールを受信した携帯端末Ｂ側では、ユーザがメール画面にてその仮のデータベースアクセス許可ＩＤを選択した時に、メーラとＪＡＶＡアプリケーションとの連動により、ＪＡＶＡアプリケーションにその仮のデータベースアクセス許可ＩＤとデータベース接続先（サーバ）とを引き渡す（ステップ１６１〜１６４）。この動作により、ＪＡＶＡアプリケーションはデータベース接続先（サーバ）に対して、自身のアクセス識別子と仮のデータベースアクセス許可ＩＤとを送信する（ステップ１６５〜１６７）。サーバ側では、アクセス識別子と仮のデータベースアクセス許可ＩＤとを受信することにより、次回から携帯端末Ｂのアクセスが許可されるようにデータベースの更新作業を行う（ステップ１６８）。
【００４６】
【発明の効果】
本発明に係る音声合成システム及び音声合成方法によれば、複数の携帯端末のユーザの音声サンプリングデータがサーバ内にデータベース化されていることにより、他の携帯端末から送られてきたテキストデータをサーバへ送ると、その携帯端末のユーザの声からなる音声合成データがサーバから返ってくるので、その携帯端末のユーザの声でテキストデータを読み上げることができる。したがって、現実性を向上できる。
【００４７】
また、各携帯端末がユーザの音声サンプリングデータを採取してサーバへ送信し、サーバがその音声サンプリングデータをデータベース化することにより、自動的かつ容易に当該音声合成システムを拡張することができる。すなわち、新たな携帯端末のユーザが当該音声合成システムに参加する場合も、即座に前述のサービスが受けられる。
【００４８】
換言すると、本発明によれば、メール等で送信されてくるテキスト文書をユーザ選択により、任意の音声データに変換することで、文書の内容を自分で読まなくても、ユーザの聞きたい音声データで内容を再生することができるため、視覚的に障害を持つ方々にも便利な機能を提供することができる。
【図面の簡単な説明】
【図１】本発明に係る音声合成システムの一実施形態を示す機能ブロック図である。
【図２】図１の音声合成システムにおける動作の一例を示すシーケンス図である。
【図３】本発明に係る音声合成システムの一実施例を示す構成図である。
【図４】図３内の携帯端末の構成例を示すブロック図であり、図４［１］は携帯端末のソフトウェア構成、図４［２］は携帯端末のハードウェア構成である。
【図５】図３の音声合成システムにおける、テキストデータを受信した場合の携帯端末の動作を示すフローチャートである。
【図６】図３の音声合成システムにおける、携帯端末からサーバに対してアクセスする動作を示すシーケンス図である。
【図７】図３の音声合成システムにおける、音声サンプリングデータをデータベース化する動作を示すシーケンス図である。
【図８】図３の音声合成システムにおける、ユーザが所有する音声サンプリングデータのデータベースを他のユーザに公開する動作を示すシーケンス図である。
【図９】図３の音声合成システムにおける、ユーザが所有する音声サンプリングデータのデータベースを他のユーザに公開する動作を示すシーケンス図である。
【符号の説明】
１０ 音声合成システム
１１ 通信回線
１３ サーバ
１２，１２Ａ，１２Ｂ 携帯端末
１２１ テキストデータ受信手段
１２２ テキストデータ送信手段
１２３ 音声合成データ受信手段
１２４ 音声再生手段
１２５ 音声サンプリングデータ採取手段
１２６ 音声サンプリングデータ送信手段
１３１ テキストデータ受信手段
１３２ 音声合成手段
１３３ 音声合成データ送信手段
１３４ 音声サンプリングデータ受信手段
１３５ データベース構築手段
Claims (6)
- 通信回線を介して互いに接続可能な携帯端末とサーバとを備えた音声合成システムであって、
前記携帯端末は、他の携帯端末からテキストデータを受信するテキストデータ受信手段と、受信した前記テキストデータに前記他の携帯端末のユーザの音声サンプリング名を添付して前記サーバへ送信するテキストデータ送信手段と、音声合成データを前記サーバから受信する音声合成データ受信手段と、受信した前記音声合成データを音声に再生する音声再生手段とを備え、
前記サーバは、前記テキストデータ及び音声サンプリング名を前記携帯端末から受信するテキストデータ受信手段と、受信した前記音声サンプリング名に対応する前記他の携帯端末のユーザの音声サンプリングデータを用いて、受信した前記テキストデータを音声合成データに変換する音声合成手段と、変換した前記音声合成データを前記携帯端末へ送信する音声合成データ送信手段とを備えた、
ことを特徴とする音声合成システム。 - 前記携帯端末を複数備えた、
請求項１記載の音声合成システム。 - 前記各携帯端末は、それぞれのユーザの音声サンプリングデータを採取する音声サンプリングデータ採取手段と、採取した前記音声サンプリングデータを前記サーバへ送信する音声サンプリングデータ送信手段とを更に備え、
前記サーバは、前記音声サンプリングデータを前記各携帯端末から受信する音声サンプリングデータ受信手段と、受信した前記音声サンプリングデータに前記音声サンプリング名を付してデータベースを構築するデータベース構築手段とを更に備えた、
請求項２記載の音声合成システム。 - 通信回線を介して互いに接続可能な携帯端末とサーバとを備えた音声合成システムに用いられる音声合成方法であって、
前記携帯端末は、他の携帯端末からテキストデータを受信するテキストデータ受信ステップと、受信した前記テキストデータに前記他の携帯端末のユーザの音声サンプリング名を添付して前記サーバへ送信するテキストデータ送信ステップと、音声合成データを前記サーバから受信する音声合成データ受信ステップと、受信した前記音声合成データを音声に再生する音声再生ステップとを備え、
前記サーバは、前記テキストデータ及び音声サンプリング名を前記携帯端末から受信するテキストデータ受信ステップと、受信した前記音声サンプリング名に対応する前記他の携帯端末のユーザの音声サンプリングデータを用いて、受信した前記テキストデータを音声合成データに変換する音声合成ステップと、変換した前記音声合成データを前記携帯端末へ送信する音声合成データ送信ステップとを備えた、
ことを特徴とする音声合成方法。 - 前記携帯端末を複数備えた、
請求項４記載の音声合成方法。 - 前記各携帯端末は、それぞれのユーザの音声サンプリングデータを採取する音声サンプリングデータ採取ステップと、採取した前記音声サンプリングデータを前記サーバへ送信する音声サンプリングデータ送信ステップとを更に備え、
前記サーバは、前記音声サンプリングデータを前記各携帯端末から受信する音声サンプリングデータ受信ステップと、受信した前記音声サンプリングデータに前記音声サンプリング名を付してデータベースを構築するデータベース構築ステップとを更に備えた、
請求項５記載の音声合成方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337617A JP3589216B2 (ja) | 2001-11-02 | 2001-11-02 | 音声合成システム及び音声合成方法 |
| US10/270,310 US7313522B2 (en) | 2001-11-02 | 2002-10-15 | Voice synthesis system and method that performs voice synthesis of text data provided by a portable terminal |
| GB0224901A GB2383502B (en) | 2001-11-02 | 2002-10-25 | Voice synthesis system and method,and portable terminal and server therefor |
| CNB021498121A CN1208714C (zh) | 2001-11-02 | 2002-11-04 | 语音合成系统和语音合成方法 |
| HK03105371.5A HK1053221A1 (zh) | 2001-11-02 | 2003-07-25 | 以文本方式發送至便攜終端的語音綜合 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001337617A JP3589216B2 (ja) | 2001-11-02 | 2001-11-02 | 音声合成システム及び音声合成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003140674A JP2003140674A (ja) | 2003-05-16 |
| JP3589216B2 true JP3589216B2 (ja) | 2004-11-17 |
Family
ID=19152222
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001337617A Expired - Fee Related JP3589216B2 (ja) | 2001-11-02 | 2001-11-02 | 音声合成システム及び音声合成方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US7313522B2 (ja) |
| JP (1) | JP3589216B2 (ja) |
| CN (1) | CN1208714C (ja) |
| GB (1) | GB2383502B (ja) |
| HK (1) | HK1053221A1 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040117454A1 (en) * | 2002-12-13 | 2004-06-17 | Koont Eren S. | Collaboration cube for a portable computer device |
| GB0229860D0 (en) * | 2002-12-21 | 2003-01-29 | Ibm | Method and apparatus for using computer generated voice |
| TWI265718B (en) * | 2003-05-29 | 2006-11-01 | Yamaha Corp | Speech and music reproduction apparatus |
| CN100378725C (zh) * | 2003-09-04 | 2008-04-02 | 摩托罗拉公司 | 一种产生用于提供与文本对应的语音的信号的方法 |
| GB2413038B (en) * | 2004-04-08 | 2008-05-14 | Vodafone Ltd | Transmission of data during communication sessions |
| US20050288930A1 (en) * | 2004-06-09 | 2005-12-29 | Vaastek, Inc. | Computer voice recognition apparatus and method |
| JP2006018133A (ja) * | 2004-07-05 | 2006-01-19 | Hitachi Ltd | 分散型音声合成システム、端末装置及びコンピュータ・プログラム |
| JP2006197041A (ja) * | 2005-01-12 | 2006-07-27 | Nec Corp | ＰｏＣシステム、ＰｏＣ携帯端末及びそれらに用いるポインタ表示方法並びにそのプログラム |
| US20080161057A1 (en) * | 2005-04-15 | 2008-07-03 | Nokia Corporation | Voice conversion in ring tones and other features for a communication device |
| US8224647B2 (en) * | 2005-10-03 | 2012-07-17 | Nuance Communications, Inc. | Text-to-speech user's voice cooperative server for instant messaging clients |
| US20080086565A1 (en) * | 2006-10-10 | 2008-04-10 | International Business Machines Corporation | Voice messaging feature provided for immediate electronic communications |
| JP4859642B2 (ja) * | 2006-11-30 | 2012-01-25 | 富士通株式会社 | 音声情報管理装置 |
| US8514762B2 (en) * | 2007-01-12 | 2013-08-20 | Symbol Technologies, Inc. | System and method for embedding text in multicast transmissions |
| KR101044323B1 (ko) * | 2008-02-20 | 2011-06-29 | 가부시키가이샤 엔.티.티.도코모 | 음성 합성용 음성 데이터베이스를 구축하기 위한 통신 시스템, 이를 위한 중계 장치, 및 이를 위한 중계 방법 |
| JP5049310B2 (ja) * | 2009-03-30 | 2012-10-17 | 日本電信電話株式会社 | 音声学習・合成システム及び音声学習・合成方法 |
| CN102117614B (zh) * | 2010-01-05 | 2013-01-02 | 索尼爱立信移动通讯有限公司 | 个性化文本语音合成和个性化语音特征提取 |
| JP5881579B2 (ja) * | 2012-10-26 | 2016-03-09 | 株式会社東芝 | 対話システム |
| CN104810015A (zh) * | 2015-03-24 | 2015-07-29 | 深圳市创世达实业有限公司 | 语音转化装置、方法及使用该装置的支持文本存储的音箱 |
Family Cites Families (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04175049A (ja) | 1990-11-08 | 1992-06-23 | Toshiba Corp | 音声応答装置 |
| DE69232112T2 (de) * | 1991-11-12 | 2002-03-14 | Fujitsu Ltd., Kawasaki | Vorrichtung zur Sprachsynthese |
| JPH08328575A (ja) | 1995-05-29 | 1996-12-13 | Sanyo Electric Co Ltd | 音声合成装置 |
| JPH08328590A (ja) | 1995-05-29 | 1996-12-13 | Sanyo Electric Co Ltd | 音声合成装置 |
| JPH0950286A (ja) | 1995-05-29 | 1997-02-18 | Sanyo Electric Co Ltd | 音声合成装置及びこれに使用する記録媒体 |
| US6453281B1 (en) * | 1996-07-30 | 2002-09-17 | Vxi Corporation | Portable audio database device with icon-based graphical user-interface |
| US5721827A (en) * | 1996-10-02 | 1998-02-24 | James Logan | System for electrically distributing personalized information |
| US5899975A (en) | 1997-04-03 | 1999-05-04 | Sun Microsystems, Inc. | Style sheets for speech-based presentation of web pages |
| US5983190A (en) * | 1997-05-19 | 1999-11-09 | Microsoft Corporation | Client server animation system for managing interactive user interface characters |
| JP3224760B2 (ja) * | 1997-07-10 | 2001-11-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 音声メールシステム、音声合成装置およびこれらの方法 |
| JPH11109991A (ja) | 1997-10-08 | 1999-04-23 | Mitsubishi Electric Corp | マンマシンインターフェースシステム |
| JPH11308270A (ja) | 1998-04-22 | 1999-11-05 | Olympus Optical Co Ltd | 通信システム及びそれに用いられる端末装置 |
| US6144938A (en) * | 1998-05-01 | 2000-11-07 | Sun Microsystems, Inc. | Voice user interface with personality |
| JP2000020417A (ja) | 1998-06-26 | 2000-01-21 | Canon Inc | 情報処理方法及び装置、その記憶媒体 |
| JP2000112845A (ja) | 1998-10-02 | 2000-04-21 | Nec Software Kobe Ltd | 音声通知付電子メールシステム |
| JP2000339137A (ja) | 1999-05-31 | 2000-12-08 | Sanyo Electric Co Ltd | 電子メール受信システム |
| JP2001022371A (ja) | 1999-07-06 | 2001-01-26 | Fujitsu Ten Ltd | 音声合成電子メール送受信方法 |
| US6516207B1 (en) * | 1999-12-07 | 2003-02-04 | Nortel Networks Limited | Method and apparatus for performing text to speech synthesis |
| JP3712227B2 (ja) | 2000-01-14 | 2005-11-02 | 本田技研工業株式会社 | 音声合成装置、音声合成方法におけるデータ作成方法、及び音声合成方法 |
| JP2001222292A (ja) | 2000-02-08 | 2001-08-17 | Atr Interpreting Telecommunications Res Lab | 音声処理システムおよび音声処理プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| JP2001255884A (ja) | 2000-03-13 | 2001-09-21 | Antena:Kk | 音声合成システム、そのシステムを使用してボイスメッセージの受注配送を行うことのできるボイスデリバリシステム、及びボイスデリバリ方法 |
| DE10062379A1 (de) | 2000-12-14 | 2002-06-20 | Siemens Ag | Verfahren und System zum Umsetzen von Text in Sprache |
| JP2002207671A (ja) | 2001-01-05 | 2002-07-26 | Nec Saitama Ltd | 携帯電話機及び電子メール文章送信／再生方法 |
| US6625576B2 (en) * | 2001-01-29 | 2003-09-23 | Lucent Technologies Inc. | Method and apparatus for performing text-to-speech conversion in a client/server environment |
| DE10117367B4 (de) | 2001-04-06 | 2005-08-18 | Siemens Ag | Verfahren und System zur automatischen Umsetzung von Text-Nachrichten in Sprach-Nachrichten |
| GB0113571D0 (en) | 2001-06-04 | 2001-07-25 | Hewlett Packard Co | Audio-form presentation of text messages |
| FR2835087B1 (fr) | 2002-01-23 | 2004-06-04 | France Telecom | Personnalisation de la presentation sonore de messages synthetises dans un terminal |
-
2001
- 2001-11-02 JP JP2001337617A patent/JP3589216B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-15 US US10/270,310 patent/US7313522B2/en not_active Expired - Fee Related
- 2002-10-25 GB GB0224901A patent/GB2383502B/en not_active Expired - Fee Related
- 2002-11-04 CN CNB021498121A patent/CN1208714C/zh not_active Expired - Fee Related
-
2003
- 2003-07-25 HK HK03105371.5A patent/HK1053221A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| GB2383502B (en) | 2005-11-02 |
| CN1416053A (zh) | 2003-05-07 |
| GB0224901D0 (en) | 2002-12-04 |
| JP2003140674A (ja) | 2003-05-16 |
| US7313522B2 (en) | 2007-12-25 |
| GB2383502A (en) | 2003-06-25 |
| CN1208714C (zh) | 2005-06-29 |
| US20030088419A1 (en) | 2003-05-08 |
| HK1053221A1 (zh) | 2003-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3589216B2 (ja) | 音声合成システム及び音声合成方法 | |
| US6618704B2 (en) | System and method of teleconferencing with the deaf or hearing-impaired | |
| US9214154B2 (en) | Personalized text-to-speech services | |
| JP2009112000A6 (ja) | 実時間対話型コンテンツを無線交信ネットワーク及びインターネット上に形成及び分配する方法及び装置 | |
| US20090125312A1 (en) | Method and system for providing news information by using three dimensional character for use in wireless communication network | |
| JP2009112000A (ja) | 実時間対話型コンテンツを無線交信ネットワーク及びインターネット上に形成及び分配する方法及び装置 | |
| JP2008061241A (ja) | 周囲情報を連続的に記録する方法及び通信システム | |
| JP2003114692A (ja) | 音源データの提供システム、端末、玩具、提供方法、プログラム、および媒体 | |
| JP2003216564A (ja) | コミュニケーション支援方法、これを用いたコミュニケーションサーバ及びコミュニケーション支援システム | |
| US20030120492A1 (en) | Apparatus and method for communication with reality in virtual environments | |
| US6501751B1 (en) | Voice communication with simulated speech data | |
| JP4997022B2 (ja) | 仮想空間提供サーバ及びシステム | |
| JP2001109487A (ja) | 電子メールの音声再生装置、その音声再生方法、及び音声再生プログラムを記録した記録媒体 | |
| KR20020003833A (ko) | 음성아바타를 이용한 이메일 또는 채팅 시스템에서음향효과가 가미된 음성메일 또는 음성채팅 방법 | |
| KR100705954B1 (ko) | 커뮤니티 사이트에 음성 메시지를 등록하는 방법 및 이를위한 시스템 | |
| JP2005274979A (ja) | カラオケ処理装置、カラオケ演奏処理装置、サーバー装置、通信システム、カラオケ処理装置の制御方法、サーバー装置の制御方法、制御プログラムおよび記録媒体 | |
| JP2002186780A (ja) | 運勢情報の提供方法 | |
| KR20040105999A (ko) | 네트워크 기반 소리 아바타 생성 방법 및 시스템 | |
| JP2001127900A (ja) | 通信装置、電話機および通信処理プログラムを記録した記録媒体 | |
| KR20000036756A (ko) | 유명인사의 음성을 제공하기 위한 음성 포털 서비스 방법및 그 시스템 | |
| JP4017315B2 (ja) | ボイスメールサービス方法及びボイスメールサービスシステム | |
| JP2002351487A (ja) | 音声ライブラリシステム及びその運用方法 | |
| CN103200309A (zh) | 用于仅文本的应用的娱乐音频 | |
| KR100645255B1 (ko) | 음성 아바타를 이용하는 언어장애인용 ｖｍｓ 서비스 시스템 및 그 방법 | |
| JP3830796B2 (ja) | 情報通信装置、情報通信方法、及び情報通信プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040625 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040727 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040809 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070827 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |