JP2002057693A - Message exchange system and recording medium - Google Patents

Message exchange system and recording medium

Info

Publication number
JP2002057693A
JP2002057693A JP2000239424A JP2000239424A JP2002057693A JP 2002057693 A JP2002057693 A JP 2002057693A JP 2000239424 A JP2000239424 A JP 2000239424A JP 2000239424 A JP2000239424 A JP 2000239424A JP 2002057693 A JP2002057693 A JP 2002057693A
Authority
JP
Japan
Prior art keywords
message
media
media type
conversion
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000239424A
Other languages
Japanese (ja)
Other versions
JP3923712B2 (en
Inventor
Koji Miyata
功治 宮田
Shigetoshi Yokoyama
重俊 横山
Tatsuya Nakamura
竜也 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Data Group Corp
Original Assignee
NTT Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Data Corp filed Critical NTT Data Corp
Priority to JP2000239424A priority Critical patent/JP3923712B2/en
Publication of JP2002057693A publication Critical patent/JP2002057693A/en
Application granted granted Critical
Publication of JP3923712B2 publication Critical patent/JP3923712B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Telephonic Communication Services (AREA)

Abstract

PROBLEM TO BE SOLVED: To receive a message in a medium form preset corresponding to a desire by a receiver regardless of the medium form of the message transmitted by a transmitter and to transfer the message in a wide range even by the user terminal of limited medium forms. SOLUTION: In the medium data base 12 of a server 1, the medium form desired at the time of reception is registered by setting from communication equipment 1. A reception data base 13 stores a transmission message to be received by an interactive operation with the transmitter based on an automatic answering data base 14 together with the medium form desired by the receiver checked by referring to the medium data base 12 at the time of transmission. A medium converter 15 converts the transmission message stored in the reception data base 13 to the specified medium form as needed and stores it in a post-conversion data base 16. The post-conversion data base 16 distributes the stored message to the communication equipment 2 corresponding to the receiver of a destination.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、例えば、インス
タントメッセージサービスのように、ネットワーク上
で、ある利用者端末から送信されたメッセージを他の利
用者端末へ配信するサービスを提供するメッセージ交換
システムに係り、特に簡易に受信者の所望するメディア
種別によるメッセージの配信を実現し得るメッセージ交
換システムおよび記録媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a message exchange system for providing a service for distributing a message transmitted from one user terminal to another user terminal on a network, such as an instant message service. In particular, the present invention relates to a message exchange system and a recording medium that can easily deliver a message according to a media type desired by a receiver.

【0002】[0002]

【従来の技術】ネットワーク上でのコミュニケーション
手段として、例えばインターネット上で、コミュニケー
ションを開始する前に、コミュニケーションしたい相手
の状況を把握し、適切なメディアでのコミュニケーショ
ンを可能とするシステムとして例えばインスタントメッ
セージサービスが既に存在する。コミュニケーションの
メディアとしては、音声情報による音声メッセージ、テ
キスト情報によるショートメッセージおよび通常の電子
メール(Eメール)等のテキストメッセージ、並びにイ
メージによるイメージメッセージなどがある。
2. Description of the Related Art As a means of communicating on a network, for example, on the Internet, a system for grasping the situation of a partner who wants to communicate before starting communication, for example, an instant message service as a system capable of communicating with appropriate media. Already exists. Communication media include a voice message using voice information, a short message using text information and a text message such as ordinary electronic mail (e-mail), and an image message using an image.

【0003】このようなインスタントメッセージを利用
するユーザは、全てのユーザの状態を管理しているサー
バに接続し、サーバに対して自分のコミュニケーション
状態を設定する。コミュニケーション状態には、[オン
ライン(online)]、[オフライン(offli
ne)]、[アウェイ(away)]、[ドントディス
ターブ(don't disturb)]および[チャ
ット(chat)]等がある。ユーザは、これらの状態
をメニューにより選択することによって、サーバに状態
を設定する。サーバに設定することによって、自分の状
態を自分以外の(そのインスタントメッセージサービス
の)利用者に提示する。送信者は、メッセージの送信前
に、送信相手についての状態情報を確認することによっ
て、適切なコミュニケーションメディアを選択して、メ
ッセージを送信することができる。
A user using such an instant message connects to a server that manages the status of all users, and sets his / her communication status in the server. The communication states include [online], [offline]
ne)], [away], [don't disturb] and [chat]. The user sets the states in the server by selecting these states from a menu. By setting it on the server, you present your status to other users (of the instant messaging service). Before sending the message, the sender can check the status information about the other party to select an appropriate communication medium and send the message.

【0004】また、Eメール等のテキストデータから音
声データへの変換、あるいは音声データからテキストデ
ータへ音声認識などのメディア変更のための装置、およ
び音声メッセージの録音や種々のメディアフォーマット
による操作ガイダンスを行う装置なども販売されている
(例えば、NTTDATA製マルチメディアカードVo
istage、OKI製ボイス&ファクシミリメールシ
ステムI−O−X 5500等)。
Further, there is provided a device for converting text data such as e-mail into voice data or a media change such as voice recognition from voice data to text data, recording a voice message, and operating guidance in various media formats. Devices are also sold (for example, NTTDATA multimedia card Vo).
stage, voice and facsimile mail system IOX 5500 manufactured by OKI).

【0005】[0005]

【発明が解決しようとする課題】ところで、従来のイン
スタントメッセージサービスは、受信者がコミュニケー
ション状態を自ら設定することになっている。また、イ
ンスタントメッセージサービスでは、音声会話、ショー
トメッセージ(チャット)、留守番電話、およびEメー
ル等のように、種々のメッセージメディアを用いること
ができる。多くの場合、受信者には、受信者の個人的な
事情または受信に使用するシステムによる制限等によ
り、コミュニケーションに利用して欲しいメッセージメ
ディアというものが存在する。このため、コミュニケー
ションメッセージの発信者は、メッセージの送信前に、
コミュニケーションを取ろうとする相手である受信者の
状態をメッセージ送信前に確認することによって、受信
者が望むメッセージメディアを予測し、それを選択して
メッセージを送信する。このようにして、受信者に対し
メッセージによるコミュニケーションを実行する。
In the conventional instant message service, the receiver sets the communication state by himself. In the instant message service, various message media such as voice conversation, short message (chat), answering machine, and e-mail can be used. In many cases, there is a message media that the recipient wants to use for communication due to the personal circumstances of the recipient or restrictions due to the system used for reception. For this reason, the sender of a communication message must
By confirming the status of the recipient with whom the communication is to be made before transmitting the message, the message media desired by the recipient is predicted, and the recipient selects and transmits the message. In this way, the communication with the message is executed for the recipient.

【0006】ここで、図20を参照して、従来のインス
タントメッセージサービスのためのシステムの概略を説
明する。図20に示すように、状態管理システム101
は、例えばネットワーク上に設置される。利用者、すな
わち受信者および発信者は、それぞれ端末装置としての
コンピュータ102および103を、ネットワークを介
して状態管理システム101に接続している。状態管理
システム101は、状態データベース(状態DB)11
1、メディアデータベース(メディアDB)112およ
びコミュニケーションデータベース(コミュニケーショ
ンDB)113を備えている。状態管理システム101
は、これら状態データベース111、メディアデータベ
ース112およびコミュニケーションデータベース11
3を、それぞれ用いて状態確認機能、メディア選択機能
およびコミュニケーション機能を実現している。
Referring now to FIG. 20, an outline of a conventional system for an instant message service will be described. As shown in FIG. 20, the state management system 101
Is installed on a network, for example. The users, ie, the receiver and the sender, connect the computers 102 and 103 as terminal devices to the state management system 101 via a network. The state management system 101 includes a state database (state DB) 11
1. A media database (media DB) 112 and a communication database (communication DB) 113 are provided. State management system 101
Are the state database 111, the media database 112, and the communication database 11
3 are used to realize a state confirmation function, a media selection function, and a communication function.

【0007】この図20のシステムを用いたコミュニケ
ーションに際しては、受信者は、コンピュータ102を
操作して、状態管理システム101の状態データベース
111に個人状態を設定する。また、同時にメディアデ
ータベース112に、その受信者が利用することを所望
するメディアを設定するようにしても良い。発信者は、
コンピュータ103を操作して、状態管理システム10
1の状態データベース111に基づくメッセージを送信
しようとする相手の状態を参照する。このとき、メディ
アデータベース112により、相手の所望するメディア
を参照することができることもある。このようにして、
発信者は、相手の所望するメディアを確認または予測
し、コンピュータ103を操作して、状態管理システム
101のコミュニケションデータベース113に対して
該当するメディアにてメッセージを発信する。受信者
は、発信者から送信されたメッセージを状態管理システ
ム101のコミュニケションデータベース113からコ
ンピュータ102を介してメッセージを受信する。
At the time of communication using the system shown in FIG. 20, the recipient operates the computer 102 to set the personal status in the status database 111 of the status management system 101. At the same time, the media desired by the recipient for use may be set in the media database 112. The caller
By operating the computer 103, the state management system 10
Reference is made to the state of the other party who is to send a message based on the state database 111 of FIG. At this time, the media database 112 may sometimes allow the user to refer to the desired media. In this way,
The sender confirms or predicts the desired medium of the other party, operates the computer 103, and transmits a message to the communication database 113 of the state management system 101 using the corresponding medium. The receiver receives the message transmitted from the sender from the communication database 113 of the state management system 101 via the computer 102.

【0008】また、特開平9−135264号公報に
は、Eメール受信者が、受信したEメールのテキスト
を、所望に応じて、音声情報として読み上げさせるため
のシステムが記載されている。特開平9−135264
号公報に開示されたシステムは、Eメールのテキストに
高精度の読み・韻律情報を付与させるためのテキスト変
換サーバと、付与された高精度の読み・韻律情報を用い
てテキストに基づく音声情報を生成する音声出力サーバ
とを有している。Eメール受信者は、高精度の読み・韻
律情報を生成させるか否か、読み・韻律情報を生成させ
るEメールの選択情報、および音声読み上げに使用する
音声出力デバイス等を予め設定しておく。Eメール受信
者が、受信Eメールの高精度の読み上げを希望する場合
には、受信Eメールをテキスト変換サーバに転送し、返
送された高精度の読み・韻律情報が付与されたEメール
を、設定された音声出力デバイスで音声読み上げさせ
る。音声出力デバイスとしては、ローカルな音声合成装
置または音声出力サーバが用いられる。ここで、音声出
力サーバを用いる場合には、高精度の読み・韻律情報が
付与されたEメールを音声出力サーバに転送し、音声出
力サーバから返送される音声情報を再生することにな
る。
Japanese Patent Application Laid-Open No. Hei 9-135264 describes a system that allows an e-mail recipient to read out a text of a received e-mail as voice information as desired. JP-A-9-135264
The system disclosed in Japanese Patent Application Laid-Open Publication No. H10-15064 discloses a text conversion server for adding high-precision reading / prosodic information to an e-mail text, and converts text-based speech information using the provided high-precision reading / prosodic information. And a voice output server for generating. The e-mail recipient sets in advance whether or not to generate high-precision reading / prosodic information, e-mail selection information for generating reading / prosodic information, and a voice output device to be used for voice reading. If the e-mail recipient wishes to read the received e-mail with high accuracy, the e-mail is transferred to the text conversion server, and the returned e-mail to which the high-precision reading / prosodic information is added is read. Make the set voice output device read aloud. A local voice synthesizer or voice output server is used as the voice output device. Here, when the audio output server is used, the e-mail to which the highly accurate reading / prosodic information is added is transferred to the audio output server, and the audio information returned from the audio output server is reproduced.

【0009】この特開平9−135264号公報に示さ
れたシステムは、Eメール受信後にテキストから音声へ
メディア変換するものであり、テキスト変換サーバおよ
び音声出力デバイスにおけるメディア変換は、テキスト
から音声へのメディア変換に限られており、Eメール受
信者から変換のために転送された場合に変換する。すな
わち、この場合、メディア変換に関しては、Eメール受
信者は、発信者であり、この発信者の選択によってのみ
メディア変換される。
The system disclosed in Japanese Patent Application Laid-Open No. Hei 9-135264 converts media from text to voice after receiving an e-mail. Media conversion in a text conversion server and a voice output device is performed by converting text to voice. It is limited to media conversion, and is converted when transferred from an e-mail recipient for conversion. That is, in this case, regarding the media conversion, the e-mail recipient is the sender, and the media is converted only by the selection of the sender.

【0010】したがって、従来のシステムにおいては、
次のような問題がある。 (1)送信メディア形態は、発信者の選択に依存してい
るため、受信者は、自ら所望する形態にそぐわないメデ
ィア形態で発信者からのメッセージを受ける可能性があ
る。 (2)発信者は相手の状態を予測して自らメディア形態
を選択するが、そのメディア形態は、発信者が望む形態
でない可能性がある。 (3)発信者のコミュニケーション機器によるメディア
形態の制限がある場合には、受信者の望むメディア形態
でメッセージを送信することができない可能性がある。
Therefore, in the conventional system,
There are the following problems. (1) Since the transmission media form depends on the sender's selection, the receiver may receive a message from the sender in a media form that does not suit his or her desired form. (2) The caller predicts the state of the other party and selects the media form by himself, but the media form may not be the form desired by the caller. (3) If there is a restriction on the media format due to the communication device of the sender, the message may not be transmitted in the media format desired by the recipient.

【0011】この発明は、上述した事情に鑑みてなされ
たもので、発信者の発信するメッセージのメディア形態
にかかわらず、受信者が所望に応じて予め設定したメデ
ィア形態でメッセージを受信することができ、メディア
形態に制限のある利用者端末によっても広範囲のメッセ
ージの授受が可能となるメッセージ交換システムおよび
コンピュータ読み取り可能な記録媒体を提供することを
目的とする。
[0011] The present invention has been made in view of the above circumstances, and it is possible for a receiver to receive a message in a preset media format as desired, regardless of the media format of the message transmitted by the sender. It is an object of the present invention to provide a message exchange system and a computer-readable recording medium that can transmit and receive a wide range of messages even by a user terminal having a limited media form.

【0012】[0012]

【課題を解決するための手段】上記目的を達成するた
め、この発明の第1の観点によるメッセージ交換システ
ムは、ある利用者端末から送信されたメッセージを他の
利用者端末へ配信するサービスを提供するメッセージ交
換システムであって、利用者端末からその利用者が受信
を所望するメッセージのメディア種別を登録する受信メ
ディア登録手段と、利用者端末からのメッセージの送信
時に、その送信メッセージの宛先利用者について登録さ
れた受信メディア種別を調べるメディア種別参照手段
と、前記メディア種別参照手段により得られた前記宛先
利用者の登録受信メディア種別が、前記送信メッセージ
のメディア種別と異なるときは、その送信メッセージを
登録された受信メディア種別の変換メッセージに変換す
るメディア変換手段と、前記宛先利用者に、前記送信メ
ッセージおよび変換メッセージのうちの一方を用いて、
前記登録受信メディア種別に対応するメッセージを送信
するメッセージ送信手段と、を具備する。
To achieve the above object, a message exchange system according to a first aspect of the present invention provides a service for distributing a message transmitted from one user terminal to another user terminal. Media exchange means for registering a media type of a message that the user desires to receive from a user terminal, and a destination user of the transmitted message when a message is transmitted from the user terminal. Media type reference means for examining the received media type registered for the destination user, and when the registered received media type of the destination user obtained by the media type reference means is different from the media type of the transmitted message, the transmitted message is Media conversion means for converting into a conversion message of the registered reception media type; To the destination user, using one of the transmission message and transform the message,
Message transmission means for transmitting a message corresponding to the registered reception media type.

【0013】前記受信メディア登録手段により登録され
る利用者毎の受信メディア種別を格納するデータベース
手段をさらに含み、前記メディア種別参照手段は前記デ
ータベース手段を参照して宛先利用者の登録受信メディ
ア種別を調べるようにしてもよい。
[0013] The apparatus further includes database means for storing a received media type for each user registered by the received media registering means, wherein the media type referencing means refers to the database means to register a registered received media type of a destination user. You may check it.

【0014】前記メディア変換手段は、変換メッセージ
を発信側の所望するメディア種別にて発信側に送信し、
発信側にメディア変換された送信内容を確認させる手段
を含んでいてもよい。
[0014] The media conversion means transmits the conversion message to the transmitting side in a desired media type of the transmitting side,
Means may be included for causing the originating side to confirm the content of the transmission after the media conversion.

【0015】前記メッセージのメディア種別は、通常の
電子メールおよびショートメールを含むテキストメッセ
ージ、音声メッセージ、およびイメージメッセージのう
ちの少なくともいずれかを含んでいてもよい。
[0015] The media type of the message may include at least one of a text message including a normal electronic mail and a short mail, a voice message, and an image message.

【0016】この発明の第1の観点に係るメッセージ交
換システムは、利用者端末からその利用者が受信を所望
するメッセージのメディア種別を受信メディア登録手段
に予め登録し、利用者端末からのメッセージの送信時
に、メディア種別参照手段により、その送信メッセージ
の宛先利用者について登録された受信メディア種別を調
べ、メディア種別参照手段により得られた宛先利用者の
登録受信メディア種別が、送信メッセージのメディア種
別と異なるときは、メディア変換手段によって、その送
信メッセージを登録された受信メディア種別の変換メッ
セージに変換して、メッセージ送信手段により、送信メ
ッセージおよび変換メッセージのうちの登録受信メディ
ア種別に対応する一方を用いて、宛先利用者にメッセー
ジを送信する。このメッセージ交換システムでは、メッ
セージを受信者の指定するメディア形態に変換して配信
するので、発信者の発信するメッセージのメディア形態
にかかわらず、受信者が所望に応じて予め設定したメデ
ィア形態でメッセージを受信することができ、メディア
形態に制限のある利用者端末によっても広範囲のメッセ
ージの授受が可能となる。
In a message exchange system according to a first aspect of the present invention, a media type of a message that the user desires to receive from a user terminal is registered in advance in a receiving media registration unit, and a message from the user terminal is registered. At the time of transmission, the received media type registered for the destination user of the transmitted message is checked by the media type reference means, and the registered received media type of the destination user obtained by the media type reference means is the same as the media type of the transmitted message. If they are different, the transmission message is converted by the media conversion unit into a conversion message of the registered reception media type, and one of the transmission message and the conversion message corresponding to the registered reception media type is used by the message transmission unit. The message to the destination user. In this message exchange system, a message is converted into a media format specified by the recipient and delivered, so that the message is transmitted in a media format preset by the recipient as desired, regardless of the media format of the message transmitted by the sender. Can be received, and a wide range of messages can be exchanged even with a user terminal whose media form is restricted.

【0017】この発明の第2の観点によるコンピュータ
読み取り可能な記録媒体は、コンピュータを、利用者端
末からその利用者が受信を所望するメッセージのメディ
ア種別を登録する受信メディア登録手段、利用者端末か
らのメッセージの送信時に、その送信メッセージの宛先
利用者について登録された受信メディア種別を調べるメ
ディア種別参照手段、前記メディア種別参照手段により
得られた前記宛先利用者の登録受信メディア種別が、前
記送信メッセージのメディア種別と異なるときは、その
送信メッセージを登録された受信メディア種別の変換メ
ッセージに変換するメディア変換手段、および前記宛先
利用者に、前記送信メッセージおよび変換メッセージの
うちの一方を用いて、前記登録受信メディア種別に対応
するメッセージを送信するメッセージ送信手段、として
機能させるためのプログラムを記録している。
According to a second aspect of the present invention, there is provided a computer-readable recording medium comprising: a receiving medium registering means for registering, from a user terminal, a media type of a message which the user desires to receive; When transmitting the message, the media type reference means for checking the received media type registered for the destination user of the transmitted message, and the registered received media type of the destination user obtained by the media type reference means is the transmission message. When the media type is different, the media conversion means for converting the transmission message into a conversion message of the registered reception media type, and the destination user, using one of the transmission message and the conversion message, The message corresponding to the registered reception media type Shin message transmitting means records the program for functioning as a.

【0018】この発明の第3の観点によるコンピュータ
読み取り可能な記録媒体は、コンピュータを、利用者毎
の受信メディア種別を格納するデータベース手段、利用
者端末からその利用者が受信を所望するメッセージのメ
ディア種別を前記データベース手段に登録する受信メデ
ィア登録手段、利用者端末からのメッセージの送信時
に、前記データベース手段を参照して、その送信メッセ
ージの宛先利用者について登録された受信メディア種別
を調べるメディア種別参照手段、前記メディア種別参照
手段により得られた前記宛先利用者の登録受信メディア
種別が、前記送信メッセージのメディア種別と異なると
きは、その送信メッセージを登録された受信メディア種
別の変換メッセージに変換するメディア変換手段、およ
び前記宛先利用者に、前記送信メッセージおよび変換メ
ッセージのうちの一方を用いて、前記登録受信メディア
種別に対応するメッセージを送信するメッセージ送信手
段、として機能させるためのプログラムを記録してい
る。
According to a third aspect of the present invention, there is provided a computer-readable recording medium, comprising: a computer for storing a receiving medium type for each user; a medium for a message which the user desires to receive from a user terminal; Receiving media registering means for registering a type in the database means, referencing the database means at the time of transmitting a message from a user terminal, referencing a media type for checking a receiving media type registered for a destination user of the transmitted message; Means for converting the transmission message into a conversion message of the registered reception media type when the registered reception media type of the destination user obtained by the media type reference means is different from the media type of the transmission message. Conversion means, and the destination user The transmission message and using one of the conversion message records the program to function as a message transmission means for transmitting a message corresponding to the registration reception media type.

【0019】この発明の第4の観点によるコンピュータ
読み取り可能な記録媒体は、コンピュータを、利用者端
末からその利用者が受信を所望するメッセージのメディ
ア種別を登録する受信メディア登録手段、利用者端末か
らのメッセージの送信時に、その送信メッセージの宛先
利用者について登録された受信メディア種別を調べるメ
ディア種別参照手段、前記メディア種別参照手段により
得られた前記宛先利用者の登録受信メディア種別が、前
記送信メッセージのメディア種別と異なるときは、その
送信メッセージを登録された受信メディア種別の変換メ
ッセージに変換するとともに、その変換メッセージを発
信側の所望するメディア種別にて発信側に送信し、発信
側にメディア変換された送信内容を確認させるメディア
変換手段、および前記宛先利用者に、前記送信メッセー
ジおよび変換メッセージのうちの一方を用いて、前記登
録受信メディア種別に対応するメッセージを送信するメ
ッセージ送信手段、として機能させるためのプログラム
を記録している。
According to a fourth aspect of the present invention, there is provided a computer-readable recording medium, comprising: a receiving medium registering means for registering, from a user terminal, a media type of a message which the user desires to receive; When transmitting the message, the media type reference means for checking the received media type registered for the destination user of the transmitted message, and the registered received media type of the destination user obtained by the media type reference means is the transmission message. If it is different from the media type, the transmission message is converted into a conversion message of the registered reception media type, and the conversion message is transmitted to the transmission side in the desired media type of the transmission side, and the media conversion is performed by the transmission side. Media conversion means for confirming the transmitted content, and Serial to the destination user, using one of the transmission message and converts the message, records a program for functioning as a message transmission means for transmitting a message corresponding to the registration reception media type.

【0020】この発明の第2〜第4の観点に係るコンピ
ュータ読み取り可能な記録媒体に記録されたプログラム
では、メッセージを受信者の指定するメディア形態に変
換して配信するので、発信者の発信するメッセージのメ
ディア形態にかかわらず、受信者が所望に応じて予め設
定したメディア形態でメッセージを受信することがで
き、メディア形態に制限のある利用者端末によっても広
範囲のメッセージの授受が可能となる。
According to the program recorded on the computer-readable recording medium according to the second to fourth aspects of the present invention, the message is converted into a medium format designated by the recipient and distributed, so that the originator sends the message. Regardless of the media format of the message, the recipient can receive the message in a media format set in advance as desired, and a wide range of messages can be exchanged even with a user terminal having a limited media format.

【0021】[0021]

【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して説明する。すなわち、図1〜図19を参照
して、この発明の実施の形態に係るメッセージ交換シス
テムを説明する。
Embodiments of the present invention will be described below with reference to the drawings. That is, the message exchange system according to the embodiment of the present invention will be described with reference to FIGS.

【0022】図1は、この発明の実施の形態に係るメッ
セージ交換システムの構成を模式的に示している。
FIG. 1 schematically shows a configuration of a message exchange system according to an embodiment of the present invention.

【0023】図1に示すメッセージ交換システムは、サ
ーバ1、第1の通信機器2および第2の通信機器3を備
えている。第1の通信機器2は、この場合、受信者用の
利用者端末(装置)であり、第2の通信機器3は、この
場合、発信者用の利用者端末装置である。サーバ1は、
これら通信機器2および3に、ネットワークを介して結
合されており、発信側である第2の通信機器3から受信
側である第1の通信機器2へのメッセージ交換を実現す
る。
The message exchange system shown in FIG. 1 includes a server 1, a first communication device 2, and a second communication device 3. In this case, the first communication device 2 is a user terminal (device) for a receiver, and the second communication device 3 is a user terminal device for a sender in this case. Server 1
These communication devices 2 and 3 are connected via a network, and realize message exchange from the second communication device 3 on the transmitting side to the first communication device 2 on the receiving side.

【0024】サーバ1は、状態確認部、メディア選択部
およびメディア変換部を有している。状態確認部は、状
態データベース(状態DB)11を有する。この状態デ
ータベース11は、例えば通信機器2からの設定により
受信等に対する個人状態を示す個人状態情報を登録する
とともに、通信機器3から送信時等に相手の個人状態を
確認する際に参照される。メディア選択部は、メディア
データベース(メディアDB)12を有している。メデ
ィアデータベース12は、例えば通信機器2からの設定
により受信時に希望するメディア形態を登録する。メデ
ィア変換部は、受信データベース(受信DB)13、自
動応答データベース(自動応答DB)14、メディア変
換装置15、および変換後データベース(変換後DB)
16を有している。受信データベース13は、発信時
に、メディアデータベース12を参照して調べた宛先と
なる受信者の所望するメディア形態と共に、自動応答デ
ータベース14に基づく発信者との対話的操作により受
信される送信メッセージを格納する。メディア変換装置
15は、受信データベース13に格納された送信メッセ
ージを指定されたメディア形態に必要に応じて変換して
変換後データベース16に格納する。
The server 1 has a status confirmation unit, a media selection unit, and a media conversion unit. The state confirmation unit has a state database (state DB) 11. The state database 11 registers personal state information indicating a personal state with respect to reception or the like by setting from the communication device 2 and is referred to when confirming the personal state of the other party at the time of transmission from the communication device 3 or the like. The media selection unit has a media database (media DB) 12. The media database 12 registers a desired media format at the time of reception by, for example, setting from the communication device 2. The media conversion unit includes a reception database (reception DB) 13, an automatic response database (automatic response DB) 14, a media conversion device 15, and a converted database (converted DB).
16. The reception database 13 stores, at the time of transmission, a transmission message received by an interactive operation with the sender based on the automatic response database 14 together with a desired media form of the recipient as a destination checked with reference to the media database 12. I do. The media conversion device 15 converts the transmission message stored in the reception database 13 into a specified media format as necessary and stores the converted message in the converted database 16.

【0025】変換後データベース16は、必要に応じて
変換し格納したメッセージを宛先の受信者に対応する通
信機器2に配信する。メディア変換装置15は、ハード
ウェアにより構成してもよいが、その機能の一部または
全部をソフトウェアにより構成して、そのソフトウェア
の実行により所要の機能を達成するようにしてもよい。
The converted database 16 distributes the converted and stored message as needed to the communication device 2 corresponding to the destination recipient. Although the media conversion device 15 may be configured by hardware, a part or all of its functions may be configured by software, and the required functions may be achieved by executing the software.

【0026】すなわち、このメッセージ交換システムに
おいては、概ね、次のような手順に従ってメッセージの
交換が行われることになる。
That is, in this message exchange system, message exchange is generally performed according to the following procedure.

【0027】・まず、事前に受信者側がコミュニケーシ
ョン状態とメディアを決定し、システム、つまりサーバ
1の状態データベース11およびメディアデータベース
12に登録する。具体的には、例えば、劇場および映画
館等では携帯電話のマナーモードあるいはメールでの受
付を登録し、高速道路および電車等による高速移動中は
携帯電話のドライブモードおよび留守番電話受付を登録
し、オフィスでの自席パソコン利用時はメール受付を登
録し、自宅での家族用電話利用時は、音声受け付けを登
録するなどする。
First, the receiver side determines the communication status and the media in advance and registers them in the system, that is, the status database 11 and the media database 12 of the server 1. Specifically, for example, in a theater and a movie theater, etc., register the reception mode by mobile phone manner mode or e-mail, and register the drive mode and answering machine reception of the mobile phone during high-speed movement by highway and train, When using a personal computer in the office, register e-mail reception, and when using a family telephone at home, register voice reception.

【0028】・受信者側の状態とメディアは、受信者の
状況が変わる毎に受信者によって変更される。 ・発信者は受信者の状態を確認して、コミュニケーショ
ンの内容を決定し、発信者自身の望むメディアにより、
受信者宛のメッセージをシステム(サーバ1)へ送信す
る。 ・システム(サーバ1)は、宛先すなわち受信者の選択
しているメディアを確認し、送信メッセージのメディア
形態が一致していなければ、発信者からのメッセージを
受信者の所望するメッセージ形態に変換し、受信者に対
して配信する。
The state and media on the receiver side are changed by the receiver each time the state of the receiver changes.・ The sender confirms the status of the recipient, decides the content of the communication, and according to the media desired by the sender,
A message addressed to the recipient is transmitted to the system (server 1). The system (server 1) checks the destination, that is, the media selected by the recipient, and if the media format of the transmitted message does not match, converts the message from the sender into the message format desired by the recipient. , Deliver to the recipient.

【0029】以下にこの実施の形態によるメッセージ交
換システムで実現するシステムの主としてサーバ1にお
ける処理の流れを簡単に説明する。なお、図1に示す
(1)〜(6)の動作は、以下における(1)〜(6)
の各項にそれぞれ対応している。 (1)メッセージ受信者が、アクセス可能、アクセス不
可能、および緊急連絡のみ受付などの自分のコミュニケ
ーション状態をシステム(サーバ1の状態データベース
11)に設定する。 (2)メッセージ受信者が、状況に応じた自分が受けた
いメディア形態をシステム(サーバ1のメディアデータ
ベース12)に設定する。この場合のメディア形態とし
ては、例えば、音声(リアルタイム音声)、メール(テ
キスト)、ボイスメール(留守番電話)、およびメール
(蓄積タイプ)等がある。
The flow of processing mainly in the server 1 of the system realized by the message exchange system according to this embodiment will be briefly described below. The operations (1) to (6) shown in FIG. 1 correspond to the following (1) to (6)
Corresponds to each item. (1) The message receiver sets his / her communication status such as accessible, inaccessible, and receiving only emergency contact in the system (the status database 11 of the server 1). (2) The message recipient sets the media form he or she wants to receive according to the situation in the system (media database 12 of server 1). In this case, examples of the media form include voice (real-time voice), mail (text), voice mail (answering machine), mail (storage type), and the like.

【0030】(3)メッセージ発信者が、システム(サ
ーバ1の状態データベース11)からメッセージ受信者
つまり宛先のコミュニケーションに対する状態を取得す
る。 (4)メッセージ発信者は、発信者にとって望ましいメ
ディア(例えば、音声(リアルタイム音声)、メール
(テキスト)等)を利用して、システムに対してメッセ
ージを発信する。受信者によりメディアが指定されてい
た場合、それぞれのメディアに対応して、システムと発
信者との間で対話的にやり取りされる場合もある。例え
ば、指定されたメディアが留守番電話の場合には、録音
を促す自動応答メッセージに従って音声通話を録音する
などのやりとりが必要となる。
(3) The message sender obtains the status of the message recipient, that is, the destination communication from the system (the status database 11 of the server 1). (4) The message sender sends a message to the system using media desired by the sender (for example, voice (real-time voice), mail (text), etc.). When the media is specified by the receiver, the system and the caller may be interactively exchanged for each media. For example, if the designated medium is an answering machine, an exchange such as recording a voice call in accordance with an automatic response message prompting recording is required.

【0031】(5)システムによって蓄積された発信者
からのメッセージを、メディアデータベース12に登録
された受信者の設定したメディアに変換する。 (6)システム(サーバ1の変換後データベース16に
蓄積された変換されたメッセージは、受信者の設定した
メディアにより、即時あるいは受信者が望む時間に受信
者に送信される。
(5) The message from the sender stored by the system is converted into the media set by the receiver registered in the media database 12. (6) The converted message stored in the system (the converted database 16 of the server 1) is transmitted to the recipient immediately or at a time desired by the recipient by the media set by the recipient.

【0032】このようなシステムを利用することによ
り、受信者は受信者が望むメディアでメッセージを受け
取ることが可能となる。また、発信者は発信者が望むメ
ディアでメッセージを送信することが可能となる。さら
に、一部のコミュニケーションツールは、例えば電話
は、音声のみ、ファクシミリ(FAX)は文字図形パタ
ーン入力のみ、およびメール専用端末は文字入力のみな
ど、取り扱うメディア形態に制限がある。このように様
々な制限を持つコミュニケーションツール等で、これま
でメッセージを送信することができなかった、利用者に
対して機器の持つメディアに適合させてコミュニケーシ
ョンをとることが可能となる。
By utilizing such a system, the recipient can receive the message on the media desired by the recipient. Also, the caller can send the message in the media desired by the caller. Furthermore, some communication tools are limited in the media form to be handled, such as, for example, telephone only for voice, facsimile (FAX) only for inputting character and graphic patterns, and mail-only terminal for only character input. With a communication tool or the like having various restrictions as described above, it is possible to communicate with a user who has not been able to transmit a message until now by adapting to the media of the device.

【0033】以下、上述し且つ図1に示した実施の形態
によるメッセージ交換システムについて、さらに具体的
に且つ詳細に説明する。
Hereinafter, the message exchange system according to the embodiment described above and shown in FIG. 1 will be described more specifically and in detail.

【0034】このメッセージ交換システムは、図2に全
体を模式的に示すようなシステムとして構成される。す
なわち、図2に示すサーバSは、図1に示すサーバ1に
相当する。複数のサービス利用者の利用者端末C1、C
2およびC3等は、携帯電話網N1、一般電話網N2お
よびインターネットN3等のネットワークを介してサー
バSに接続されている。これら利用者端末C1、C2お
よびC3等は、サーバSに対するクライアントとして機
能し、いずれもメッセージの発信者にも、メッセージの
受信者にもなり得る。したがって、図1において説明し
た通信機器2および3は、これら利用者端末C1、C2
およびC3等のいずれかに相当する。
This message exchange system is configured as a system as schematically shown in FIG. That is, the server S illustrated in FIG. 2 corresponds to the server 1 illustrated in FIG. User terminals C1, C of a plurality of service users
2 and C3 are connected to the server S via a network such as a mobile telephone network N1, a general telephone network N2, and the Internet N3. These user terminals C1, C2, C3, etc. function as clients for the server S, and can be both a message sender and a message receiver. Therefore, the communication devices 2 and 3 described with reference to FIG.
And C3.

【0035】次に、図1に示したメッセージ交換システ
ムのさらに具体的な動作について説明する。
Next, a more specific operation of the message exchange system shown in FIG. 1 will be described.

【0036】《前処理》この発明に従ったメッセージ交
換の処理を行う前に、このサービスの利用者はこのメッ
セージ交換サービスのシステムに登録し、システムヘの
認証処理が済んでいること、発信者に何らかの手段で受
信者の情報が渡り、発信者の住所録に受信者が登録され
ていることが必要となる。発信者の住所録とは、このメ
ッセージ交換サービスにより、発信者が、コミュニケー
ション状態および利用メディア形態を知ることが可能な
相手の一覧である。
<< Preprocessing >> Before performing the message exchange processing according to the present invention, the user of this service has registered in the system of this message exchange service, and has confirmed that the authentication processing for the system has been completed. It is necessary that the information of the recipient be transferred to the sender by some means, and that the recipient be registered in the address book of the sender. The address book of the caller is a list of the callers who can know the communication state and the form of the used media by the message exchange service.

【0037】以下に、図3および図4を参照して、発信
者が受信者をこのシステムの住所録に登録するまでの流
れを説明する。まず、図3を参照して発信者と受信者が
システムに認証されるまでの前処理について、その処理
の流れを説明する。なお、図3に示す(1)〜(5)お
よび(1′)〜(5′)の動作は、以下における(1)
〜(5)の各項にそれぞれ対応している。
Hereinafter, a flow until the sender registers the receiver in the address book of this system will be described with reference to FIG. 3 and FIG. First, with reference to FIG. 3, a flow of pre-processing until a sender and a recipient are authenticated by the system will be described. The operations (1) to (5) and (1 ') to (5') shown in FIG.
To (5).

【0038】(1)サービス利用者、つまり発信者およ
び受信者の両者、は、このメッセージ交換システムに対
してメッセージ交換サービスを利用することを登録す
る。 (2)このシステムのサーバ1内のシステムイベント制
御部10Aは現行会員のIDを検索して、ユニークな
(唯一の)ID(識別情報)を割り振り、会員データベ
ース(会員DB)10Bに、そのIDとランダムに作成
されたパスワードとを保存する(パスワードはランダム
に作成されたものだけではなく、利用者が任意に指定し
た文字列を利用する場合もある)。
(1) The service user, that is, both the caller and the receiver, register that the message exchange system uses the message exchange service. (2) The system event control unit 10A in the server 1 of this system searches for the ID of the current member, allocates a unique (unique) ID (identification information), and stores the ID in the member database (member DB) 10B. And a randomly generated password (the password is not limited to a randomly generated password, but may be a character string arbitrarily specified by the user).

【0039】(3)システムイベント制御部10Aはユ
ニークなIDおよびパスワードをサービス利用者(この
場合の発信者および受信者の双方)に通知する。 (4)サービス利用者は、通知されたIDおよびパスワ
ードを利用し、システムに対して認証を行う。
(3) The system event controller 10A notifies the service user (both the sender and the receiver in this case) of the unique ID and password. (4) The service user authenticates to the system using the notified ID and password.

【0040】(5)認証成功後、サービス利用者はシス
テムイベント制御部10Aに対し、利用者のコミュニケ
ーションに対する状態、および望ましいコミュニケーシ
ョンメディア形態について設定登録する。
(5) After successful authentication, the service user sets and registers in the system event control section 10A the state of the user's communication and the desired communication media form.

【0041】次に、図4を参照して発信者が、自分の個
人住所録に受信者を登録するまでの前処理について、そ
の処理の流れを説明する。なお、図4に示す(1)〜
(7)の動作は、以下における(1)〜(7)の各項に
それぞれ対応している。
Next, with reference to FIG. 4, a description will be given of the flow of the pre-processing until the sender registers the recipient in his / her personal address book. In addition, (1)-shown in FIG.
The operation (7) corresponds to each of the following items (1) to (7).

【0042】(1)受信者は、何らかのコミュニケーシ
ョン手段(例えば、直接会っての会話、電話、手紙、E
メール等)を利用して、発信者に対して受信者のこのメ
ッセージ交換システムにおけるID番号を通知する。 (2)発信者は、このシステムに対して認証を行う。 (3)認証成功後、発信者はシステムイベント制御部1
0Aに対して、先に通知された受信者のID番号を与え
て問い合わせを行う。 (4)システムイベント制御部10Aは、会員データベ
ース10Bに対して問い合わせを行い、与えられたID
番号に付随する個人情報を取得する。
(1) The recipient can use any communication means (for example, a face-to-face conversation, telephone, letter, E
Using a mail or the like, the sender is notified of the ID number of the receiver in this message exchange system. (2) The sender authenticates the system. (3) After successful authentication, the sender is the system event controller 1
An inquiry is made to 0A by giving the ID number of the receiver notified earlier. (4) The system event control unit 10A makes an inquiry to the member database 10B and receives the given ID.
Get personal information attached to the number.

【0043】(5)システムイベント制御部10Aは、
発信者に対し、問い合わせのあったID番号の詳細情報
を通知する。 (6)発信者は、受信者から先に通知されたIDが正し
いことを確認し、システムイベント制御部10Aに対
し、発信者の住所録10Cヘの受信者のID番号の登録
を依頼する。 (7)システムイベント制御部10Aは、依頼されたI
Dを発信者用の住所録10Cに追加する。
(5) The system event control unit 10A
The caller is notified of the detailed information of the inquired ID number. (6) The sender confirms that the ID previously notified by the receiver is correct, and requests the system event control unit 10A to register the ID number of the receiver in the address book 10C of the sender. (7) The system event control unit 10A sends the requested I
D is added to the caller's address book 10C.

【0044】《メッセージ交換時の全体処理》次に、図
5を参照して、このメッセージ交換システムにおけるメ
ッセージ交換時の全体の処理を説明する。ここでは、受
信者が、既に望むメディアを設定した状態で、発信者が
受信者に対してメッセージを送付し、受信者が発信者か
らのメッセージを受け取るまでの処理について、発信者
の音声によるメッセージをメールに変換して受信者に届
けるまでの処理を例にとって説明する。この場合も、図
5に示す(1)〜(12)の動作は、以下における
(1)〜(12)の各項にそれぞれ対応している。
<< Overall Processing at the Time of Message Exchange >> Next, the overall processing at the time of message exchange in this message exchange system will be described with reference to FIG. Here, the sender sends a message to the recipient with the desired media already set, and the process until the recipient receives the message from the sender is described by the sender's voice message. Will be described as an example of a process from converting to a mail and delivering it to the recipient. Also in this case, the operations (1) to (12) shown in FIG. 5 correspond to the following items (1) to (12), respectively.

【0045】(1)発信者は、コミュニケーションしよ
うとする相手の受信者の状態を確認する。 (2)発信者は、このシステムに対して受信者宛にコミ
ュニケーシヨンすることを通知する。 (3)このシステムのメッセージ受信装置17が、メデ
ィアデータベース12に蓄積されている受信者の設定し
たメディアを取得する。メッセージ受信装置17は、発
信者のこのシステムヘの通知メディアと、受信者の設定
したメディアを用いてメッセージの受信方法、メッセー
ジの変換方法を決定する。
(1) The sender checks the state of the receiver of the other party with whom he wishes to communicate. (2) The sender notifies the system that communication is to be made to the receiver. (3) The message receiving device 17 of this system acquires the media set by the recipient stored in the media database 12. The message receiving device 17 determines a method of receiving a message and a method of converting a message by using the notification media of the sender to the system and the media set by the recipient.

【0046】(4)メッセージ受信装置17は、決定さ
れたメッセージ受信方法に従い発信者とのやり取りを準
備する(例えば、発信者のメディアが音声で、受信者の
設定したメディアがメール(テキスト)の場合、発信者
の音声をテキストに変換し送信することを発信者に伝え
るための音声応答メッセージを応答データベース14か
ら用意する)。 (5)メッセージ受信装置17は、発信者に対して、メ
ッセージを変換する旨と、受信者にメッセージを送付す
る手段を発信者が用いているメディアにより通知する
(この場合は、音声メッセージであるので、音声からテ
キストに変換して受信者に通知する旨と、一定時間内に
メッセージをメッセージ受信装置17に吹き込み、変換
されたテキストメッセージを確認すべきことを通知す
る)。
(4) The message receiving device 17 prepares an exchange with the sender in accordance with the determined message receiving method (for example, the media of the sender is voice, and the media set by the recipient is mail (text). In this case, a voice response message is prepared from the response database 14 to inform the caller that the voice of the caller is converted to text and transmitted. (5) The message receiving device 17 notifies the sender that the message is to be converted and a means for sending the message to the recipient by using a medium used by the sender (in this case, a voice message. Therefore, the message is converted to text and notified to the recipient, and the message is blown into the message receiving device 17 within a certain time to notify that the converted text message should be confirmed).

【0047】(6)発信者は、メッセージ受信装置17
から受けた指示に従い、メッセージをメッセージ受信装
置17に送信する。 (7)メッセージ受信装置17は、発信者から受けたメ
ッセージを受信データベース13に格納する。 (8)メッセージ受信装置17は、メディアデータベー
ス12から受信者のメディアを取得し、受信データベー
ス13に格納された発信者のメッセージを受信者の設定
したメディアに変換する(この場合は、録音された音声
メッセージを音声認識装置を用いてテキストに変換す
る)。この変換されたメッセージを変換後データベース
16に格納する。
(6) The sender is the message receiving device 17
The message is transmitted to the message receiving device 17 according to the instruction received from. (7) The message receiving device 17 stores the message received from the sender in the receiving database 13. (8) The message receiving device 17 acquires the media of the recipient from the media database 12 and converts the message of the sender stored in the database 13 into the media set by the recipient (in this case, the recorded media is recorded). Convert the voice message to text using a speech recognizer). The converted message is stored in the converted database 16.

【0048】(9)メッセージ受信装置17は、変換後
データベース16の中の変換されたメッセージを、発信
者の用いているメディアに逆変換して、発信者に送信す
る。 (10)発信者は、メッセージ受信装置17から送信さ
れた変換されたメッセージを確認し、正しい場合には、
メッセージ受信装置17に対して内容確認通知を返す。 (11)メッセージ送信装置18は、受信者の設定した
メディア形態をメディアデータベース12から取得す
る。 (12)メッセージ送信装置18は、変換後データベー
ス16から受信者に対するメッセージを取得し、受信者
の設定したメディア形態で受信者にメッセージを送信す
る。
(9) The message receiving device 17 reversely converts the converted message in the converted database 16 into the media used by the sender, and transmits the media to the sender. (10) The sender confirms the converted message transmitted from the message receiving device 17, and if correct,
A content confirmation notification is returned to the message receiving device 17. (11) The message transmitting device 18 acquires the media format set by the recipient from the media database 12. (12) The message transmitting device 18 acquires the message for the recipient from the converted database 16 and transmits the message to the recipient in the media format set by the recipient.

【0049】次に、サーバ1の内部の主としてメディア
変換部におけるメディア変換動作の詳細を図6を参照し
て説明する。この場合も、図6に示す1〜38の動作
は、以下における1〜38の各項にそれぞれ対応してい
る。 1:送信者は、送信者の望むメディアでこのシステムの
通信制御部に対してメッセージを送信する。 2:通信制御部は、イベント制御部に対してメッセージ
送信要求を行う。 3:イベント制御部は、受信データベース制御部に対し
て送信者からのメッセージの格納を要求する。
Next, the details of the media conversion operation mainly in the media conversion section inside the server 1 will be described with reference to FIG. Also in this case, the operations 1 to 38 shown in FIG. 6 correspond to the following items 1 to 38, respectively. 1: The sender sends a message to the communication control unit of this system using the media desired by the sender. 2: The communication control unit issues a message transmission request to the event control unit. 3: The event control unit requests the reception database control unit to store the message from the sender.

【0050】4:受信データベース制御部は、受信デー
タベース13に対してメッセージの格納を要求する。 5:受信データベース制御部は、受信データベース13
から格納結果を取得する。 6:イベント制御部は、受信データベース制御部から格
納結果を取得する。 7:イベント制御部は、メディアデータベース制御部に
対して受信者の要求するメディア形態(メディアの種
別)を要求する。 8:メディアデータベース制御部は、メディアデータベ
ース12に対して受信者の要求するメディア形態の取得
を要求する。
4: The reception database control unit requests the reception database 13 to store the message. 5: The reception database control unit performs the reception database 13
Get the storage result from. 6: The event control unit acquires the storage result from the reception database control unit. 7: The event controller requests the media database controller for the media type (media type) requested by the receiver. 8: The media database control unit requests the media database 12 to acquire the media format requested by the recipient.

【0051】9:メディアデータベース制御部は、メデ
ィアデータベース12から受信者の要求するメディアを
取得する。 10:イベント制御部は、メディアデータベース制御部
から受信者の要求するメディア形態を取得する。 11:イベント制御部は、メディア変換制御部に送信者
のメッセージの受信者の要求するメディア形態ヘの変換
を要求する。 12:メディア変換制御部は、受信データベース制御部
に対し、送信者のメッセージを要求する。
9: The media database control unit acquires the media requested by the receiver from the media database 12. 10: The event control unit acquires the media form requested by the receiver from the media database control unit. 11: The event control unit requests the media conversion control unit to convert the message of the sender into the media form requested by the receiver. 12: The media conversion control unit requests the message of the sender from the reception database control unit.

【0052】13:受信データベース制御部は、受信デ
ータベース13に対し送信者のメッセージを要求する。 14:受信データベース制御部は、受信データベース1
3から送信者のメッセージを取得する。 15:メディア変換制御部は、受信データベース制御部
から送信者のメッセージを取得する。
13: The receiving database control unit requests the receiving database 13 for the sender's message. 14: The receiving database control unit performs the receiving database 1
3 to obtain the sender's message. 15: The media conversion control unit acquires the sender's message from the reception database control unit.

【0053】16:メディア変換制御部は、受信者の要
求するメディア形態と送信者のメッセージのメディア形
態により、送信者のメッセージのメディアを変換する。 17:メディア変換制御部は、送信者に確認するための
メッセージを作成し、応答データベース制御部に格納を
要求する。 18:応答データベース制御部は、自動応答データベー
ス14に対して確認メッセージの格納を要求する。
16: The media conversion control unit converts the media of the sender's message according to the media type requested by the receiver and the media type of the sender's message. 17: The media conversion control unit creates a message for confirming with the sender, and requests the response database control unit to store the message. 18: The response database control unit requests the automatic response database 14 to store a confirmation message.

【0054】19:応答データベース制御部は、自動応
答データベース14から格納結果を取得する。 20:メディア変換制御部は、応答データベース制御部
から格納結果を取得する。 21:メディア変換制御部は、応答データベース制御部
に対し確認メッセージを要求する。 22:応答データベース制御部は、自動応答データベー
ス14に対し確認メッセージを要求する。
19: The response database control unit acquires the storage result from the automatic response database 14. 20: The media conversion control unit acquires the storage result from the response database control unit. 21: The media conversion control unit requests a confirmation message from the response database control unit. 22: The response database control unit requests a confirmation message from the automatic response database 14.

【0055】23:応答データベース制御部は、自動応
答データベース14から確認メッセージを取得する。 24:メディア変換制御部は、応答データベース制御部
から確認メッセージを取得する。 25:メディア変換制御部は、通信制御部に確認メッセ
ージ送付を要求する。 26:通信制御部は、送信者に確認電文を送付する。 27:通信制御部は、送信着から回答電文を取得する。 28:メディア変換制御部は、通信制御部から送信者の
回答電文を取得する。
23: The response database control unit acquires a confirmation message from the automatic response database 14. 24: The media conversion control unit obtains a confirmation message from the response database control unit. 25: The media conversion control unit requests the communication control unit to send a confirmation message. 26: The communication control unit sends a confirmation message to the sender. 27: The communication control unit acquires an answer message from the sending destination. 28: The media conversion control unit acquires the sender's response message from the communication control unit.

【0056】29:メディア変換制御部は、変換後デー
タベース制御部に対し、16項で作成した変換された送
信者メッセージの格納を要求する(28項の回答電文に
より、ここで処理が終了することもある。)。 30:変換後データベース制御部は、変換後データベー
ス16に対し変換された送信者メッセージの格納を要求
する。 31:変換後データベース制御部は、変換後データベー
ス16から格納結果を取得する。 32:メディア変換制御部は、変換後データベース制御
部から格納結果を取得する。
29: The media conversion control unit requests the post-conversion database control unit to store the converted sender message created in item 16 (the processing is terminated here by the response message in item 28). There is also.). 30: The converted database control unit requests the converted database 16 to store the converted sender message. 31: The converted database control unit acquires the storage result from the converted database 16. 32: The media conversion control unit acquires the storage result from the converted database control unit.

【0057】33:メディア変換制御部は、変換後デー
タベース制御部に対し変換された送信者メッセージを要
求する。 34:変換後データベース制御部は、変換後データベー
ス16に対し変換された送信者メッセージを要求する。 35:変換後データベース制御部は、変換後データベー
ス16から変換された送信者メッセージを取得する。
33: The media conversion control unit requests the converted database message from the converted database control unit. 34: The converted database control unit requests the converted database 16 for the converted sender message. 35: The converted database control unit obtains the converted sender message from the converted database 16.

【0058】36:メディア変換制御部は、変換後デー
タベース制御部から変換された送信者メッセージを取得
する。 37:メディア変換制御部は、通信制御部に対しメッセ
ージの送信を要求する。 38:通信制御部は受信者に対し、メッセージを送信す
る。
36: The media conversion control unit obtains the converted sender message from the converted database control unit. 37: The media conversion control unit requests the communication control unit to transmit a message. 38: The communication control unit transmits the message to the recipient.

【0059】図5の例では発信者の電話による音声メッ
セージを受信者にメールで送付するためにテキストに変
換する場合の処理について説明している。この実施の形
態では、図7に示すようなメディア形態を対象とし、図
8に示すようなメディア変換を可能とする。すなわち、
取り扱うメディア形態は、テキストからなるEメールお
よびショートメッセージ等のメール、イメージからなる
ファクシミリおよび手書きメッセージそして音声からな
る電話等のメディア形態である。そして、テキストをイ
メージに変換するには、文字画像変換装置(図9の15
A)を用い、テキストを音声に変換するには、音声読み
上げ装置(図9の15D)を用い、イメージをテキスト
に変換するには、文字認識装置(図9の15B)を用
い、イメージを音声に変換するには、文字認識装置(図
9の15B)と音声読み上げ装置(図9の15D)を併
用し、音声をテキストに変換するには、音声認識装置
(図9の15C)を用い、そして音声をイメージに変換
するには音声認識装置(図9の15C)と文字画像変換
装置(図9の15A)を併用する。
The example of FIG. 5 describes a process for converting a voice message from a caller's telephone into text for sending to a recipient by mail. In the present embodiment, the media format as shown in FIG. 7 is targeted, and the media conversion as shown in FIG. 8 is made possible. That is,
Media formats handled include emails such as e-mails and short messages composed of text, facsimile and handwritten messages composed of images, and telephones composed of voices. Then, in order to convert the text into an image, a character image conversion device (15 in FIG. 9)
A), a text-to-speech device (15D in FIG. 9) is used to convert text to speech, and a character recognition device (15B in FIG. 9) is used to convert an image to text. To convert to text, a character recognition device (15B in FIG. 9) and a text-to-speech device (15D in FIG. 9) are used together, and to convert voice to text, a voice recognition device (15C in FIG. 9) is used. To convert voice into an image, a voice recognition device (15C in FIG. 9) and a character image conversion device (15A in FIG. 9) are used together.

【0060】上述したメディア変換装置15の詳細を、
図9に示す。図9において、メディア変換装置15は、
文字画像変換装置15A、文字認識装置15B、音声認
識装置15Cおよび音声読み上げ装置15Dを有する。
文字画像変換装置15Aは、テキストをイメージに変換
する際に用いられ、受信データベース13から読み出し
たテキストデータをイメージデータに変換して変換後デ
ータベース16に書き込む。文字認識装置15Bは、イ
メージをテキストに変換する際に用いられ、受信データ
ベース13から読み出したイメージデータをテキストデ
ータに変換して変換後データベース16に書き込む。音
声認識装置15Cは、音声をテキストに変換する際に用
いられ、受信データベース13から読み出した音声デー
タをテキストデータに変換して変換後データベース16
に書き込む。そして音声読み上げ装置15Dは、テキス
トを音声に変換する際に用いられ、受信データベース1
3から読み出したテキストデータを音声データに変換し
て変換後データベース16に書き込む。
The details of the above-described media conversion device 15 are as follows.
As shown in FIG. In FIG. 9, the media conversion device 15
It has a character image conversion device 15A, a character recognition device 15B, a voice recognition device 15C, and a voice reading device 15D.
The character image conversion device 15A is used when converting a text into an image, converts text data read from the reception database 13 into image data, and writes the image data into the converted database 16. The character recognition device 15B is used when converting an image into text, converts image data read from the reception database 13 into text data, and writes the text data into the database 16 after conversion. The speech recognition device 15C is used when speech is converted to text, converts speech data read from the reception database 13 into text data, and converts
Write to. The text-to-speech device 15D is used when converting text to speech, and
3 is converted into voice data and written into the database 16 after conversion.

【0061】また、上述したように、イメージを音声に
変換する際には、受信データベース13から読み出した
イメージデータを文字認識装置15Bによりテキストデ
ータに変換しさらに音声読み上げ装置15Dにより、そ
のテキストデータを音声データに変換して変換後データ
ベース16に書き込む。また、音声をイメージに変換す
る際には、受信データベース13から読み出した音声デ
ータを音声認識装置15Cによりテキストデータに変換
しさらに文字画像変換装置15Aにより、そのテキスト
データをイメージデータに変換して変換後データベース
16に書き込む。これら文字画像変換装置15A、文字
認識装置15B、音声認識装置15Cおよび音声読み上
げ装置15Dは、全ての処理部分をハードウェア的に構
成してもよいが、その一部または全部をソフトウェアの
実行による機能として構成してもよい。
As described above, when the image is converted into voice, the image data read from the reception database 13 is converted into text data by the character recognition device 15B, and the text data is converted by the voice reading device 15D. The data is converted into audio data and written into the database 16 after the conversion. When converting voice into an image, the voice data read from the reception database 13 is converted into text data by the voice recognition device 15C, and the text data is converted into image data by the character image conversion device 15A. After that, the data is written into the database 16. All of the character image conversion device 15A, character recognition device 15B, voice recognition device 15C, and voice reading device 15D may be configured by hardware, but some or all of the functions are performed by software. It may be constituted as.

【0062】このようなメディア変換装置15に係るメ
ディア変換処理に用いるデータベース構造を図10に、
変換テーブルを図11に示し、メディア変換処理全体の
フローチャートを図12に示す。さらに、図12におけ
る各変換動作に対応する処理のフローチャートを図13
〜図19に示す。
FIG. 10 shows a database structure used for the media conversion processing performed by the media conversion device 15.
FIG. 11 shows the conversion table, and FIG. 12 shows a flowchart of the entire media conversion process. FIG. 13 is a flowchart of a process corresponding to each conversion operation in FIG.
19 to FIG.

【0063】図10に示すデータベース構造は、受信デ
ータベース13および変換後データベース16等に用い
られるデータベース構造である。図示するように、メッ
セージ毎に、送信者、受信者、送信時間、メディア種別
およびメッセージへのポインタが格納されるとともに、
テキストファイル、音声ファイルおよびイメージファイ
ルが格納されている。各メッセージにおけるメッセージ
へのポインタは、テキストファイル、音声ファイルおよ
びイメージファイルのうちの対応するメディア種別に応
じた対応するメッセージの先頭アドレスが格納されてい
る。
The database structure shown in FIG. 10 is a database structure used for the reception database 13, the converted database 16, and the like. As shown in the figure, a sender, a receiver, a transmission time, a media type, and a pointer to the message are stored for each message,
Text files, audio files, and image files are stored. The pointer to the message in each message stores the head address of the corresponding message corresponding to the corresponding media type among the text file, the audio file, and the image file.

【0064】図11は、受信データベース13から読み
出したデータをメディアデータベース12の示すメディ
ア形態に変換する際の処理を選択するための変換テーブ
ルを示しており、テキストからテキストへの変換は処理
〈1〉、テキストからイメージへの変換は処理〈2〉、
テキストから音声への変換は処理〈3〉、イメージから
テキストへの変換は処理〈4〉、イメージからイメージ
への変換は処理〈1〉、イメージから音声への変換は処
理〈5〉、音声からテキストへの変換は処理〈6〉、音
声からイメージへの変換は処理〈7〉、そして音声から
音声への変換は処理〈1〉である。すなわち、処理
〈1〉は何も変換しない場合を示している。
FIG. 11 shows a conversion table for selecting a process for converting the data read from the reception database 13 into the media form indicated by the media database 12. The conversion from text to text is performed by the process <1. > Conversion of text to image is processed <2>,
Conversion from text to voice is processing <3>, conversion from image to text is processing <4>, conversion from image to image is processing <1>, conversion from image to voice is processing <5>, conversion from voice Conversion to text is processing <6>, conversion from voice to image is processing <7>, and conversion from voice to voice is processing <1>. That is, the process <1> shows a case where no conversion is performed.

【0065】次に、図12に示す処理について説明す
る。図12に示す処理は、メッセージの発信毎に起動さ
れる。処理が開始されると、まず、強制終了フラグが
“0”にリセットされ(ステップS1)、メッセージを
受信し(ステップS2)、受信データベース13に書き
込む(ステップS3)。そして、そのメッセージの宛
先、つまり受信者、に基づいて、メディアデータベース
12を読み込んで変換すべきメディア種別を確認し(ス
テップS4)、図11で示した変換テーブルを参照し
て、変換テーブルに応じた処理〈1〉〜〈7〉のうちの
いずれかを実行する(ステップS5)。
Next, the processing shown in FIG. 12 will be described. The process shown in FIG. 12 is activated every time a message is sent. When the process is started, first, the forced end flag is reset to "0" (step S1), a message is received (step S2), and the message is written into the reception database 13 (step S3). Then, based on the destination of the message, that is, the recipient, the media database 12 is read and the media type to be converted is confirmed (step S4), and the conversion table shown in FIG. One of the processes <1> to <7> is executed (step S5).

【0066】変換処理が終了すると、強制終了フラグが
“1”であるか否かを調べ(ステップS6)、“1”で
なければ、変換結果を変換後データベース16に書き込
み(ステップS7)、宛先の受信者へ配信して(ステッ
プS8)、処理を終了する。ステップS6において、強
制終了フラグが“1”であれば、直ちに処理を終了す
る。
When the conversion process is completed, it is checked whether or not the forced end flag is "1" (step S6). If not, the conversion result is written in the converted database 16 (step S7), and (Step S8), and the process ends. In step S6, if the forced termination flag is "1", the process is immediately terminated.

【0067】図13は、処理〈1〉の内容を示してお
り、これは、上述したように何も変換する必要がない場
合の処理であるから、処理がスタートすると何もせずに
直ちに処理を終了する。その後は、図12のステップS
6の処理へ進む。
FIG. 13 shows the contents of the process <1>. This is a process in the case where there is no need to convert anything, as described above. finish. Thereafter, step S in FIG.
Proceed to step 6.

【0068】図14は、処理〈2〉の内容を示してお
り、これは、テキストからイメージへの変換であるか
ら、次のようになる。まず、処理がスタートすると、受
信データベース13から受信メッセージであるテキスト
データを読み込む(ステップS21)。そして、読み込
んだテキストデータを文字画像変換装置15Aにより、
文字画像変換して(ステップS22)、処理を終了す
る。その後は、図12のステップS6の処理へ進む。
FIG. 14 shows the contents of the process <2>, which is the conversion from text to image, and is as follows. First, when the process starts, text data as a received message is read from the reception database 13 (step S21). Then, the read text data is converted by the character image conversion device 15A.
The character image is converted (step S22), and the process ends. Thereafter, the process proceeds to step S6 in FIG.

【0069】図15は、処理〈3〉の内容を示してお
り、これは、テキストから音声への変換であるから、次
のようになる。まず、処理がスタートすると、受信デー
タベース13から受信メッセージであるテキストデータ
を読み込む(ステップS31)。そして、読み込んだテ
キストデータを音声読み上げ装置15Dによるテキスト
音声変換にて音声データに変換して(ステップS3
2)、得られた音声データを変換後データベース16に
書き込む(ステップS33)。さらに変換後データベー
ス16から、その音声データを読み込み(ステップS3
4)、音声認識装置15Cによる音声認識処理にて、テ
キストデータに変換して(ステップS35)、自動応答
データベース14に書き込み(ステップS36)、この
テキストデータを用いて発信者へ確認メッセージを送信
して確認を促す(ステップS37)。
FIG. 15 shows the contents of the process <3>, which is the conversion from text to speech, and is as follows. First, when the process starts, text data as a received message is read from the reception database 13 (step S31). Then, the read text data is converted into voice data by text-to-speech conversion by the voice reading device 15D (step S3).
2) Write the obtained audio data into the converted database 16 (step S33). Further, the voice data is read from the converted database 16 (step S3).
4) In the voice recognition processing by the voice recognition device 15C, the data is converted into text data (step S35), written into the automatic response database 14 (step S36), and a confirmation message is transmitted to the caller using the text data. Prompt for confirmation (step S37).

【0070】そして、発信者からの確認内容が「OK」
であるか否かを判別して(ステップS38)、「OK」
であれば処理を終了する。ステップS38で、発信者の
確認内容が「OK」でなければ、強制終了フラグを
“1”にして(ステップS39)、処理を終了する。そ
の後は、図12のステップS6の処理へ進む。
Then, the confirmation content from the sender is "OK".
Is determined (step S38), and "OK" is determined.
If so, the process ends. If the sender's confirmation content is not "OK" in step S38, the forced end flag is set to "1" (step S39), and the process ends. Thereafter, the process proceeds to step S6 in FIG.

【0071】図16は、処理〈4〉の内容を示してお
り、これは、イメージからテキストへの変換であるか
ら、次のようになる。まず、処理がスタートすると、受
信データベース13から受信メッセージであるイメージ
データを読み込む(ステップS41)。そして、読み込
んだイメージデータを文字認識装置15Bによる文字認
識処理にて、テキストデータに変換して(ステップS4
2)、得られたテキストデータを変換後データベース1
6に書き込む(ステップS43)。さらに変換後データ
ベース16から、そのテキストデータを読み込み(ステ
ップS44)、文字画像変換装置15Aによる文字画像
変換にて、イメージデータに変換して(ステップS4
5)、自動応答データベース14に書き込み(ステップ
S46)、このイメージデータを用いて発信者へ確認メ
ッセージを送信して確認を促す(ステップS47)。そ
して、発信者からの確認内容が「OK」であるか否かを
判別して(ステップS48)、「OK」であれば処理を
終了する。ステップS48で、発信者の確認内容が「O
K」でなければ、強制終了フラグを“1”にして(ステ
ップS49)、処理を終了する。その後は、図12のス
テップS6の処理へ進む。
FIG. 16 shows the contents of the process <4>. Since this is conversion from an image to text, it is as follows. First, when the process starts, image data as a received message is read from the reception database 13 (step S41). Then, the read image data is converted into text data by character recognition processing by the character recognition device 15B (step S4).
2), the obtained text data is converted into a database 1
6 (step S43). Further, the text data is read from the converted database 16 (step S44), and converted into image data by character image conversion by the character image conversion device 15A (step S4).
5) Write into the automatic response database 14 (step S46), and send a confirmation message to the caller using this image data to prompt confirmation (step S47). Then, it is determined whether or not the confirmation content from the caller is "OK" (step S48). If "OK", the process is terminated. In step S48, the confirmation content of the caller is "O
If not "K", the forced termination flag is set to "1" (step S49), and the process is terminated. Thereafter, the process proceeds to step S6 in FIG.

【0072】図17は、処理〈5〉の内容を示してお
り、これは、イメージから音声への変換であるから、次
のようになる。まず、処理がスタートすると、受信デー
タベース13から受信メッセージであるイメージデータ
を読み込む(ステップS51)。そして、読み込んだイ
メージデータを文字認識装置15Bによる文字認識処理
にて、テキストデータに変換して(ステップS52)、
得られたテキストデータを変換後データベース16に書
き込む(ステップS53)。さらに変換後データベース
16から、そのテキストデータを読み込み(ステップS
54)、文字画像変換装置15Aによる文字画像変換に
て、イメージデータに変換して(ステップS55)、自
動応答データベース14に書き込み(ステップS5
6)、このイメージデータを用いて発信者へ確認メッセ
ージを送信して確認を促す(ステップS57)。
FIG. 17 shows the contents of the process <5>, which is the conversion from image to audio, and is as follows. First, when the process starts, image data as a received message is read from the reception database 13 (step S51). Then, the read image data is converted into text data by character recognition processing by the character recognition device 15B (step S52),
The obtained text data is written into the converted database 16 (step S53). Further, the text data is read from the converted database 16 (Step S).
54), the image data is converted into image data by the character image conversion by the character image conversion device 15A (step S55), and written into the automatic response database 14 (step S5).
6) A confirmation message is transmitted to the caller using the image data to prompt confirmation (step S57).

【0073】そして、発信者からの確認内容が「OK」
であるか否かを判別して(ステップS58)、「OK」
であれば、変換後データベース16から、テキストデー
タを読み込み(ステップS5A)、音声読み上げ装置1
5Dによる文字音声変換にて、音声データに変換して
(ステップS5B)、自動応答データベース14に書き
込み(ステップS5C)、処理を終了する。ステップS
58で、発信者の確認内容が「OK」でなければ、強制
終了フラグを“1”にして(ステップS59)、処理を
終了する。その後は、図12のステップS6の処理へ進
む。
Then, the confirmation content from the sender is "OK".
Is determined (step S58), and "OK" is determined.
If so, the text data is read from the converted database 16 (step S5A), and the voice reading device 1
The character data is converted into voice data by 5D character-to-speech conversion (step S5B), written into the automatic response database 14 (step S5C), and the process ends. Step S
At 58, if the confirmation content of the sender is not "OK", the forced end flag is set to "1" (step S59), and the process is terminated. Thereafter, the process proceeds to step S6 in FIG.

【0074】図18は、処理〈6〉の内容を示してお
り、これは、音声からテキストへの変換であるから、次
のようになる。まず、処理がスタートすると、受信デー
タベース13から受信メッセージである音声データを読
み込む(ステップS61)。そして、読み込んだ音声デ
ータを音声認識装置15Cによる音声認識処理にて、テ
キストデータに変換して(ステップS62)、得られた
テキストデータを変換後データベース16に書き込む
(ステップS63)。さらに変換後データベース16か
ら、そのテキストデータを読み込み(ステップS6
4)、音声読み上げ装置15Dによる文字音声変換に
て、音声データに変換して(ステップS65)、自動応
答データベース14に書き込み(ステップS66)、こ
の音声データを用いて発信者へ確認メッセージを送信し
て確認を促す(ステップS67)。そして、発信者から
の確認内容が「OK」であるか否かを判別して(ステッ
プS68)、「OK」であれば処理を終了する。ステッ
プS68で、発信者の確認内容が「OK」でなければ、
強制終了フラグを“1”にして(ステップS69)、処
理を終了する。その後は、図12のステップS6の処理
へ進む。
FIG. 18 shows the contents of the process <6>, which is the conversion from speech to text, and is as follows. First, when the process is started, voice data as a received message is read from the reception database 13 (step S61). Then, the read voice data is converted into text data by voice recognition processing by the voice recognition device 15C (step S62), and the obtained text data is written into the converted database 16 (step S63). Further, the text data is read from the converted database 16 (step S6).
4), the text-to-speech device 15D converts the voice data into voice data (step S65), writes it into the automatic response database 14 (step S66), and transmits a confirmation message to the caller using the voice data. Prompts for confirmation (step S67). Then, it is determined whether or not the content of confirmation from the caller is "OK" (step S68). If "OK", the process is terminated. In step S68, if the confirmation content of the caller is not "OK",
The forced termination flag is set to "1" (step S69), and the process is terminated. Thereafter, the process proceeds to step S6 in FIG.

【0075】図19は、処理〈7〉の内容を示してお
り、これは、音声からイメージへの変換であるから、次
のようになる。まず、処理がスタートすると、受信デー
タベース13から受信メッセージである音声データを読
み込む(ステップS71)。そして、読み込んだ音声デ
ータを音声認識装置15Cによる音声認識処理にて、テ
キストデータに変換して(ステップS72)、得られた
テキストデータを変換後データベース16に書き込む
(ステップS73)。さらに変換後データベース16か
ら、そのテキストデータを読み込み(ステップS7
4)、音声読み上げ装置15Dによる文字音声変換に
て、音声データに変換して(ステップS75)、自動応
答データベース14に書き込み(ステップS76)、こ
の音声データを用いて発信者へ確認メッセージを送信し
て確認を促す(ステップS77)。そして、発信者から
の確認内容が「OK」であるか否かを判別して(ステッ
プS78)、「OK」であれば、変換後データベース1
6から、テキストデータを読み込み(ステップS7
A)、文字画像変換装置15Aによる文字画像変換に
て、イメージデータに変換して(ステップS7B)、自
動応答データベース14に書き込み(ステップS7
C)、処理を終了する。ステップS78で、発信者の確
認内容が「OK」でなければ、強制終了フラグを“1”
にして(ステップS79)、処理を終了する。その後
は、図12のステップS6の処理へ進む。以上のように
して、上述したメディア変換処理を実現することができ
る。
FIG. 19 shows the contents of the process <7>, which is the conversion from voice to image, and is as follows. First, when the processing is started, voice data as a received message is read from the reception database 13 (step S71). Then, the read voice data is converted into text data by voice recognition processing by the voice recognition device 15C (step S72), and the obtained text data is written into the converted database 16 (step S73). Further, the text data is read from the converted database 16 (step S7).
4), converted into voice data by text-to-speech conversion by the voice reading device 15D (step S75), written into the automatic response database 14 (step S76), and a confirmation message is transmitted to the caller using the voice data. Prompt for confirmation (step S77). Then, it is determined whether or not the content of the confirmation from the caller is "OK" (step S78).
6, the text data is read (step S7).
A), converted into image data by character image conversion by the character image conversion device 15A (step S7B), and written into the automatic response database 14 (step S7).
C), end the process. In step S78, if the confirmation content of the caller is not "OK", the forced end flag is set to "1".
(Step S79), and the process ends. Thereafter, the process proceeds to step S6 in FIG. As described above, the above-described media conversion processing can be realized.

【0076】なお、この発明のメッセージ交換システム
は、専用のシステムとして構成することなく、その少な
くとも一部を通常のコンピュータシステムを用いて実現
することができる。例えば、コンピュータシステムに上
述の動作を実行するためのプログラムを格納した媒体
(フロッピー(登録商標)ディスク、CD−ROM等)
から該プログラムをインストールすることにより、上述
の処理を実行するメッセージ交換システムを構築するこ
とができる。インストールによって、当該プログラム
は、コンピュータシステム内のハードディスク等の媒体
に格納されて、メッセージ交換システムを構成し、実行
に供される。
It should be noted that the message exchange system of the present invention can be realized at least in part by using a normal computer system, without being configured as a dedicated system. For example, a medium (floppy (registered trademark) disk, CD-ROM, etc.) storing a program for executing the above operation in a computer system
By installing the program from, a message exchange system that executes the above-described processing can be constructed. By the installation, the program is stored in a medium such as a hard disk in the computer system, configures a message exchange system, and is used for execution.

【0077】また、インターネット等の通信ネットワー
ク上に設けたFTP(File Transfer Protocol)サーバ
に当該プログラムを登録し、FTPクライアントにネッ
トワークを介して配信してもよく、通信ネットワークの
電子掲示板(BBS:Bulletin Board System)等に該
プログラムを登録し、これをネットワークを介して配信
してもよい。そして、このプログラムを起動し、OS
(Operating System)の制御下において実行することに
より、上述の処理を達成することができる。さらに、通
信ネットワークを介してプログラムを転送しながら起動
実行することによっても、上述の処理を達成することが
できる。
Alternatively, the program may be registered in an FTP (File Transfer Protocol) server provided on a communication network such as the Internet, and distributed to an FTP client via the network. The program may be registered in a board system or the like and distributed via a network. Then start this program and run the OS
The above processing can be achieved by executing under the control of the (Operating System). Furthermore, the above-described processing can also be achieved by starting and executing the program while transferring the program via the communication network.

【0078】[0078]

【発明の効果】以上説明したように、この発明によれ
ば、発信者の発信するメッセージのメディア形態にかか
わらず、受信者が所望に応じて予め設定したメディア形
態でメッセージを受信することができ、メディア形態に
制限のある利用者端末によっても広範囲のメッセージの
授受が可能となるメッセージ交換システムおよびコンピ
ュータ読み取り可能な記録媒体を提供することができ
る。
As described above, according to the present invention, a recipient can receive a message in a preset media format as desired, regardless of the media format of the message transmitted by the sender. Further, it is possible to provide a message exchange system and a computer-readable recording medium in which a wide range of messages can be transmitted and received even by a user terminal whose media form is restricted.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の実施の形態に係るメッセージ交換シ
ステムの構成を模式的に示すブロック図である。
FIG. 1 is a block diagram schematically showing a configuration of a message exchange system according to an embodiment of the present invention.

【図2】図1のメッセージ交換システムを用いるメッセ
ージ交換サービス全体の構成を模式的に説明するための
ブロック図である。
FIG. 2 is a block diagram for schematically explaining the configuration of the whole message exchange service using the message exchange system of FIG. 1;

【図3】図1のメッセージ交換システムの利用者および
受信メディアの登録のための前処理を模式的に説明する
ためのブロック図である。
FIG. 3 is a block diagram schematically illustrating a pre-process for registering a user and a reception medium of the message exchange system in FIG. 1;

【図4】図1のメッセージ交換システムの利用者の住所
録の登録のための前処理を模式的に説明するためのブロ
ック図である。
FIG. 4 is a block diagram schematically illustrating a pre-process for registering an address book of a user of the message exchange system in FIG. 1;

【図5】図1のメッセージ交換システムのメディア変換
およびメッセージ交換処理を模式的に説明するためのブ
ロック図である。
FIG. 5 is a block diagram for schematically explaining media conversion and message exchange processing of the message exchange system of FIG. 1;

【図6】図1のメッセージ交換システムのメディア変換
処理の詳細を説明するための模式図である。
FIG. 6 is a schematic diagram for explaining details of media conversion processing of the message exchange system in FIG. 1;

【図7】図1のメッセージ交換システムのメディア変換
処理の詳細を説明するための取扱いメディアを示す図で
ある。
FIG. 7 is a diagram showing a handling medium for explaining details of a media conversion process of the message exchange system of FIG. 1;

【図8】図1のメッセージ交換システムのメディア変換
処理の詳細を説明するための取扱いメディアの変換形態
およびそのための手段を示す図である。
FIG. 8 is a diagram showing a conversion form of a handling medium and a means therefor for explaining the details of a media conversion process of the message exchange system of FIG. 1;

【図9】図1のメッセージ交換システムのメディア変換
装置の具体的な構成を模式的に示すブロック図である。
FIG. 9 is a block diagram schematically showing a specific configuration of a media conversion device of the message exchange system of FIG. 1;

【図10】図1のメッセージ交換システムのメディア変
換動作を説明するためのデータベース構造を示す模式図
である。
FIG. 10 is a schematic diagram showing a database structure for explaining a media conversion operation of the message exchange system of FIG. 1;

【図11】図1のメッセージ交換システムのメディア変
換パターンを説明するための変換テーブルを示す模式図
である。
FIG. 11 is a schematic diagram showing a conversion table for explaining a media conversion pattern of the message exchange system of FIG. 1;

【図12】図1のメッセージ交換システムのメディア変
換動作を説明するためのフローチャートである。
FIG. 12 is a flowchart illustrating a media conversion operation of the message exchange system of FIG. 1;

【図13】図1のメッセージ交換システムのメディア変
換動作における変換処理〈1〉を説明するためのフロー
チャートである。
FIG. 13 is a flowchart illustrating a conversion process <1> in a media conversion operation of the message exchange system in FIG. 1;

【図14】図1のメッセージ交換システムのメディア変
換動作における変換処理〈2〉を説明するためのフロー
チャートである。
FIG. 14 is a flowchart illustrating a conversion process <2> in the media conversion operation of the message exchange system in FIG. 1;

【図15】図1のメッセージ交換システムのメディア変
換動作における変換処理〈3〉を説明するためのフロー
チャートである。
FIG. 15 is a flowchart illustrating a conversion process <3> in the media conversion operation of the message exchange system in FIG. 1;

【図16】図1のメッセージ交換システムのメディア変
換動作における変換処理〈4〉を説明するためのフロー
チャートである。
FIG. 16 is a flowchart illustrating a conversion process <4> in a media conversion operation of the message exchange system in FIG. 1;

【図17】図1のメッセージ交換システムのメディア変
換動作における変換処理〈5〉を説明するためのフロー
チャートである。
FIG. 17 is a flowchart illustrating a conversion process <5> in a media conversion operation of the message exchange system in FIG. 1;

【図18】図1のメッセージ交換システムのメディア変
換動作における変換処理〈6〉を説明するためのフロー
チャートである。
18 is a flowchart illustrating a conversion process <6> in a media conversion operation of the message exchange system in FIG. 1;

【図19】図1のメッセージ交換システムのメディア変
換動作における変換処理〈7〉を説明するためのフロー
チャートである。
FIG. 19 is a flowchart illustrating a conversion process <7> in the media conversion operation of the message exchange system in FIG. 1;

【図20】従来のメッセージ交換システムの構成を模式
的に示すブロック図である。
FIG. 20 is a block diagram schematically showing a configuration of a conventional message exchange system.

【符号の説明】[Explanation of symbols]

1 サーバ 2,3 通信機器(通信端末) 11 状態データベース 12 メディアデータベース 13 受信データベース 14 自動応答データベース 15 メディア変換装置 16 変換後データベース 17 メッセージ受信装置 18 メッセージ送信装置 15A 文字画像変換装置 15B 文字認識装置 15C 音声認識装置 15D 音声読み上げ装置 Reference Signs List 1 server 2, 3 communication equipment (communication terminal) 11 status database 12 media database 13 reception database 14 automatic response database 15 media conversion device 16 converted database 17 message reception device 18 message transmission device 15A character image conversion device 15B character recognition device 15C Speech recognition device 15D Speech reading device

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 竜也 東京都江東区豊洲三丁目3番3号 株式会 社エヌ・ティ・ティ・データ内 Fターム(参考) 5K024 AA71 CC03 DD04 FF03 FF04 FF06 GG03 5K030 HA05 HB01 HB02 HB19 HC01 KA07 LB16 5K051 BB02 GG02 JJ07  ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Tatsuya Nakamura 3-3-3 Toyosu, Koto-ku, Tokyo F-term in NTT Data Corporation (reference) 5K024 AA71 CC03 DD04 FF03 FF04 FF06 GG03 5K030 HA05 HB01 HB02 HB19 HC01 KA07 LB16 5K051 BB02 GG02 JJ07

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】ある利用者端末から送信されたメッセージ
を他の利用者端末へ配信するサービスを提供するメッセ
ージ交換システムであって、 利用者端末からその利用者が受信を所望するメッセージ
のメディア種別を登録する受信メディア登録手段と、 利用者端末からのメッセージの送信時に、その送信メッ
セージの宛先利用者について登録された受信メディア種
別を調べるメディア種別参照手段と、 前記メディア種別参照手段により得られた前記宛先利用
者の登録受信メディア種別が、前記送信メッセージのメ
ディア種別と異なるときは、その送信メッセージを登録
された受信メディア種別の変換メッセージに変換するメ
ディア変換手段と、 前記宛先利用者に、前記送信メッセージおよび変換メッ
セージのうちの一方を用いて、前記登録受信メディア種
別に対応するメッセージを送信するメッセージ送信手段
と、を具備することを特徴とするメッセージ交換システ
ム。
1. A message exchange system for providing a service for delivering a message transmitted from a certain user terminal to another user terminal, wherein a media type of a message that the user desires to receive from the user terminal is provided. Receiving medium registering means for registering a received media type, a media type referencing means for checking a received media type registered for a destination user of the transmitted message when a message is transmitted from the user terminal, and When the destination user's registered reception media type is different from the media type of the transmission message, media conversion means for converting the transmission message into a conversion message of the registered reception media type; and The registration reception is performed using one of a transmission message and a conversion message. A message transmission unit for transmitting a message corresponding to a communication media type.
【請求項2】前記受信メディア登録手段により登録され
る利用者毎の受信メディア種別を格納するデータベース
手段をさらに含み、前記メディア種別参照手段は前記デ
ータベース手段を参照して宛先利用者の登録受信メディ
ア種別を調べることを特徴とする請求項1に記載のメッ
セージ交換システム。
2. The apparatus according to claim 1, further comprising: a database unit for storing a reception media type for each user registered by said reception media registration unit, wherein said media type reference unit refers to said database unit to register a destination user's registered reception media. The message exchange system according to claim 1, wherein the type is checked.
【請求項3】前記メディア変換手段は、変換メッセージ
を発信側の所望するメディア種別にて発信側に送信し、
発信側にメディア変換された送信内容を確認させる手段
を含むことを特徴とする請求項1または2に記載のメッ
セージ交換システム。
3. The media conversion means transmits a conversion message to a caller in a media type desired by the caller,
3. The message exchange system according to claim 1, further comprising means for causing a transmitting side to confirm the contents of the transmission after the media conversion.
【請求項4】前記メッセージのメディア種別は、通常の
電子メールおよびショートメールを含むテキストメッセ
ージ、音声メッセージ、およびイメージメッセージのう
ちの少なくともいずれかを含むことを特徴とする請求項
1乃至3のうちのいずれか1項に記載のメッセージ交換
システム。
4. The method according to claim 1, wherein the media type of the message includes at least one of a text message including a normal electronic mail and a short mail, a voice message, and an image message. A message exchange system according to any one of the preceding claims.
【請求項5】コンピュータを、 利用者端末からその利用者が受信を所望するメッセージ
のメディア種別を登録する受信メディア登録手段、 利用者端末からのメッセージの送信時に、その送信メッ
セージの宛先利用者について登録された受信メディア種
別を調べるメディア種別参照手段、 前記メディア種別参照手段により得られた前記宛先利用
者の登録受信メディア種別が、前記送信メッセージのメ
ディア種別と異なるときは、その送信メッセージを登録
された受信メディア種別の変換メッセージに変換するメ
ディア変換手段、および前記宛先利用者に、前記送信メ
ッセージおよび変換メッセージのうちの一方を用いて、
前記登録受信メディア種別に対応するメッセージを送信
するメッセージ送信手段、 として機能させるためのプログラムを記録したコンピュ
ータ読み取り可能な記録媒体。
5. A receiving medium registering means for registering, from a user terminal, a media type of a message which the user desires to receive from a user terminal, and when transmitting a message from the user terminal, a destination user of the transmitted message. A media type referencing unit for examining the registered receiving media type; if the registered receiving media type of the destination user obtained by the media type referencing unit is different from the media type of the transmitted message, the transmitted message is registered. Media conversion means for converting the received media type into a conversion message, and the destination user, using one of the transmission message and the conversion message,
A computer-readable recording medium on which a program for functioning as a message transmitting means for transmitting a message corresponding to the registered receiving medium type is recorded.
【請求項6】コンピュータを、 利用者毎の受信メディア種別を格納するデータベース手
段、 利用者端末からその利用者が受信を所望するメッセージ
のメディア種別を前記データベース手段に登録する受信
メディア登録手段、 利用者端末からのメッセージの送信時に、前記データベ
ース手段を参照して、その送信メッセージの宛先利用者
について登録された受信メディア種別を調べるメディア
種別参照手段、 前記メディア種別参照手段により得られた前記宛先利用
者の登録受信メディア種別が、前記送信メッセージのメ
ディア種別と異なるときは、その送信メッセージを登録
された受信メディア種別の変換メッセージに変換するメ
ディア変換手段、および前記宛先利用者に、前記送信メ
ッセージおよび変換メッセージのうちの一方を用いて、
前記登録受信メディア種別に対応するメッセージを送信
するメッセージ送信手段、として機能させるためのプロ
グラムを記録したコンピュータ読み取り可能な記録媒
体。
6. A computer, comprising: database means for storing a received media type for each user; received media registering means for registering, in the database means, a media type of a message which the user desires to receive from a user terminal; Media type referencing means for referencing the database means at the time of transmitting a message from a user terminal to check a received media type registered for a destination user of the transmitted message; and the destination use obtained by the media type referring means. When the registered receiving media type of the user is different from the media type of the transmission message, media conversion means for converting the transmission message into a conversion message of the registered reception media type, and the destination user, the transmission message and Using one of the conversion messages,
A computer-readable recording medium on which a program for functioning as a message transmission unit for transmitting a message corresponding to the registered reception medium type is recorded.
【請求項7】コンピュータを、 利用者端末からその利用者が受信を所望するメッセージ
のメディア種別を登録する受信メディア登録手段、 利用者端末からのメッセージの送信時に、その送信メッ
セージの宛先利用者について登録された受信メディア種
別を調べるメディア種別参照手段、 前記メディア種別参照手段により得られた前記宛先利用
者の登録受信メディア種別が、前記送信メッセージのメ
ディア種別と異なるときは、その送信メッセージを登録
された受信メディア種別の変換メッセージに変換すると
ともに、その変換メッセージを発信側の所望するメディ
ア種別にて発信側に送信し、発信側にメディア変換され
た送信内容を確認させるメディア変換手段、および前記
宛先利用者に、前記送信メッセージおよび変換メッセー
ジのうちの一方を用いて、前記登録受信メディア種別に
対応するメッセージを送信するメッセージ送信手段、と
して機能させるためのプログラムを記録したコンピュー
タ読み取り可能な記録媒体。
7. A receiving medium registering means for registering, from a user terminal, a media type of a message which the user desires to receive from a user terminal, and when sending a message from the user terminal, a destination user of the transmitted message. A media type referencing unit for examining the registered receiving media type; if the registered receiving media type of the destination user obtained by the media type referencing unit is different from the media type of the transmitted message, the transmitted message is registered. Media conversion means for converting the converted message into a converted message of the received media type, transmitting the converted message to the transmitting side in a desired media type of the transmitting side, and allowing the transmitting side to confirm the contents of the media-converted transmission; To the user, the transmission message and the conversion message Using one, the message transmitting means for transmitting a message corresponding to the registration reception media type, computer-readable recording medium a program for functioning as.
JP2000239424A 2000-08-08 2000-08-08 Message exchange system and recording medium Expired - Lifetime JP3923712B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000239424A JP3923712B2 (en) 2000-08-08 2000-08-08 Message exchange system and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000239424A JP3923712B2 (en) 2000-08-08 2000-08-08 Message exchange system and recording medium

Publications (2)

Publication Number Publication Date
JP2002057693A true JP2002057693A (en) 2002-02-22
JP3923712B2 JP3923712B2 (en) 2007-06-06

Family

ID=18730964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000239424A Expired - Lifetime JP3923712B2 (en) 2000-08-08 2000-08-08 Message exchange system and recording medium

Country Status (1)

Country Link
JP (1) JP3923712B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004179742A (en) * 2002-11-25 2004-06-24 Nec Corp Package delivery reception system and method
JP2007521776A (en) * 2003-12-27 2007-08-02 エスケーテレコム カンパニー リミテッド RTSP-based dynamic multimedia control method
JP2007219721A (en) * 2006-02-15 2007-08-30 Nec Commun Syst Ltd Electronic mail terminal, presence server, electronic mail system, electronic mail distribution method and program
JP2008085838A (en) * 2006-09-28 2008-04-10 Fujitsu Ltd Conversion system for automatic communication medium
US7366753B2 (en) 2002-05-23 2008-04-29 Sony Corporation Information processing system, apparatus and method for processing information, and program
JP2008199609A (en) * 2007-02-05 2008-08-28 Internatl Business Mach Corp <Ibm> Method, system and computer program for automatically generating and presenting audio archive
JP2011209926A (en) * 2010-03-29 2011-10-20 Fujifilm Corp Chat relay server and chat terminal used for chat system, methods of controlling them, and chat system
JP2013098850A (en) * 2011-11-02 2013-05-20 Ntt Docomo Inc Server, user terminal and communication method
JP5220953B1 (en) * 2012-12-01 2013-06-26 和夫 金子 Product information providing system, product information providing device, and product information output device
US8478825B2 (en) 2005-03-24 2013-07-02 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangment in a communication system for delivering messages to a recipient
WO2014057704A1 (en) * 2012-10-12 2014-04-17 Kaneko Kazuo Product information provision system, product information provision device, and product information output device
JP2014116910A (en) * 2012-12-12 2014-06-26 Konami Digital Entertainment Co Ltd Terminal device, output information transmission/reception system, output information transmission/reception control method, and program

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7673044B2 (en) 2002-05-23 2010-03-02 Sony Corporation Information processing system, apparatus and method for processing information, and program
US7366753B2 (en) 2002-05-23 2008-04-29 Sony Corporation Information processing system, apparatus and method for processing information, and program
JP2004179742A (en) * 2002-11-25 2004-06-24 Nec Corp Package delivery reception system and method
JP2007521776A (en) * 2003-12-27 2007-08-02 エスケーテレコム カンパニー リミテッド RTSP-based dynamic multimedia control method
US8478825B2 (en) 2005-03-24 2013-07-02 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangment in a communication system for delivering messages to a recipient
JP2007219721A (en) * 2006-02-15 2007-08-30 Nec Commun Syst Ltd Electronic mail terminal, presence server, electronic mail system, electronic mail distribution method and program
JP2008085838A (en) * 2006-09-28 2008-04-10 Fujitsu Ltd Conversion system for automatic communication medium
JP2008199609A (en) * 2007-02-05 2008-08-28 Internatl Business Mach Corp <Ibm> Method, system and computer program for automatically generating and presenting audio archive
US9025736B2 (en) 2007-02-05 2015-05-05 International Business Machines Corporation Audio archive generation and presentation
US9210263B2 (en) 2007-02-05 2015-12-08 International Business Machines Corporation Audio archive generation and presentation
JP2011209926A (en) * 2010-03-29 2011-10-20 Fujifilm Corp Chat relay server and chat terminal used for chat system, methods of controlling them, and chat system
JP2013098850A (en) * 2011-11-02 2013-05-20 Ntt Docomo Inc Server, user terminal and communication method
WO2014057704A1 (en) * 2012-10-12 2014-04-17 Kaneko Kazuo Product information provision system, product information provision device, and product information output device
JP5220953B1 (en) * 2012-12-01 2013-06-26 和夫 金子 Product information providing system, product information providing device, and product information output device
JP2014116910A (en) * 2012-12-12 2014-06-26 Konami Digital Entertainment Co Ltd Terminal device, output information transmission/reception system, output information transmission/reception control method, and program

Also Published As

Publication number Publication date
JP3923712B2 (en) 2007-06-06

Similar Documents

Publication Publication Date Title
FI115868B (en) speech synthesis
US7058429B2 (en) System and method for distributing ring tone data used for generating ring tone of mobile phones
JP5021042B2 (en) Apparatus and method for providing and displaying animated SMS messages
JP5312725B2 (en) Method and system for notifying user when communication is possible
US7724730B2 (en) Voice communication system and voice communication method
US7535997B1 (en) Systems and methods for silent message delivery
US9686368B2 (en) Aggregating endpoint capabilities for a user
US6067516A (en) Speech and text messaging system with distributed speech recognition and speaker database transfers
US7538685B1 (en) Use of auditory feedback and audio queues in the realization of a personal virtual assistant
US7308082B2 (en) Method to enable instant collaboration via use of pervasive messaging
US20070259657A1 (en) Systems and methods for remotely controlling mobile stations
US20050129185A1 (en) Systems and methods for facilitating communications involving hearing-impaired parties
KR101203248B1 (en) Network system, communication terminal, communication method, and computer readable recording medium having communication program
JP3789535B2 (en) Information processing apparatus and information processing method
US20130311191A1 (en) Method, device, and system for voice approval
CN100524280C (en) Method and apparatus for participating communication conversation
JP3923712B2 (en) Message exchange system and recording medium
CN100581194C (en) Systems and methods for storing personal messages
US20060270430A1 (en) Push-to-talk event notification
KR20020028501A (en) Method for conversion between sound data and text data in network and apparatus thereof
US8032121B2 (en) System and method for transferring voice messages
JP3163227B2 (en) Terminal device
US20030084167A1 (en) System, method, apparatus and means for information transmission over a computer network
JP2004318529A (en) Presence information management device and user&#39;s terminal
JP2001282677A (en) Data transfer method, mail server, mobile terminal, and mail-transmitting terminal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070222

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3923712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140302

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term