JP3483998B2 - ピッチ強調方法および装置 - Google Patents

ピッチ強調方法および装置

Info

Publication number
JP3483998B2
JP3483998B2 JP23662895A JP23662895A JP3483998B2 JP 3483998 B2 JP3483998 B2 JP 3483998B2 JP 23662895 A JP23662895 A JP 23662895A JP 23662895 A JP23662895 A JP 23662895A JP 3483998 B2 JP3483998 B2 JP 3483998B2
Authority
JP
Japan
Prior art keywords
pitch
filter
emphasizing
parameter
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP23662895A
Other languages
English (en)
Other versions
JPH0981192A (ja
Inventor
政巳 赤嶺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP23662895A priority Critical patent/JP3483998B2/ja
Priority to EP96306647A priority patent/EP0763818B1/en
Priority to US08/713,356 priority patent/US6064962A/en
Priority to DE69628103T priority patent/DE69628103T2/de
Publication of JPH0981192A publication Critical patent/JPH0981192A/ja
Application granted granted Critical
Publication of JP3483998B2 publication Critical patent/JP3483998B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、符号化音声や背景
雑音を含む音声の主観品質を向上させるためのピッチ強
調方法および装置に関する。
【0002】
【従来の技術】音声信号を高能率に符号化する技術は、
利用できる電波帯域が限られている移動体通信や、メモ
リの有効利用が求められるボイスメールなどの蓄積媒体
において今や不可欠の技術になっている。この音声信号
の符号化では、ビットレートをより低くする方向へ向か
っている。
【0003】符号化のビットレートが低くなってくる
と、符号化・復号化の過程で生じる符号化歪が増加し、
再生される音声の品質が悪化してしまう。このため、再
生される音声の主観品質を向上させる目的でポストフィ
ルタが一般的に用いられる。このポストフィルタは復号
化装置の最終段で用いられ、音声信号のスペクトルの形
状に合わせて、山の部分を強調し、谷の部分を減衰する
ことにより、符号化に伴う雑音を音声のスペクトルでマ
スクし、音質を向上させる効果を持つ。
【0004】現在、種々の符号化方式で最も広く用いら
れ、特性の優れたポストフィルタが特開昭64−132
00で開示されている。図6は、この従来のポストフィ
ルタのブロック図であり、ピッチ強調フィルタ1、ホル
マント強調フィルタ2、高域強調フィルタ3、ゲイン調
整部4および乗算器5からなる。
【0005】ピッチ強調フィルタ1は、ピッチ調和周波
数間の周波数成分を減衰するために用いられるものであ
り、復号されたピッチパラメータに基づいて設定された
次式(1)の伝達関数を持つ。
【0006】
【数1】
【0007】ここで、pはピッチ周期であり、γとλは
ピッチゲインに基づいて次式(2)(3)により計算さ
れる。 γ=Cz f(x) (2) λ=Cp f(x) (3) Cz ,Cp はピッチの強調の度合いを制御するための定
数であり、経験的に決められる。また、f(x)は処理
する信号が周期性を含まない無声音のときに不要なピッ
チ強調を避けるため用いられる制御因子である。xはピ
ッチゲインに対応し、xがあるしきい値(典型的には
0.6)より小さいときは、無声音と判定してf(x)
=0とする。xがしきい値以上の時は、f(x)=xと
する。xが1を越えると、安定性を保つためにf(x)
=1とする。Cgは無声音と有声音とでピッチ強調フィ
ルタ1のゲインが変動するのを吸収するためのもので、
次式(4)で計算される。
【0008】 Cg=(1−λ/x)/(1+γ/x) (4) ホルマント強調フィルタ2は、ホルマントの山を強調し
谷を減衰させるために用いられ、次式(5)の伝達関数
を持つ。
【0009】
【数2】
【0010】この式の分母はLPC合成フィルタの伝達
関数1/(1−P(z))に対応しており、全極型のポ
ストフィルタのスペクトル傾斜を補正して音のこもり感
を改善するために用いられる。α,βは雑音の抑圧とこ
もり感の兼ね合いから経験的に決められる定数であり、
α=0.8,β=0.5が典型的な値である。高域強調
フィルタ3は、式(5)の分子だけで補正できないこも
り感を改善するために用いられる。また、ゲイン調整部
4はポストフィルタの入出力間で信号のパワーが変化し
ないように、ポストフィルタ全体のゲインを乗算器5を
介して補正するためのものである。
【0011】このポストフィルタは、音声信号の符号化
に伴って生じた雑音感を抑圧でき、再生音声の音質向上
に効果を持つ。しかし、有声音の区間でピッチ周期が大
きく変化した場合や、倍ピッチや半ピッチのようにピッ
チ周期が正しく検出されなかった場合には、復号化され
た音声のピッチのハーモニクスが図7から図8のように
大きく変動して乱れてしまい、この乱れがピッチ強調フ
ィルタ1で増長され、再生音声の音質を大きく劣化させ
るという問題がある。
【0012】特に、CELP符号化方式にみられるよう
に、ピッチの情報を適応符号長を用いて分析合成的に求
める場合には、必ずしも正しいピッチ周期を求める構成
となっておらず、本来ピッチ周期が緩やかに変化してい
る場合でも求められたピッチ周期が大きく変動したり、
倍ピッチや半ピッチになることが少ないため、このよう
なピッチ強調フィルタ1による音質の劣化が問題とな
る。
【0013】
【発明が解決しようとする課題】上述したように、従来
のポストフィルタでは、音声音の区間でピッチ周期が大
きく変化した場合や、倍ピッチや半ピッチのようにピッ
チ周期が正しく検出されなかった場合のように復号化さ
れた音声のピッチのハーモニクスが乱れたとき、この乱
れをピッチ強調フィルタが増長させてしまい、音質を大
きく劣化させるという問題があった。
【0014】本発明の目的は、ピッチ周期が大きく変化
したり正しく検出されない場合でもハーモニクスの乱れ
を抑えて主観品質を向上させることができるピッチ強調
方法および装置を提供することにある。
【0015】
【課題を解決するための手段】本発明は、上記の課題を
解決するため、入力音声信号のピッチ周期およびピッチ
ゲインの少なくとも一方の時間的な変化を検出し、この
変化に基づいて音声信号に対するピッチ強調の度合いを
変化させることを有することを特徴とする。
【0016】さらに具体的には、入力される音声信号の
ピッチ周期およびピッチゲインの少なくとも一方の時間
的な変化が所定のしきい値以上となったとき、音声信号
に対するピッチ強調の度合いを低下させるものである。
【0017】ピッチの情報を適応符号長を用いて分析合
成的に求めるCELP符号化方式などで得られた符号化
データから復号再生される音声信号は、符号化側でピッ
チ周期が大きく変化した場合や、ピッチ周期が正しく検
出されなかった場合には、ピッチのハーモニクスが乱れ
たものとなる。このような乱れが生じた場合、ピッチ強
調フィルタはこれをさらに増長する性質がある。人間の
聴覚は、ハーモニクスの乱れに敏感であるから、音質が
大きく劣化して聞こえることになる。本発明によれば、
ピッチ周期の変化を監視し、それがある程度以上になっ
た場合、ピッチ強調フィルタの係数を変化させることに
よって強調の度合いを低下させるか、または強調そのも
のを止めることによって、このようなハーモニクスの乱
れが抑えられ、音質が向上する。
【0018】言い換えれば、従来のポストフィルタで
は、人間の聴覚のマスキング効果のうち静的な性質を利
用している。すなわち、信号のスペクトルで雑音のスペ
クトルをマスクすることによって雑音が知覚されにくく
している。このため、従来のポストフィルタでは音声を
再生しようとするフレームのスペクトルを如何に整形す
るかということに焦点があてられ、スペクトルの時間的
な変動には感心が払われていなかった。これに対し、本
発明は人間の聴覚がスペクトルの変化に敏感であること
に注目し、特にピッチ周期の時間的変化、つまりハーモ
ニクスが大きく変動した場合にポストフィルタの強調の
度合いを小さくすることによって、音声の主観品質を向
上させたものである。
【0019】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。図1は、本発明を音声復号化装置に
適用した一実施形態を示すブロック図である。同図にお
いて、波線で囲まれた部分がポストフィルタ130であ
り、パラメータ符号部110、音声再生部120と共に
音声復号化装置を構成する。
【0020】入力端子100には、図示しない音声符号
化装置から伝送された符号化データが入力され、パラメ
ータ復号部110に送られる。このパラメータ復号部1
10においては、音声再生部120で用いられるパラメ
ータが復号される。音声再生部120は、入力されたパ
ラメータを用いて音声信号を再生する。パラメータ復号
部110および音声再生部120は符号化方式装置の構
成に依存し、様々な構成をとることができる。本発明に
係るポストフィルタはパラメータ復号部110や音声再
生部120の構成に拘束されず、種々の音声復号化装置
に広く適用することができる。従って、ここではパラメ
ータ復号部110および音声再生部120についての詳
細な説明は省略する。
【0021】ポストフィルタ130はピッチ強調フィル
タ131、ピッチ制御部132、ホルマント強調フィル
タ133、高域強調フィルタ134、ゲイン調整部13
5および乗算器136からなる。
【0022】図2は、本実施形態における主要な処理の
概略的な手順を示したフローチャートである。まず、符
号化データが入力されると(ステップS1)、パラメー
タ復号部110でLPC係数、フレームゲイン、ピッチ
周期、ピッチゲイン、雑音ベクトルおよび駆動ゲインな
どのパラメータが復号され(ステップS2)、これらの
パラメータに基づいて音声再生部120で元の音声信号
が再生される(ステップS3)。
【0023】次に、これらのパラメータ復号部110で
復号されたパラメータうちのピッチパラメータであるピ
ッチ周期およびピッチゲインに基づき、ピッチ制御部1
32によってピッチ強調フィルタ131の伝達関数が設
定され(ステップS4)、次いでピッチ強調フィルタ1
31によってピッチ強調処理が行われる(ステップS
5)。ここで、ピッチ制御部132では後述するように
ピッチ周期の時間的な変化に基づいてピッチ強調の度合
いが変化するように、具体的にはピッチ周期の時間的な
変化が大きいほどピッチ強調の度合いが低下するように
ピッチ強調フィルタ131の伝達関数を制御することが
特徴である。
【0024】ピッチ強調フィルタ131によりピッチ強
調処理が施された音声信号は、ホルマント強調フィルタ
133、高域強調フィルタ134、ゲイン調整部135
および乗算器136によってさらに処理される。ホルマ
ント強調フィルタ133は、ホルマントの山を強調し谷
を減衰させるために用いられるフィルタであって、公知
の種々の構成を用いることができる。また、高域強調フ
ィルタ134はポストフィルタの導入に伴う音声のこも
り感を改善するために設けられたものである。さらに、
ゲイン調整部135はポストフィルタの入出力間で信号
のパワーが変化しないようにポストフィルタ全体のゲイ
ンを乗算器135を介して補正するためのものである。
これら高域強調フィルタ134およびゲイン調整部13
5のいずれも、ホルマント強調フィルタ133と同様に
種々の公知技術を利用して構成することができる。
【0025】ピッチ強調フィルタ131の構成として
は、種々のものが考えられる。全極型の場合、ピッチ強
調フィルタ131は式(6)に示す伝達関数H(z)で
規定することができる。
【0026】 H(z)=1/(1−εαz-T) (6) ここで、Tはピッチ周期であり、ε,αはピッチ制御部
132で決められるフィルタ係数である。
【0027】この場合、ピッチ制御部132は図3に示
す手順でピッチ強調フィルタ131の伝達関数を設定す
る。すなわち、ピッチ制御部135ではまず式(7)の
ようにピッチゲインbを判定して、それに基づきフィル
タ係数αを計算し、さらにピッチ周期Tの時間的な変化
を判定して、それに基づき式(8)のようにフィルタ係
数εを計算する。
【0028】
【数3】
【0029】ただし、bは復号されたピッチゲイン、b
thは有声/無声判定のためのしきい値、ε1 とε2 はピ
ッチ強調の度合いを制御するパラメータ、Tp は前フレ
ームのピッチ周期、Tthはピッチ周期Tの時間的な変化
|T−Tp |を判定するためのしきい値である。しきい
値bthとして0.6、パラメータε1 として0.8、パ
ラメータとしてε2 として0.4または0.0、しきい
値Tthとして10を典型的な値として用いることができ
る。このようにしてフィルタ係数ε,αが設定され、式
(6)に示した伝達関数H(z)が設定される。一方、
ピッチ強調フィルタ131を極零型の伝達関数で規定す
る場合、その伝達関数H(z)は式(9)で表される。
【0030】
【数4】
【0031】この場合、ピッチ制御部132は図4に示
す手順でピッチ強調フィルタ131の伝達関数を設定す
る。すなわち、ピッチ制御部135ではまず式(10)
のようにピッチゲインbを判定して、それに基づきパラ
メータαを計算し、さらにピッチ周期Tの時間的な変化
を判定して、それに基づき式(11)(12)のように
パラメータC1 ,C2 を計算する。
【0032】
【数5】
【0033】そして、これらのパラメータα,C1 ,C
2 に基づいて、式(13)(14)によりピッチ強調フ
ィルタ131のフィルタ係数γ,λを計算する。 γ=C1 α (13) λ=C2 α (14) ここで、c11,c12,c21,c22は 0≦c11,c12,c21,c22<1 (15) c11>c12 (16) c21>c22 (17) の制約の下で、経験的に決めることができる。典型的な
値としてc11=0.4、c12=0.0、c21=0.8、
c22=0.0を用いることができる。
【0034】また、Cgは有声音と有声音でピッチ強調
フィルタ131のゲインが変動するのを吸収するための
もので、式(18)により計算される。 Cg=(1−λ/b)/(1+γ/b) (18) 以上から明らかなように、ピッチ強調フィルタ131は
いずれの構成の場合においても、ピッチ周期Tの時間的
な変化である|T−Tp |がしきい値Tth以上となった
とき、入力の音声信号に対するピッチ強調の度合いが低
下するようにピッチ制御部132によってそのフィルタ
係数が制御される。
【0035】なお、上記の説明では|T−Tp |がしき
い値Tth以上となったとき、ピッチ強調処理そのものは
行い、その強調度合いを小さくしたが、ピッチ強調処理
そのものを行わない構成とすることも可能である。
【0036】また、上記の説明ではピッチ周期の時間的
な変化がしきい値以上となったときピッチ強調の度合い
を低下させるようにしたが、ピッチゲインの周期の時間
的な変化がしきい値以上となったときピッチ強調の度合
いを低下させるようにしても同様の効果が得られる。
【0037】さらに、上記実施形態では本発明を音声復
号化装置に適用した例について説明したが、主観品質の
向上を目的に種々の雑音を含む音声信号に適用されるエ
ンハンスト処理と呼ばれる技術に適用することもでき
る。このような実施形態を図5に示す。
【0038】図5において、図1と同一部分に同一符号
を付して先の実施形態との相違点のみを説明すると、本
実施形態では入力端子200に音声信号が入力される。
この入力音声信号は、例えば図1の音声再生部120で
再生された音声信号、あるいは音声合成装置によって合
成された音声信号であり、先の実施形態と同様の構成の
ピッチ強調フィルタ131、ホルマント強調フィルタ1
33、高域強調フィルタ134、ゲイン調整部135お
よび乗算器136によってエンハンスト処理される。
【0039】但し、本実施形態では入力信号が音声信号
であり、図1の実施形態のように入力信号にピッチゲイ
ンのようなパラメータが含まれてないため、入力音声信
号をLPC分析部210およびピッチ分析部220を通
すことによって、ピッチ制御部132でピッチ強調フィ
ルタ131の伝達関数を設定するのに必要なピッチ周期
およびピッチゲインの情報を生成している。その他の点
は先の実施形態と同様であるため、説明を省略する。
【0040】なお、本発明は人間の発生した音声信号に
限らず、楽音信号など様々なオーディオ信号にも適用す
ることもできる。本発明でいう音声信号は、これらの信
号を総称するものとする。
【0041】
【発明の効果】以上説明したように、本発明によればピ
ッチ周期の変化を監視し、それがある程度以上になった
場合、ピッチ強調の度合い、すなわちピッチ強調フィル
タの係数を変化させることによって強調の度合いを低下
させ、場合によっては強調そのものを止めることによっ
てハーモニクスの乱れを抑え、再生音声信号や合成音声
信号の音質を効果的に向上させることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る音声復号装置の
構成を示すブロック図
【図2】同実施形態における主要な処理の概略を示すフ
ローチャート
【図3】同実施形態におけるピッチ強調フィルタの伝達
関数設定手順の一例を示すフローチャート
【図4】同実施形態におけるピッチ強調フィルタの伝達
関数設定手順の他の例を示すフローチャート
【図5】本発明の第2の実施形態に係るエンハンス処理
装置の構成を示すブロック図
【図6】従来のポストフィルタの構成を示すブロック図
【図7】有声音のスペクトルを示す図
【図8】ハーモニクスが変動したスペクトルを示す図
【符号の説明】
100…符号化データ入力端子 110…パラメータ復号部 120…音声再生部 130…ポストフィルタ 131…ピッチ強調フィルタ 132…ピッチ制御部 133…ホルマント強調フィルタ 134…高域強調フィルタ 135…ゲイン調整部 136…乗算器 210…LPC分析部 220…ピッチ分析部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G10L 11/04 G10L 19/06 G10L 21/04 JICSTファイル(JOIS)

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】入力される音声信号のピッチ周期およびピ
    ッチゲインの少なくとも一方の時間的な変化を検出し、
    この変化が所定のしきい値以上となったとき、前記音声
    信号に対するピッチ強調の度合いを低下させることを特
    徴とするピッチ強調方法。
  2. 【請求項2】入力される音声信号のピッチを強調するピ
    ッチ強調手段と、 前記音声信号のピッチ周期およびピッチゲインの少なく
    とも一方の時間的な変化を検出し、この変化が所定のし
    きい値以上となったとき、前記ピッチ強調手段における
    ピッチ強調の度合いを低下させる制御手段とを有するこ
    とを特徴とするピッチ強調装置。
  3. 【請求項3】音声信号の符号化データから音声信号のピ
    ッチ周期およびピッチゲインの少なくとも一方を含むパ
    ラメータを復号するパラメータ復号手段と、 このパラメータ復号手段により復号されたパラメータを
    用いて音声信号を再生する音声再生手段と、 この音声再生手段により再生された音声信号のピッチを
    強調するピッチ強調手段と、 前記パラメータ復号手段により復号されたピッチ周期お
    よびピッチゲインの少なくとも一方の時間的な変化を検
    出し、この変化が所定のしきい値以上となったとき、
    記ピッチ強調手段におけるピッチ強調の度合いを低下さ
    せる制御手段とを有することを特徴とするピッチ強調装
    置。
  4. 【請求項4】入力される音声信号のピッチ周期およびピ
    ッチゲインの少なくとも一方を含むパラメータを抽出す
    るパラメータ抽出手段と、 前記音声信号のピッチを強調するピッチ強調手段と、 前記パラメータ抽出手段により抽出されたピッチ周期お
    よびピッチゲインの少なくとも一方の時間的な変化を検
    出し、この変化が所定のしきい値以上となったとき、
    記ピッチ強調手段におけるピッチ強調の度合いを低下さ
    せる制御手段とを有することを特徴とするピッチ強調装
    置。
JP23662895A 1995-09-14 1995-09-14 ピッチ強調方法および装置 Expired - Lifetime JP3483998B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP23662895A JP3483998B2 (ja) 1995-09-14 1995-09-14 ピッチ強調方法および装置
EP96306647A EP0763818B1 (en) 1995-09-14 1996-09-13 Formant emphasis method and formant emphasis filter device
US08/713,356 US6064962A (en) 1995-09-14 1996-09-13 Formant emphasis method and formant emphasis filter device
DE69628103T DE69628103T2 (de) 1995-09-14 1996-09-13 Verfahren und Filter zur Hervorbebung von Formanten

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23662895A JP3483998B2 (ja) 1995-09-14 1995-09-14 ピッチ強調方法および装置

Publications (2)

Publication Number Publication Date
JPH0981192A JPH0981192A (ja) 1997-03-28
JP3483998B2 true JP3483998B2 (ja) 2004-01-06

Family

ID=17003449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23662895A Expired - Lifetime JP3483998B2 (ja) 1995-09-14 1995-09-14 ピッチ強調方法および装置

Country Status (1)

Country Link
JP (1) JP3483998B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1619666B1 (en) 2003-05-01 2009-12-23 Fujitsu Limited Speech decoder, speech decoding method, program, recording medium
CN101587711B (zh) * 2008-05-23 2012-07-04 华为技术有限公司 基音后处理方法、滤波器以及基音后处理系统
PL3079152T3 (pl) 2010-07-02 2018-10-31 Dolby International Ab Dekodowanie audio z selektywnym późniejszym filtrowaniem
JP6220610B2 (ja) * 2013-09-12 2017-10-25 日本電信電話株式会社 信号処理装置、信号処理方法、プログラム、記録媒体
JP6261381B2 (ja) * 2014-02-28 2018-01-17 日本電信電話株式会社 信号処理装置、信号処理方法、プログラム
EP2980798A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Harmonicity-dependent controlling of a harmonic filter tool
JP6772889B2 (ja) * 2017-02-23 2020-10-21 沖電気工業株式会社 言語明瞭化装置及び拡声放送システム

Also Published As

Publication number Publication date
JPH0981192A (ja) 1997-03-28

Similar Documents

Publication Publication Date Title
US7353168B2 (en) Method and apparatus to eliminate discontinuities in adaptively filtered signals
EP0763818B1 (en) Formant emphasis method and formant emphasis filter device
US7680653B2 (en) Background noise reduction in sinusoidal based speech coding systems
JP3102015B2 (ja) 音声復号化方法
JP4846712B2 (ja) スケーラブル復号化装置およびスケーラブル復号化方法
US7636055B2 (en) Signal decoding apparatus and signal decoding method
EP1997101B1 (en) Method and system for reducing effects of noise producing artifacts
US20060116874A1 (en) Noise-dependent postfiltering
EP1526507B1 (en) Method for packet loss and/or frame erasure concealment in a voice communication system
US8311842B2 (en) Method and apparatus for expanding bandwidth of voice signal
JPH1097296A (ja) 音声符号化方法および装置、音声復号化方法および装置
JPH07160296A (ja) 音声復号装置
JP3483998B2 (ja) ピッチ強調方法および装置
JP3270922B2 (ja) 符号化,復号化方法及び符号化,復号化装置
EP1619666B1 (en) Speech decoder, speech decoding method, program, recording medium
JP2008519990A (ja) 信号符号化の方法
JP3219467B2 (ja) 音声復号化方法
JP3451998B2 (ja) 無音声符号化を含む音声符号化・復号装置、復号化方法及びプログラムを記録した記録媒体
WO1998019298A1 (en) Postfiltering audio signals, especially speech signals
JPH10143195A (ja) ポストフィルタ
JPH08202399A (ja) 復号音声の後処理方法
JP3350340B2 (ja) 音声符号化方法および音声復号化方法
JP2001282280A (ja) 音声合成方法及び装置
JPH09179588A (ja) 音声符号化方法
JPH09146598A (ja) 音声符号化における雑音抑圧方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081017

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081017

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091017

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101017

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131017

Year of fee payment: 10

EXPY Cancellation because of completion of term