JP3823562B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3823562B2
JP3823562B2 JP28100198A JP28100198A JP3823562B2 JP 3823562 B2 JP3823562 B2 JP 3823562B2 JP 28100198 A JP28100198 A JP 28100198A JP 28100198 A JP28100198 A JP 28100198A JP 3823562 B2 JP3823562 B2 JP 3823562B2
Authority
JP
Japan
Prior art keywords
edge
target pixel
density
pixel
density level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28100198A
Other languages
English (en)
Other versions
JP2000115540A (ja
Inventor
圭介 橋本
好彦 廣田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Business Technologies Inc
Original Assignee
Konica Minolta Business Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Business Technologies Inc filed Critical Konica Minolta Business Technologies Inc
Priority to JP28100198A priority Critical patent/JP3823562B2/ja
Priority to US09/408,366 priority patent/US6978045B1/en
Publication of JP2000115540A publication Critical patent/JP2000115540A/ja
Application granted granted Critical
Publication of JP3823562B2 publication Critical patent/JP3823562B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、デジタル画像データの処理、特に文字画像のエッジ処理に関する。
【0002】
【従来の技術】
画像処理装置は、原稿を読み取って得られたデジタル画像データを処理し、印字用のデジタル印字データを出力する。画像は、デジタル印字データに基づいて再現される。
画像処理装置は、原稿の画像をよりよく再現するため、原稿の画像を読み取ったデジタル画像データについて、種々の処理をおこなう。文字原稿については、文字画像の再現のため、文字のエッジを強調することが望ましい。このため、種々のエッジ判定手法や、エッジ判定結果に基づくデータ強調手法が提案されている。
【0003】
【発明が解決しようとする課題】
文字画像に特に斜め方向にあるエッジを含む場合、そのようなエッジを強調すると、得られた画像はぎざぎざになる。このため、原画像に比べて、再現画像の品位が悪くなる。これは、画像が画素単位で読み取られ再現されるためである。しかし、文字のエッジ部は滑らかに再現されることが望ましい。
【0004】
本発明の目的は、文字エッジ部をより滑らかに再現できる画像処理装置を提供することである。
【0005】
【課題を解決するための手段】
本発明に係る画像処理装置は、多値画像データに基づいて、画素を主走査方向に複数のサブ領域に分割しサブ領域の単位で画像を形成するためのデジタル画像データを出力する画像処理装置である。この画像処理装置は、多値画像データに基づいて、注目画素とその周辺画素の濃度レベルの差から注目画素のエッジ方向を識別するエッジ判定手段と、上記エッジ判定手段によって判定された注目画素のエッジ方向にしたがって、注目画素内の複数のサブ領域に濃度レベルを設定して各注目画素内の濃度分布を変化させる濃度制御手段とを備える。そして、前記のエッジ判定手段は、注目画素に対しエッジと反対側に隣接する画素の濃度レベルがしきい値よりも高い場合、判定されたエッジ方向をキャンセルする。ここで、注目画素の濃度分布の重心を変化させるため、1画素を主走査方向に複数のサブ画素に分割して、注目画素の濃度分布をサブ画素単位で制御する。エッジ判定手段により識別されたエッジ方向を基に、濃度制御手段は、注目画素に与える濃度をサブ画素単位で変化させ、注目画素に与えられる濃度分布(濃度重心を含む)を変化できる。これによって注目画素の解像度を向上させ、文字エッジ部を滑らかに再現する。
また、前記の濃度制御手段は、上記エッジ判定手段によって判定された注目画素のエッジ方向にしたがって、注目画素内のサブ領域ごとに濃度レベル設定用パラメータを設定する濃度レベル制御手段と、濃度レベル制御手段により設定された濃度レベル設定用パラメータを用いて、注目画素の濃度レベルを基に、注目画素内の複数のサブ領域それぞれに濃度レベルを設定する濃度レベル設定手段とからなる。濃度レベル設定用パラメータは、入力される多値画像データを印字用の画像データに変換するために用いられ、画素内の各サブ画素に対して設定される。
また、前記のエッジ判定手段が識別するエッジ方向は、主走査方向のいずれかの方向のエッジおよび細線エッジを含む。
本発明に係る画像処理の方法は、多値画像データに基づいて、画素を主走査方向に複数のサブ領域に分割しサブ領域の単位で画像を形成するためのデジタル画像データを出力する画像処理の方法であり、多値画像データに基づいて、注目画素とその周辺画素の濃度レベルの差から注目画素のエッジ方向を判定し、判定された注目画素のエッジ方向にしたがって、注目画素内の複数のサブ領域に濃度レベルを設定して各注目画素内の濃度分布を変化させる。ここで、前記のエッジ方向の判定では、注目画素に対しエッジと反対側に隣接する画素の濃度レベルがしきい値よりも高い場合、判定されたエッジ方向をキャンセルする
【0006】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施形態の画像処理装置について説明する。なお、図面において同一の参照記号は、同一または同等のものをさす。
図1は、本発明の画像処理装置の1実施形態を示す。この画像処理装置は、原稿読取装置、コンピュータなどから入力されるデジタル画像データに基づいて、感光体を露光することにより感光体上に画像を形成するためのデジタル画像データを生成し、プリンタに出力する。ここで、注目画素とその周辺の画素との階調差を求め、その階調差の組合わせによって主走査方向でのエッジ方向を識別する。そして、識別されたエッジ方向にしたがって注目画素内の濃度分布の重心を変化して、エッジを滑らかに再現する。ここで、注目画素の濃度分布の重心を変化させるため、画像読取の単位である1画素を、画像形成における主走査方向に複数のサブ画素に分割して、注目画素に与える濃度レベルをサブ画素の単位で変化させて注目画素内の濃度分布を制御する。
【0007】
具体的に説明すると、画像データ出力装置10は、ここでは図示されていない原稿読取装置、コンピュータなどから入力されるデジタル画像データを出力する。ここでは、画像データを、1画素あたり8ビットの階調データとして出力する。エッジ判定部12は、画像データ出力装置10から出力される階調データを用いて、注目画素とその周辺の画素との階調差を求め、その階調差の組合わせによって主走査方向でのエッジ方向を識別する。そして、エッジ判定部12の判定結果を基に、濃度レベル制御部14は、画素内の濃度重心を制御するためのパラメータ信号を、注目画素を主走査方向に分割したサブ画素の単位で生成する。一方、ガンマ補正部16は、階調データの非線形変換をし、プリント部22における階調性の非線形ひずみを補正する。次に、濃度レベル設定部18は、ガンマ補正部12により補正されたデータについて、濃度レベル制御部16により生成された濃度制御パラメータ信号を用いて濃度レベルを制御して、画素内の濃度重心を変化させる。こうして、濃度レベル制御部14と濃度レベル設定部18によりサブ画素単位で濃度が制御され、ガンマ補正部16により補正されたデータがサブ画素単位で印字用の濃度レベル(デジタル階調データ)に変換される。D/A変換器20は、濃度レベル設定部18により得られたデジタル階調データをアナログ信号に変換し、プリント部22のレーザー駆動回路に出力する。プリント部22は、入力信号に基づいてレーザービームの強度をサブ画素の単位で変調し、中間調画像をラスター走査で記録媒体上に形成する。
【0008】
エッジ判定部12は、注目画素の主走査方向でのエッジ方向を次の4つの場合に区分して判定する。この判定結果に基づいてエッジをどの方向に寄せるかが判断される。ここでは、主走査方向を左右方向とする。「右エッジ」とは、文字の右側にあるエッジ、すなわち、注目画素の左側に文字部がある場合のエッジをいう。「左エッジ」とは、文字の左側にあるエッジ、すなわち、注目画素の右側に文字部がある場合のエッジをいう。また、「細線エッジ」とは、注目画素の中央に文字部がある場合、すなわち、1つの注目画素内に右エッジと左エッジがある場合のエッジをいう。なお、以上のいずれにも該当しない場合は、「非エッジ部」である。
【0009】
図2は、エッジ判定部12のブロック図である。エッジは、たとえば3×3の画素マトリクスを用いて判定される。まず、注目画素とその周辺の8画素との階調差を計算し、注目画素より濃度の高い画素と濃度の低い画素に分ける。図3に示すように、3×3の画素マトリクスにおいて、V33は注目画素の階調データを表し、V22,V23,V24,V32,V34,V42,V43,V44は注目画素に隣接する8個の画素の階調データを表す。図2に示すエッジ判定部12において、8個の階調差信号発生回路120は、注目画素の階調データV33とその周辺の8画素の階調データV22,V23,V24,V32,V34,V42,V43,V44を入力し、周辺画素と注目画素との階調データの差(階調差信号)を求める。組合せ判定回路122は、注目画素と周辺画素との階調差を入力し、その階調差の組合わせによってエッジ方向を判別する。すなわち、注目画素とその周辺の8画素との階調差を計算し、注目画素より濃度の高い画素と濃度の低い画素に分ける。そして、注目画素と周囲画素との濃度値の関係からエッジ方向を識別する。具体的には、組合せ判定回路122は、これらの8つの階調差信号の組合わせによって主走査方向でのエッジ方向(右エッジ、左エッジなど)を判別し、右寄せ信号MARKRと左寄せ信号MARKLを生成する。右寄せ信号MARKRは、右エッジが存在することを示し、左寄せ信号MARKLは左エッジが存在することを示す。そして、NANDゲート、2個のANDゲートおよび3個のセレクタ(S=LでAを選択する)からなる論理回路124は、これらの右寄せ信号MARKRと左寄せ信号MARKLからエッジ方向を判断し、エッジ方向信号EDGを出力する。すなわち、MARKRとMARKLがともに出力されていれば、EDG="01"(細線エッジ)が出力され、MARKRまたはMARKLが出力されていれば、EDG="03"(右エッジ)またはEDG="02"(左エッジ)が出力され、MARKRとMARKLがいずれも出力されていなければ、EDG="00"(非エッジ部)が出力される。
【0010】
図4は、濃度レベル制御部14のブロック図である。エッジ判定部12の出力であるエッジ方向信号EDGをアドレス信号として入力し、8個のパラメータRAM140に記憶されたテーブルより8個の濃度制御パラメータ信号A1,A2,A3,A4,B1,B2,B3,B4を得る。得られた濃度制御パラメータは、濃度レベル設定部18に送られる。
【0011】
図5は、濃度レベル設定部18のブロック図である。4個の濃度レベル演算部180では、ガンマ補正部12で非線形変換された階調データVGに対し、濃度制御パラメータ信号の4種の組合せA1とB1、A2とB2、A3とB3、A4とB4を用いて、それぞれ、ブロック内に示されるような1次演算(VH=A*(VG−B))を行う。この結果、VGから4つの階調信号VH1,VH2,VH3,VH4が得られる。次に、セレクタ182は、画素クロックCLKと画素クロックの倍の周波数を持つ倍速クロックXCLKとを用いて、濃度レベル演算部180において1次演算で得られた4つの階調信号VH1,VH2,VH3,VH4を1画素内でサブ画素ごとに切り換えて、信号VDを生成する。これにより、1画素を4サブ画素に分割し、サブ画素ごとにデジタル階調データVDを出力する。
【0012】
図6から図9は、エッジ判定部12で判定されたエッジ種類のそれぞれについて、1画素内の濃度がどのように変化するかを示したものである。ガンマ補正部16で非線形変換された階調データの階調が増加するにつれ、1画素内の4つのサブ画素に与えられるデジタル階調データがそれぞれそのように変化していくかを示す。図において、各サブ画素における黒部分の高さは、濃度レベルを表す。図6は、右エッジの場合の変化を示す。ここで濃度制御パラメータ信号は、次のとおりである。A1=A2=A3=A4=4。B1=0。B2=64。B3=128。B4=192。図には、階調レベルが0、32、64、96、128、160、192、224、255の場合を示す。図において明らかなように、右エッジであるので、濃度は左側のサブ画素から順に増加される。こうして、画素の濃度の重心は左から順次中央に移動していく。
【0013】
図7は、左エッジの場合の変化を示す。これは、図6の右エッジの場合と左右対称である。ここで濃度制御パラメータ信号は、次の通りである。A1=A2=A3=A4=4。B1=192。B2=128。B3=64。B4=0。図は、階調レベルが0、32、64、96、128、160、192、224、255の場合を示す。図において明らかなように、左エッジであるので、濃度は右側のサブ画素から順に増加される。こうして、画素の濃度の重心は右から順次中央に移動していく。
【0014】
図8は、非エッジの場合の変化を示す。ここで濃度制御パラメータ信号は、次の通りである。A1=A2=A3=A4=1。B1=B2=B3=B4=0。図は、階調レベルが0、32、64、96、128、160、192、224、255の場合を示す。図において明らかなように、エッジが存在しないので、4個のサブ画素はいずれも同じ濃度とし、したがって、画素の濃度の重心は常に中央にある。濃度は、階調レベルに対応して増加する。
【0015】
図9は、細線エッジの場合の変化を示す。ここで濃度制御パラメータ信号は、次のとおりである。A1=A2=A3=A4=2。B1=128、B2=B3=0。B4=128。図は、階調レベルが0、32、64、96、128、160、192、224、255の場合を示す。右エッジと左エッジが同時に存在する細線エッジであるので、図において明らかなように、まず中央の2個のサブ画素の濃度が、階調レベルに対応して増加する。画素の濃度の重心は常に中央にある。次に、両側の2個のサブ画素の濃度が階調レベルに対応して増加する。画素の濃度の重心は常に中央にあるが、濃度分布は、階調レベル128を越えると、しだいに左右に広がっていく。図6〜図9では、主に濃度の重心の変化について説明したが、図9に示すように、注目画素内において濃度は端から増加させていくとは限らない。また、変化させるのは重心だけではなく、濃度分布である。
【0016】
図10は、実際の画像に適用した場合、どのような効果が得られるかを図式的に示す。画像読取装置から読み込んだ画像データは、左側に示すように、斜め線のエッジ部に濃淡部分を含んでいる。このエッジは、左エッジである。この濃淡を濃度レベルとして用いて、エッジ方向を検出し、サブ画素の単位で濃度を制御して、エッジ部分の画素の濃度重心を変化させる。その結果、右側に示すように、エッジを高解像度化して、エッジが滑らかに変化する画像が得られる。
【0017】
図11は、エッジ判定部の変形例を示す。注目画素に対しエッジ方向と同じ側に隣接する画素の濃度レベルがしきい値よりも高い場合、注目画素内で濃度重心を一方に寄せたために、濃度重心がない側で白抜けが目立つことがある。エッジ判定部は、そのような場合にエッジ判定結果をキャンセルし、注目画素内の濃度重心を変化させないようにするものである。ここでは、左右それぞれに対して判定する。
図11は、図2の左側部分に示した構成に、2個の比較器146、148と2個のANDゲート1410、1412が追加されたものである。比較器146は、左エッジのときに、注目画素の左側画素の信号V32をしきい値と比較し、その比較結果の信号は、左エッジ信号MARKLとともにANDゲート1410に入力される。これにより、注目画素の左側画素の信号V32がしきい値より大きい場合、左エッジ信号MARKLを出力せず、エッジ判定結果をキャンセルする。また、比較器148は、右エッジのときに、注目画素の右側画素の信号V34をしきい値と比較し、その比較結果の信号は、右エッジ信号MARKRとともにANDゲート1412に入力される。これにより、注目画素の右側画素の信号V34がしきい値より大きい場合、右エッジ信号MARKRを出力せず、エッジ判定結果をキャンセルする。こうして、注目画素に対しエッジ方向と同じ側に隣接する画素の濃度レベルがしきい値よりも高い場合、判定されたエッジ方向をキャンセルする。この場合、上述の非エッジ部として濃度が制御される。図12に示す例において、左側に示すように、中央の画素が右エッジの画素であっても、その右隣の画素の濃度レベルがしきい値よりも高い場合、右側に示すように、右エッジとの判定結果をキャンセルし、中央の画素における白抜けを防止する。
【0018】
【発明の効果】
画像処理装置において、注目画素内で濃度分布を変化させることにより文字エッジ部をより滑らかに再現できる。
【図面の簡単な説明】
【図1】 画像処理装置の1実施形態のブロック図。
【図2】 エッジ判定部のブロック図。
【図3】 エッジ判定用の9個の画素の信号の分布を示す図。
【図4】 濃度レベル制御部のブロック図。
【図5】 濃度レベル設定部のブロック図。
【図6】 右エッジの場合の階調レベルに対する濃度の変化を示す図。
【図7】 左エッジの場合の階調レベルに対する濃度の変化を示す図。
【図8】 非エッジ部の場合の階調レベルに対する濃度の変化を示す図。
【図9】 細線エッジの場合の階調レベルに対する濃度の変化を示す図。
【図10】 処理後の実際の画像データを示す図。
【図11】 変形例におけるエッジ判定部の1部のブロック図。
【図12】 白抜け防止の1例の図。
【符号の説明】
10 画像データ出力装置、 12 ガンマ補正部、 14 エッジ判定部、 16 濃度レベル制御部、 18 濃度レベル設定部。

Claims (4)

  1. 多値画像データに基づいて、画素を主走査方向に複数のサブ領域に分割しサブ領域の単位で画像を形成するためのデジタル画像データを出力する画像処理装置であり、
    多値画像データに基づいて、注目画素とその周辺画素の濃度レベルの差から注目画素のエッジ方向を判定するエッジ判定手段と、
    上記エッジ判定手段によって判定された注目画素のエッジ方向にしたがって、注目画素内の複数のサブ領域に濃度レベルを設定して各注目画素内の濃度分布を変化させる濃度制御手段とを備え
    前記のエッジ判定手段は、注目画素に対しエッジと反対側に隣接する画素の濃度レベルがしきい値よりも高い場合、判定されたエッジ方向をキャンセルすることを特徴とした画像処理装置。
  2. 前記の濃度制御手段は、
    上記エッジ判定手段によって判定された注目画素のエッジ方向にしたがって、注目画素内のサブ領域ごとに濃度レベル設定用パラメータを設定する濃度レベル制御手段と
    濃度レベル制御手段により設定された濃度レベル設定用パラメータを用いて、注目画素の濃度レベルを基に、注目画素内の複数のサブ領域それぞれに濃度レベルを設定する濃度レベル設定手段と
    からなることを特徴とした請求項1に記載された画像処理装置。
  3. 前記のエッジ判定手段が識別するエッジ方向は、主走査方向のいずれかの方向のエッジおよび細線エッジを含むことを特徴とする請求項1又は請求項2に記載された画像処理装置。
  4. 多値画像データに基づいて、画素を主走査方向に複数のサブ領域に分割しサブ領域の単位で画像を形成するためのデジタル画像データを出力する画像処理の方法であり、
    多値画像データに基づいて、注目画素とその周辺画素の濃度レベルの差から注目画素のエッジ方向を判定し、
    判定された注目画素のエッジ方向にしたがって、注目画素内の複数のサブ領域に濃度レベルを設定して各注目画素内の濃度分布を変化させ
    前記のエッジ方向の判定では、注目画素に対しエッジと反対側に隣接する画素の濃度レベルがしきい値よりも高い場合、判定されたエッジ方向をキャンセルする
    ことを特徴とした画像処理の方法。
JP28100198A 1998-10-02 1998-10-02 画像処理装置 Expired - Fee Related JP3823562B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP28100198A JP3823562B2 (ja) 1998-10-02 1998-10-02 画像処理装置
US09/408,366 US6978045B1 (en) 1998-10-02 1999-09-29 Image-processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28100198A JP3823562B2 (ja) 1998-10-02 1998-10-02 画像処理装置

Publications (2)

Publication Number Publication Date
JP2000115540A JP2000115540A (ja) 2000-04-21
JP3823562B2 true JP3823562B2 (ja) 2006-09-20

Family

ID=17632896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28100198A Expired - Fee Related JP3823562B2 (ja) 1998-10-02 1998-10-02 画像処理装置

Country Status (1)

Country Link
JP (1) JP3823562B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100698284B1 (ko) 2004-12-16 2007-03-22 삼성전자주식회사 부화소 구조의 디스플레이에서 컬러 에러 감소 장치 및 방법
KR100772906B1 (ko) 2005-08-12 2007-11-05 삼성전자주식회사 영상신호 표시 방법 및 장치
KR100818988B1 (ko) 2006-09-05 2008-04-04 삼성전자주식회사 영상신호 처리 방법 및 장치
JP4912270B2 (ja) * 2007-10-16 2012-04-11 キヤノン株式会社 画像処理装置及びその制御方法

Also Published As

Publication number Publication date
JP2000115540A (ja) 2000-04-21

Similar Documents

Publication Publication Date Title
JP4262112B2 (ja) 高品質な印刷用画像データを生成するレーザ印刷装置
JPH03193472A (ja) 画像処理装置
US5805724A (en) Method and system for hybrid error diffusion processing of image information using dynamic screens based on brightness/darkness settings
JPH1070659A (ja) 誤差拡散方法及びシステム
US6978045B1 (en) Image-processing apparatus
JPH1070660A (ja) 誤差拡散方法及び誤差拡散システム
JPH1070661A (ja) 誤差拡散方法及び誤差拡散システム
US5805304A (en) Image processing apparatus
JP3823562B2 (ja) 画像処理装置
JP4058823B2 (ja) 画像処理装置
JP3757644B2 (ja) 画像処理装置
JP4281126B2 (ja) 画像処理装置
JPH1075360A (ja) マルチレベル階調画素値のレベル数減少方法及びシステム
JPH08125860A (ja) 画像記録装置
JPS59189782A (ja) 画像処理装置
JP4182959B2 (ja) 二値化処理を行う画像処理装置及び画像処理プログラム
US6753119B2 (en) Method of and apparatus for generating proof image
KR100490244B1 (ko) 화상처리 시스템의 임계값에 의한 오차 확산방법
JP2003305883A (ja) 画像形成装置
JPS60236363A (ja) 中間調表現方法
JP2701310B2 (ja) 中間調画像生成方法および装置
JP2007006271A (ja) 二値化処理を行う画像処理装置及び画像処理プログラム
JPH0131344B2 (ja)
JP3950871B2 (ja) 画像処理方法及びその装置
JP2943591B2 (ja) 多階調白抜きデータ生成方法およびその装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20050712

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060619

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees