JP4328511B2 - Pattern recognition apparatus, pattern recognition method, program, and storage medium - Google Patents

Pattern recognition apparatus, pattern recognition method, program, and storage medium Download PDF

Info

Publication number
JP4328511B2
JP4328511B2 JP2002300053A JP2002300053A JP4328511B2 JP 4328511 B2 JP4328511 B2 JP 4328511B2 JP 2002300053 A JP2002300053 A JP 2002300053A JP 2002300053 A JP2002300053 A JP 2002300053A JP 4328511 B2 JP4328511 B2 JP 4328511B2
Authority
JP
Japan
Prior art keywords
category
large classification
classification
similarity
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002300053A
Other languages
Japanese (ja)
Other versions
JP2004133841A (en
Inventor
裕章 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002300053A priority Critical patent/JP4328511B2/en
Publication of JP2004133841A publication Critical patent/JP2004133841A/en
Application granted granted Critical
Publication of JP4328511B2 publication Critical patent/JP4328511B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、文字認識等のためのパターン認識装置、パターン認識方法、プログラムおよび記憶媒体に関する。
【0002】
【従来の技術】
パターン認識の実用例として文字認識が一般的である。文字認識装置では、入力された文字から特徴を抽出し、あらかじめ用意された対象文字すべての標準パターンと比較し、類似度の最も高い文字を認識結果として出力する。入力文字と標準パターンとを比較する識別演算は、字種の増加とともに計算量が増加し、計算量を減少しようとすると、認識精度が低下する。日本語は中国語とともに字種の多い言語であり、認識精度を維持しつつ処理を高速化する工夫が為されている。
【0003】
例えば、識別演算の前に、文字数を絞り込む大分類処理を行う認識処理が提案されている。この場合、大分類に対して、本来の識別演算を詳細識別と呼ぶことがある。
【0004】
大分類では、詳細識別に比べ計算量の少ない識別演算を行い、類似度上位から特定の文字数を選択し、あるいは類似度が閾値を越えた文字を選択する。詳細識別では、大分類で絞り込まれた文字のみを識別演算し、最も類似度の高い文字を認識結果として出力する。
【0005】
これによって認識精度を維持しつつ処理を高速化し得る。
【0006】
一方、類似文字情報を用いた文字認識処理が提案されている。
【0007】
特開平5−20503号公報(従来例1という。)記載の文字認識処理では、形状の類似する文字を集めた候補文字辞書を設け、候補文字辞書から認識結果に類似する文字を抽出し、認識結果とともに類似の文字を選択可能とする。
【0008】
特開平8−147406号公報(従来例2)記載の文字認識処理では、認識処理の過程で認識結果になる可能性のある類似候補文字を抽出しておき、認識結果としての文字を確定できないときに、ある類似候補文字を検索可能とする。
【0009】
【発明が解決しようとする課題】
従来例1、2は、誤認識に際して、ユーザが類似の文字を選択することを容易にしたもので、認識精度を高めるものではない。
【0010】
本発明はこのような従来の問題点を解消すべく創案されたもので、処理速度を維持しつつ認識精度を向上する。
【0011】
【課題を解決するための手段】
本発明に係るパターン認識装置は、認識対象のパターンを大大分類処理するための大大分類カテゴリを含む大大分類辞書と、前記大大分類処理よりも詳細な大分類処理を実行するための大分類カテゴリを含む大分類辞書と、前記大分類辞書に含まれる各大分類カテゴリに類似する類似カテゴリを示す類似カテゴリテーブルと、前記大分類処理よりも詳細な詳細識別処理を実行するための詳細識別辞書と、前記大大分類辞書を参照して、前記認識対象パターンに対応した大大分類カテゴリを抽出する大大分類手段と、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリそれぞれについて、前記大分類辞書を参照して前記認識対象パターンとの間の類似度を算出する第1の大分類類似度算出手段と、前記第1の大分類類似度算出手段で算出された類似度のうちの最大類似度に応じて、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリの中から大分類カテゴリを選択し、前記類似カテゴリテーブルを参照して、当該選択された大分類カテゴリに類似する類似カテゴリを抽出する類似カテゴリ抽出手段と、前記大分類辞書を参照して、前記類似カテゴリ抽出手段で抽出された類似カテゴリと前記認識対象パターンとの間の類似度を算出する第2の大分類類似度算出手段と、前記第1の大分類類似度算出手段で算出した類似度と前記第2の大分類類似度算出手段で算出した類似度とに基づいて、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリと前記類似カテゴリ抽出手段で抽出された類似カテゴリとの中から、大分類結果のカテゴリを抽出する大分類結果抽出手段と、前記大分類結果抽出手段で抽出された大分類結果のカテゴリに分類される認識結果候補を対象として、前記詳細識別辞書を参照して詳細識別処理を行うことにより、前記認識結果候補の中から前記認識対象パターンの認識結果を特定する詳細識別手段とを備える。
【0012】
【発明の実施の形態】
次に本発明に係るパターン認識装置の第1の実施形態を図面に基づいて説明する。
【0013】
[パターン認識装置]
図1は、本発明に係るパターン認識装置の第1の実施形態を示すブロック図である。
【0014】
パターン認識装置は、磁気ディスク等の外部記憶装置104およびポインティングデバイス107を備え、画像データを外部記憶装置104またはポインティングデバイス107から入力する。パターン認識装置は全体制御のためのCPU101を備え、CPU101の制御プログラムはROM102に格納されている。外部記憶装置104等から入力された画像データはRAM103に保持され、ROM102内の制御プログラムにより、パターン認識のための処理を実行する。パターン認識のための大分類辞書および詳細識別辞書が制御プログラムとともにROM102に格納され、あるいは必要な字種ごとに、外部記憶装置104からRAM103に読み込まれる。
【0015】
図1において、105はディスプレイ、106はキーボードである。また、109はネットワークインターフェースであり、図示しない遠隔地に存在する装置と通信し、プログラム、認識辞書、データ等を送受信し得る。
【0016】
図示しないが、その他、文字認識に適用する場合には画像を読み取るためのイメージスキャナや、音声認識に適用する場合にはマイクや再生装置を含んで構成してもよい。
【0017】
次に、パターン認識装置において実行されるパターン認識方法を説明する。
【0018】
[パターン認識方法の第1の実施形態]
パターン認識方法の第1の実施形態を図面に基づいて説明する。第1の実施形態は、大分類の処理対象とするカテゴリを絞り込むために、大大分類を行うものである。すなわち、第1のパターン認識手段による大大分類結果に対して、第2の認識手段による大分類の処理を実行し、さらに、第2のパターン認識手段による大分類結果に対して、第3の認識手段による詳細分類の処理を実行する。
【0019】
図2は、図1のパターン認識装置で実行されるパターン認識方法の第1の実施形態を示すフローチャート、図3は、図2のパターン認識方法における類似カテゴリテーブル作成方法一例を示すフローチャート、図4は、図2のパターン認識方法における類似カテゴリテーブルの一例を説明する図、図7は、大大分類の分類方法を示す概念図、図8は、大大分類の他の分類方法のための輪郭の方向指数を示す概念図、図9は、図8で使用した方向指数を示す概念図である。
【0020】
図2において、第1の実施形態の処理の流れを説明する。
【0021】
ステップS501:大分類辞書のカテゴリをより大きなカテゴリに分類した大大分類辞書を用いて、大大分類を実行する。大大分類は、大分類よりも計算量が少ない処理方法を用いる。例えば大大分類に用いる一つの方法として、光学的文字認識装置では、特定領域の黒画素の存否で分類し得る。図7の(10−1)において、特徴領域を3×3の領域(左上から右方向にa、b、c、2段面の左から右にd、e、f、3段面の左から右にg、h、iの符号を付す。)に分割した例を示す。図7の(10−2)は文字「A」の画素と、これら分割領域との関係を示し、(10−3)では文字「L」の画素を分割領域の関係を示す。文字「A」は領域b、d、e、f、g、hに黒画素が存在し、文字「L」は領域a、b、e、g、h、iに黒画素が存在する。このように黒画素が存在する領域によって文字のカテゴリを大大分類し得る。
【0022】
あるいは、特徴領域内の画像の輪郭を抽出し、輪郭を形成する境界画素に、図9の方向指数を与えることによって、文字を大大分類し得る。特徴領域内の境界画素は左から右の走査を上方から下方に順次進める順序で評価され、注目されている境界画素P0に続く画素の方向は、注目画素の周囲8画素のうち対向しない4方向(例えば下、右下、右、右上)のいずれに存在するか表現すれば、該特徴データを表現するのに十分である。これらの方向は、例えばC1(下)、C2(右下)、C3(右)、C4(右上)の方向指数によって表現される。例えば、図8で、特徴領域701(ひらがな「い」1文字の画像を示す。)の幅をw、高さをhとするとき、特徴領域701をその幅、高さを所定数に分割し、複数の小領域を形成する。分割数は例えば、幅方向分割数n=4、高さ方向分割数m=4である。
【0023】
図8では1個の小領域702を代表的に示し、小領域内の画素の内、境界画素に斜線を付し、かつP1、P2、P3、P4、P5、P6、P7、P8の符号を与えている。これら境界画素は、左から右、上から下の走査順序でみるとき、画素P1に続いて画素P2が存在し、画素P2に続いて画素P3が存在する。また画素P4に続いて画素P5が存在し、画素P5に続いて画素P6が存在し、画素P6に続いて画素P7が存在し、画素P7に続いて画素P8が存在する。この連続状態は、画素P1に方向指数C2、画素P2に方向指数C2、画素P4に方向指数C2、画素P5に方向指数C3、画素P6に方向指数C2、画素P7に方向指数C2を与えることによって表現される。
【0024】
各小領域では方向指数を統計的に処理し、例えば各方向指数の個数をその小領域の特徴データとする。小領域702ではC2が5回、C3が1回生じているので特徴データを{C1,C2,C3,C4}とすると、{0,5,1,0}となる。あるいは、最頻の方向指数を該小領域の特徴データとすると、画像の大局的方向が表現される。
【0025】
このような特徴データにおいて、例えば4個の要素のうちのいずれかの要素の個数等により、カテゴリ(大大分類カテゴリという。)を抽出する。これによって、大分類の対象となるカテゴリが減少し、大分類処理を効率化し得る。
【0026】
ステップ502:ステップS501の大大分類で選択された大大分類カテゴリについてのみ大分類辞書を参照して、パターンの特徴と標準パターンとの類似度を算出する。
【0027】
ステップS503:大分類カテゴリのうち、類似度が最大となる大分類カテゴリを抽出する。最大類似度Sと所定の閾値T1、T2、T3、T4(T1>T2>T3>T4)とを比較し、Sの値により次の処理を選択する。
【0028】
S>T1のときそれ以上のカテゴリの追加は不要と判断し、ステップS508に移行する。T1≧S>T2のときステップS504に移行し、T2≧S>T3のときステップS505に移行し、T3≧S>T4のときステップS506に移行する。これらステップにおいて、類似度が高い程、より少数の大分類カテゴリを抽出し、認識精度を維持しつつ、処理を効率化し得る。
【0029】
ステップS504:大分類の類似度が第1位のカテゴリの類似カテゴリに正解の文字が含まれる可能性があると判断し、類似カテゴリテーブルから大分類類似度第1位のカテゴリの類似カテゴリを抽出して、大大分類の結果に追加する。
【0030】
ステップS505:大分類の類似度が第1および第2位のカテゴリの類似カテゴリを類似カテゴリテーブルから抽出して、大大分類の結果に追加する。
【0031】
ステップS506:大分類の類似度が第1位から第8位のカテゴリの類似カテゴリを類似カテゴリテーブルから抽出して、大大分類の結果に追加する。
【0032】
ステップS507:追加されたカテゴリに対して、大分類辞書のカテゴリとの類似度を算出する。
【0033】
ステップS508:ステップS502とステップS507で計算された大分類演算結果を使用して、カテゴリ選択を行う。このステップで選択されたカテゴリが大分類の結果となる。
【0034】
ステップS509:詳細識別実行し、認識結果を決定する。
【0035】
図3において、第1の実施形態では、以下の処理によって類似カテゴリテーブルを作成する。
【0036】
ステップS601:大分類辞書に格納されている標準パターンの最初のカテゴリを注目カテゴリとする。
【0037】
ステップS602:すべてのカテゴリが終了するまでステップS603以下の処理を行う。
【0038】
ステップS603:注目カテゴリの標準パターンとそれ以外のすべてのカテゴリの標準パターンとの類似度を計算する。
【0039】
ステップS604:類似度の高い上位K個のカテゴリを選択し、それらを記憶する。
【0040】
ステップS605:注目カテゴリの次のカテゴリを注目カテゴリとしステップS602に戻る。
【0041】
ステップS606:すべてのカテゴリの処理が終了したら、選択された上位M個の各カテゴリについて、そのカテゴリの類似カテゴリを注目カテゴリとする。
【0042】
図4(a)に示すように、ステップS604の処理は、K=2とすると、注目カテゴリ「A」に対する類似カテゴリは「B」、「C」、注目カテゴリ「B」に対する類似カテゴリは「A」、「D」、注目カテゴリ「C」に対する類似カテゴリは「A」、「B」、注目カテゴリ「D」に対する類似カテゴリは「B」、「A」となる。
【0043】
図4(b)に示すように、類似カテゴリテーブルはカテゴリ「A」について類似カテゴリ個数「3」、類似カテゴリ「B」、「C」、「D」、カテゴリ「B」について類似カテゴリ個数「3」、類似カテゴリ「A」、「C」、「D」、カテゴリ「C」について類似カテゴリ個数「1」、類似カテゴリ「A」、カテゴリ「D」について類似カテゴリ個数「1」、類似カテゴリ「B」が表示している。
【0044】
なお、大分類辞書を使用せず、詳細識別辞書や他のすべての標準パターンを含むデータなどを用いて類似カテゴリテーブルを作成してもよい。
【0045】
第1の実施形態では、大大分類で選択されたカテゴリの信頼度が高いカテゴリが含まれる場合は、追加するカテゴリを減らすことで計算量を制限することができ、大大分類の精度の低さを補いながら、高速に認識することができる効果がある。
【0046】
[プログラム]
図1のパターン認識装置における制御プログラムには、パターン認識方法の第1の実施形態を実行するためのプログラムが含まれる。第1の実施形態を実行するためのプログラムはステップS501〜S509、ステップS601〜S606の処理を実行するルーチンを含む。
[記憶媒体]
本発明にかかるパターン認識方法は図1のパターン認識装置以外の装置、例えば汎用的なコンピュータでも実施可能であり、その場合、記憶媒体等で提供される制御プログラムを汎用コンピュータの外部記憶装置にセットし、オペレータ等の指示によりCPU等で実行してもよい。
【0047】
図5は、パターン認識方法の第1の実施形態を実行するためのプログラムを記憶した記憶媒体を示すメモリマップである。
【0048】
図5においてアドレスA0乃至A1にはディレクトリ情報が格納され、A1の次のアドレスからアドレスA2までの領域には第1の実施形態における図2、図3のフローチャートを実行するためのプログラムが格納される。
【0049】
特に図示しないが、各種プログラムに従属するデータもディレクトリ情報として管理し、また、各種プログラムをコンピュータにインストールするためのプログラム等をディレクトリ情報内に記憶してもよい。
【0050】
[パターン認識装置の第2の実施形態]
図6は、本発明に係るパターン認識方法を複数の機器により実行するパターン認識装置の第1の実施形態を示すブロック図である。
【0051】
この実施形態では、インターネット・サービス・プロバイダにおいて、パターン認識のための認識辞書を含むプログラムがサーバSV1に格納されている。インターネット・サービス・プロバイダは通信手段を介してインターネットに接続され、インターネットからサーバSV1にアクセスすることによって、複数のユーザがパターン認識プログラムを利用し得る。
【0052】
ユーザはスキャナSC1、パーソナル・コンピュータPC1等を有し、スキャナSC1で読み取った原稿の画像をサーバSV1に送信する。サーバにおいては、原稿の画像を入力画像としてパターン認識の処理を実行する。
【0053】
なお大大分類の辞書、大分類辞書、詳細識別辞書は、必ずしもパターン認識プログラムと同一のコンピュータ上に存在する必要はなく、通信手段等を介して参照可能であればよい。例えば、パターン認識プログラムをサーバSV1、詳細識別辞書等の辞書を別個のサーバSV2に設け、別個のサービスとすることも可能である。この場合パターン認識プログラムの保有者、種々の辞書の保有者それぞれがプログラム、辞書という知的資産を内部に保有でき、違法コピー等を防止できる。
【0054】
【発明の効果】
本発明によれば、処理速度を低下することなく認識精度を向上する。
【図面の簡単な説明】
【図1】 本発明の実施形態に係るパターン認識装置の第1の実施形態を示すブロック図である。
【図2】 図1のパターン認識装置で実行されるパターン認識方法の第1の実施形態を示すフローチャートである。
【図3】 図2のパターン認識方法における類似カテゴリテーブル作成方法一例を示すフローチャートである。
【図4】 図2のパターン認識方法における類似カテゴリテーブルの一例を説明する図である。
【図5】 図1のパターン認識装置で実行される各種データ処理プログラム格納する記憶媒体のメモリマップである。
【図6】 本発明に係るパターン認識方法を複数の機器により実行するパターン認識システムを示すブロック図である。
【図7】 大大分類の分類方法を示す概念図である。
【図8】 大大分類の他の分類方法のための輪郭の方向コードを示す概念図である。
【図9】 図8で使用した方向コード向を示す概念図である。
【符号の説明】
101・・・CPU
102・・・ROM
103・・・RAM
104・・・外部記憶装置
105・・・ディスプレイ
106・・・キーボード
107・・・ポインティングデバイス
108・・・ネットワークインターフェース
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a pattern recognition apparatus, a pattern recognition method, a program, and a storage medium for character recognition and the like.
[0002]
[Prior art]
Character recognition is common as a practical example of pattern recognition. The character recognition device extracts features from the input characters, compares them with standard patterns of all target characters prepared in advance, and outputs the character having the highest similarity as a recognition result. In the identification operation for comparing the input character and the standard pattern, the amount of calculation increases as the character type increases, and the recognition accuracy decreases when the amount of calculation is reduced. Japanese is a language that has many character types along with Chinese, and has been devised to speed up processing while maintaining recognition accuracy.
[0003]
For example, a recognition process has been proposed in which a large classification process for narrowing the number of characters is performed before the identification calculation. In this case, with respect to the large classification, the original identification calculation may be referred to as detailed identification.
[0004]
In the large classification, an identification calculation with a smaller calculation amount than that of the detailed identification is performed, and a specific number of characters is selected from the top of the similarity, or a character whose similarity exceeds the threshold is selected. In the detailed identification, only the characters narrowed down by the large classification are discriminated and the character with the highest similarity is output as the recognition result.
[0005]
This can speed up the processing while maintaining the recognition accuracy.
[0006]
On the other hand, a character recognition process using similar character information has been proposed.
[0007]
In the character recognition processing described in Japanese Patent Laid-Open No. 5-20503 (referred to as Conventional Example 1), a candidate character dictionary in which characters having similar shapes are collected is provided, and characters similar to the recognition result are extracted from the candidate character dictionary and recognized. A similar character can be selected along with the result.
[0008]
In the character recognition processing described in Japanese Patent Application Laid-Open No. 8-147406 (conventional example 2), similar candidate characters that may become recognition results in the process of recognition processing are extracted, and characters as recognition results cannot be determined. In addition, a similar candidate character can be searched.
[0009]
[Problems to be solved by the invention]
Conventional examples 1 and 2 make it easy for the user to select a similar character when erroneously recognizing, and do not increase the recognition accuracy.
[0010]
The present invention was devised to solve such conventional problems, and improves the recognition accuracy while maintaining the processing speed.
[0011]
[Means for Solving the Problems]
A pattern recognition apparatus according to the present invention includes a large classification dictionary including a large classification category for performing large classification processing on a pattern to be recognized, and a large classification category for executing a large classification process that is more detailed than the large classification process. Including a large classification dictionary, a similar category table showing similar categories similar to each large classification category included in the large classification dictionary, a detailed identification dictionary for performing detailed identification processing more detailed than the large classification processing, With reference to the large classification dictionary, a large classification means for extracting a large classification category corresponding to the recognition target pattern, and each of a plurality of large classification categories classified into the large classification category extracted by the large classification means, A first major similarity calculating unit that calculates a similarity between the recognition target pattern and the first classification dictionary by referring to the major classification dictionary; Depending on the maximum similarity among the similarity degrees calculated by the class similarity calculation unit, selects the large classification category from among the plurality of large classification category the classified into large large classification category extracted in large rough classification means , Similar category extraction means for extracting similar categories similar to the selected large category category with reference to the similar category table, and similarities extracted by the similar category extraction means with reference to the large classification dictionary A second major classification similarity calculating unit that calculates a similarity between a category and the recognition target pattern; a similarity calculated by the first major classification similarity calculating unit; and the second major classification similarity Based on the similarity calculated by the calculation means, a plurality of large classification categories classified into the large classification categories extracted by the large classification means and the classes extracted by the similar category extraction means Major classification result extraction means for extracting a category of a major classification result from the categories, and detailed identification for recognition result candidates classified into the category of the major classification result extracted by the major classification result extraction means Detailed identification means for identifying a recognition result of the recognition target pattern from the recognition result candidates by performing detailed identification processing with reference to a dictionary.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Next, a first embodiment of a pattern recognition apparatus according to the present invention will be described with reference to the drawings.
[0013]
[Pattern recognition device]
FIG. 1 is a block diagram showing a first embodiment of a pattern recognition apparatus according to the present invention.
[0014]
The pattern recognition apparatus includes an external storage device 104 such as a magnetic disk and a pointing device 107, and inputs image data from the external storage device 104 or the pointing device 107. The pattern recognition apparatus includes a CPU 101 for overall control, and a control program for the CPU 101 is stored in the ROM 102. Image data input from the external storage device 104 or the like is held in the RAM 103, and processing for pattern recognition is executed by a control program in the ROM. A large classification dictionary and a detailed identification dictionary for pattern recognition are stored in the ROM 102 together with the control program, or are read from the external storage device 104 into the RAM 103 for each necessary character type.
[0015]
In FIG. 1, 105 is a display and 106 is a keyboard. Reference numeral 109 denotes a network interface, which can communicate with a device located at a remote place (not shown) to transmit / receive a program, a recognition dictionary, data, and the like.
[0016]
Although not shown, the image scanner may be configured to include an image scanner for reading an image when applied to character recognition, and a microphone or a playback device when applied to voice recognition.
[0017]
Next, a pattern recognition method executed in the pattern recognition apparatus will be described.
[0018]
[First Embodiment of Pattern Recognition Method]
A first embodiment of a pattern recognition method will be described with reference to the drawings. In the first embodiment, large classification is performed in order to narrow down the categories to be processed for large classification. That is, a large classification process by the second recognition unit is executed on the large classification result by the first pattern recognition unit, and a third recognition is performed on the large classification result by the second pattern recognition unit. The detailed classification process by means is executed.
[0019]
2 is a flowchart showing a first embodiment of a pattern recognition method executed by the pattern recognition apparatus of FIG. 1, FIG. 3 is a flowchart showing an example of a similar category table creation method in the pattern recognition method of FIG. 2 is a diagram for explaining an example of a similar category table in the pattern recognition method of FIG. 2, FIG. 7 is a conceptual diagram showing a classification method for large classification, and FIG. 8 is a contour direction for another classification method of large classification FIG. 9 is a conceptual diagram showing the direction index used in FIG. 8.
[0020]
In FIG. 2, the flow of processing of the first embodiment will be described.
[0021]
Step S501: Large classification is executed using a large classification dictionary obtained by classifying the categories of the large classification dictionary into larger categories. The large classification uses a processing method with a smaller calculation amount than the large classification. For example, as one method used for large classification, the optical character recognition apparatus can perform classification based on the presence or absence of black pixels in a specific area. In (10-1) of FIG. 7, the feature region is a 3 × 3 region (a, b, c from the upper left to the right, d, e, f from the left of the second step surface to the right, and from the left of the third step surface. An example of division is shown on the right with g, h, and i. (10-2) in FIG. 7 shows the relationship between the pixel of the character “A” and these divided regions, and (10-3) shows the relationship between the pixel of the character “L” and the divided regions. The character “A” has black pixels in the regions b, d, e, f, g, and h, and the character “L” has black pixels in the regions a, b, e, g, h, and i. In this way, the category of characters can be classified according to the area where black pixels exist.
[0022]
Alternatively, the characters can be classified into large categories by extracting the contour of the image in the feature region and giving the direction index of FIG. 9 to the boundary pixels forming the contour. The boundary pixels in the feature region are evaluated in the order in which the left-to-right scanning is sequentially performed from the top to the bottom, and the directions of the pixels following the target boundary pixel P0 are the four non-opposing directions among the eight pixels around the target pixel. Representing any of them (for example, lower, lower right, right, upper right) is sufficient to represent the feature data. These directions are expressed by direction indices of C1 (lower), C2 (lower right), C3 (right), and C4 (upper right), for example. For example, in FIG. 8, when the width of the feature region 701 (indicating an image of one character of hiragana “i”) is w and the height is h, the feature region 701 is divided into a predetermined number of widths and heights. A plurality of small regions are formed. The number of divisions is, for example, the width direction division number n = 4 and the height direction division number m = 4.
[0023]
In FIG. 8, one small region 702 is representatively shown, and among the pixels in the small region, the boundary pixels are hatched, and the symbols P1, P2, P3, P4, P5, P6, P7, and P8 are denoted. Giving. These boundary pixels have a pixel P2 following the pixel P1 and a pixel P3 following the pixel P2, when viewed in the scanning order from left to right and from top to bottom. Further, the pixel P5 exists after the pixel P4, the pixel P6 exists after the pixel P5, the pixel P7 exists after the pixel P6, and the pixel P8 exists after the pixel P7. This continuous state is obtained by giving the direction index C2 to the pixel P1, the direction index C2 to the pixel P2, the direction index C2 to the pixel P4, the direction index C3 to the pixel P5, the direction index C2 to the pixel P6, and the direction index C2 to the pixel P7. Expressed.
[0024]
In each small area, the direction index is statistically processed. For example, the number of each direction index is used as characteristic data of the small area. In the small area 702, C2 occurs 5 times and C3 occurs once. Therefore, if the feature data is {C1, C2, C3, C4}, {0, 5, 1, 0} is obtained. Alternatively, if the most frequent direction index is the feature data of the small area, the global direction of the image is expressed.
[0025]
In such feature data, for example, a category (referred to as a large classification category) is extracted based on the number of any of the four elements. As a result, the categories to be classified are reduced, and the classification process can be made more efficient.
[0026]
Step 502: Only for the large classification category selected in the large classification in step S501, the similarity between the pattern feature and the standard pattern is calculated with reference to the large classification dictionary.
[0027]
Step S503: From the large classification categories, a large classification category having the maximum similarity is extracted. The maximum similarity S is compared with predetermined threshold values T1, T2, T3, and T4 (T1>T2>T3> T4), and the next process is selected according to the value of S.
[0028]
When S> T1, it is determined that it is not necessary to add more categories, and the process proceeds to step S508. When T1 ≧ S> T2, the process proceeds to step S504. When T2 ≧ S> T3, the process proceeds to step S505. When T3 ≧ S> T4, the process proceeds to step S506. In these steps, as the degree of similarity is higher, a smaller number of large classification categories are extracted, and the processing efficiency can be improved while maintaining recognition accuracy.
[0029]
Step S504: It is determined that there is a possibility that a correct character is included in the similar category of the category with the first category of major classification, and the similar category of the category with the first category of major classification similarity is extracted from the similar category table. And add it to the result of large classification.
[0030]
Step S505: Extract the similar categories of the categories having the first and second categories of major classification from the similar category table and add them to the major classification result.
[0031]
Step S506: The similar category of the category having the first to the eighth rank in the large classification is extracted from the similar category table and added to the large classification result.
[0032]
Step S507: The similarity between the added category and the category of the major classification dictionary is calculated.
[0033]
Step S508: Category selection is performed using the large classification calculation results calculated in Step S502 and Step S507. The category selected in this step is the result of the major classification.
[0034]
Step S509: Detailed identification is executed, and the recognition result is determined.
[0035]
In FIG. 3, in the first embodiment, a similar category table is created by the following processing.
[0036]
Step S601: The first category of the standard pattern stored in the large classification dictionary is set as the attention category.
[0037]
Step S602: The processes in and after step S603 are performed until all categories are completed.
[0038]
Step S603: The similarity between the standard pattern of the target category and the standard patterns of all other categories is calculated.
[0039]
Step S604: The top K categories having high similarity are selected and stored.
[0040]
Step S605: The category next to the attention category is set as the attention category, and the process returns to step S602.
[0041]
Step S606: When all categories have been processed, for each of the selected top M categories, the similar category of that category is set as the target category.
[0042]
As shown in FIG. 4A, in the process of step S604, when K = 2, the similar categories for the attention category “A” are “B” and “C”, and the similar category for the attention category “B” is “A”. ”,“ D ”and the similar category for the attention category“ C ”are“ A ”and“ B ”, and the similar category for the attention category“ D ”is“ B ”and“ A ”.
[0043]
As shown in FIG. 4B, the similar category table has a similar category number “3” for the category “A”, a similar category number “3” for the similar categories “B”, “C”, “D”, and the category “B”. ”, Similar categories“ A ”,“ C ”,“ D ”, category“ C ”, similar category number“ 1 ”, similar categories“ A ”, category“ D ”, similar category number“ 1 ”, similar category“ B ” Is displayed.
[0044]
Note that the similar category table may be created using a detailed identification dictionary or data including all other standard patterns without using the large classification dictionary.
[0045]
In the first embodiment, when the category selected by the large classification includes a category with high reliability, the amount of calculation can be limited by reducing the added category, and the accuracy of the large classification is reduced. While supplementing, there is an effect that can be recognized at high speed.
[0046]
[program]
The control program in the pattern recognition apparatus of FIG. 1 includes a program for executing the first embodiment of the pattern recognition method. The program for executing the first embodiment includes a routine for executing the processes of steps S501 to S509 and steps S601 to S606.
[Storage medium]
The pattern recognition method according to the present invention can be implemented by an apparatus other than the pattern recognition apparatus of FIG. 1, for example, a general-purpose computer. In this case, a control program provided by a storage medium or the like is set in an external storage device of the general-purpose computer. However, it may be executed by a CPU or the like according to an instruction from an operator or the like.
[0047]
FIG. 5 is a memory map showing a storage medium storing a program for executing the first embodiment of the pattern recognition method.
[0048]
In FIG. 5, directory information is stored at addresses A0 to A1, and a program for executing the flowcharts of FIGS. 2 and 3 in the first embodiment is stored in the area from the address next to A1 to address A2. The
[0049]
Although not particularly illustrated, data depending on various programs may be managed as directory information, and a program for installing various programs in a computer may be stored in the directory information.
[0050]
[Second Embodiment of Pattern Recognition Apparatus]
FIG. 6 is a block diagram showing a first embodiment of a pattern recognition apparatus that executes a pattern recognition method according to the present invention using a plurality of devices.
[0051]
In this embodiment, in the Internet service provider, a program including a recognition dictionary for pattern recognition is stored in the server SV1. The Internet service provider is connected to the Internet through communication means, and by accessing the server SV1 from the Internet, a plurality of users can use the pattern recognition program.
[0052]
The user has a scanner SC1, a personal computer PC1, and the like, and transmits an image of a document read by the scanner SC1 to the server SV1. In the server, pattern recognition processing is executed using an image of the document as an input image.
[0053]
Note that the large classification dictionary, the large classification dictionary, and the detailed identification dictionary do not necessarily exist on the same computer as the pattern recognition program, and may be referred to via a communication unit or the like. For example, it is possible to provide a pattern recognition program as a separate service by providing a server SV1 and a dictionary such as a detailed identification dictionary in a separate server SV2. In this case, the owner of the pattern recognition program and the owner of various dictionaries can own the intellectual assets such as programs and dictionaries, and illegal copying can be prevented.
[0054]
【The invention's effect】
According to the present invention, the recognition accuracy is improved without reducing the processing speed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a first embodiment of a pattern recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart showing a first embodiment of a pattern recognition method executed by the pattern recognition apparatus of FIG. 1;
FIG. 3 is a flowchart showing an example of a similar category table creation method in the pattern recognition method of FIG. 2;
4 is a diagram for explaining an example of a similar category table in the pattern recognition method of FIG. 2; FIG.
5 is a memory map of a storage medium for storing various data processing programs executed by the pattern recognition apparatus of FIG. 1. FIG.
FIG. 6 is a block diagram showing a pattern recognition system for executing a pattern recognition method according to the present invention by a plurality of devices.
FIG. 7 is a conceptual diagram illustrating a classification method for large and large classifications.
FIG. 8 is a conceptual diagram showing contour direction codes for another classification method of large classification.
FIG. 9 is a conceptual diagram showing the direction code direction used in FIG. 8;
[Explanation of symbols]
101 ... CPU
102 ... ROM
103 ... RAM
104 ... External storage device 105 ... Display 106 ... Keyboard 107 ... Pointing device 108 ... Network interface

Claims (6)

認識対象のパターンを大大分類処理するための大大分類カテゴリを含む大大分類辞書と、
前記大大分類処理よりも詳細な大分類処理を実行するための大分類カテゴリを含む大分類辞書と、
前記大分類辞書に含まれる各大分類カテゴリに類似する類似カテゴリを示す類似カテゴリテーブルと、
前記大分類処理よりも詳細な詳細識別処理を実行するための詳細識別辞書と、
前記大大分類辞書を参照して、前記認識対象パターンに対応した大大分類カテゴリを抽出する大大分類手段と、
前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリそれぞれについて、前記大分類辞書を参照して前記認識対象パターンとの間の類似度を算出する第1の大分類類似度算出手段と、
前記第1の大分類類似度算出手段で算出された類似度のうちの最大類似度に応じて、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリの中から大分類カテゴリを選択し、前記類似カテゴリテーブルを参照して、当該選択された大分類カテゴリに類似する類似カテゴリを抽出する類似カテゴリ抽出手段と、
前記大分類辞書を参照して、前記類似カテゴリ抽出手段で抽出された類似カテゴリと前記認識対象パターンとの間の類似度を算出する第2の大分類類似度算出手段と、
前記第1の大分類類似度算出手段で算出した類似度と前記第2の大分類類似度算出手段で算出した類似度とに基づいて、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリと前記類似カテゴリ抽出手段で抽出された類似カテゴリとの中から、大分類結果のカテゴリを抽出する大分類結果抽出手段と、
前記大分類結果抽出手段で抽出された大分類結果のカテゴリに分類される認識結果候補を対象として、前記詳細識別辞書を参照して詳細識別処理を行うことにより、前記認識結果候補の中から前記認識対象パターンの認識結果を特定する詳細識別手段と
を備えることを特徴とするパターン認識装置。
A large classification dictionary including large classification categories for performing large classification processing of patterns to be recognized;
A large classification dictionary including a large classification category for performing detailed large classification processing than the large classification processing;
A similar category table showing similar categories similar to each major classification category included in the major classification dictionary;
A detailed identification dictionary for executing detailed identification processing more detailed than the large classification processing;
A large and large classification means for extracting a large and large classification category corresponding to the recognition target pattern with reference to the large and large classification dictionary;
First major similarity that calculates a similarity between the recognition target pattern and each of a plurality of major classification categories that are classified into major classification categories extracted by the major classification means Degree calculation means;
According to the maximum similarity among the similarities calculated by the first large classification similarity calculating means, a large classification is selected from a plurality of large classification categories classified into the large classification categories extracted by the large classification means. A similar category extracting means for selecting a category and referring to the similar category table to extract a similar category similar to the selected major category;
A second large category similarity calculating unit that calculates a similarity between the similar category extracted by the similar category extracting unit and the recognition target pattern with reference to the large category dictionary;
Based on the similarity calculated by the first large classification similarity calculating means and the similarity calculated by the second large classification similarity calculating means, the large classification categories extracted by the large classification means are classified. A large classification result extracting unit for extracting a category of a large classification result from the plurality of large classification categories and the similar category extracted by the similar category extracting unit;
By performing detailed identification processing with reference to the detailed identification dictionary for recognition result candidates classified into the category of the major classification result extracted by the major classification result extraction means, the recognition result candidates are selected from the recognition result candidates. A pattern recognition apparatus comprising: detailed identification means for identifying a recognition result of a recognition target pattern.
前記類似カテゴリテーブルは、前記大分類辞書に格納されているカテゴリ間の類似度を算出して、類似度の高いカテゴリ同士を類似カテゴリとすることにより作成されることを特徴とする請求項1に記載のパターン認識装置。  2. The similar category table is created by calculating a similarity between categories stored in the large classification dictionary and setting categories having high similarity as similar categories. The pattern recognition apparatus of description. 前記類似カテゴリ抽出手段において、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリの中から選択される大分類カテゴリの数は、前記第1の大分類類似度算出手段で算出される類似度のうちの最大類似度に応じて変わることを特徴とする請求項1に記載のパターン認識装置。In the similar category extracting means, the number of major classification categories selected from a plurality of major classification categories classified into the major classification categories extracted by the major classification means is the first major classification similarity calculating means. The pattern recognition apparatus according to claim 1, wherein the pattern recognition apparatus changes according to the maximum similarity among the similarities calculated in step (1). 大大分類手段が、大大分類辞書を参照して、認識対象パターンに対応した大大分類カテゴリを抽出する大大分類ステップと、
第1の大分類類似度算出手段が、前記大大分類ステップで抽出された大大分類カテゴリに分類される複数の大分類カテゴリそれぞれについて、前記大大分類処理よりも詳細な大分類処理を実行するための大分類辞書を参照して、前記認識対象パターンとの間の類似度を算出する第1の大分類類似度算出ステップと、
類似カテゴリ抽出手段が、前記第1の大分類類似度算出ステップで算出された類似度のうちの最大類似度に応じて、前記大大分類ステップで抽出された大大分類カテゴリに分類される複数の大分類カテゴリの中から大分類カテゴリを選択し、前記大分類辞書に含まれる各大分類カテゴリに類似する類似カテゴリを示す類似カテゴリテーブルを参照して、当該選択された大分類カテゴリに類似する類似カテゴリを抽出する類似カテゴリ抽出ステップと、
第2の大分類類似度算出手段が、前記大分類辞書を参照して、前記類似カテゴリ抽出ステップで抽出された類似カテゴリと前記認識対象パターンとの間の類似度を算出する第2の大分類類似度算出ステップと、
大分類結果抽出手段が、前記第1の大分類類似度算出ステップで算出した類似度と前記第2の大分類類似度算出ステップで算出した類似度とに基づいて、前記大大分類ステップで抽出された大大分類カテゴリに分類される複数の大分類カテゴリと前記類似カテゴリ抽出ステップで抽出された類似カテゴリとの中から、大分類結果のカテゴリを抽出する大分類結果抽出ステップと、
詳細識別手段が、前記大分類結果抽出ステップで抽出された大分類結果のカテゴリに分類される認識結果候補を対象として、前記大分類処理よりも詳細な詳細識別処理を実行するための詳細識別辞書を参照して詳細識別処理を行うことにより、前記認識結果候補の中から前記認識対象パターンの認識結果を特定する詳細識別ステップと
を備えることを特徴とするパターン認識方法。
A large classification step in which the large classification means refers to the large classification dictionary and extracts a large classification category corresponding to the recognition target pattern;
A first major classification similarity calculating unit for executing a major classification process more detailed than the major classification process for each of a plurality of major classification categories classified into the major classification category extracted in the major classification step; A first large classification similarity calculating step of calculating a similarity with the recognition target pattern with reference to a large classification dictionary;
The similar category extracting means has a plurality of large categories classified into the large classification categories extracted in the large classification step according to the maximum similarity among the similarities calculated in the first large classification similarity calculation step. A similar category similar to the selected major category is selected by selecting a major category from the category categories and referring to a similar category table showing similar categories similar to each major category included in the major dictionary A similar category extracting step for extracting
A second major classification similarity calculator calculates a similarity between the similar category extracted in the similar category extraction step and the recognition target pattern with reference to the major classification dictionary. Similarity calculation step;
The large classification result extraction means is extracted in the large classification step based on the similarity calculated in the first large classification similarity calculation step and the similarity calculated in the second large classification similarity calculation step. A large classification result extracting step for extracting a category of a large classification result from a plurality of large classification categories classified into the large classification category and the similar category extracted in the similar category extraction step;
A detailed identification dictionary for executing a detailed identification process more detailed than the large classification process for a recognition result candidate classified into a category of the large classification result extracted by the large classification result extraction step. And a detailed identification step of identifying a recognition result of the recognition target pattern from the recognition result candidates by performing detailed identification processing with reference to FIG.
コンピュータを、
大大分類辞書を参照して、認識対象パターンに対応した大大分類カテゴリを抽出する大大分類手段、
前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリそれぞれについて、前記大大分類処理よりも詳細な大分類処理を実行するための大分類辞書を参照して、前記認識対象パターンとの間の類似度を算出する第1の大分類類似度算出手段、
前記第1の大分類類似度算出手段で算出された類似度のうちの最大類似度に応じて、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリの中から大分類カテゴリを選択し、前記大分類辞書に含まれる各大分類カテゴリに類似する類似カテゴリを示す類似カテゴリテーブルを参照して、当該選択された大分類カテゴリに類似する類似カテゴリを抽出する類似カテゴリ抽出手段、
前記大分類辞書を参照して、前記類似カテゴリ抽出手段で抽出された類似カテゴリと前記認識対象パターンとの間の類似度を算出する第2の大分類類似度算出手段、
前記第1の大分類類似度算出手段で算出した類似度と前記第2の大分類類似度算出手段で算出した類似度とに基づいて、前記大大分類手段で抽出された大大分類カテゴリに分類される複数の大分類カテゴリと前記類似カテゴリ抽出手段で抽出された類似カテゴリとの中から、大分類結果のカテゴリを抽出する大分類結果抽出手段、
前記大分類結果抽出手段で抽出された大分類結果のカテゴリに分類される認識結果候補を対象として、前記大分類処理よりも詳細な詳細識別処理を実行するための詳細識別辞書を参照して詳細識別処理を行うことにより、前記認識結果候補の中から前記認識対象パターンの認識結果を特定する詳細識別手段、
として機能させるためのコンピュータ実行可能なプログラム。
Computer
A large classification means for extracting a large classification category corresponding to the recognition target pattern with reference to the large classification dictionary,
For each of a plurality of large classification categories classified into the large classification categories extracted by the large classification means, refer to a large classification dictionary for executing a large classification process more detailed than the large classification process, and the recognition target First major similarity calculating means for calculating the similarity between the patterns;
According to the maximum similarity among the similarities calculated by the first large classification similarity calculating means, a large classification is selected from a plurality of large classification categories classified into the large classification categories extracted by the large classification means. Similar category extraction for selecting a category and extracting a similar category similar to the selected major category by referring to a similar category table showing similar categories similar to each major category included in the major category dictionary means,
Second major classification similarity calculating means for calculating a similarity between the similar category extracted by the similar category extracting means and the recognition target pattern with reference to the large classification dictionary;
Based on the similarity calculated by the first large classification similarity calculating means and the similarity calculated by the second large classification similarity calculating means, the large classification categories extracted by the large classification means are classified. A large classification result extracting unit for extracting a category of a large classification result from a plurality of large classification categories and the similar category extracted by the similar category extracting unit;
Refer to a detailed identification dictionary for performing a detailed identification process more detailed than the large classification process for recognition result candidates classified into the category of the large classification result extracted by the large classification result extraction unit. Detailed identification means for identifying the recognition result of the recognition target pattern from the recognition result candidates by performing identification processing;
A computer-executable program that functions as a computer.
請求項に記載のプログラムが格納されたコンピュータ読取可能な記憶媒体。A computer-readable storage medium in which the program according to claim 5 is stored.
JP2002300053A 2002-10-15 2002-10-15 Pattern recognition apparatus, pattern recognition method, program, and storage medium Expired - Fee Related JP4328511B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002300053A JP4328511B2 (en) 2002-10-15 2002-10-15 Pattern recognition apparatus, pattern recognition method, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002300053A JP4328511B2 (en) 2002-10-15 2002-10-15 Pattern recognition apparatus, pattern recognition method, program, and storage medium

Publications (2)

Publication Number Publication Date
JP2004133841A JP2004133841A (en) 2004-04-30
JP4328511B2 true JP4328511B2 (en) 2009-09-09

Family

ID=32289012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002300053A Expired - Fee Related JP4328511B2 (en) 2002-10-15 2002-10-15 Pattern recognition apparatus, pattern recognition method, program, and storage medium

Country Status (1)

Country Link
JP (1) JP4328511B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4834642B2 (en) * 2007-10-10 2011-12-14 日本電信電話株式会社 Graphic change device, graphic change method, computer program, and recording medium
CN108509416B (en) * 2018-03-20 2022-10-11 京东方科技集团股份有限公司 Sentence meaning identification method and device, equipment and storage medium

Also Published As

Publication number Publication date
JP2004133841A (en) 2004-04-30

Similar Documents

Publication Publication Date Title
US8005300B2 (en) Image search system, image search method, and storage medium
JP3919617B2 (en) Character recognition device, character recognition method, program, and storage medium
US20070143272A1 (en) Method and apparatus for retrieving similar image
JP3452774B2 (en) Character recognition method
CN101226596A (en) Document image processing apparatus and document image processing process
JP6900164B2 (en) Information processing equipment, information processing methods and programs
US20040213458A1 (en) Image processing method and system
CN109389115B (en) Text recognition method, device, storage medium and computer equipment
CN111695453B (en) Drawing recognition method and device and robot
CN112560849B (en) Neural network algorithm-based grammar segmentation method and system
JP7493937B2 (en) Method, program and system for identifying a sequence of headings in a document
CN111340020A (en) Formula identification method, device, equipment and storage medium
Baek et al. COO: Comic onomatopoeia dataset for recognizing arbitrary or truncated texts
Úbeda et al. Pattern spotting in historical documents using convolutional models
JP4328511B2 (en) Pattern recognition apparatus, pattern recognition method, program, and storage medium
JP5414631B2 (en) Character string search method, character string search device, and recording medium
CN115984886A (en) Table information extraction method, device, equipment and storage medium
CN111310442B (en) Method for mining shape-word error correction corpus, error correction method, device and storage medium
CN114399782A (en) Text image processing method, device, equipment, storage medium and program product
JP2011018311A (en) Device and program for retrieving image, and recording medium
JP7358838B2 (en) Information processing device and information processing program
CN115546790B (en) Document layout segmentation method, device, equipment and storage medium
US20240378913A1 (en) Information processing device, information processing method, and computer program product
CN116758565B (en) OCR text restoration method, equipment and storage medium based on decision tree
US20240257549A1 (en) Information processing system, document type identification method, and model generation method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051003

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060606

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4328511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees