JP4873138B2

JP4873138B2 - 情報処理装置及びプログラム

Info

Publication number: JP4873138B2
Application number: JP2006170877A
Authority: JP
Inventors: 照花斎藤
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-06-21
Filing date: 2006-06-21
Publication date: 2012-02-08
Anticipated expiration: 2026-06-21
Also published as: JP2008003740A

Description

本発明は、入力修正方法、並びにこの入力修正方法を適用した追記情報処理方法、追記情報処理装置、およびプログラムに関する。より詳細には、たとえば、文書に手書きで追加記入された付加情報（追記情報やアノテーションとも称する）を、文書本体から分離し、文書本体と関わりを持つ様々な情報処理に使用する際に利用される、入力された付加情報に対する修正の仕組みに関する。

情報処理技術の進歩の著しい今日、文書に関する様々な処理を自動処理する仕組みがある。たとえば、予め所定の情報が記載されている文書原本にさらに別の付加情報を手書きで追記し、その付加情報の追記された追記済文書を処理対象として、手書きで追記された付加情報に基づいて所定のデータ処理を自動的に実行する仕組みがある。

たとえば、定型伝票（いわゆる帳票）に手書きで情報を記入して、その記入された情報を処理対象とする自動帳票処理の仕組み（たとえば特許文献１，２を参照）や、日付や予定記入欄が用意された主に手帳やメモなどに手書きで予定を記入し、その記入された予定を電子データ化する個人情報管理（特にスケジュール管理ともいう）の仕組み（特許文献３を参照）もある。

また、学校や学習塾などの教育現場においては、生徒や受験者による解答が記入された答案用紙に採点官が採点した結果の用紙（教育用教材）を処理対象として、自動採点集計処理を行なう仕組みも考えられている（特許文献４を参照）もある。

特開平５−３４２２３９号公報特開平６−２７４１５６号公報特開平５−２１６９３２号公報特開平１１−３１０４６号公報

たとえば、特許文献１には、表の種別および表中の各データの行方向の位置並びに列方向の位置を指定するための識別マークを付与して表データを識別マーク付きデータ表帳票として印刷するようにし、データ表帳票に付されている認識マークをマーク読取手段によって読み取らせることで、識別データから帳票を特定して該当する表データを表示手段に表示するようにし、かつ該当する箇所を修正可能な状態に表示することで、少ない作業量で効率よくデータ修正および照合を行なうことができるようにした仕組みが提案されている。

また、特許文献２には、出力原稿をイメージデータに変換し、変換されたイメージデータを表示し、表示されたイメージ上にフォーム規定位置座標を指示し、指示されたフォーム規定位置座標に基づいてフォーム図形データを導出し、導出されたフォーム図形データに基づいてフォームを表示部に表示されているイメージデータに重ね合わせ表示する構成とすることで、所望の出力原稿に対するフォームを容易に作成できるようにした仕組みが提案されている。

また、特許文献３には、個人情報管理用の仕組みとして、書き込みの施された手帳などの紙面をスキャナより入力し、既知の方法により文字や枠線を検出し、検出した文字や枠線の配置を予め記憶された手帳の書式の知識と照合し、各記載項目の属性を表すデータを生成する仕組みが提案されている。

手帳やメモなどに手書きで記入した情報（本例では手帳に手書きで入力した予定の記載内容）が自動的に電子データに変換され、各記載項目を生成された属性に対応付けて切り換えてデータベースに登録することができるので、利用者がある書式の出力を要求した場合には、予め記憶された出力の書式を参照することにより、データベースの内容を紙上の各内容に対応した場所に印刷するなどができ便利である。

また、特許文献４には、答案用紙の手書き記入欄をタブレット上の入力域として定義するととともに、集計対象の入力域を識別可能に定義する書式データを記憶装置に記憶しておき、タブレットに答案用紙が重ね合せられた状態で、手書き記入欄に記入された情報をタブレットの入力域に入力された筆記データとして取り込んで文字認識することにより、採点などの記入作業を行なった後のキー入力などによるデータ入力を省力化する仕組みが提案されている。

一方、手書きで入力された付加情報に基づいてデータ処理を実行するに当たっては、入力された手書き情報（文字や図形）を如何様にして認識するかや、自動認識結果が信頼できない場合に自動認識処理した認識結果に対して如何様にして効率的に修正するかが問題となり、このような手書き情報の自動認識・修正の仕組みとしては、様々なものが考えられている（たとえば特許文献５を参照）。

特開２００４−１５２１１５号公報

ここで、特許文献５に記載の仕組みでは、取得したデータに含まれる複数の項目について項目ごとに内容の確信度を計算し、計算された確信度を用いて提示の方法を動的に変化させるようにしている。入力されたデータに含まれる各項目の確信度を用いて、データの修正方法を動的に変化させることで、郵便番号から住所を修正するなど関連の高い項目の内容を修正したり、常に疑わしい、つまり確信度の低い項目の内容を優先的に修正したりすることができるようにし、データの入力方法に因らずオペレータが介在する入力修正作業を効率よく迅速かつ正確に行なうことができるようにしている。

しかしながら、特許文献５に記載の仕組みでは、各項目の認識時にパターン認識の類似度を使用して「確信度」を算出するのみであるため、認識処理よりも前段の各種の前処理などで生じ得る、認識処理に影響を与える事象を考慮することができない。そのため、たとえば、局所的なノイズの有無が「確信度」に影響を与えてしまい、「確信度」の精度が問題となる。前処理の段階で問題があると、認識処理への入力が既に変質しており、「信頼度が高いが間違い」の認識結果を出す可能性があるからである。

本発明は、上記事情に鑑みてなされたものであり、自動データ処理に供される追記情報について、修正作業を効率よく迅速かつ正確に行なうことができるとともに、高精度に修正を要する追記情報を特定することのできる仕組みを提供することを目的とする。

本発明に係る仕組みにおいては、注目する付加情報に関して、認識処理の信頼度に関する特徴量を取得し、各特徴量に基づいて各処理の認識処理に関わるサブ信頼度をそれぞれ算出し、この算出したサブ信頼度に基づいて注目する付加情報に関しての最終的な信頼度を特定し、この最終的な信頼度が一定水準よりも低いか否かを判定することで認識処理の信頼度が一定水準よりも低い難認識情報を特定し、この特定した難認識情報の認識性能を向上させるための認識性能情報を提示するようにした。

その後には、認識性能情報の提示に対応して記入された修正後の付加情報をデータ処理に反映させる。その修正の反映方法としては、たとえば、認識後に保存されたデータを直接変更することで実現する手法を採ることができる。たとえば、修正結果は、認識後にデータベース操作などで直接データを変更することで反映するとよい。

ここで、「認識処理の信頼度に関する特徴量」は、認識処理そのものにおける信頼度に関する特徴量だけでなく、この認識処理よりも前段の認識処理に関わる各種の処理における信頼度に関する特徴量も含むものである。

認識処理そのものだけでなく、認識処理よりも前段の各種の前処理などで生じ得る、認識処理に影響を与える事象を考慮して、認識処理の信頼度が一定水準よりも低い難認識情報を特定するのである。

なお、本発明に係る仕組みは、電子計算機（コンピュータ）を用いてソフトウェアで実現することもでき、このためのプログラムやこのプログラムを格納した記録媒体を発明として抽出することも可能である。プログラムは、コンピュータ読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介した配信により提供されてもよい。

本発明によれば、認識処理そのものにおける信頼度に関する特徴量だけでなく、この認識処理よりも前段の認識処理に関わる各種の処理における信頼度に関する特徴量も取得し、認識処理の信頼度が一定水準よりも低い難認識情報を特定するようにした。

これにより、認識処理よりも前段の各種の前処理などで生じ得る認識処理に影響を与える事象を考慮することができるようになるので、全ての追記情報をチェックする必要がなく、誤認識を起し得る追記情報の修正作業を効率よく迅速かつ正確に行なうことができるだけでなく、高精度に難認識情報を特定することができる。修正対象の追記情報を高精度に特定して、効率よく迅速かつ正確に修正できるようになる。

以下、図面を参照して本発明の実施形態について詳細に説明する。

＜処理対象文書の例＞
図１は、本発明に係る追記情報処理装置を備えてなる情報処理システムにおいて処理対象とする文書の一例を示す図である。

図１に示す文書は、教育現場で紙媒体として使用される教育用教材８０であって、典型例として、問題文８２およびその解答欄８４（本例では括弧で示された部分）を有したものであり、図１（Ａ）はその文書原本８Ａを示し、図１（Ｂ）は、追記情報記入済の状態（追記済文書８Ｂ）を模式的に示している。また、データベースへの登録情報の一例を（Ｃ）に示す。

このような教育用教材８０は、具体的には教育機関で用いられるペーパーテストや練習問題シートなどが該当する。なお、教育用教材８０は、少なくとも解答欄８４を有していればよく、たとえば採点官が読み上げた問題について解答欄８４に解答を記入する場合などがあり、問題文８２については必ずしも記載されていなくともよい。

また、図１（Ａ）に示すように、教育用教材８０は、問題文８２および第１種の付加情報の一例である解答が記入される解答欄８４の他に、配点欄８３（問題別の項目点欄８３ａや部分点欄や合計点欄でなる集計欄８３ｂ）と、第１種の付加情報の一例である教育用教材８０を識別特定するための情報を記入する識別情報欄８５と、第１種の付加情報の一例である解答者情報であって解答欄８４への解答記入者に関する情報を記入する解答者情報欄８６とを有している。解答欄８４、識別情報欄８５、解答者情報欄８６は、何れも第１種の付加情報を記入する記入欄の一例である。

識別情報欄８５には、たとえば教育用教材８０の科目、タイトル、あるいは適用学年などが予め記載されるものとする。ただし、これらの記載に加えて、またはこれらの記載とは別に、教育用教材８０を識別するためのコード情報が埋め込まれていてもよい。

コード情報の埋込みは、公知技術を利用して実現すればよいが、その一つの具体例として、たとえば「ｉＴｏｎｅ（登録商標）」と呼ばれるもののように、階調表現としての万線スクリーンまたはドットスクリーンを構成する画素の形態（位置、形状など）を変化させることで、ハーフトーン画像の中にデジタル情報を埋め込むようにする、といった技術を用いることが考えられる。一方、解答者情報欄８６には、解答記入者の学級８６ａ、出席番号８６ｂ、あるいは氏名８６ｃなどが記入され得るようになっている。

配点欄８３（特に項目点欄８３ａ）には、各解答欄８４についての配点情報が記入される。配点情報とは、教育用教材８０における各解答欄８４について、各位置の解答欄８４への配点が何点であるかを特定するための情報である。なお、配点は、解答欄８４ごとに異なっていてもよいし、あるいは一律であってもよい。

このような教育用教材８０は、対応する原本（教材原本）の電子データに基づき印刷装置で印刷出力することで得ることができる。教材原本の電子データは、たとえばパーソナルコンピュータなどの電子計算装置を利用してワープロソフトなどのアプリケーションソフトウェアを用いて生成することができ、予め所定のデータベースなどに保存される。

なお、教材原本の電子データは、その教育用教材８０における解答欄８４や識別情報欄８５などのレイアウトを特定し得るものであり、かつ、所定のデータベースにて保持蓄積可能なものであれば、そのデータ形式を問わない。たとえば、文書作成ソフトウェアで作成したアプリケーション文書データに限らず、画像データであってもよい。

教育現場では、図１（Ａ）に示した文書原本８Ａの一例である教育用教材８０が生徒や受験者などに配布され、先ず、生徒などによって解答者情報欄８６への氏名や解答欄８４への解答などの第１種の付加情報が所定欄に記入された後に回収される。この後さらに、図１（Ｂ）に示す追記済文書８Ｂの一例である付加情報記入済教材８１のように、教師などの採点官によって各解答欄８４に記入された解答に対する採点記号（正誤判定図形）８７や採点記号８７と関連するその他の図形や文章で示されたコメント８８などの第２種の付加情報が記入される。なお、追記情報処理装置１０で自動採点処理を行なうので、この時点では、採点官による配点欄８３Ｃへの記入はない。

この際には、通常、生徒などによる第１種の付加情報の記入に使用されるペン色と、採点官などによる第２種の付加情報の記入に使用されるペン色とは、異なるものが使用されるし、教育用教材８０として予め記入されている色とも異なるものが使用される。

また、採点記号８７としては、たとえば、正解を示す「○」やその他の図形（たとえば楕円図形）、不正解を示す「×」やその他の図形（たとえば「レ点」などのチェックマーク）、あるいは一部正解を示す「△」やその他の図形がある。

コメント８８は、採点記号８７を元にした第１のデータ処理には直接的な関係を有しない情報であるが、第１のデータ処理の結果をサポート（補強）するあるいは全く関係のない第２のデータ処理に利用されるものである。

教材自動採点システムでは、この追記済文書８Ｂの一例である付加情報記入済教材８１を対象として所定のデータ処理を行なうことになる。この際、第２種の付加情報（本例では採点記号８７とコメント８８）の別に、それぞれに応じた個別のデータ処理を行なうようにする。この例では、第１のデータ処理として採点記号８７を元にした自動採点処理を行なう。この自動採点処理結果として、たとえば、配点欄８３Ｃへ記入する得点情報が取得されることになる。また、コメント８８の追記内容を元にした自動採点処理結果とは別の第２のデータ処理を行なう。

自動採点処理とは別の第２のデータ処理としては、たとえば、コメント８８の追記内容を所定の条件に基づいて分類する処理や、分類したコメント（全ての追記内容には限らず一部の追記内容でもよい）を対応する解答欄８４についての採点処理結果と関連付けて生徒指導用データベースに登録・蓄積しておく処理などを行なう。

こうすることで、自動採点処理とは別の第２のデータ処理の利用形態としては、生徒指導用データベースから情報を取り出して、後の生徒指導に利用することができるようになる。たとえば、全ての採点結果と対応するコメントを表示するようにすれば、優秀、優、並、劣、などの評価の細分類と合わせて採点結果を確認することができる。また、結果が不正解のコメントのみを表示するようにすれば、問題の読み間違えが多い、解答の書き間違えが多い、あるいは計算ミスが多いなどの生徒の能力分析に利用することもできる。あるいは、コメント８８で示されている注意文やミス修正に基づき生徒指導に利用することも考えられる。

なお、採点記号８７やコメント８８を対象としたデータ処理を実行するための教育用教材８０（原本画像）のデータベースへの登録に当たっては、通常であれば、採点記号８７についてのデータ処理時に必要となる解答欄８４の位置情報や問題番号や配点情報などを示す記入欄位置領域情報３８と、コメント８８についてのデータ処理時に必要となる分類基準情報とを登録しておく。なお、教育用教材８０における文字部分（たとえば問題番号を含む問題文や配点）をテキスト情報として参照され得るように、教育用教材８０そのものの情報は、テキストデータもしくはテキストデータ相応の文書ファイルデータで保存しておくことが好ましい。

たとえば、図１（Ｃ）に示すように、記入欄位置領域情報３８の一例である解答欄位置領域情報を、教育用教材８０上に存在する問題の番号（第１の属性情報の一例）と、その問題の解答に対する配点（第２の属性情報の一例）と、その問題の解答を記入する解答欄８４として扱われる領域の所定点（たとえば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）とからなる情報で、これらを互いに関連付けるテーブル形式で、所定の格納領域に保持蓄積しておく。

付加情報記入済教材８１に対応する元の教育用教材８０が文書管理サーバに登録されていないときには、無記入の教育用教材８０を文書入力装置で読み取り、問題文の位置や解答欄８４の位置や配点などを特定することにより対処する。

なお、追記情報について自動データ処理を実行する際に、追記情報を複数種類のものに分類し、それぞれの分類ごとに個別のデータ処理を実行しようとする場合には、各追記情報を他方のものと分離して認識・特定することが必要となる。両者の分離認識が適正になされないと、それぞれのデータ処理を適正に実行することができなくなる。

たとえば、図１に示した付加情報記入済教材８１の場合には、採点記号８７に基づく自動採点処理と、コメント８８に基づく生徒指導用データベースの構築処理があり、このような個別処理を実現するには、採点記号８７とコメント８８とを区別して認識処理などを行なってから最終的なデータ処理を行なう必要がある。

一方、答案の採点においては、採点記号８７以外のコメント８８を、採点記号８７と同じペンで記載することがあり、たとえば差分抽出部１３２での抽出結果に対する色成分認識処理を通じて、ペン色と対応する所定色成分についてのものを抽出するだけでは、両者を適切に分離した認識と記載内容の特定ができない。採点記号８７とコメント８８とを適切に分離できず、自動採点処理に悪影響を及ぼす。また、追記情報としては、自動採点処理用の採点記号８７の他に、生徒指導などにも利用し得るコメント８８が存在するにも関わらず、付加情報記入済教材８１を生徒に返却した後には、生徒がその記載内容を確認する以外には活用できない事態となる。

このような事態を避けるには、たとえば、追記済文書８Ｂ中に存在する複数の付加情報を、記載位置、画像特徴量、あるいは認識処理時の信頼度などの付加情報が持つ様々な特徴に基づいて、複数の種類に分類（分離）するようにするのがよい。この際、付加情報が持つ単一の特徴に基づくだけでなく複数の特徴を参照することで、より正確な分離認識を行なうようにするのがよい。なお、これらについては詳細な説明を割愛する。

＜システム構成＞
図２は、本発明に係る追記情報処理装置を備えてなる情報処理システムの一実施形態の構成例を示す図である。なお、この情報処理システムは、答案用紙などの教育用教材８０を処理対象とする教材自動採点システムへの適用例で示す。

図示のように、教材自動採点システム１は、システムの中心をなす追記情報処理装置１０と、追記情報処理装置１０に処理対象文書である付加情報記入済教材８１を電子化して入力する文書入力装置２０と、処理対象文書である付加情報記入済教材８１に対応するテンプレート６や教育用教材８０（詳しくはその原本画像）の電子データを記憶する文書管理サーバ３０と、情報処理（本例では自動採点処理など）の結果を保存しておく処理結果保存サーバ４０とが、有線や無線を利用してネットワーク接続されて構成されている。

文書入力装置２０は、教育用教材８０における解答欄８４への解答記入、解答者情報欄８６への氏名などの記入および解答欄８４に記入された解答に対する採点官による採点記号８７（具体的には、たとえば「○」や「×」の図形）の記入がされた付加情報記入済教材８１に対して、公知の光学的画像読取技術を用いた画像読取りを行ない、その付加情報記入済教材８１から画像データを得るものである。

文書入力装置２０は、処理対象文書である付加情報記入済教材８１を電子データにする機能を備えたものであればよく、たとえば、画像読取装置としての機能を有した複写機、複合機、またはスキャナ装置を利用して実現することが考えられる。その場合に、自動原稿搬送装置（Automatic Document Feeder ；ＡＤＦ）が付設されていると、複数の教育用教材に対する画像読取りを連続的に行なうことができ便利である。

なお、教育用教材８０を利用した試験などは、紙媒体を用いることに限定されない。たとえばタブレット型のＰＣを利用して試験を行ない採点するケースでは、最初から付加情報記入済教材８１を電子データの形式で入手することができ、この場合には、システム構成上、文書入力装置２０が不要となる。

文書管理サーバ３０は、付加情報記入済教材８１に対応する教育用教材８０の原本画像と、この原本画像を特定するための、たとえば、科目、タイトル、適用学年などの識別情報や識別コードとを対応付けて、ハードディスク装置や光ディスク装置などの所定の記憶媒体に文書原本情報データベースＤＢ２として登録している。

また、文書管理サーバ３０は、付加情報記入済教材８１に対応する元の教育用教材８０（原本画像）を保存するとともに、採点記号８７やコメント８８についてのデータ処理時に必要となる問題番号や配点情報などを示す記入欄位置領域情報３８を、図１（Ｃ）に示したように、テーブル形式で、所定の格納領域に文書原本情報データベースＤＢ２として保持蓄積している。

処理結果保存サーバ４０としては、追記情報処理装置１０とネットワーク接続され、付加情報記入済教材８１についての自動採点集計結果を管理することができるものであればよく、たとえば、処理結果データベース装置や処理結果ファイルサーバ装置などが該当する。

教材自動採点システム１の中心部をなす追記情報処理装置１０は、文書入力装置２０から入力された付加情報記入済教材８１の画像データに基づき所定の信号処理を行なう読取画像処理部１１０と、読取画像処理部１１０による処理に基づいて文書入力装置２０から入力された読取画像の元となった文書原本８Ａを識別特定する文書原本特定部１２０とを備えている。教材自動採点システム１においては、文書原本特定部１２０は、文書原本８Ａの一例である教育用教材８０を特定する教材特定部１２２として機能する。

また、追記情報処理装置１０は、読取画像処理部１１０による処理が施された画像データから追記情報（アノテーション）を抽出する追記情報抽出部１３０と、追記情報抽出部１３０により抽出されたデータ処理対象の追記情報に基づき記載内容や記入位置を認識し特定するデータ処理対象追記情報特定処理部１５０と、データ処理対象追記情報特定処理部１５０により特定された追記情報の記載内容に基づいてデータ処理を行なうデータ処理部１７０とを備えている。

また、追記情報処理装置１０は、本実施形態特有の構成要素として、手書きで記入された文字や図形などの手書き入力情報の認識性能を示す情報（具体的には認識率）に基づいて特定される認識処理の信頼度が一定水準よりも低い難認識情報について、その難認識情報の認識性能を向上させるための認識性能情報をユーザに提示する認識性能情報提示処理部１９０を備えている。

認識性能情報提示処理部１９０は、追記入力された採点記号８７やコメント８８の内、認識処理の信頼度が一定水準よりも低い難認識情報を特定し、この特定した難認識情報の認識性能を向上させるための認識性能情報をユーザ端末１７１にて提示する。データ処理部１７０は、認識性能情報提示処理部１９０による認識性能情報の提示に対応してユーザにより記入された修正後の採点記号８７やコメント８８を用いて自動採点処理や自動コメント分類処理などのデータ処理を実行する。

ここで、本実施形態の認識性能情報提示処理部１９０は、認識処理対象の追記情報の効率的な修正を可能とするべく、追記情報処理装置１０の各機能部における複数の処理から、それぞれ認識率に関わる情報を収集し、記入内容を自動認識した追記情報の中で、特に信頼度の低いもの、つまり一定の度合いよりも認識の困難であった難認識情報を抽出して、この難認識情報についての認識性能情報を提示して修正を促す点に特徴を有する。全ての追記情報について、修正の要否をチェックする必要を無くすことで、誤認識の追記情報の修正作業を効率化するのである。

たとえば、「全図形をチェックする必要が無い」という効果を得るためには、信頼度による警告が高精度であることが必要になる。何故なら、抜け漏れがあっては警告が信用できないからである。前処理の段階で問題があると、認識処理への入力が既に変質しており、「信頼度が高いが間違い」の認識結果を出す可能性がある。

そこで、認識処理だけでなく複数の処理から情報を収集することで、高精度な信頼度を算出し、そこから高精度な警告を出すことで、はじめて「全図形をチェックする必要がない効率化」の効果が得られるようになるのである。なお、この点についての詳細は後述する。

読取画像処理部１１０は、図示を割愛するが、文書入力装置２０から入力された画像データについて、レイアウト解析、文字図形分離、文字認識、コード情報認識、図形処理、色成分認識などの公知の画像処理技術（それぞれの詳細説明は割愛する）を利用して解析処理を行なう画像データ解析部と、文書入力装置２０から入力された画像データの傾きや主走査方向または副走査方向の拡縮率などの画像歪みを補正する歪み補正部とを有している。なお、歪み補正部は、文書入力装置２０から入力された画像データと、比較対象となる文書管理サーバ３０内の対応する原本画像とを比較照合し、その画像歪み（傾き、拡縮など）を補正してもよい。

教材特定部１２２は、図示を割愛するが、たとえば、画像データ解析部によるデータ解析結果に基づいて、識別情報欄８５に記入されている科目、タイトル、あるいは適用学年などの識別情報を解析する識別情報解析部と、同じく識別情報欄８５に埋め込まれている教育用教材８０を特定するコード情報を解析するコード情報解析部とを有している。

教材特定部１２２は、画像データ解析部での解析結果に基づいて特定した、たとえば科目、タイトル、適用学年などの識別情報や識別コードと、文書管理サーバ３０に保持蓄積されている教育用教材８０の原本画像の情報（たとえば科目、タイトル、適用学年などの識別情報や識別コード）とを照らし合わせ、該当する原本画像が文書管理サーバ３０に保持蓄積されていなければ、文書入力装置２０で得られた画像データとの比較対象となる電子データを特定できないと判定して、識別特定エラー信号を出力するようになっている。

なお、教材特定部１２２は、文書入力装置２０から入力された画像データ（付加情報記入済教材８１に相当）と対応する元の教育用教材８０を識別特定できればよく、識別情報解析部とコード情報解析部とは、付加情報記入済教材８１の識別情報欄８５に記載もしくは埋め込まれている識別情報の形式に対応する適正な方を備えていればよく、必ずしも、両者を備えている必要はない。

追記情報抽出部１３０は、歪み補正部にて画像歪みが補正された画像データと、教材特定部１２２により特定された、文書入力装置２０から入力された画像データ（付加情報記入済教材８１に相当）に対応する原本画像（教育用教材８０に相当）とを公知の画像処理技術を利用して比較しそれぞれの間の差分を抽出する差分抽出部１３２を有する。

また、追記情報抽出部１３０は、差分抽出部１３２による抽出結果に基づき文書入力装置２０で読取り対象となった付加情報記入済教材８１における解答者情報（第１種の付加情報の一例）を抽出する解答者抽出部１３４と、同じく差分抽出部１３２による抽出結果に基づき文書入力装置２０で読取り対象となった付加情報記入済教材８１における採点記号８７やコメント８８などのデータ処理に供される第２種の付加情報を抽出するデータ処理用追記情報抽出処理部１４０とを有する。

解答者抽出部１３４は、差分抽出部１３２による抽出結果に基づき、解答者情報欄８６の学級８８ａや出席番号８８ｂや氏名８８ｃの欄に記入された解答記入者の手書きによる番号や文字の画像をそのまま文字情報として切り出す手書き情報切出部１３６と、差分抽出部１３２による抽出結果に基づき（好ましくは、手書き情報切出部１３６により切り出された手書き情報について）、解答者情報欄８６の手書きによる記入情報を、追記情報処理装置１０上で加工編集が可能な文字データに変換する文字認識処理（ＯＣＲ；Optical Character Reader）部１３８とを有する。

なお、解答者抽出部１３４は、文書入力装置２０で読取り対象となった付加情報記入済教材８１における解答者情報欄８６に記入された解答者情報を抽出できればよく、手書き情報切出部１３６と文字認識処理部１３８の何れか一方を備えていればよい。また、文字認識処理部１３８を設けない場合や文字認識処理部１３８で文字認識できなかったコメント８８の部分に関しては、抽出された解答者情報をそのまま画像として取り扱うことにする。

データ処理用追記情報抽出処理部１４０は、注目する追記色の情報を参照して、差分抽出部１３２による抽出結果に基づき、追記情報抽出部１３０により抽出された追記情報の内、文書入力装置２０で読取り対象となった追記済文書８Ｂ（本例では付加情報記入済教材８１）におけるデータ処理対象追記情報９ａ（本例では採点記号８７やコメント８８）を抽出するデータ処理対象追記情報抽出部１４２と、データ処理対象追記情報抽出部１４２で抽出されたデータ処理対象の追記情報をデータ処理に耐え得るように整形する追記情報整形部１４６とを有する。本実施形態においては、データ処理対象追記情報抽出部１４２は、採点記号８７を抽出する採点記号抽出部およびコメント８８を抽出するコメント抽出部の機能を備える。

なお、データ処理対象追記情報抽出部１４２は、データ処理対象追記情報９ａを抽出できればよく、色を指標に追記情報をさらに分類するとよい。たとえば差分抽出部１３２での抽出結果に対する色成分認識処理を通じて、採点官が採点記号８７やコメント８８の記入に使用したペン色と対応する所定色成分についてのものを抽出することで行なえばよい。たとえば、付加情報記入済教材８１における採点記号８７やコメント８８の記入は、一般に赤色ペン（赤の筆記具）で行なわれることが多く、この場合には、赤色成分に注目した抽出を行なえばよい。

ただし、赤色ペンとはいってもピンク系からオレンジ系というように似通った色気のものがあるし、必ずしも採点記号８７やコメント８８の記入に赤色ペンを使用するとは限らないし、採点記号８７とコメント８８とを別のペン色で記入することもあるので、採点記号８７やコメント８８の記入に使用するペン色の情報を採点記号抽出部やコメント抽出部として機能するデータ処理対象追記情報抽出部１４２に設定可能に構成しておくことで、抽出性能を向上させるようにするとよい。

このため、実際に使用した追記色を特定し、その特定した追記色の情報を参照して、追記色に注目した抽出を行なう。実際に使用されたペン色が特定されていれば、データ処理対象追記情報抽出部１４２は、抽出許容範囲を狭くすることができる。これにより、採点記号８７やコメント８８をその他の追記情報と高精度に区別して抽出することができる。

追記情報整形部１４６としては、データ処理対象追記情報抽出部１４２で抽出されたデータ処理対象の追記情報について、線分同士を接続してその抽出線分間の途切れを解消するように補正処理を行なう抽出線分途切れ補正部１４８を有する構成とするのがよい。

一般に、追記済文書８Ｂ上での図形記入や「２重線」や「波線」や「花丸」や「矢印」などの図形記入やコメント文などは、記入済のものに対して重ねて行なわれることもある。たとえば、付加情報記入済教材８１の場合には、各問題文８２や各解答欄８４を特定する枠や各解答欄８４への解答記入内容などに重ねて「○」や「×」などの採点記号８７が記入され、あるいは図形や文字でコメント８８の追記が行なわれることもある。そのため、データ処理対象追記情報抽出部１４２による所定色成分の抽出結果は、その重なり部分が除かれる結果、図形や文字に途切れ部分が生じたものとなる虞れがある。

このことから、抽出線分途切れ補正部１４８は、「○」や「×」や「線」やその他の印（マーク）などの図形や文字であるはずの抽出結果に対して、細線化処理、端点抽出処理、端点間接続処理（いわゆる連結処理）、あるいは線図形の直線近似などを適宜実行する。なお、このときに行なう細線化処理、端点抽出処理、あるいは端点間接続処理や線図形の直線近似などは、公知技術を利用して行なえばよいため、ここではその詳細な説明を割愛する（たとえば、「画像の処理と認識」，安居院猛著，昭晃堂発行などを参照）。

データ処理対象追記情報特定処理部１５０は、差分抽出部１３２による差分抽出結果に基づいて、具体的には、抽出線分途切れ補正部１４８で補正されたデータ処理対象追記情報９ａに基づいて、追記済文書８Ｂにおける第１のデータ処理用の追記情報の記入内容を第２のデータ処理用の追記情報と分離して認識する第１データ処理用追記情報認識部１５４と第２のデータ処理用の追記情報の記入内容を第１のデータ処理用の追記情報と分離して認識する第２データ処理用追記情報認識部１６４とを有している。

データ処理対象追記情報特定処理部１５０としては、第１データ処理用追記情報認識部１５４は、付加情報記入済教材８１における採点記号８７の記入内容をコメント８８と分離して認識し、また、第２データ処理用追記情報認識部１６４は、付加情報記入済教材８１におけるコメント８８の記入内容を採点記号８７と分離して認識する。

各データ処理用追記情報認識部１５４，１６４は、抽出線分途切れ補正部で補正されたデータ処理用追記情報の記入内容に対して形状認識処理を行なうことでデータ処理用追記情報の記入内容を認識する図形形状認識部１５６，１６６と、抽出線分途切れ補正部で補正されたデータ処理用追記情報の記入内容に対して文字認識処理を行なうことでデータ処理用追記情報の記入内容を認識するする文字認識部１５７，１６７と、図形形状認識部１５６，１６６や文字認識処理部１５７，１６７により認識された各データ処理用追記情報の記入内容の、文書原本８Ａ（追記済文書８Ｂ）上における記入位置を認識する記入位置認識部１５８，１６８とを有している。図形形状認識部１５６，１６６および文字認識処理部１５７，１６７により、採点記号８７とコメント８８とを分離して認識する分離認識処理部１５５が構成される。

文字認識処理部１５７，１６７を設けない場合や文字認識処理部１５７，１６７で文字認識できなかったデータ処理用追記情報の部分に関しては、抽出されたデータ処理用追記情報をそのまま画像として取り扱うことにする。

なお、図示のように、図形形状認識部１５６，１６６、文字認識処理部１５７，１６７、並びに記入位置認識部１５８，１６８とは、それぞれ１つの機能部が双方の機能を実現する構成としてもよいし、それぞれを個別の機能部として独立に設けてもよい。

たとえば、付加情報記入済教材８１を処理対象とする構成においては、第１データ処理用追記情報認識部１５４は、採点記号８７を第１のデータ処理用の追記情報とするものであり採点記号認識部として機能する。この場合、採点記号８７についての図形形状認識部１５６は、採点記号８７の記入内容が「正解（○）」または「不正解（×）」または「一部正解（△）」であるかなどを図形の側面から認識することができればよく、たとえば「○」，「×」，「△」の図形形状とのパターンマッチングによって形状認識を行なえばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から形状を認識してもよい。特徴量としては、たとえば、穴の個数や外接矩形に占める対象図形の面積率などを使用することができる。

また、採点記号８７について文字認識処理部１５７は、採点記号８７の記入内容が「正解（○）」または「不正解（×）」または「一部正解（△）」であるかなどを文字の側面から認識することができればよい。なお、採点記号８７は図形のみであるとする場合には、文字認識処理部１５７を割愛することもできる。

また、採点記号８７についての記入位置認識部１５８は、たとえば、教育用教材８０上における座標解析によって、付加情報記入済教材８１上の採点記号８７の記入内容の記入位置を認識すればよい。

ここで、本実施形態の構成においては、認識性能情報提示処理部１９０を設けて、追記情報処理装置１０の各機能部における複数の処理から、それぞれ認識率に関わる情報を収集し、記入内容を自動認識した追記情報の中で、特に信頼度の低い難認識情報のみを提示して修正を促すようにしているので、全ての追記情報について、修正の要否をチェックする必要が無く、誤認識の追記情報の修正作業を効率的に実行することができる。もちろん、その結果として、各データ処理用追記情報認識部１５４，１６４における認識率を向上させることができる。

なお、図形形状認識部１５６は、採点記号８７に関する形状認識の際には、「○」や「×」などの採点記号８７を示す図形を構成する連続画素群を１つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理を行なう。このことから、記入位置認識部１５８による位置認識の際にも、そのラベリング処理の結果を利用して、「○」や「×」などの採点記号８７を示す図形を構成する連続画素群を１つの纏まりとして取り扱う。

また、記入位置認識部１５８は、採点記号８７の記入位置の認識処理に当たって、付加情報記入済教材８１上に複数の採点記号８７が記入されていることが一般的であるから、その複数の採点記号８７のそれぞれについて順次予め定められた走査順で検出される採点記号８７について、順にその位置を認識していく。

各採点記号８７に関する位置認識は、たとえば「○」や「×」などの採点記号８７を示す図形（あるいは文字）の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行なうことが考えられる。具体的には、認識対象となる図形もしくは文字（連続画素群）に対して外接矩形を抽出するとともに、その外接矩形の所定点（たとえば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）を算出する。そして、これらの算出結果から、中心ｘ座標＝ｘ＋ｗ／２、中心ｙ座標＝ｙ＋ｈ／２を算出し、その算出結果を連続画素群の位置、すなわち採点記号８７の記入位置の認識結果とする。

一方、第２データ処理用追記情報認識部１６４は、コメント８８を第２のデータ処理用の追記情報とするコメント認識部として機能する。この場合、コメント８８についての図形形状認識部１６６は、コメント８８の追記内容を図形の側面から認識することができればよく、たとえば「１重線」や「２重線」や「（１重または２重の）波線」などの線を示す図形形状とのパターンマッチングによって線に関する形状認識を行なえばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から線の形状を認識してもよい。特徴量としては、たとえば、線数や外接矩形に対する画素密度などを使用することができる。

また、コメント８８について文字認識処理部１６７は、付加情報記入済教材８１におけるコメント８８の記入内容を文字の側面から認識することができればよい。また、コメント８８についての記入位置認識部１６８は、たとえば、教育用教材８０上における座標解析によって、付加情報記入済教材８１上のコメント８８の追記内容の記入位置を認識すればよい。

なお、図形形状認識部１６６は、コメント８８に関する形状認識の際には、「２重線」や「花丸」などのコメント８８を示す図形を構成する連続画素群を１つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理を行なう。このことから、記入位置認識部１６８による位置認識の際にも、そのラベリング処理の結果を利用して、「２重線」や「花丸」などのコメント８８を示す図形を構成する連続画素群を１つの纏まりとして取り扱う。

また、記入位置認識部１６８は、コメント８８の記入位置の認識処理に当たって、付加情報記入済教材８１上に複数のコメント８８が記入されていることが一般的であるから、その複数のコメント８８のそれぞれについて順次予め定められた走査順で検出されるコメント８８について、順にその位置を認識していく。

各コメント８８に関する位置認識は、たとえばコメント文や「２重線」や「花丸」などのコメント８８の文字や図形の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行なうことが考えられる。具体的には、認識対象となる文字や図形（連続画素群）に対して外接矩形を抽出するとともに、その外接矩形の所定点（たとえば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）を算出する。そして、これらの算出結果から、中心ｘ座標＝ｘ＋ｗ／２、中心ｙ座標＝ｙ＋ｈ／２を算出し、その算出結果を連続画素群の位置、すなわちコメント８８の記入位置の認識結果とする。

また、この位置認識の際には、各コメント８８は、ある位置の解答欄８４への採点記号８７と対応して、その近傍に記入されることが多いので、記入位置認識部１５８による採点記号８７についての位置認識と協働して処理を行なうのがよい。こうすることで、双方の位置情報の各解答欄８４との対応付け、結果としては、採点記号８７とコメント８８との関連付けが容易になる。

データ処理部１７０は、文書入力装置２０から入力された追記済文書８Ｂの画像データについて、その追記済文書８Ｂに記入された第１のデータ処理対象追記情報に関する第１のデータ処理を実行する第１データ処理部１７０_1と、第２のデータ処理対象追記情報に関する第２のデータ処理を実行する第２データ処理部１７０_2を有する。

各データ処理部１７０_1，１７０_2は、データ処理対象の追記情報の記入位置を、当該記入欄の位置情報を保存している装置（テンプレート情報データベースＤＢ１や文書原本情報データベースＤＢ２として機能する文書管理サーバ３０）にアクセスして、記入欄位置領域情報３８、記入欄位置領域情報６８、あるいはテンプレート関連付け情報６９を参照して取得しつつ、追記情報の記入位置と追記情報とを対応付けながらデータ処理を実行する。

第１データ処理部１７０_1は、追記済文書８Ｂの一例である付加情報記入済教材８１の画像データについて、その付加情報記入済教材８１に記入された採点記号８７を元に採点集計を行なう採点集計部１７２と、採点集計部１７２による採点集計の結果を、解答者抽出部１３４が抽出した解答者情報と関連付けて出力する集計結果出力部１７４とを備えている。採点集計結果と解答者情報とが関連付けられた状態の処理結果を特に採点認識結果と称する。

採点集計部１７２は、図形形状認識部１５６による採点記号８７の追記内容の図形の側面からの認識結果や文字認識処理部１５７による採点記号８７の追記内容の文字情報の側面からの認識結果と、記入位置認識部１５８による採点記号８７の記入位置の認識結果と、文書入力装置２０が保持蓄積している付加情報記入済教材８１に対応する教育用教材８０の電子データ（原本画像）に含まれる教育用教材８０（付加情報記入済教材８１）の各解答欄８４についての配点欄８３で規定されている配点情報とに基づいて、文書入力装置２０が読み取った付加情報記入済教材８１について、付加情報記入済教材８１に記入された採点記号８７に関する採点処理および集計処理（纏めて採点集計という）を行なう。

集計結果出力部１７４は、採点集計部１７２により集計された採点集計結果と解答者抽出部１３４が抽出した解答者情報と関連付けて、処理結果保存サーバ４０（処理結果データベース装置や処理結果ファイルサーバ装置など）に登録する。あるいは、採点結果の点数を付加情報記入済教材８１の集計欄８３ｂに記入し用紙上に返却答案８１ｂとして出力して生徒などに返却できるようにする。

また、第２データ処理部１７０_2は、追記済文書８Ｂの一例である付加情報記入済教材８１の画像データについて、その付加情報記入済教材８１に記入されたコメント８８を元に分類処理を行なうコメント分類処理部１７６と、コメント分類処理部１７６による分類結果を集計結果出力部１７４が出力した採点認識結果や各解答に関連付けて出力するコメント処理結果出力部１７８とを備えている。

コメント分類処理部１７６は、図形形状認識部１６６によるコメント８８の追記内容の図形の側面からの認識結果や文字認識処理部１６７によるコメント８８の追記内容の文字情報の側面からの認識結果と、記入位置認識部１６８によるコメント８８の記入位置の認識結果と、コメント８８の追記内容と対応するように予め規定されている分類情報とに基づいて、文書入力装置２０が読み取った付加情報記入済教材８１について、その付加情報記入済教材８１に記入されたコメント８８の分類処理を行なう。

コメント処理結果出力部１７８は、コメント分類処理部１７６による分類結果を各解答欄や集計結果出力部１７４が出力した採点認識結果と関連付けて、処理結果保存サーバ４０（処理結果データベース装置や処理結果ファイルサーバ装置など）に登録する。

なお、採点記号８７の記入は、一般に教育用教材８０上の複数の解答欄８４のそれぞれに対応して行なわれ、またコメント８８の記入は、採点記号８７の記入に付随してその採点記号８７の近傍に必要に応じて記入され、かつ採点記号８７，コメント８８は教師などの採点官によって手書きでされるため、各解答欄８４に対する記入位置が必ずしも一義的に定まっている訳ではない。

その一方で、採点記号８７の採点集計に当たっては、各解答欄８４と採点記号８７の記入位置との対応を明確にする必要がある。採点記号８７に関する採点集計は、各解答欄８４に対応する採点記号８７の記入結果を明確にした上で、採点記号８７の内容（正解か不正解か一部正解かなど）および各解答欄８４についての配点に基づいて行なわれるからである。同様に、コメント８８についての分類処理に当たっては、各解答欄８４（つまり採点記号８７）とコメント８８の記入位置との対応を明確にする必要がある。コメント８８に関する分類処理は、各解答欄８４に対応するコメント８８の記入結果を明確にした上で、コメント８８の内容に基づいて行なわれるからである。

このことから、採点集計部１７２やコメント分類処理部１７６は、以下に述べるような手順で、採点記号８７の採点集計やコメント８８の分類処理を行なう。たとえば、採点集計部１７２やコメント分類処理部１７６は、記入位置認識部１５８，１６８で特定される「○」や「×」などの採点記号８７やコメント８８の外接矩形が、付加情報記入済教材８１上で解答欄８４となる領域との重なるものがあるか否かを判定し、重なる解答欄８４と採点記号８７やコメント８８とを互いに対応付け、その採点記号８７やコメント８８を解答欄８４に対して記入された採点記号８７やコメント８８の判定結果とする第１の対応付け手法を採用することができる。

ただし、１つの採点記号８７やコメント８８が複数の解答欄８４の領域に重なる場合には、何れに対応させるべきかを特定することはできないので、第１の対応付け手法による対応付けについての判定が不能であると判断する。また、注目する採点記号８７やコメント８８の外接矩形が、何れの解答欄８４の領域にも重ならない場合にも、何れに対応させるべきかを特定することはできないので、第１の対応付け手法による対応付けについての判定が不能であると判断する。

また、採点集計部１７２やコメント分類処理部１７６は、記入位置認識部１５８，１６８で特定される採点記号８７やコメント８８の外接矩形と、付加情報記入済教材８１上で解答欄８４となる領域との重なり面積を求め、その面積（外接矩形に対する面積比でも同様）が最も大きくなる採点記号８７やコメント８８と解答欄８４とを互いに対応付け、その採点記号８７やコメント８８を解答欄８４に対して記入された採点記号８７やコメント８８の判定結果とする第２の対応付け手法を採用することができる。

この第２の対応付け手法を採用すると、１つの採点記号８７やコメント８８が複数の解答欄８４の領域に重なる場合に第１の対応付け手法にては対応付けの特定ができない場合でも、重なり面積の大小に基づいて、何れに対応させるべきかを判定することができる。ただし、重なり面積の外接矩形に対する比が所定閾値未満の場合には、重なる部分が小さいことから、対応付けについての判定が不能であると判断する。

あるいは、採点集計部１７２やコメント分類処理部１７６は、記入位置認識部１５８，１６８で特定される各採点記号８７やコメント８８の中心座標位置と各解答欄８４の中心座標位置の距離を求め、その距離が最も小さくなる採点記号８７やコメント８８と解答欄８４とを互いに対応付け、その採点記号８７やコメント８８を解答欄８４に対して記入された採点記号８７やコメント８８の判定結果とする第３の対応付け手法を採用することができる。

この第３の対応付け手法を採用すると、注目する採点記号８７やコメント８８の外接矩形が何れの解答欄８４の領域にも重ならない場合に第１の対応付け手法にては対応付けの特定ができない場合や、採点記号８７やコメント８８が解答欄８４からずれて記入されて重なる部分が小さく、重なり面積の外接矩形に対する比が所定閾値未満の場合に第２の対応付け手法にては対応付けの特定ができない場合でも、何れに対応させるべきかを判定することができる。ただし、各解答欄８４との間の各距離の差が所定閾値未満の場合には、距離差が小さいことから、対応付けについての判定が不能であると判断する。

そして、各採点記号８７の解答欄８４への対応付けを行なった後は、採点記号８７が「○」であれば、これに対応する解答欄８４についての配点情報から特定される配点を加算し、また採点記号８７が「×」であれば、これに対応する解答欄８４についての配点加算を行なわず、このような採点集計を付加情報記入済教材８１上の全ての解答欄８４について行なう。

なお、付加情報記入済教材８１上で解答欄８４となる領域は、各解答欄８４についての配点情報として、または当該配点情報と同様に、付加情報記入済教材８１に対応する文書管理サーバ３０に登録されている原本画像に含まれる記入欄位置領域情報３８によって特定されるものとする。

また、各コメント８８の解答欄８４への対応付けを行なった後は、コメント８８に対応する分類基準から特定される分類先を特定し、このようなコメント分類処理を付加情報記入済教材８１上の全てのコメント８８について行なう。

なお、採点集計部１７２での採点集計処理やコメント分類処理部１７６での分類処理に当たっては、完全なる自動処理にしてもよいが、ユーザ端末１７１のＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）などで構成された表示部に処理過程や処理結果を表示して、適宜、操作者が処理過程や処理結果をキーボードやマウスなどの指示入力部を介して訂正できるようにしてもよい。

また、本実施形態の特徴部分である認識性能情報提示処理部１９０は、手書き入力情報の履歴を収集しデータベースとしての処理結果保存サーバ４０に保存・蓄積しておく追記情報認識履歴保持部１９２と、一定の度合いよりも認識の困難であった特に信頼度の低い難認識情報を抽出する難認識追記情報抽出部１９４と、所定の表示態様に従って認識性能情報をユーザ端末１７１上で提示する認識性能情報提示部１９８とを有している。

追記情報認識履歴保持部１９２は、後述する第１〜第３の履歴収集保存手法の何れかもしくはその任意の組合せの履歴収集保存手法を採用して、手書き入力情報の履歴を収集し、この収集した手書き入力情報の履歴を処理結果保存サーバ４０に保存する。

手書き入力情報の履歴を収集しデータベースに保存しておく際には、どの時点で記入されたものを履歴として残しておくかによって、様々な履歴収集保存手法を採るこができる。たとえば、通常の自動データ処理の過程で認識した手書き入力情報のデータを蓄積し保存していく第１の履歴収集保存手法を採ることが考えられる。第１の履歴収集保存手法を採る際には、手書き入力情報のみを元の文書原本８Ａから分離して保存することも考えられるし、手書き入力情報を含む所定範囲の画像情報をも一緒にして、つまり周囲の画像ごとに保存することも考えられる。

第１の履歴収集保存手法を採ると、通常の処理過程で履歴を取って保存していくことができるので、形状や位置や修正状況などのデータを利用することができる。また、特別な手間を掛けずに、採点法などの記入態様をチェックすることができる、しかも、認識の正誤も反映させることができる。ただし、当初は履歴が少なく、また、ユーザによる入力態様の改善も期待できないので認識率が低く、修正の手間が掛かる可能性はある。

また、通常の自動データ処理の過程ではなく、その処理開始前に、練習用答案などの練習用の文書原本８Ａに入力してもらい、その入力情報のデータを蓄積し保存しておく第２の履歴収集保存手法を採ることが考えられる。この第２の履歴収集保存手法を採ると、練習用の記入情報を指定することができるから、修正を考慮しなくてよい。用意された練習用答案などに追記し、通常の自動採点処理を行なう過程で、記入形状も指定されるからである。また、図形形状や文字形状と位置を判定し、認識の正誤も含めて結果を提示できる利点もある。

加えて、事前に採点法などの記入態様を練習することができるので、正しい形と位置とを確認でき、認識性能のよい状態での記入が期待でき、その結果として、実際の自動データ処理時には修正を要しない利点が得られる。また、白紙部分に記入させることもできるので、指定された記入情報に対する手書き入力情報のみを保存すればよいので、蓄積容量を低減できる。

また、自動データ処理には使用しなかった過去の追記済文書８Ｂ（たとえば過去の採点答案）における入力情報のデータを蓄積し保存する第３の履歴収集保存手法を採ることが考えられる。なお、自動データ処理を行なっていないので、白紙の文書原本８Ａを付加して読み取ることで差分を抽出して、手書き入力情報のみを抽出するようにする。また、自動データ処理の全行程は行なわずに、形状認識や文字認識のみを行ない、結果を提示するだけにすればよい。

この第３の履歴収集保存手法を採ると、過去の追記文書を利用できるため、はじめて自動データ処理を使用する場合でも、手書き入力情報に関して認識性能を改善させるための修正手法を提示することができ、実際の自動データ処理時には修正が少なくて済む利点が得られる。また、練習用の文書原本８Ａを作成する手間を省くことができる。ただし、結果の正誤は不明のため、正誤を踏まえた判定はできない。

難認識追記情報抽出部１９４は、後述する各種の手法の何れかもしくはその任意の組合せの難認識追記情報抽出手法を採用して、各種の手書き入力情報の内、信頼度が一定レベルよりも低い自動認識が困難であった難認識情報を抽出する。

認識性能情報提示部１９８は、後述する各種の手法の何れかの認識性能情報提示手法を採用して、認識性能情報をユーザ端末１７１上でユーザに提示する。

＜全体の処理手順＞
図３および図４は、情報処理システムの一実施形態である教材自動採点システム１における教材処理方法の処理動作の手順を説明する図である。ここで、図３は、その全体概要をシステム構成図と対応付けて示しており、また図４は、教材処理手順を示すフローチャートである。

先ず、教育用教材８０を完成させ文書原本情報データベースＤＢ２に登録する（Ｓ１０４）。なお、各記入欄６ａに配点が設定されていない形態のテンプレート６を使用する場合には、解答欄８４として設定した記入欄６ａに関しては配点の情報も設定する。

この後、試験を実行する際には、文書原本情報データベースＤＢ２から教育用教材８０を読み出して印刷し生徒や受験者に配布する（Ｓ１０６）。そして、試験終了後に、採点官は採点記号８７やコメント８８を生徒の解答に対して追記する（Ｓ１０８）。

追記情報処理装置１０（特に教材自動採点システム１においては教材処理装置に該当する）を利用する場合には、先ず、生徒などによって解答者情報欄８６への氏名などの記入および解答欄８４への解答記入、つまり生徒による第１種の付加情報の記入がされ、さらに教師などによって各解答欄８４に記入された解答に対する「○」や「×」などの採点記号８７やコメント８８などの第２種の付加情報の記入がされた付加情報記入済教材８１について、文書入力装置２０は、その付加情報記入済教材８１を読み取り（Ｓ１１０）、その付加情報記入済教材８１を表わす画像データを追記情報処理装置１０に入力する（Ｓ１１２）。文書入力装置２０は、この文書入力装置２０による画像読取りによって得られた画像データについて、一旦ワークエリアとして用いられるメモリなどに保持しておく。

なお、このとき、文書入力装置２０にてＡＤＦ装置を用いれば、たとえば同一学級のような１つのグループに纏めて処理すべき複数の付加情報記入済教材８１について、一括して読み取り（一括スキャン）、各付加情報記入済教材８１に対応する画像データを連続的に追記情報処理装置１０に入力することができる。

追記情報処理装置１０は、文書入力装置２０から取り込んだ各付加情報記入済教材８１の画像データに対して、順次、次のような付加情報抽出・分離処理、付加情報特定処理、および自動採点処理並びに自動コメント処理といった付加情報終末処理を実行する。

たとえば、データ処理部１７０における自動採点処理並びに自動コメント処理に先立って、ある１つの付加情報記入済教材８１から得られた画像データについて、読取画像処理部１１０の画像データ解析部は解析処理を行ない（Ｓ１２２）、教材特定部１２２は、その解析処理の結果に基づいて付加情報記入済教材８１に対応する元の教育用教材８０の識別特定を行なう（Ｓ１２４）。

この識別特定（Ｓ１２４）は、たとえば「理科」「５年」「１．天気と気温の変化」といった識別情報解析部によるタイトル解析または識別情報欄８５に埋め込まれたコード情報についてのコード情報解析部によるコード解析を通じて行なえばよい。この識別特定を経ることで、教材特定部１２２では、文書入力装置２０により得られた付加情報記入済教材８１の画像データとの比較対象となる教育用教材８０の電子データ（原本画像）を特定することができる。

なお、この識別特定は、文書入力装置２０が画像読取りを行なった複数の付加情報記入済教材８１のそれぞれについて順次行なうことも考えられるが、一般に１つのグループに纏めて処理される付加情報記入済教材８１は全て同一のものであるため、その纏めて処理される中で最初に処理される付加情報記入済教材８１についてのみ行なえばよい。

教材特定部１２２により各付加情報記入済教材８１に対応する教育用教材８０の特定が完了すると、文書管理サーバ３０は、その特定結果に従いつつ、保持蓄積している中から該当する教育用教材８０の原本画像（電子データ）を取り出して、これを差分抽出部１３２へ受け渡す（Ｓ１２６）。

また、歪み補正部は、ある１つの付加情報記入済教材８１から得られた画像データの歪みを補正する（Ｓ１２８）。この画像歪み補正は、文書入力装置２０での画像読取りの際に生じ得る画像歪みを補正するために行なうものであり、その後に差分抽出部１３２にて行なう原本画像との比較や差分抽出などの精度向上を図るためのものである。

差分抽出部１３２は、文書管理サーバ３０から受け渡された原本画像（教育用教材８０）と、文書入力装置２０から入力され、歪み補正部により画像歪みが補正された後の画像データ（付加情報記入済教材８１）とを、それぞれ比較して、その差分を抽出する（Ｓ１３０）。差分抽出部１３２は、抽出した差分情報９を解答者抽出部１３４やデータ処理用追記情報抽出処理部１４０に渡す。

差分抽出部１３２による差分抽出によって、たとえば図３中の中央部分に示すように、解答者情報欄８６および各解答欄８４への解答者による第１種の付加情報の記入内容、並びに各解答欄８４に対する採点記号８７やコメント８８などの採点官による第２種の付加情報の記入内容のみで表わされる差分情報９が抽出されることになる。

解答者抽出部１３４は、差分情報９に対する文字認識処理部による文字認識処理などを通じて、文書入力装置２０で読取り対象となった付加情報記入済教材８１における解答者情報を抽出する（Ｓ１３２）。これにより、ある１つの付加情報記入済教材８１に解答を記入した解答記入者の学級、出席番号、氏名などを特定できる。

また、データ処理用追記情報抽出処理部１４０において、先ず追記部材特定部１４１は、データ処理の対象となる追記情報の記入に使用されたペン色である追記色を特定し（Ｓ１４１）、データ処理対象追記情報抽出部は、追記部材特定部１４１にて特定された追記色に基づき、差分抽出部１３２による差分抽出結果に対して、データ処理用の追記情報を抽出する（Ｓ１４２）。

本例の場合、各解答欄８４への採点記号８７やコメント８８の追記内容を抽出するために、その差分情報９からさらに所定色成分についてのもの、具体的にはたとえば赤色成分のものを抽出する。所定色成分の抽出は、たとえば差分抽出結果が画素データからなる場合であれば、その画素データを構成する色成分データに着目することで行なうことができる。

抽出線分途切れ補正部は、データ処理対象追記情報抽出部による抽出結果に対して、細線化処理、端点抽出処理、端点間接続処理、あるいは線図形の直線近似などの追記情報整形処理を適宜実行する（Ｓ１４６）。抽出線分途切れ補正部は、途切れ補正処理済の採点記号８７の抽出結果を採点記号認識部として機能する第１データ処理用追記情報認識部１５４に渡し、また途切れ補正処理済のコメント８８の抽出結果をコメント認識部として機能する第２データ処理用追記情報認識部１６４に渡す。

データ処理対象追記情報特定処理部１５０は、先ず、分離認識処理部１５５を構成する図形形状認識部１５６，１６６および文字認識処理部１５７，１６７が協働して、文書管理サーバ３０に保存されている解答欄８４の位置情報を参照して、採点記号８７とコメント８８とを分離し（Ｓ１６２）、この後、分離した採点記号８７とコメント８８の別に、記入内容の特定処理や記入位置の特定処理を実行する。

図形形状認識部１５６や文字認識処理部１５７は、コメント８８と分離した採点記号８７について（Ｓ１６３−採点記号）、採点記号８７の記入内容に対する形状認識あるいは文字認識により、その採点記号８７の記入内容が「正解」であるかあるいは「不正解」であるかなど、採点記号８７で示された採点官の採点結果を特定する（Ｓ１６４）。このとき、ユーザによる修正指示を受け付ける（Ｓ１６５）。続いて、記入位置認識部１５８は、採点記号８７の記入内容について、その付加情報記入済教材８１上における記入位置を認識する（Ｓ１６６）。

このようにして、記入位置認識部１５８が採点記号８７の記入位置を認識した後は、採点集計部１７２は、図形形状認識部１５６や文字認識処理部１５７による採点記号８７の記入内容の認識結果と、記入位置認識部１５８による採点記号８７の記入位置の認識結果と、文書管理サーバ３０が保持蓄積している付加情報記入済教材８１に対応する原本画像（教育用教材８０）に含まれる教育用教材８０の各解答欄８４についての配点情報とに基づいて、採点および集計を行なう（Ｓ１６８）。

集計結果出力部１７４は、その採点・集計の結果を処理結果保存サーバ４０に保存する（Ｓ１６９）。あるいは採点結果の点数が付加情報記入済教材８１の集計欄８３ｂに記入されて返却答案８１ｂとして生徒などに返却される。

各付加情報記入済教材８１についての採点結果（問題別採点結果）のファイル形式としては、たとえば、図３に示すように、付加情報記入済教材８１上に存在する問題の番号と、その問題の解答に対する正誤判定と、その正誤判定に基づく得点とからなる情報で、これらを互いに関連付けるテーブル形式である。また、集計結果のファイル形式としては、たとえば、図３に示すように、出席番号および解答者情報と、得点情報（集計欄８３ｂに記入される項目点や合計点）とからなる情報で、これらを互いに関連付けるテーブル形式である。

各付加情報記入済教材８１上に記入される正誤判定の採点集計の結果が問題別採点結果としてファイル出力されるし、また、問題別の採点集計の結果がファイル出力されるので、処理結果保存サーバ４０では、付加情報記入済教材８１についての採点集計結果を、たとえば一覧形式で、管理または利用することが可能となる。

図形形状認識部１６６や文字認識処理部１６７は、採点記号８７と分離したコメント８８について（Ｓ１６３−コメント）、コメント８８の記入内容に対する形状認識あるいは文字認識により、採点官により追記されたコメント８８の記入内容を特定する（Ｓ１７０）。このとき、ユーザによる修正指示を受け付ける（Ｓ１７１）。続いて、記入位置認識部１６８は、コメント８８の記入内容について、その付加情報記入済教材８１上における記入位置を認識する（Ｓ１７２）。

このようにして、記入位置認識部１６８がコメント８８の記入位置を認識した後は、コメント分類処理部１７６は、図形形状認識部１６６や文字認識処理部１６７によるコメント８８の記入内容の認識結果と、記入位置認識部１６８によるコメント８８の記入位置の認識結果と、文書管理サーバ３０が保持蓄積している分類基準情報３９とに基づいて、コメント８８を分類する（Ｓ１７４）。

コメント処理結果出力部１７８は、コメント分類処理部１７６で分類された各コメント８８を、位置が近い採点記号８７の採点結果と関連付けて（Ｓ１７８）、処理結果保存サーバ４０に保存する（Ｓ１７９）。各コメント８８についての分類結果のファイル形式としては、たとえば、図３に示すように、各コメントと近傍の採点記号８７とからなる情報で、これらを互いに関連付けるテーブル形式である。なお、実際にテーブル形式で保存することに限らず、各コメント８８と、このコメント８８と対応する採点集計結果の両者を関連付ける関連付け情報とを対応付けて保存してもよい。

各付加情報記入済教材８１上に記入される採点記号８７の採点集計結果とコメント８８とが対応するようにデータ保存されるので、処理結果保存サーバ４０では、付加情報記入済教材８１についての採点集計結果とコメント８８とを、たとえば一覧形式で、管理または利用することが可能となるし、生徒の能力分析や生徒指導にコメント８８を利用できるようになる。

このように、情報処理システムの一実施形態として示した教材自動採点システム１では、採点記号８７やコメント８８の記入がされた付加情報記入済教材８１から読み取った画像データと、その付加情報記入済教材８１についての元の教育用教材８０、すなわち解答欄８４への解答記入などの生徒などによる第１種の付加情報および解答に対する採点官による採点記号８７やコメント８８などの第２種の付加情報の記入がされていないものについてのデータとを比較し、互いの差分から採点記号８７やコメント８８の記入内容を分離してその記入内容を特定し、その採点記号８７についての採点集計とコメント８８についての分類処理を実行するようになっている。

したがって、採点記号８７に関するデータ処理については、差分抽出部１３２で抽出される差分結果から、コメント８８の記入内容を排除して採点記号８７のみを分離してその記入内容を特定するようにしているので、同じペンで両者が追記されていても、自動採点に悪影響を及ぼすことがない。

また、採点結果の自動集計を実行できるので、結果として付加情報記入済教材８１についての採点処理が省力化される。付加情報記入済教材８１を紙媒体で入手するケースでは、付加情報記入済教材８１を文書入力装置２０で読み取った画像データを基にすればよく、たとえば、複写機、複合機、またはスキャナ装置などによって実現されるスキャン機能と、パーソナルコンピュータ（ＰＣ）などのコンピュータ機器が有する情報記憶処理機能、画像処理機能および演算処理機能とがあれば、システム構成を簡単に実現することができ、専用の機器を必要とすることもない。

さらには、付加情報記入済教材８１の画像データを、文書管理サーバ３０が保持する電子データと比較するため、その文書管理サーバ３０に各種の教育用教材８０についての電子データを保持蓄積しておけば、対応可能な付加情報記入済教材８１についての汎用性を十分に確保し得る。さらには、文書管理サーバ３０に予め電子データを保持蓄積しておくことで、文書管理サーバ３０から取り込んだ画像データとの比較を行なう場合において、比較対象となる電子データの入力などを行なう手間を省くことができ、結果として迅速な採点処理を実現することができる。

また、コメント８８に関するデータ処理については、差分抽出部１３２で抽出される差分結果から、採点記号８７の記入内容を排除してコメント８８のみを分離してその記入内容を特定するようにしているので、同じペンで両者が追記されていても、コメント８８に関する分類処理に悪影響を及ぼすことがない。また、各採点記号８７と対応付けて処理結果保存サーバ４０に各コメント８８を保存するようにしたので、コメント８８を生徒などが確認する用途以外に、採点官自らが、能力分析や生徒指導に活用できるようになる。

＜＜認識性能情報提示処理＞＞
図５〜図１６は、認識性能情報提示処理部１９０の処理の詳細、すなわち手書きで記入された文字や図形などの手書き入力情報の履歴を取る手法や、認識性能を向上させるための認識性能情報をユーザに提示する手法を説明する図である。

本実施形態においては、文書原本８Ａへ手書きで記入された手書き入力情報が自動認識に適しているか否かを判定し、認識性能上問題のあるものについては、どのように記入すれば認識率が向上するかをユーザ自身が判断することのできるようなサポート情報（認識性能情報）を提示する。

ここで、認識性能情報としては、認識性能を向上させるための修正手法をユーザ自身が具体的にまた容易に判断することのできるものであればよく、様々な提示態様を採ることができる。たとえば、何処をどう直せばいいかを示唆する情報を提示する態様を採ることができる。こうすることで、どのように記載すると認識性能がよくなるのかを簡単に判断することができる。

あるいは、過去の記載の認識信頼度を提示する態様を採ることができる。こうすることで、どのように記載すると認識性能がどの程度になるかを容易に判断することができ、これを踏まえて、ユーザは、より認識性能がよくなる記載をすることができるようになる。

何れの提示態様を採っても、認識に適した手書き入力情報の記入を促すことができ、結果的に、認識率を向上させることができる。

特に、本実施形態においては、難認識追記情報抽出部１９４は、追記情報処理装置１０の各機能部における複数の処理から、それぞれ認識率に関わる情報を収集し、記入内容を自動認識した追記情報の中で、特に信頼度の低い難認識情報のみを特定し、認識性能情報提示部１９８は、難認識追記情報抽出部１９４にて特定された難認識情報について、その難認識情報の認識性能を向上させるための認識性能情報を提示して修正を促す。

自動認識性能との関係で、特に認識性能の劣る信頼度の低い難認識情報のみを提示することで、チェック頻度を少なくするのである。これにより、全ての追記情報について、修正の要否をチェックする必要が無く、誤認識の追記情報の修正作業を効率的に実行することができる。

加えて、認識処理そのものにおける信頼度に関する特徴量だけでなく、この認識処理よりも前段の認識処理に関わる各種の処理における信頼度に関する特徴量も取得して認識情報を特定するので、修正を要する追記情報（難認識情報）を高精度に特定することができる。

なお、手書き入力情報の認識性能情報をユーザに提示するに当たっては、先ず、手書き入力情報の履歴を取っておき、それらの認識時の信頼度を参考にして、認識性能向上のために改善要求度合いのより強いものに関して認識性能情報を提示するようにする。換言すれば、一定の度合いよりも認識の困難であった手書き入力情報（難認識情報）についてのみ、認識性能情報を提示する。こうすることで、認識性能を一定の水準以上にできるようにするのである。認識性能が一定の水準以上にできればよく、必ずしも、手書き入力情報が理想的な基準情報と完全に一致していることは必要ないのである。

手書き入力情報は、ほぼ確実に基準情報とのずれがあるから、過去に記入された全ての手書き入力情報について認識性能情報を提示していたのでは、認識性能との関係で、必要以上の情報を提示してしまう虞れがあるが、提示範囲を難認識情報の範囲に絞ることで、必要以上の情報提示を防止するのである。こうすることで、修正作業を効率的に実行することができるし、必要以上に矯正してしまう虞れを防止することもできる。

なお、一般的には、ユーザによって記入癖が異なるので、提示すべき改善態様もユーザごとに異なるから、手書き入力情報の履歴を取る際には、ユーザごとに履歴を取っておくのが好ましい。

＜信頼度情報に基づく難認識情報抽出＞
また、難認識追記情報抽出部１９４において、一定の度合いよりも認識の困難であった難認識情報についてのみ認識性能情報を提示するに当たっては、分離認識処理部１５５にて通常の認識処理を行ない、難認識追記情報抽出部１９４は、その認識処理時の信頼度、換言すれば候補情報（基準情報）に対する類似度に基づいて難認識情報を抽出する。

また、本実施形態において、難認識追記情報抽出部１９４は、注目する追記情報に関して、データ処理対象追記情報特定処理部１５０における認識処理そのものを含む当該認識処理に関わる各種の処理（たとえば差分抽出部１３２からデータ処理対象追記情報特定処理部１５０までの各機能部の各処理）における、認識処理の信頼度に関する特徴量をそれぞれ取得し、この各特徴量に基づいて各処理の認識処理に関わるサブ信頼度をそれぞれ算出し、この算出したサブ信頼度に基づいて注目する付加情報に関しての最終的な信頼度を特定し、この最終的な信頼度が一定水準よりも低いか否かを判定することで難認識情報を特定する。

つまり、分離認識処理部１５５や記入位置認識部１５８，１６８における認識処理時の信頼度だけでなく、その前段の各機能部における各処理時の認識率や信頼度に関わる情報（特徴量）をも収集し、収集した各特徴量に基づいて各処理別のサブ信頼度を算出し、この算出した処理別のサブ信頼度に基づいて最終的な信頼度を求める。そして、この最終的な信頼度を元にして修正を要する難認識情報を特定するのである。

特開２００４−１５２１１５号公報に記載の仕組みでは、取得したデータに含まれる複数の項目について項目ごとに内容の確信度を計算し、計算された確信度を用いて修正提示の方法を動的に変化させるようにしているが、この場合、各項目の認識時にパターン認識の類似度を使用して「確信度」を算出するのみであるため、認識処理よりも前段の各種の前処理などで生じ得る、たとえば局所的なノイズの有無など、認識処理に影響を与える事象を考慮することができない。

これに対して、本実施形態の難認識追記情報抽出部１９４では、データ処理対象追記情報特定処理部１５０よりも前段の各機能部における認識処理と関連する特徴量をも取得して総合的に類似度を算出することで難認識情報を特定するので、データ処理対象追記情報特定処理部１５０における認識の類似度やこの類似度に基づく確信度に基づいて難認識情報を特定する場合よりも、高精度に難認識情報を特定することができる。

すなわち、データ処理対象追記情報特定処理部１５０における認識処理の類似度だけでなく、データ処理対象追記情報特定処理部１５０よりも前段の処理をも含む各種の処理における、認識処理の信頼度に関する特徴量をそれぞれ取得し、この各特徴量に基づいて各処理の認識処理に関わるサブ信頼度をそれぞれ算出し、この算出したサブ信頼度に基づいて注目する付加情報に関しての最終的な信頼度を特定し、この最終的な信頼度が一定水準よりも低いか否かを判定することで難認識情報を特定するようにしているので、データ処理対象追記情報特定処理部１５０での認識処理よりも前段の各種の前処理などで生じ得る、局所的なノイズの有無などをも考慮して難認識情報を精度よく特定することができるのである。

＜履歴収集処理＞
なお、各機能部における各処理別のサブ信頼度を算出する際には、分離認識処理部１５５における認識処理結果のデータベース登録に関わる全行程から、その前段の各機能部における各処理時の認識率や信頼度に関わる特徴量を収集する。

また、認識率や信頼度は、追記情報そのものの種類（文字なのか図形なのか線なのか）や形状によって傾向が異なることもあり、また、処理対象の追記済文書８Ｂの状態とも関わりを持つこともあるので、これらの点を考慮して最終的な信頼度の取得ができるように、過去の統計情報を取っておき、サブ信頼度と過去の統計情報とに基づいて信頼度を算出する。

たとえば、過去の自動データ処理としては、概ね、「○」の認識率（信頼度）は０．９５で、「×」の認識率（信頼度）は０．９であったというように、採点記号８７の別に、認識率（信頼度）が異なることがある。

また、追記済文書８Ｂが写真や図形（クリップアート）を含むか否かで認識率（信頼度）は影響を受ける。特に、写真や図形（クリップアート）と接触する部分では間違い易く、写真や図形と接触する部分とそれ以外の部分とで認識率（信頼度）に大きな違いが生じ得る。このため、採点記号８７やコメント８８などの追記情報が、追記済文書８Ｂ（文書原本８Ａ）としての付加情報記入済教材８１（教育用教材８０）の何処の部分に記入されるものであるかを区別できるようにする。

たとえば、図５は、各処理時の認識率や信頼度に関わる特徴量を収集する手法の一例を示す図である。この図５に示す例では、写真を用いた問題（問４）が混在しており、その解答欄８４が写真部分に近接して配置されているので、たとえば、問４の採点記号８７の信頼度は「０．７」で、その他の解答欄８４の採点記号８７の信頼度は「０．９〜０．９５」であるなど、追記済文書８Ｂ（付加情報記入済教材８１）の問題ごとに認識率（信頼度）の履歴を取っておく。

＜信頼度情報収集処理と信頼度統合処理＞
また、難認識追記情報抽出部１９４は、各処理別のサブ信頼度に基づいて最終的な信頼度を求めるに当たっては、つまり、処理別のサブ信頼度を統合するに当たっては、たとえば、注目する追記情報（採点記号８７やコメント８８）について、処理間で最も信頼度が悪いものを、最終的な信頼度とする第１の統合手法を採ることが考えられる。全ての追記情報についてこの第１の統合手法を繰り返すことで、サブ信頼度の値が一定水準よりも低い追記情報が抽出される。なお、各処理別のサブ信頼度を算出する手法は、後述する第３の統合手法にて説明する。

認識性能情報提示部１９８は、難認識追記情報抽出部１９４により抽出されたサブ信頼度の値が一定水準よりも低い追記情報について修正を促すように認識性能情報を記入者に提示する。認識性能が一定水準に満たない追記情報のみについて記入者に修正が促されるので、全ての追記情報について修正の要否を判断（チェック）する必要がなく、誤認識を起し得る追記情報の修正作業を効率化することができる。

この第１の統合手法を採れば、１つの処理で認識結果に重大な影響を与える誤りを犯してしまう場合に、対応できる。たとえば、三角図形の下半分が写真と重なってしまい、差分抽出処理によって下半分が抽出できなかった場合、記入の仕方によってはバツ図形に見えるため、後段の処理ではバツと「確信を持って」判定してしまう可能性がある。しかし、この第１の統合手法を採れば、差分抽出処理でのサブ信頼度を利用できるため、このような誤りを回避できる効果がある。

また、難認識追記情報抽出部１９４は、注目する追記情報（採点記号８７やコメント８８）について、処理別のサブ信頼度（複数の処理結果）に重付けをして合計し、最終的な信頼度を算出する第２の統合手法を採ることも考えられる。全ての追記情報についてこの第２の統合手法を繰り返すことで、最終的な信頼度の値が一定水準よりも低い追記情報が抽出される。なお、各処理別のサブ信頼度を「重付け」を考慮して算出する手法は、後述する第３の統合手法にて説明する。

重付けの一例としては、処理順に拘わらず所定の値をランダムに設定することもできるし、上流に行くほど重付けを重くする、あるいは逆に下流に行くほど重付けを重くするというように、処理順に応じて重付け値を漸次変化させることもできる。

上流に行くほど重付けを重くする手法では、初期の処理を重視するため、図５のような処理の上流段階に認識に大きな影響を与えることが想定される場合に対応できる効果があり、下流に行くほど重付けを重くする手法では、歪みなどの補正後の処理を重視するため、元々の記入図形の形状が主因の場合（丸みのある三角など）に対応できる効果がある。

重付けの別の例としては、特徴量と正しい認識結果のデータ群が有る場合に、重回帰分析によりそのデータ群に最適な重み付けを算出することができる。この手法では、データ群とこれから入力される追記情報が似ている場合（記入者、文書原本が同じなど）には、精度が高い利点がある。

認識性能情報提示部１９８は、難認識追記情報抽出部１９４により重付けを考慮して抽出された最終的な信頼度の値が一定水準よりも低い追記情報について修正を促すように認識性能情報を記入者に提示する。認識性能が一定水準に満たない追記情報のみについて記入者に修正が促されるので、全ての追記情報について修正の要否を判断（チェック）する必要がなく、誤認識を起し得る追記情報の修正作業を効率化することができる。

この第２の統合手法を採れば、重付けを自由に変更出来るため、記入者や文書原本などの特徴に合わせて精度が高くなるように調整できる効果がある。

また、難認識追記情報抽出部１９４は、信頼度が低くなる誤認識のタイプ（ミスのタイプ）を予め設定しておき、データ処理時に、この設定した「誤認識のタイプ」に該当するものの内、信頼度が最も低いタイプのものを最終的な信頼度とする第３の統合手法を採ることも考えられる。この際には、誤認識のタイプごとに、判定時に使用する信頼度の組合せと重付けを設定しておく。そして、推定される誤認識のタイプを元にして、処理や特徴量の組合せを選び、重付け加算して信頼度を算出する。そして、加算処理結果に基づいて、信頼度が所定水準よりも低い、あるいは最も低い誤認識のタイプを選ぶ。これにより、難認識追記情報抽出部１９４は、選択した誤認識のタイプを持つ、認識処理の信頼度が一定水準よりも低い難認識情報を特定することができる。

ここで、「推定される誤認識のタイプを元にして、処理や特徴量の組合せを選び、重付けして信頼度を算出する」には、あるタイプに特有に現れる特徴量の組合わせ（特徴量の特徴）を予め規定しておき、それに当てはまるかどうかを調べる。単純には、各処理で、あるタイプに特有の特徴量に当てはまれば１、当てはまらなければ０として加算し、ある水準を満たすかどうかを見る。

図６〜図１０は、認識性能情報提示処理部１９０の処理であって、各処理と関わる誤認識のタイプを説明する図である。「誤認識のタイプ」の判定としては、たとえば、文書入力装置２０と関わりを持つスキャンミス、差分抽出部１３２やデータ処理対象追記情報抽出部１４２と関わりを持つ抽出ミス、抽出線分途切れ補正部１４８と関わりを持つ欠損補間ミス、変形処理部１５６ａ，１６６ａ，１５７ａ，１６７ａと関わりを持つ形状変形、記入位置認識部１５８，１６８と関わりを持つ位置ずれといった各機能部の処理そのものと密接に関係したものや、複数追記や追記訂正、ペン色・太さ・かすれといった追記情報そのものに起因するものや、紙汚れなどの追記済文書８Ｂそのものに起因するもの、などを判定するのがよい。

たとえば、「抽出ミス」の誤認識のタイプは、形状認識や文字認識の信頼度が低く、かつ濃い背景への重複量が大きいときに起こり易い。これは、差分抽出部１３２での差分抽出処理時に、追記済文書８Ｂと文書原本８Ａとの各画像の位置関係などから追記情報と原本画像との接触の有無によって影響を受け得ることがあるし、また追記情報が写真や図形などの濃い背景に重複しているときにも影響を受け得るからである。また、データ処理対象追記情報抽出部１４２でのデータ処理用の追記情報の抽出時に、追記に使用されたペン色（たとえば赤ペン）の成分を抽出しようとするときに、注目する色と実際のペン色との相違の影響を受け得るし、赤抽出画像と原本画像との位置関係などから原本画像との接触の有無によっても影響を受け得るからである。

たとえば、図６（Ａ）に示すように、追記情報抽出処理の対象画像が、濃い背景に重なって採点記号８７が記入されていると、差分抽出部１３２やデータ処理対象追記情報抽出部１４２での追記情報の抽出結果は、図６（Ｂ）に示すように、重なり部分が欠損して抽出される。抽出線分途切れ補正部１４８は、その欠損部分が繋がるように補正する。

すなわち、抽出線分途切れ補正部１４８は、データ処理対象追記情報抽出部１４２による所定色成分の抽出結果、すなわち「○」や「×」などの図形であるはずの抽出結果に対して、細線化処理を実行し、さらに端点抽出処理を実行する。これにより、「○」や「×」などの図形に途切れ部分が生じている場合に、その途切れ部分における端点が抽出されることになる。そして、端点を抽出したら、その抽出した全ての端点の内、所定のものを接続する。

これにより、たとえば図６（Ｂ）に示す図形が抽出された場合には、端点Ａに対して、所定距離内に端点Ｂ，Ｃが存在していても、その中で最近傍の端点Ｂを端点Ａと接続することで、図６（Ｃ）に示すように、「○」の画像における途切れ部分を補正する。その結果、記入者は、本来、概ね「○」を記入しているにも拘わらず、濃い背景と重なる部分が欠落された歪んだ状態の「○」の画像が分離認識処理部１５５に入力されることになる。

その結果、分離認識処理部１５５は、歪んだ状態の「○」の画像に基づいて図形認識処理もしくは文字認識処理によって「○」と特定すべきであるが、その際には、重なり部分の欠落によって図形の特徴が大幅に変わってしまうため、認識率（信頼度）が低下してしまい、また認識ミスが生じる可能性が高くなる。

このため、図６（Ｄ）に示すように、難認識追記情報抽出部１９４にて、このような「抽出ミス」の誤認識のタイプを特定することができるように、差分抽出部１３２での差分抽出処理やデータ処理対象追記情報抽出部１４２での特定色成分抽出処理においては、抽出量などから求められる抽出時の各品質情報Ｊ１０，Ｊ１１、あるいは、採点記号８７やコメント８８の濃い背景への重複量Ｊ１２、赤抽出画像と原本画像との位置関係などから求められる原本画像と赤抽出画像の接触量Ｊ１３などを、認識率や信頼度に関わる特徴量として求め、これらの情報を難認識追記情報抽出部１９４に通知する。

難認識追記情報抽出部１９４は、通知された品質情報Ｊ１０，Ｊ１１、重複量Ｊ１２、接触量Ｊ１３に基づいて、たとえば、それぞれ基準を満たせば１、満たさなければ０として加算することで、差分抽出処理のサブ信頼度Ｔ１３２や特定色成分抽出処理のサブ信頼度Ｔ１４２を算出する。

また、「欠損補間ミス」の誤認識のタイプは、原本画像との接触量が多く、かつ複数の対応付けがなされたときに起こり易い。抽出線分途切れ補正部１４８における途切れ補正処理時に、端点同士の接続処理時に、端点間の距離の影響を受け得るからである。なお、複数の対応付けがなされるケースとしては、元々１つの画像が原本画像との重なり部分によって分断されるケースと、元々２つの画像が原本画像との重なり部分を途切れ補正することによって接続されるケースとがある。

元々１つの画像が原本画像との重なり部分によって分断されるケースとしては、たとえば、図７に示す事例がある。図７（Ａ）に示すように、追記情報抽出処理の対象画像が、線分などの比較的小さな濃い背景に重なって採点記号８７が記入されていると、差分抽出部１３２やデータ処理対象追記情報抽出部１４２での追記情報の抽出結果は、図７（Ｂ）に示すように、その重なり部分が欠損して抽出される。抽出線分途切れ補正部１４８は、その欠損部分が繋がるように補正する。

たとえば図７（Ｂ）に示す図形が抽出された場合には、「○」の画像が、線分などの比較的小さな濃い背景の重なり部分で分断され、４つの端点Ａ〜Ｄが現われる。抽出線分途切れ補正部１４８は、それらの端点を所定の条件に基づいて接続しようとする。この際、最近傍の端点同士を接続することを基本条件としていても、何らかの原因で、必ずしもそのように端点が接続されないことも起こり得る。この現象は、特に、文字や図形を示す１つの画像が、重なり部分によって分断されることで、複数の対応付けがなされた場合に起こり易い。元々１つの画像が分断されたものであるのか、元々別のものであったのかを切り分けることが困難であり、分断されている画像ごとに端点同士を接続しようとするからである。

よって、たとえば、図７（Ｃ１）に示すように、分断された上半分の端点Ａと端点Ｃとを接続する一方で、分断された下半分の端点Ｂと端点Ｄとは接続しない場合や、図７（Ｃ２）に示すように、分断された上半分の端点Ａと端点Ｃとを接続する一方で、分断された下半分の端点Ｂと端点Ｄも接続する場合もある。

その結果、何れにしても、記入者は、本来、概ね「○」を記入しているにも拘わらず、濃い背景と重なる部分が欠落された歪んだ状態の（概ね半円に近い）「○」の画像が分離認識処理部１５５に入力されることになる。

その結果、分離認識処理部１５５は、歪んだ状態の「○」の画像に基づいて図形認識処理もしくは文字認識処理によって「○」と特定すべきであるが、その際には、原本画像との重なり部分の欠落によって図形の特徴が大幅に変わってしまうため、認識率（信頼度）が低下してしまい、また認識ミスが生じる可能性が高くなる。

また、元々２つの画像が原本画像との重なり部分を途切れ補正することによって接続されるケースとしては、たとえば、図８に示す事例がある。図８（Ａ）に示すように、追記情報抽出処理の対象画像が、解答欄８４の枠などの濃い背景に重なって複数の採点記号８７が記入されていると、差分抽出部１３２やデータ処理対象追記情報抽出部１４２での追記情報の抽出結果は、図８（Ｂ）に示すように、それぞれの採点記号８７は重なり部分が欠損して抽出される。抽出線分途切れ補正部１４８は、その欠損部分が繋がるように補正する。

たとえば図８（Ｂ）に示す図形が抽出された場合には、２つの「○」の画像が、それぞれ枠線などの比較的小さな濃い背景の重なり部分で分断され、それぞれ４つの端点A1〜D1，A2〜D2が現われる。抽出線分途切れ補正部１４８は、それらの端点を所定の条件に基づいて接続しようとする。

ここで、複数の画像成分（分断されたものであるか否かを問わない）に発生する端点間の距離が、所定値以下であるか否かに基づいて、元々１つの画像が分断されたものであるのか、元々別のものであったのかを切り分けるようにし、かつ、最近傍の端点同士を接続することを基本条件としていると、先ず、それぞれの「○」の画像の抽出部分は、図８（Ｃ）に示すように、最近傍の端点同士を接続することで、元の「○」がほぼ再現される。

しかしながら、２つの「○」の画像成分に関しては、何らかの原因で、さらに端点同士の接続がなされることがある。この現象は、元々複数の画像が、それぞれ同じ背景によって分断されることで複数の対応付けがなされた場合に起こり易い。元々複数の画像であっても、元々１つの画像が分断されたものであるのか、元々別のものであったのかを切り分けることが困難であり、分断されている画像との間で端点同士を接続しようとすることが起こるからである。

よって、たとえば、図８（Ｃ）に示すように、右側と左側の２つの「○」の画像成分が、枠との重なり部分を補正しようとする線分によって接続され、全体として１つの画像になってしまう。

その結果、記入者は、本来、それぞれを概ね「○」で区別して記入しているにも拘わらず、濃い背景と重なる部分が線分で接続され、歪んだ状態の「○」の（２つが１つに繋がった）画像が分離認識処理部１５５に入力されることになる。

その結果、分離認識処理部１５５は、歪んだ状態の「○」の画像に基づいて図形認識処理もしくは文字認識処理によってそれぞれを「○」と区別して特定すべきであるが、その際には、原本画像との重なり部分を補正する線分によって図形の特徴が大幅に変わってしまうため、認識率（信頼度）が低下してしまい、また、認識ミスが生じる可能性が高くなる。

このため、図７（Ｄ），図８（Ｄ）に示すように、難認識追記情報抽出部１９４にて、このような「欠損補間ミス」の誤認識のタイプを特定することができるように、抽出線分途切れ補正部１４８での途切れ補正処理においては、途切れ補正処理時の補間長さを示す補間長情報Ｊ２０や接続の候補となる端点数Ｊ２１などを、認識率や信頼度に関わる特徴量として求め、補間長情報Ｊ２０などを難認識追記情報抽出部１９４に通知する。

難認識追記情報抽出部１９４は、通知された補間長情報Ｊ２０などに基づいて、たとえば、それぞれ基準を満たせば１、満たさなければ０として加算することで、途切れ補正処理のサブ信頼度Ｔ１４８を算出する。

また、「複数追記」の誤認識のタイプは、形状認識や文字認識の信頼度が低く、隣接する他の記入欄との距離が近くて複数の採点記号８７やコメント８８の対応付けがあるときに起こり易い。これは、分離認識処理部１５５の図形形状認識部１５６，１６６における図形認識処理時や文字認識処理部１５７，１６７における文字認識処理時に、複数の追記情報同士の接触の有無が認識の信頼度に影響を与えることに基づくものである。

たとえば、図９（Ａ）に示すように、２つの解答欄８４が２行で記載され、その間の距離が十分にないときに、各解答欄８４に記入された生徒解答に対してそれぞれ採点記号８７が採点官によって記入されると、十分な間隔がないために、２つの採点記号８７が接触してしまうことが典型例である。

このため、図９（Ｂ）に示すように、難認識追記情報抽出部１９４にて、このような「複数追記」の誤認識のタイプを特定することができるように、分離認識処理部１５５においては、先ず採点記号８７同士の接触の有無を示す接触情報Ｊ３０とコメント８８同士の接触の有無を示す接触情報Ｊ３１を求め、さらに、図形形状認識部１５６での図形認識処理においては、採点記号８７やコメント８８についての図形認識処理結果の認識の信頼度情報Ｊ３２，Ｊ３３を、採点記号８７やコメント８８についての図形認識率や図形の信頼度に関わる特徴量として求める。また、文字認識処理部１５７，１６７での文字認識処理においては、採点記号８７やコメント８８についての文字認識処理結果の認識の信頼度情報Ｊ３４，Ｊ３５を、採点記号８７やコメント８８についての文字認識率や文字の信頼度に関わる特徴量として求め、これらの情報を難認識追記情報抽出部１９４に通知する。

難認識追記情報抽出部１９４は、通知された採点記号８７についての接触情報Ｊ３０，信頼度情報Ｊ３２，信頼度情報Ｊ３４に基づいて、たとえば、それぞれ基準を満たせば１、満たさなければ０として加算することで、図形認識処理のサブ信頼度Ｔ１５６と文字認識処理のサブ信頼度Ｔ１５７とを算出する。また、コメント８８についての接触情報Ｊ３１，信頼度情報Ｊ３３，信頼度情報Ｊ３５に基づいて、たとえば、それぞれ基準を満たせば１、満たさなければ０として加算することで、図形認識処理のサブ信頼度Ｔ１６８と文字認識処理のサブ信頼度Ｔ１６７とを算出する。

また、「追記訂正」の誤認識のタイプは、形状認識や文字認識の信頼度は高いが、記入欄との距離が遠くて、１つの記入欄に対して複数の採点記号８７やコメント８８の対応付けがあるときに起こり易い。これは、データ処理部１７０にて、注目する追記情報について、記入位置認識部１５８，１６８により特定された記入位置の特定処理結果に基づいて、何れの記入欄に対応するものであるかを特定してデータ処理を実行していく際に、１つの追記情報が複数の記入位置に関係するか否かがデータ処理結果に影響を与えることに基づくものである。

たとえば、図１０（Ａ），（Ｂ）に示すように、２つの解答欄８４が２行で記載され、その間の距離がある程度広くなっているときに、各解答欄８４に記入された生徒解答に対してそれぞれ採点記号８７が採点官によって記入されると、間隔が広いために、２つの解答欄８４の間に、何れか一方用の１つの採点記号８７が記入されることが典型例である。

ここで、図１０（Ａ）に示すように、追記情報が大きく、上下の解答欄８４に跨がって記入されるケースでは、追記情報の外接矩形とそれぞれの解答欄８４となる領域との重なり面積が概ね同じであるし、各解答欄８４との間の各距離差も概ね同じであるので、２つの解答欄８４の間に記入された追記情報が何れの解答欄８４に対応させるべきかを特定することが困難になる。換言すれば、１つの解答欄８４に対して、複数の採点記号８７が対応付けされる可能性が生じる。

また、図１０（Ｂ）に示すように、追記情報が小さく、上下の解答欄８４の間に収まって記入されるケースでは、追記情報の外接矩形とそれぞれの解答欄８４となる領域との重なり面積が概ねゼロであるし、各解答欄８４との間の各距離差も概ね同じであるので、２つの解答欄８４の間に記入された追記情報が何れの解答欄８４に対応させるべきかを特定することが困難になる。換言すれば、１つの解答欄８４に対して、複数の採点記号８７が対応付けされる可能性が生じる。

このため、図１０（Ｃ）に示すように、難認識追記情報抽出部１９４にて、このような「追記訂正」の誤認識のタイプを特定することができるように、記入位置認識部１５８，１６８で記入位置認識処理においては、１つの追記情報の複数の記入欄への対応付けの可能性あるいは１つの記入欄に対しての複数の追記情報が対応付けされる可能性の有無を示す複数追記情報Ｊ４０，Ｊ４１や、各追記情報と各記入欄との距離を示す距離情報Ｊ４２，Ｊ４３などを、認識率や信頼度に関わる特徴量として求め、これらの情報を難認識追記情報抽出部１９４に通知する。

難認識追記情報抽出部１９４は、通知された情報Ｊ４０，Ｊ４２に基づいて、たとえば、それぞれ基準を満たせば１、満たさなければ０として加算することで、記入位置認識部１５８における採点記号８７についての記入位置認識処理のサブ信頼度Ｔ１５８を算出し、また通知された情報Ｊ４１，Ｊ４３に基づいて、たとえば、それぞれ基準を満たせば１、満たさなければ０として加算することで、記入位置認識部１６８におけるコメント８８についての記入位置認識処理のサブ信頼度Ｔ１６８を算出する。

難認識追記情報抽出部１９４は、注目する追記情報（採点記号８７やコメント８８）について、それぞれ求めた各処理のサブ信頼度の内で、サブ信頼度の値が一定水準よりも低い誤認識のタイプを抽出する。この際には、サブ信頼度が最も低い誤認識のタイプのみを抽出してもよい。全ての追記情報についてこの第３の統合手法を繰り返すことで、サブ信頼度の値が一定水準よりも低い誤認識のタイプを持つ追記情報が抽出される。

認識性能情報提示部１９８は、難認識追記情報抽出部１９４により抽出されたサブ信頼度の値が一定水準よりも低い誤認識のタイプを持つ追記情報について修正を促すように認識性能情報を記入者に提示する。

認識性能が一定水準に満たない誤認識のタイプを持つ追記情報のみについて記入者に修正が促されるので、全ての追記情報について修正の要否を判断（チェック）する必要がなく、誤認識を起し得る追記情報の修正作業を効率化することができる。信頼度が所定水準よりも低い誤認識のタイプが提示されると、記入者は、その誤認識のタイプの側面から現状の記入状態を改善することができる。１つの追記情報について、信頼度が所定水準よりも低い誤認識のタイプが２つ提示されたときには、記入者は、それぞれの誤認識のタイプの側面から現状の記入状態を改善することができるし、信頼度が最も低い誤認識のタイプのみが提示されたときには、記入者は、その最も信頼度の低い誤認識のタイプの側面から現状の記入状態を改善することができる。

このような第３の統合手法を採れば、タイプごとに具体的な改善方法を準備しておけるので、記入者が記入方法を注意し易くなり改善効果が向上する効果がある。

＜認識性能情報提示手法＞
図１１〜図１６は、認識性能情報提示部１９８における、認識性能を向上させるための認識性能情報をユーザに提示する手法を説明する図である。

認識性能情報提示部１９８が認識性能情報をユーザ（記入者）に提示する際には、記入者のそれぞれに応じた認識性能情報を提示するのがよい。また、その際の提示手法としては、たとえば、図１１に示すように、認識性能情報提示部１９８は、信頼度が一定水準以下のものについて、さらに信頼度によって認識性能情報の提示方法を変えて提示する第１の提示手法を採ることが考えられる。なお、ここでの「信頼度」は、最終的な信頼度を意味する。

ここで「信頼度よって表示方法を変える」という第１の提示手法は、最終的な信頼度のレベルや誤認識のタイプを目視で容易に区別することができるようにすることを意図したものであり、その限りにおいて、様々な提示手法による区別ができる。たとえば、最終的な信頼度や誤認識のタイプに応じて、それぞれ異なるグラディエーションを掛けて表示することができる。またたとえば、信頼度が一定水準以下のものについて枠を付ける、さらに信頼度の低いものほど枠線を太くする手法を採ることができる。

表示方法の違いによって、認識特定した全ての追記情報の中で、信頼度が一定水準よりも低いものがどれであるかを閲覧者（記入者）は判断することができる。よって、この第１の提示手法を採用した場合でも、事実上、信頼度の値が一定水準よりも低い追記情報についてのみ修正を促すように認識性能情報を記入者に提示することになる。記入者は、その信頼度の値が一定水準よりも低い追記情報について記入態様を改善することができる。

この第１の提示手法を採れば、修正が必要なものほど目に付き易くすることで、重大な見落としを防止できる。また、信頼度の違いを見せることで、どのような図形が認識に適さないのかを比較して学習することができるため、記入方法の改善に繋がる効果がある。

また、認識性能情報提示部１９８は、認識処理された全ての追記情報について、信頼度が一定水準よりも低い難認識情報のみに関して認識性能を向上させるための認識性能情報を提示する第２の提示手法を採ることが考えられる。たとえば、難認識追記情報抽出部１９４によって第１や第２の統合手法に基づいて特定される最終的な信頼度が所定水準よりも低い追記情報や、第３の統合手法に基づいて特定される信頼度が所定水準よりも低いあるいは最も低い誤認識のタイプを持つ追記情報のみに関して認識性能情報を提示する。

ここで、「信頼度が一定水準よりも低い難認識情報のみに関して認識性能を向上させるための認識性能情報を提示する」とは、要するに、認識処理された全ての付加情報について、「信頼度が低い難認識情報」と「その他の追記情報」とを区別して提示することで、「信頼度が低い難認識情報」を確実に特定できるように認識性能情報を提示することを意味する。たとえば、「信頼度が低い難認識情報」以外の情報は全て表示しないようにすることもできる。

信頼度の値が一定水準よりも低い難認識情報についてのみ修正を促すように認識性能情報を記入者に提示することができ、記入者は、その信頼度の値が一定水準よりも低い難認識情報について記入態様を改善することができる。

この第２の提示手法を採れば、信頼度が一定水準よりも低い難認識情報のみに関して認識性能を向上させるための認識性能情報を提示するため、修正の必要性が高い情報だけを素早く確認でき、効率的に修正作業ができる効果がある。

なお、第２の提示手法を採る場合において、認識性能が悪く修正を要するものとして認識性能情報の提示対象として抽出した追記情報に関しては、この追記情報が一目で何処の部分であるかを認識できるような状態で強調表示するのがよい。強調表示によって、信頼度が一定水準よりも低い難認識情報とその他の情報とを区別して提示することができる。

たとえば、図１２の各図に示すように、追記情報を枠で囲む（図１２（Ａ））、追記情報に矢印（あるいはその他のマーク）を付ける（図１２（Ｂ））、追記情報に電子付箋を付ける（図１３）、あるいは、図示を割愛するが、信頼度によって追記情報の太さを変えて表示する、信頼度によって追記情報の色を変えて表示する、などして、信頼度が一定水準よりも低い難認識情報とその他の情報とを区別して表示するとよい。

枠で囲む表示態様では範囲が特定し易いため、特に複数の図形が図８（Ｃ）のように接続してしまった場合に視認し易い効果がある。また、矢印やその他のマークを付ける表示態様では大きさを自由に設定できるため文書原本の記載などに被ってしまう可能性が低く、記入が密な場合でもあまり視認性が低下しない効果がある。電子付箋を付ける表示態様では複数文書を重ねた場合でも最上段以外の付箋を視認できるため、信頼度が低い追記情報の全体量や位置などが確認し易い効果がある。

あるいは、認識性能が悪く修正を要するものとして認識性能情報の提示対象として抽出した追記情報に関して、図１４に示すように、リンクの一覧を作成して表示するとともに、この一覧中の何れかがクリックされたときには、付加情報記入済教材８１を表示し、かつ該当箇所の追記情報を表示するよう表示してもよい。この際には、該当箇所の追記情報を図１２に示した強調表示を採用して表示するとよい。

リンクの一覧では、信頼度が一定水準以下の採点記号８７やコメント８８が記入される解答欄８４と対応する問題文のように、難認識情報に辿り着くことのできる情報のみが提示される。このリンクの一覧をベースとして、所要の難認識情報を表示させてから修正作業時に取り掛かることができる。

付加情報記入済教材８１上では難認識情報だけでなく全ての追記情報が提示されているが、リンクの一覧では、難認識情報に辿り着くことのできる情報のみを提示しており、このような態様も、「信頼度が一定水準よりも低い難認識情報のみに関して認識性能を向上させるための認識性能情報を提示する」に含むものとする。

あるいは、認識性能が悪く修正を要するものとして認識性能情報の提示対象として抽出した追記情報に関して、図１５に示すように、付加情報記入済教材８１を表示し、かつ、次にジャンプするボタンのクリック、「次に送る」ボタンのクリック、ダブルクリックなどの予め決められたジェスチャ、あるいは予め決められたキー操作（矢印キーなど）、などを契機とすることで、認識性能が悪く修正を要する複数の追記情報を、同一の付加情報記入済教材８１内であるいは別の付加情報記入済教材８１へと、次々とジャンプできるようにして表示してもよい。この際には、該当箇所（ジャンプ先）の追記情報を、図１２に示した強調表示を採用して表示するとよい。

また、認識性能情報提示部１９８は、図１６に示すように、信頼度が一定水準に満たない修正を要する追記情報（難認識情報）について、信頼度とともにそのように判定した判定理由を認識性能情報として提示する第３の提示手法を採ることが考えられる。

なお、ここでの「信頼度」は、最終的な信頼度を意味する。また、「判定理由」は、たとえば、難認識追記情報抽出部１９４に通知される各種のサブ信頼度を利用して、サブ信頼度の悪い処理を判定理由として特定するのがよい。

この第３の提示手法を採れば、信頼度の値が一定水準よりも低い追記情報を通知するだけでなく、そのように判定した理由も認識性能情報として記入者に提示することができ、記入者は、その信頼度の値が一定水準よりも低い追記情報について、提示された理由に応じた記入態様に改善することができる。どの点に注意して記入すればよいかを具体的に把握することができるので、記入方法の習得に利用することができる。手書き入力情報の形状などの不適切な部分を確実に把握し、正確な図形や文字の形状などを確実に学習することができるのである。

なお、上述の第１〜第３の提示手法の何れにおいても、各種の処理過程における認識率に関わる情報を収集し、収集した情報に基づいて信頼度の値が一定水準よりも低い追記情報を特定し、その信頼度の値が一定水準よりも低い追記情報に関して、手書き入力情報の認識性能を向上させるための認識性能情報、つまり現状の追記情報について修正を促す認識性能情報を提示するようにしたので、全ての追記情報をチェックする必要がなく、誤認識をもたらすような追記情報の記載を修正する作業を効率的に実行することができる。

また、付加情報記入済教材８１の表示中に、認識の信頼度が一致水準より低い現状の追記情報（難認識情報）について修正を促す認識性能情報を提示するようにしているので、特開２０００−１０５７９６号公報に記載の仕組みとは異なり、訂正専用の画面を作成する必要がない利点もある。

＜信頼度情報収集提示処理；具体例＞
図１７および図１８は、文書原本８Ａの一例である教育用教材８０を処理対象とする具体的な信頼度情報収集提示処理を示した図である。ここで、図１７は、その全体概要をシステム構成図と対応付けて示しており、また図１８は、信頼度情報収集提示処理手順を示すフローチャートである。

ここでは、教育用教材８０としての答案を作成し、答案を用いた試験後に、採点記号８７に基づく自動採点処理やコメント８８に基づくコメント分類処理を行なう例で示す。

試験を実行する際には、文書原本情報データベースＤＢ２から教育用教材８０を読み出してプリンタで印刷し生徒や受験者に配布する（Ｓ２０６）。そして、試験終了後、採点官は採点記号８７やコメント８８を生徒の解答に対して追記する（Ｓ２０８）。

自動データ処理時には、先ず、文書入力装置２０は、採点官により採点記号８７やコメント８８が記入された各解答者の付加情報記入済教材８１を読み取り（Ｓ２１０）、その付加情報記入済教材８１を表わす画像データを追記情報処理装置１０に入力する（Ｓ２１２）。文書入力装置２０は、この文書入力装置２０による画像読取りによって得られた画像データについて、一旦ワークエリアとして用いられるメモリなどに保持しておく。

追記情報処理装置１０（教材処理装置）は、付加情報記入済教材８１の読取画像データを受け取り、ハーフトーン画像中に埋め込まれている文書原本特定コードを特定し（Ｓ２２４）、対応する教育用教材８０の原本画像と記入欄位置領域情報３８などの原本情報を文書原本情報データベースＤＢ２として機能する文書管理サーバ３０から入手する（Ｓ２２５）。

そして、自動データ処理として、付加情報記入済教材８１に記入されている採点記号８７やコメント８８を差分抽出部１３２やデータ処理用追記情報抽出処理部１４０にて抽出し（Ｓ２４２）、分離認識処理部１５５や記入位置認識部１５８，１６８にてその記入内容や記入位置を特定した上で（Ｓ２６２）、データ処理部１７０にて採点記号８７に関する自動採点集計処理やコメント８８に関する自動コメント分類処理などを実行する（Ｓ２６６）。

この際、分離認識処理部１５５や記入位置認識部１５８，１６８あるいはデータ処理部１７０は、ユーザによる修正指示を受け付ける（Ｓ３１０）。この後、自動データ処理が完了すると（Ｓ２６４−ＹＥＳ）、データ処理部１７０は、採点・集計の結果やコメント分類結果を処理結果保存サーバ４０に登録する（Ｓ２６８）。

ここで、このような処理過程において、認識性能情報提示処理部１９０の難認識追記情報抽出部１９４は、各機能部から、それぞれ処理での認識率に関わる各特徴量を収集して（Ｓ３００）、収集した各特徴量に基づいて、各処理についてのサブ信頼度を算出する（Ｓ３０２）。

たとえば、差分抽出部１３２は、文書原本８Ａの一例である教育用教材８０と追記済文書８Ｂの一例である付加情報記入済教材８１との間での差分抽出処理における品質情報Ｊ１０と、採点記号８７やコメント８８の濃い背景への重複量Ｊ１２を抽出して難認識追記情報抽出部１９４に通知する。また、データ処理用追記情報抽出処理部１４０のデータ処理対象追記情報抽出部１４２は、差分抽出部１３２で抽出された差分情報９の内データ処理対象の追記情報として採点記号８７やコメント８８を抽出する際の品質情報Ｊ１１と、赤抽出画像と原本画像との位置関係などから求められる原本画像と赤抽出画像の接触量Ｊ１３を抽出して難認識追記情報抽出部１９４に通知する。難認識追記情報抽出部１９４は、通知された品質情報Ｊ１０，Ｊ１１、重複量Ｊ１２、接触量Ｊ１３に基づいて、差分抽出処理のサブ信頼度Ｔ１３２と特定色成分抽出処理のサブ信頼度Ｔ１４２とを算出する。

また、抽出線分途切れ補正部１４８は、途切れ補正処理時の補間長さを示す補間長情報Ｊ２０や接続の候補となる端点数Ｊ２１などを抽出し、難認識追記情報抽出部１９４に通知する。難認識追記情報抽出部１９４は、通知された補間長情報Ｊ２０などに基づいて、途切れ補正処理（欠損補間）のサブ信頼度Ｔ１４８を算出する。

また、分離認識処理部１５５は、先ず、採点記号８７同士の接触の有無を示す接触情報Ｊ３０とコメント８８同士の接触の有無を示す接触情報Ｊ３１を抽出し、難認識追記情報抽出部１９４に通知する。

また、分離認識処理部１５５の図形形状認識部１５６は、採点記号８７についての図形認識処理結果の認識の信頼度情報Ｊ３２を抽出し、難認識追記情報抽出部１９４に通知するし、図形形状認識部１６６は、コメント８８についての図形認識処理結果の認識の信頼度情報Ｊ３３を抽出し、難認識追記情報抽出部１９４に通知する。

また、分離認識処理部１５５の文字認識処理部１５７は、採点記号８７についての文字認識処理結果の認識の信頼度情報Ｊ３４を抽出し、難認識追記情報抽出部１９４に通知するし、文字認識処理部１６７は、コメント８８についての文字認識処理結果の認識の信頼度情報Ｊ３５を抽出し、難認識追記情報抽出部１９４に通知する。

難認識追記情報抽出部１９４は、通知された採点記号８７についての接触情報Ｊ３０，信頼度情報Ｊ３２，信頼度情報Ｊ３４に基づいて、図形認識処理のサブ信頼度Ｔ１５６と文字認識処理のサブ信頼度Ｔ１５７とを算出し、また、コメント８８についての接触情報Ｊ３１，信頼度情報Ｊ３３，信頼度情報Ｊ３５に基づいて、図形認識処理のサブ信頼度Ｔ１６８と文字認識処理のサブ信頼度Ｔ１６７とを算出する。

また、記入位置認識部１５８は、採点記号８７についての複数追記情報Ｊ４０と距離情報Ｊ４２とを抽出して難認識追記情報抽出部１９４に通知するし、記入位置認識部１６８は、コメント８８についての複数追記情報Ｊ４１と距離情報Ｊ４３とを抽出して難認識追記情報抽出部１９４に通知する。

難認識追記情報抽出部１９４は、通知された情報Ｊ４０，Ｊ４２に基づいて採点記号８７についての記入位置認識処理のサブ信頼度Ｔ１５８を算出し、また通知された情報Ｊ４１，Ｊ４３に基づいてコメント８８についての記入位置認識処理のサブ信頼度Ｔ１６８を算出する。

難認識追記情報抽出部１９４は、さらに、前述のようにして求めた各処理のサブ信頼度と過去の統計情報とに基づいて、たとえば下記式（１）のようにして、処理ごとに重付けαを変えて、最終的な信頼度Ｔfinal を算出する（Ｓ３０４）。

認識性能情報提示部１９８は、自動採点処理用のソフトウェアに組み込まれた自動採点結果の修正ソフト上で、信頼度Ｔfinal が、予め定めてある閾値以下の低信頼度の追記情報を特定し（Ｓ３０６）、その信頼度の値が閾値よりも低い追記情報に関して、手書き入力情報の認識性能を向上させるための認識性能情報として、特定した現状の追記情報について修正を促す認識性能情報をユーザ端末１７１上に提示する（Ｓ３０８）。この際には、前述のように、たとえば、その追記情報を強調表示する、あるいは、判定理由を示すなど、修正が必要な追記情報であることや修正方法を容易に判断することができるような状態で表示するのがよい。

採点記号８７やコメント８８の記入者は、ユーザ端末１７１に提示された認識性能情報を確認しながら、信頼度の値が閾値よりも低く、誤認識をもたらすような採点記号８７（を表わす文字や図形）やコメント８８（を表わす文字や図形）に関してのみ、ユーザ端末１７１上で修正処理を実行する（Ｓ３１０）。

そして、全て修正作業が完了すると（Ｓ２６４−ＹＥＳ）、修正された追記情報をデータ処理に反映させる。たとえば、採点・集計結果の確定データやコメント分類結果の確定データを処理結果保存サーバ４０に登録する（Ｓ２６４）。利用者による修正結果を受け付け、認識後にデータベース操作などで直接データを変更することで反映する（Ｓ２６８）。つまり、データベースに保存後のデータを直接に変更すればよい。

この事例の処理手順では、通常の自動データ処理の過程で認識の正誤を反映させて、認識した手書き入力情報の内、認識性能の劣るものについてのみ修正を促すようにしているので、修正を要するものについてのみ特別な手間を掛けずに、採点記号８７やコメント８８などの記入態様を随時チェックしつつ修正を行ない、修正後の追記情報を用いて自動採点処理や自動コメント分類処理の結果を適切に変更することができる。

＜追記情報処理装置；計算機構成＞
図１９は、追記情報処理装置１０の他の構成例を示すブロック図である。ここでは、パーソナルコンピュータなどの電子計算機を利用して、追記情報処理をソフトウェアで実行するマイクロプロセッサなどから構築されるより現実的なハードウェア構成を示している。

すなわち、本実施形態において、追記情報に関するデータ処理を実行する仕組みは、ハードウェア処理回路により構成することに限らず、その機能を実現するプログラムコードに基づき電子計算機（コンピュータ）を用いてソフトウェア的に実現することも可能である。

よって、本発明に係る仕組みを、電子計算機（コンピュータ）を用いてソフトウェアで実現するために好適なプログラムあるいはこのプログラムを格納したコンピュータ読取可能な記憶媒体を発明として抽出することもできる。ソフトウェアにより実行させる仕組みとすることで、ハードウェアの変更を伴うことなく、処理手順などを容易に変更できる利点を享受できるようになる。

電子計算機に、追記情報に関するデータ処理機能をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ（組込マイコンなど）、あるいは、ＣＰＵ（Central Processing Unit ）、論理回路、記憶装置などの機能を１つのチップ上に搭載して所望のシステムを実現するＳＯＣ（System On a Chip：システムオンチップ）、または、各種のプログラムをインストールすることで各種の機能を実行することが可能な汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

記録媒体は、コンピュータのハードウェア資源に備えられている読取装置に対して、プログラムの記述内容に応じて、磁気、光、電気などのエネルギの状態変化を引き起こして、それに対応する信号の形式で、読取装置にプログラムの記述内容を伝達できるものである。

たとえば、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクＦＤを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＤＶＤ（Digital Versatile Disc）を含む）、光磁気ディスク（ＭＤ（Mini Disc ）を含む）、または半導体メモリなどよりなるパッケージメディア（可搬型の記憶媒体）により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭやハードディスクなどで構成されてもよい。

また、ソフトウェアを構成するプログラムは、記録媒体を用いずに、記録媒体を介して提供されることに限らず、有線あるいは無線などの通信網を介して提供されてもよい。

たとえば、追記情報に関するデータ処理機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、ハードウェア処理回路にて構成する場合と同様の効果は達成される。この場合、記憶媒体から読み出されたプログラムコード自体が追記情報に関するデータ処理機能を実現する。

また、コンピュータが読み出したプログラムコードを実行することで、追記情報に関するデータ処理機能が実現されるだけでなく、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（Operating Systems ；基本ソフト）などが実際の処理の一部または全部を行ない、その処理により追記情報に関するデータ処理機能が実現される場合であってもよい。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって追記情報に関するデータ処理機能が実現される場合であってもよい。

なお、追記情報に関するデータ処理機能を実現するプログラムコードを記述したファイルとしてプログラムが提供されるが、この場合、一括のプログラムファイルとして提供されることに限らず、コンピュータで構成されるシステムのハードウェア構成に応じて、個別のプログラムモジュールとして提供されてもよい。

たとえば、コンピュータシステム９００は、コントローラ部９０１と、ハードディスク装置、フレキシブルディスク（ＦＤ）ドライブ、あるいはＣＤ−ＲＯＭ（Compact Disk ROM）ドライブ、半導体メモリコントローラなどの、所定の記憶媒体からデータを読み出したり記録したりするための記録・読取制御部９０２とを有する。

コントローラ部９０１は、ＣＰＵ（Central Processing Unit ）９１２、読出専用の記憶部であるＲＯＭ（Read Only Memory）９１３、随時書込みおよび読出しが可能であるとともに揮発性の記憶部の一例であるＲＡＭ（Random Access Memory）９１５、および不揮発性の記憶部の一例であるＲＡＭ（ＮＶＲＡＭと記述する）９１６を有している。

なお、上記において“揮発性の記憶部”とは、装置の電源がオフされた場合には、記憶内容を消滅してしまう形態の記憶部を意味する。一方、“不揮発性の記憶部”とは、装置のメイン電源がオフされた場合でも、記憶内容を保持し続ける形態の記憶部を意味する。記憶内容を保持し続けることができるものであればよく、半導体製のメモリ素子自体が不揮発性を有するものに限らず、バックアップ電源を備えることで、揮発性のメモリ素子を“不揮発性”を呈するように構成するものであってもよい。

また、半導体製のメモリ素子により構成することに限らず、磁気ディスクや光ディスクなどの媒体を利用して構成してもよい。たとえば、ハードディスク装置を不揮発性の記憶部として利用できる。また、ＣＤ−ＲＯＭなどの記録媒体から情報を読み出す構成を採ることでも不揮発性の記憶部として利用できる。

また、コンピュータシステム９００は、ユーザインタフェースをなす機能部としての指示入力部９０３と、操作時のガイダンス画面や処理結果などの所定の情報をユーザに提示する表示出力部９０４と、各機能部との間のインタフェース機能をなすインタフェース部（ＩＦ部）９０９とを有する。

なお、データ処理結果を印刷出力してユーザに提示する構成とするべく、処理結果を所定の出力媒体（たとえば印刷用紙）に出力する画像形成部９０６を設けることもできる。

指示入力部９０３としては、たとえば、ユーザインタフェース部９８５の操作キー部９８５ｂを利用することができる。あるいは、キーボードやマウスなどを利用することもできる。

表示出力部９０４は、表示制御部９１９と表示装置とを備える。表示装置としては、たとえば、ユーザインタフェース部９８５の操作パネル部９８５ａを利用することができる。あるいは、ＣＲＴ（Cathode Ray Tube；陰極線管）やＬＣＤ（Liquid Crystal Display；液晶）などでなるその他のディスプレイ部を利用することもできる。

たとえば、表示制御部９１９が、操作パネル部９８５ａやディスプレイ部上に、ガイダンス情報や文書入力装置２０が取り込んだ全体画像などを表示させる。また、各種の情報をユーザに通知する際の表示デバイスとしても利用される。なお、表示面上にタッチパネルを有するディスプレイ部とすることで、指先やペンなどで所定の情報を入力する指示入力部９０３を構成することもできる。

インタフェース部９０９としては、処理データ（画像データを含む）や制御データの転送経路であるシステムバス９９１の他、たとえば、画像形成部９０６や他のプリンタとのインタフェース機能をなすプリンタＩＦ部９９６、およびネットワークとの間の通信データの受け渡しを仲介する通信ＩＦ部９９９を有している。

このような構成において、ＣＰＵ９１２は、システムバス９９１を介してシステム全体の制御を行なう。ＲＯＭ９１３は、ＣＰＵ９１２の制御プログラムなどを格納する。ＲＡＭ９１５は、ＳＲＡＭ（Static Random Access Memory ）などで構成され、プログラム制御変数や各種処理のためのデータなどを格納する。また、ＲＡＭ９１５は、所定のアプリケーションプログラムに従って演算して得たデータや外部から取得したデータなどを一時的に格納する領域を含んでいる。

たとえば、追記情報に関するデータ処理機能をコンピュータに実行させるプログラムは、ＣＤ−ＲＯＭなどの記録媒体を通じて配布される。あるいは、このプログラムは、ＣＤ−ＲＯＭではなくＦＤに格納されてもよい。また、ＭＯドライブを設け、ＭＯに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカードなど、その他の記録媒体にプログラムを格納してもよい。さらに、他のサーバなどからインターネットなどのネットワークを経由してプログラムをダウンロードして取得したり、あるいは更新したりしてもよい。

なおプログラムを提供するための記録媒体としては、ＦＤやＣＤ−ＲＯＭなどの他にも、ＤＶＤなどの光学記録媒体、ＭＤなどの磁気記録媒体、ＰＤなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアカードなどの半導体メモリを用いることができる。記録媒体の一例としてのＦＤやＣＤ−ＲＯＭなどには、追記情報に関するデータ処理機能を実現する際の、一部または全ての機能を格納することができる。

また、ハードディスク装置は、制御プログラムによる各種処理のためのデータを格納したり、自装置で取得したデータや外部から取得したデータなどを大量に一時的に格納したりする領域を含んでいる。

このような構成により、操作キー部９８５ｂを介した操作者による指令にて、前述の追記情報処理方法を実行するプログラムが記憶されているＣＤ−ＲＯＭなどの読取可能な記録媒体からＲＡＭ９１５に追記情報処理プログラムがインストールされ、また操作キー部９８５ｂを介した操作者による指令や自動処理にて追記情報処理プログラムが起動される。たとえば、教材自動採点システム１を実現する場合であれば、教材処理プログラムでは、所定色成分、具体的にはたとえば赤色成分の差分抽出結果を、採点記号８７やコメント８８の記入内容として認識し、かつ両者を分離するようにする処理ステップなどが記述されプログラムが起動される。

ＣＰＵ９１２は、この追記情報処理プログラムに従って前述の追記情報処理方法に伴う計算処理を施し、処理結果をＲＡＭ９１５やハードディスクなどの記憶装置に格納し、必要により操作パネル部９８５ａ、あるいはＣＲＴやＬＣＤなどの表示装置に出力する。追記情報処理方法を実行するプログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、追記情報処理システムを汎用的に構築することができる。

なお、このようなコンピュータを用いた構成に限らず、図２を用いて示した各機能部の処理をなす専用のハードウェアの組合せにより、追記情報に関するデータ処理機能を行なう追記情報処理装置１０を構成することもできる。

また、たとえば、追記情報に関するデータ処理機能のための各機能部分の全ての処理をソフトウェアで行なうのではなく、これら機能部分の一部を専用のハードウェアにて行なう処理回路９０８を設けてもよい。ソフトウェアで行なう仕組みは、並列処理や連続処理に柔軟に対処し得るものの、その処理が複雑になるに連れ、処理時間が長くなるため、処理速度の低下が問題となる。

これに対して、ハードウェア処理回路で行なうことで、高速化を図ったアクセラレータシステムを構築することができるようになる。アクセラレータシステムは、処理が複雑であっても、処理速度の低下を防ぐことができ、高いスループットを得ることができる。

たとえば、追記情報に関するデータ処理機能を実現する場合であれば、処理回路９０８としては、図２に示した読取画像処理部１１０に相当する読取画像処理部９０８ａ、文書原本特定部１２０に相当する文書原本特定部９０８ｂ、追記情報抽出部１３０に相当する追記情報抽出部９０８ｃ、データ処理対象追記情報特定処理部１５０に相当するデータ処理対象追記情報特定処理部９０８ｄ、あるいはデータ処理部１７０に相当するデータ処理部９０８ｅなどをハードウェアで構成するとよい。

以上、本発明について実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。

また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。

たとえば、歪み補正処理や途切れ補正処理などは、必ずしも必須ではない。

また、処理対象の追記済文書８Ｂの一例として、自動採点集計処理の仕組みに利用される付加情報記入済教材８１を例に説明したが、これは一例に過ぎず、データ処理対象となる手書きの追記情報が含まれているものであれば、その文書の種別は問わない。たとえば、自動帳票処理の仕組みに利用される記入済帳票（特開平５−３４２２３９号公報や平６−２７４１５６号公報を参照）や個人情報管理（特にスケジュール管理ともいう）の仕組みに利用される付加情報記入済手帳（特開平５−２１６９３２号公報を参照）などであってもよい。

また、先にも述べたが、処理対象の追記済文書８Ｂは、紙媒体を用いることに限定されず、最初から追記済文書８Ｂを電子データの形式で入手する態様の場合であっても、データ処理対象となる追記情報が含まれているものであれば、上述した仕組みを同様に適用することができる。

本発明に係る追記情報処理において処理対象とする文書の一例である教育用教材を示す図である。本発明に係る追記情報処理装置を備えてなる情報処理システムの一実施形態の構成例を示す図である。教材自動採点システムにおける教材処理方法の全体概要をシステム構成図と対応付けて示した図である。教材自動採点システムにおける全体処理手順を示すフローチャートである。認識性能情報提示処理部の処理であって、各処理時の認識率や信頼度に関わる特徴量を収集する手法の一例を示す図である。認識性能情報提示処理部の処理であって、「抽出ミス」の誤認識のタイプを説明する図である。認識性能情報提示処理部の処理であって、「欠損補間ミス」の誤認識のタイプを説明する図（その１）である。認識性能情報提示処理部の処理であって、「欠損補間ミス」の誤認識のタイプを説明する図（その２）である。認識性能情報提示処理部の処理であって、「複数追記」の誤認識のタイプを説明する図である。認識性能情報提示処理部の処理であって、「追記訂正」の誤認識のタイプを説明する図である。認識性能情報提示部における、認識性能を向上させるための認識性能情報をユーザに提示する第１の提示手法を説明する図である。認識性能情報提示部における、認識性能を向上させるための認識性能情報をユーザに提示する第２の提示手法を説明する図（その１）である。認識性能情報提示部における、認識性能を向上させるための認識性能情報をユーザに提示する第２の提示手法を説明する図（その２）である。認識性能情報提示部における、認識性能を向上させるための認識性能情報をユーザに提示する第２の提示手法を説明する図（その３）である。認識性能情報提示部における、認識性能を向上させるための認識性能情報をユーザに提示する第２の提示手法を説明する図（その４）である。認識性能情報提示部における、認識性能を向上させるための認識性能情報をユーザに提示する第３の提示手法を説明する図である。教育用教材を処理対象とする具体的な信頼度情報収集提示処理をシステム構成図と対応付けて示した図である。信頼度情報収集提示処理手順を示すフローチャートである。追記情報処理装置を、電子計算機を用いて構成する場合のハードウェア構成の一例を示した図である。

符号の説明

１…教材自動採点システム、８Ａ…文書原本、８Ｂ…追記済文書、９…差分情報、１０…追記情報処理装置、２０…文書入力装置、３０…文書管理サーバ、４０…処理結果保存サーバ、８０…教育用教材、８１…付加情報記入済教材、８７…採点記号、８８…コメント、１１０…読取画像処理部、１２０…文書原本特定部、１２２…教材特定部、１３０…追記情報抽出部、１３２…差分抽出部、１３４…解答者抽出部、１３６…手書き情報切出部、１３８…文字認識処理部、１４０…データ処理用追記情報抽出処理部、１４２…データ処理対象追記情報抽出部、１４６…追記情報整形部、１４８…抽出線分途切れ補正部、１５０…データ処理対象追記情報特定処理部、１５４…第１データ処理用追記情報認識部、１５５…分離認識処理部、１５６…図形形状認識部、１５７…文字認識処理部、１５８…記入位置認識部、１６４…第２データ処理用追記情報認識部、１６６…図形形状認識部、１６７…文字認識処理部、１５６ａ，１６６ａ、１５７ａ，１６７ａ…変形処理部、１６８…記入位置認識部、１７０…データ処理部、１７０_1…第１データ処理部、１７０_2…第２データ処理部、１７１…ユーザ端末、１７２…採点集計部、１７４…集計結果出力部、１７６…コメント分類処理部、１７８…コメント処理結果出力、１９０…認識性能情報提示処理部、１９２…追記情報認識履歴保持部、１９４…難認識追記情報抽出部、１９８…認識性能情報提示部

Claims

原稿の画像データと、前記原稿に対して記入がなされた記入済み原稿の画像データとの差分を抽出する差分抽出手段と、
前記差分抽出手段によって抽出された差分から、予め定められた色成分の画像データを抽出する色成分抽出手段と、
前記色成分抽出手段によって抽出された画像データに含まれる線分のうち、途切れた線分同士が接続されるよう、前記色成分抽出手段によって抽出された画像データを補正する途切れ線分補正手段と、
前記途切れ線分補正手段によって補正された画像データに含まれる図形の形状を認識する図形形状認識手段と、
前記図形形状認識手段によって認識された図形が記入された位置を認識する記入位置認識手段と、
前記図形形状認識手段によって形状が認識され、前記記入位置認識手段によって記入位置が認識された図形それぞれについて、前記差分抽出手段における抽出誤りの信頼度に関する特徴量、前記色成分抽出手段における抽出誤りの信頼度に関する特徴量、前記途切れ線補正手段における補正誤りの信頼度に関する特徴量、前記図形形状認識手段における認識誤りの信頼度に関する特徴量及び前記記入位置認識手段における認識誤りの信頼度に関する特徴量のうち少なくとも複数の特徴量が予め定められた基準を満たすか否かを示すサブ信頼度を算出し、算出されたサブ信頼度が予め定められた水準よりも低い図形を特定する難認識図形特定手段と、
前記難認識図形特定手段によって特定された図形が修正を要することを表示する表示手段と
を備える情報処理装置。
前記難認識図形特定手段は、算出されたサブ信頼度のうち最も小さいサブ信頼度を最終的な信頼度として特定し、特定された最終的な信頼度が予め定められた水準よりも低い図形を特定する
請求項１に記載の情報処理装置。
前記難認識図形特定手段は、算出されたサブ信頼度に重み付け値を乗じて合計した値のうち最も小さい値を最終的な信頼度として特定し、特定された最終的な信頼度が予め定められた水準よりも低い図形を特定する
請求項１に記載の情報処理装置。
前記難認識図形特定手段は、算出されたサブ信頼度に重み付け値を乗じて合計した値が最も小さい値又は予め定められた水準よりも低い値を算出する基となった特徴量に関する誤りの種別を特定する
請求項１に記載の情報処理装置。
前記表示手段は、前記難認識図形特定手段において特定された最終的な信頼度又は誤りの種別に応じて、表示方法を変える
請求項１乃至４のいずれかに記載の情報処理装置。
前記表示手段は、前記図形形状認識手段によって形状が認識され、前記記入位置認識手段によって記入位置が認識された図形のうち、前記難認識図形特定手段において特定された図形と、当該図形以外の図形とが区別されるように表示する
請求項１乃至４のいずれかに記載の情報処理装置。
前記表示手段は、前記難認識図形特定手段によって特定された図形が修正を要することを表示するにあたり、当該図形の最終的な信頼度及び当該図形を修正すべき理由を表示する
請求項１乃至４のいずれかに記載の情報処理装置。
前記図形形状認識手段によって形状が認識され、前記記入位置認識手段によって記入位置が認識された図形それぞれに基づいて採点集計処理を実行するデータ処理手段
をさらに有する請求項１乃至７のいずれかに記載の情報処理装置。
前記難認識図形特定手段によって特定された図形の修正を受け付ける受付手段
をさらに有し、
前記データ処理手段は、前記受付手段によって受け付けられた修正後の図形に基づいて自動採点処理を実行する
請求項８に記載の情報処理装置。
前記差分抽出手段における抽出誤りの信頼度に関する特徴量は、前記差分抽出手段による抽出結果の品質並びに前記原稿の画像データと前記原稿に対して記入がなされた記入済み原稿の画像データとが重複する量及び接触する量であり、
前記色成分抽出手段における抽出誤りの信頼度に関する特徴量は、前記色成分抽出手段による抽出結果の品質並びに前記原稿の画像データと前記色成分抽出手段によって抽出される画像データとが重複する量及び接触する量であり、
前記途切れ線補正手段における補正誤りの信頼度に関する特徴量は、前記途切れ線補正手段によって接続される途切れた線分の端点及び当該端点間の距離であり、
前記図形形状認識手段における認識誤りの信頼度に関する特徴量は、前記途切れ線分補正手段によって補正された画像データにおいて図形同士が接触するか否か及び前記図形形状認識手段による図形形状認識結果の信頼度であり、
前記記入位置認識手段における認識誤りの信頼度に関する特徴量は、前記図形形状認識手段によって認識された図形が記入された位置が複数認識される可能性及び前記原稿に設けられた記入欄と前記図形形状認識手段によって認識された図形との距離である
請求項１乃至９のいずれかに記載の情報処理装置。
原稿の画像データと、前記原稿に対して記入がなされた記入済み原稿の画像データとの差分を抽出する差分抽出手段、
前記差分抽出手段によって抽出された差分から、予め定められた色成分の画像データを抽出する色成分抽出手段、
前記色成分抽出手段によって抽出された画像データに含まれる線分のうち、途切れた線分同士が接続されるよう、前記色成分抽出手段によって抽出された画像データを補正する途切れ線分補正手段、
前記途切れ線分補正手段によって補正された画像データに含まれる図形の形状を認識する図形形状認識手段、
前記図形形状認識手段によって認識された図形が記入された位置を認識する記入位置認識手段、
前記図形形状認識手段によって形状が認識され、前記記入位置認識手段によって記入位置が認識された図形それぞれについて、前記差分抽出手段における抽出誤りの信頼度に関する特徴量、前記色成分抽出手段における抽出誤りの信頼度に関する特徴量、前記途切れ線補正手段における補正誤りの信頼度に関する特徴量、前記図形形状認識手段における認識誤りの信頼度に関する特徴量及び前記記入位置認識手段における認識誤りの信頼度に関する特徴量のうち少なくとも複数の特徴量が予め定められた基準を満たすか否かを示すサブ信頼度を算出し、算出されたサブ信頼度が予め定められた水準よりも低い図形を特定する難認識図形特定手段、及び、
前記難認識図形特定手段によって特定された図形が修正を要することを表示する表示手段
としてコンピュータを機能させるプログラム。