JP4365957B2 - 画像処理方法及びその装置及び記憶媒体 - Google Patents

画像処理方法及びその装置及び記憶媒体 Download PDF

Info

Publication number
JP4365957B2
JP4365957B2 JP31553699A JP31553699A JP4365957B2 JP 4365957 B2 JP4365957 B2 JP 4365957B2 JP 31553699 A JP31553699 A JP 31553699A JP 31553699 A JP31553699 A JP 31553699A JP 4365957 B2 JP4365957 B2 JP 4365957B2
Authority
JP
Japan
Prior art keywords
image
quantization
quantization index
correction value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31553699A
Other languages
English (en)
Other versions
JP2001136526A (ja
JP2001136526A5 (ja
Inventor
眞 佐藤
裕樹 岸
浩 梶原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP31553699A priority Critical patent/JP4365957B2/ja
Priority to US09/702,764 priority patent/US6947600B1/en
Publication of JP2001136526A publication Critical patent/JP2001136526A/ja
Publication of JP2001136526A5 publication Critical patent/JP2001136526A5/ja
Application granted granted Critical
Publication of JP4365957B2 publication Critical patent/JP4365957B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
    • H04N19/647Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像データを符号化した符号列を入力して復号する画像処理方法及び装置及び記憶媒体に関するものである。
【0002】
【従来の技術】
近年のコンピュータ及びネットワークの著しい発達に伴い、文字データ、画像データ、音声データ等、多種の情報がコンピュータ内、ネットワーク内で蓄積されたり、或は伝送されるようになってきている。これらのデータの中で画像、特に多値画像は非常に多くの情報を含んでおり、その画像を蓄積・伝送する際にはデ−タ量が膨大になってしまうという問題がある。このため画像の蓄積・伝送においては、画像の持つ冗長性を除く、或いは画質の劣化が視覚的に認識し難い程度で画像の内容を変更することによって、そのデ−タ量を削減する高能率符号化が用いられる。
【0003】
この高能率符号化方式の例としては、静止画像の国際標準符号化方式としてISOとITU−Tにより勧告されたJPEGが広く用いられている。このJPEGでは、符号化対象となる画像の符号化データの使用目的に応じて数種の符号化方式が規定されているが、大別すると離散コサイン変換を利用し非可逆符号化を目的としたDCT利用型と、2次元DPCMに基づき可逆符号化を目的とするスペイシャル方式の2つのモードを持っている。
【0004】
更に、詳細な説明は勧告書ITU−T Recommendation T.81| ISO/IEC 10918-1等に記載されているのでここでは省略する。ここでDCT方式は量子化における量子化ステップを変更することによりビットレートを制御しているが、目標ビットレートを低く設定するためには大きな量子化ステップを与える必要がある。これに伴って、特に低ビットレートの条件下においては、量子化による再生画像の歪みが許容できない程度まで大きくなる、という問題がある。
【0005】
また、JPEGにおいては、ハイアラーキカル(階層)符号化が規定されている。このハイアラーキカル符号化においては、入力画像を水平・垂直方向ともそれぞれ1/2、1/4,…と、複数段階に縮小して異なる解像度の画像を複数生成し、最も解像度の低い画像を通常の画像と同じように符号化して伝送する。
【0006】
このハイアラーキカル符号化においては、DCT方式およびスペイシャル方式が使用可能である。ここで、ハイアラーキカル符号化を可逆符号化とする場合には、上述の段階の全てにスペイシャル方式を用いるか、最終段のみスペイシャル方式とし、それ以外をすべてDCT方式にするため、装置は2つの方式をどちらも具備しなければならず、装置が複雑化するという問題点がある。
【0007】
これらの問題点を解決する方式として、離散ウェーブレット変換を利用した符号化方式が提案されている。このような離散ウェーブレット変換による符号化方式は、DCT方式に対して圧縮性能が高く、またJPEGにおけるハイアラーキカル符号化を単一のシステムで実現できる、などの利点がある。
【0008】
【発明が解決しようとする課題】
また一方、画像圧縮符号化に対する要求は以前にも増して高くなっており、従来は別方式により符号化されていた文書画像などの2値画像に対しても、復号画像の画質を確保する必要性が生じてきている。しかし現時点においては、単一の方式により、自然画像及び2値画像の両方、またはそれらが混在した画像に対して、復号画像の画質を十分な水準で確保したまま、元の画像に復元できないという問題点があった。
【0009】
本発明は上記従来例に鑑みてなされたもので、圧縮符号化された画像を高画質に復号できる画像処理方法及び装置及び記憶媒体を提供することを目的とする。
【0010】
また本発明の目的は、圧縮符号化された符号列で表された画像の特性に基づいて高画質に復号する画像処理方法及び装置及び記憶媒体を提供することにある。
【0011】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力し、当該入力した符号列をエントロピ復号して量子化インデックスを取得する復号手段と、
前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定手段と、
前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化手段と、
前記逆量子化手段により得られた前記係数列を逆変換して画像信号に復元する逆変換手段と、を有することを特徴とする。
【0012】
上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力して復号する画像処理方法であって、
入力した符号列をエントロピ復号して量子化インデックスを取得する復号工程と、
前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定工程と、
前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化工程と、
前記逆量子化工程で得られた前記係数列を逆変換して画像信号に復元する逆変換工程と、を有することを特徴とする。
【0013】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【0014】
[実施の形態1]
図1は、本発明の実施の形態1に係る画像復号及び符号化装置の基本構成を示すブロック図である。
【0015】
図1(a)は画像符号化装置の構成を示すブロック図である。図1(a)において、1は画像データを入力する画像入力部で、例えば原稿画像を読み取るスキャナ、或はデジタルカメラなどの撮像機、又は通信回線とのインターフェース機能を有するインターフェース部等を備えている。2は入力画像に対し二次元の離散ウェーブレット変換(Discrete Wavelet Transform)を実行する離散ウェーブレット変換部である。3は量子化部で、離散ウェーブレット変換された係数を量子化する。5はエントロピ符号化部で、量子化部4で量子化された係数をエントロピ符号化している。6は符号出力部で、符号化部5で符号化された符号を出力する。
【0016】
なお、本実施の形態1に係る装置は、図1(a)に示すような専用の装置でなく、例えば汎用のPCやワークステーションに、この機能を実現するプログラムをロードして動作させる場合にも適用できる。
【0017】
以下、図1(a)を参照して動作を順に説明する。まず、画像入力部1において、符号化対象となる画像を構成する画素信号がラスタースキャン順に入力される。こうして入力された画像は、離散ウェーブレット変換部(DWT)2に入力される。なお、以降の説明では、画像入力部1から入力された画像信号はモノクロの多値画像で表現されているが、カラー画像等、複数の色成分を符号化する場合には、RGB各色成分、或いは輝度、色度成分を上記単色成分として圧縮すれば良い。
【0018】
離散ウェーブレット変換部2は、入力した画像信号に対して2次元の離散ウェーブレット変換処理を行い、変換係数を計算して出力する。
【0019】
図2(a)は、離散ウェーブレット変換部2の基本構成を表した図で、画像入力部1から入力された画像信号はメモリ201に記憶され、処理部202により順次読み出されて離散ウェーブレット変換処理が行われ、再びメモリ201に格納される。
【0020】
図2(b)は、処理部202における処理の構成を説明する図である。
【0021】
同図において、入力された画像信号は遅延素子203及びダウンサンプラ204との組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、2つのフィルタpおよびuによりフィルタ処理が施される。図2(b)におけるsおよびdは、各々1次元の画像信号に対して1レベルの分解を行った際のローパス(Low-pass)係数およびハイパス(High-pass)係数を表しており、次式により計算されるものとする。
【0022】
d(n)= x(2n + 1) - floor((x(2n) + x(2n + 2))/2) …(式1)
s(n) = x(2n) + floor((d(n - 1) + d(n))/4) …(式2)
但し、x(n)は変換対象となる画像信号、floor(x)はxより小さい最大の整数を出力する関数である。
【0023】
以上の処理により、画像信号に対する1次元の離散ウェーブレット変換処理が行われる。2次元の離散ウェーブレット変換は、1次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるので、ここでは説明を省略する。
【0024】
図2(c)は、2次元の離散ウェーブレット変換処理により得られる2レベルの変換係数群の構成例を説明する図で、画像信号は異なる周波数帯域の係数列HH1,HL1,LH1,…,LLに分解される。なお、以降の説明ではこれらの係数列をサブバンドと呼ぶ。各サブバンドの係数は後続の量子化部3に出力される。
【0025】
量子化部3は、入力した係数を所定の量子化ステップにより量子化し、その量子化値に対するインデックスを出力する。ここで、量子化は次式により行われる。
【0026】
q = sign (c) floor(abs(c)/ Δ) …(式3)
sign(c) = 1; c >= 0 …(式4)
sign(c) = -1; c < 0 …(式5)
ここで、cは量子化対象となる係数、abs(c)はcの絶対値を示す。
【0027】
エントロピ符号化部4は、量子化部3から入力した量子化インデックスをビットプレーンに分解し、そのビットプレーン単位に2値算術符号化を行って符号列を出力する。
【0028】
図3は、エントロピ符号化部4の動作を説明する図で、この例においては4×4の大きさを持つサブバンド内の領域において非0の量子化インデックスが3個存在しており、それぞれ“+13”、“−6”、“+3”の値を持っている。エントロピ符号化部4はこの領域を走査して最大値Mを求め、次式により最大の量子化インデックスを表現するために必要なビット数Sを計算する。
【0029】
S = ceil(log2(abs(M))) …(式6)
ここでceil(x)は、x以上の整数の中で最も小さい整数値を表す。
【0030】
図3において、最大の係数値は“13”であるため、Sの値は“4”であり、シーケンス中の16個の量子化インデックスは図3の右側に示すように4つのビットプレーンを単位として処理が行われる。最初にエントロピ符号化部4は最上位ビットプレーン(同図、MSBで表す)の各ビットを2値算術符号化し、ビットストリームとして出力する。次にビットプレーンを1レベル下げ、以下同様に対象ビットプレーンが最下位ビットプレーン(同図、LSBで表す)に至るまで、ビットプレーン内の各ビットを符号化して符号出力部5に出力する。この時、各量子化インデックスの符号は、ビットプレーン走査において最初の非0ビットが検出されると、そのすぐ後に、その量子化インデックスの符号がエントロピ符号化される。
【0031】
図4(a)〜(d)は、このようにして生成され出力される符号列の構成を表した概略図である。
【0032】
同図(a)は、符号列の全体の構成を示した図で、MHはメインヘッダ、THi(i=0〜n−1)はタイルヘッダ、BSi(i=0〜n−1)はビットストリームである。またメインヘッダMHは、同図(b)に示すように、符号化対象となる画像のサイズ(水平および垂直方向の画素数)、画像を複数の矩形領域であるタイルに分割した際のタイルサイズ、各色成分数を表すコンポーネント数、各成分の大きさ、ビット精度を表すコンポーネント情報から構成されている。なお、本実施の形態では、画像はタイルに分割されていないので、タイルサイズと画像サイズは同じ値を取り、対象画像がモノクロの多値画像の場合コンポーネント数は“1”である。
【0033】
図4(c)は、タイルヘッダTHの構成を示す図である。
【0034】
このタイルヘッダTHには、このタイルのビットストリーム長とヘッダ長を含めたタイル長、及びこのタイルに対する符号化パラメータから構成される。この符号化パラメータには、離散ウェーブレット変換のレベル、フィルタの種別等が含まれている。
【0035】
図4(d)は、本実施の形態におけるビットストリームの構成を示し、ビットストリームはビットプレーンを単位としてまとめられ、上位ビットプレーンから下位ビットプレーンに向かう形で配置されている。ここで各ビットプレーンには、各サブバンドにおける量子化インデックスの当該ビットプレーンを符号化した結果が順次サブバンド単位で配置されている。図4(d)において、Sは最大の量子化インデックスを表現するために必要なビット数である。このようにして生成された符号列は、符号出力部5に出力される。
【0036】
次に、本発明の実施の形態1に係る復号装置について説明する。
【0037】
図1(b)は、本実施の形態1に係る画像復号装置の構成を表すブロック図である。図において、6は符号入力部で、例えば図1(a)に示す符号化装置で符号化された符号列を入力している。7はエントロピ復号部で、図1(a)のエントロピ符号化部4における符号化処理の逆の復号化処理を行う。8は逆量子化部、9は逆離散ウェーブレット変換部、10は画像出力部、11は補正値計算部である。
【0038】
以上の構成において、符号入力部6は符号列を入力し、それに含まれるヘッダを解析して後続の処理に必要なパラメータを抽出し、必要な場合は処理の流れを制御し、或は後続の処理ユニットに対して該当するパラメータを送出する。また、この入力された符号列に含まれるビットストリームは、エントロピ復号部7に出力される。このエントロピ復号部7は、ビットストリームをビットプレーン単位で復号して出力する。この時の復号手順を図5に示す。
【0039】
図5は、復号対象となるサブバンドの一領域をビットプレーン単位で順次復号し、最終的に量子化インデックスを復元する流れを図示したものであり、同図の左のビットプレーンにおける矢印の順に、MSBからLSBに向かってビットプレーンが復号される。こうして復元された量子化インデックスは逆量子化器8に出力され、一旦、逆量子化器8の内部のバッファに所定のライン数だけ記憶される。補正値計算部11は、逆量子化部8の内部にバッファリングされた量子化インデックスの分布状態から、逆量子化器8での逆量子化時の補正値を計算して逆量子化部8に出力する。
【0040】
図6は、本実施の形態1に係る逆量子化器8及び補正値計算部11の構成を示したブロック図である。
【0041】
まず、処理部1101は、逆量子化器8のバッファ801にバッファリングされている量子化インデックスが、離散ウェーブレット変換によるLLサブバンドに属する場合、補正値rの値として“0.5”を選択し、逆量子化部8の演算部802に出力する。
【0042】
一方、量子化インデックスがLL以外のサブバンドに属する場合、処理部1101は、逆量子化部8のバッファ801からバッファリングされた量子化インデックスを読み出し、その中に含まれる値“0”の量子化インデックスの数をカウントする。次に処理部1101は、そのカウントした量子化インデックスの数を所定の閾値Tと比較し、その結果により補正値テーブル1102内に所定の方法により設定された補正値rを読み出して、逆量子化器8内の演算部802に出力する。
【0043】
なお、本実施の形態1においては、量子化インデックスの数が閾値T以下の場合、当該領域は自然画と判断し、rの値として“0.5”が、また一方、閾値Tを超える場合は、その領域は文書画像と判断して“0.875”が、それぞれ補正値テーブルから読み出されるものとする。以上の動作は、逆量子化部8における逆量子化の動作と同期して行われ、各量子化インデックス毎に補正値rが計算して出力されるものとする。
【0044】
逆量子化部8の演算部802は、バッファ801内の量子化インデックスを順次読み出し、その値および補正値rから、次式に基づいて離散ウェーブレット変換係数を復元する。
【0045】
c' = Δ × (q + r); q > 0 …(式7)
c' = Δ × (q - r); q < 0 …(式8)
c' = 0; q = 0 …(式9)
ここで、qは量子化インデックス、Δは量子化ステップであり、Δは符号化時に用いられたものと同じ値である。またc'は復元された変換係数であり、符号化時では、s又はdで表される係数を復元したものである。この変換係数c'は後続の逆離散ウェーブレット変換部9に出力される。
【0046】
図7は前述した補正値計算部11の処理部1101における処理を示すフローチャートである。
【0047】
図7において、まずステップS1で、逆量子化部8のバッファ801に記憶された量子化インデックスを読み出し、その量子化インデックスが離散ウェーブレット変換によるLLサブバンドに属するかどうかをみる。属している場合はステップS3に進み、補正値rの値として“0.5”を選択し、逆量子化部8の演算部802に出力する。
【0048】
一方、量子化インデックスがLL以外のサブバンドに属する場合はステップS2に進み、逆量子化部8のバッファ801からバッファリングされた量子化インデックスを読み出し、その中に含まれる値“0”の量子化インデックスの数をカウントする。次にステップS4に進み、そのカウントした量子化インデックスの数を所定の閾値Tとを比較し、その結果に基づいて、その画像が自然画かどうかを判断する。即ち、カウントした量子化インデックスの数が閾値Tに等しいか、或はそれ以下の場合はその領域は自然画と判断してステップS5に進み、rの値として“0.5”を補正値テーブル1102から読み出して演算部802に出力する(ステップS7)。
【0049】
また一方、閾値Tを超える場合は、その領域は文書画像と判断してステップS4からステップS6に進み、rの値として“0.875”を補正値テーブル1102から読み出して演算部802に出力する(ステップS7)。
【0050】
図8(a)(b)は、逆離散ウェーブレット変換部9の構成及び処理を説明するためのブロック図である。
【0051】
図8(a)において、逆量子化部8から入力された変換係数はメモリ901に記憶される。処理部902は1次元の逆離散ウェーブレット変換を行い、メモリ901から順次変換係数を読み出して処理を行うことで、2次元の逆離散ウェーブレット変換を実行する。この2次元の逆離散ウェーブレット変換は、順変換と逆の手順により実行されるが、詳細は公知であるので説明を省略する。
【0052】
また図8(b)は処理部902の処理ブロックを説明する図であり、入力された変換係数はuおよびpの2つのフィルタ処理を施され、それぞれ701でアップサンプリングされた後に加算されて画像信号x'として出力される。これらの処理は次式により行われる。
【0053】
x'(2n) = s'(n) - floor ((d'(n-1) + d'(n))/4) …(式10)
x'(2n+1) = d'(n) + floor ((x'(2n) + x'(2n+2))/2) (式11)
以上の処理により画像が復元されて画像出力部10に出力される。
【0054】
なお、この画像出力部10はモニタ等の画像表示装置であってもよく、或は、磁気ディスク等の記憶装置であってもよい。
【0055】
以上述べたように本実施の形態1によれば、逆量子化の際、逆量子化対象となる量子化インデックスを含む周辺領域内において、量子化インデックスが“0”となる個数に応じて補正値rを求め、“0”の個数が多い場合は、その領域を文書画像と判断し、rの値として“0.875”を演算部に出力する。また“0”の個数が少ない場合は自然画としてrを“0.5”として“0.875”を演算部に出力する。尚、本発明はこれに限らず、逆量子化対象となる量子化インデックスを除く、周辺領域の量子化インデックスの値に応じて補正値を決定する場合も含まれるものとする。
【0056】
逆量子化部8において、補正値rの値として“0.5”を用いて逆量子化を行った場合は、復元される係数値は量子化により離散化された2つの係数値の中間値を取る。ここで対象画像が自然画である場合、復元される係数値がこの中間値を取ることで、平均的に量子化による誤差を小さく抑制することができる。
【0057】
しかし対象画像が文書画像で、元の画像信号が2値に離散化している場合は、特に高い周波数に対応するサブバンドにおいて復元される係数を中間値に対して大きく取ることにより、画像信号中の高周波成分の損失を抑えて画質を向上させることができる。
【0058】
更に、本実施の形態1においては、離散ウェーブレット変換によるLLサブバンドに対して一律に補正値rとして“0.5”を選択することにより、復元された画像全体の輝度レベルが平均的に最も誤差の少なくなるようにしている。
【0059】
[実施の形態2]
前述の実施の形態1においては、量子化インデックスのビットプレーンの全てが復号されてから逆量子化を行って画像を復元したが、本発明は全てのビットプレーンを復号せずに画像を復元表示する場合においても、適用することが可能である。以下に、本発明の実施の形態2に係る復号装置における、画像を段階的に復元表示する際の動作について説明する。
【0060】
まず画像を段階的に復元する際の画像の表示形態について図9(a)(b)を参照して説明する。
【0061】
図9(a)は、符号列の例を示したもので、これの基本的な構成は図4に基づいているが、ここでは画像全体をタイルと設定している。従って、符号列中には、ただ1つのタイルヘッダ(TH0)及びビットストリーム(BS0)が含まれている。このビットストリーム(BS0)には図に示すように、最も上位のビットプレーン(Bit S-1)から、下位のビットプレーン(Bit 0)に向かって符号が配置されている。
【0062】
本実施の形態2に係る復号化装置はこのビットストリームを順次読みこみ、各ビットプレーンの符号を復号した時点で画像を表示する。
【0063】
図9(b)は上位のビットプレーンから順次復号が行われたとき、表示される画像の画質変化の例を示したものである。
【0064】
図において、上位のビットプレーンのみが復号されている状態では、画像810で示すように、元の画像の全体的な特徴のみが表示されるが、中間のビットプレーンでは、811で示すように元の画像の概要が把握でき、更に下位のビットプレーンが復号されることにより、812で示すように元の画像に近い画像が再現される。このように、上位から下位へのビットプレーンが復号されるに従って、段階的に画質が改善されていることがわかる。
【0065】
図1(b)に示す復号装置において、このような復号過程における本実施の形態2に係る補正値計算部11の動作について以下に説明する。尚、この実施の形態2に係る補正値計算部11のハードウェア構成は前述の実施の形態1に係るハードウェア構成とほぼ同様であるので、その説明を省略する。
【0066】
補正値計算部11は、対象領域が前述の実施の形態1における方法により文書画像と判断された場合、エントロピ復号部7より現在処理の終了しているビットプレーンの番号を入力し、その値に応じて補正値テーブル1102に記憶されている補正値rを選択し、逆量子化部8の演算部802に出力する。ここでビットプレーン番号nと選択される補正値rの関係は、次式に基づいている。
【0067】
r = 0.5; n Tp (式13)
ただし、Tpは予め所定の方法により決定された閾値である。このようにして補正値rを選択することにより、処理対象領域が文書画像であった場合、より下位のビットプレーンが復元されるに従い、逆量子化により復元される係数値は量子化により離散化された係数値間の中間の値を取ることになる。
【0068】
図10(a)(b)は、この様子を示した図であり、2つの異なる補正値rを選択した場合、量子化インデックスに対応する逆量子化値(図中Iで表される)と、補正により最終的に得られる復元値(図中では白丸で表される)との関係を表したものである。
【0069】
図10において、高位ビットプレーンを復元する際は図10(b)(r=0.875)のように係数が復元され、下位ビットプレーンを復元する際は図10(a)(r=0.5)のように係数が復元されることになる。
【0070】
ここで下位ビットプレーンを復元することは、通常の量子化において量子化ステップを小さく設定したことと等価である。したがって、下位ビットプレーンの復元時は、その復元される係数値を隣接する逆量子化値の中間の値とすることにより、平均的に画質を向上させることができる。
【0071】
<実施の形態3>
上述した実施の形態1及び2においては、逆量子化の際、補正値rを、逆量子化の対象となる量子化インデックスの近傍領域を参照することで選択したが、符号化時点で画像の種別を判定し、その結果に基づいて復号時に補正値rを選択するようにすることもできる。以下に、このような方式による実施の形態について説明する。
【0072】
図11(a)(b)は、本発明の実施の形態3における画像符号化及び復号化装置の構成を示す図である。
【0073】
同図(a)は符号化装置を示した図であり、基本的な構成は図1(a)に示す構成と同じであるが、領域判別部12を備えている点が異なっている。即ち、画像入力部1は、入力した画像を所定の大きさの矩形領域(以降タイルと呼ぶ)に分割し、順次後続の離散ウェーブレット変換部2及び領域判別部12に出力する。以降の処理において、領域判別部12を除く各部分は前述の実施の形態1におけるものと同様であるので、それらの説明を省略する。
【0074】
領域判別部12はタイル分割された画像をタイル毎に解析し、そのタイルが自然画像であるか、文書画像であるかを判別し、その判別結果をエントロピ符号化部4が出力する符号列内のパラメータに反映させる。ここで画像が自然画であるか文書画像であるかは、タイル内の画素値の分布状態を調べるなどの公知の方法によることができる。或は、ユーザが対話的な操作により画像の特定部分を文書画像として指定するようにしてもよい。
【0075】
判別の結果は図4(c)に示す符号化パラメータの一部として各タイル毎に含められ、符号列として出力される。このようにして生成された符号列を復号する処理は、以下のように行われる。
【0076】
図11(b)は、図11(a)に示す符号化装置により生成された符号列を復号する、本発明の実施の形態3に係る復号装置の構成を示したブロック図である。
【0077】
同図において、ヘッダ解析部13以外は、前述の実施の形態1における構成と同様であるので、それらの説明を省略する。符号入力部6は、符号化された符号列を読みこみ、タイル単位で後続のエントロピ復号部7及びヘッダ解析部13に出力する。ヘッダ解析部13は、符号入力部6から入力した符号列中の領域判別結果を読み出し、その結果を補正値計算部11に出力する。
【0078】
補正値計算部11はヘッダ解析部13からの入力に基づいて補正値rを選択して逆量子化部8の演算部に出力する。
【0079】
このように、逆量子化における補正値r求めるためのパラメータを符号化時に生成し、符号列に含めることでも、第1および第2実施の形態と同様の効果を得ることができる。
【0080】
<その他の実施の形態>
上述の実施の形態1及び2においては、逆量子化の対象となるインデックスの周辺状態、又は復号ビットプレーンから補正値rを決定したが、これらを組み合わせて補正値を決定してもよい。また、これらと共に量子化インデックスの値の大きさにより補正値rを決定することも可能である。
【0081】
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0082】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【0083】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【0084】
また、この様なプログラムコードを格納する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
【0085】
また、上記コンピュータが、供給されたプログラムコードのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムコードがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現される場合にもかかるプログラムコードは本発明の範疇に含まれる。更に、この供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上記実施の形態が実現される場合も本発明の範疇に含まれる。
【0086】
以上説明したように本実施の形態によれば、離散ウェーブレット変換を利用して得られた符号化列を復号する逆量子化の過程において、対象画素の周辺の状態や対象ビットプレーンの状態に応じて適切な補正値を選択して補正を行うことにより、画像中に、例えば自然画と文書画像といったように、性質の異なる画像部分が含まれていても、より量子化誤差が小さくなるように画像を復元することができ、最終的な復元画像の画質を向上させることができる。
【0087】
【発明の効果】
以上説明したように本発明によれば、圧縮符号化された画像を高画質に復号できる。
【0088】
また本発明によれば、圧縮符号化された符号列で表された画像の特性に基づいて高画質に復号することができるという効果がある。
【図面の簡単な説明】
【図1】本発明の実施の形態1に係る画像符号化装置(a)及び復号装置(b)の構成を示すブロック図である。
【図2】本実施の形態1に係る離散ウェーブレット変換部の構成及び動作を説明する図である。
【図3】本実施の形態に係るエントロピ符号化部の動作を説明する図である。
【図4】本発明の実施の形態に係る画像符号化装置の生成する符号列を説明する図である。
【図5】本実施の形態に係るエントロピ復号部の動作を説明する図である。
【図6】本実施の形態の復号装置の補正値計算部の構成を示すブロック図である。
【図7】本実施の形態の復号装置の補正値計算部における処理を示すフローチャートである。
【図8】本実施の形態の復号装置の逆離散ウェーブレット変換部を説明する図である。
【図9】本発明の実施の形態における符号列と復元画像例を説明する図である。
【図10】本発明の実施の形態2に係る逆量子化を説明する図である。
【図11】本発明の実施の形態3に係る画像符号化装置(a)および復号装置(b)の構成を示すブロック図である。
【符号の説明】
1 画像入力部
2 離散ウェーブレット変換部
3 量子化部
4 エントロピ符号化部
5 符号出力部
6 符号入力部
7 エントロピ復号部
8 逆量子化部
9 逆離散ウェーブレット変換部
10 画像出力部
11 補正値計算部
12 領域判別部

Claims (13)

  1. 入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力し、当該入力した符号列をエントロピ復号して量子化インデックスを取得する復号手段と、
    前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定手段と、
    前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化手段と、
    前記逆量子化手段により得られた前記係数列を逆変換して画像信号に復元する逆変換手段と、
    を有することを特徴とする画像処理装置。
  2. 前記周波数変換手段は、離散ウェーブレット変換を実行することを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段は、前記補正値を設定する周波数帯域における前記量子化インデックス値の分布に応じて文書画像か、自然画であるかを判定することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記量子化インデックス値の分布とは、値0の量子化インデックスの個数であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記入力した符号列は、離散ウェーブレット変換された係数をビットプレーンに分解して符号化された符号列であることを特徴とする請求項2に記載の画像処理装置。
  6. 前記設定手段は、前記符号列に含まれる、前記補正値を特定するための付加情報に応じて前記補正値を設定することを特徴とする請求項1に記載の画像処理装置。
  7. 入力した画像を周波数変換して変換係数を生成する周波数変換手段と、前記変換係数を量子化して量子化インデックスを生成する量子化手段と、前記量子化インデックスをエントロピ符号化する手段とにより生成された符号列を入力して復号する画像処理方法であって、
    入力した符号列をエントロピ復号して量子化インデックスを取得する復号工程と、
    前記量子化インデックスに基づいて、入力した符号列の画像が自然画であるか文書画像であるかを判定し、文書画像であると判定した場合に自然画の場合よりも大きい補正値を設定する設定工程と、
    前記量子化インデックスの値が正であれば前記量子化インデックスに前記補正値を加算し、或は前記量子化インデックスの値が負であれば前記量子化インデックスから前記補正値を減算して前記量子化インデックスを補正し、当該補正した量子化インデックスと量子化ステップとの積により一連の係数列を生成する逆量子化工程と、
    前記逆量子化工程で得られた前記係数列を逆変換して画像信号に復元する逆変換工程と、
    を有することを特徴とする画像処理方法。
  8. 前記逆変換工程では、逆離散ウェーブレット変換を実行することを特徴とする請求項7に記載の画像処理方法。
  9. 前記設定工程は、前記補正値を設定する周波数帯域における前記量子化インデックス値の分布に応じて文書画像か、自然画であるかを判定することを特徴とする請求項7又は8に記載の画像処理方法。
  10. 前記量子化インデックス値の分布とは、値0の量子化インデックスの個数であることを特徴とする請求項9に記載の画像処理方法。
  11. 前記入力した符号列は、離散ウェーブレット変換された係数をビットプレーンに分解して符号化された符号列であることを特徴とする請求項8に記載の画像処理方法。
  12. 前記設定工程は、前記符号列に含まれる、前記補正値を特定する付加情報に応じて前記補正値を設定することを特徴とする請求項7に記載の画像処理方法。
  13. 請求項7乃至12のいずれか1項に記載の画像処理方法をコンピュータに実行させるためのプログラムを記憶した、コンピュータにより読み取り可能な記憶媒体。
JP31553699A 1999-11-05 1999-11-05 画像処理方法及びその装置及び記憶媒体 Expired - Fee Related JP4365957B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP31553699A JP4365957B2 (ja) 1999-11-05 1999-11-05 画像処理方法及びその装置及び記憶媒体
US09/702,764 US6947600B1 (en) 1999-11-05 2000-11-01 Information processing method, apparatus and storage medium for receiving and decoding a code sequence obtained by encoding an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31553699A JP4365957B2 (ja) 1999-11-05 1999-11-05 画像処理方法及びその装置及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2001136526A JP2001136526A (ja) 2001-05-18
JP2001136526A5 JP2001136526A5 (ja) 2006-12-21
JP4365957B2 true JP4365957B2 (ja) 2009-11-18

Family

ID=18066530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31553699A Expired - Fee Related JP4365957B2 (ja) 1999-11-05 1999-11-05 画像処理方法及びその装置及び記憶媒体

Country Status (2)

Country Link
US (1) US6947600B1 (ja)
JP (1) JP4365957B2 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206459B2 (en) 2001-07-31 2007-04-17 Ricoh Co., Ltd. Enhancement of compressed images
JP3984886B2 (ja) * 2001-09-28 2007-10-03 キヤノン株式会社 データ変換装置、データ変換方法、コンピュータプログラム、記憶媒体
US7903734B2 (en) * 2003-04-24 2011-03-08 Canon Kabushiki Kaisha Moving image decoding apparatus, moving image decoding method, image decoding method, and image decoding apparatus
US7574063B2 (en) * 2003-07-23 2009-08-11 Canon Kabushiki Kaisha Image coding method and apparatus
JP4418762B2 (ja) 2004-05-07 2010-02-24 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US20080089413A1 (en) * 2004-06-28 2008-04-17 Canon Kabushiki Kaisha Moving Image Encoding Apparatus And Moving Image Encoding Method
US7529417B2 (en) * 2004-07-09 2009-05-05 Canon Kabushiki Kaisha Apparatus, method and storage medium for image encoding/decoding using shape-based coefficient interpolation
EP1967988B1 (en) 2004-07-22 2010-04-07 NEC Corporation Image processing system
JP4533035B2 (ja) * 2004-08-02 2010-08-25 キヤノン株式会社 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4533043B2 (ja) * 2004-08-25 2010-08-25 キヤノン株式会社 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4393319B2 (ja) * 2004-09-08 2010-01-06 キヤノン株式会社 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4440051B2 (ja) * 2004-09-08 2010-03-24 キヤノン株式会社 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4693603B2 (ja) * 2004-11-15 2011-06-01 キヤノン株式会社 画像符号化装置及びその制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4725127B2 (ja) * 2005-02-16 2011-07-13 ソニー株式会社 復号装置および方法、記録媒体、並びにプログラム
US7650039B2 (en) 2005-03-03 2010-01-19 Canon Kabushiki Kaisha Image encoding apparatus, image decoding apparatus, control method therefor, computer program, and computer-readable storage medium
JP4775756B2 (ja) * 2005-03-18 2011-09-21 富士ゼロックス株式会社 復号化装置及びそのプログラム
JP4645948B2 (ja) * 2005-03-18 2011-03-09 富士ゼロックス株式会社 復号化装置及びプログラム
JP4587175B2 (ja) * 2005-05-19 2010-11-24 キヤノン株式会社 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4784281B2 (ja) * 2005-11-18 2011-10-05 富士ゼロックス株式会社 復号化装置、逆量子化方法及びこれらのプログラム
JP4979323B2 (ja) * 2005-12-07 2012-07-18 キヤノン株式会社 画像処理装置及びその制御方法
JP4732203B2 (ja) * 2006-03-17 2011-07-27 キヤノン株式会社 画像符号化装置及び復号装置及びそれらの制御方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
JP4829835B2 (ja) * 2006-06-12 2011-12-07 キヤノン株式会社 画像処理装置、画像処理方法、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
EP1978749B1 (en) * 2007-04-06 2017-08-30 Canon Kabushiki Kaisha Compression of multidimensional look-up tables for colour space conversion
JP4986906B2 (ja) * 2008-03-27 2012-07-25 株式会社リコー 復号装置、復号方法、プログラム及び記録媒体
JP4958832B2 (ja) * 2008-04-02 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法
JP4958831B2 (ja) * 2008-04-02 2012-06-20 キヤノン株式会社 画像符号化装置及びその制御方法
JP4979655B2 (ja) * 2008-08-07 2012-07-18 キヤノン株式会社 画像符号化装置及びその制御方法
JP5081113B2 (ja) * 2008-09-17 2012-11-21 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5529571B2 (ja) * 2010-02-08 2014-06-25 キヤノン株式会社 画像符号化装置及びその制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0235456B1 (en) 1985-12-13 1999-03-24 Canon Kabushiki Kaisha Image processing apparatus and method with blocks of compressed data
JP3171913B2 (ja) 1992-04-03 2001-06-04 キヤノン株式会社 画像符号化装置及び画像符号化方法
JP3202433B2 (ja) * 1993-09-17 2001-08-27 株式会社リコー 量子化装置、逆量子化装置及び画像処理装置並びに量子化方法、逆量子化方法及び画像処理方法
JPH08130649A (ja) 1994-11-01 1996-05-21 Canon Inc データ処理装置
US6031938A (en) 1995-04-26 2000-02-29 Canon Kabushiki Kaisha Image encoding apparatus with selective Markov and predictive coding
US6101282A (en) 1995-06-22 2000-08-08 Canon Kabushiki Kaisha Apparatus and method for image data encoding
US5812788A (en) * 1995-07-21 1998-09-22 Intel Corporation Encoding/decoding video signals using quantization tables based on explicitly encoded base and scale matrices
US5819215A (en) * 1995-10-13 1998-10-06 Dobson; Kurt Method and apparatus for wavelet based data compression having adaptive bit rate control for compression of digital audio or other sensory data
US6028963A (en) 1996-06-17 2000-02-22 Canon Kabushiki Kaisha Image encoding based on judgement on prediction error
US6373894B1 (en) * 1997-02-18 2002-04-16 Sarnoff Corporation Method and apparatus for recovering quantized coefficients
US6459816B2 (en) * 1997-05-08 2002-10-01 Ricoh Company, Ltd. Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
US6603884B2 (en) * 1997-05-08 2003-08-05 Ricoh Company, Ltd. Image processing system for compressing image data including binary image data and continuous tone image data by a sub-band transform method with a high-compression rate
AUPO951297A0 (en) * 1997-09-29 1997-10-23 Canon Information Systems Research Australia Pty Ltd Method and apparatus for digital data compression

Also Published As

Publication number Publication date
JP2001136526A (ja) 2001-05-18
US6947600B1 (en) 2005-09-20

Similar Documents

Publication Publication Date Title
JP4365957B2 (ja) 画像処理方法及びその装置及び記憶媒体
JP4367880B2 (ja) 画像処理装置及びその方法並びに記憶媒体
US6847735B2 (en) Image processing system, image processing apparatus, image input apparatus, image output apparatus and method, and storage medium
US6560369B1 (en) Conversion of wavelet coded formats depending on input and output buffer capacities
KR100944282B1 (ko) Golomb-rice 코딩을 사용한 dct 압축
JP3814456B2 (ja) 画像処理装置及びその方法
EP1139290A2 (en) Image processing apparatus and method
JP2000115770A (ja) 符号化装置及び方法
JP2000069292A (ja) 画像処理装置及び方法及び記憶媒体
JP2004533181A (ja) デジタルイメージに対する選択的なクロミナンスデシメーション
US7551788B2 (en) Digital image coding device and method for noise removal using wavelet transforms
JP2005218124A (ja) データ圧縮システム
JP2004048607A (ja) ディジタル画像符号化装置およびディジタル画像符号化方法
JP4486847B2 (ja) 圧縮画像から中間調画像を作成する方法と装置
KR100412176B1 (ko) 문자와 이미지가 포함된 문서의 압축, 복원 시스템 및방법
JP4054430B2 (ja) 画像処理装置及び方法及び記憶媒体
JP2001231009A (ja) 画像データ格納装置および方法
US20090074059A1 (en) Encoding method and device for image data
JP5267140B2 (ja) 画像圧縮装置及び画像圧縮方法
JP2001258033A (ja) 画像データの符号化装置及び方法、記憶媒体
JP5078199B2 (ja) 画像符号化装置及びその方法並びにプログラムコード、記憶媒体
JP4194311B2 (ja) 動画像符号化装置及び動画像復号装置並びにそれらの方法
JP4743884B2 (ja) 画像符号化装置及びその制御方法
JP2002209111A (ja) 画像符号化装置、画像通信システムおよびプログラム記録媒体
JP2000083256A (ja) 画像処理装置及び方法及び記憶媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061031

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061031

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080707

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080805

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080807

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090622

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090824

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees