JP5489557B2 - 画像符号化装置及び画像符号化方法 - Google Patents

画像符号化装置及び画像符号化方法 Download PDF

Info

Publication number
JP5489557B2
JP5489557B2 JP2009156694A JP2009156694A JP5489557B2 JP 5489557 B2 JP5489557 B2 JP 5489557B2 JP 2009156694 A JP2009156694 A JP 2009156694A JP 2009156694 A JP2009156694 A JP 2009156694A JP 5489557 B2 JP5489557 B2 JP 5489557B2
Authority
JP
Japan
Prior art keywords
field
encoding
motion
information
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009156694A
Other languages
English (en)
Other versions
JP2011015117A5 (ja
JP2011015117A (ja
Inventor
耕治 有村
賢治郎 津田
達郎 重里
康晴 田中
善満 佐々木
臣二 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009156694A priority Critical patent/JP5489557B2/ja
Priority to US12/749,860 priority patent/US8917766B2/en
Publication of JP2011015117A publication Critical patent/JP2011015117A/ja
Publication of JP2011015117A5 publication Critical patent/JP2011015117A5/ja
Application granted granted Critical
Publication of JP5489557B2 publication Critical patent/JP5489557B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、インターレース映像信号の動き予測フィールド符号化に対応した画像符号化に関する。
近年、非圧縮の映像データの形式として、プログレッシブもしくはインターレースという2つの方式が使用されている。プログレッシブ方式では、フレームのサンプルラインがすべて同時刻のもので構成され、インターレース方式では、フレームのサンプルラインが交互に異なる時刻のもので構成される。なお、インターレース方式の映像信号は、1フレームが、サンプルライン毎にまとめられたトップフィールドとボトムフィールドで構成される。
上記の非圧縮の映像データはデータ量が多いため、MPEG2やH.264/MPEG4−AVCなどの符号化方式を用いて圧縮して記録するのが一般的である。このMPEG2やH.264/MPEG4−AVCなどの符号化方式では、時刻の異なるフレーム間の動きベクトルを検出し、動き補償予測による画面間符号化が用いられている。また、フレーム単位で画面間動き予測により符号化するフレーム符号化と、フィールド単位で画面間動き予測により符号化するフィールド符号化の2つのモードがある。
さらにH.264/MPEG4−AVCでは、複数フレームから参照して動き補償することが可能となり、フィールド符号化の場合は、フレームを構成するフィールドについても、符号化済みのフィールドの中で、トップフィールドもしくはボトムフィールドのどちらのフィールドを参照するか、選択することが可能となっている。
このように参照フィールドを選択する際、候補となるすべてのフィールドについて、動き検出や符号化を行った結果、符号化効率の低い方、画質の高い方を選択することが可能であるが、処理量が多くなるという課題がある。
こうした課題を解決する従来例として特許文献1および特許文献2において、フィールド間の動きの大きさ(縮小画像による画面全体の動きベクトル、動きベクトルの平均値、動きベクトルの絶対値の平均値など)に基づいて、参照フィールドを選択する動画像符号化装置が提案されている。特許文献3では、フィールド間の動きの大きさに加えて、フィールド間の相関に基づいて参照フィールドを選択する参照ピクチャ決定方法が開示されている。さらに特許文献4では、参照フィールド選択の評価基準として、縮小画像に基づく動きベクトルやイントラ符号化されたマクロブロックの比率などから動きの大きさを推定して、推定した動きの大きさに基づいて参照フィールドを選択する参照フィールド選択方法が開示されている。
特開2006−94454号公報 特開2007−259206号公報 特開2008−11117号公報 国際公開第2007/040197号
従来の参照フィールド選択方法では、フィールド単位(ピクチャ単位)において予測される動きの大きさを判断基準として、参照フィールドの選択を行っている。そのため、符号化対象となるピクチャの背景が静止していて、一部の物体が大きく動いている場合であっても、フィールド単位の平均的な動きとしては、動きありと判定され、当該判定結果に基づいて参照フィールドが選択されてしまう課題があった。
また、静止した背景で物体が大きく動く場合、画面下部の動きのある部分の符号化効率、画質は最適化されるものの、画面上部の静止領域の符号化効率、画質が低下し、静止領域は動き領域に比べて歪を検知しやすいため、画面全体としては画質劣化が目立つという課題があった。
上記課題を解決するために、本発明の画像符号化装置は、符号化フィールドの動きに関する動き情報を所定の領域毎に取得する動き取得部と、前記取得した所定の領域毎の動き情報に基づいて、前記符号化対象フィールドに占める動きの少ない領域の割合に関する情報を取得する情報取得部と、前記取得した割合に関する情報に基づいて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのトップフィールドと符号化済みのボトムフィールドとで選択的に切り替えて設定する参照フィールド選択手段と、前記設定した参照フィールドを用いて符号化対象のフィールドを符号化する符号化手段とを備える。
本発明により、インターレース構造の動画像信号を符号化する画像符号化装置であって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得部と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択部と、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える。
また、インターレース構造の動画像信号を符号化する画像符号化方法であって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得ステップと、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択ステップと、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化ステップと、を備える。
さらに、インターレース構造の動画像信号を符号化する画像符号化機能を備えるビデオカメラであって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得部と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択部と、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える。
上記の構成により、従来例に比べ、静止判定の精度を向上し、符号化効率、画質を向上することが可能となる。
本発明の実施の形態1における画像符号化装置100を示す模式図 インターレース符号化の参照フィールド関係に関する説明図 インターレース符号化の参照フィールド関係に関する説明図 静止した背景で一部の物体が大きく動く場合の説明図 実施の形態1における参照フィールドの決定及び静止マクロブロック数の集計処理の流れを示すフローチャート 本発明の実施の形態2のにおける画像符号化装置600を示す模式図 領域を分割した場合の説明図 実施の形態2における参照フィールドの決定及び静止マクロブロック数の集計処理の流れを示すフローチャート
上記目的を達成するために、本発明の実施の形態においては、インターレース構造の動画像信号を符号化する画像符号化装置であって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得部と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択部と、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える。
また、インターレース構造の動画像信号を符号化する画像符号化方法であって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得ステップと、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択ステップと、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化ステップと、を備える。
さらに、インターレース構造の動画像信号を符号化する画像符号化機能を備えるビデオカメラであって、符号化対象のフィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得する静止領域情報取得部と、取得した静止領域情報に応じて、符号化対象のフィールドが参照する参照フィールドを、符号化済みのフィールドから選択する参照フィールド選択部と、参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える。
上記の構成により、従来例に比べ、静止判定の精度を向上し、符号化効率、画質を向上することが可能となる。
また、前記参照フィールド選択部は、前記静止領域情報に応じて、参照フィールドを選択するフィールドをトップフィールドと、ボトムフィールドとで切り換えることを特徴とする構成にしても構わない。
また、前記参照フィールド選択部は、前記静止領域情報を基に静止領域が多いと判定した場合は、前記符号化対象のフィールドと同相のフィールドを前記参照フィールドとして選択することを特徴とする構成にしても構わない。
また、前記参照フィールド選択部は、前記静止領域情報を基に静止領域が少ないと判定した場合は、前記符号化対象のフィールドと異相に存在するフィールドを前記参照フィールドとして選択することを特徴とする構成にしても構わない。
前記静止領域情報取得部は、前記符号化対象のフィールドが有するマクロブロックにおいて検出される動きベクトルの値に応じて、当該マクロブロックの動きが少ないか否かを判定し、当該判定結果を基に前記符号化対象のフィールドに関する静止領域情報を生成して取得する構成にしても構わない。
また、前記静止領域情報取得部は、前記符号化対象のフィールドと、同相のフィールドに対する動きベクトルを検出することを特徴とする構成にしても構わない。
また、前記静止領域情報取得部は、前記符号化対象のフィールドと、異相のフィールドに対する動きベクトルを検出することを特徴とする構成にしても構わない。
また、前記静止領域情報取得部は、動きベクトルが所定の閾値以下となるマクロブロック数と、動きベクトルが所定の閾値以上となるマクロブロック数との比率を前記静止領域情報として生成することを特徴とする構成にしても構わない。
また、前記画像符号化装置はさらに、前記符号化対象のフィールドを所定数の部分フィールドに分割する領域分割部を備え、前記静止領域情報取得部は、前記部分フィールドのうち、動きの少ない領域に関する情報である静止領域情報を取得し、前記参照フィールド選択部は、前記静止領域情報に応じて符号化対象の部分フィールドが参照する参照フィールドを符号化済みのフィールドから選択することを特徴とする構成にしても構わない。
前記領域分割部は、前記符号化対象のフィールドを符号化規格に規定されるスライス毎に分割することを特徴とする構成にしても構わない。
上記のように、フィールド単位(ピクチャ単位)の動きベクトルの大きさではなく、スライス分割等に基づく画面の領域単位の動きベクトルの大きさに基づいて判断することにより、領域ごとに最適な参照フィールドを選択可能となり、従来例に比べ、符号化効率、画質を向上することが可能となる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
(実施の形態1)
以下、本発明の実施の形態1について、図面を参照しながら説明する。
本実施の形態1においては、インターレースの入力フィールドが入力されるものとして説明を行う。
図1は、本発明の実施の形態1における画像符号化装置100を示す模式図である。画像符号化装置100は、切替手段101、画面間符号化手段106、画面内符号化手段102、符号化モード制御手段105及び、切替手段103、可変長符号化手段104を備える。
切替手段101は、符号化モード制御手段105からの制御情報を基に、入力される入力フィールドの出力先をIピクチャの場合には画面内符号化手段102とし、PピクチャとBピクチャの場合には、画面内符号化手段102と画面間符号化手段106の両方に切替る。
画面内符号化手段102は、イントラ予測を用いて、切替手段101から出力される入力フィールドのうち、現在符号化対象となっているフィールドに対応する予測画像を生成する。さらに、生成した予測画像と、入力フィールドから残差画像を生成し、該残差画像に対して直交変換及び、量子化変換することで量子化係数情報を生成する。そして、量子化係数情報を切替手段103に出力するとともに、該量子化係数情報を逆量子化し、逆直交変換して得られるローカルデコード画像を参照フィールドメモリ109に出力する。また、イントラ予測を行う際に生成される差分絶対値和等、符号化モードを決定する際に必要となる符号化モード決定情報を符号化モード制御手段105に出力する。
切替手段103は、符号化モード制御手段105からの決定情報を基に、画面内符号化手段102及び、画面間符号化手段106から出力される量子化係数情報のうち、一方を選択し可変長符号化手段104に出力を行う。
可変長符号化手段104は、符号化モード制御手段105から出力される決定情報、動きベクトル検出手段107から出力される動きベクトル情報を基に、切替手段103から出力される量子化係数情報の可変長符号化を行い、出力する。
符号化モード制御手段105は、Iピクチャの場合には、入力画像を画面内符号化手段102のみに出力し、PピクチャやBピクチャの場合には、画面内符号化手段102と画面間符号化手段106の両方に出力するように制御信号を切替え手段101に出力する。また、符号化モード制御手段105は、画面間符号化手段106及び、画面内符号化手段102から出力される符号化モード決定情報を基に、切替手段103及び、可変長符号化手段104に対して符号化モードを決定する決定情報を出力する。
画面間符号化手段106は、切替手段101から出力される入力フィールドに対して、該入力フィールドの静止領域に関する情報を基に選択される参照フィールドを用いてインター予測を行い予測画像を生成する。さらに、生成した予測画像と、入力フィールドから残差画像を生成し、該残差画像に対して直交変換及び、量子化変換することで量子化係数情報を生成する。生成した量子化係数情報を切替手段103に出力する。なお、画面間符号化手段106の具体的な動作に関しては後述する。また、インター予測を行う際に生成される差分絶対値和等、符号化モードを決定する際に必要となる符号化モード決定情報を符号化モード制御手段105に出力する。
次に、画面間符号化手段106について具体的に説明する。画面間符号化手段106は、動きベクトル検出手段107、動き補償手段108、参照フィールドメモリ109、減算手段110、直交変換量子化手段111、逆量子化逆直交変換手段112、加算手段113、静止領域判定手段114、参照フィールド選択手段115を備える。
動きベクトル検出手段107は、切替手段101から出力される入力フィールド及び、参照フィールドメモリ109に蓄積されるローカルデコード画像を基に、動きベクトル情報を生成する。生成した動きベクトル情報は、静止領域判定手段114、動き補償手段108及び、可変長符号化手段104に出力される。
動き補償手段108は、動きベクトル検出手段107から出力される動きベクトル情報を基に、参照フィールドメモリ109に蓄積される現在符号化対象となっているフィールドに対応するローカルデコード画像を用いて動き補償を行い、予測画像を生成する。生成した予測画像は、減算手段110及び、加算手段113に出力する。なお、参照フィールドメモリ109からローカルデコード画像を選択する場合、参照フィールド選択手段115から出力される選択信号を基に選択する構成となる。
参照フィールドメモリ109は、画面内符号化手段102、加算手段113、参照フィールド選択手段115から出力されるローカルデコード画像を蓄積する。
減算手段110は、切替手段101から出力される入力フィールドと、動き補償手段108から出力される予測画像との差分結果である残差画像を算出し、直交変換量子化手段111に出力する。
直交変換量子化手段111は、減算手段110から出力される残差画像を直交変換し、量子化することで量子化係数情報を生成する。生成した量子化係数情報は、切替手段103及び、逆量子化逆直交変換手段112に出力される。
逆量子化逆直交変換手段112は、直交変換量子化手段111から出力される量子化係数情報を逆量子化し、逆直交変換することで残差画像を復号する。そして該残差画像を加算手段113に出力する。
加算手段113は、逆量子化逆直交変換手段112から出力される残差画像と、動き補償手段108から出力される予測画像とを加算し、ローカルデコード画像を生成する。生成したローカルデコード画像は、参照フィールドメモリ109に出力される。
静止領域判定手段114は、動きベクトル検出手段107から出力される動きベクトル情報を基に、符号化対象であるフィールドの領域のうち、静止領域に関する静止領域情報を取得する。そして、静止領域判定手段114は取得した静止領域情報を参照フィールド選択手段115に出力する。ここで、静止領域に関する情報とは、例えば符号化対象であるフィールド全体に占める静止領域の割合、静止領域の数等、静止領域に関連する情報であればどのようなものを用いても構わない。以下、静止領域情報として、静止領域が多いか否かに関する情報を用いる。
静止領域判定手段114において、静止領域が多いか否かの判定は、例えば、動きベクトルがゼロ若しくは、所定の閾値Th_mv以下のマクロブロックをカウントし、該カウントした結果である静止マクロブロック数が所定の閾値Th_F以下の場合は静止領域が多いと判定する。
より具体的に、静止領域判定手段114は、符号化対象であるフィールドにおける動きベクトル(x、y)のx成分、y成分の絶対値と、任意に設定された閾値Th_mvを比較し、|x|<=Th_mv かつ |y|<=Th_mvの場合に、静止マクロブロックと設定する構成とする。
ここで、マクロブロックは複数個の動きベクトルを持つ場合がある。この場合、その全ての動きベクトルが所定の閾値Th_mvより小さなマクロブロックを静止マクロブロックとする。閾値Th_mvはゼロまたは、充分に小さな値、例えば、1(整数精度)が好ましい。
ただし、閾値Th_mvがゼロでない場合には、符号化対象画像と参照フィールドとの時間的な差により補正を行う。例えば、符号化対象画像と参照フィールドが、再生順で連続するフィールドの場合の閾値をTh_mvとすると、符号化対象画像と参照フィールドが2フィールド離れている場合には、閾値はTh_mv*2とする。
なお、静止領域を判定するタイミングは、符号化対象と同相の直前の符号化済みフィールドの動きベクトルに基づいて判定してもよいし、その前の符号化済みフィールドの動きベクトルに基づいて判定してもよい。
ここで、静止領域判定手段114が静止領域を判定するために用いる動きベクトルについて図面を用いて説明する。
図2は、インターレース構造を持つ入力フィールドにおいて、符号化対象となる画像がトップフィールドの場合における参照構造を示す図である。
図3は、インターレース構造を持つ入力フィールドにおいて、符号化対象となる画像がボトムフィールドの場合における参照構造を示す図である。
静止領域判定手段114は、例えば、符号化対象が、図2(A)のF1フレームのトップフィールド203の場合、符号化済で、同相のF0フレームのトップフィールド201やF3フレームのトップフィールド207の動きベクトルを用いる構成としても構わないし、異相のF0フレームのボトムフィールド202やF3フレームのボトムフィールド208の動きベクトルに基づいて判定してもよい。また、符号化対象が、図2(B)のF2フレームのボトムフィールド206の場合、符号済で、異相のF0フレームのトップフィールド201やF2フレームのトップフィールド205の動きベクトルに基づいて判定しても構わないし、同相のF0フレームのボトムフィールド202やF1フレームのボトムフィールド204の動きベクトルに基づいて判定しても構わない。さらに符号化対象が、図3(A)のF1フレームのトップフィールド303の場合、符号化済みで、異相のF0フレームのボトムフィールド302やF3フレームのボトムフィールド308の動きベクトルに基づいて判定してもよいし、または、同相のF0フレームのトップフィールド301やF3フレームのトップフィールド307の動きベクトルに基づいて判定してもよい。
符号化済のフィールドのうち、符号化対象と再生順序で近いフィールドの動きベクトルに基づいて判定を行うことにより、符号化対象のフィールドの静止判定をより正確に行うことが可能となる。つまり、符号化対象の再生順序で前後に位置する符号化済みフレームを構成するフィールドの動きベクトルに基づいて静止領域判定を行うことが望ましい。さらに述べると、符号化対象フィールドのうち、再生順序で最も近いフィールドの動きベクトルに基づいて判定を行うことが最も望ましい。
しかしながら、再生順序で最も近い符号化済フィールドの動きベクトルに基づいて、静止領域判定を行うためには、符号化する全フィールドの動きベクトルに基づく判定が必要であり、判定処理の演算が必要である。静止領域判定処理の演算量を削減するために、フレームの一方のフィールド(例えば、トップフィールド)のみの動きベクトルに基づいて、静止領域判定を行ってもよい。
なお、静止領域判定手段114は、符号化対象であるフィールドに対する静止領域情報を算出する際に用いる動きベクトル等の情報は、既に符号化済みのフィールドから取得する構成となる。この場合、符号化を行なった際、例えば動きベクトルがゼロ若しくは、所定の閾値Th_mv以下のマクロブロックのカウント数を蓄積する蓄積手段を備える構成でも構わない。
参照フィールド選択手段115は、静止領域判定手段114からの静止領域情報に基づき、参照フィールドメモリ109にて、どのフィールドを参照フィールドとして出力するかを制御する。静止領域判定手段114で静止領域が多いと判断された場合は、図2、図3に示すような同相フィールドを選択し、静止領域が少ないと判断された場合は、図2、図3に示すような異相フィールドを選択する。例えば、図4のように静止した背景で一部の物体が大きく動く場合、静止背景の領域が多ければ、同相フィールドを参照するように選択される。
次に、本発明の実施の形態1における参照フィールドの決定及び静止マクロブロック集計処理の流れを図5のフローチャートを用いて詳しく説明する。
まず、静止領域判定手段114は、符号化対象であるフィールドの参照フィールドを決定するために、符号化対象であるフィールドに含まれる静止領域が多いかを、既に符号化済みのフィールドの静止マクロブロック数が所定の閾値Th_Fより多いかにより判断する(S501)。静止マクロブロック数が所定の閾値Th_Fより少ない場合、符号化対象のフィールドは動いているフィールド、つまりフィールド内に静止領域が少ないと判定し、S502に進む。また、静止マクロブロック数が所定の閾値Th_Fより多い場合、符号化対象のフィールドは静止しているフィールド、つまりフィールド内に静止領域が多いと判定し、S503に進む。
フィールド内に静止領域が少ない場合、参照フィールド選択手段115は、異相フィールドを参照フィールドに設定する(S502)。
フィールド内に静止領域が多い場合には、参照フィールド選択手段115は、同相フィールドを参照フィールドに設定する(S503)。
次に、符号化対象フィールドを符号化する間に静止領域判定手段114は、符号化対象のフィールドより、後に符号化するフィールドの参照フィールドの決定に利用する静止マクロブロックの集計を行うために、動きベクトル検出手段107が検出した動きベクトルのうち、動きベクトルの絶対値が、所定の閾値Th_mvより小さなマクロブロックを、静止マクロブロックとして検出する(S504)。
S504で静止マクロブロックを検出した場合は、フィールド毎に該静止マクロブロックの数をカウントする(S505)。符号化対象となるフィールドに含まれるマクロブロック全ての処理が終われば動作を終了する。
なお、S501、S502及び、S503についてはフィールド毎に処理される処理工程であり、S504及び、S505についてはフィールドに含まれるマクロブロック毎に処理される処理工程である。
上記のように画像符号化装置100は、符号化対象であるフィールドに含まれるマクロブロックで検出される動きベクトルが所定の閾値よりも小さいか否かを判定し、小さい場合は当該動きベクトルが検出されたマクロブロックの数をカウントし、カウントした値を基に参照フィールドの選択を行うことが可能となる。そのため、一部の大きな動きの部分に最適化されることによる視覚上の歪みを防止することが可能となる効果を奏する。
(実施の形態2)
本発明の実施の形態1では、入力されるフィールド全体に対して静止領域に関係する静止領域情報を生成し、当該静止領域情報に応じて参照フィールドを選択する構成となっていた。しかし、入力されるフィールド全体に対して静止領域情報を生成していたため、図4に示すようなフィールドの上半分は静止画が中心となった画像であって、下半分は動きの大きな画像となるような領域毎に特性が変化するフィールドに対しては適切に制御することが出来なかった。そこで、本実施の形態2では、入力されるフィールドを予め複数の領域に分割し、分割した部分フィールドを用いて静止領域の判定及び、参照フィールドの選択を行うことを特徴とする。
次に、本発明における実施の形態2における画像符号化装置600について図面を参照しながら説明する。
図6は、本発明の実施の形態2における画像符号化装置600の構成を示す模式図である。画像符号化装置600は、実施の形態1における画像符号化装置100と比較して領域分割手段601を新たに備える構成となっている。なお、画像符号化装置100と動作内容が同じものに関しては、同じ番号を付し、その詳細な説明を省略する。
領域分割手段601は、入力されるフィールドを、複数の部分フィールドに分割する。領域分割手段601が行う分割方法は、例えば、フィールド全体を均等な大きさの領域に分割する方法、所定の符号化方式に規定される単位毎に分割する方法等、どのような分割方法でも構わない。本実施の形態2においては、図7に示すような1つのフィールドを垂直に3等分する形式で3つの部分フィールド(部分フィールドA、部分フィールドB、部分フィールドC)に分割する分割方法を用いるものとする。なお、H.264/AVC規格を用いて符号化する場合、当該3つの部分フィールドは、それぞれスライスとして符号化される。
なお、本発明の実施の形態2における画像符号化装置600は、本実施の形態1における画像符号化装置100における動き補償手段108、静止領域判定手段114及び、参照フィールド選択手段115においてフィールド単位で行っていた処理を、領域分割手段601にて分割された分割領域毎に処理する工程となる。
次に、本発明の実施の形態2における参照フィールドの決定及び静止マクロブロック集計処理の流れを図8のフローチャートを用いて詳しく説明する。なお、図8においては、図7に示す部分フィールドAから順に符号化していく構成とする。
まず、静止領域判定手段114において、符号化対象である部分フィールドAに適用する参照フィールドを決定するため、符号化対象である部分フィールドAに含まれる静止領域が多いかを、既に符号化済みのフィールドのうち、当該部分フィールドAに対応する領域の静止マクロブロック数が所定の閾値Th_Sより多いかにより判断する(S801)。静止マクロブロック数が所定の閾値Th_Sより少ない場合、部分フィールドAは動いている領域、つまり部分フィールド内に静止領域が少ないと判定し、S802に進む。また、静止マクロブロック数が所定の閾値Th_Sより多い場合、部分フィールドは静止しているフィールド、つまり部分フィールド内に静止領域が多いと判定し、S803に進む。
部分フィールド内の静止領域が少ない場合には、参照フィールド選択手段115は、異相フィールドを参照フィールドに設定する(S802)。
部分フィールド内の静止領域が多い場合には、参照フィールド選択手段115は、同相フィールドを参照フィールドに設定する(S803)。
次に、符号化対象フィールドを符号化する間に静止領域判定手段114は、符号化対象のフィールドより、後に符号化するフィールドを分割した部分フィールド毎の参照フィールドの決定に利用する静止マクロブロックの集計を行う。
つまり、静止領域判定手段114は、符号化対象を分割した部分フィールド毎に、動きベクトル検出手段107が検出した動きベクトルのうち、動きベクトルの絶対値が、所定の閾値Th_mvより小さなマクロブロックを、静止マクロブロックとして検出する(S804)。
そして、S804で静止マクロブロックを検出した場合は、部分フィールド毎に該静止マクロブロックの数をカウントする(S805)。符号化対象となる部分フィールドに含まれるマクロブロック全ての処理が修了した場合、部分フィールドB、Cも同様の処理を行ないフィールド全体の処理が終わった時点で動作を終了する。
上記のように、本発明の実施の形態2における画像符号化装置600は、部分フィールド毎に静止領域を判定することで、図7の部分フィールドAは、静止した背景で構成されるため、静止と判定されて同相フィールドが参照フィールドとして選択され、部分フィールドBおよびCは動きの大きい物体を含むため、動きありと判定されて異相フィールドが参照フィールドとして選択される。その結果、フィールド単位で判定する場合に比べ、静止部分の多い部分フィールドにおける符号化効率、画質が改善される効果を奏する。
(実施の形態3)
本発明の実施の形態1及び、2では、入力されるフィールドに含まれる静止マクロブロックのブロック数をカウントし、当該ブロック数に応じて参照フィールドの構造を設定していた。しかし、入力されるフィールドの静止マクロブロックのブロック数のみを用いて参照フィールドの構造を設定したのでは正確に設定することができない場合がある。そこで、本実施の形態3では、入力されるフィールドに含まれる静止マクロブロックと、静止マクロブロック以外のマクロブロックとの比に基づいて参照フィールドを決定する。なお、静止マクロブロック以外のマクロブロックとは、静止マクロブロック以外全てのマクロブロックでも構わないし、マクロブロックにおいて検出された動きベクトルが所定の閾値よりも大きい動的マクロブロックでも構わない。動的マクロブロックを用いる場合は、符号化を行なうフィールドの動静をより正確に判定することが出来る効果を奏する。
次に、本発明における実施の形態3における画像符号化装置について説明する。
本発明の実施の形態3のブロック図は、実施の形態1の画像符号化装置100とブロックの構成は同じである。そのため、画像符号化装置100と動作内容が同じものに関しては、同じ番号を付しその具体的な説明を省略する。
なお、画像符号化装置100と動作内容が異なるのは静止領域判定手段114である。
静止領域判定手段114は、静止領域の判定に加えて、静止領域以外の動的領域の判定を行う構成となる。例えば、動きベクトルが所定の閾値Th_mv2よりも大きいマクロブロックをカウントし、該カウントした結果を動的領域と判定する。次に、静止領域と判定された静止マクロブロックのブロック数MB_Sと、動的領域と判定されたマクロブロック数のブロック数MB_Aの比Rを基に、符号化対象のフィールドに静止領域が多いか否かを判定する。Rが所定の閾値Th_R以下の場合は静止領域が多いと判定する。つまり、MB_S/MB_A<Th_Rの場合、静止領域が多いと判定する。
以上のように、静止領域判定において、静止マクロブロック数と静止でないマクロブロック数の比に基づいて静止領域が符号化対象のフィールドに対して多いか否かを判定する。そして、当該判定結果に基づいて参照フィールドを選択することにより、画面間符号化のマクロブロックの数が少ない符号化の場合にも、静止マクロブロック数のみで判断するよりも、正確な静止領域判定が可能になり、従来例に比べ、符号化効率、画質を向上することが可能となる。
(その他の実施の形態)
実施の形態1、2及び3では、入力フィールドは、符号化モード制御手段105の制御信号に基づき、PピクチャおよびBピクチャの場合は、画面内符号化手段102および画面間符号化手段106に入力される。しかし、符号化モード制御手段105は、予め符号化対象のマクロブロックの信号や符号化途中のパラメータ(発生符号量やQP値等)により、各マクロブロックに適用する予測方式を画面内符号化か画面間符号化の一方に決定し、その結果に基づき、画面内符号化手段102もしくは、画面間符号化手段106に出力する構成にしても構わない。
符号化装置では、どちらか一方の符号化手段のみを実施することにより、消費電力の削減に有効である。
本発明の画像符号化装置およびその方法では、動画対応デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話、DVD/BDレコーダ、番組記録対応テレビ、ウェブカメラ、番組配信サーバーなどで、動画像データを符号化して、圧縮、記録、保存、転送する用途に有用である。
101,103 切替手段
102 画面内符号化手段
104 可変長符号化手段
105 符号化モード制御手段
106 画面間符号化手段
107 動きベクトル検出手段
108 動き補償手段
109 参照フィールドメモリ
110 減算手段
111 直交変換量子化手段
112 逆量子化逆直交変換手段
113 加算手段
114 静止領域判定手段
115 参照フィールド選択手段
601 領域分割手段

Claims (7)

  1. インターレース構造の動画像信号を符号化する画像符号化装置であって、
    符号化対象のフィールドの動きに関する動き情報を所定の領域毎に取得する動き取得部と、
    前記取得した所定の領域毎の動き情報に基づいて、前記符号化対象フィールドに占める動きの少ない領域の割合に関する情報を取得する情報取得部と、
    既に符号化済みのフィールドから1枚のみ参照フィールドを選択する場合、前記取得した割合に関する情報に基づいて、符号化対象フィールドが参照する参照フィールドを、符号化済みのトップフィールドと符号化済みのボトムフィールドとで選択的に切り替えて設定する参照フィールド選択部と、
    前記設定した参照フィールドを用いて前記符号化対象のフィールドを符号化する符号化部と、を備える画像符号化装置。
  2. 前記参照フィールド選択部は、前記取得した割合に関する情報に基づいて、前記動きの少ない領域が第1の値よりも広いと判断した場合、前記符号化対象のフィールドと同相のフィールドを前記参照フィールドとして選択することを特徴とする請求項1に記載の画像符号化装置。
  3. 前記参照フィールド選択部は、前記取得した割合に関する情報に基づいて、前記動きの少ない領域が第1の値よりも狭いと判断した場合、前記符号化対象のフィールドと異相に存在するフィールドを前記参照フィールドとして選択することを特徴とする請求項1に記載の画像符号化装置。
  4. 前記情報取得部は、前記符号化対象のフィールドと同相のフィールドに対する動きベクトルを、前記符号化対象フィールドの動きに関する情報として検出することを特徴とする請求項1に記載の画像符号化装置。
  5. 前記情報取得部は、前記符号化対象のフィールドと異相のフィールドに対する動きベクトルを、前記符号化対象フィールドの動きに関する情報として検出することを特徴とする請求項1に記載の画像符号化装置。
  6. 前記情報取得部は、前記符号化対象フィールドの部分領域に占める動きの少ない領域の割合に関する情報を、前記部分領域毎に取得し、
    前記参照フィールド選択部は、前記部分領域毎に取得した割合に関する情報に基づいて、前記部分領域が参照する参照フィールドを、符号化済みのトップフィールドと符号化済みのボトムフィールドとで選択的に切り替えて設定する請求項1に記載の画像符号化装置。
  7. インターレース構造の動画像信号を符号化する画像符号化方法であって、
    符号化対象フィールドの動きに関する動き情報を所定の領域毎に取得し、
    前記取得した所定の領域毎の動き情報に基づいて、前記符号化対象フィールドに占める動きの少ない領域の割合に関する情報を取得し、
    既に符号化済みのフィールドから1枚のみ参照フィールドを選択する場合、前記取得した割合に関する情報に基づいて、符号化対象フィールドが参照する参照フィールドを、符号化済みのトップフィールドと符号化済みのボトムフィールドとで選択的に切り替えて設定し、
    前記設定した参照フィールドを用いて前記符号化対象のフィールドを符号化する画像符号化方法。
JP2009156694A 2009-07-01 2009-07-01 画像符号化装置及び画像符号化方法 Active JP5489557B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009156694A JP5489557B2 (ja) 2009-07-01 2009-07-01 画像符号化装置及び画像符号化方法
US12/749,860 US8917766B2 (en) 2009-07-01 2010-03-30 Picture coding apparatus, picture coding method and video camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009156694A JP5489557B2 (ja) 2009-07-01 2009-07-01 画像符号化装置及び画像符号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014034644A Division JP2014112952A (ja) 2014-02-25 2014-02-25 画像符号化装置

Publications (3)

Publication Number Publication Date
JP2011015117A JP2011015117A (ja) 2011-01-20
JP2011015117A5 JP2011015117A5 (ja) 2012-04-12
JP5489557B2 true JP5489557B2 (ja) 2014-05-14

Family

ID=43412434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009156694A Active JP5489557B2 (ja) 2009-07-01 2009-07-01 画像符号化装置及び画像符号化方法

Country Status (2)

Country Link
US (1) US8917766B2 (ja)
JP (1) JP5489557B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
EP3833026B1 (en) * 2011-01-13 2022-07-13 NEC Corporation Video decoding device, video decoding method, and program
RU2551473C2 (ru) * 2011-03-09 2015-05-27 Ниппон Телеграф Энд Телефон Корпорейшн Устройство кодирования видео, способ кодирования видео и программа кодирования видео
JP6242793B2 (ja) 2011-09-15 2017-12-06 ヴィド スケール インコーポレイテッド 空間的予測のためのシステムおよび方法
BR112014031502A2 (pt) * 2012-06-21 2017-06-27 Ericsson Telefon Ab L M aparelho e método para codificar um sinal de vídeo
EP3010232A4 (en) 2013-06-12 2017-01-25 Mitsubishi Electric Corporation Image encoding device, image encoding method, image decoding device, and image decoding method
JP6767691B2 (ja) * 2016-10-18 2020-10-14 パナソニックIpマネジメント株式会社 画像符号化方法、伝送方法および画像符号化装置

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP2758378B2 (ja) 1991-05-31 1998-05-28 株式会社東芝 動画像復号化装置及び動画像復号化方法
US6005627A (en) * 1991-05-31 1999-12-21 Kabushiki Kaisha Toshiba Video coding apparatus
US5986713A (en) * 1991-05-31 1999-11-16 Kabushiki Kaisha Toshiba Video coding apparatus using inter-field prediction
US5647049A (en) * 1991-05-31 1997-07-08 Kabushiki Kaisha Toshiba Video recording/reproducing apparatus which uses a differential motion vector determined using two other motion vectors
JP2925046B2 (ja) * 1991-10-31 1999-07-26 ケイディディ株式会社 動画像の動き補償予測方法
US5488482A (en) * 1992-01-29 1996-01-30 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
DE69332848T2 (de) * 1992-01-29 2004-01-29 Mitsubishi Electric Corp Vorrichtung und Verfahren zum Aufzeichnen/Wiedergeben von Videoinformation
US6870884B1 (en) * 1992-01-29 2005-03-22 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
JP3699132B2 (ja) * 1992-01-29 2005-09-28 三菱電機株式会社 高能率符号化装置
JPH06339135A (ja) 1993-05-31 1994-12-06 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル検出回路
US20020044692A1 (en) * 2000-10-25 2002-04-18 Goertzen Kenbe D. Apparatus and method for optimized compression of interlaced motion images
US6414996B1 (en) * 1998-12-08 2002-07-02 Stmicroelectronics, Inc. System, method and apparatus for an instruction driven digital video processor
JP3677192B2 (ja) * 2000-04-19 2005-07-27 シャープ株式会社 画像処理装置
US7082209B2 (en) * 2000-08-31 2006-07-25 Hitachi Kokusai Electric, Inc. Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method
KR100924401B1 (ko) * 2001-06-05 2009-10-29 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램을 기록한 기록 매체 및 촬상 장치
JP2004153751A (ja) * 2002-11-01 2004-05-27 Ricoh Co Ltd 画像処理装置及び画像処理方法
US7577198B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Number of reference fields for an interlaced forward-predicted field
EP1574995A1 (en) * 2004-03-12 2005-09-14 Thomson Licensing S.A. Method for encoding interlaced digital video data
JP4405367B2 (ja) 2004-08-27 2010-01-27 パナソニック株式会社 映像信号の予測符号化における参照フィールドの決定方法
JP5422124B2 (ja) 2005-10-05 2014-02-19 パナソニック株式会社 参照ピクチャ選択方法、画像符号化方法、プログラム、画像符号化装置および半導体装置
JP2007259206A (ja) 2006-03-24 2007-10-04 Victor Co Of Japan Ltd 動画像符号化装置および動画像符号化プログラム
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
WO2008028334A1 (en) * 2006-09-01 2008-03-13 Thomson Licensing Method and device for adaptive video presentation
US8254444B2 (en) * 2007-05-14 2012-08-28 Samsung Electronics Co., Ltd. System and method for phase adaptive occlusion detection based on motion vector field in digital video
US8938005B2 (en) * 2007-11-05 2015-01-20 Canon Kabushiki Kaisha Image encoding apparatus, method of controlling the same, and computer program
JP4441919B2 (ja) * 2007-11-22 2010-03-31 カシオ計算機株式会社 撮像装置及びそのプログラム

Also Published As

Publication number Publication date
US8917766B2 (en) 2014-12-23
US20110001839A1 (en) 2011-01-06
JP2011015117A (ja) 2011-01-20

Similar Documents

Publication Publication Date Title
JP6618439B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置および動画像復号方法
JP5489557B2 (ja) 画像符号化装置及び画像符号化方法
JP4527677B2 (ja) 動画像符号化方法、動画像符号化装置、動画像符号化プログラム
KR20100113448A (ko) 화상 부호화 방법 및 화상 복호 방법
WO2011121894A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2008227670A (ja) 画像符号化装置
JP5156704B2 (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
JP2010016806A (ja) フレーム符号化とフィールド符号化の判定方法、画像符号化方法、画像符号化装置およびプログラム
JP2013115583A (ja) 動画像符号化装置及びその制御方法並びにプログラム
US9654775B2 (en) Video encoder with weighted prediction and methods for use therewith
JP5748225B2 (ja) 動画像符号化方法,動画像符号化装置および動画像符号化プログラム
WO2011155376A1 (ja) 符号化装置および符号化方法
JP5178616B2 (ja) シーンチェンジ検出装置および映像記録装置
US20150208082A1 (en) Video encoder with reference picture prediction and methods for use therewith
JP4964689B2 (ja) 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4911625B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP2009284058A (ja) 動画像符号化装置
JP6313614B2 (ja) 動画像符号化装置及びその制御方法
JP2014112952A (ja) 画像符号化装置
JP2005303362A (ja) 画像符号化装置及びプログラム
JP4561701B2 (ja) 動画像符号化装置
JP2012054759A (ja) 符号化装置、符号化方法、およびプログラム
JP6016484B2 (ja) 符号化装置
JP2008028882A (ja) 動画像符号化装置
JP2006295734A (ja) 再符号化装置、再符号化方法、および再符号化用プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140225

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250