JP4414904B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム - Google Patents

Description

本発明は、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラムに関するものである。

動画像の伝送や蓄積を効率良く行うために、圧縮符号化技術が用いられる。圧縮符号化技術の一種として、フレーム間符号化方式が知られている。フレーム間符号化方式では、画像が所定サイズの複数のブロックに分割され、ブロック毎に符号化処理が行われる。この符号化処理では、時間方向に隣接する他の画像の再生画像が参照画像として用いられ、符号化の対象となる対象画像に関する予測画像が生成される。ここで、再生画像とは、対象画像より先に符号化された画像が、復元されたものである。この予測画像と対象画像との差分画像が符号化されることによって、動画像のデータ量が削減される（例えば、特許文献１）。
特開平９−９３５９２号公報

ところで、再生画像には、種々のノイズが発生する。再生画像にノイズが存在すると、参照画像としての質が低下する。結果として、予測画像と対象画像との差が大きくなるので、データ量が十分に削減されない。

そこで、本発明は、参照画像のノイズを低減することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムを提供することを目的としている。また、本発明は、この動画像符号化装置によって生成されたデータから動画像を復元可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムを提供することを目的としている。

本発明の動画像符号化装置は、（ａ）動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、（ｂ）上記対象画像と上記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、（ｃ）上記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、（ｄ）上記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｅ）上記復号差分画像と上記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、（ｆ）予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、（ｇ）上記再生画像又は上記格納手段に格納された参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、を備え、（ｈ）上記画像更新手段は、上記更新画像を上記格納手段に格納し、（ｉ）上記予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。

また、本発明の他の側面に係る動画像符号化方法は、（ａ）予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、（ｂ）差分画像生成手段が、上記対象画像と上記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、（ｃ）符号化手段が、上記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、（ｄ）復号手段が、上記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、（ｅ）再生画像生成手段が、上記復号差分画像と上記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、（ｆ）格納手段が、予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、（ｇ）画像更新手段が、上記再生画像又は上記格納手段に格納された参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、を含み、（ｈ）上記画像更新ステップにおいて、上記画像更新手段が、上記更新画像を上記格納手段に格納し、（ｉ）上記予測画像生成ステップにおいて、上記予測画像生成手段が、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。

また、本発明の更に他の側面に係る動画像符号化プログラムは、コンピュータを、（ａ）動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、（ｂ）上記対象画像と上記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、（ｃ）上記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、（ｄ）上記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｅ）上記復号差分画像と上記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、（ｆ）予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、（ｇ）上記再生画像又は上記格納手段に格納された参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、として機能させるためのプログラムである。ここで、（ｈ）画像更新手段は、上記更新画像を上記格納手段に格納し、（ｉ）予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。

上述した動画像の符号化に係る本発明によれば、再生画像又は格納手段に既に格納されている参照画像の一方の第１の画像に、当該再生画像又は当該参照画像の他方の第２の画像が重み付け加算されることによって、更新画像が生成される。この更新画像は、異なる対象画像の予測画像を生成するための参照画像として用いられる。したがって、加算に基づく平均化によってノイズが削減された参照画像が用いられるので、符号化による動画像のデータ量が削減され、符号化効率が向上される。更に、本発明によれば、再生画像と参照画像とが平均化された更新画像が生成されるので、再生画像又は参照画像にはない、画像のディテールを更新画像に反映させることができる。したがって、符号化による動画像のデータ量が更に削減される。

なお、再生画像に発生する種々のノイズとしては、例えば、ブロック間の境界において大きな画素値の変化が現れるブロック歪みに起因するノイズが知られている。このブロック歪によるノイズを軽減するために、再生画像におけるブロック間の境界近傍にデブロッキングフィルタを施す技術が知られている。しかしながら、デブロッキングフィルタでは、ブロック内部に生じたノイズを低減することができない。本発明によれば、加算に基づく平均化によって参照画像のノイズが軽減されるので、ブロック内部におけるノイズを低減することができる。

更に、再生画像に発生するノイズの一種である量子化ノイズ等を削減するための技術として、双方向予測が知られている。双方向予測では、処理対象ブロックについて、二つの動き量（第１の動き量及び第２の動き量）が求められる。第１の動き量は、時間方向において前方の参照画像への処理対象ブロックの動き量である。第２の動き量は、時間方向において後方の参照画像への処理対象ブロックの動き量である。双方向予測では、第１の動き量から第１の予測画像が求められ、第２の動き量から第２の予測画像が求められて、第１の予測画像と第２の予測画像とを平均化した予測画像が用いられる。しかしながら、この予測画像は、特定の処理対象ブロックに対して用いられるものであり、以降の異なる処理対象ブロックの処理において参照画像として利用することができない。したがって、双方向予測では、平均化によるノイズ低減の効果が、以降の処理に活かされない。一方、本発明によれば、平均化によってノイズが軽減された更新画像が参照画像として格納手段に格納され、後の処理において予測画像の生成に用いられる。したがって、本発明によれば、平均化によるノイズ低減の効果が、異なる対象画像の処理にも活かされる。

本発明の動画像復号装置は、（ａ）動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｂ）上記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、（ｃ）上記復号差分画像と上記予測画像を加算することによって再生画像を生成する再生画像生成手段と、（ｄ）上記予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納する格納手段と、（ｅ）上記再生画像又は上記格納手段に格納されていた参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、を備え、（ｆ）上記画像更新手段は、上記更新画像を上記格納手段に格納し、（ｇ）上記予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。

本発明の別の側面に係る動画像復号方法は、（ａ）復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、（ｂ）予測画像生成手段が、上記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、（ｃ）再生画像生成手段が、上記復号差分画像と上記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、（ｄ）格納手段が、上記予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、（ｅ）画像更新手段が、上記再生画像又は上記格納手段に格納されていた参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、を含み、（ｆ）上記画像更新ステップにおいて、上記画像更新手段が、上記更新画像を上記格納手段に格納し、（ｇ）上記予測画像生成ステップにおいて、上記予測画像生成手段が、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。

本発明の更に別の側面に係る動画像復号プログラムは、コンピュータを、（ａ）動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｂ）上記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、（ｃ）上記復号差分画像と上記予測画像を加算することによって再生画像を生成する再生画像生成手段と、（ｄ）上記予測画像を生成するために上記予測画像生成手段によって用いられる参照画像を格納する格納手段と、（ｅ）上記再生画像又は上記格納手段に格納されていた参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、として機能させるためのプログラムである。ここで、（ｆ）上記画像更新手段は、上記更新画像を上記格納手段に格納し、（ｇ）上記予測画像生成手段は、上記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる。

上述した動画像の復号に係る本発明によれば、上述した動画像の符号化に係る本発明に基づき生成されたデータから動画像が忠実に復元される。

上述した動画像の符号化に係る本発明（動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム）において、画像更新手段は、第１の画像として、再生画像生成手段によって生成される再生画像を用い、第２の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納してもよい。

この場合、上述した動画像の復号に係る本発明（動画像復号装置、動画像復号方法、及び動画像復号プログラム）では、画像更新手段が、第１の画像として、再生画像生成手段によって生成される再生画像を用い、第２の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納する。

また、上述した動画像の符号化に係る本発明（動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム）において、画像更新手段は、第１の画像として、格納手段に格納された参照画像を用い、第２の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、更新画像として格納手段に格納してもよい。

この場合、上述した動画像の復号に係る本発明（動画像復号装置、動画像復号方法、及び動画像復号プログラム）では、画像更新手段が、第１の画像として、格納手段に格納された参照画像を用い、第２の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、更新画像として前記格納手段に格納する。

また、上述した動画像の符号化に係る本発明（動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム）において、画像更新手段が、第１の画像として、再生画像生成手段によって生成される再生画像を用い、第２の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納し、更に、第１の画像として、格納手段に格納された参照画像を用い、第２の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を更新画像として前記格納手段に格納してもよい。この場合、予測画像生成手段は、再生画像、更新再生画像、参照画像（既に格納手段に格納されている参照画像）、及び更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いることができる。

この場合、上述した動画像の復号に係る本発明（動画像復号装置、動画像復号方法、及び動画像復号プログラム）では、画像更新手段が、第１の画像として、再生画像生成手段によって生成される再生画像を用い、第２の画像として、格納手段に格納された参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、更新画像として格納手段に格納し、更に、第１の画像として、格納手段に格納された参照画像を用い、第２の画像として、再生画像生成手段によって生成される再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を格納手段に格納する。予測画像生成手段は、再生画像、更新再生画像、参照画像、更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いることができる。

また、上述した動画像の復号に係る本発明（動画像復号装置、動画像復号方法、及び動画像復号プログラム）において、符号化差分信号は、第１の状態、第２の状態、第３の状態、及び第４の状態の少なくとも一つを指示する更新制御信号を含み、画像更新手段は、更新制御信号によって第１の状態が指示される場合に、更新再生画像を生成し、更新制御信号によって第２の状態が指示される場合に、更新参照画像を生成し、更新制御信号によって記第３の状態が指示される場合に、更新再生画像と更新参照画像とを生成し、更新制御信号によって第４の状態が指示される場合に、更新再生画像と更新参照画像とを生成しない。

また、好適には、上述した動画像の符号化に係る本発明（動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム）において、画像更新手段は、第１の画像に対する第２の画像のずれを特定する動き量を求め、該動き量に基づいて移動させた対応の位置において第２の画像の少なくとも一部を第１の画像に重み付け加算することによって、更新画像を生成する。

この場合に、上述した動画像の復号に係る本発明（動画像復号装置、動画像復号方法、及び動画像復号プログラム）では、画像更新手段が、第１の画像に対する第２の画像のずれを示す動き量を求め、該動き量に基づいて移動させた対応の位置において第２の画像の少なくとも一部を第１の画像に重み付け加算することによって、更新画像を生成する。

上記本発明によれば、動き量に係るデータ量を増やすことなく、動き補償を加えた平均化が行われるので、よりノイズの少ない参照画像が生成される。

ところで、動画像の符号化に係る本発明（動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム）は、以下のように構成することもできる。

本発明に係る動画像符号化装置は、（ａ）動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、（ｂ）前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、（ｃ）前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、（ｄ）前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｅ）前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、（ｆ）予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、（ｇ）前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段とを備え、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。

本発明に係る動画像符号化方法は、（ａ）予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、（ｂ）差分画像生成手段が、前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、（ｃ）符号化手段が、前記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、（ｄ）復号手段が、前記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、（ｅ）再生画像生成手段が、前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、（ｆ）格納手段が、予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、（ｇ）画像更新手段が、前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップとを含み、前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。

本発明に係る動画像符号化プログラムは、コンピュータを、（ａ）動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、（ｂ）前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、（ｃ）前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、（ｄ）前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｅ）前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、（ｆ）予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、（ｇ）前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。

また、動画像の復号に係る本発明（動画像復号装置、動画像復号方法、及び動画像復号プログラム）は、以下のように構成することもできる。

本発明に係る動画像復号装置は、（ａ）動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｂ）前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、（ｃ）前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、（ｄ）前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、（ｅ）前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段とを備え、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。

本発明に係る動画像復号方法は、（ａ）復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、（ｂ）予測画像生成手段が、前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、（ｃ）再生画像生成手段が、前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、（ｄ）格納手段が、前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、（ｅ）画像更新手段が、前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップとを含み、前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。

本発明に係る動画像復号プログラムは、コンピュータを、（ａ）動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、（ｂ）前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、（ｃ）前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、（ｄ）前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、（ｅ）前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、前記画像更新手段は、前記更新画像を前記格納手段に格納し、前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いることを特徴とする。

以上説明したように、本発明によれば、参照画像のノイズを低減することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムが提供される。したがって、本発明によれば、動画像のデータ量が削減され、符号化効率が高められる。また、本発明によれば、平均化によるノイズ低減の効果が、異なる対象画像の処理にも活かされる。更に、本発明によれば、再生画像及び格納手段に格納された参照画像の一方にはない画像のディテールが、異なる対象画像に対する予測画像の生成に用いられる参照画像に反映されるので、更に符号化効率が高められる。

また、本発明によれば、上記動画像の符号化に係る本発明に基づいて生成されるデータから動画像を復元することが可能な動画像復号装置、動画像復号方法、及び動画像復号プログラムが提供される。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。

図１は、本発明の実施の形態に係る動画像符号化装置の構成を示す図である。図１に示す動画像符号化装置１０は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置１０は、携帯電話といった移動通信端末であってもよい。すなわち、動画像符号化装置１０には、情報処理可能な装置が広く適用され得る。

図１に示すように、動画像符号化装置１０は、機能的には、入力端子１２、前処理部１４、予測画像生成部（予測画像生成手段）１６、差分画像生成部（差分画像生成手段）１８、フレームメモリ（格納手段）２０、符号化部（符号化手段）２２、可変長符号化部２４、出力端子２６、復号部（復号手段）２８、再生画像生成部（再生画像生成手段）３０、及び、画像更新部（画像更新手段）３２を備える。

入力端子１２には、複数の画像からなる動画像が入力される。入力端子１２は、前処理部１４に、動画像を出力する。

前処理部１４は、ラインＬ２経由で出力される動画像を受け、動画像を構成する複数の入力画像を順次に符号化の対象である対象画像として、当該対象画像に前処理を施す。前処理部１４は、前処理として、ノイズを低減するためのフィルタを対象画像に施すことができる。このノイズは、例えば、カメラによる撮影時に画像に発生するものである。前処理部１４は、前処理として、必要に応じ、対象画像を所定のサイズに変換することができる。更に、前処理部１４は、前処理として、対象画像を所定サイズの複数のブロックに分割して、出力する。この所定のサイズとしては、１６×１６画素のサイズが例示される。動画像符号化装置１０では、前処理部１４から出力される複数のブロック各々について、以下に説明する処理が施される。

予測画像生成部１６は、対象画像の予測画像を生成する。具体的に、予測画像生成部１６は、前処理部１４からラインＬ４経由で出力されるブロックを処理の対象である対象ブロックとし、この対象ブロックの画像に対する予測画像を生成する。

予測画像生成部１６は、フレームメモリ２０に格納されている参照画像をラインＬ６経由で取得する。フレームメモリ２０には、対象画像より先に符号化の対象とされた入力画像に対する再生画像が、予測画像生成部１６による予測画像の生成のための参照画像として格納されている。再生画像についての詳細は後述する。予測画像生成部１６は、この参照画像を用い、動き補償予測によって対象ブロックの予測画像を生成する。すなわち、予測画像生成部１６は、対象ブロックの参照画像に対する動き量（動きベクトル）を求める。この動きベクトルは、例えば、ブロックマッチングによって求めることができるものであり、対象ブロックから最も相関の高い参照画像内の領域へのベクトルとすることができる。予測画像生成部１６は、求めた動きベクトルと、予測画像を出力する。この予測画像は、動きベクトルによって特定される参照画像内の領域における画像である。

差分画像生成部１８は、対象画像と予測画像との差演算を実行することによって、差分画像を生成する。具体的に、差分画像生成部１８は、ラインＬ８経由で前処理部１４から出力される対象ブロックの画像と、ラインＬ１０経由で予測画像生成部１６から出力される当該対象ブロックの予測画像との差を求めることによって、差分画像を生成する。

符号化部２２は、差分画像を符号化することによって、符号化差分信号を生成する。本実施形態では、符号化部２２は、変換部３４と、量子化部３６とを有している。変換部３４は、ラインＬ１２経由で差分画像生成部１８から出力される対象ブロックの差分画像を変換する。変換部３４は、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いて、差分画像を周波数領域の信号に変換する。量子化部３６は、ラインＬ１４経由で変換部３４から出力される信号を、量子化する。量子化部３６によって量子化された信号が、符号化差分信号である。

可変長符号化部２４は、ラインＬ１６経由で予測画像生成部１６から出力される動きベクトル、及びラインＬ１８経由で符号化部２２から出力される符号化差分信号を可変長符号化することによって、符号化データを生成する。可変長符号化部２４は、例えば、算術符号化を用いることができる。可変長符号化部２４は、当該符号化データを含むビットストリームをラインＬ２０経由で出力端子２６に出力する。

復号部２８は、符号化差分信号を復号することによって、復号差分画像を生成する。ここでの復号とは、符号化部２２における符号化と対称の処理である。具体的に、復号部２８は、逆量子化部３８と、逆変換部４０とを有する。

逆量子化部３８は、ラインＬ２２経由で符号化部２２から出力される符号化差分信号を受ける。逆量子化部３８は、量子化部３６による量子化と対称の処理である逆量子化を符号化差分信号に適用する。

逆変換部４０は、ラインＬ２４経由で、逆量子化部３８からの信号（逆量子化が施された信号）を受け、当該信号に逆変換を適用することによって、対象ブロックの復号差分画像を生成する。逆変換部４０による逆変換は、変換部３４による変換と対称の処理であり、変換部３４がＤＣＴを用いる場合には、逆変換部４０はＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を用いる。

再生画像生成部３０は、復号差分画像と予測画像とを加算することによって、再生画像を生成する。具体的に、再生画像生成部３０は、復号部２８からラインＬ２６経由で出力される復号差分画像と、予測画像生成部１６からラインＬ２８経由で出力される予測画像とを加算することによって、対象ブロックの再生画像を生成する。

画像更新部３２は、ラインＬ３０経由で再生画像生成部３０から再生画像を受け、ラインＬ３２経由でフレームメモリ２０に格納されている参照画像を受ける。画像更新部３２は、再生画像及び参照画像の一方を第１の画像とし、再生画像及び参照画像の他方を第２の画像とし、第１の画像と第２の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、フレームメモリ２０に格納されて、異なる対象画像に対する符号化に用いられる。すなわち、更新画像は、フレームメモリ２０に格納されて、対象画像より後に符号化の対象となる入力画像に対する予測画像を生成するための参照画像として予測画像生成部１６によって用いられる。なお、この重み付け加算は、第１の画像、第２の画像に任意の比率の重みを適用し、加算後の画素値を所望のレベル内の値とする。

以下、図２を参照して、画像更新部３２の一実施形態について説明する。図２は、画像更新部の一実施形態の構成を示す図である。動画像符号化装置１０では、図２に示す画像更新部４８を、画像更新部３２として用いることができる。画像更新部４８は、更新再生画像生成部５０と、更新参照画像生成部５２と、スイッチ５４とを有している。

更新再生画像生成部５０は、再生画像に参照画像を重み付け加算した更新再生画像を更新画像として生成する。すなわち、更新再生画像生成部５０は、第１の画像として、再生画像を用い、第２の画像として参照画像を用いる。

更新再生画像生成部５０は、動き検出部５６と、動き補償部５８と、重み付け加算部６０とを有している。動き検出部５６は、ラインＬ７０経由で再生画像を、ラインＬ７２経由で参照画像を受ける。動画像符号化装置１０の場合には、ラインＬ７０は、ラインＬ３０に相当し、ラインＬ７２は、ラインＬ３２に相当する。

動き検出部５６は、再生画像におけるブロックごとに、参照画像に対する動き量（動きベクトル）を求める。このブロックのサイズは、例えば、４×４画素サイズのブロックとすることができる。動き補償部５８は、動き検出部５６によって求められた動きベクトルによって特定される参照画像内の領域の画像を出力する。重み付け加算部６０は、動き補償部５８からの当該画像を上記ブロックの再生画像に任意の重み付けで加算することによって、上記ブロックの対応位置における更新再生画像を生成する。この重み付け加算は、再生画像、参照画像に対して、例えば、１：１、或いは２：１といった比率の重みを適用し、加算後の画素値を所望のレンジ内の値とする。

このようにして更新再生画像生成部５０によって生成される更新再生画像は、スイッチ５４及びラインＬ７４を経由して、フレームメモリに戻され、異なる対象画像に対する参照画像として、後の符号化において利用される。なお、動画像符号化装置１０の場合には、ラインＬ７４はラインＬ３４に相当する。

更新参照画像生成部５２は、参照画像に再生画像を重み付け加算した更新参照画像を更新画像として生成する。すなわち、更新参照画像生成部５２は、第１の画像として、参照画像を用い、第２の画像として再生画像を用いる。

更新参照画像生成部５２は、動き検出部６２と、動き補償部６４と、重み付け加算部６６とを有している。動き検出部６２は、ラインＬ７０経由で再生画像を、ラインＬ７２経由で参照画像を受ける。

動き検出部６２は、参照画像のブロックごとに再生画像に対する動き量（動きベクトル）を求める。このブロックのサイズも、例えば、４×４画素サイズとすることができる。なお、動き検出部６２は、動き検出部５６によって生成された動きベクトルを逆方向にしたベクトルを用いてもよい。

動き補償部６４は、動き検出部６２からの動きベクトルによって特定される再生画像内の領域の画像を出力する。重み付け加算部６６は、動き補償部６４からの当該画像と上記ブロックの参照画像とを任意の重み付けで加算することによって、上記ブロックの対応位置の更新参照画像を生成する。この重み付け加算は、参照画像、再生画像に対して、例えば、１：１、或いは２：１といった比率の重みを適用し、加算後の画素値を所望のレンジ内の値とする。

このようにして更新参照画像生成部５２によって生成される更新参照画像は、スイッチ５４及びラインＬ７４経由で、フレームメモリに戻され、異なる対象画像に対する参照画像として、後の符号化において利用される。

なお、更新再生画像生成部５０及び更新参照画像生成部５２は、それぞれ対応の動き検出部５６及び動き検出部６２を有しない構成であってもよい。この場合には、動き補償部５８及び動き補償部６４は、それぞれ、予測画像生成部１６によって求められる動きベクトルを用いることができる。

また、動き検出部５６及び動き検出部６２は、予測画像生成部１６によって求められる動きベクトルをオフセットとして用いて、更に細かい動きベクトルを求めてもよい。

また、動き検出部５６及び動き検出部６２によって求められた動きベクトルを、可変長符号化部２４によって復号側へ送信してもよく、或いは、送信しなくてもよい。後者の場合には、復号側で、動き検出部５６及び動き検出部６２と同様の処理を実行する。

また、フレームメモリ２０には、更新再生画像及び更新参照画像に加えて、再生画像が格納され、更にフレームメモリ２０に格納されている参照画像がそのまま格納されてもよい。この場合には、再生画像、更新再生画像、更新参照画像、参照画像が、異なる対象画像の符号化に参照画像として用いられる。

以下、図３及び図４を参照して、フレームメモリに格納される参照画像の時系列を説明する。図３は、順方向予測を行う場合の画像更新の概念を説明するための図である。図４は、双方向予測を行う場合の画像更新の概念を説明するための図である。図３及び図４では、参照符号ＩＮが付された領域に入力画像が示されており、参照符号Ｒが付された領域に再生画像が示されており、参照符号Ｆが付された領域にフレームメモリに格納される画像が示されている。

順方向予測の場合、逆方向の予測がないので、アルゴリズム上の遅延がないものと考えることができる。順方向予測の場合、図３に示すように、時刻ｔ０、ｔ１、ｔ２、ｔ３・・・の順に入力画像Ｉ０、Ｐ１，Ｐ２、Ｐ３・・・が入力される。時刻ｔ０では、入力画像Ｉ０が対象画像となり、例えば、イントラフレーム符号化及び復号を経て、再生画像ＲＩ０が生成され、当該再生画像ＲＩ０がフレームメモリ２０に参照画像として格納される。

時刻ｔ１では、入力画像Ｐ１が対象画像となり、フレームメモリ２０に格納された参照画像ＲＩ０を用いて、再生画像ＲＰ１が生成される。時刻ｔ１では、参照画像ＲＩ０と、再生画像ＲＰ１と、再生画像ＲＰ１及び参照画像ＲＩ０から生成される更新参照画像ＲＩＯ_ＲＰ１と更新再生画像ＲＰ１_ＲＩ０とが、フレームメモリ２０に参照画像として格納される。

時刻ｔ２では、入力画像Ｐ２が対象画像となり、時刻ｔ１においてフレームメモリ２０に格納された参照画像ＲＩ０、ＲＰ１、ＲＩＯ_ＲＰ１及びＲＰ１_ＲＩ０を用いて、再生画像ＲＰ２が生成される。時刻ｔ２では、再生画像ＲＰ１と、再生画像ＲＰ２と、参照画像ＲＰ１と再生画像ＲＰ２とを用いて生成される更新参照画像ＲＰ１_ＲＰ２及び更新再生画像ＲＰ２_ＲＰ１が、参照画像としてフレームメモリ２０に格納される。なお、時刻ｔ２において、参照画像ＲＩ０、ＲＩＯ_ＲＰ１、及びＲＩＯ_ＲＰ１をフレームメモリ２０から削除しているが、これらを削除せず、時刻ｔ３における再生画像の生成に用いてもよい。

時刻ｔ３では、入力画像Ｐ３が対象画像となり、時刻ｔ２においてフレームメモリ２０に格納された参照画像を用いて、再生画像ＲＰ３が生成される。

双方向予測の場合には、画像の入力と再生には、アルゴリズム上の遅延が生じる。双方向予測の場合には、図４に示すように、順に入力画像Ｉ０、Ｂ１，Ｂ２、Ｐ３・・・が入力される。

時刻ｔ０では、入力画像Ｉ０が対象画像となり、例えば、イントラフレーム符号化及び復号によって、再生画像ＲＩ０が生成される。再生画像ＲＩ０は、フレームメモリ２０に参照画像として格納される。再生画像ＲＩ０が再生される時刻は、双方向予測であるので、時刻ｔ１である。

入力画像Ｂ１と入力画像Ｂ２とを入力画像Ｉ０及びＰ３から符号化するので、時刻ｔ１では、入力画像Ｐ３が対象画像となり、時刻ｔ２において、参照画像ＲＩ０を用いて、対象画像Ｐ３の再生画像ＲＰ３が生成される。時刻ｔ２では、再生画像ＲＰ３と参照画像ＲＩ０とを用いて、更新参照画像ＲＩＯ_ＲＰ３と更新参照画像ＲＰ３_ＲＩ０とが生成され、参照画像としてフレームメモリ２０に格納される。

時刻ｔ２では、入力画像Ｂ１及び入力画像Ｂ２が対象画像となり、それぞれ符号化される。時刻ｔ３において、参照画像ＲＩＯ_ＲＰ３とＲＰ３_ＲＩ０とを用いて、対象画像Ｂ１の再生画像ＲＢ１が生成され、同時に、再生画像ＲＢ１と参照画像ＲＩＯ_ＲＰ３とを用いて、更新参照画像（ＲＩＯ_ＲＰ３）_ＲＢ１が生成され、再生画像ＲＢ１と参照画像ＲＰ３_ＲＩ０とを用いて、更新参照画像（ＲＰ３_ＲＩ０）_ＲＢ１が生成され、それぞれ参照画像として、フレームメモリ２０に格納される。参照画像（ＲＩＯ_ＲＰ３）_ＲＢ１と（ＲＰ３_ＲＩ０）_ＲＢ１は、対象画像Ｂ２の符号化・復号に用いられる。

以下、本実施の形態にかかる動画像符号化装置１０の動作について説明する。併せて、本発明の実施の形態に係る動画像符号化方法を説明する。図５は、本発明の実施の形態に係る動画像符号化方法のフローチャートである。

図５に示すように、この動画像符号化方法では、まず、動画像を構成する複数の画像が順次、符号化の対象となる対象画像として入力される（ステップＳ０１）。次いで、前処理部１４によって、上述した前処理が行われる（ステップＳ０２）。

次いで、予測画像生成部１６によって、対象画像の予測画像が生成される（ステップＳ０３）。この予測画像と対象画像との差演算が実行され、差分画像が生成される（ステップＳ０４）。

次いで、符号化部２２が符号化を実行することによって、差分画像から符号化差分信号が生成される（ステップＳ０５）。次いで、可変長符号化部２４によって、符号化差分信号、動きベクトルが可変長符号化されることによって、ビットストリームが生成される（ステップＳ０６）。

次いで、復号部２８が復号を実行することによって、符号化差分信号から復号差分画像が生成される（ステップＳ０７）。復号差分画像は、再生画像生成部３０によって、予測画像に加算され、その結果、再生画像が生成される（ステップＳ０８）。そして、画像更新部３２によって、更新画像が生成され（ステップＳ０９）、当該更新画像がフレームメモリ２０に格納される（ステップＳ１０）。

以下、ステップＳ０９の更新画像生成について詳細に説明する。図６は、更新画像生成に関するフローチャートである。更新画像生成の処理においては、再生画像生成部３０から再生画像が、フレームメモリ２０から参照画像が、それぞれ画像更新部３２に入力される（ステップＳ０９−１）。

そして、更新再生画像生成部５０によって、参照画像を用いて再生画像が更新されることによって、更新再生画像が生成される（ステップＳ０９−２）。また、更新参照画像生成部５２によって、再生画像を用いて参照画像が更新されることによって、更新参照画像が生成される（ステップＳ０９−３）。更新再生画像及び更新参照画像は、フレームメモリ２０に、更新画像として格納される（ステップＳ０９−４）。

以下、更新再生画像及び更新参照画像の生成について、詳細に説明する。図７は、更新画像の生成の詳細に関するフローチャートである。以下、再生画像及び参照画像の一方を第１の画像として、再生画像及び参照画像の他方を第２の画像として、更新再生画像及び更新参照画像の生成について説明する。以下の説明から、第１の画像を再生画像、第２の画像を参照画像とすれば、更新画像として更新再生画像が生成され、第１の画像を参照画像、第２の画像を再生画像とすれば、更新画像として更新参照画像が生成されることが、理解されよう。

図７に示すように、まず、第１の画像と第２の画像とが入力される（ステップＳ２１）。次いで、変数Ｎが１に設定される（ステップＳ２２）。この変数Ｎは、第１の画像を分割したブロックの個数である。ブロックのサイズは、ａ×ａであり、例えば、４×４を採用することができる。

次いで、第１の画像のＮ番目のブロックの予測ブロックが、第２の画像から求められる（ステップＳ２３）。次いで、第１の画像のＮ番目のブロックと予測ブロックとの重み付け平均を求めることによって、当該Ｎ番目のブロックの更新画像が生成される（ステップＳ２４）。

次いで、Ｎが「１」インクリメントされ（ステップＳ２５）、インクリメントされたＮが、最大ブロック数を超えるか否かがテストされる（ステップＳ２６）。このテストの結果、Ｎｏの場合には、ステップＳ２３からの処理が繰り返され、Ｙｅｓの場合には、処理が終了となる。

以下、コンピュータを動画像符号化装置１０として動作させる動画像符号化プログラムについて説明する。図８は、本発明の実施の形態に係る動画像符号化プログラムの構成を、記憶媒体と共に示す図である。

図８に示すように、動画像符号化プログラム７０は、記録媒体１００に格納されて提供される。記録媒体１００としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリ等が例示される。

図９は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１０は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。図９に示すように、コンピュータ１１０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１１４と、記録媒体１００に記憶されたプログラムを記憶するメモリ１１６と、ディスプレイといった表示装置１１８と、入力装置であるマウス１２０及びキーボード１２２と、データ等の送受を行うための通信装置１２４と、プログラムの実行を制御するＣＰＵ１２６とを備えている。コンピュータ１１０は、記録媒体１００が読取装置１１２に挿入されると、読取装置１１２から記録媒体１００に格納された動画像符号化プログラム７０にアクセス可能になり、当該動画像符号化プログラム７０によって、動画像符号化装置１０として動作することが可能になる。

図１０に示すように、動画像符号化プログラム７０は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した動画像符号化プログラム７０をメモリ１１６に格納し、当該動画像符号化プログラム７０を実行することができる。

図８に示すように、動画像符号化プログラム７０は、処理を統括するメインモジュール７１と、前処理モジュール７２と、予測画像生成モジュール７４と、差分画像生成ジュール７６と、格納モジュール７８と、符号化モジュール８０と、可変長符号化モジュール８２と、復号モジュール８４と、再生画像生成モジュール８６と、画像更新モジュール８８とを備えている。また、符号化モジュール８０は、変換サブモジュール９２と量子化サブモジュール９４とによって構成され、復号モジュール８４は、逆量子化サブモジュール９６と逆変換サブモジュール９８とによって構成される。

前処理モジュール７２、予測画像生成モジュール７４、差分画像生成ジュール７６、格納モジュール７８、符号化モジュール８０、可変長符号化モジュール８２、復号モジュール８４、再生画像生成モジュール８６、画像更新モジュール８８、変換サブモジュール９２、量子化サブモジュール９４、逆量子化サブモジュール９６、及び逆変換サブモジュール９８がコンピュータに実現させる機能はそれぞれ、上述した前処理部１４、予測画像生成部１６、差分画像生成部１８、フレームメモリ２０、符号化部２２、可変長符号化部２４、復号部２８、再生画像生成部３０、画像更新部３２、変換部３４、量子化部３６、逆量子化部３８、及び逆変換部４０のうち対応の要素と同様である。

以上、本発明の動画像符号化装置１０について説明したが、画像更新部３２による処理を符号化効率の向上に有効な場合にのみ実行させることも可能である。この場合には、図１に示すように、動画像符号化装置１０は、更に制御部４２を備えることができる。

制御部４２は、動画像にシーンの変化があるか否かをテストする。動画像にシーンの変化があるか否かは、例えば、異なる入力画像間における相関の大小から決定することができる。制御部４２は、シーンの変化がある場合に、更新画像を生成しない旨を指示する更新制御信号を画像更新部３２にラインＬ３６を介して出力する。一方、制御部４２は、シーンの変化が少ない場合に、更新画像を生成する旨を指示する更新制御信号を画像更新部３２に出力する。

更新制御信号は、第１の状態、第２の状態、第３の状態、及び第４の状態のいずれかをとることができる。画像更新部３２は、更新制御信号が第１の状態の場合に、更新再生画像を生成し、更新制御信号が第２の状態の場合に、更新参照画像を生成し、更新制御信号が第３の状態の場合に、更新再生画像及び更新参照画像を生成し、第４の状態の場合には、更新再生画像及び更新参照画像のいずれをも生成しない。

制御部４２は、更新制御信号を可変長符号化部２４にも出力する。可変長符号化部２４は、更新制御信号を動画像における各画像のヘッダ部に含めて送信する。更新制御信号は、上記の状態を表すために必要な最小のビット数の信号として、ヘッダ部に含められる。例えば、更新制御信号が第３の状態及び第４の状態をとることを許可されている場合に、更新制御信号を、第３の状態を「１」、第４の状態を「０」とする１ビットの信号とすることができる。

なお、コンピュータ１１０に制御部４２に相当する機能を更に実現させる場合には、図８に示すように、制御部４２に相当する機能をコンピュータ１１０に実現させる制御モジュール９０を動画像符号化プログラム７０に更に備えることができる。

次に、本発明の実施の形態に係る動画像復号装置について説明する。図１１は、本発明の実施の形態に係る動画像復号装置の構成を示す図である。図１１に示す動画像復号装置１４０は、動画像符号化装置１０によって生成されたビットストリームから動画像を再生可能な装置である。

動画像復号装置１４０は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像復号装置１４０は、携帯電話といった移動通信端末であってもよい。すなわち、動画像復号装置１４０には、情報処理可能な装置が広く適用され得る。

図１１に示すように、動画像復号装置１４０は、機能的に、入力端子１４２と、可変長復号部１４４と、復号部（復号手段）１４６と、予測画像生成部（予測画像生成手段）１４８と、フレームメモリ（格納手段）１５０と、再生画像生成部（再生画像生成手段）１５２と、出力端子１５４と、画像更新部（画像更新手段）１５６とを備える。

入力端子１４２には、動画像符号化装置１０によって生成されたビットストリームが入力される。入力端子１４２は、可変長復号部１４４に当該ビットストリームを出力する。

可変長復号部１４４は、ラインＬ４０経由で出力されるビットストリームを受け、当該ビットストリームに含まれる符号化データを可変長復号することによって、動きベクトル及び符号化差分信号を復元する。

復号部１４６は、動画像符号化装置１０における復号部２８と同様の処理を実行する。復号部１４６は、逆量子化部３８と同様の逆量子化部１６０と、逆変換部４０と同様の逆変換部１６２とを有し、ラインＬ４２経由で符号化差分信号を受け、当該符号化差分信号から復号差分画像を生成する。

予測画像生成部１４８は、動画像符号化装置１０の予測画像生成部１６と同様の動き補償予測によって予測画像を生成する。具体的に、予測画像生成部１４８は、ラインＬ４４経由で出力される動きベクトルと、ラインＬ４６経由で出力されるフレームメモリ１５０に格納された参照画像とを用いて、予測画像を生成する。ここで、フレームメモリ１５０には、動画像を構成する画像のうち、復号の対象である対象画像よりも先に復号の対象となった画像に対して生成された再生画像に基づく画像が参照画像として格納されている。

再生画像生成部１５２は、ラインＬ４８経由で復号部１４６から出力される復号差分画像と、ラインＬ５０経由で予測画像生成部１４８から出力される予測画像とを加算することによって、再生画像を生成する。この再生画像は、出力端子１５４に、ラインＬ５２経由で出力されると同時にフレームメモリ１５０に格納される。

画像更新部１５６は、動画像符号化装置１０の画像更新部３２と同様の構成を有する。画像更新部１５６は、ラインＬ５４経由で出力される再生画像及びラインＬ５６経由で出力される参照画像を受ける。画像更新部１５６は、再生画像及び参照画像の一方を第１の画像とし、再生画像及び参照画像の他方を第２の画像とし、第１の画像と第２の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、ラインＬ５８経由でフレームメモリ１５０に格納され、異なる対象画像の復号において参照画像として用いられる。この重み付け加算は、第１の画像、第２の画像に任意の比率の重みを適用し、加算後の画素値を所望のレベル内の値とする。

画像更新部１５６によって生成された更新画像は、フレームメモリ１５０に格納されて、動画像を構成する画像のうち、対象画像より後に復号の対象となる画像に対する予測画像を生成するための参照画像として、予測画像生成部１４８によって用いられる。

動画像復号装置１４０にも、画像更新部１５６として、図２に示す画像更新部４８を用いることができる。動画像復号装置１４０の場合に、図２に示すラインＬ７０はラインＬ５４に相当し、ラインＬ７２はラインＬ５６に相当し、ラインＬ７４はラインＬ５８に相当する。なお、画像更新部４８の詳細は上述したので、その詳細の説明については、本明細書における画像更新部４８の説明を参照されたい。

なお、動画像復号装置１４０は、制御部１５８を更に備えることができる。制御部１５８は、動画像符号化装置１０によって生成されるビットストリームに、上述した更新制御信号が含まれる場合に、可変長復号部１４４からラインＬ６０を介して当該更新制御信号を受ける。制御部１５８は、上述した更新制御信号がとる状態に応じて、ラインＬ６２経由で画像更新部１５６における更新画像の生成を制御する。

以下、動画像復号装置１４０の動作について説明する。併せて、本発明の実施の形態に係る動画像復号方法について説明する。図１２は、本発明の実施の形態にかかる動画像復号方法を示すフローチャートである。

図１２に示すように、この動画像復号方法では、まず、入力端子１４２にビットストリームが入力される（ステップＳ３１）。当該ビットストリームに含まれる符号化データが可変長復号部１４４によって、可変長復号されることによって、動きベクトル及び符号化差分信号が生成される（ステップＳ３２）。

次いで、復号部１４６によって、符号化差分信号から復号差分画像が生成される（ステップＳ３３）。また、予測画像生成部１４８によって、動きベクトル及びフレームメモリ１５０に格納された参照画像が用いられて、予測画像が生成される（ステップＳ３４）。

次いで、再生画像生成部１５２によって、復号差分画像と予測画像が加算されることによって、再生画像が生成される（ステップＳ３５）。

次いで、画像更新部１５６によって、再生画像と、フレームメモリ１５０に格納された参照画像とが用いられ、更新画像が生成される（ステップＳ３６）。更新画像の生成については、図６及び図７を用いた説明と同様であるので、ここでは、その詳細の説明を省略する。

次いで、画像更新部１５６によって生成された更新画像が、フレームメモリ１５０に格納され、異なる対象画像の復号において参照画像として用いられる。

以下、本発明の実施の形態に係る動画像復号プログラムについて説明する。図１３は、本発明の実施の形態に係る動画像復号プログラムの構成を、記録媒体と共に示す図である。

図１３に示すように、動画像復号プログラム１７０は、記録媒体１００に格納され提供される。記録媒体１００としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリ等が例示される。

動画像復号プログラム１７０が、図９及び図１０に示すコンピュータ１１０の読取装置１１２に挿入されると、コンピュータ１１０は、記録媒体１００に格納された動画像復号プログラム１７０にアクセス可能となる。当該動画像復号プログラム１７０によって、コンピュータ１１０は、動画像復号装置１４０として動作することが可能となる。なお、図１０に示すように、動画像復号プログラム１７０は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した動画像復号プログラム１７０をメモリ１１６に格納し、当該動画像復号プログラム１７０を実行することができる。

図１３に示すように、動画像復号プログラム１７０は、処理を統括するメインモジュール１７１と、可変長復号モジュール１７２と、復号モジュール１７４と、予測画像生成モジュール１７６と、格納モジュール１７８と、再生画像生成モジュール１８０と、画像更新モジュール１８２とを備えている。また、復号モジュール１７４は、逆量子化サブモジュール１８６と、逆変換サブモジュール１８８とを有する。

可変長復号モジュール１７２、復号モジュール１７４、予測画像生成モジュール１７６、格納モジュール１７８、再生画像生成モジュール１８０、画像更新モジュール１８２、逆量子化サブモジュール１８６、及び逆変換サブモジュール１８８がコンピュータに実現させる機能はそれぞれ、上述した可変長復号部１４４、復号部１４６、予測画像生成部１４８、フレームメモリ１５０、再生画像生成部１５２、画像更新部１５６、逆量子化部１６０、逆変換部１６２のうち、対応の要素と同様である。なお、動画像復号プログラム１７０は、上述した制御部１５８に相当する機能をコンピュータ１１０に実現させる制御モジュール１８４を更に有することもできる。

以下、本実施形態にかかる動画像符号化装置１０及び動画像復号装置１４０の作用及び効果を説明する。動画像符号化装置１０では、再生画像又はフレームメモリ２０に既に格納されている参照画像の一方の第１の画像に、当該再生画像又は当該参照画像の他方の第２の画像が重み付け加算されることによって、更新画像が生成される。この更新画像は、異なる対象画像の予測画像を生成するための参照画像として用いられる。したがって、加算に基づく平均化によってノイズが削減された参照画像が用いられるので、符号化による動画像のデータ量が削減され、符号化効率が向上される。更に、動画像符号化装置１０では、再生画像と参照画像とが平均化された更新画像が生成されるので、再生画像又は参照画像にはない、画像のディテールを更新画像に反映させることができる。したがって、符号化による動画像のデータ量が更に削減される。

また、動画像復号装置１４０によれば、動画像符号化装置１０によって生成されたビットストリームから動画像を忠実に復元することができる。

また、動画像符号化装置１０及び動画像復号装置１４０では、上述したように動画像におけるシーンの変化に基づいて、動画像の符号化効率を高めるために有効な場合にのみ、更新画像を生成することができる。この場合には、上述したように、更新画像を生成するか否かに関する指示を、最小限必要なビットで表すことが可能な更新制御信号を用いることができる。

また、動画像復号装置１４０では、画像更新部が、第１の画像に対する第２の画像のずれを示す動き量を求めることによって、更新画像を生成するので、更新画像を生成するための動き量（動きベクトル）を動画像符号化装置１０が動画像復号装置１４０に送信する必要がない。したがって、動画像符号化装置１０が送信すべきビットストリームのデータ量が更に削減される。

また、動画像符号化装置１０及び動画像復号装置１４０では、順方向予測の場合に、画像を並べ替えることなく、平滑化が実現されて、参照画像の雑音が低減される。

なお、本発明は、本実施の形態に開示された特定の構成に限定されるものではない。例えば、動画像符号化装置１０及び動画像復号装置１４０では、フレームメモリに格納されており予測画像を生成するために参照される画像を参照画像としているが、予測画像の生成には用いられなくとも上述した画像更新に用いられる画像を参照画像としてもよい。この参照画像は、動画像符号化装置１０及び動画像復号装置１４０の上述したフレームメモリに格納されてもよく、当該フレームメモリと異なるフレームメモリに格納されてもよい。また、当該参照画像は、上述した符号化差分信号に基づくデータを含むビットストリームとは異なるファイル、又はビットストリームとして伝送されてもよい。

また、動画像符号化装置１０及び動画像復号装置１４０では、フレームメモリに格納されている参照画像と再生画像とを用いて画像更新が行われているが、フレームメモリに格納されている画像同士で画像更新が行われてもよい。すなわち、動画像符号化装置１０及び動画像復号装置１４０では、再生画像がフレームメモリに格納される前に画像更新が行われているが、再生画像をフレームメモリに参照画像として格納した後に、当該参照画像と、当該参照画像とは異なる参照画像とを用いて画像更新処理が行われてもよい。

ところで、上記の実施形態では、動画像符号化装置１０及び動画像復号装置１４０のフレームメモリに格納されている画像を更新するには、再生画像または該フレームメモリに格納されている別の画像を用いて行われると説明したが、復号差分画像を用いてフレームメモリに格納されている画像を更新してもよく、かかる変形例について図１４から図１６を用いて詳細に説明する。

図１４は本発明に係る動画像符号化装置の変形を示す構成図である。基本的な構成と機能は図１と同じであるが、画像更新部３２において再生画像生成部３０からの再生画像とフレームメモリ２０からの参照画像に加えて、復号部２８からの出力である復号差分画像がラインＬ２６ｂ経由で入力される。画像更新部３２は、復号差分画像を第１の画像とし、参照画像を第２の画像とし、第１の画像と第２の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、フレームメモリ２０に格納され異なる対象画像に対する符号化に用いられる。画像の更新は、図２にて説明したように動き補償を伴うため、動き情報が必要となる。本実施の形態では、動き情報は図１４の予測画像生成部１６より提供される。画像更新部３２については図１５を用いて詳細を説明する。なお、重み付け加算では、重みが負の値をとることもあり、その場合引き算処理になる。

図１５は、図１４の動画像符号化装置に対する動画像復号装置の構成を示す図である。図１５に示す動画像復号装置１４０は、図１４の動画像符号化装置１０によって生成されたビットストリームから動画像を再生可能な装置である。基本的な構成と機能は図１１と同じであるが、画像更新部１５５６は、ラインＬ１５５４経由で入力される再生画像及びラインＬ１５５６経由で入力される参照画像に加えて、復号部１５４６からの出力である復号差分画像がラインＬ１５６０経由で入力される。画像更新部１５５６は、復号差分画像（ラインＬ１５６０経由）を第１の画像とし、参照画像（ラインＬ１５５６経由）を第２の画像とし、第１の画像と第２の画像とを重み付け加算することによって、更新画像を生成する。この更新画像は、フレームメモリ１５５０に格納され次の復号処理に用いられる。

具体的には、ラインＬ１５６０経由で入力される復号差分画像に対し、動き補償部１５６４にてラインＬ１５４３経由で可変長復号部１５４４から送られた動き情報をもとに、動き補償処理が施される。その結果はラインＬ１５６２経由で重み付け加算部１５６６に送られ、フレームメモリ１５５０から送られた参照画像と重み付け加算される。本実施の形態では、動き補償部１５６４の出力に負の重みを付け、参照画像と加算される。重み付け加算部１５６６の出力はスイッチ１５６８経由でフレームメモリ１５５０に戻される。一方、再生画像生成部１５５２からの再生画像もスイッチ１５６８経由でフレームメモリ１５５０に格納される。このように、フレームメモリに格納される参照画像は復号差分画像をもとに更新されることになる。

図１６は、図１４の動画像符号化装置に対する動画像復号装置の別の構成を示す図である。図１６に示すように、動画像復号装置１４０は、機能的に、入力端子１６４２と、可変長復号部１６４４と、復号部（復号手段）１６４６と、動き補償部（予測画像生成手段）１６４８と、フレームメモリ（格納手段）１６５０と、再生画像生成部（再生画像生成手段）１６５２と、出力端子１６５４と、画像更新部（画像更新手段）１６５６とを備える。

入力端子１６４２には、図１４の動画像符号化装置１０によって生成されたビットストリームが入力される。入力端子１６４２は可変長復号部１６４４に当該ビットストリームを出力する。可変長復号部１６４４は、ラインＬ１６４０経由で出力されるビットストリームを受け、当該ビットストリームに含まれる符号化データを可変長復号することによって、動きベクトル及び符号化差分信号を復元する。

復号部１６４６は、逆量子化部１６６０と逆変換部１６６２とを有し、ラインＬ１６４２経由で符号化差分信号を受け、当該符号化差分信号から復号差分画像を生成する。

画像更新部１６５６は、ラインＬ１６６０経由で出力される復号差分画像及びラインＬ１６５６経由で出力される参照画像を受ける。画像更新部１６５６は、復号差分画像を第１の画像とし、参照画像を第２の画像とし、第１の画像と第２の画像とを重み付け加算することによって、更新画像を生成する。具体的には、ラインＬ１６６０経由で入力される復号差分画像に対し、動き補償部１６６６にてラインＬ１６４４経由で送られた動き情報をもとに、動き補償処理が施される。その結果はラインＬ１６６２経由で重み付け加算部１６６４に送られ、フレームメモリ１６５０から送られた参照画像と重み付け加算される。本実施の形態では、動き補償部１６６６の出力に負の重みを付け、参照画像と加算する。重み付け加算部１６６４の出力である更新画像は、ラインＬ１６５８経由でフレームメモリ１６５０に格納されると同時に、次に説明する動き補償部にて用いられる。

動き補償部１６４８は、ラインＬ１６４４経由で出力される動きベクトルと、ラインＬ１６４６経由で出力されるフレームメモリ１６５０に格納された参照画像とを用いて、予測画像を生成する。ここで、フレームメモリ１６５０には、動画像を構成する画像のうち、復号の対象である対象画像よりも先に生成された再生画像に基づく画像や、画像更新部１６５６からの更新画像が参照画像として格納されている。

再生画像生成部１６５２は、ラインＬ１６４８経由で復号部１６４６から出力される復号差分画像と、ラインＬ１６５０経由で動き補償部１６４８から出力される予測画像とを加算することによって再生画像を生成する。この再生画像は出力端子１６５４に、ラインＬ１６５２経由で出力されると同時にフレームメモリ１６５０に格納される。

このように復号差分画像を用いて参照画像を更新することによって、量子化による歪みが参照画像と再生画像とに一様に分散されてしまう効果があり、より効率的に符号化することができる。

なお、本実施の形態では復号差分画像を直接に画像更新部に入力したが、復号差分画像をフレームメモリに格納しておき、フレームメモリから復号差分画像を読み出し、画像更新に用いてもよい。

また、画像更新部の機能が動作する状態と動作しない状態を切り替えて符号化・復号処理を行ってもよい。例えば、図１６において動き補償部１６４８と再生画像生成部１６５２が動作しないときに画像更新部１６５６が動作し、逆に動き補償部１６４８と再生画像生成部１６５２が動作するときに画像更新部１６５６は動作しないように制御してもよい。

以下、コンピュータを図１５又は図１６の動画像復号装置１４０として動作させる動画像復号プログラムについて説明する。図１７は、上記の動画像復号プログラム１９０の構成を、記録媒体と共に示す図である。

図１７に示すように、動画像復号プログラム１９０は、記録媒体１００に格納され提供される。記録媒体１００としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体あるいは半導体メモリ等が例示される。

動画像復号プログラム１９０が、図９及び図１０に示すコンピュータ１１０の読取装置１１２に挿入されると、コンピュータ１１０は、記録媒体１００に格納された動画像復号プログラム１９０にアクセス可能となる。当該動画像復号プログラム１９０によって、コンピュータ１１０は、動画像復号装置１４０として動作することが可能となる。なお、図１０に示すように、動画像復号プログラム１９０は、搬送波に重畳されたコンピュータデータ信号１３０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ１１０は、通信装置１２４によって受信した動画像復号プログラム１９０をメモリ１１６に格納し、当該動画像復号プログラム１９０を実行することができる。

図１７に示すように、図１５の動画像復号装置１４０として動作させる動画像復号プログラムと、図１６の動画像復号装置１４０として動作させる動画像復号プログラムとで共通の構成として、動画像復号プログラム１９０は、処理を統括するメインモジュール１９１と、可変長復号モジュール１９２と、復号モジュール１９５と、予測画像生成モジュール１９６と、格納モジュール１９７と、再生画像生成モジュール１９８と、画像更新モジュール１９９とを備えている。また、復号モジュール１９５は、逆量子化サブモジュール１９３と、逆変換サブモジュール１９４とを有する。

図１５の動画像復号装置１４０として動作させる動画像復号プログラムについては、可変長復号モジュール１９２、復号モジュール１９５、予測画像生成モジュール１９６、格納モジュール１９７、再生画像生成モジュール１９８、及び画像更新モジュール１９９がコンピュータに実現させる機能はそれぞれ、上述した可変長復号部１５４４、復号部１５４６、動き補償部１５４８、フレームメモリ１５５０、再生画像生成部１５５２、及び画像更新部１５５６のうち、対応の要素と同様である。

また、図１６の動画像復号装置１４０として動作させる動画像復号プログラムについては、可変長復号モジュール１９２、復号モジュール１９５、予測画像生成モジュール１９６、格納モジュール１９７、再生画像生成モジュール１９８、及び画像更新モジュール１９９がコンピュータに実現させる機能はそれぞれ、上述した可変長復号部１６４４、復号部１６４６、動き補償部１６４８、フレームメモリ１６５０、再生画像生成部１６５２、及び画像更新部１６５６のうち、対応の要素と同様である。

なお、コンピュータを図１４の動画像符号化装置１０として動作させる動画像符号化プログラムの構成については、先述した図８の構成と同様である。

また、動画像符号化装置１０及び動画像復号装置１４０では、更新画像が参照画像として用いられるが、これに限らず、当該更新画像は表示装置に出力されてもよい。

以上、好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置および詳細において変更され得ることができることは、当業者によって認識される。本発明は、本実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。

図１は、本発明の実施の形態に係る動画像符号化装置の構成を示す図である。 図２は、画像更新部の一実施形態の構成を示す図である。 図３は、順方向予測を用いた場合の画像更新の概念を説明するための図である。 図４は、双方向予測を用いた場合の画像更新の概念を説明するための図である。 図５は、本発明の実施の形態に係る動画像符号化方法を示すフローチャートである。 図６は、更新画像生成に関するフローチャートである。 図７は、更新画像の生成の詳細に関するフローチャートである。 図８は、本発明の実施の形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。 図９は、記録媒体に記憶されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。 図１０は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。 図１１は、本発明の実施の形態に係る動画像復号装置の構成を示す図である。 図１２は、本発明の実施の形態に係る動画像復号方法を示すフローチャートである。 図１３は、本発明の実施の形態に係る動画像復号プログラムの構成を、記録媒体と共に示す図である。 図１４は、本発明の実施の形態に係る動画像符号化装置の構成の変形例を示す図である。 図１５は、本発明の実施の形態に係る動画像復号装置の構成の第１変形例を示す図である。 図１６は、本発明の実施の形態に係る動画像復号装置の構成の第２変形例を示す図である。 図１７は、本発明の実施の形態に係る動画像復号プログラムの構成の変形例を、記録媒体と共に示す図である。

符号の説明

１０…動画像符号化装置、１２…入力端子、１４…前処理部、１６…予測画像生成部、１８…差分画像生成部、２０…フレームメモリ、２２…符号化部、２４…可変長符号化部、２６…出力端子、２８…復号部、３０…再生画像生成部、３２…画像更新部。

Claims (23)

1. 動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
   前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
   前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
   前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
   前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
   予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
   前記再生画像又は前記格納手段に格納された参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
   を備え、
   前記画像更新手段は、前記更新画像を前記格納手段に格納し、
   前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
   動画像符号化装置。
2. 動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
   前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
   前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
   前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
   前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
   予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
   前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
   を備え、
   前記画像更新手段は、前記更新画像を前記格納手段に格納し、
   前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
   動画像符号化装置。
3. 前記画像更新手段は、前記第１の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第２の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納する、請求項１に記載の動画像符号化装置。
4. 前記画像更新手段は、前記第１の画像として、前記格納手段に格納された前記参照画像を用い、前記第２の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、前記更新画像として前記格納手段に格納する、請求項１に記載の動画像符号化装置。
5. 前記画像更新手段は、前記第１の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第２の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納し、更に、前記第１の画像として、前記格納手段に格納された前記参照画像を用い、前記第２の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を前記更新画像として前記格納手段に格納し、
   前記予測画像生成手段は、前記再生画像、前記更新再生画像、前記参照画像、及び前記更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いる、請求項１に記載の動画像符号化装置。
6. 前記画像更新手段は、前記第１の画像に対する前記第２の画像のずれを特定する動き量を求め、該動き量に基づいて移動させた対応の位置において前記第２の画像の少なくとも一部を前記第１の画像に重み付け加算することによって、前記更新画像を生成する、請求項１に記載の動画像符号化装置。
7. 予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、
   差分画像生成手段が、前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、
   符号化手段が、前記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、
   復号手段が、前記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
   再生画像生成手段が、前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、
   格納手段が、予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、
   画像更新手段が、前記再生画像又は前記格納手段に格納された参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
   を含み、
   前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
   前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
   動画像符号化方法。
8. コンピュータを、
   動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
   前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
   前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
   前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
   前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
   予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
   前記再生画像又は前記格納手段に格納された参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
   前記画像更新手段は、前記更新画像を前記格納手段に格納し、
   前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
   動画像符号化プログラム。
9. 予測画像生成手段が、動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成ステップと、
   差分画像生成手段が、前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成ステップと、
   符号化手段が、前記差分画像を符号化することによって、符号化差分信号を生成する符号化ステップと、
   復号手段が、前記符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
   再生画像生成手段が、前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成ステップと、
   格納手段が、予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納ステップと、
   画像更新手段が、前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
   を含み、
   前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
   前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
   動画像符号化方法。
10. コンピュータを、
    動画像を構成する複数の画像から、符号化の対象となる対象画像に対する予測画像を生成する予測画像生成手段と、
    前記対象画像と前記予測画像との差演算を実行することによって、差分画像を生成する差分画像生成手段と、
    前記差分画像を符号化することによって、符号化差分信号を生成する符号化手段と、
    前記符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
    前記復号差分画像と前記予測画像との和演算を実行することによって、再生画像を生成する再生画像生成手段と、
    予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納するための格納手段と、
    前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
    前記画像更新手段は、前記更新画像を前記格納手段に格納し、
    前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
    動画像符号化プログラム。
11. 動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
    前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
    前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
    前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
    前記再生画像又は前記格納手段に格納されていた参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
    を備え、
    前記画像更新手段は、前記更新画像を前記格納手段に格納し、
    前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
    動画像復号装置。
12. 動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
    前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
    前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
    前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
    前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段と、
    を備え、
    前記画像更新手段は、前記更新画像を前記格納手段に格納し、
    前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
    動画像復号装置。
13. 前記画像更新手段は、前記第１の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第２の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納する、請求項１１に記載の動画像復号装置。
14. 前記画像更新手段は、前記第１の画像として、前記格納手段に格納された前記参照画像を用い、前記第２の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を、前記更新画像として前記格納手段に格納する、請求項１１に記載の動画像復号装置。
15. 前記画像更新手段は、前記第１の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第２の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納し、更に、前記第１の画像として、前記格納手段に格納された前記参照画像を用い、前記第２の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を前記格納手段に格納し、
    前記予測画像生成手段は、前記再生画像、前記更新再生画像、前記参照画像、前記更新参照画像のうち少なくとも一つを、異なる対象画像に対する予測画像を生成するための参照画像として用いる、請求項１１に記載の動画像復号装置。
16. 前記符号化差分信号は、第１の状態、第２の状態、第３の状態、及び第４の状態の少なくとも一つを指示する更新制御信号を含んでおり、
    前記画像更新手段は、前記更新制御信号によって前記第１の状態が指示される場合に、前記更新再生画像を生成し、前記更新制御信号によって前記第２の状態が指示される場合に、前記更新参照画像を生成し、前記更新制御信号によって前記第３の状態が指示される場合に、前記更新再生画像と前記更新参照画像とを生成し、前記更新制御信号によって前記第４の状態が指示される場合に、前記更新再生画像と前記更新参照画像とを生成しない、
    請求項１５に記載の動画像復号装置。
17. 前記画像更新手段は、前記第１の画像に対する前記第２の画像のずれを示す動き量を求め、該動き量に基づいて移動させた対応の位置において前記第２の画像の少なくとも一部を前記第１の画像に重み付け加算することによって、前記更新画像を生成する、請求項１１に記載の動画像復号装置。
18. 復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
    予測画像生成手段が、前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、
    再生画像生成手段が、前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、
    格納手段が、前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、
    画像更新手段が、前記再生画像又は前記格納手段に格納されていた参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
    を含み、
    前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
    前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
    動画像復号方法。
19. コンピュータを、
    動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
    前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
    前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
    前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
    前記再生画像又は前記格納手段に格納されていた参照画像の一方である第１の画像と、該再生画像又は該参照画像の他方である第２の画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
    前記画像更新手段は、前記更新画像を前記格納手段に格納し、
    前記予測画像生成手段は、前記格納手段に格納された更新画像を、異なる対象画像に対する予測画像を生成するための参照画像として用いる、
    動画像復号プログラム。
20. 復号手段が、動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号ステップと、
    予測画像生成手段が、前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成ステップと、
    再生画像生成手段が、前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成ステップと、
    格納手段が、前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納ステップと、
    画像更新手段が、前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新ステップと、
    を含み、
    前記画像更新ステップにおいて、前記画像更新手段が、前記更新画像を前記格納手段に格納し、
    前記予測画像生成ステップにおいて、前記予測画像生成手段が、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
    動画像復号方法。
21. コンピュータを、
    動画像が予測符号化されてなる符号化差分信号を復号することによって、復号差分画像を生成する復号手段と、
    前記符号化差分信号に基づいて、復号対象の対象画像に対する予測画像を生成する予測画像生成手段と、
    前記復号差分画像と前記予測画像を加算することによって再生画像を生成する再生画像生成手段と、
    前記予測画像を生成するために前記予測画像生成手段によって用いられる参照画像を格納する格納手段と、
    前記格納手段に格納された参照画像を第１の画像とし、前記格納手段に格納され前記第１の画像と異なる参照画像又は前記復号差分画像を第２の画像とし、前記第１の画像と前記第２画像の少なくとも一部とを重み付け加算することによって、更新画像を生成する画像更新手段として機能させ、
    前記画像更新手段は、前記更新画像を前記格納手段に格納し、
    前記予測画像生成手段は、前記格納手段に格納された更新画像を、予測画像を生成するための参照画像として用いる、
    動画像復号プログラム。
22. 前記画像更新手段は、
    前記第１の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第２の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納する更新再生画像生成手段と、
    前記第１の画像として、前記格納手段に格納された前記参照画像を用い、前記第２の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を前記更新画像として前記格納手段に格納する更新参照画像生成手段と、
    を備える、請求項１に記載の動画像符号化装置。
23. 前記画像更新手段は、
    前記第１の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、前記第２の画像として、前記格納手段に格納された前記参照画像を用い、該再生画像と該参照画像の少なくとも一部とを重み付け加算することによって生成する更新再生画像を、前記更新画像として前記格納手段に格納する更新再生画像生成手段と、
    前記第１の画像として、前記格納手段に格納された前記参照画像を用い、前記第２の画像として、前記再生画像生成手段によって生成される前記再生画像を用い、該参照画像と該再生画像の少なくとも一部とを重み付け加算することによって生成する更新参照画像を前記格納手段に格納する更新参照画像生成手段と、
    を備える、請求項１１に記載の動画像復号装置。

Images