JP2005080301A - 動画像符号化方法および動画像復号化方法 - Google Patents

Abstract

【課題】 低ビットレートであっても、フィルムグレインや高周波成分が多い部分等を甦らせて再現性を向上させることができる動画像符号化方法および動画像復号化方法を提供する。
【解決手段】 動画像符号化装置１００は、入力画像を符号化して符号列を生成する符号化部１１０と、少なくとも１つのマクロブロックのフィルムグレイン成分を選択して代表パターンとし、この代表パターンを符号化するフィルムグレイン符号化部１３０とを備える。一方、動画像復号化装置２００は、符号列を復号化して復号化画像データを生成する復号化部２１０と、代表パターンおよび付加情報に基づいて重畳パターンを生成するフィルムグレイン生成部２３０と、復号化画像データと重畳パターンとを合成する合成部２４０とを備える。
【選択図】 図１

Description

本発明は、動画像を構成する各ピクチャをブロック単位で符号化する動画像符号化方法、および符号化された符号列を復号化する動画像復号化方法に関する。

フィルム動画像は、フィルムの写真乳剤の中に分散されているハロゲン化銀結晶により構成されている。写真フィルムに記録される各画像は、ハロゲン化銀結晶を感光させて現像することによって生成される。カラー画像では、現像の後に銀は化学的に除去される。しかし、銀結晶の構造は、現像後も小さな色素の粒子として残る。銀結晶は乳剤の中で不規則な形をしているため、その粒子は画像の中でも不規則に形成され散らばっている。認知できる粒子構造のことをフィルムグレイン（フィルム粒子）といい、例えば図２７に示すような粒子構造である。

動画像再生を見ている人は、０．００２ｍｍからその１０分の１程度の大きさの粒子ひとつひとつには気がつかない。しかし、粒子のかたまりは認知し、それがフィルムグレインだと確認できる。

生成された画像の解像度を上げると、それにつれてフィルムグレインの認知度も上がる。特に、映画再生や高解像度ビデオ画像においては、フィルムグレインははっきりと認知できる。一方、標準的なテレビ画像やもっと小さいテレビ表示形式においては、フィルムグレインはあまり目立たない。

ところで、動画像を用いたアプリケーションへは、テレビ電話通信やテレビ会議からＤＶＤ（Digital Versatile Disk）やデジタルテレビに至るまで、どんどん増えてきている。動画像を送信したり記録したりする際、大量のデータを周波数帯域の限られた従来の伝送チャネルを通じて送信したり、データ容量の限られた従来の記憶メディアに保存したりしなくてはならない。デジタルデータを従来のチャネルやメディアで送信したり保存したりするには、デジタルデータの圧縮は必要不可欠である。

動画像データを圧縮するために、多くの動画像符号化規格が開発されている。例えば、Ｈ．２６ｘと呼ばれるＩＴＵ‐Ｔ（国際電気通信連合 電気通信標準化部門）規格、ＭＰＥＧ‐ｘと呼ばれるＩＳＯ（国際標準化機構）／ＩＥＣ（国際電気標準会議）規格などがある。最新かつ先進のビデオ符号化規格は、Ｈ．２６４もしくはＭＰＥＧ‐４ ＡＶＣと呼ばれるものである。

こういった規格の基礎となる符号化のアプローチは主に以下のような段階を踏んで行われる。まず、動画像を構成するピクチャがいくつかの画素の固まりであるブロック単位でデータ圧縮されるように、各ピクチャをブロックに分割する。次に、動画像データの各ブロックを空間領域から周波数領域へと変換し、得られた変換係数を量子化し、量子化された変換係数をエントロピー符号化することによって、ピクチャの空間的な冗長性を減少させる。さらに、他のピクチャのブロックとの時間的相関性を利用して、他のピクチャとの変化量だけを符号化する。これは、動き検出・補償の技術を使って行われる。

様々な動画像圧縮技術の中でも最も効果的なものとして、いわゆるハイブリッド符号化技術が知られている。ハイブリッド符号化技術は、時間的・空間的圧縮技術を統計的符号化と結びつけたものである。ここでは、動き補償、離散コサイン変換（ＤＣＴ）、ＤＣＴ係数の量子化、可変長符号化（ＶＬＣ）といった技術を使用する。動き補償は、対象ピクチャと符号化済みピクチャとの間の画像の動きを決定し、決定した動きから対象ピクチャを予測して、対象ピクチャとその予測ピクチャとの差異を表す差分画像を生成するものである。

このような動画像圧縮において、ビットレートを下げて符号化を行うと、フィルムグレインが削除されてしまい、フィルムグレインによる映画独特の質感が失われるという問題がある。一般に動画像圧縮では情報量削減のために画像の高域成分を除去するが、フィルムグレインは高精細成分であり高域成分信号であるため、圧縮処理によって除去されてしまう。

そこで、フィルムグレイン情報を画像内容とは別に処理するひとつの方法として、フィルムグレイン情報をビデオシーケンスから取り除き、所定のフィルムグレインモデルに基づきフィルムグレイン情報をパラメータ化し、統計的フィルムグレインパラメータを送信して符号化動画像データに追加することが考えられる。フィルムグレインパラメータは、ＭＰＥＧ−４ ＡＶＣ方式ではＳＥＩ（Supplemental Enhancement Information）の形で送信することができる。現在の動画像符号化規格のＳＥＩモードでは、符号化ピクチャ内での表示能力を提供するために、送信するビットストリームの追加情報を含ませている。現在では、ＳＥＩ情報は、ピクチャフリーズ、ピクチャスナップショット、ビデオ分割、プログレッシブリファインメント、キー入力を提供している。これらのオプションは、サポート機能を備えたデコーダと、ビットストリーム内での機能性の提供を目的としている。

図２８は、フィルムグレインパラメータ送信の概要を示すブロック図である。符号化装置７００に入力された動画像データは、フィルムグレイン除去フィルタ７０１に送られ、フィルムグレインが動画像データから取り除かれる。フィルムグレインが取り除かれた動画像データは、符号化部７０２によって標準的な動画像符号化プロセスを施される。符号化動画像データは符号列（符号化ビデオストリーム）として、対応する復号化装置８００に送信される。

ここでは、フィルムグレイン除去フィルタ７０１は、動き補償された時間的メディアンフィルタによって実現される。フィルムグレインは不規則な構造をしているため、動きがない限り時間的メディアンフィルタを使って画像シーケンスから簡単に取り除くことができる。画像内容に動きを含むビデオシーケンスの場合はさらに高度なアプローチが必要である。そのため、動き補償した時間的メディアンフィルタは、ピクチャからピクチャへと動きを追って、それぞれの画像内容をフィルタリングし、フィルムグレインを取り除く。

フィルムグレイン情報が取り除かれた動画像データは既存の動画像符号化規格のいずれかに従って符号化されるが、フィルムグレイン情報はフィルムグレインパラメータ化部７０３に送られて、統計的モデルに従ってフィルムグレインがパラメータ化される。

このフィルムグレインのパラメータ化では、元の信号フォーマットによってカラー変換及び／または画素補間を伴うことも可能である。典型的な例として、フィルムグレインはＲＧＢカラー空間でモデル化され、写真フィルムのカラー構成を近似する。あるいは、モノクロフィルムグレインはＹＵＶカラー空間におけるY成分（輝度成分）に加えることができる。

フィルムグレインをパラメータ化する簡単な方法は、フィルムグレインを画像信号に加えられたガウス形ノイズとして処理することである。より高い忠実度のフィルタ粒子パラメータ化モデルでは、各カラー成分及び／または粒子レベルセットごとに異なるパラメータを送信する必要がある。

その結果得られたフィルムグレインパラメータは、ＳＥＩメッセージの形でビデオストリームに含められて送信される。
符号化動画像データおよびフィルムグレインパラメータを含むＳＥＩメッセージは復号化装置８００に送信される。復号化装置８００は符号化動画像データを復号化する復号化部８０１と、フィルムグレインシミュレータ部８０２を備える。フィルムグレインシミュレータ部８０２は、受信したフィルムグレインパラメータに従ってフィルムグレインを生成し、生成したフィルムグレインを復号化した動画像データに加える。このようにして、フィルムグレインを重畳した動画像データを再生することができる。

フィルムグレインシミュレーションは、完全に復号化装置８００側で行われる。フィルムグレインシミュレーションは、特定の未使用フィルム上でフィルムグレインを再生するための所定のモデルに依存している。あるいは、フィルムグレインシミュレーションは、構成可能なモデルのパラメータ化によって行われる。そして、フィルムグレインシミュレーションは、動画像データを復号化した後、動画像データを表示する前に行われる。

この方法の欠点は、それぞれのパラメータを得るためには、フィルムグレイン情報を公知の統計的フィルムグレインモデルに従って標準化しなくてはならないことである。従って、標準的な統計的フィルムグレインモデルにあてはまるフィルムグレインだけしか、正しい復号化および再生ができるように適切に符号化して送信することができない。

このような従来のフィルムグレイン除去方法では、特に、動き補償フィルタリングが原因で、高度な計算と複雑なハードウェアが必要である。
また、別の方法として、動画像を符号化する際に、画像中に含まれるノイズ量を検出し、そのノイズ量を示すフラグを符号化して伝送し、ビットストリームを復号化した後にフラグに従ってホワイトノイズを付加する動画像符号化方法および動画像復号化方法が提案されている（例えば、特許文献１参照）。
特開平８−７９７６５号公報

しかしながら、この動画像符号化方法および動画像復号化方法では、プリフィルタで削除されたノイズ量を示すフラグに従って一律にホワイトノイズを付加しているだけであり、画像の再現性が低いという問題がある。

また、例えば、木々の緑のように高周波成分が多い部分を有する細かい画像をビットレートを下げて符号化すると、フィルムグレインと同様に高周波成分が削除されてしまい、細かい部分が再現できないという問題がある。

そこで、本発明は上記の事情に鑑みてなされたものであり、低ビットレートであっても、フィルムグレインや高周波成分が多い部分等を甦らせて再現性を向上させることができる動画像符号化方法および動画像復号化方法を提供することを目的とする。

上記目的を達成するために、本発明に係る動画像符号化方法は、動画像を構成する各ピクチャをブロック単位で符号化する動画像符号化方法であって、符号化対象ピクチャを符号化する第１符号化ステップと、前記符号化対象ピクチャから高精細成分を抽出する抽出ステップと、前記抽出ステップにより抽出された前記高精細成分から少なくとも１ブロック分の前記高精細成分を選択する選択ステップとを含むことを特徴とする。

ここで、前記動画像符号化方法は、さらに、前記選択ステップにより選択された少なくとも１ブロック分の前記高精細成分を符号化する第２符号化ステップを含むことが好ましい。

また、本発明に係る動画像復号化方法は、動画像を構成する各ピクチャがブロック単位で符号化された符号列を復号化する動画像復号化方法であって、前記符号列を復号化して復号化画像データを生成する第１復号化ステップと、少なくとも１ブロック分の高精細成分を取得する取得ステップと、前記取得ステップにより取得された少なくとも１ブロック分の前記高精細成分を前記復号化画像データに重畳する重畳ステップとを含むことを特徴とする。

なお、ここで高精細成分には、フィルムグレイン成分が含まれる。
これによって、入力画像を低ビットレートで符号化した場合あっても、高精細成分を甦らせて再現性を向上することができる。また、低ビットレートで送った符号列を後から高画質化することができる。

さらに、本発明は、このような動画像符号化方法および動画像復号化方法として実現することができるだけでなく、このような動画像符号化方法および動画像復号化方法が含む特徴的なステップを手段として備える動画像符号化装置および動画像復号化装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

以上の説明から明らかなように、本発明に係る動画像符号化方法および動画像復号化方法によれば、入力画像を低ビットレートで符号化した場合あっても、高精細成分を甦らせて再現性を向上することができる。また、低ビットレートで送った符号列を後から高画質化することができる。

本発明の実施の形態について、図面を参照して説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る動画像符号化方法および動画像復号化方法を用いた動画像符号化装置および動画像復号化装置の全体構成を示すブロック図である。

動画像符号化装置１００は、フィルムグレインを主画像とは別に符号化するための装置であり、図１に示すように符号化部１１０およびフィルムグレイン符号化部１３０を備えている。一方、動画像復号化装置２００は、フィルムグレインを復号化画像に重畳するための装置であり、図１に示すように復号化部２１０、フィルムグレイン生成部２３０、および合成部２４０を備えている。

まず、動画像符号化装置１００について説明する。
図２は、動画像符号化装置１００の符号化部１１０の構成を示すブロック図である。
符号化部１１０は、図２に示すように制御部１１１、予測残差符号化部１１２、可変長符号化部１１３、予測残差復号化部１１４、ピクチャメモリ１１５、動きベクトル検出部１１６、動き補償符号化部１１７、差分演算部１１８、加算演算部１１９、およびスイッチ１２０を備えている。

動きベクトル検出部１１６は、符号化済みの復号化画像データを参照ピクチャとして用いて、そのピクチャ内の探索領域において、入力された画像に最も近い画像領域の位置への動き量を示す動きベクトルの検出を行う。

動き補償符号化部１１７は、動きベクトル検出部１１６で検出された動きベクトルを用いてブロックの符号化モードを決定し、この符号化モードに基づいて予測画像データを生成する。この符号化モードとは、マクロブロックをどのような方法で符号化するかを示すものである。

差分演算部１１８は、入力された入力画像データと、動き補償符号化部１１７より入力された予測画像データとの差分を演算し、予測残差画像データを生成する。
予測残差符号化部１１２は、入力された予測残差画像データに対して例えば離散コサイン変換（ＤＣＴ）等の周波数変換や量子化等の符号化処理を行い、符号化データを生成する。可変長符号化部１１３は、入力された符号化データに対して可変長符号化等を行い、さらに動き補償符号化部１１７から入力された動きベクトルの情報、および符号化モードの情報等を付加することにより符号列を生成する。

制御部１１１は、予測残差符号化部１１２で行われる量子化におけるパラメータ、スイッチ１２０等を制御する。
予測残差復号化部１１４は、入力された符号化データに対して逆量子化や逆周波数変換等の復号化処理を行い、復号化差分画像データを生成する。加算演算部１１９は、予測残差復号化部１１４より入力された復号化差分画像データと、動き補償符号化部１１７より入力された予測画像データとを加算し、復号化画像データを生成する。ピクチャメモリ１１５は、生成された復号化画像データを格納する。

図３は、動画像符号化装置１００のフィルムグレイン符号化部１３０の構成を示すブロック図である。
フィルムグレイン符号化部１３０は、図３に示すように抽出部１３１、選択部１３２、および可変長符号化部１３３を備えている。

抽出部１３１は、入力された入力画像データと、加算演算部１１９より入力された復号化画像データとの差分を演算し、フィルムグレイン成分を抽出する。
選択部１３２は、抽出部１３１によって抽出された符号化対象ピクチャのフィルムグレイン成分を例えば１６×１６画素のマクロブロックに分割し、少なくとも１つのマクロブロックのフィルムグレイン成分を選択して代表パターンとして出力する。以下、この選択部１３２の構成について、３つの構成例を説明する。

図４（ａ）は、フィルムグレイン符号化部１３０の選択部１３２の第１の構成例を示すブロック図である。
選択部１３２は、ブロック分割部１３２１、分散計算部１３２２、ヒストグラム生成部１３２３、およびブロック選択部１３２４を備えている。

ブロック分割部１３２１は、抽出部１３１によって抽出された符号化対象ピクチャのフィルムグレイン成分を、例えば１６×１６画素のマクロブロックに分割する。
分散計算部１３２２は、ブロック分割部１３２１で分割されたマクロブロック毎の分散値、すなわちマクロブロックを構成する各画素の画素値の分散値を算出する。この分散値は、例えば次式を用いて算出できる。

ここで、Ｎはマクロブロックを構成する画素数、ｘは各画素の画素値である。
ヒストグラム生成部１３２３は、分散計算部１３２２で算出された分散値のヒストグラムを例えば図４（ｂ）に示すように生成し、ヒストグラムの頻度がピークとなる分散値を有しているマクロブロックがどれであるかをブロック選択部１３２４へ通知する。なお、ヒストグラムの頻度がピークとなる分散値を有しているマクロブロックは複数存在することになるので、ブロック選択部１３２４へ通知するマクロブロックは複数となる。

ブロック選択部１３２４は、ヒストグラム生成部１３２３から通知されたマクロブロックの中からいずれか１つのマクロブロックを選択し、そのマクロブロックのフィルムグレイン成分を代表パターンとして出力する。ここで、選択するマクロブロックは、ブロック選択部１３２４から通知されたマクロブロックの中のいずれであっても構わない。

また、ブロック選択部１３２４は、さらに付加情報として、出力するフィルムグレイン成分に対する、重畳時における許可パターンまたは禁止パターンを指定する。この許可パターンまたは禁止パターンの指定は、ピクチャ毎、またはフィルムグレイン成分毎に行う。この許可パターンまたは禁止パターンについては、後述する動画像復号化装置の構成で詳しく説明する。

なお、ヒストグラム生成部１３２３は、例えば図４（ｃ）に示すように生成したヒストグラムで頻度がピークとなる分散値が２つ存在するような場合には、２つの分散値を有しているマクロブロックがどれであるかをブロック選択部１３２４へ通知する。そして、ブロック選択部１３２４は、それぞれの分散値を有しているマクロブロックの中からそれぞれ１つのマクロブロック（合計２つのマクロブロック）を選択し、そのマクロブロックのフィルムグレイン成分を代表パターンとして出力する。

図５は、フィルムグレイン符号化部１３０の選択部１３２の第２の構成例を示すブロック図である。
選択部１３２は、ブロック分割部１３２１、分散計算部１３２２、およびブロック選択部１３２５を備えている。なお、ブロック分割部１３２１および分散計算部１３２２は、図４（ａ）に示した場合と同様である。

ブロック選択部１３２５は、あらかじめ設定された所定の分散値を保持している。そして、ブロック選択部１３２５は、分散計算部１３２２で算出された各マクロブロックの分散値の中で、所定の分散値と同じ分散値を有しているマクロブロックの中から１つのマクロブロックを選択し、そのマクロブロックのフィルムグレイン成分を代表パターンとして出力する。

また、ブロック選択部１３２５は、上記第１の構成例のブロック選択部１３２４と同様に、さらに付加情報として、出力するフィルムグレイン成分に対する、重畳時における許可パターンまたは禁止パターンを指定する。

図６（ａ）は、フィルムグレイン符号化部１３０の選択部１３２の第３の構成例を示すブロック図である。
選択部１３２は、ブロック分割部１３２１、および中央値計算部１３２６を備えている。なお、ブロック分割部１３２１は、図４（ａ）に示した場合と同様である。

中央値計算部１３２６は、ブロック分割部１３２１で分割されたマクロブロック中の画素位置毎に、各マクロブロックを通して中央値を算出する。例えば、図６（ｂ）に示すように分割された各マクロブロック（図６（ｂ）では４×４画素）の左上の画素値「０」、「２」、…「−２」の中央値を、次に左上の右隣の画素値「３」、「２」、…「１」の中央値を、次にその右隣の画素値「１」、「３」、…「−１」の中央値をというように順次算出する。そして、中央値計算部１３２６は、算出した画素位置毎の中央値を１マクロブロック分のフィルムグレイン成分として出力する。すなわち、上記の例では、図６（ｃ）に示すように画素値「０」、「２」、「１」、…となる成分を１マクロブロック分の代表パターンとして出力する。

また、中央値計算部１３２６は、上記第１の構成例のブロック選択部１３２４と同様に、さらに付加情報として、出力するフィルムグレイン成分に対する、重畳時における許可パターンまたは禁止パターンを指定する。

なお、上記第１の構成例において、分散計算部１３２２は算出した各マクロブロックの分散値の中で所定の閾値以下のマクロブロックだけをヒストグラム生成部１３２３へ通知するように構成しても構わない。

可変長符号化部１３３は、選択部１３２によって出力された代表パターンを符号化する。例えば、符号化対象ピクチャの画素値が８ビットで表されていた場合、選択部１３２によって出力された代表パターンは差分値であるため、９ビットで表わすことができる。選択部１３２によって出力された代表パターンである１マクロブロック分のフィルムグレイン成分が、例えば図７（ａ）に示すような成分を有していた場合、可変長符号化部１３３はそのまま図７（ｂ）に示すような成分を９ビットで出力する。

なお、可変長符号化部１３３は、選択部１３２によって出力された代表パターンに対して例えば離散コサイン変換（ＤＣＴ）等の周波数変換を行って、その係数を符号化しても構わない。この場合、代表パターンを完全に再現するために量子化は行わないほうが好ましいが、小さい量子化パラメータを用いて量子化を行っても構わない。

次に、上記のように構成された動画像符号化装置の動作について説明する。ここでは、フィルムグレイン符号化部１３０の選択部１３２が第１の構成例である場合について説明する。図８は、この場合の動画像符号化装置の動作を示すフローチャートである。

入力画像は、表示時間順にピクチャ単位で符号化部１１０およびフィルムグレイン符号化部１３０に入力される。符号化部１１０は、符号化対象ピクチャを符号化し、符号列を生成する（ステップＳ１０１）。また、符号化部１１０は、復号化画像データを生成し、フィルムグレイン符号化部１３０へ出力する（ステップＳ１０２）。フィルムグレイン符号化部１３０の抽出部１３１は、入力画像データと、符号化部１１０の加算演算部１１９より入力された復号化画像データとの差分を演算し、フィルムグレイン成分を抽出する（ステップＳ１０３）。

ブロック分割部１３２１は、抽出部１３１によって抽出されたフィルムグレイン成分を、例えば１６×１６画素等のマクロブロックに分割する（ステップＳ１０４）。次に、分散計算部１３２２は、ブロック分割部１３２１で分割されたマクロブロック毎の分散値を算出する（ステップＳ１０５）。ヒストグラム生成部１３２３は、分散計算部１３２２で算出された分散値のヒストグラムを生成し、ヒストグラムの頻度がピークとなる分散値を有しているマクロブロックがどれであるかをブロック選択部１３２４へ通知する（ステップＳ１０６）。

ブロック選択部１３２４は、ヒストグラム生成部１３２３から通知されたマクロブロックの中からいずれか１つのマクロブロックを選択し、そのマクロブロックのフィルムグレイン成分を代表パターンとして出力する（ステップＳ１０７）。また、ブロック選択部１３２４は、さらに付加情報として、出力する代表パターンに対する、重畳時における許可パターンまたは禁止パターンを指定し、出力する（ステップＳ１０８）。次に、可変長符号化部１３３は、選択部１３２によって出力された代表パターンおよび付加情報を符号化する（ステップＳ１０９）。符号化した代表パターンおよび付加情報は、符号化部１１０で生成された符号列とは別の符号列として送る。なお、符号化した代表パターンおよび付加情報を符号化部１１０で生成された符号列のユーザデータとして送ることも可能である。

次に、動画像復号化装置２００について説明する。
動画像復号化装置２００は、上記にも述べたが図１に示すように復号化部２１０、フィルムグレイン生成部２３０、および合成部２４０を備えている。

図９は、動画像復号化装置２００の復号化部２１０の構成を示すブロック図である。
復号化部２１０は、可変長復号化部２１１、予測残差復号化部２１２、ピクチャメモリ２１３、動き補償復号化部２１４、スイッチ２１５、および加算演算部２１６を備えている。

可変長復号化部２１１は、入力された符号列より復号化モードの情報、および符号化時に用いられた動きベクトルの情報等の各種データの抽出を行う。予測残差復号化部２１２は、入力された予測残差符号化データの復号化を行い、予測残差画像データを生成する。動き補償復号化部２１４は、復号化モードの情報、および動きベクトルの情報等に基づいて、動き補償画像データを生成する。

加算演算部２１６は、予測残差復号化部２１２より入力された予測残差画像データと、動き補償復号化部２１４より入力された動き補償画像データとを加算し、復号化画像データを生成する。ピクチャメモリ２１３は、生成された復号化画像データを格納する。

フィルムグレイン生成部２３０は、動画像符号化装置１００より送信されたフィルムグレイン成分および付加情報に基づいて、重畳パターンを生成する。以下、このフィルムグレイン生成部２３０の構成について、２つの構成例を説明する。

図１０は、フィルムグレイン生成部２３０の第１の構成例を示すブロック図である。
フィルムグレイン生成部２３０は、可変長復号化部２３１、修正部２３２、修正パターン選択部２３３、および乱数発生部２３４を備えている。

可変長復号化部２３１は、動画像符号化装置１００で符号化されて送信された代表パターンおよび付加情報を可変長復号化する。乱数発生部２３４は、ランダム関数を用いて乱数を発生させることによって、修正部２３２においてどのような修正を行うかという修正パターンを生成する。例えば、修正パターンとして図１１（ａ）に示すようにそのまま（修正なし）、図１１（ｂ）に示すように反転、図１１（ｃ）に示すように９０度右に回転、図１１（ｄ）に示すように反転したものを９０度右に回転、図１１（ｅ）に示すように１８０度回転、図１１（ｆ）に示すように反転したものを１８０度回転、図１１（ｇ）に示すように９０度左に回転、図１１（ｈ）に示すように反転したものを９０度左に回転というようなパターンを決定する。

また、例えば、修正パターンとして図１２（ａ）に示す領域５０の代表パターンを図１２（ｂ）に示すように左にシフトさせ、領域５０からはみ出た領域５１を、図１２（ｃ）に示すように空いた領域５２に移動させるというようにパターンを決定することもできる。この場合、乱数を発生させることによって、シフト量を決定すればよい。

修正パターン選択部２３３は、付加情報として禁止パターンが指定されていれば、乱数発生部２３４から通知された修正パターンの中で禁止パターンを除いた修正パターンを修正部２３２へ通知する。一方、付加情報として許可パターンが指定されていれば、修正パターン選択部２３３は、乱数発生部２３４から通知された修正パターンの中で許可パターンだけを修正部２３２へ通知する。また、付加情報として許可パターンおよび禁止パターンが指定されていなければ、乱数発生部２３４から通知されたすべての修正パターンを修正部２３２へ通知する。

修正部２３２は、修正パターン選択部２３３から通知された修正パターンにより、復号化された代表パターンを修正して重畳パターンを生成する。
図１３は、フィルムグレイン生成部２３０の第２の構成例を示すブロック図である。

フィルムグレイン生成部２３０は、可変長復号化部２３１、修正部２３２、および修正パターン保持部２３６を備えている。なお、可変長復号化部２３１、および修正部２３２は、図１０に示した場合と同様である。

修正パターン保持部２３６は、あらかじめ設定された修正パターンを保持している。この修正パターンとしては、例えば図１１に示した例であれば修正パターンおよび修正パターンの順序を保持する。また、例えば図１２に示した例であればシフト量およびそのシフト量を行う順序を保持する。

合成部２４０は、復号化部２１０から出力された復号化画像データと、フィルムグレイン生成部２３０から出力された重畳パターンとを図１４に示すように合成する。
次に、上記のように構成された動画像復号化装置の動作について説明する。ここでは、フィルムグレイン生成部２３０が第１の構成例である場合について説明する。図１５は、この場合の動画像復号化装置の動作を示すフローチャートである。

まず、復号化部２１０は、動画像符号化装置１００から送信された符号列を復号化する（ステップＳ２０１）。また、フィルムグレイン生成部２３０の可変長復号化部２３１は、動画像符号化装置１００で符号化されて送信された代表パターンおよび付加情報を可変長復号化する（ステップＳ２０２）。次に、乱数発生部２３４は、乱数を発生させることによって、修正パターンを生成する（ステップＳ２０３）。

修正パターン選択部２３３は、付加情報として禁止パターンが指定されているか否かを判定する（ステップＳ２０４）。この判定の結果、禁止パターンが指定されていれば、乱数発生部２３４から通知された修正パターンの中で禁止されたパターンを除いた修正パターンを修正部２３２へ通知する（ステップＳ２０５）。一方、禁止パターンが指定されていなければ、乱数発生部２３４から通知されたすべての修正パターンを修正部２３２へ通知する。修正部２３２は、修正パターン選択部２３３から通知された修正パターンにより、復号化された代表パターンを修正して重畳パターンを生成する（ステップＳ２０６）。

合成部２４０は、復号化部２１０から出力された復号化画像データと、フィルムグレイン生成部２３０から出力された重畳パターンとを合成する（ステップＳ２０７）。
以上のように、動画像符号化装置１００において、入力画像を符号化した符号列とは別に、少なくとも１つのマクロブロックのフィルムグレイン成分を代表パターンとして符号化して送信し、動画像復号化装置２００において、符号列を復号化した復号化画像データに、代表パターンに基づいて生成した重畳パターンを重畳しているので、入力画像を低ビットレートで符号化した場合あっても、フィルムグレインを甦らせて再現性を向上することができる。また、送信する代表パターンの数が少ないため、付加情報量が少なくなる。さらに、代表パターンを乱数を用いて様々な方法で変形することにより、視覚上で違和感のないフィルムグレイン成分を生成することができる。

なお、乱数発生部２３４は、例えば復号化対象ピクチャのピクチャ番号や時間情報を復号化部２１０から取得し、ランダム関数の初期値（種）として用いる構成としても構わない。この場合、再生ごとに同じピクチャに対してランダム関数の初期値（種）が同じであるので、乱数発生パターンが同じになる。これによって、再生ごとに同じ重畳パターンを生成されるので、復号化画像データに重畳される重畳パターンが再生ごとに変わるということを防止することができる。

（実施の形態２）
本実施の形態では、代表パターンを別に符号化するのではなく、符号化対象ピクチャの中で一部のマクロブロックだけを高画質に符号化する場合について説明する。

図１６は、本発明の実施の形態２に係る動画像符号化装置の符号化部１４０およびフィルムグレイン符号化部１５０の構成を示すブロック図である。なお、実施の形態１と同様の部分については、同じ符号を付し説明を省略する。

本実施の形態では、符号化部１４０の制御部１４１と、フィルムグレイン符号化部１５０の選択部１５１および可変長符号化部１５２との動作が、実施の形態１とは相違する。
フィルムグレイン符号化部１５０の選択部１５１は、実施の形態１と同様に選択したマクロブロックの位置情報を、可変長符号化部１５２および符号化部１４０の制御部１４１へ通知する。可変長符号化部１５２は、選択されたマクロブロックの位置情報を可変長符号化する。

制御部１４１は、通知された位置情報により特定されたマクロブロックを、符号化対象ピクチャの他のブロックより量子化パラメータを低く設定（例えば量子化パラメータを０）して、または所定の量子化パラメータ（例えば最小の量子化パラメータ）を用いて再度符号化するように、予測残差符号化部１１２へ指示する。予測残差符号化部１１２は、指示された量子化パラメータを用いて符号化処理を行い、符号化データを生成する。

これによって、符号化対象ピクチャの中で位置情報により特定されたマクロブロックだけが高画質に符号化され、フィルムグレインを損なわずに符号化されたことになる。
図１７は本発明の実施の形態２に係る動画像復号化装置の復号化部２５０の構成を示すブロック図であり、図１８はフィルムグレイン生成部２６０の第１の構成例を示すブロック図であり、図１９はフィルムグレイン生成部２６０の第２の構成例を示すブロック図である。なお、実施の形態１と同様の部分については、同じ符号を付し説明を省略する。

本実施の形態では、復号化部２５０の予測残差復号化部２１２で生成された予測残差符号化データがフィルムグレイン生成部２６０にも入力される。
フィルムグレイン生成部２６０は、実施の形態１の可変長復号化部２３１に替えてフィルムグレインパターン取得部２６１を備えている。

フィルムグレインパターン取得部２６１は、動画像符号化装置から送信された位置情報を復号化する。また、フィルムグレインパターン取得部２６１は、位置情報により特定されたマクロブロックの予測残差符号化データと、そのマクロブロックが参照する他のマクロブロックとの差分を算出し、代表パターンとして修正部２３２へ出力する。すなわち、位置情報により特定されたマクロブロックは高画質に符号化されているので、そのマクロブロックが参照する他のマクロブロックとの差分を算出することで、実施の形態１の代表パターンと同様の成分を取り出すことができる。

以上のように、符号化対象ピクチャの中で一部のマクロブロックだけを高画質に符号化し、実施の形態１の代表パターンと同様の成分を取り出すことによって、実施の形態１と同様に入力画像を低ビットレートで符号化した場合あっても、フィルムグレインを甦らせて再現性を向上させることができる。また本実施の形態によれば、１つの符号列で実現することができるという利点も有する。

（実施の形態３）
上記実施の形態１、２では、フィルムグレイン成分に関して説明したが、本実施の形態では、高周波成分が多い部分を有する細かい画像等に含まれる高精細成分を扱う場合について説明する。フィルムグレイン成分は高精細成分であるため、フィルムグレイン成分以外の高周波成分に対しても同様の方法を適用することができる。

図２０は、本発明の実施の形態３に係る動画像符号化方法および動画像復号化方法を用いた動画像符号化装置および動画像復号化装置の全体構成を示すブロック図である。
動画像符号化装置３００は、高精細成分を主画像とは別に符号化するための装置であり、図２０に示すように符号化部３１０および高精細成分符号化部３３０を備えている。一方、動画像復号化装置４００は、高精細成分を復号化画像に重畳するための装置であり、図２０に示すように復号化部４１０、高精細成分復号化部４２０、および高精細成分重畳部４３０を備えている。

動画像符号化装置３００の符号化部３１０および高精細成分符号化部３３０は、実施の形態１と同様の構成である。相違する点は、高精細成分符号化部３３０の選択部１３２のブロック選択部１３２４おいて、出力する高精細成分である代表パターンに対する、重畳時における重畳位置情報およびゲイン情報を付加情報として指定する。このゲイン情報は、例えば代表パターンの画素値を何倍にして重畳させるかを指定するものである。

動画像復号化装置４００の復号化部４１０は、実施の形態１の復号化部２１０と同様の構成である。また、動画像復号化装置４００の高精細成分復号化部４２０および高精細成分重畳部４３０は、実施の形態１のフィルムグレイン生成部２３０および合成部２４０と同様の動作を行う。相違する点は、復号化部２１０で復号化された復号化画像データに対して、上記のように指定されたゲイン情報に基づいて代表パターンの画素値を何倍かにした値を、上記のように指定された重畳位置に重畳させる点である。

以上のように、位置を特定して所定の位置だけに高精細成分である代表パターンを重畳しているので、入力画像を低ビットレートで符号化した場合あっても、高周波成分が多い部分を有する細かい画像等に含まれる高精細成分を甦らせて再現性を向上させることができる。

（実施の形態４）
上記実施の形態３では、代表パターンを重畳させる位置情報を動画像符号化装置から送信していたが、本実施の形態では、動画像復号化装置において重畳位置を決定する場合について説明する。

図２１は、本発明の実施の形態４に係る動画像復号化装置の構成を示すブロック図である。
本実施の形態の動画像復号化装置は、実施の形態３の構成に加えて重畳位置決定部５２０を備えている。

重畳位置決定部５２０は、復号化部２１０で復号化された復号化画像データに対して、代表パターンを重畳させる重畳位置を決定する。重畳位置決定部５２０は、例えば離散コサイン変換（ＤＣＴ）により変換された係数の非０係数が１つでもマクロブロックの所定範囲に含まれていれば、高域成分があると判定し、そのマクロブロックに対しては代表パターンを重畳させると決定する。なお、高域成分があるとの判定は、これに限られるものではなく、例えばｎ個以上の非０係数がマクロブロックの所定範囲に含まれていれば、高域成分があると判定しても構わない。また、各係数の絶対値和が所定値以上であるマクロブロックを高域成分があると判定しても構わない。

以上のように、動画像復号化装置側で、重畳位置を特定して所定の位置だけに高精細成分である代表パターンを重畳しているので、入力画像を低ビットレートで符号化した場合あっても、高周波成分が多い部分を有する細かい画像等に含まれる高精細成分を甦らせて再現性を向上させることができる。また、重畳位置の情報を動画像符号化装置から動画像復号化装置へ送信する必要がない。

（実施の形態５）
さらに、上記実施の形態１で示した動画像符号化方法または動画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態１で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

図２２は、上記実施の形態１の動画像符号化方法または動画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。

図２２（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図２２（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての動画像符号化方法が記録されている。

また、図２２（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての動画像符号化方法または動画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記動画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。
図２３は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。

このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

しかし、コンテンツ供給システムex１００は図２３のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。

カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。

このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。

図２４は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話ex１１５について図２５を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。

電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。

携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。

画像符号化部ex３１２は、本願発明で説明した動画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した動画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。

多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。

また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。

次に、画像復号化部ex３０９は、本願発明で説明した動画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２６に示すようにディジタル放送用システムにも上記実施の形態の少なくとも動画像符号化装置または動画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に動画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した動画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した動画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

なお、カーナビゲーションex４１３の構成は例えば図２５に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。

また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
なお、各実施形態の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
ここでは、LSIとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、各機能ブロックのうち、符号化または復号化の対象となる画像データを格納する手段（ピクチャメモリ）は１チップ化せずに別構成としても良い。

以上のように、本発明に係る動画像符号化方法および動画像復号化方法は、例えば携帯電話、ＤＶＤ装置、およびパーソナルコンピュータ等で、動画像を構成する各ピクチャを符号化して符号列を生成したり、生成された符号列を復号化したりするための方法として有用である。

本発明の実施の形態１に係る動画像符号化方法および動画像復号化方法を用いた動画像符号化装置および動画像復号化装置の全体構成を示すブロック図である。 動画像符号化装置の符号化部の構成を示すブロック図である。 動画像符号化装置のフィルムグレイン符号化部の構成を示すブロック図である。 （ａ）フィルムグレイン符号化部の選択部の第１の構成例を示すブロック図であり、（ｂ）および（ｃ）ヒストグラムの一例を示す図である。 フィルムグレイン符号化部の選択部の第２の構成例を示すブロック図である。 （ａ）フィルムグレイン符号化部の選択部の第３の構成例を示すブロック図であり、（ｂ）分割された各マクロブロックの画素値の例を示す図であり、（ｃ）中央値計算部で算出された１マクロブロック分のフィルムグレイン成分の例を示す図である。 （ａ）１マクロブロック分のフィルムグレイン成分の例を示す図であり、（ｂ）可変長符号化部で出力される成分の例を示す図である。 動画像符号化装置の動作を示すフローチャートである。 動画像復号化装置の復号化部の構成を示すブロック図である。 フィルムグレイン生成部の第１の構成例を示すブロック図である。 （ａ）〜（ｈ）修正パターンの例を示す図である。 （ａ）〜（ｃ）修正パターンの例を示す図である。 フィルムグレイン生成部の第２の構成例を示すブロック図である。 合成部による復号化画像データと重畳パターンとの合成の例を示す図である。 動画像復号化装置の動作を示すフローチャートである。 本発明の実施の形態２に係る動画像符号化装置の符号化部およびフィルムグレイン符号化部の構成を示すブロック図である。 本発明の実施の形態２に係る動画像復号化装置の復号化部の構成を示すブロック図である。 フィルムグレイン生成部の第１の構成例を示すブロック図である。 フィルムグレイン生成部の第２の構成例を示すブロック図である。 本発明の実施の形態３に係る動画像符号化方法および動画像復号化方法を用いた動画像符号化装置および動画像復号化装置の全体構成を示すブロック図である。 本発明の実施の形態４に係る動画像復号化装置の構成を示すブロック図である。 各実施の形態の動画像符号化方法および動画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図であり、(a) 記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、(b) フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、(c) フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。 コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 携帯電話の一例を示す図である。 携帯電話の内部構成を示すブロック図である。 ディジタル放送用システムの全体構成を示すブロック図である。 フィルムグレインの粒子構造を示す模式図である。 フィルムグレインパラメータ送信の概要を示すブロック図である。

符号の説明

１００、３００ 動画像符号化装置
１１０、１４０、３１０ 符号化部
１１１、１４１ 制御部
１１２ 予測残差符号化部
１１３ 可変長符号化部
１１４ 予測残差復号化部
１１５ ピクチャメモリ
１１６ 動きベクトル検出部
１１７ 動き補償符号化部
１１８ 差分演算部
１１９ 加算演算部
１２０ スイッチ
１３０、１５０ フィルムグレイン符号化部
１３１ 抽出部
１３２、１５１ 選択部
１３３、１５２ 可変長符号化部
１３２１ ブロック分割部
１３２２ 分散計算部
１３２３ ヒストグラム生成部
１３２４ ブロック選択部
１３２５ ブロック選択部
１３２６ 中央値計算部
２００、４００ 動画像復号化装置
２１０、２５０、４１０、５１０ 復号化部
２１１ 可変長復号化部
２１２ 予測残差復号化部
２１３ ピクチャメモリ
２１４ 動き補償復号化部
２１５ スイッチ
２１６ 加算演算部
２３０、２６０ フィルムグレイン生成部
２３１ 可変長復号化部
２３２ 修正部
２３３ 修正パターン選択部
２３４ 乱数発生部
２３６ 修正パターン保持部
２４０ 合成部
２６１ フィルムグレインパターン取得部
３３０ 高精細成分符号化部
４２０、５３０ 高精細成分復号化部
４３０、５４０ 高精細成分重畳部
５２０ 重畳位置決定部

Claims (35)

1. 動画像を構成する各ピクチャをブロック単位で符号化する動画像符号化方法であって、
   符号化対象ピクチャを符号化する第１符号化ステップと、
   前記符号化対象ピクチャから高精細成分を抽出する抽出ステップと、
   前記抽出ステップにより抽出された前記高精細成分から少なくとも１ブロック分の前記高精細成分を選択する選択ステップと
   を含むことを特徴とする動画像符号化方法。
2. 前記動画像符号化方法は、さらに、
   前記選択ステップにより選択された少なくとも１ブロック分の前記高精細成分を符号化する第２符号化ステップを含む
   ことを特徴とする請求の範囲１記載の動画像符号化方法。
3. 前記第２符号化ステップでは、前記高精細成分の値を符号化する
   ことを特徴とする請求の範囲２記載の動画像符号化方法。
4. 前記第２符号化ステップでは、前記高精細成分を、空間周波数成分を示す係数に変換して符号化する
   ことを特徴とする請求の範囲２記載の動画像符号化方法。
5. 前記第１符号化ステップでは、前記選択ステップにより選択された少なくとも１ブロックを、前記符号化対象ピクチャの他のブロックより量子化パラメータを低く設定して、または所定の量子化パラメータを用いて、再度符号化する
   ことを特徴とする請求の範囲１記載の動画像符号化方法。
6. 前記抽出ステップでは、前記符号化対象ピクチャと、前記符号化対象ピクチャが符号化された後に復号化された復号化済みピクチャとの差分を算出することにより、前記高精細成分を抽出する
   ことを特徴とする請求の範囲１記載の動画像符号化方法。
7. 前記選択ステップでは、前記符号化対象ピクチャ毎に少なくとも１ブロック分の前記高精細成分を選択する
   ことを特徴とする請求の範囲１記載の動画像符号化方法。
8. 前記選択ステップでは、前記抽出ステップにより抽出された前記高精細成分についてブロック毎の分散値を算出し、算出した分散値に基づいて、少なくとも１ブロック分の前記高精細成分を選択する
   ことを特徴とする請求の範囲１記載の動画像符号化方法。
9. 前記選択ステップでは、算出した前記分散値のヒストグラムの頻度がピークとなる分散値を有するブロックの前記高精細成分を選択する
   ことを特徴とする請求の範囲８記載の動画像符号化方法。
10. 前記選択ステップでは、算出した前記分散値が所定の分散値であるブロックの前記高精細成分を選択する
    ことを特徴とする請求の範囲８記載の動画像符号化方法。
11. 前記選択ステップでは、前記抽出ステップにより抽出された前記高精細成分について、ブロック中の画素位置毎に中央値を算出し、算出した中央値を１ブロック分の前記高精細成分として選択する
    ことを特徴とする請求の範囲１記載の動画像符号化方法。
12. 前記選択ステップでは、選択した前記高精細成分に対して付加情報を付与する
    ことを特徴とする請求の範囲１記載の動画像符号化方法。
13. 前記選択ステップでは、前記付加情報として、選択した前記高精細成分に対する、重畳時における許可または禁止するパターンをピクチャ毎に指定する
    ことを特徴とする請求の範囲１２記載の動画像符号化方法。
14. 前記選択ステップでは、前記付加情報として、選択した前記高精細成分に対する、重畳時における許可または禁止するパターンを前記高精細成分毎に指定する
    ことを特徴とする請求の範囲１２記載の動画像符号化方法。
15. 前記選択ステップでは、前記付加情報として、選択した前記高精細成分に対する、重畳時における重畳位置を指定する
    ことを特徴とする請求の範囲１２記載の動画像符号化方法。
16. 前記選択ステップでは、前記付加情報として、選択した前記高精細成分に対する、重畳時におけるゲインを指定する
    ことを特徴とする請求の範囲１２記載の動画像符号化方法。
17. 動画像を構成する各ピクチャがブロック単位で符号化された符号列を復号化する動画像復号化方法であって、
    前記符号列を復号化して復号化画像データを生成する第１復号化ステップと、
    少なくとも１ブロック分の高精細成分を取得する取得ステップと、
    前記取得ステップにより取得された少なくとも１ブロック分の前記高精細成分を前記復号化画像データに重畳する重畳ステップと
    を含むことを特徴とする動画像復号化方法。
18. 前記動画像復号化方法は、さらに、
    前記取得ステップにより取得された少なくとも１ブロック分の前記高精細成分を修正する修正ステップを含み、
    前記重畳ステップでは、修正ステップにより修正された前記高精細成分を前記復号化画像データに重畳する
    ことを特徴とする請求の範囲１７記載の動画像復号化方法。
19. 前記動画像復号化方法は、さらに、
    前記取得ステップにより取得された少なくとも１ブロック分の前記高精細成分をどのように修正するかを示す修正パターンを作成するパターン作成ステップを含み、
    前記修正ステップでは、前記高精細成分を修正パターンに基づいて修正する
    ことを特徴とする請求の範囲１８記載の動画像復号化方法。
20. 前記パターン作成ステップでは、回転、反転、レベル変化、および位置シフトの少なくとも１つの修正パターンを作成する
    ことを特徴とする請求の範囲１９記載の動画像復号化方法。
21. 前記パターン作成ステップでは、前記修正パターンをランダム関数に基づいて、ランダムに作成する
    ことを特徴とする請求の範囲１９記載の動画像復号化方法。
22. 前記パターン作成ステップでは、前記ランダム関数の初期値を一定として前記修正パターンを作成する
    ことを特徴とする請求の範囲２１記載の動画像復号化方法。
23. 前記パターン作成ステップでは、前記ランダム関数の初期値を前記符号列より取得する
    ことを特徴とする請求の範囲２１記載の動画像復号化方法。
24. 前記取得ステップは、さらに初期値情報を取得し、
    前記パターン作成ステップでは、前記取得ステップにより取得された前記初期値情報を前記ランダム関数の初期値として前記修正パターンを作成する
    ことを特徴とする請求の範囲２１記載の動画像復号化方法。
25. 前記パターン作成ステップでは、あらかじめ所定の前記修正パターンと前記修正パターンの順序を保持する
    ことを特徴とする請求の範囲１９記載の動画像復号化方法。
26. 前記取得ステップでは、さらに禁止パターンを取得し、
    前記修正ステップでは、前記修正パターンの中から前記禁止パターンを除いた修正パターンに基づいて、前記高精細成分を修正する
    ことを特徴とする請求の範囲１９記載の動画像復号化方法。
27. 前記動画像復号化方法は、さらに、
    重畳位置を取得する重畳位置取得ステップを含み、
    前記重畳ステップでは、前記復号化画像データに対して前記重畳位置取得ステップにより取得された重畳位置に前記高精細成分を重畳する
    ことを特徴とする請求の範囲１７記載の動画像復号化方法。
28. 前記重畳位置取得ステップでは、前記符号列に基づいて前記重畳位置を取得する
    ことを特徴とする請求の範囲２７記載の動画像復号化方法。
29. 動画像を構成する各ピクチャをブロック単位で符号化する動画像符号化装置であって、
    符号化対象ピクチャを符号化する第１符号化手段と、
    前記符号化対象ピクチャから高精細成分を抽出する抽出手段と、
    前記抽出手段により抽出された前記高精細成分から少なくとも１ブロック分の前記高精細成分を選択する選択手段と
    を備えることを特徴とする動画像符号化装置。
30. 動画像を構成する各ピクチャがブロック単位で符号化された符号列を復号化する動画像復号化装置であって、
    前記符号列を復号化して復号化画像データを生成する第１復号化手段と、
    少なくとも１ブロック分の高精細成分を取得する取得手段と、
    前記取得手段により取得された少なくとも１ブロック分の前記高精細成分を前記復号化画像データに重畳する重畳手段と
    を備えることを特徴とする動画像復号化装置。
31. 動画像を構成する各ピクチャをブロック単位で符号化するためのプログラムであって、
    符号化対象ピクチャを符号化する第１符号化ステップと、
    前記符号化対象ピクチャから高精細成分を抽出する抽出ステップと、
    前記抽出ステップにより抽出された前記高精細成分から少なくとも１ブロック分の前記高精細成分を選択する選択ステップと
    をコンピュータに実行させることを特徴とするプログラム。
32. 動画像を構成する各ピクチャがブロック単位で符号化された符号列を復号化するためのプログラムであって、
    前記符号列を復号化して復号化画像データを生成する第１復号化ステップと、
    少なくとも１ブロック分の高精細成分を取得する取得ステップと、
    前記取得ステップにより取得された少なくとも１ブロック分の前記高精細成分を前記復号化画像データに重畳する重畳ステップと
    をコンピュータに実行させることを特徴とするプログラム。
33. 動画像を構成する各ピクチャをブロック単位で符号化するための集積回路であって、
    符号化対象ピクチャを符号化する第１符号化手段と、
    前記符号化対象ピクチャから高精細成分を抽出する抽出手段と、
    前記抽出手段により抽出された前記高精細成分から少なくとも１ブロック分の前記高精細成分を選択する選択手段と
    を備えることを特徴とする集積回路。
34. 動画像を構成する各ピクチャがブロック単位で符号化された符号列を復号化するための集積回路であって、
    前記符号列を復号化して復号化画像データを生成する第１復号化手段と、
    少なくとも１ブロック分の高精細成分を取得する取得手段と、
    前記取得手段により取得された少なくとも１ブロック分の前記高精細成分を前記復号化画像データに重畳する重畳手段と
    を備えることを特徴とする集積回路。
35. 符号化ストリームであって、
    動画像を構成する各ピクチャがブロック単位で符号化された符号列から復号化された復号化画像データに重畳するための少なくとも１ブロック分の高精細成分を含む
    ことを特徴とする符号化ストリーム。

Images