JP7450078B1 - 映像符号化装置、および、映像符号化方法 - Google Patents

Abstract

【課題】映像データの符号化時にバッファ破綻が発生する可能性を改善する。【解決手段】映像符号化装置１は、異なるサイズのブロックの組み合わせに基づいて映像を画像毎にブロック単位で符号化し、前記ブロックを任意に組み合わせた複数の組み合わせ候補の各コスト値を計算する符号化回路１１と、前記ブロック単位で符号化された前記画像の符号化データを蓄積するバッファ回路１２と、前記バッファ回路のバッファ残量と１画像内のブロック数または前記１画像内のブロック数に相当する指標とに基づいてオフセット値を計算するオフセット計算回路１３と、前記オフセット値を含む前記各コスト値に基づいて前記複数の組み合わせ候補の中から符号化用の組み合わせを決定するブロックサイズ決定回路１４と、を備える。【選択図】図１

Description

本開示は、映像符号化装置、および、映像符号化方法に関する。

映像信号の符号化は、ブロック単位で行われている。Ｈ．２６４では、ＭＢ（Macro Block）という１６×１６画素単位で符号化処理が行われていた。

一方、ＨＥＶＣ（High Efficiency Video Coding）では、ＣＵ（Coding Unit）と称される６４×６４画素、３２×３２画素、１６×１６画素、８×８画素の４種類のブロックサイズで符号化処理が行われる。具体的には、映像信号はＣＴＵ（Coding Tree Unit）に分割され、各ＣＴＵは可変サイズのＣＵに分割される。ＣＴＵは、ＣＵの組み合わせとして表現される。

ＣＵの組み合わせは、符号化時の演算量、符号化後の符号量、符号化後の画像品質等に基づいて、最適なＣＵを選択する必要がある。特許文献１～特許文献４では、様々なＣＵ選択方法が提案されている。

特許文献１では、ＣＵの大きいブロックサイズから小さなブロックサイズの順に、各画素の輝度値のバラツキを示す指標のアクティビティから分散値を求め、その分散値と閾値とを比較してＣＵを選択する方法を開示している。

特許文献２では、ＲＤ（Rate Distortion）コスト（発生情報量とフラグ情報を合算したもの）を算出する際に、従来では全てのブロックサイズに対してＲＤコストを算出していたが、プレ処理部の処理動作を行った後に決定したブロックサイズについてのみＲＤコストの算出を行う。これにより、従来複数回必要であったコスト算出の処理回数を１回にでき、符号化の演算量を抑制している。

特許文献３では、予測処理の予測結果を受けて、符号化コストを計算し、その符号化コストが最小となる予測モードおよびブロックサイズの組み合わせを選択する。符号化コストは、「Ｄ＋λ・Ｒ」（Ｄは歪み量、λは所定値、Ｒは符号量）の値を使用するとしている。その値の算出が困難な場合には、Ｄの代わりに差分絶対値等を使用し、Ｒには仮見積もり符号量を使用するとしている。

更に、当該特許文献３では、符号化コストにオフセット値を設定することで、ＣＴＵの中で画像の特徴量が異なる領域が混在する場合に、複雑な領域と平坦な領域が一つのＣＵの中に混在することを抑制できることを開示している。この場合、オフセット値は、大きなブロックサイズを抑制してそれより小さなブロックサイズの発生比率を増加させるために加算するもの、または、ＣＵへの分割を促進するために加算するものと示されている。

特許文献４では、画面間予測処理において、符号化対象ピクチャの参照構造における階層の深さ（Temporal ID）と符号化済みピクチャの動きベクトルの統計値情報とに基づき、ブロックサイズ候補のコスト比較におけるオフセット値を決定し、コスト比較によりブロックサイズ候補を適切に絞り込むことで、動き探索に要する演算量を削減することが開示されている。

当該特許文献４では、６４×６４ブロックサイズにのみ負のオフセット値を設定することによって、より大きいブロックサイズが選ばれやすくなるため、動きがばらけているピクチャは動きのばらけによってブロックサイズが小さくなりすぎることを防ぎ、Temporal IDが大きいピクチャではより大きなブロックで動き予測が行われることで符号量削減が望めることが示されている。オフセット値は、Temporal IDを用いて決定している。

特開２０１５－１０９５８６号公報 特開２０１６－１８７１４０号公報 特開２０１７－００５５０５号公報 特開２０１７－０２８３３７号公報

しかしながら、特許文献１は、ＣＵ選択処理の演算量の低減を目的としており、符号量の低減が不十分である。特に、細かな絵柄を符号化するシーンでは、ブロックサイズが小さくなり、符号化対象のブロック数が増えるため、符号化データのオーバーヘッドが増加し、符号量の増加を抑制できず、符号化データを蓄積するバッファが供給データを蓄積しきれないというバッファ破綻が発生する恐れがあった。

特許文献２は、ＣＵを選択するためのコスト算出の処理回数の低減を目的としている。バッファ破綻の可能性があったとしても、プレ処理において仮決定したブロックサイズのＣＵをそのまま維持して処理してしまうため、必ずしも情報量の削減につながらない場合があり、バッファ破綻の可能性が生じる。

特許文献３は、複雑な領域と平坦な領域が一つのＣＵの中に混在することを抑制することを目的としている。その目的を達成するため、コスト計算にオフセット値を設定することで、小さなブロックサイズの発生比率を増加させ、ＣＵへの分割を促進するようにしているが、ＣＵ数が多い場合には必ずしも符号量の削減につながらない場合があるため、バッファ破綻の可能性が生じる。

特許文献４は、ブロックサイズ候補を適切に絞り込んで動き探索処理を行うことで、符号化効率を低下させずに画面間予測処理に要する処理量を削減することを目的としている。コスト計算の際、６４×６４ブロックサイズにのみ負のオフセット値を設定することで、大きなブロックサイズが選ばれやすくなり符号量削減が望めるとしているが、処理量の低減による符号量の増加を抑制するためと考えられ、符号量の低減については十分でなく（画面内予測処理に要する処理量など）、バッファ破綻の恐れがある。また、オフセット値の計算においては、Temporal IDおよび動きベクトル統計値から算出するため、複雑な計算が必要となる。

すなわち、映像信号の符号化処理における従来のＣＵ選択方法では、符号量の低減が十分でないため、符号化データの出力時において、符号化データを一時蓄積するバッファ回路でバッファ破綻が生じる可能性が小さくないという課題があった。

本開示は、上記事情に鑑みてなされたものであり、映像データの符号化時にバッファ破綻が発生する可能性を改善可能な技術を提供することを目的とする。

本開示の一態様の映像符号化装置は、異なるサイズのブロックの組み合わせに基づいて映像を画像毎にブロック単位で符号化し、前記ブロックを任意に組み合わせた複数の組み合わせ候補の各コスト値を計算する符号化回路と、前記ブロック単位で符号化された前記画像の符号化データを蓄積するバッファ回路と、前記バッファ回路のバッファ残量と１画像内のブロック数または前記１画像内のブロック数に相当する指標とに基づいてオフセット値を計算するオフセット計算回路と、前記オフセット値を含む前記各コスト値に基づいて前記複数の組み合わせ候補の中から符号化用の組み合わせを決定するブロックサイズ決定回路と、を備える。

本開示の一態様の映像符号化方法は、映像符号化装置で行う映像符号化方法において、符号化回路が、異なるサイズのブロックの組み合わせに基づいて映像を画像毎にブロック単位で符号化し、前記ブロックを任意に組み合わせた複数の組み合わせ候補の各コスト値を計算し、バッファ回路が、前記ブロック単位で符号化された前記画像の符号化データを蓄積し、オフセット計算回路が、前記バッファ回路のバッファ残量と１画像内のブロック数または前記１画像内のブロック数に相当する指標とに基づいてオフセット値を計算し、ブロックサイズ決定回路が、前記オフセット値を含む前記各コスト値に基づいて前記複数の組み合わせ候補の中から符号化用の組み合わせを決定する。

本開示によれば、映像データの符号化時にバッファ破綻が発生する可能性を低減可能な技術を提供できる。

映像符号化装置の構成例を示す図である。 イントラ／インター予測回路の構成例を示す図である。 ブロックサイズの大きさの違いによる符号量の比較例を示す図である。 ブロックサイズ決定回路の構成例を示す図である。 映像符号化方法の処理フローを示す図である。 オフセット値の計算処理フローを示す図である。 コスト値の比較およびブロックサイズの組み合わせ選択の処理フローを示す図である。 図７に示したステップＳ３０１の処理イメージを示す図である。 図７に示したステップＳ３０２の処理イメージを示す図である。 図７に示したステップＳ３０３の処理イメージを示す図である。 オフセット値のかかり方の概念を示す図である。 映像符号化装置の実施例を示す図である。 本開示適用前および適用後の各ブロックサイズ数の選択比率のシミュレーション結果を示す図である。 本開示適用前および適用後のＳＮ比を示す図である。 本開示適用前および適用後のバッファ残量を示す図である。

以下、図面を参照して、本開示の実施形態を説明する。図面の記載において同一部分には同一符号を付し説明を省略する。

［本開示の概要］
特許文献３では、小さなブロックサイズの発生比率を増加させる（ＣＵ数を多くする）ためにオフセット値を符号化コストに設定していた。反対に本開示では、大きなブロックサイズの発生比率を増加させる（ＣＵ数を少なくする）ためにオフセット値を符号化コストに設定する点に特徴がある。この点、特許文献４では、大きなブロックサイズの発生比率を増加させているが、本開示では、更に符号化データを蓄積するバッファ回路でバッファ破綻が生じないようにオフセット値を設定する点に特徴がある。

以降、本実施形態に係る映像符号化装置について説明する。本実施形態に係る映像符号化装置は、ＨＥＶＣやＨＥＶＣに準じる規格に基づく映像符号化装置である。本実施形態では、ＨＥＶＣに基づいて映像符号化を行う場合を例に説明する。ただし、ＨＥＶＣにおけるＣＵのように、符号化の基本単位が複数のブロックサイズで定義され、その複数のブロックサイズを組み合わせてピクチャ（画像）毎に映像符号化を行う映像符号化装置や映像符号化方法に適用可能である。

［映像符号化装置の構成例］
図１は、本実施形態に係る映像符号化装置１の構成例を示す図である。映像符号化装置１は、符号化回路１１と、バッファ回路１２と、オフセット計算回路１３と、ブロックサイズ決定回路１４と、を備える。

［符号化回路１１］
符号化回路１１は、映像符号化装置１に入力された画像データをピクチャ毎に、更にそれを分割したＣＴＵ毎にＣＵのブロック単位で符号化する回路である。符号化回路１１は、予測残差生成部１１１と、ＤＣＴ（Discrete Cosine Transform）変換部１１２と、量子化部１１３と、可変長符号化部１１４と、逆量子化部１１５と、逆ＤＣＴ部１１６と、復号部１１７と、イントラ／インター予測回路１１８と、を備える。

予測残差生成部１１１は、映像符号化装置１に入力された画像データとイントラ／インター予測回路１１８から出力された予測信号との差分を予測残差信号として生成する。その後、ＤＣＴ変換部１１２、量子化部１１３、可変長符号化部１１４は、その予測残差信号を符号化し、符号化した符号化データをバッファ回路１２に蓄積する。

その際、復号部１１７は、逆量子化部１１５および逆ＤＣＴ部１１６によって復元された予測残差信号と、イントラ／インター予測回路１１８で過去に予測されていた予測信号と、を基に、実際の映像データを示す復号信号を生成する。このとき、１ピクチャ分の復号信号が生成される。その後、イントラ／インター予測回路１１８は、その１ピクチャ分または複数ピクチャ分の復号信号に基づき、再び次の予測信号を生成する。

なお、「予測」とは、時刻ｔ_ｒの画像フレームから時刻ｔの画像フレームを予測することをいう。「予測信号」とは、時刻ｔ_ｒの画像フレームを基に予測した時刻ｔの画像フレームである。時刻ｔ_ｒとは、符号化順で時刻ｔよりも過去の時刻のことである。「予測残差信号」とは、予測した時刻ｔの画像フレームと時刻ｔの画像フレームとの差の信号である。予測が正確であるほど、予測残差信号は小さくなる。

上記動作は、ＨＥＶＣで行われる符号化の基本動作である。図１に示した符号化回路１１は、ＨＥＶＣで符号化を行うための典型例である。符号化回路１１は、図１に示した構成に限定されず、ＨＥＶＣの符号化を実行可能であればその他の構成でも構わない。

［バッファ回路１２］
バッファ回路１２は、符号化回路１１でＣＴＵ毎に符号化された符号化データを１ピクチャ分または複数ピクチャ分一時的に蓄積し、蓄積した１ピクチャ分または複数ピクチャ分の符号化データを映像符号化装置１から外部へ出力する回路である。

［符号化回路１１のイントラ／インター予測回路１１８］
符号化回路１１を構成するイントラ／インター予測回路１１８について説明する。上記の通り、イントラ／インター予測回路１１８は、１ピクチャ分の復号信号に基づき、再び次の予測信号を生成する回路である。

符号化回路１１での符号化は、１ピクチャをＣＴＵに分割したＣＴＵ毎に行われる。ＨＥＶＣでは、ＣＴＵは更にＣＵに分割され、ＣＵ毎に符号化が行われる。ＣＵ毎の符号化によって生成された符号化データが合成されてＣＴＵの符号化データとなる。

ＨＥＶＣで規定されているＣＵのブロックサイズは、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素の４種類である。以降、それぞれを６４×６４、３２×３２、１６×１６、８×８と表記する。ＣＴＵからＣＵへの分割は、ブロックサイズ決定回路１４でのブロックサイズの決定結果に基づいて行われる。

図２は、イントラ／インター予測回路１１８の構成例を示す図である。イントラ／インター予測回路１１８は、予測信号候補生成部１１８１と、予測信号決定部１１８２と、を備える。

予測信号候補生成部１１８１は、イントラ／インター予測回路１１８の予測時点で候補となりうるＣＵのブロックサイズの組み合わせの予測信号の候補を生成し、予測信号決定部１１８２へ供給する。この時、予測信号候補生成部１１８１は、生成した複数の予測信号候補にそれぞれ対応したコスト値を算出し、算出した各予測信号候補のコスト値をブロックサイズ決定回路１４へ供給する。

予測信号決定部１１８２は、予測信号候補生成部１１８１から供給された複数の予測信号候補の中から、ブロックサイズ決定回路１４で決定された決定ブロックサイズに対応する予測信号候補を選択し、選択した予測信号候補を予測信号として予測残差生成部１１１および復号部１１７へ出力する。

［コスト値］
コスト値とは、符号化データの映像品質・画像品質や符号量を表す指標・評価値である。符号化に係るコストであり、符号化コストとも言う。

例えば、コスト値は、特許文献３に示すように、「Ｄ＋λ・Ｒ」（Ｄは歪み量、λは所定値、Ｒは符号量）で計算する。Ｄの代わりに、差分絶対値和（ＳＡＤ値：Sum of Absolute Difference）やアダマール変換後の差分絶対値和（ＳＡＴＤ値：Sum of Absolute Transformed Difference）を使用してもよい。Ｒには、仮見積もり符号量を使用してもよい。

コスト値は、映像品質の劣化量や符号量に対応するものであれば、直接それらを示す値に限定されない。それらに関連付けられた他のパラメータも使用可能である。

コスト値は、小さいほど、少ない符号量で画像劣化量の少ない（画像品質の高い）符号化が行えることを示す。コスト値は、一般的にはブロックサイズが小さいほど小さい。従って、ブロックサイズ決定回路１４で行うＣＵのブロックサイズの決定においては、基本的には、コスト値が小さくなる（ブロックサイズが小さくなる）ようにブロックサイズの組み合わせを選択する。

［ブロックサイズの選択方法］
一方、大きなブロックサイズの方（ＣＵ数の少ない方）が全体の符号量が小さくなる場合がある。ブロックサイズの大きさ（ＣＵ数）の違いによる符号量の比較例を図３に示す。図３（ａ）は、４個の８×８の符号量を示す図である。図３（ｂ）は、１個の１６×１６の符号量を示す図である。図３（ａ）では、１個の１６×１６を４個の８×８に分割した場合を示している。

それぞれの符号量は、主にｃｏｅｆｆとオーバーヘッド（ＯＨ）とで構成される。ｃｏｅｆｆは、予測残差を符号化した符号化データの符号量であり、画像に直接寄与する。ＯＨは、画像に直接寄与しない補助的情報であり、ＣＵ毎に必要である。ＯＨは、ＣＵの大きさによらずほぼ一定量である。

図３の右側には、符号量の削減により、ｃｏｅｆｆを例えば１/２に削減した場合も示している。この場合、ＯＨは符号量の削減に寄与しない。なお、符号量の削減は、例えば、量子化部１１３でのステップのＱＰ（Quantization Parameter）値を上げる方法等が考えられる。

ここで、一般的には、小さなブロックサイズの方が予測残差は小さくなるため、ｃｏｅｆｆが小さくなる傾向があり、１個の１６×１６よりも４個の８×８の方がＯＨも含めて全体の符号量は小さい。

しかし、それぞれについてｃｏｅｆｆの符号量を例えば１／２に削減すると、全体の符号量は１６×１６の方が小さくなる。これは、ブロックサイズが小さい（ＣＵ数が多い）と符号量の削減に寄与しないＯＨの数がその分多くなるため、全体として符号量の削減効果が小さくなるからである。この場合、大きなブロックサイズの方が符号量の削減効果が大きい。

従って、符号量の削減を伴う場合には、大きなブロックサイズの方が全体の符号量が小さくなる場合があると言える。そのため、バッファ回路１２でバッファ破綻が発生するような状況においては、より大きなブロックサイズを選択することで、バッファ破綻を抑制することが可能となる。大きなブロックサイズの選択により多少の画質劣化が想定されるが、バッファ破綻による画質劣化に比べると許容範囲と考えられる。

具体的には、オフセット計算回路１３において、より大きなブロックサイズの発生比率を増加させる（ＣＵ数をより少なくする）ように誘導させるオフセット値を算出する。そして、ブロックサイズ決定回路１４において、オフセット加算後のコスト値が最小となるブロックサイズの組み合わせを選択する。

以降、オフセット計算回路１３およびブロックサイズ決定回路１４について説明する。

［オフセット計算回路１３］
オフセット計算回路１３は、オフセット値を計算する回路である。具体的には、オフセット計算回路１３は、１ピクチャにおけるＣＵ数およびバッファ回路１２のバッファ占有量（バッファ残量）に基づき、より大きなブロックサイズ（より少ないＣＵ数）が選択されやすいように誘導する各ブロックサイズのオフセット値を計算する。

１ピクチャにおけるＣＵ数に代えて、１ピクチャにおける符号量のオーバーヘッド比率（ＯＨ比率）を用いてもよい。ＯＨ比率は、図３に示した通り、ＣＵ数に関連付けられるからである。

「１ピクチャにおけるＣＵ数」および「１ピクチャにおける符号量のオーバーヘッド比率（ＯＨ比率）」について補足（例示）しておく。ＣＵ数やＯＨ比率は、１ピクチャ毎に計算される。例えば、４つの８×８の符号量におけるＣＵ数は、４となる。４つの８×８の符号量におけるＯＨ比率は、「４つのＯＨのデータ量／｛（４つのｃｏｅｆｆ＋４つのＯＨ）のデータ量（＝全符号量）｝」で計算する。

なお、オフセット値の具体的な計算方法については、後述する。このオフセット値は、ブロックサイズ決定回路１４に供給される。

［ブロックサイズ決定回路１４］
ブロックサイズ決定回路１４は、ＣＴＵからＣＵのブロックサイズへの分割の組み合わせを決定する回路である。ＣＵのブロックサイズの組み合わせは、イントラ／インター予測回路１１８から供給された各組み合わせのコスト値と、オフセット計算回路１３から供給されたオフセット値と、に基づいて決定される。

なお、コスト値とは、上記の通り、符号化した際の符号量や画像品質（歪量等）を示す評価値であり、コスト値が小さい程、低符号量および低歪を示し、符号化効率がよいとされる。

図４は、ブロックサイズ決定回路１４の構成例を示す図である。ブロックサイズ決定回路１４は、加算部１４１と、サイズ選択部１４２と、を備える。

加算部１４１は、イントラ／インター予測回路１１８からのコスト値に対し、オフセット計算回路１３からのオフセット値を加算する。なお、加算以外に乗算等の四則演算や係数を掛けても構わない。

サイズ選択部１４２は、オフセット値加算後のコスト値を複数の組み合わせ間で比較し、オフセット値加算後のコスト値が最小となるブロックサイズの組み合わせを選択する。サイズ選択部１４２は、選択したブロックサイズの組み合わせを決定ブロックサイズとして予測信号決定部１１８２に供給する。コスト値の具体的な比較方法およびブロックサイズの組み合わせの選択方法については、後述する。

コスト値にオフセット値を加算することで、ブロックサイズの組み合わせの選択に方向づけが行われることになる。本実施形態では、より大きなブロックサイズが選択されやすいように誘導される。オフセット値は、上記の通り、１ピクチャにおけるＣＵ数およびバッファ回路１２のバッファ占有量（バッファ残量）を基に決定する。ＣＵ数が求められない場合には、１ピクチャ分の符号量のＯＨ比率から推定可能である。

このように、より大きなブロックサイズが選択されるようにすることで、１ピクチャにおけるＣＵ数の増加と、その結果としてのＯＨ数の増加による符号量の増加と、の２点を抑制可能となる。

一般的には、符号化回路１１では、符号化における符号量の削減が行われる。符号量削減の例として、上述した量子化部１１３でのステップのＱＰ値を上げる方法、量子化部１１３のスケーリングリストを調整して高周波成分をカットする方法等が考えられる。しかし、これら符号量の削減を図っても、符号量がバッファ回路１２の蓄積容量をオーバーして全ての符号化データが映像符号化装置１から伝送されないバッファ破綻が発生する場合がある。

一方、本実施形態では、イントラ／インター予測後の符号化を実施する際、ＣＵのブロックサイズの組み合わせの選択時により大きなブロックサイズが選定されるので、ＣＵ数の増加やＯＨ比率の増加による符号量の増加を抑制可能となり、バッファ破綻を解消することが可能となる。本実施形態に係る映像符号化装置１は、符号量の削減が図られてもバッファ破綻が発生するような場合に適用できる。

［映像符号化装置１の動作］
図５は、映像符号化装置１で行う映像符号化方法の処理フローを示す図である。

ステップＳ１０１；
まず、符号化回路１１は、決定ブロックサイズに基づいて映像データをピクチャ毎にブロック単位で符号化する。そして、バッファ回路１２は、ブロック単位で符号化された各ピクチャの符号化データを一時的に蓄積する。

その際、符号化回路１１は、そのブロックを任意に組み合わせた複数の組み合わせ候補に対応する複数の予測信号候補を生成し、生成した複数の予測信号候補にそれぞれ対応したコスト値を算出し、算出した各予測信号候補のコスト値をブロックサイズ決定回路１４へ供給する。

ステップＳ１０２；
次に、オフセット計算回路１３は、１ピクチャにおけるＣＵ数およびバッファ回路１２のバッファ占有量（バッファ残量）に基づき、後述するように、ＣＵ数が多いほど、バッファ占有量が大きい（バッファ残量が少ない）ほど、より大きな値が設定されたオフセット値を求め、求めたオフセット値をブロックサイズ決定回路１４へ供給する。

ステップＳ１０３；
次に、ブロックサイズ決定回路１４は、各予測信号候補のコスト値にオフセット値を加算し、オフセット値加算後のコスト値を複数の予測信号候補間で比較し、最小となるコスト値の予測信号候補を選択し、選択した予測信号候補を決定ブロックサイズ（符号化用のブロックサイズ組み合わせ）として決定して符号化回路１１へ供給する。

ステップＳ１０４；
最後に、符号化回路１１は、決定ブロックサイズに対応する予測信号候補を選択し、選択した予測信号候補を予測信号とし、その予測信号と映像符号化装置１に入力された画像データと差分を予測残差信号として生成して符号化し、符号化した符号化データをバッファ回路１２に蓄積する。

［オフセット計算回路１３の動作］
図６は、オフセット計算回路１３で行うオフセット値の計算処理フローを示す図である。図中、オフセット８、オフセット１６、オフセット３２、オフセット６４は、それぞれ、ブロックサイズ８×８、ブロックサイズ１６×１６、ブロックサイズ３２×３２、ブロックサイズ６４×６４の各コスト値に加算するオフセット値を示す。１ピクチャ内において、同じブロックサイズのオフセットは、ＣＴＵやＣＵによらず同じにできる。

また、バッファ回路１２の蓄積状況、および、１ピクチャあたりのＣＵ数の状況によって、ブロックサイズ毎に４通りのオフセット（０、ａ、ｂ、ｃ）を設定する。オフセット（０、ａ、ｂ、ｃ）の大きさは、同じブロックサイズにおいて、０＜ａ＜ｂ＜ｃとする。

以下のアルゴリズムに従って、オフセット計算回路１３は、ピクチャ毎に、バッファ回路１２の破綻状況およびＣＵ数の状況からオフセット値を計算する。

ステップＳ２０１；
まず、オフセット計算回路１３は、バッファ回路１２でバッファ破綻が起こっているか否かを判定する。

ステップＳ２０２；
次に、オフセット計算回路１３は、バッファ破綻が起こっていない場合（バッファ残量≧α）、数秒後にバッファ破綻の可能性があるか否かを判定する。

ステップＳ２０３；
次に、オフセット計算回路１３は、数秒後にバッファ破綻の可能性がある場合（バッファ残量＜β）、ＣＵ数が多いか否かを判定する。

ステップＳ２０４；
オフセット計算回路１３は、バッファ破綻が起こっている場合（バッファ残量＜α）、ＣＵ数に関係なく、オフセット８～オフセット６４にｃ８～ｃ６４をそれぞれ設定（オフセットｃ設定）する。

ステップＳ２０５；
オフセット計算回路１３は、バッファ破綻が起こっていない（バッファ残量≧α）が、数秒後にバッファ破綻の可能性があり（バッファ残量＜β）、ＣＵ数が多い場合（ＯＨ比率≧γ）、オフセット８～オフセット６４にｂ８～ｂ６４をそれぞれ設定（オフセットｂ設定）する。

ステップＳ２０６；
オフセット計算回路１３は、バッファ破綻が起こっていない（バッファ残量≧α）が、数秒後にバッファ破綻の可能性があり（バッファ残量＜β）、ＣＵ数が少ない場合（ＯＨ比率＜γ）、オフセット８～オフセット６４にａ８～ａ６４をそれぞれ設定（オフセットａ設定）する。

ステップＳ２０７；
オフセット計算回路１３は、数秒後にバッファ破綻の可能性がない場合（バッファ残量≧β）、ＣＵ数に関係なく、オフセット８～オフセット６４に０をそれぞれ設定（オフセット０設定）する。オフセット０設定は、オフセットを設定しない場合となる。

なお、α、β、γは、経験的に求めた値である。例えば、αは、０か０に近い値（負値も可能）に設定でき、βは、比較的０に近い値に設定でき、γは、数十％程度に設定できる。

また、１ピクチャあたりのＣＵ数は、全体の符号量に対するＯＨの符号量の比率から推測することができる。ＣＵ数とＯＨの比率には相関関係があるため、ＣＵ数の条件を、ＯＨの比率の条件に置き換えることができる。ＯＨ比率は、全体の符号量のうちＯＨの符号量が占める割合である。ＯＨの符号量はブロックサイズに関係なくほぼ一定であるため、例えばＯＨ比率が高いとＣＵの数が多い傾向にあるとわかる。このことから、ＣＵ数の傾向を推測することができる。なお、ＯＨの比率の他に、ＣＵ数と相関があるパラメータがある場合は、それを使用することもできる。

図６に示したフローチャートにおいては、ＣＵ数が多いほど、バッファ破綻の可能性が高いほど、より大きなオフセット値を設定する（０＜ａ＜ｂ＜ｃ）。ＣＵ数が少ないほど、バッファ破綻の可能性が低いほど、より小さなオフセット値を設定する。つまり、ＣＵ数が多い場合（すなわち、ブロックサイズが小さい場合）には、オフセット値を比較的大きく設定する。

即ち、ブロックサイズ決定回路１４では、オフセット値をコスト値に加算し、ブロックサイズが小さい方のオフセットを比較的大きくすることで、より大きなブロックサイズが選ばれやすくなる。これにより、バッファ破綻の可能性を低減できる。

なお、オフセットａ８～ａ６４、ｂ８～ｂ６４、ｃ８～ｃ６４は、既存のコスト値よりも小さい値を設定する。既存のコスト値より大きな値を設定すると、コスト値よりもオフセットの方が支配的となり、オフセットの本来の役割である微調整の範囲を超える。

［ブロックサイズ決定回路１４のサイズ選択部１４２の動作］
図７は、ブロックサイズ決定回路１４のサイズ選択部１４２で行うコスト値の比較およびブロックサイズの組み合わせ選択の処理フローを示す図である。

サイズ選択部１４２は、イントラ／インター予測回路１１８の予測信号候補生成部１１８１で生成されたＣＵのブロックサイズの組み合わせの予測信号候補の全てのコスト値に、オフセット計算回路１３で決定されたオフセットを加算し、オフセット加算後のコスト値を予測信号候補間で比較し、最適な予測信号候補を選択する。

サイズ選択部１４２での比較および選択の動作は、以下のステップで行われる。ここでは、ＣＴＵが６４×６４であり、１６個の１６×１６に分割された場合について説明する。

ステップＳ３０１；
まず、サイズ選択部１４２は、１６個の１６×１６のそれぞれについて、４個の８×８に分割したパターンの場合と、分割しない１個の１６×１６のパターンの場合と、について、コスト値＋オフセット値を比較する。４個の８×８のコスト値は、それぞれのコスト値＋オフセットの合計値とする。そして、値が小さい方のＣＵ分割パターンを選択する。これを１６個の１６×１６について行う。

ステップＳ３０２；
次に、サイズ選択部１４２は、ステップＳ３０１で選択した１６個のＣＵ分割パターンと、３２×３２の分割しないパターンの場合と、について、コスト値＋オフセットを比較する。１６個のＣＵ分割パターンのコスト値は、ステップＳ３０１で選択したパターンのコスト値＋オフセットの合計値とする。そして、値が小さい方のＣＵ分割パターンを選択する。これを４個の３２×３２について行う。

ステップＳ３０３；
最後に、サイズ選択部１４２は、ステップＳ３０２で選択した４個のＣＵ分割パターンと、６４×６４の分割しないパターンの場合と、について、コスト値＋オフセットを比較する。４個のＣＵ分割パターンのコスト値は、ステップＳ３０２で選択したパターンのコスト値＋オフセットの合計値とする。そして、値が小さい方のＣＵ分割パターンを選択する。

（ステップＳ３０１の動作）
図８は、ステップＳ３０１の処理イメージを示す図である。

上位サイズの４分割時の左上のブロックをブロックＡ、右上のブロックをブロックＢ、左下のブロックをブロックＣ、右下のブロックをブロックＤで示す。

また、コストｎ＿Ｍを、上位サイズの４分割時のブロックＭ（＝Ａ～Ｄ）におけるｎ×ｎのコスト値と定義する。オフセットｎを、ピクチャにおけるサイズｎ×ｎに対するオフセットと定義する。

但し、コストｎ＿Ｍは、同じ名称でも、上位のブロックが異なれば、値は異なる。例えば、コスト８＿Ａは、１６×１６のブロックＡにおける８×８のコスト値であり、オフセット８は、サイズ８×８に対するオフセットである。但し、１６×１６のブロックＡにおける８×８は、３２×３２のブロックＡおよびブロックＢに存在するが、それらのコスト８＿Ａの値は、同じではない。しかし、オフセット８は、共通である。

図８（ａ）に示すように、４個の１６×１６のうち、ブロックＡは、それを４個の８×８に分割したパターンの場合と、分割しない１６×１６のパターンの場合とで、コスト値が比較される。４個の８×８のコスト値は、コスト８＿Ａ＋オフセット８、コスト８＿Ｂ＋オフセット８、コスト８＿Ｃ＋オフセット８、コスト８＿Ｄ＋オフセット８の合計値となる。対して、分割しない１６×１６のコスト値は、コスト１６＿Ａ＋オフセット１６である。ここでは、両者のコスト値を比較して小さい方のサイズパターンを選択する。

また、図８（ｂ）、（ｃ）、（ｄ）についても、４個の１６×１６のうち、ブロックＢ、Ｃ、Ｄで、同様に４個の８×８のパターンのコスト値の合計と、分割しない１６×１６のパターンのコスト値とを比較し、小さい方のサイズパターンを選択する。この選択状況は、画像の状況によって変わる。

（ステップＳ３０２の動作）
図９は、ステップＳ３０２の処理イメージを示す図である。

図７に示したステップＳ３０１の動作では、４個に分割した８×８のパターンにするか、分割しない１６×１６のパターンにするかを選択した。図９に示すステップＳ３０２では、分割した４個の１６×１６をステップＳ３０１で選択したパターンにするか、分割しない３２×３２のパターンにするかを選択する。なお、コストｎ＿Ｍおよびオフセットｎの定義は、図８の説明において示した内容と同じである。

図９（ａ）では、４個の３２×３２のうち、ブロックＡについて、それを４個の１６×１６に分割したパターンと、分割しない３２×３２のパターンとで、コスト値が比較される。４個の１６×１６のコスト値は、ステップＳ３０１で選択したブロックＡのパターンの合計コスト、ステップＳ３０１で選択したブロックＢのパターンの合計コスト、ステップＳ３０１で選択したブロックＣのパターンの合計コスト、ステップＳ３０１で選択したブロックＤのパターンの合計コストの総合計値となる。対して、分割しない３２×３２のパターンのコスト値は、コスト３２＿Ａ＋オフセット３２である。ここでは、両者のコスト値を比較して小さい方のサイズパターンを選択する。

また、図９（ｂ）、（ｃ）、（ｄ）についても、４個の３２×３２のうち、ブロックＢ、Ｃ、Ｄで、同様に４個の１６×１６のパターンのコスト値の合計と、分割しない３２×３２のパターンのコスト値とを比較し、小さい方のサイズパターンを選択する。

（ステップＳ３０３の動作）
図１０は、ステップＳ３０３の処理イメージを示す図である。

図９に示したステップＳ３０２の動作では、４個に分割した１６×１６のパターンにするか、分割しない３２×３２のパターンにするかを選択した。図１０に示すステップＳ３０３では、分割した４個の３２×３２をそれぞれステップＳ３０２で選択したパターンにするか、分割しない６４×６４のパターンのままにするかを選択する。なお、コストｎ＿Ｍおよびオフセットｎは、図８の説明において示した内容と同じである。

図１０（ａ）では、６４×６４を４個の３２×３２に分割したパターンと、分割しない６４×６４のパターンについて、コスト値が比較される。４個の３２×３２のコスト値は、ステップＳ３０２で選択したブロックＡのパターンの合計コスト、ステップＳ３０２で選択したブロックＢのパターンの合計コスト、ステップＳ３０２で選択したブロックＣのパターンの合計コスト、ステップＳ３０２で選択したブロックＤのパターンの合計コストの総合計値となる。対して、分割しない６４×６４のパターンのコスト値は、コスト６４＋オフセット６４である。ここでは、両者のコスト値を比較して小さい方のサイズパターンを選択する。なお、コスト６４は、上位のサイズが無いため、“＿Ｍ”は付かない。

図１０（ｂ）に、最終的に選択されたＣＵ分割パターンの例を示す。この例では、ステップＳ３０１において、６４×６４のブロックＡおよびその３２×３２のブロックＡで４個の８×８のパターンが選択され、６４×６４のブロックＡおよびその３２×３２のブロックＢ、Ｃ、Ｄで１６×１６のパターンが選択され、ステップＳ３０２において、６４×６４のブロックＡは、そのまま選択され、６４×６４のブロックＢ、Ｃ、Ｄは、それぞれ３２×３２のパターンが選択され、ステップＳ３０３において、６４×６４のブロックＡ、Ｂ、Ｃ、Ｄがそのまま選択された場合を示している。結果的に、６４×６４において左上の方向に、より小さなＣＵブロックサイズが選択されている。

［オフセット値のかかり方］
図１１は、オフセット値のかかり方の概念を示す図である。

６４×６４内で、ブロックサイズのコスト値を比較する際、８×８、１６×１６、３２×３２が複数ある場合、それぞれ共通したオフセット値が加算される。また、１つのピクチャにおいても、同じブロックサイズに対して、同じオフセット値が加算される。

［実施例］
図１２は、本実施形態に係る映像符号化装置１の実施例を示す図である。

図１２は、図８に示したステップＳ３０１の具体的なコスト値およびオフセットを設定した場合を例示している。ステップＳ３０１では、３２×３２のブロックＡである１６×１６を４個の８×８（ブロックＡ～Ｄ）に分割した場合のコスト値と、分割しない１６×１６のコスト値と、が比較される。

図１２（ａ）は、オフセット値を加算しないでコスト値のみを比較した場合である。図１２（ｂ）は、オフセット値加算後のコスト値を比較した場合である。なお、８×８のコスト値、コスト８＿Ａ～コスト８＿Ｄは、ブロックＡ～Ｄで共通の１００と算出され、ブロックＡの１６×１６のコスト値、コスト１６＿Ａは、４１０と算出されているものとする。また、８×８のオフセットであるオフセット８は５と算出され、１６×１６のオフセットであるオフセット１６は３と算出されているものとする。

図１２（ａ）では、４個の８×８のコスト値の合計は、１００×４＝４００となる。これを１６×１６のコスト値４１０と比較すると、前者の方が小さい。従って、この場合、４個の８×８のパターンが選択される。

一方、図１２（ｂ）では、４個の８×８のコスト値＋オフセットの合計は、（１００＋５）×４＝４２０となる。これを１６×１６のコスト値＋オフセットの４１０＋３＝４１３と比較すると、後者の方が小さい。従って、この場合、１６×１６のパターンが選択される。

このように、コスト値に対してオフセット値を加算することで、より大きなブロックサイズが選ばれやすくなる。なお、オフセット値は、図６に示したアルゴリズムに則って設定するが、値は経験的に求められる。他のステップにおいても同様にオフセット値が設定される。ＣＵ数が多いほど、バッファ回路１２の破綻の可能性が高いほど、大きなオフセット値がコスト値に加算されるので、より大きなブロックサイズが選ばれやすくなるように誘導される。

［シミュレーション結果および実施形態の効果］
図１３は、本開示適用前および適用後の各ブロックサイズ数の選択比率のシミュレーション結果を示す図である。図１３（ａ）は、本開示を適用しない従来の映像符号化装置におけるブロックサイズの選択比率を示す。図１３（ｂ）は、本開示を適用した映像符号化装置におけるブロックサイズの選択比率を示す。

横軸は、双方共に、ピクチャの枚数を示す。縦軸は、１ピクチャあたりの各ブロックサイズ数の比率を示す。ピクチャ枚数は、時間の経過に相当する。縦軸の数値が高いほど、対象の映像シーンにおいて、そのブロックサイズが多く選択されていることを示す。

このシミュレーションは、マラソンがスタートした映像シーンについて行った。特に、後半の映像シーンＰ１は、マラソンスタート時に紙吹雪が舞うシーンである。紙吹雪が舞うシーンでは、細かな絵柄のシーンのため、それらを表現するためブロックサイズが小さくなる傾向がある。

本開示を適用しない図１３（ａ）では、この映像シーンＰ１において、３２×３２に加えて１６×１６が目立ち、反対に６４×６４は減少している。また、８×８もやや存在している。一方、本開示を適用した図１３（ｂ）では、同様の映像シーンＰ１において、１６×１６や８×８は減少し、６４×６４や３２×３２が増加している。

この結果によって、本開示を適用した映像符号化装置１では、小さなブロックサイズが多くなるようなシーンでは、バッファ回路１２の破綻可能性が推定される場合、大きなブロックサイズが選ばれやすく誘導されることが分かる。これにより、符号量が減少しバッファ回路１２の破綻も解消できる。

図１４は、本開示適用前および適用後の画像符号化装置のＳＮ比を示す図である。

図１４（ａ）は、本開示を適用しない場合である。図１４（ｂ）は、本開示を適用した場合である。横軸は、映像シーン毎のピクチャの枚数、すなわち映像の時間経過を示す。縦軸は、符号化後の映像のＳＮ比のシミュレーション結果を示す。ＳＮ比は、信号対歪を示しており、ＳＮ比が低い程、画像品質の劣化量が大きい。

本開示を適用しない場合において、マラソンの後半の映像シーンＰ２や水球の映像シーンＰ３でバッファ回路１２のバッファ破綻によってＳＮ比が大きく劣化しているが、本開示を適用することによって、同様の映像シーンＰ２、Ｐ３においてＳＮ比が大きく改善している様子を把握できる。

図１５は、本開示適用前および適用後の画像符号化装置のバッファ残量を示す図である。バッファ回路の状況のシミュレーション結果を示す。図１５（ａ）は、本開示を適用しない場合である。図１５（ｂ）は、本開示を適用した場合である。横軸は、ピクチャの枚数、すなわち映像の時間経過を示す。縦軸は、バッファ回路１２のバッファ残量を示す。特に、この例においては、バッファ残量がゼロ以下の部分をバッファ回路１２が破綻している状況とした。

本開示を適用しない場合、図１５（ａ）に示すように、後半の映像シーンＰ４において、バッファ残量がゼロ以下になり、バッファが破綻している。一方、本開示を適用した場合は、図１５（ｂ）に示すように、図１５（ａ）においてバッファが破綻している映像シーンＰ４において、バッファ残量が０以上となりバッファ破綻が解消されている。

［本実施形態の手段、作用、効果］
本開示に係る映像符号化装置１は、バッファ回路１２の符号化データの蓄積状況や１ピクチャにおけるＣＵ数の状況に応じたオフセット値を算出し、算出したオフセット値をＣＵの各ブロックサイズの組み合わせ候補のコスト値にそれぞれ加算し、オフセット値加算後のコスト値が最小となるブロックサイズの組み合わせを選択する。

オフセット値には、ＣＵ数が多いほど、バッファ破綻の可能性が高いほど、より大きなオフセット値を設定し、ＣＵ数が少ないほど、バッファ破綻の可能性が低いほど、より小さなオフセット値を設定する。つまり、ＣＵ数が多い場合（すなわち、ブロックサイズが小さい場合）には、オフセット値を比較的大きく設定する。

基本的にはコスト値が小さくなる（ブロックサイズが小さくなる）ようにブロックサイズの組み合わせを決定するが、上記オフセット値をコスト値に加算し、ブロックサイズが小さい方のオフセットを比較的大きくすることで、より大きなブロックサイズが選ばれやすくなる。

これにより、バッファ回路１２のバッファ破綻の可能性が高い場合、より大きなブロックサイズが選ばれやすく誘導でき、それにより全体の符号量を低減しバッファ回路１２のバッファ破綻を抑制できる。

［本開示の効果］
本開示によれば、映像符号化装置１が、異なるサイズのブロックの組み合わせに基づいて映像を画像毎にブロック単位で符号化し、前記ブロックを任意に組み合わせた複数の組み合わせ候補の各コスト値を計算する符号化回路１１と、前記ブロック単位で符号化された前記画像の符号化データを蓄積するバッファ回路１２と、前記バッファ回路のバッファ残量と１画像内のブロック数または前記１画像内のブロック数に相当する指標とに基づいてオフセット値を計算するオフセット計算回路１３と、前記オフセット値を含む前記各コスト値に基づいて前記複数の組み合わせ候補の中から符号化用の組み合わせを決定するブロックサイズ決定回路１４と、を備えるので、映像データの符号化時にバッファ破綻が発生する可能性を低減できる。

本開示によれば、前記１画像内のブロック数に相当する指標は、前記１画像における、全符号化データのデータ量および前記全符号化データの全オーバーヘッドのデータ量に対する、前記全符号化データの全オーバーヘッドのデータ量の比率であるので、映像データの符号化時にバッファ破綻が発生する可能性を低減できる。

本開示によれば、前記オフセット値は、前記バッファ回路のバッファ残量が第１の閾値未満の場合、第１の値であり、前記バッファ回路のバッファ残量が前記第１の閾値以上で第２の閾値未満、かつ、前記１画像内のブロック数が多い場合、第２の値であり、前記バッファ回路のバッファ残量が前記第１の閾値以上で前記第２の閾値未満、かつ、前記１画像内のブロック数が少ない場合、第３の値であり、前記バッファ回路のバッファ残量が前記第２の閾値以上の場合、ゼロの値であり、前記第１の値は、前記第２の値よりも大きい値であり、前記第２の値は、前記第３の値よりも大きい値であり、前記第３の値は、前記ゼロよりも大きい値であるので、映像データの符号化時にバッファ破綻が発生する可能性を低減できる。

本開示によれば、前記コスト値は、符号量と映像品質とのうち少なくとも１つに関する値であるので、映像データの符号化時にバッファ破綻が発生する可能性を低減できる。

本開示によれば、前記コスト値は、符号量と映像の歪量とのうち少なくとも１つに関する値であり、前記ブロックサイズ決定回路は、前記オフセット値を含む前記コスト値が最も小さい組み合わせ候補を前記符号化用の組み合わせとして決定するので、映像データの符号化時にバッファ破綻が発生する可能性を低減できる。

１ 映像符号化装置
１１ 符号化回路
１２ バッファ回路
１３ オフセット計算回路
１４ ブロックサイズ決定回路
１１１ 予測残差生成部
１１２ ＤＣＴ変換部
１１３ 量子化部
１１４ 可変長符号化部
１１５ 逆量子化部
１１６ 逆ＤＣＴ部
１１７ 復号部
１１８ イントラ／インター予測回路
１１８１ 予測信号候補生成部
１１８２ 予測信号決定部
１４１ 加算部
１４２ サイズ選択部

Claims (6)

1. 異なるサイズのブロックの組み合わせに基づいて映像を画像毎にブロック単位で符号化し、前記ブロックを任意に組み合わせた複数の組み合わせ候補の各コスト値を計算する符号化回路と、
   前記ブロック単位で符号化された前記画像の符号化データを蓄積するバッファ回路と、
   前記バッファ回路のバッファ残量と１画像内のブロック数または前記１画像内のブロック数に相当する指標とに基づいてオフセット値を計算するオフセット計算回路と、
   前記オフセット値を含む前記各コスト値に基づいて前記複数の組み合わせ候補の中から符号化用の組み合わせを決定するブロックサイズ決定回路と、
   を備える映像符号化装置。
2. 前記１画像内のブロック数に相当する指標は、
   前記１画像における、全符号化データのデータ量および前記全符号化データの全オーバーヘッドのデータ量に対する、前記全符号化データの全オーバーヘッドのデータ量の比率である請求項１に記載の映像符号化装置。
3. 前記オフセット値は、前記バッファ回路のバッファ残量が第１の閾値未満の場合、第１の値であり、前記バッファ回路のバッファ残量が前記第１の閾値以上で第２の閾値未満、かつ、前記１画像内のブロック数が多い場合、第２の値であり、前記バッファ回路のバッファ残量が前記第１の閾値以上で前記第２の閾値未満、かつ、前記１画像内のブロック数が少ない場合、第３の値であり、前記バッファ回路のバッファ残量が前記第２の閾値以上の場合、ゼロの値であり、
   前記第１の値は、前記第２の値よりも大きい値であり、
   前記第２の値は、前記第３の値よりも大きい値であり、
   前記第３の値は、前記ゼロよりも大きい値である請求項１に記載の映像符号化装置。
4. 前記コスト値は、
   符号量と映像品質とのうち少なくとも１つに関する値である請求項１に記載の映像符号化装置。
5. 前記コスト値は、符号量と映像の歪量とのうち少なくとも１つに関する値であり、
   前記ブロックサイズ決定回路は、
   前記オフセット値を含む前記コスト値が最も小さい組み合わせ候補を前記符号化用の組み合わせとして決定する請求項１に記載の映像符号化装置。
6. 映像符号化装置で行う映像符号化方法において、
   符号化回路が、異なるサイズのブロックの組み合わせに基づいて映像を画像毎にブロック単位で符号化し、前記ブロックを任意に組み合わせた複数の組み合わせ候補の各コスト値を計算し、
   バッファ回路が、前記ブロック単位で符号化された前記画像の符号化データを蓄積し、
   オフセット計算回路が、前記バッファ回路のバッファ残量と１画像内のブロック数または前記１画像内のブロック数に相当する指標とに基づいてオフセット値を計算し、
   ブロックサイズ決定回路が、前記オフセット値を含む前記各コスト値に基づいて前記複数の組み合わせ候補の中から符号化用の組み合わせを決定する、
   映像符号化方法。

Images