JP2011129979A - 画像処理装置 - Google Patents

Abstract

【課題】フレームあるいはフィールド間動き補償を用いた圧縮方式で圧縮された動画像からシーンチェンジを確実に検出する。
【解決手段】縮小画像生成部１３０は、ＭＰＥＧ−２ストリームから、動画像を構成する複数のピクチャの縮小画像を符号化順に取得する。周波数成分取得部１５０は、縮小画像生成部１３０により得られた複数の縮小画像の周波数成分をそれぞれ抽出する。シーンチェンジ度算出部１６０は、該複数の縮小画像の周波数成分を表示順に並び替えて、シーンチェンジの可能性の大小を示すシーンチェンジ度として、連続する２つの縮小画像毎に、または連続する２つのＧＯＰの先頭Ｉピクチャの縮小画像毎に、周波数成分取得部１５０が取得した周波数成分の差分を求める。
【選択図】図２

Description

本発明は、画像処理技術、具体的には、圧縮された動画像に対してシーンチェンジ検出を行う技術に関する。

圧縮された動画像に対して、シーンの切り替わる箇所を特定するシーンチェンジ検出が様々な目的で行われている。例えば、ビデオ録画装置では、ビデオ編集の開始点として、シーンチェンジの箇所を設定することが多い。また録画したビデオのシーンの検索にシーンチェンジの画像をしばしば用いる。さらに、デジタル放送のストリームに対して、解像度や圧縮率を変えて録画する場合や、トランスコードをする場合などがあり、これらの場合において、シーンチェンジの情報を利用して録画時の符号化を行うことにより画質の向上を図ることができる。なお、「トランスコード」とは、圧縮の符号化方式を変えて録画することを意味し、例えば符号化方式をＭＰＥＧ−２からＨ．２６４に変更して録画することはこれに該当する。説明上の便宜のため、以下、解像度や圧縮率を変えて圧縮することやトランスコードなどを「再圧縮」という。

シーンチェンジが生じると、現在のピクチャと過去のピクチャとの相関が無くなる。フレーム間動き補償を用いた圧縮方式で圧縮を行う際に、相関の無いフレーム間でフレーム間動き補償を行うのでは、画質劣化を引き起こしかねない問題がある。そのため、上述した再圧縮の際に、シーンチェンジが生じるピクチャを、該ピクチャを符号化する前に検出しておく必要がある。

ここで、圧縮された動画像に対してシーンチェンジ検出を行う技術をいくつか説明する。説明に際して、動画像の元の圧縮方式としてＭＰＥＧ−２を例にする。また、本発明の説明において、特別な説明が無い限り、「ピクチャ」は、動画像の構成単位を意味し、「フレーム」と「フィールド」のいずれも含む。

ＭＰＥＧ−２では、フレームあるいはフィールド間動き補償と、ブロック毎の直交変換（ＤＣＴ）とを組み合わせた符号化が採用されている。ブロックは、ピクチャの画面を８画素×８ラインに分割したものである。通常使われている４：２：０フォーマットでは、符号化は、輝度信号（Ｙ）の４ブロックと、２つの色差信号（Ｃｂ、Ｃｒ）それぞれ１ブロックにより構成されたマクロブロック（ＭＢ）単位で行われる。ＭＢは、画面内で符号化するイントラＭＢと、過去の符号化ピクチャを参照して動き補償の予測値を作成する前方予測ＭＢと、未来の符号化ピクチャを参照して動き補償の予測値を作成する後方予測ＭＢと、過去及び未来の符号化ピクチャを参照して動き補償の予測値を作成する両方向予測ＭＢの４種類がある。またピクチャは、イントラＭＢしか使えないＩピクチャと、イントラＭＢと前方予測ＭＢのみ使えるＰピクチャと、全てのタイプのＭＢが使えるＢピクチャの３種類がある。Ｂピクチャは、それが参照する未来のＩピクチャまたはＰピクチャの後に符号化されるため、Ｂピクチャがある場合には、ストリームにおけるピクチャの並び順と表示順が異なる。また、ストリーム上でＩピクチャから始まる０．５〜１秒程度のピクチャ群により、ランダムアクセスや編集の単位としてのＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）が構成される。

特許文献１には、圧縮された動画像の１ピクチャ毎のデータ量を計数し、計数値と閾値とを比較することにより該ピクチャがシーンチェンジであるか否かを判定する技術が開示されている（特許文献１における請求項７）。

特許文献２には、シーンチェンジである可能性であるピクチャに対して、イントラ符号化マクロブロックの数と、それ以外の予測マクロブロックの数との比率を算出して閾値と比較し、比較の結果に基づいて該ピクチャがシーンチェンジであるか否かを判定する技術が開示されている。

特許文献３には、ピクチャの種類別の符号量を求め、求めた符号量に所定の演算を施して２つのピクチャ間の相関を表す特徴量を算出し、閾値との比較によりシーンチェンジを検出する技術が開示されている。

シーンチェンジのピクチャは、表示順で直前のピクチャと相関が無いため、フレーム間予測がしにくくなる。そのため、シーンチェンジのピクチャは、符号量が増えたり、予測ＭＢの数の比率が変わったりする。上述した各技術は、この点を利用してシーンチェンジを検出している。

ここで、図７〜図１１を参照して、よく使われる「Ｍ＝１」タイプと「Ｍ＝３」タイプのストリームに対して上記技術によるシーンチェンジ検出を説明する。なお、「Ｍ＝１」タイプのストリームとは、ＩピクチャとＰピクチャのみを有するストリームを意味し、「Ｍ＝３」タイプのストリームとは、ＩまたはＰピクチャ間に２枚のＢピクチャが挟まれるストリームを意味する。また、各図において、「Ｉ」、「Ｂ」、「Ｐ」は、ピクチャの種類（タイプ）を示し、ピクチャタイプの次の数字は、表示順での番号を示す。分かりやすいように、表示する際のピクチャの並び順も示す。なお、図中陰影は、シーンチェンジが起こるピクチャを示す。

図７は、「Ｍ＝１」タイプであり、Ｐピクチャに続くＰピクチャでシーンチェンジが生じた場合のストリームの例を示す。図示のように、該ストリームは、ＩピクチャとＰピクチャからなり、Ｐ２に続くＰ３でシーンチェンジが生じている。

この場合、Ｐ２とＰ３の相関が低いことから、符号化時にＰ２を前方参照して動き補償がなされるＰ３は、イントラＭＢが多くなり、また前方予測ＭＢでは動きベクトルが大きくなる傾向があり、符号量も大きくなる。このような場合、上述した技術によりＰ３をシーンチェンジとして検出することができる。

図８は、「Ｍ＝３」タイプであり、Ｂピクチャに続くＰピクチャでシーンチェンジが生じた場合のストリームの例を示す。図示のように、該ストリームは、ＩまたはＰピクチャ間に２枚のＢピクチャが挟まれており、Ｉ２、Ｂ０、Ｂ１に続くＰ５でシーンチェンジが生じている。

この場合、符号化時にＩ２を前方参照して動き補償がなされるＰ５は、イントラＭＢが多くなる。また、Ｉ２を前方参照しＰ５を後方参照して動き補償がなされるＢ３とＢ４は、後方予測ＭＢと両方向予測ＭＢが少なくなる。そのため、上述した技術によりＰ５をシーンチェンジとして検出することができる。

図９は、「Ｍ＝３」タイプであり、Ｐピクチャに続くＢピクチャでシーンチェンジが生じた場合のストリームの例を示す。図示のように、該ストリームは、Ｉ２、Ｂ０、Ｂ１、Ｐ５に続くＢ３でシーンチェンジが生じている。

この場合、Ｉ２を前方参照して動き補償がなされるＰ５は、イントラＭＢが多くなる。また、Ｉ２を前方参照しＰ５を後方参照して動き補償がなされるＢ３とＢ４は、前方予測ＭＢと両方向予測ＭＢが少なくなる。そのため、上述した技術によりＢ３をシーンチェンジとして検出することができる。

図１０は、「Ｍ＝３」タイプであり、Ｂピクチャに続くＢピクチャでシーンチェンジが生じた場合のストリームの例を示す。図示のように、該ストリームは、Ｉ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３に続くＢ４でシーンチェンジが生じている。

この場合も、Ｉ２を前方参照して動き補償がなされるＰ５は、イントラＭＢが多くなる。また、Ｉ２を前方参照しＰ５を後方参照して動き補償がなされるＢ３は、後方予測ＭＢと両方向予測ＭＢが少なくなり、Ｉ２を前方参照しＰ５を後方参照して動き補償がなされるＢ４は、前方予測ＭＢと両方向予測ＭＢが少なくなる。そのため、上述した技術によりＢ４をシーンチェンジとして検出することができる。

図１１は、「Ｍ＝３」タイプであり、Ｂピクチャに続くＩピクチャでシーンチェンジが生じた場合のストリームの例を示す。図示のように、該ストリームは、Ｉ２、Ｂ０、Ｂ１、Ｐ５、Ｂ３、Ｂ４に続くＩ８でシーンチェンジが生じている。

この場合、Ｐ５を前方参照しＩ８を後方参照して動き補償がなされるＢ６とＢ７は、後方予測ＭＢと両方向予測ＭＢが少なくなる。そのため、上述した技術によりＩ８をシーンチェンジとして検出することができる。

特許文献４には、静止画像が類似するか否かを判定するための特徴量の取得技術が開示されている。この技術は、静止画像の縮小画像を生成し、縮小画像に対して周波数解析を行って画像特徴量として直流分および一部の交流分を取得する。また、動画像については、動画像のデータから一部または全部のフレームを取り出してそれぞれの縮小画像を生成し、縮小画像毎に周波数解析を行ってフレーム特徴量として直流分および一部の交流分を取得し、これらのフレーム特徴量を集めて動画像の特徴量とする。

特開平０６−０２２３０４号公報 特表２００５−５０５１６５号公報 特開平１０−０２３４２１号公報 特開２０００−２５９８３２号公報

ところで、特許文献１−３の技術では、シーンチェンジが検出できない、または誤検出をしてしまう場合がある。

例えば、図１２に示すように、「Ｍ＝１」タイプのストリームで、Ｉピクチャ（図中Ｉ７）でシーンチェンジが生じた場合に、Ｉ７のマクロブロックは元々全てイントラＭＢであるので、ＭＢの符号化タイプの比率の比較によるシーンチェンジ検出ができない。また、Ｉ７の符号量と、前のＧＯＰの先頭のＩピクチャの符号量とは大きく異なるとも限らないので、符号量の比較によるシーンチェンジ検出ができない場合がある。

また、図１３に示すように、「Ｍ＝３」タイプのストリームで、編集しやすいようにｃｌｏｓｅｄＧＯＰ構成が採用されている場合には、ＧＯＰの先頭のＩピクチャ（Ｉ８）に続くＢピクチャ（Ｂ６）でシーンチェンジが生じた場合、Ｂ６が元々直前のＧＯＰの最後のＰピクチャを参照できない制限があるため、ＭＢの符号化タイプの比率の比較によるシーンチェンジ検出ができない。また、図１４に示すように、「Ｍ＝３」タイプのストリームで、シーンチェンジがＩピクチャ（Ｉ６）で生じ、該Ｉピクチャに続くピクチャがＢピクチャではなくＰピクチャ（Ｐ９）である場合においても同様である。

また、フェードイン、フェードアウト、クロスフェード、ズームなどフレーム間動き補償では予測しにくい動画像では、予測ＭＢの数や動きベクトルのデータ量などは通常と変わってしまう。例えば、イントラＭＢが多くなったり、Ｂピクチャでは時間的に遠いピクチャを参照するＭＢが少なくなったりする。これらの場合、特許文献１−３の技術では、誤検出が生じてしまう恐れがある。

また、特許文献４の技術を動画像のシーンチェンジ検出に利用することが考えられる。例えば、動画像をデコードして静止画像（フレーム）を得、各フレームに対して周波数解析を行って得た直流分と一部の交流分をフレームの特徴量として取得し、フレーム間の特徴量の差分に基づいてシーンチェンジを検出する。

しかし、上述した再圧縮の場合、各ピクチャの符号化タイプを変えないよう、ストリームにおけるピクチャの並び順（すなわち符号化順）に再圧縮することが望ましいため、再圧縮のためのデコードにより得られた各画像は、通常、表示順ではなく、ストリームにおける並び順すなわち元の符号化順で出力される。これでは、Ｂピクチャが使われるストリームでのシーンチェンジの検出が困難である。たとえば図６に示すストリームではＰ５でシーンチェンジが起こるが、符号化順で特徴量を比較すると、Ｂ１とＰ５、Ｐ５とＢ３、Ｂ４とＩ８の３回特徴量の差分が大きくなることが予想される。

本発明の一つの態様は、フレームあるいはフィールド間動き補償を用いた圧縮方式で圧縮された動画像の画像処理装置である。この画像処理装置は、縮小画像生成部と、周波数成分取得部と、シーンチェンジ度算出部を備える。

縮小画像生成部は、前記動画像のデータから、該動画像を構成する複数のフレームの縮小画像を符号化順に取得する。

周波数成分取得部は、縮小画像生成部により得られた複数の縮小画像の周波数成分をそれぞれ抽出する。

シーンチェンジ度算出部は、上記複数の縮小画像の周波数成分を表示順に並び替えて、シーンチェンジの可能性の大小を示すシーンチェンジ度として、連続する２つの縮小画像毎に、または連続する２つのＧＯＰの先頭Ｉピクチャの縮小画像毎に上記差分を求める。

なお、上記態様の装置を方法やシステムに置き換えて表現したもの、コンピュータを該装置として動作せしめるプログラムなども、本発明の態様としては有効である。

本発明にかかる技術によれば、動画像から確実にシーンチェンジを検出できる。

本発明の第１の実施の形態にかかる録画装置を示す図である。 図１に示す録画装置におけるシーンチェンジ検出部を示す図である。 図２に示すシーンチェンジ検出部による具体例の処理を説明するための図である。 白フェードアウトとシーンチェンジを含むストリームに対してフレーム毎に求めた各種ＭＢの数の例を示す図である。 図２に示すシーンチェンジ検出部により、白フェードアウトとシーンチェンジを含むストリームに対して求めた、隣接するフレーム間の周波数成分の差分を示す図である。 本発明の第２の実施の形態にかかる録画装置におけるシーンチェンジ検出部を示す図である。 従来技術によりシーンチェンジ検出が可能なストリームの例を示す図である（その１）。 従来技術によりシーンチェンジ検出が可能なストリームの例を示す図である（その２）。 従来技術によりシーンチェンジ検出が可能なストリームの例を示す図である（その３）。 従来技術によりシーンチェンジ検出が可能なストリームの例を示す図である（その４）。 従来技術によりシーンチェンジ検出が可能なストリームの例を示す図である（その５）。 従来技術によりシーンチェンジ検出が困難なストリームの例を示す図である（その１）。 従来技術によりシーンチェンジ検出が困難なストリームの例を示す図である（その２）。 従来技術によりシーンチェンジ検出が困難なストリームの例を示す図である（その３）。

以下、図面を参照して本発明の実施の形態について説明する。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。
＜第１の実施の形態＞

図１は、本発明の第１の実施の形態にかかる録画装置１００を示す。録画装置１００は、動画像ここではデジタル放送のＭＰＥＧ−２ストリームを録画するものであり、録画に際して、Ｈ．２６４方式で再圧縮を行う。図１に示すように、録画装置１００は、録画部１１０とシーンチェンジ検出部１２０を有する。

録画部１１０は、ＭＰＥＧ−２デコーダ１１２とＨ．２６４エンコーダ１１４を備える。ＭＰＥＧ−２デコーダ１１２は、ＭＰＥＧ−２ストリームをデコードしてＨ．２６４エンコーダ１１４に出力する。Ｈ．２６４エンコーダ１１４は、ＭＰＥＧ−２デコーダ１１２から出力された動画像に対してＨ．２６４方式で再圧縮を行う。Ｈ．２６４エンコーダ１１４は、再圧縮に際して、シーンチェンジ検出部１２０からのシーンチェンジ検出情報を参照する。

シーンチェンジ検出部１２０は、ＭＰＥＧ−２ストリームに対してシーンチェンジ検出を行い、シーンチェンジの箇所（ピクチャ）を示すシーンチェンジ検出情報をＨ．２６４エンコーダ１１４に供する。

図２は、シーンチェンジ検出部１２０を示す。シーンチェンジ検出部１２０は、縮小画像生成部１３０と、周波数成分取得部１５０と、シーンチェンジ度算出部１６０と、シーンチェンジ判定部１８０を備える。

縮小画像生成部１３０は、ＭＰＥＧ−２ストリームを部分的にデコードし、該ストリームが表わす動画像を構成する複数のピクチャの縮小画像を符号化順に取得して周波数成分取得部１５０に出力する。周波数成分取得部１５０は、縮小画像生成部１３０からの各縮小画像の周波数成分をそれぞれ抽出してシーンチェンジ度算出部１６０に出力する。シーンチェンジ度算出部１６０は、周波数成分取得部１５０により得られた各縮小画像の周波数成分を表示順に並び替えて、連続する２つの画像毎に、周波数成分の差分を求める。これらの差分は、シーンチェンジの可能性の大小を示すシーンチェンジ度としてシーンチェンジ度算出部１６０からシーンチェンジ判定部１８０に出力される。シーンチェンジ判定部１８０は、シーンチェンジ度算出部１６０が算出したシーンチェンジ度を所定の閾値と比較することによりシーンチェンジの有無を判定する。具体的には、シーンチェンジ度が上記閾値以上であれば、シーンチェンジが生じたと判定すると共に、該当箇所を示すシーンチェンジ検出情報をＨ．２６４エンコーダ１１４に出力する。

図３に示す具体例を参照して、シーンチェンジ検出部１２０の各機能ブロックの動作を説明する。
縮小画像生成部１３０は、部分可変長復号部１３２と、部分逆量子化部１３４と、平均成分復元部１３６と、加算器１３８と、セレクタ１４０と、予測画素作成部１４２、フレームメモリ１４４、縮小ピクチャ生成部１４６を備える。なお、縮小画像生成部１３０は、ＭＰＥＧ−２ストリームが表わす動画像の各ピクチャの低周波成分のみをデコードする点を除き、通常のＭＰＥＧ−２デコーダと同様の動作をするため、ここでは簡単に説明する。

部分可変長復号部１３２は、ピクチャヘッダからピクチャ符号化タイプや量子化マトリクスなど、低周波数成分のデコードに必要なデータを復号し、また、ＭＢヘッダ毎にＭＢ符号化タイプ、動きベクトル、量子化幅を復号する。

部分逆量子化部１３４と平均成分復元部１３６は、ブロック毎に最初のＤＣＴ係数を復号する。具体的には、イントラＭＢでは、周波数（０，０）成分となるＤＣ係数予測誤差を復号し、イントラＭＢ以外では予測誤差係数の周波数（０，０）成分を復号する。なお、イントラＭＢの場合、ＤＣ係数予測値を用いてＤＣ係数を復号する。

加算器１３８は、平均成分復元部１３６の出力とセレクタ１４０の出力を加算してブロックの平均成分を得る。セレクタ１４０は、イントラＭＢについてイントラ予測値（８ｂｉｔ画像の場合は１２８）を出力し、イントラＭＢ以外については予測画素作成部１４２が作成した予測値を出力する。すなわち、加算器１３８は、イントラＭＢについて、平均成分復元部１３６からのＤＣ成分と、セレクタ１４０からのイントラ予測値を加算して該イントラＭＢの各ブロックの平均成分を得る。イントラＭＢ以外については、平均成分復元部１３６からの予測誤差係数の周波数（０，０）成分と、セレクタ１４０からの、予測画素作成部１４２が作成した予測値とを加算して該ＭＢの各ブロックの平均成分を得る。

予測画素作成部１４２は、イントラＭＢ以外のＭＢについて、部分可変長復号部１３２が得た動きベクトルを１／８に縮小した動きベクトルと、フレームメモリ１４４に格納された前方参照画像または後方参照画像とを用いて予測値を作成する。ここで動きベクトルを１／８に縮小するのは、８画素×８ラインのブロックを平均成分からなる１画素に縮小するのに合わせるためである。

縮小ピクチャ生成部１４６は、ピクチャ毎に、加算器１３８から出力された各ブロックの平均成分を集めて縮小画像を生成する。これらは、各ピクチャの縮小画像である。ブロックのサイズはが８画素×８ラインであるので、縮小ピクチャ生成部１４６が作成した画像の大きさは、完全に復号した場合の１／８×１／８である。例えば、入力されたＭＰＥＧ−２ストリームの各ピクチャが１９２０画素×１０８０ラインであるときに、縮小ピクチャ生成部１４６から出力された縮小画像は、輝度（Ｙ）は２４０画素×１３６ラインであり、色差（Ｃｂ、Ｃｒ）は１２０画素×６８ラインである。

縮小ピクチャ生成部１４６は、生成した各縮小画像を順次周波数成分取得部１５０に出力する。また、縮小ピクチャ生成部１４６は、ＩピクチャとＰピクチャについては、それらの縮小画像をフレームメモリ１４４にも出力する。これらの縮小画像は、後続のＰピクチャまたはＢピクチャの前方参照画像または後方参照画像として予測画素作成部１４２に用いられる。

図３に示すように、縮小画像生成部１３０からの縮小画像の出力順は、ＭＰＥＧ−２ストリームにおける並び順すなわち符号化順と同一である。

周波数成分取得部１５０は、ブロック化部１５２と順方向ＤＣＴ変換部１５４を有し、縮小ピクチャ生成部１４６からの各縮小画像の周波数成分をそれぞれ抽出してシーンチェンジ度算出部１６０に供する。

ブロック化部１５２は、縮小画像のＹ、Ｃｂ、Ｃｒをそれぞれ８画素×８画素のブロックに縮小して順方向ＤＣＴ変換部１５４に出力する。例えば、入力されたＭＰＥＧ−２ストリームが１９２０画素×１０８０ラインの場合には、縮小画像のＹを３０画素×１６ライン単位の領域に分割して各領域の平均値を求め、Ｃｂ、Ｃｒについては１５画素×８ライン単位の領域に分割して各領域の平均値を求める。

順方向ＤＣＴ変換部１５４は、８×８ＤＣＴ変換を行って縮小画像毎に、Ｙ、Ｃｂ、Ｃｒにつきそれぞれ８×８個の変換係数（ＤＣＴ係数）を求めてシーンチェンジ度算出部１６０に出力する。すなわち、本実施の形態において、周波数成分取得部１５０は、ＤＣＴ係数を周波数成分として取得する。

図３に示すように、周波数成分取得部１５０からの周波数成分の出力順も、符号化順である。

シーンチェンジ度算出部１６０は、バッファ１６２、バッファ１６４、セレクタ１６６、バッファ１６８、差分算出部１７０を備える。

バッファ１６２、バッファ１６４、セレクタ１６６は、協働して、周波数成分取得部１５０から出力された周波数成分を表示順に並べ替えて差分算出部１７０とバッファ１６８に出力する。図３に示すように、セレクタ１６６からは、各周波数成分は、表示順に出力されている。

差分算出部１７０は、セレクタ１６６から現在出力してきた縮小画像の周波数成分と、バッファ１６８に格納された１つ前の縮小画像の周波数成分との差分を求めてシーンチェンジ判定部１８０に出力する。図３に示すように、バッファ１６８は、セレクタ１６６が現在出力した縮小画像の周波数成分の１つ前の縮小画像の周波数成分を出力するようになっている。

なお、本実施の形態において、差分算出部１７０は、周波数が低いほど重み付け係数が大きくなるように周波数成分を重み付けした上で、２つの縮小画像間の周波数成分の差分を求める。具体的には、下記の式（１）に従って差分を求める。なお、周波数成分は６４成分あるが、高周波成分の重み付け係数を０にして、格納する周波数成分の数を減らすこともできる。
差分＝Σw(m,n)*|Fi(m,n)−Fi(m,n)| (1)
但し，Ｆi(m,n)： 縮小画像ｉの周波数(m,n)成分
Ｆj(m,n)： 縮小画像jの周波数(m,n)成分
ｗ(m,n)： 周波数ｗ(m,n)の重み付け係数

シーンチェンジ判定部１８０は、シーンチェンジ度算出部１６０が算出したシーンチェンジ度を閾値と順次比較し、シーンチェンジ度が上記閾値以上であれば、シーンチェンジが生じたと判定すると共に、該当箇所を示すシーンチェンジ検出情報をＨ．２６４エンコーダ１１４に出力する。

本実施の形態の録画装置１００によれば、動画像データから生成した縮小画像の周波数成分を取得して表示順に並び変えることによって、表示順で連続する２つのフレーム間の周波数成分の差分によりシーンチェンジ検出を可能にしたため、確実にシーンチェンジを検出できる。

図４は、ある１９２０画素×１０８０ラインの画像のストリームに対して、ピクチャ毎に求められた各種ＭＢの数を示す。図中横軸は、分かりやすいように、表示順のピクチャ番号を示す。このストリームは、ピクチャ番号３、１８、３３、４８、５１がＩピクチャの「Ｍ＝３」タイプである。また、このストリームは、４３番ピクチャ〜５３番ピクチャあたりまでが白フェードアウトであり、５７番のＰピクチャでシーンチェンジが生じている。

図示のように、フェードアウトの箇所とシーンチェンジが生じた箇所間で、イントラＭＢの数や、予測ＭＢの数などの差が不明確である。たとえば４５番と５４番のＰピクチャではイントラＭＢがそれぞれ過半数の約４０００個、５４００個と多くなり、従来技術ではシーンチェンジとみなされる可能性がある。また５２番のＢピクチャでも逆方向および両方向ＭＢ数が通常より少なく、シーンチェンジとみなされる可能性がある。またこのストリームは１７、３２番のようにＧＯＰの最終のＢピクチャで順方向予測ＭＢ及び両方向予測ＭＢが通常より少なくなっており、やはりシーンチェンジとみなされる可能性がある。

図５は、本実施の形態の録画装置１００により同一のストリームに対して処理を行った結果、差分算出部１７０が得た周波数成分の差分を示す。図から分かるように、シーンチェンジ箇所の差分が、他の箇所（白フェードアウトの箇所を含む）に対して算出した差分より突出した大きさを有する。そのため、シーンチェンジの検出精度が高い。また白フェードアウト部分も他の部分と比較して差分が大きく、識別可能であり、再圧縮の際の符号化情報として利用可能である。
＜第２の実施の形態＞

本発明の第２の実施の形態も録画装置である。この録画装置は、シーンチェンジ検出部が録画装置１００のシーンチェンジ検出部１２０と異なる点を除き、録画装置１００と同様の構成を有する。ここでは本第２の実施の形態にかかる録画装置におけるシーンチェンジ検出部２２０についてのみ説明する。

図６は、シーンチェンジ検出部２２０を示す。なお、図６において、図２に示すシーンチェンジ検出部１２０のものと同一の構成要素に対して同一の符号を付与し、これらの構成要素の説明を省略する。

図６に示すように、シーンチェンジ検出部２２０のシーンチェンジ度算出部２６０は、シーンチェンジ検出部１２０のシーンチェンジ度算出部１６０と異なる。また、シーンチェンジ度算出部２６０は、セレクタ１６６とバッファ１６８との間に演算器２６２が追加された点を除き、シーンチェンジ度算出部１６０と同様である。

演算器２６２は、セレクタ１６６の出力（現ピクチャの周波数成分「ｉ」）と、バッファ１６８の出力（過去の周波数成分「ｉ」）が入力され、それらの平均値（周波数成分「ｉ」）を算出してバッファ１６８に出力するものである。すなわち、演算器２６２とバッファ１６８は、セレクタ１６６から出力された各周波数成分に対する時間方向の無限インパルス応答フィルタを構成する。演算器２６２とバッファ１６８により実現される処理は、式（２）に示す。

周波数成分[i]＝現ピクチャの周波数成分[i]／２＋過去の周波数成分[i]）／２ （２）

第１の実施の形態の録画装置１００において、シーンチェンジ度算出部１６０は、セレクタ１６６から現在出力された縮小画像の周波数成分（現ピクチャ周波数成分「ｉ」）と、バッファ１６８に格納された１つ前の縮小画像の周波数成分との差分を求めている。ところでストリームによっては、照明が変化したりして、短時間で明るさや色調が変わることもある。このようなストリームでは、ピクチャ毎の周波数成分の低周波数成分が変動し、録画装置１００においてもシーンチェンジを誤検出する可能性がある。本第２の実施の形態の録画装置は、このようなストリームにも対応できるようにしたものであり、そのシーンチェンジ度算出部２６０において、セレクタ１６６が出力した各周波数成分に時間方向の無限インパルス応答フィルタをかけてから差分算出部１７０に出力する。

こうすることにより、直前の１枚のピクチャの周波数成分ではなく、過去のピクチャの周波数成分が加味された周波数成分との差分が求められるため、照明が変化する画像に対してもシーンチェンジ検出の精度を上げることができる。

以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、上述した実施の形態に対してさまざまな変更、増減を行ってもよい。これらの変更、増減が行われた変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、ビデオ録画装置では、録画したビデオのシーンの検索や、ビデオ編集の開始点とするためにシーンチェンジが生じたＧＯＰの検出がなされている。ビデオの編集は、ＧＯＰ単位で行われることが多いので、必ずしもピクチャ単位で行われるとは限らない。そのため、編集のためのシーンチェンジ検出を行う際に、シーンチェンジ検出部１２０またはシーンチェンジ検出部２２０の手法と同様に縮小画像を生成して周波数成分を抽出し、連続する２つのＧＯＰの先頭Ｉピクチャの縮小画像間で周波数成分の差分を求めて閾値と比較することによりシーンチェンジが生じたＧＯＰの検出を行うことができる。ここでＩピクチャを選ぶのは、部分デコードがＰピクチャやＢピクチャより簡単なためである。

また、ビデオ録画装置では、ストリームを録画しながら別ストリームをデコードして再生する場合や、複数のストリームを録画する場合があり、これらの場合にはＭＰＥＧ２デコーダの性能制限により、録画するストリームを全てビデオにデコードできない、すなわち再圧縮できないことがある。この場合には、入力ストリームをいったんそのまま記録しておき、後で再圧縮するが、このような場合でも、ビデオ編集のためにあらかじめシーンチェンジ検出ができていると便利である。そのため、入力ストリームの記録時に、シーンチェンジ検出部１２０の手法と同様にシーンチェンジ検出を行って、シーンチェンジ情報を付属情報としてストリームに付属させるようにすればよい。本発明の方法は、ハードウェア、ソフトウエアのどちらで実現するにしても、ＭＰＥＧ２デコーダよりは必要な処理が少なく、実現しやすいという特徴がある。

１００ 録画装置
１１０ 録画部
１１２ ＭＰＥＧ−２デコーダ
１１４ Ｈ．２６４エンコーダ
１２０ シーンチェンジ検出部
１３０ 縮小画像生成部
１３２ 部分可変長復号部
１３４ 部分逆量子化部
１３６ 平均成分復元部
１３８ 加算器
１４０ セレクタ
１４２ 予測画素作成部
１４４ フレームメモリ
１４６ 縮小ピクチャ生成部
１５０ 周波数成分取得部
１５２ ブロック化部
１５４ 順方向ＤＣＴ変換部
１６０ シーンチェンジ度算出部
１６２ バッファ
１６４ バッファ
１６６ セレクタ
１６８ バッファ
１７０ 差分算出部
１８０ シーンチェンジ判定部
２２０ シーンチェンジ検出部
２６０ シーンチェンジ度算出部
２６２ 演算器

Claims (6)

1. フレームあるいはフィールド間動き補償を用いた圧縮方式で圧縮された動画像のデータから、該動画像を構成する複数のピクチャの縮小画像を符号化順に取得する縮小画像生成部と、
   該縮小画像生成部により得られた前記複数の縮小画像の周波数成分をそれぞれ抽出する周波数成分取得部と、
   前記複数の縮小画像の周波数成分を表示順に並び替えて、シーンチェンジの可能性の大小を示すシーンチェンジ度として、連続する２つの縮小画像毎に、または連続する２つのＧＯＰの先頭Ｉピクチャの縮小画像毎に、前記周波数成分取得部が取得した周波数成分の差分を求めるシーンチェンジ度算出部とを備えることを特徴とする画像処理装置。
2. 前記シーンチェンジ度算出部は、周波数が低いほど重み付け係数が大きくなるように前記周波数成分取得部が取得した周波数成分を重み付けした上で前記差分を求めることを特徴とする請求項１に記載の画像処理装置。
3. 前記シーンチェン度算出部は、表示順に並び替えられた周波数成分に対して時間方向の無限インパルス応答フィルタリングを行った上で前記差分を求めることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記周波数成分取得部は、前記複数の縮小画像に対して順方向ＤＣＴ変換を行い、周波数成分としてＤＣＴ係数を取得することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記動画像は、ピクチャ内のブロックの直交変換係数、あるいは、過去あるいは未来あるいはその両方のピクチャを参照して、フレームあるいはフィールド間動き補償をして求めた予測誤差ブロックの直交変換係数を符号化する圧縮方式で圧縮されたものであり、
   前記縮小画像生成部は、前記動画像の各ピクチャの直交変換係数を部分的にデコードすることにより前記縮小画像を得ることを特徴とする請求項４に記載の画像処理装置。
6. 前記シーンチェンジ度算出部が算出したシーンチェンジ度が所定の閾値以上であるときに、シーンチェンジが生じたと判定するシーンチェンジ判定部をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。

Images