JP5178616B2

JP5178616B2 - シーンチェンジ検出装置および映像記録装置

Info

Publication number: JP5178616B2
Application number: JP2009103977A
Authority: JP
Inventors: 芳美守屋; 優一出原; 俊一関口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2009-04-22
Filing date: 2009-04-22
Publication date: 2013-04-10
Anticipated expiration: 2029-04-22
Also published as: JP2010258576A; CN101873495B; CN101873495A; MY154523A

Description

本発明は、連続した映像から複数のシーン（場面）の変化点（シーンチェンジ）を検出するシーンチェンジ検出装置およびこの装置を用いた映像記録装置に関する。

デジタルビデオカメラやデジタル放送を記録する映像記録装置などにおいて、連続して記録された１つの映像シーケンスに含まれるシーンチェンジを検出するシーンチェンジ検出装置が用いられている。

従来のシーンチェンジ検出の方法として、例えば次のような特許文献１，２に示されたような方法があった。
特許文献１では、あるフレームの画像の輝度あるいは色差のピクセル値の度数分布（ヒストグラム）を求め、例えば２フレームの画像間のヒストグラムの違いを評価値として算出し、評価値を閾値処理することによりシーンチェンジを検出するヒストグラム差分法を用いている。

特許文献２では、ＭＰＥＧ−２符号化方式により符号化された符号化ストリームを復号して得られる復号画像からヒストグラムを生成する方法が開示されており、シーンチェンジを高速に行うために、符号化ストリームに含まれるＤＣＴ係数を復号する際に、全部の係数を復号せずに使用する成分（次数）を削減して復号された画像からヒストグラムを生成する方法が開示されている。

また、ＭＰＥＧ−２符号化方式により符号化された符号化ストリームを復号せずにシーンチェンジのための特徴量を抽出する方法として、例えば特許文献３に示されたような方法があった。
特許文献３では、ＭＰＥＧ−２符号化方式のようにＤＣＴを用いたフレーム構造の圧縮方式により符号化された符号化ストリームを復号せずにシーンチェンジを検出する方法として、ＤＣＴ係数の特定の位置の周波数成分の値を評価値として用いる方法が開示されている。例えばフレーム内に含まれる２つのフィールド間にシーンチェンジが存在する場合、奇数フィールドと偶数フィールドのデータ値の差が大きくなり、横縞（水平方向成分）が多いフレームになる。横縞が多い画像をブロックに分割してＤＣＴ変換した場合に、左端特に左下の成分値の絶対値が大きくなることを利用してシーンチェンジを検出する。

ところで、デジタルビデオカメラやデジタル放送を記録する映像記録装置などで用いられる映像符号化方式としてＭＰＥＧ−２の他にＡＶＣ／Ｈ．２６４符号化方式がある。ＡＶＣ／Ｈ．２６４符号化方式は、画像を所定のサイズのブロック（マクロブロック）に分割し、マクロブロック単位の符号化が行われる。各マクロブロックは、符号化対象フレーム内のデータのみを使って符号化を行うフレーム内符号化モード（イントラモード）か、フレーム間で動き補償予測を行って符号化を行うフレーム間符号化モード（インターモード）のいずれかのモードが選択される。以下、イントラモードが選択されたマクロブロックの符号化方法について説明する。マクロブロックは所定サイズのブロックに分割され、ブロック単位に符号化される。符号化対象のブロック内の画素は周辺の符号化済みブロックの画素を使って予測（イントラ予測）され、イントラ予測によって生成された予測信号との差分信号（予測誤差信号）を得る。予測誤差信号は直交変換され、変換係数データを得る。変換係数データは量子化されて量子化係数データを得る。量子化係数データは算術符号化等のエントロピー符号化が行われ、ビットストリームデータに多重化される。イントラ予測は、予測信号の生成方法により、複数のモード（イントラ予測モード）が用意されており、ブロック単位に１つのモードを選択することができる。どのモードが選択されたかは、ブロック単位にビットストリームデータに多重化される。

特開２００８−８５５４０公報国際公開第２００７／０１７９７０号パンフレット特開２００２−６４８２３公報

しかしながら、特許文献１に記載されたような方法では、符号化されたストリームを復号して一旦復号画像を生成しなければならず、例えば非力なＣＰＵ上で処理する場合や、記録時の符号化処理と同時に行う場合などシーンチェンジ検出処理で占有可能な処理時間が限られている場合にはシーンチェンジ検出処理が間に合わないという問題点があった。

また、特許文献２に記載されたような方法では、ＤＣＴ係数の処理次数を削減することで処理負荷を低減する工夫がなされているが、例えばＡＶＣ／Ｈ．２６４符号化方式のように符号化済みの画素を用いて予測符号化を行うような符号化方式の場合、ＤＣＴ係数の次数を削減することで、正しい予測画像が得られずに誤差が伝播して復号画像が崩れていくため、ＤＣＴ係数の次数を削減して復号された復号画像からシーンチェンジ検出を行うことは困難である。

更に、特許文献３に記載されたような方法では、シーンチェンジがあった場合に横縞（水平方向成分）が多いフレームになることを利用するが、ＡＶＣ／Ｈ．２６４符号化方式のように隣接画素を用いて予測符号化を行う場合、ＤＣＴ係数は予測画像との誤差信号になり、例えばブロックをまたがって横縞が続いている場合、符号化対象である右側のブロックの画素値を直接ＤＣＴ変換する場合には左端の係数に絶対値が大きな成分が存在するが、符号化済みのブロックの右端の画素値から予測画像を生成する場合、予測誤差が０になり予測誤差をＤＣＴ変換した場合ＤＣＴ係数も発生しないため、特定成分の値に注目したシーンチェンジ検出は困難である。

この発明は上記のような課題を解決するためになされたもので、復号画素を使って予測符号化を行うような符号化方式を用いて符号化されたストリームから高速にシーンチェンジ検出を行うことのできるシーンチェンジ検出装置および映像記録装置を得ることを目的とする。

この発明に係るシーンチェンジ検出装置は、映像データを所定サイズのブロックに分割して、ブロック単位に符号化された符号化ストリームから、ブロック単位に予測信号を生成する方法を示すイントラ予測モードをエントロピー復号するエントロピー復号手段と、エントロピー復号されたイントラ予測モードを１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成するイントラ予測モードヒストグラム生成手段と、ピクチャごとに生成されたイントラ予測モードのヒストグラムを比較してヒストグラム間の類似度を算出するイントラ予測モードヒストグラム類似度算出手段と、類似度に基づいてピクチャ間にシーンチェンジが存在するかを判定するシーンチェンジ判定手段とを備えたものである。

この発明のシーンチェンジ検出装置は、イントラ予測モードの複数ブロック分のヒストグラムを生成し、ピクチャごとのヒストグラムを比較してヒストグラムの類似度を求め、この類似度に基づいてピクチャ間にシーンチェンジが存在するかを判定するようにしたので、復号画素を使って予測符号化を行うような符号化方式を用いて符号化されたストリームから高速にシーンチェンジ検出を行うことができる。

この発明の実施の形態１による映像記録装置を示す構成図である。この発明の実施の形態１によるシーンチェンジ検出装置を示す構成図である。ＡＶＣ／Ｈ．２６４符号化方式における輝度のイントラ予測モードを示す説明図である。この発明の実施の形態１によるシーンチェンジ検出装置におけるあるピクチャの輝度のイントラ予測モードのヒストグラムを示す説明図である。この発明の実施の形態２によるシーンチェンジ検出装置の構成図である。

実施の形態１．
図１は、この発明の実施の形態１による映像記録装置を示す構成図である。
図１に示す映像記録装置１は、ストリーム制御部２、シーンチェンジ検出部３、ハードディスクドライブ（ＨＤＤ）４を備えている。ストリーム制御部２は、外部に設けられた符号化部５にてＡＶＣ／Ｈ．２６４符号化方式で符号化された符号化ストリームを入力し、その符号化ストリームを映像記録信号としてＨＤＤ４に出力すると共に、イントラピクチャデータをシーンチェンジ検出部３に出力するよう構成されている。シーンチェンジ検出部３は、イントラピクチャデータを入力してシーンチェンジ検出処理を行うシーンチェンジ検出装置であり、その詳細については後述する。ＨＤＤ４は記録手段を構成するもので、ストリーム制御部２から出力された符号化ストリームと、シーンチェンジ検出部３で検出されたシーンチェンジ位置情報とを記録する。また、符号化部５は、例えばチューナーといった装置であり、映像信号をＡＶＣ／Ｈ．２６４符号化方式で符号化し、符号化ストリームを出力するものである。尚、この符号化部５は映像記録装置１内部で備えていてもよい。

図２は、シーンチェンジ検出部３の内部を示す構成図である。
シーンチェンジ検出部３は、エントロピー復号部３１と、イントラ予測モードヒストグラム差分生成部３２と、シーンチェンジ判定部３３とを備えている。エントロピー復号部３１は、ストリーム制御部２から出力されるイントラピクチャデータを入力して、エントロピー復号する機能部である。イントラ予測モードヒストグラム差分生成部３２は、エントロピー復号部３１でエントロピー復号された符号化パラメータにおけるイントラ予測モードに基づいて１ピクチャ内の複数ブロック分のヒストグラムを生成し、ピクチャ毎のヒストグラムを比較してヒストグラム間の類似度を算出する機能部である。シーンチェンジ判定部３３は、イントラ予測モードヒストグラム差分生成部３２から出力されるヒストグラム同士の類似度に基づいてピクチャ間にシーンチェンジが存在するか否かを判定する機能部である。また、エントロピー復号部３１はエントロピー復号手段を、イントラ予測モードヒストグラム差分生成部３２はイントラ予測モードヒストグラム生成手段とイントラ予測モードヒストグラム類似度算出手段を、シーンチェンジ判定部３３はシーンチェンジ判定手段をそれぞれ構成している。

次に、実施の形態１の映像記録装置の動作について説明する。
符号化部５にてＡＶＣ／Ｈ．２６４符号化方式で符号化された符号化ストリームはストリーム制御部２へ入力される。ストリーム制御部２は、シーンチェンジ検出に用いる符号化ストリームをシーンチェンジ検出部３へ出力する。以下に説明するように、シーンチェンジ検出部３が、映像データの特にフレーム内符号化されたピクチャデータ（イントラピクチャデータ）のみを用いてシーンチェンジ検出を行う場合には、ストリーム制御部２にて、符号化ストリームからイントラピクチャデータのみを抽出してシーンチェンジ検出部３へ出力する。

シーンチェンジ検出部３は、イントラピクチャデータを入力してシーンチェンジ検出処理を行う。以下、このシーンチェンジ検出処理について説明する。ストリーム制御部２より出力されるイントラピクチャデータはエントロピー復号部３１へ入力され、ブロック単位に符号化された符号化パラメータと予測誤差信号の量子化係数データを算術復号あるいは可変長復号などのエントロピー復号により復号する。エントロピー復号された符号化パラメータのうち、輝度のイントラ予測モードがイントラ予測モードヒストグラム差分生成部３２へ出力される。

ここで、ＡＶＣ／Ｈ．２６４符号化方式におけるイントラ予測モードについて説明する。輝度のイントラ予測モードはブロック単位に９つのモードの中から１つのモードを選択することができる。図３に輝度のイントラ予測モードを示す。図３において、白丸が符号化対象のブロック内の画素である。黒丸は予測に用いる画素であり、符号化済みの隣接ブロック内の画素である。例えばモード０は垂直方向予測であり、上のブロックの隣接画素を垂直方向に繰り返すことにより、予測画像を生成する。例えば縦縞模様のときにはモード０が選択される。同様にモード１は水平方向予測であり、左のブロックの隣接画素を水平方向に繰り返すことにより、予測画像を生成する。例えば横縞模様のときにはモード１が選択される。このように、イントラ予測モードは画像のもつ構造的な特徴によって決定される。従ってピクチャ内でイントラ予測モードの分布の変化を見ることで、構造的な特徴が大きく変化したシーンの変化点を検出することができる。

イントラ予測モードヒストグラム差分生成部３２は、ブロック単位にエントロピー復号されたイントラ予測モードを入力し、ピクチャ単位にイントラ予測モードのヒストグラムを生成する。輝度のイントラ予測モードの場合、９つのモードがあり各々のモードの個数をカウントする。図４に、あるピクチャの輝度のイントラ予測モードのヒストグラムを示す。図４において、横軸はイントラ予測モードを表し、縦軸は各モードの個数（頻度）を表している。生成されたヒストグラムはヒストグラムバッファ（図示せず）へ格納される。２ピクチャ分のヒストグラムを用いてピクチャ間の類似度を算出する場合にはヒストグラムバッファは２面用意しておけばよい。３ピクチャ以上のヒストグラムを用いてシーンの類似度を算出する場合にはヒストグラムバッファも３面以上必要である。

イントラ予測モードヒストグラム差分生成部３２は、ヒストグラムバッファに格納されたイントラ予測モードのヒストグラム同士の類似度を算出する。２つのヒストグラム同士の類似度は、例えばヒストグラムの同じ要素（イントラ予測モード）に対応する頻度（個数）の絶対差分をすべての要素に対して加算した値（絶対差分和）とする（式１）。

ピクチャｉのイントラ予測モードのヒストグラム：Ｈ_ｉ＝｛ｈ_ｉ（０），ｈ_ｉ（１），…，ｈ_ｉ（Ｎ−１）｝，Ｎ＝９
ピクチャｉ＋１のイントラ予測モードのヒストグラム：Ｈ_ｉ＋１＝｛ｈ_ｉ＋１（０），ｈ_ｉ＋１（１），…，ｈ_ｉ＋１（Ｎ−１）｝，Ｎ＝９
ピクチャｉとピクチャｉ＋１のヒストグラム同士の類似度：ｄ

なお、各要素の絶対差分に対して異なる重み付けを行ってから加えた値（重み付け絶対差分和）をヒストグラム同士の類似度としてもよい。特に、シーンの構造的な変化に対して敏感に変化するイントラ予測モードがある場合には、そのイントラ予測モードに対する重み付けを大きくすることで、シーンチェンジの精度を上げることができる。

イントラ予測モードヒストグラム差分生成部３２で求められた連続するピクチャのヒストグラム同士の類似度はシーンチェンジ判定部３３へ出力される。
シーンチェンジ判定部３３は、ヒストグラム同士の類似度と所定の閾値とを比較し、類似度が閾値を超えている場合にはそのピクチャ間をシーンチェンジと判定し、シーンチェンジと判定されたピクチャの時刻情報をシーンチェンジ位置情報として出力する。シーンチェンジの判定に用いる閾値は予め定められた固定値であってもよいが、同一シーン内と判定されたピクチャ間の類似度の平均値や分散を元に閾値を動的に決めるようにしてもよい。同じシーンであっても動きが大きいシーンでは、類似度の平均値や分散は大きくなるため、閾値も大きな値に設定しておく。これに対し、ほとんど動きがないシーンでは、類似度の平均値や分散は小さくなるため、閾値も小さい値に設定しておく。このように閾値を決めることで、誤検出を防ぎ、シーンチェンジの精度を上げることができる。
シーンチェンジ判定部３３から出力されたシーンチェンジ位置情報は、ＨＤＤ４などの記録メディアに記録される。

なお、上記の説明では、輝度のイントラ予測モードのヒストグラムを使ってシーンチェンジを検出するようにしたが、ＡＶＣ／Ｈ．２６４では輝度のイントラ予測モードとは別に色差信号に対するイントラ予測モード（４種類）が用意されている。このため、輝度と同様に色差のイントラ予測モードのヒストグラムを使ってシーンチェンジを検出するようにしても良い。また、輝度のイントラ予測モードと色差のイントラ予測モード両方のヒストグラムを使ってシーンチェンジを検出するようにしても良い。

また、ＡＶＣ／Ｈ．２６４では輝度のイントラ予測のブロックサイズとして、水平１６画素×垂直１６ライン、水平８画素×垂直８ライン、水平４画素×垂直４ラインから選択することができる。このため、これらのイントラ予測のブロックサイズのヒストグラムを使ってシーンチェンジを検出するようにしても良い。この場合は、イントラ予測モードヒストグラム差分生成部３２は、イントラ予測モードのヒストグラムではなく、イントラ予測のブロックサイズのヒストグラムの類似度を算出することになる。

尚、本実施の形態では、符号化ストリームはＡＶＣ／Ｈ．２６４符号化方式で符号化されたストリームであることを前提に説明したが、フレーム内符号化を行うときに複数の予測モードを用いて予測画像を生成し、予測モードと予測誤差信号をブロック単位に符号化するような符号化方式であれば、同様にシーンチェンジを検出することができる。
更に、本実施の形態では、ピクチャ単位に符号化ストリームをシーンチェンジ検出部３へ入力するようにしたが、ピクチャを複数の領域に分割した単位（スライス単位）にシーンチェンジ検出部３へ入力するようにしてもよい。また、ピクチャ内の部分領域（例えば上半分、あるいは中央のみなど）をシーンチェンジ検出部３へ入力するようにしてもよい。

以上のように、実施の形態１のシーンチェンジ検出装置によれば、映像データを所定サイズのブロックに分割して、ブロック単位に符号化された符号化ストリームから、ブロック単位に予測信号を生成する方法を示すイントラ予測モードをエントロピー復号するエントロピー復号手段と、エントロピー復号されたイントラ予測モードを１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成するイントラ予測モードヒストグラム生成手段と、ピクチャごとに生成されたイントラ予測モードのヒストグラムを比較してヒストグラム間の類似度を算出するイントラ予測モードヒストグラム類似度算出手段と、類似度に基づいてピクチャ間にシーンチェンジが存在するかを判定するシーンチェンジ判定手段とを備えたので、復号画素を使って予測符号化を行うような符号化方式を用いて符号化されたストリームから高速にシーンチェンジ検出を行うことができる。

また、実施の形態１の映像記録装置によれば、イントラ予測モードヒストグラム生成手段に入力されるイントラ予測モードは１ピクチャ分としたので、ピクチャ間のシーンチェンジを精度良く検出することができる。

また、実施の形態１の映像記録装置によれば、映像データを所定サイズのブロックに分割して、ブロック単位に符号化した符号化ストリームを出力する符号化手段と、符号化手段から出力された符号化ストリームから、ブロック単位に予測信号を生成する方法を示すイントラ予測モードをエントロピー復号するエントロピー復号手段と、エントロピー復号されたイントラ予測モードを１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成するイントラ予測モードヒストグラム生成手段と、ピクチャごとに生成されたイントラ予測モードのヒストグラムを比較して類似度を算出するイントラ予測モードヒストグラム類似度算出手段と、類似度に基づいてピクチャ間にシーンチェンジが存在するかを判定するシーンチェンジ判定手段と、シーンチェンジ判定手段において、シーンチェンジが存在すると判定された場合にシーンチェンジの位置情報を出力するシーンチェンジ位置情報出力手段と、シーンチェンジ位置情報と符号化ストリームを記録する記録手段とを備えたので、復号画素を使って予測符号化を行うような符号化方式を用いて符号化されたストリームから高速にシーンチェンジ検出を行うことができる映像記録装置を実現することができる。

実施の形態２．
実施の形態１ではイントラピクチャデータに含まれるイントラ予測モードを使ってシーンチェンジを検出するようにしたが、本実施の形態ではイントラ予測モードに加えて、色差信号を使ってシーンチェンジを検出する。

図５は、実施の形態２における映像記録装置のシーンチェンジ検出部の内部を示す構成図である。
実施の形態２におけるシーンチェンジ検出部３ａは、エントロピー復号部３１ａ、イントラ予測モードヒストグラム差分生成部３２、シーンチェンジ判定部３３ａ、色差信号復号部３４、色差信号ヒストグラム差分生成部３５、メモリ３６を備えている。
エントロピー復号部３１ａは、実施の形態１のエントロピー復号部３１の機能を有すると共に、イントラピクチャデータから色差量子化係数データと色差のイントラ予測モードとを出力する。イントラ予測モードヒストグラム差分生成部３２は、実施の形態１のイントラ予測モードヒストグラム差分生成部３２と同様の機能を有している。また、シーンチェンジ判定部３３ａは、イントラ予測モードヒストグラム差分生成部３２から出力されるイントラ予測モードのヒストグラム同士の類似度と、色差信号ヒストグラム差分生成部３５から出力される色差信号のヒストグラム同士の類似度とに基づいて、シーンチェンジを判定する。

色差信号復号部３４は、逆量子化部３４１、逆直交変換部３４２、イントラ予測部３４３、加算部３４４を備えており、これらは次のような機能を有している。逆量子化部３４１は、色差量子化係数データの逆量子化を行う。逆直交変換部３４２は、逆量子化部３４１から出力された変換係数データの逆直交変換を行い、予測誤差信号を出力する。イントラ予測部３４３は、色差のイントラ予測モードとメモリ３６に記憶されている復号色差信号とに基づいて予測信号を生成し、加算部３４４宛に出力する。加算部３４４は、逆直交変換部３４２から出力された予測誤差信号とイントラ予測部３４３から出力された予測信号とを加算し、復号色差信号として出力する。

色差信号ヒストグラム差分生成部３５は、色差信号復号部３４から出力された復号色差信号に基づいて、色差信号のヒストグラム同士の類似度を求め、これをシーンチェンジ判定部３３ａ宛に出力する機能部である。メモリ３６は、色差信号復号部３４の加算部３４４から出力された復号色差信号を保持するための記憶部である。

なお、色差信号復号部３４の逆量子化部３４１と逆直交変換部３４２で予測誤差信号復号手段を構成し、イントラ予測部３４３は予測信号生成手段を構成している。また、加算部３４４は加算手段を構成し、色差信号ヒストグラム差分生成部３５は、色差信号ヒストグラム生成手段と色差信号ヒストグラム類似度算出手段を構成している。更に、エントロピー復号部３１ａはエントロピー復号手段を、シーンチェンジ判定部３３ａはシーンチェンジ判定手段を構成している。

次に、実施の形態２のシーンチェンジ検出部３ａの動作について説明する。
イントラピクチャデータはエントロピー復号部３１ａへ入力され、ブロック単位に符号化された符号化パラメータや量子化係数データを算術復号あるいは可変長復号などのエントロピー復号により復号する。エントロピー復号された符号化パラメータのうち、輝度または色差のイントラ予測モードがイントラ予測モードヒストグラム差分生成部３２へ出力される。色差のイントラ予測モードは色差信号復号部３４のイントラ予測部３４３へ出力される。エントロピー復号された色差の量子化係数データは逆量子化部３４１へ出力される。

イントラ予測モードヒストグラム差分生成部３２の動作は実施の形態１と同じであるため、ここでの説明は省略する。
イントラ予測部３４３は、色差のイントラ予測モードを入力とし、それぞれのモードごとに定められる予測方法に従って、メモリ３６から隣接ブロックの復号色差信号の画素を参照し予測信号を生成する。予測信号は加算部３４４へ出力される。
逆量子化部３４１は、入力された色差の量子化係数データを逆量子化して変換係数データを得る。変換係数データは逆直交変換部３４２へ出力される。逆直交変換部３４２は、入力された変換係数データを逆直交変換して予測誤差信号を得る。予測誤差信号は加算部３４４へ出力される。
加算部３４４は、入力された予測誤差信号と予測信号を加算して復号色差信号を得る。復号色差信号は色差信号ヒストグラム差分生成部３５へ出力される。またイントラ予測の際に参照されるため、メモリ３６に記録される。
色差信号ヒストグラム差分生成部３５は、１ピクチャ分の復号色差信号からヒストグラムを生成する。色差信号が８ビットの階調を持つ場合には、０から２５５の各画素値を要素として、各要素の頻度をカウントしてヒストグラムを生成する。なお、８ビットの階調を適当に分割した単位に要素を割り当てて、要素数を減らしてもよい。

色差信号ヒストグラム差分生成部３５は、連続するピクチャの復号色差信号のヒストグラム同士の類似度を算出する。ヒストグラム同士の類似度は、ヒストグラムの同じ要素の頻度（個数）の絶対差分をすべての要素に対して求め、加えた値（絶対差分和）とする。なお、各要素の絶対差分に対して異なる重み付けを行ってから加えた値（重み付け絶対差分和）をヒストグラム同士の類似度としてもよい。連続するピクチャの復号色差信号のヒストグラム同士の類似度はシーンチェンジ判定部３３ａへ出力される。

シーンチェンジ判定部３３ａは、入力された連続するピクチャの復号色差信号のヒストグラム同士の差分およびイントラ予測モードのヒストグラム同士の差分を入力とし、復号色差信号のヒストグラム同士の類似度とイントラ予測モードのヒストグラム同士の類似度の和と所定の閾値とを比較し、類似度の和が閾値を超えている場合にはそのピクチャ間をシーンチェンジと判定し、シーンチェンジ位置情報を出力する。なお、類似度の和を求めるときに、重みを付けて、いずれか一方の類似度の優先度を高くしてもよい。

なお、本実施の形態では、イントラ予測モードのヒストグラムと復号色差信号のヒストグラムと両方を求めるようにしたが、例えばＣＰＵの処理負荷状況等によって、復号色差信号のヒストグラムを生成するか否かを判断し、復号色差信号のヒストグラムを生成しないと判断した場合には、イントラ予測モードのヒストグラムのみを使ってシーンチェンジの判定を行うようにしてもよい。

以上のように、実施の形態２のシーンチェンジ検出装置によれば、エントロピー復号手段は、符号化ストリームからブロック単位に色差のイントラ予測モードと予測誤差信号の量子化係数データをエントロピー復号すると共に、エントロピー復号された量子化係数データを逆量子化・逆直交変換して予測誤差信号を復号する予測誤差信号復号手段と、エントロピー復号された色差のイントラ予測モードで示される方法に従って予測信号を生成する予測信号生成手段と、予測誤差信号と予測信号を加算して色差の復号信号を生成する加算手段と、ブロック単位に生成された色差の復号信号を１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成する色差信号ヒストグラム生成手段と、ピクチャごとに生成された色差信号のヒストグラムを比較して類似度を算出する色差信号ヒストグラム類似度算出手段とを備え、シーンチェンジ判定手段は、イントラ予測モードヒストグラム類似度算出手段から出力された類似度と色差信号ヒストグラム類似度算出手段から出力された類似度とに基づいてピクチャ間にシーンチェンジが存在するかを判定するようにしたので、復号画素を使って予測符号化を行うような符号化方式を用いて符号化されたストリームから高速にシーンチェンジ検出を行うことができると共に、確実にシーンチェンジを検出することができる。

また、実施の形態２の映像記録装置によれば、映像データを所定サイズのブロックに分割して、ブロック単位に符号化した符号化ストリームを出力する符号化手段と、符号化手段から出力された符号化ストリームから、ブロック単位に予測信号を生成する方法を示すイントラ予測モードをエントロピー復号するエントロピー復号手段と、エントロピー復号されたイントラ予測モードを１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成するイントラ予測モードヒストグラム生成手段と、ピクチャごとに生成されたイントラ予測モードのヒストグラムを比較して類似度を算出するイントラ予測モードヒストグラム類似度算出手段と、類似度に基づいてピクチャ間にシーンチェンジが存在するかを判定するシーンチェンジ判定手段と、シーンチェンジ判定手段において、シーンチェンジが存在すると判定された場合にシーンチェンジの位置情報を出力するシーンチェンジ位置情報出力手段と、シーンチェンジ位置情報と符号化ストリームを記録する記録手段とを備え、かつ、エントロピー復号手段は、符号化ストリームからブロック単位に色差のイントラ予測モードと予測誤差信号の量子化係数データをエントロピー復号すると共に、エントロピー復号された量子化係数データを逆量子化・逆直交変換して予測誤差信号を復号する予測誤差信号復号手段と、エントロピー復号された色差のイントラ予測モードで示される方法に従って予測信号を生成する予測信号生成手段と、予測誤差信号と予測信号を加算して色差の復号信号を生成する加算手段と、ブロック単位に生成された色差の復号信号を１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成する色差信号ヒストグラム生成手段と、ピクチャごとに生成された色差信号のヒストグラムを比較して類似度を算出する色差信号ヒストグラム類似度算出手段とを備え、シーンチェンジ判定手段は、イントラ予測モードヒストグラム類似度算出手段から出力された類似度と色差信号ヒストグラム類似度算出手段から出力された類似度とに基づいてピクチャ間にシーンチェンジが存在するかを判定するようにしたので、高速かつ確実にシーンチェンジを検出することができる映像記録装置を実現することができる。

１映像記録装置、２ストリーム制御部、３，３ａシーンチェンジ検出部、４ＨＤＤ、５符号化部、３１，３１ａエントロピー復号部、３２イントラ予測モードヒストグラム差分生成部、３３，３３ａシーンチェンジ判定部、３４色差信号復号部、３５色差信号ヒストグラム差分生成部、３６メモリ、３４１逆量子化部、３４２逆直交変換部、３４３イントラ予測部、３４４加算部。

Claims

映像データを所定サイズのブロックに分割して、当該ブロック単位に符号化された符号化ストリームから、前記ブロック単位に予測信号を生成する方法を示すイントラ予測モードをエントロピー復号するエントロピー復号手段と、
エントロピー復号されたイントラ予測モードを１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成するイントラ予測モードヒストグラム生成手段と、
ピクチャごとに生成されたイントラ予測モードのヒストグラムを比較してヒストグラム間の類似度を算出するイントラ予測モードヒストグラム類似度算出手段と、
前記類似度に基づいてピクチャ間にシーンチェンジが存在するかを判定するシーンチェンジ判定手段とを備えたことを特徴とするシーンチェンジ検出装置。
イントラ予測モードヒストグラム生成手段に入力されるイントラ予測モードは１ピクチャ分であることを特徴とする請求項１記載のシーンチェンジ検出装置。
エントロピー復号手段は、符号化ストリームからブロック単位に色差のイントラ予測モードと予測誤差信号の量子化係数データをエントロピー復号すると共に、
前記エントロピー復号された量子化係数データを逆量子化・逆直交変換して予測誤差信号を復号する予測誤差信号復号手段と、
前記エントロピー復号された色差のイントラ予測モードで示される方法に従って予測信号を生成する予測信号生成手段と、
前記予測誤差信号と前記予測信号を加算して色差の復号信号を生成する加算手段と、
前記ブロック単位に生成された色差の復号信号を１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成する色差信号ヒストグラム生成手段と、
ピクチャごとに生成された色差信号のヒストグラムを比較して類似度を算出する色差信号ヒストグラム類似度算出手段とを備え、
シーンチェンジ判定手段は、イントラ予測モードヒストグラム類似度算出手段から出力された類似度と前記色差信号ヒストグラム類似度算出手段から出力された類似度とに基づいてピクチャ間にシーンチェンジが存在するかを判定することを特徴する請求項１または請求項２記載のシーンチェンジ検出装置。
映像データを所定サイズのブロックに分割して、当該ブロック単位に符号化した符号化ストリームを出力する符号化手段と、
前記符号化手段から出力された符号化ストリームから、前記ブロック単位に予測信号を生成する方法を示すイントラ予測モードをエントロピー復号するエントロピー復号手段と、
エントロピー復号されたイントラ予測モードを１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成するイントラ予測モードヒストグラム生成手段と、
ピクチャごとに生成されたイントラ予測モードのヒストグラムを比較して類似度を算出するイントラ予測モードヒストグラム類似度算出手段と、
前記類似度に基づいてピクチャ間にシーンチェンジが存在するかを判定するシーンチェンジ判定手段と、
前記シーンチェンジ判定手段において、シーンチェンジが存在すると判定された場合にシーンチェンジの位置情報を出力するシーンチェンジ位置情報出力手段と、
前記シーンチェンジ位置情報と前記符号化ストリームを記録する記録手段とを備えたことを特徴とする映像記録装置。
前記イントラ予測モードヒストグラム生成手段に入力されるイントラ予測モードは１ピクチャ分であることを特徴とする請求項４記載の映像記録装置。
エントロピー復号手段は、符号化ストリームからブロック単位に色差のイントラ予測モードと予測誤差信号の量子化係数データをエントロピー復号すると共に、
前記エントロピー復号された量子化係数データを逆量子化・逆直交変換して予測誤差信号を復号する予測誤差信号復号手段と、
前記エントロピー復号された色差のイントラ予測モードで示される方法に従って予測信号を生成する予測信号生成手段と、
前記予測誤差信号と前記予測信号を加算して色差の復号信号を生成する加算手段と、
前記ブロック単位に生成された色差の復号信号を１ピクチャ内の複数ブロック分入力して、ヒストグラムを生成する色差信号ヒストグラム生成手段と、
ピクチャごとに生成された色差信号のヒストグラムを比較して類似度を算出する色差信号ヒストグラム類似度算出手段とを備え、
シーンチェンジ判定手段は、イントラ予測モードヒストグラム類似度算出手段から出力された類似度と前記色差信号ヒストグラム類似度算出手段から出力された類似度とに基づいてピクチャ間にシーンチェンジが存在するかを判定することを特徴する請求項４または請求項５記載の映像記録装置。