JP3390308B2 - 動画像の特殊カット点検出装置 - Google Patents
動画像の特殊カット点検出装置Info
- Publication number
- JP3390308B2 JP3390308B2 JP25233396A JP25233396A JP3390308B2 JP 3390308 B2 JP3390308 B2 JP 3390308B2 JP 25233396 A JP25233396 A JP 25233396A JP 25233396 A JP25233396 A JP 25233396A JP 3390308 B2 JP3390308 B2 JP 3390308B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- cut point
- special cut
- moving image
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Color Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は動画像のカット点検
出装置に関し、特に、符号化されていない元のままの動
画像情報あるいは符号化された動画像情報からなる動画
像切替わりを、高速かつ高精度で検出できる動画像のカ
ット点画像検出装置に関する。
出装置に関し、特に、符号化されていない元のままの動
画像情報あるいは符号化された動画像情報からなる動画
像切替わりを、高速かつ高精度で検出できる動画像のカ
ット点画像検出装置に関する。
【０００２】
【従来の技術】動画像の索引付け（インデクシング）
は、電子図書館や映像データベースにおける効率的な検
索や編集を行うための重要な技術の一つである。カット
点は映像の基本的な単位であるシーンの境界点を示すも
のであり、索引付けの基本ツールとして、近年活発にそ
の検出方式に関する研究が行われている。
は、電子図書館や映像データベースにおける効率的な検
索や編集を行うための重要な技術の一つである。カット
点は映像の基本的な単位であるシーンの境界点を示すも
のであり、索引付けの基本ツールとして、近年活発にそ
の検出方式に関する研究が行われている。
【０００３】特に、最近は瞬時にシーンが変わる通常の
カット点のみならず、編集効果を用いてシーンが変化す
るディゾルブ画面などの特殊カット画面についての検出
方式が報告されている。
カット点のみならず、編集効果を用いてシーンが変化す
るディゾルブ画面などの特殊カット画面についての検出
方式が報告されている。
【０００４】ディゾルブ画像は、基本的には、２つの異
なったシーンが空間的に合成されながら１つのシーンか
ら他のシーンに移行するプロセスの画像であり、例えば
村田、中村、大田らによる“映像におけるカット変わり
の自動検出”、情報処理学会第５０回全国大会、６Ｄ−
７（１９９５）のように、輝度の変化をディゾルブに対
してモデル化してディソルブを検出する方法が提案され
ている。また、他の従来技術として、長坂、宮武、谷口
らによる”輝度変化の単調性に着目したディゾルブ検
出”、電子情報通信学会春季大会、Ｄ−６１５（１９９
６）のように、ディゾルブにおけるシーン合成プロセス
に注目してディゾルブ検出を行う方法も提案されてい
る。
なったシーンが空間的に合成されながら１つのシーンか
ら他のシーンに移行するプロセスの画像であり、例えば
村田、中村、大田らによる“映像におけるカット変わり
の自動検出”、情報処理学会第５０回全国大会、６Ｄ−
７（１９９５）のように、輝度の変化をディゾルブに対
してモデル化してディソルブを検出する方法が提案され
ている。また、他の従来技術として、長坂、宮武、谷口
らによる”輝度変化の単調性に着目したディゾルブ検
出”、電子情報通信学会春季大会、Ｄ−６１５（１９９
６）のように、ディゾルブにおけるシーン合成プロセス
に注目してディゾルブ検出を行う方法も提案されてい
る。
【０００５】
【発明が解決しようとする課題】しかしながら、前者の
場合、輝度成分のフレーム間差分の比が正になる画素の
画面全体に対する割合の時間変化を求め、極大点をディ
ゾルブ画面と判定しているため、仮に、暗い場所から明
るい場所へと大きく動くシーンでも、ディゾルブ画面と
誤って検出される恐れがある。
場合、輝度成分のフレーム間差分の比が正になる画素の
画面全体に対する割合の時間変化を求め、極大点をディ
ゾルブ画面と判定しているため、仮に、暗い場所から明
るい場所へと大きく動くシーンでも、ディゾルブ画面と
誤って検出される恐れがある。
【０００６】また、後者の場合は、ディゾルブ区間にお
ける画素の輝度変化の単調増減性に着目し、フレーム中
の各画素について、直前フレームとの差分値を求め、そ
の分散がある値以下の場合ディゾルブ画面と判定してい
るが、例えば被写体に微妙な動きがある場合でも、分散
が小さくなることがあり、ディゾルブ画面と誤って検出
される恐れがある。
ける画素の輝度変化の単調増減性に着目し、フレーム中
の各画素について、直前フレームとの差分値を求め、そ
の分散がある値以下の場合ディゾルブ画面と判定してい
るが、例えば被写体に微妙な動きがある場合でも、分散
が小さくなることがあり、ディゾルブ画面と誤って検出
される恐れがある。
【０００７】そこで、本発明は、動きのある画像とディ
ゾルブ画像では輝度変化特性が異なる画面内アクティビ
ティを用いることとし、ディゾルブ画像の前後に比べ、
シーン合成部分で画面内アクティビティが減少する特性
を利用して、動きに強い検出を行い、通常のカット点に
加えて、ディゾルブなどの特殊効果を用いたカット点の
検出を可能にし、全体の検出率を向上させ、高速でかつ
高精度なカット点検出装置を提供することを目的とす
る。
ゾルブ画像では輝度変化特性が異なる画面内アクティビ
ティを用いることとし、ディゾルブ画像の前後に比べ、
シーン合成部分で画面内アクティビティが減少する特性
を利用して、動きに強い検出を行い、通常のカット点に
加えて、ディゾルブなどの特殊効果を用いたカット点の
検出を可能にし、全体の検出率を向上させ、高速でかつ
高精度なカット点検出装置を提供することを目的とす
る。
【０００８】
【課題を解決するための手段】前記目的を達成するため
に、本発明は、入力された動画像の画面データから各フ
レームの輝度成分のアクティビティを求める画面内アク
ティビティ演算手段と、該画面内アクティビティ演算手
段によって抽出された各フレームの画面内アクティビテ
ィから、各フレームの画面内アクティビティの移動平均
を求める移動平均演算手段と、該移動平均演算手段によ
って抽出された各フレームの移動平均データから、移動
平均のフレーム間差分値を求める移動平均差分演算手段
と、前記画面データから注目画面および該注目画面から
時間的に複数フレーム前の色差信号のヒストグラムをそ
れぞれ求め、フレーム間の色差信号ヒストグラム相関値
を求める色差ヒストグラム相関演算手段と、該移動平均
差分データと該色差ヒストグラム相関を用いて特殊カッ
ト点検出処理を行う特殊カット点検出処理手段とを具備
した点に特徴がある。
に、本発明は、入力された動画像の画面データから各フ
レームの輝度成分のアクティビティを求める画面内アク
ティビティ演算手段と、該画面内アクティビティ演算手
段によって抽出された各フレームの画面内アクティビテ
ィから、各フレームの画面内アクティビティの移動平均
を求める移動平均演算手段と、該移動平均演算手段によ
って抽出された各フレームの移動平均データから、移動
平均のフレーム間差分値を求める移動平均差分演算手段
と、前記画面データから注目画面および該注目画面から
時間的に複数フレーム前の色差信号のヒストグラムをそ
れぞれ求め、フレーム間の色差信号ヒストグラム相関値
を求める色差ヒストグラム相関演算手段と、該移動平均
差分データと該色差ヒストグラム相関を用いて特殊カッ
ト点検出処理を行う特殊カット点検出処理手段とを具備
した点に特徴がある。
【０００９】この発明によれば、画面内アクティビティ
の移動平均のフレーム間差分値と、色差ヒストグラム相
関とを用いて特殊カット点検出処理を行うようにしてい
るので、ディゾルブなどの特殊効果を用いたカット点を
精度良く検出することができる。
の移動平均のフレーム間差分値と、色差ヒストグラム相
関とを用いて特殊カット点検出処理を行うようにしてい
るので、ディゾルブなどの特殊効果を用いたカット点を
精度良く検出することができる。
【００１０】
【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は本発明のカット点検出装置の
一実施形態の構成を示すブロック図である。この実施形
態は、動画像符号化の国際標準方式であるＭＰＥＧ１
（ＩＳＯ／ＩＥＣ １１１７２）により圧縮された動画
像符号化データからの特殊カット点フレームを検出する
ものであるが、本発明はこれに限定されるものではな
い。
を詳細に説明する。図１は本発明のカット点検出装置の
一実施形態の構成を示すブロック図である。この実施形
態は、動画像符号化の国際標準方式であるＭＰＥＧ１
（ＩＳＯ／ＩＥＣ １１１７２）により圧縮された動画
像符号化データからの特殊カット点フレームを検出する
ものであるが、本発明はこれに限定されるものではな
い。
【００１１】図１に示されているように、圧縮符号化さ
れた動画像の符号化データａは、可変長復号処理部１に
入力される。該可変長復号処理部１は、可変長復号部３
１と平均値成分抽出部３２とからなり、該可変長復号部
３１では、動画像の符号化データａから各ブロックの量
子化された二次元ＤＣＴ係数が復号され、該二次元ＤＣ
Ｔ係数ｂは平均値成分抽出部３２に入力される。
れた動画像の符号化データａは、可変長復号処理部１に
入力される。該可変長復号処理部１は、可変長復号部３
１と平均値成分抽出部３２とからなり、該可変長復号部
３１では、動画像の符号化データａから各ブロックの量
子化された二次元ＤＣＴ係数が復号され、該二次元ＤＣ
Ｔ係数ｂは平均値成分抽出部３２に入力される。
【００１２】該平均値成分抽出部３２の平均値成分抽出
方法としては、例えば、氏原、中島らによる”簡易復号
処理による圧縮動画像データからのカット点検出”、情
報処理学会第５１回全国大会、６Ｓ−９（１９９５）、
特願平７−２６３６８１号等に開示されている方法を用
いることができる。
方法としては、例えば、氏原、中島らによる”簡易復号
処理による圧縮動画像データからのカット点検出”、情
報処理学会第５１回全国大会、６Ｓ−９（１９９５）、
特願平７−２６３６８１号等に開示されている方法を用
いることができる。
【００１３】簡単に説明すると、該平均値成分抽出部３
２では、例えば、図２（ａ）に示されているように、フ
レームｔの各８画素×８ラインのブロックの量子化二次
元ＤＣＴ係数から、同図(b) に示されている平均値成分
データを表わす（０、０）成分が抽出され、輝度信号の
平均値成分データYDC[i,k]は画面内アクティビティ演算
部２に、色差信号の平均値成分データCb[i,k] 、Cr[i,
k] は、色差ヒストグラム演算部３にそれぞれ入力され
る。
２では、例えば、図２（ａ）に示されているように、フ
レームｔの各８画素×８ラインのブロックの量子化二次
元ＤＣＴ係数から、同図(b) に示されている平均値成分
データを表わす（０、０）成分が抽出され、輝度信号の
平均値成分データYDC[i,k]は画面内アクティビティ演算
部２に、色差信号の平均値成分データCb[i,k] 、Cr[i,
k] は、色差ヒストグラム演算部３にそれぞれ入力され
る。
【００１４】一方、入力された動画像が圧縮符号化され
た動画像データでない場合には、各フレームのデータは
直接、平均値成分抽出部３２に入力される。この場合、
該平均値成分抽出部３２では、各フレームの小領域内の
各画素を総合して平均値成分データを算出する。
た動画像データでない場合には、各フレームのデータは
直接、平均値成分抽出部３２に入力される。この場合、
該平均値成分抽出部３２では、各フレームの小領域内の
各画素を総合して平均値成分データを算出する。
【００１５】前記画面内アクティビティ演算部２では、
入力された輝度信号の平均値成分データYDC[i,k]を用い
て、下式に従って、フレームｔの輝度信号の画面内アク
ティビティ（画面内偏差）Y-VAR 2 [t] を計算し、該画
面内アクティビティは移動平均演算部４および第１のメ
モリ５に入力される。 Y-VAR 2 [t] ＝＜YDC 2 [i,k] ＞−＜YDC[i,k]＞2 …(1) ここに、ｔはフレーム番号（Ｎｏ．）、YDC[i,k]は８×
８ブロック[i,k] のDC成分、＜ ＞はフレームｔ内の
平均値を示す。
入力された輝度信号の平均値成分データYDC[i,k]を用い
て、下式に従って、フレームｔの輝度信号の画面内アク
ティビティ（画面内偏差）Y-VAR 2 [t] を計算し、該画
面内アクティビティは移動平均演算部４および第１のメ
モリ５に入力される。 Y-VAR 2 [t] ＝＜YDC 2 [i,k] ＞−＜YDC[i,k]＞2 …(1) ここに、ｔはフレーム番号（Ｎｏ．）、YDC[i,k]は８×
８ブロック[i,k] のDC成分、＜ ＞はフレームｔ内の
平均値を示す。
【００１６】このようにして得られた、ディゾルブ区間
における輝度成分の画面内アクティビティY-VAR 2 [t]
の形状は、下に凸のＵカーブ状になるが、ディゾルブ区
間でない場所でも、動きによる局所的変動でアクティビ
ティの形状が下に凸になる場合がある。そこで、前記移
動平均演算部４において以下の処理を行う。
における輝度成分の画面内アクティビティY-VAR 2 [t]
の形状は、下に凸のＵカーブ状になるが、ディゾルブ区
間でない場所でも、動きによる局所的変動でアクティビ
ティの形状が下に凸になる場合がある。そこで、前記移
動平均演算部４において以下の処理を行う。
【００１７】該移動平均演算部４では、例えば、図３に
示されているように、画面内アクティビティ演算部２か
ら入力された注目フレームｔの画面内アクティビティお
よび第１のメモリ５に格納されている、フレームｔから
時間的にＦv ー１フレーム前までの画面内アクティビテ
ィを総合して、下式に従って、Ｆv 個のフレーム移動平
均を計算する。
示されているように、画面内アクティビティ演算部２か
ら入力された注目フレームｔの画面内アクティビティお
よび第１のメモリ５に格納されている、フレームｔから
時間的にＦv ー１フレーム前までの画面内アクティビテ
ィを総合して、下式に従って、Ｆv 個のフレーム移動平
均を計算する。
【００１８】
【数１】
この処理を行うことにより、動きや局所的な変動を吸収
するフィルタリングが可能となり、カット点ではない映
像の誤検出を防ぐことができる。
するフィルタリングが可能となり、カット点ではない映
像の誤検出を防ぐことができる。
【００１９】しかしながら、輝度成分の画面内アクティ
ビティの移動平均の形状は、ディゾルブ区間長が長いと
平坦なＵカーブになり、短いと急俊なＵカーブになる。
すなわち、該輝度成分の画面内アクティビティの移動平
均の形状は、ディゾルブ区間長によって、平坦なＵカー
ブと急俊なＵカーブとの間を変化する。したがって、例
えば、最小値検出のような単純なピーク検出では、比較
的平坦なＵカーブを検出できない可能性がある。
ビティの移動平均の形状は、ディゾルブ区間長が長いと
平坦なＵカーブになり、短いと急俊なＵカーブになる。
すなわち、該輝度成分の画面内アクティビティの移動平
均の形状は、ディゾルブ区間長によって、平坦なＵカー
ブと急俊なＵカーブとの間を変化する。したがって、例
えば、最小値検出のような単純なピーク検出では、比較
的平坦なＵカーブを検出できない可能性がある。
【００２０】本実施形態では、移動平均データを移動平
均差分演算部６および第２のメモリ７に入力し、予め第
２のメモリ７に格納してあった、１フレーム前の移動平
均データも移動平均差分演算部６に転送して、下式に従
って、移動平均差分DMV[t]を計算し、計算結果を特殊カ
ット点検出処理部８に入力して、該移動平均差分値から
特殊カット点画像の判定を行う。
均差分演算部６および第２のメモリ７に入力し、予め第
２のメモリ７に格納してあった、１フレーム前の移動平
均データも移動平均差分演算部６に転送して、下式に従
って、移動平均差分DMV[t]を計算し、計算結果を特殊カ
ット点検出処理部８に入力して、該移動平均差分値から
特殊カット点画像の判定を行う。
【００２１】DMV[t]＝MV[t] −MV[t-1] …(3)
ディゾルブ区間の持つ他の特徴として、連続するフレー
ム間の色差信号の相関は小さくても、ある程度フレーム
間隔をとったフレーム間相関は、大きくなる傾向があ
る。
ム間の色差信号の相関は小さくても、ある程度フレーム
間隔をとったフレーム間相関は、大きくなる傾向があ
る。
【００２２】そこで、該色差ヒストグラム演算部３にお
いて、入力された色差信号の平均値成分データより、フ
レームｔの色差ヒストグラムを計算し、計算結果を色差
相関演算部９および第３のメモリ１０に入力する。色差
相関演算部９では、入力されたフレームｔの色差ヒスト
グラムおよび予め第３のメモリ１０に格納してあったフ
レーム（ｔ−α) （ただし、αは１以上）の色差ヒスト
グラムより、色差ヒストグラム相関ρt,t-α を計算
し、特殊カット点検出処理部８に入力する。
いて、入力された色差信号の平均値成分データより、フ
レームｔの色差ヒストグラムを計算し、計算結果を色差
相関演算部９および第３のメモリ１０に入力する。色差
相関演算部９では、入力されたフレームｔの色差ヒスト
グラムおよび予め第３のメモリ１０に格納してあったフ
レーム（ｔ−α) （ただし、αは１以上）の色差ヒスト
グラムより、色差ヒストグラム相関ρt,t-α を計算
し、特殊カット点検出処理部８に入力する。
【００２３】なお、色差ヒストグラムおよび色差相関の
演算方法としては、例えば、中島らによる”フレーム間
輝度差分と色差相関による圧縮動画像データからのカッ
ト検出”、電子情報通信学会秋季大会Ｄ−５０１（１９
９４）、特願平５−２１６８９５号、あるいは特願平６
−４６５６１号に開示されている方法を用いることがで
きる。
演算方法としては、例えば、中島らによる”フレーム間
輝度差分と色差相関による圧縮動画像データからのカッ
ト検出”、電子情報通信学会秋季大会Ｄ−５０１（１９
９４）、特願平５−２１６８９５号、あるいは特願平６
−４６５６１号に開示されている方法を用いることがで
きる。
【００２４】該特殊カット点検出処理部８では、入力さ
れた輝度信号の移動平均差分および色差ヒストグラム相
関を用いて、特殊カット点検出を行う。該特殊カット点
検出処理部８からの出力信号ｃは第１の判定部１１に送
られる。
れた輝度信号の移動平均差分および色差ヒストグラム相
関を用いて、特殊カット点検出を行う。該特殊カット点
検出処理部８からの出力信号ｃは第１の判定部１１に送
られる。
【００２５】輝度信号の移動平均差分DMV[t]の時間変化
をグラフで示すと、例えば、図４のようになる。ディゾ
ルブ区間は、図の左側ａのように下に凸のピークから上
に凸のピークに変化する部分として検出することができ
る。ただし、図の右側ｂのように、フェード区間、動き
ながらのディゾルブ、あるいは画面の形状によって、正
または負のどちらか一方のピークになることがあるの
で、下式のようにＤＭＶの絶対値があるしきい値βを超
えた場合に、該しきい値βを超えた時のフレームをディ
ゾルブ候補画面と判定する。
をグラフで示すと、例えば、図４のようになる。ディゾ
ルブ区間は、図の左側ａのように下に凸のピークから上
に凸のピークに変化する部分として検出することができ
る。ただし、図の右側ｂのように、フェード区間、動き
ながらのディゾルブ、あるいは画面の形状によって、正
または負のどちらか一方のピークになることがあるの
で、下式のようにＤＭＶの絶対値があるしきい値βを超
えた場合に、該しきい値βを超えた時のフレームをディ
ゾルブ候補画面と判定する。
【００２６】｜DMV[t]｜＞β
次に、移動平均差分によってディゾルブ候補画面とされ
たフレームについて、色差ヒストグラム相関ρt,t-α
を用いて、最終的なディゾルブ画面検出を行う。色差ヒ
ストグラム相関ρt,t-α の時間変化をグラフで示す
と、例えば、図５のようになるので、下式にしたがって
最終的なディゾルブ画面を決定する。
たフレームについて、色差ヒストグラム相関ρt,t-α
を用いて、最終的なディゾルブ画面検出を行う。色差ヒ
ストグラム相関ρt,t-α の時間変化をグラフで示す
と、例えば、図５のようになるので、下式にしたがって
最終的なディゾルブ画面を決定する。
【００２７】ρt,t-α ＜γ
図５のａ、ｂは、図４のａ、ｂと対応している。なお、
ディゾルブ区間は経験的に数フレーム（例えば、５０〜
７０フレーム位）続くことが分かっているので、前記デ
ィゾルブ画面が検出された時には、該数フレーム飛ばし
て、次のディゾルブ画面の探索を再開する。この結果、
一つのディゾルブ区間から複数個のディゾルブ画面が検
出されるのを、防止することができる。
ディゾルブ区間は経験的に数フレーム（例えば、５０〜
７０フレーム位）続くことが分かっているので、前記デ
ィゾルブ画面が検出された時には、該数フレーム飛ばし
て、次のディゾルブ画面の探索を再開する。この結果、
一つのディゾルブ区間から複数個のディゾルブ画面が検
出されるのを、防止することができる。
【００２８】第１の判定部１１は、前記特殊カット点検
出処理部８で検出された特殊カット点のフレームｄをカ
ット点画像保持部１２に送る。一方、第１の判定部１１
は、該特殊カット点検出処理部８において、特殊カット
点であると判定されなかったフレームｅについては、さ
らに、通常のカット点であるかどうかを判定するため
に、通常カット点検出処理部１３に送る。
出処理部８で検出された特殊カット点のフレームｄをカ
ット点画像保持部１２に送る。一方、第１の判定部１１
は、該特殊カット点検出処理部８において、特殊カット
点であると判定されなかったフレームｅについては、さ
らに、通常のカット点であるかどうかを判定するため
に、通常カット点検出処理部１３に送る。
【００２９】該通常カット点検出処理部１３では、通常
のカット点検出を行い、通常のカット点であると判定さ
れたフレームｆは、特殊カット点と同様にカット点画像
保持部１２に入力される。一方、非カット画面と判定さ
れたフレームｇは廃棄される。 なお、通常カット点検
出の方法としては、例えば、前述の氏原、中島らによ
る”簡易復号処理による圧縮動画像データからのカット
点検出”、情報処理学会第５１回全国大会、６Ｓ−９
（１９９５）、特願平７−２６３６８１に開示されてい
る方法を用いることができる。
のカット点検出を行い、通常のカット点であると判定さ
れたフレームｆは、特殊カット点と同様にカット点画像
保持部１２に入力される。一方、非カット画面と判定さ
れたフレームｇは廃棄される。 なお、通常カット点検
出の方法としては、例えば、前述の氏原、中島らによ
る”簡易復号処理による圧縮動画像データからのカット
点検出”、情報処理学会第５１回全国大会、６Ｓ−９
（１９９５）、特願平７−２６３６８１に開示されてい
る方法を用いることができる。
【００３０】カット点画像保持部１２のカット点画像ｈ
は、カット点画像表示部１４にデータを転送することに
より、例えば、図６のようにカット点画像を一覧表示す
ることができる。
は、カット点画像表示部１４にデータを転送することに
より、例えば、図６のようにカット点画像を一覧表示す
ることができる。
【００３１】次に、図１の制御部１５の動作を、図７お
よび図８のフローチャートを参照して説明する。ステッ
プＳ１では、フレームのブロック番号を表すｋとｉを０
と置く。ステップＳ２では、可変長復号処理部１に入力
してきた動画像のブロック[i,k] の符号化データａを可
変長復号する。ステップＳ３では、前記平均値成分抽出
部３２が輝度信号および色差信号の平均値成分データの
抽出を行う。ステップＳ４では、ブロック[i,k] はフレ
ームｔ内の最終ブロックであるか否かの判断をする。こ
の判断が否定の時には、ステップＳ５に進み、ｋまたは
ｉに１を加えて、次のブロックに移行する。そして、再
度ステップＳ２、Ｓ３の処理をする。以上の処理を繰返
し行い、ステップＳ４の判断が肯定になると、ステップ
Ｓ６に進んで、前記画面内アクティビティ演算部２およ
び色差ヒストグラム演算部３へ、輝度および色差信号の
平均値成分データを転送する。
よび図８のフローチャートを参照して説明する。ステッ
プＳ１では、フレームのブロック番号を表すｋとｉを０
と置く。ステップＳ２では、可変長復号処理部１に入力
してきた動画像のブロック[i,k] の符号化データａを可
変長復号する。ステップＳ３では、前記平均値成分抽出
部３２が輝度信号および色差信号の平均値成分データの
抽出を行う。ステップＳ４では、ブロック[i,k] はフレ
ームｔ内の最終ブロックであるか否かの判断をする。こ
の判断が否定の時には、ステップＳ５に進み、ｋまたは
ｉに１を加えて、次のブロックに移行する。そして、再
度ステップＳ２、Ｓ３の処理をする。以上の処理を繰返
し行い、ステップＳ４の判断が肯定になると、ステップ
Ｓ６に進んで、前記画面内アクティビティ演算部２およ
び色差ヒストグラム演算部３へ、輝度および色差信号の
平均値成分データを転送する。
【００３２】ステップＳ７では、前記画面内アクティビ
ティ演算部２および色差ヒストグラム演算部３で求めら
れた画面内アクティビティY-VAR 2 [t] および色差ヒス
トグラムデータCb[i,k] 、Cr[i,k] を、それぞれ、移動
平均演算部４、第１のメモリ５、および色差相関演算部
９、第３のメモリ１０に転送する。ステップＳ８では、
前記移動平均演算部４で求められた移動平均データを移
動平均差分演算部６に転送する。ステップＳ９では、前
記移動平均差分演算部６および色差相関演算部９で求め
られた移動平均差分および色差相関データを、特殊カッ
ト点検出処理部８へ転送する。ステップＳ１０では、フ
レームｔは特殊カット点、すなわちディゾルブ画面であ
るか否かの判断がなされる。この判断が肯定の場合に
は、図８のステップＳ１３に進む。一方否定の場合は、
ステップＳ１１に進む。
ティ演算部２および色差ヒストグラム演算部３で求めら
れた画面内アクティビティY-VAR 2 [t] および色差ヒス
トグラムデータCb[i,k] 、Cr[i,k] を、それぞれ、移動
平均演算部４、第１のメモリ５、および色差相関演算部
９、第３のメモリ１０に転送する。ステップＳ８では、
前記移動平均演算部４で求められた移動平均データを移
動平均差分演算部６に転送する。ステップＳ９では、前
記移動平均差分演算部６および色差相関演算部９で求め
られた移動平均差分および色差相関データを、特殊カッ
ト点検出処理部８へ転送する。ステップＳ１０では、フ
レームｔは特殊カット点、すなわちディゾルブ画面であ
るか否かの判断がなされる。この判断が肯定の場合に
は、図８のステップＳ１３に進む。一方否定の場合は、
ステップＳ１１に進む。
【００３３】ステップＳ１３では、フレームｔの画面デ
ータを、カット点画像保持部１２に転送する。次いで、
ステップＳ１４に進み、フレームｔは最終画像であるか
否かの判断をする。この判断が否定の時には、図７のス
テップＳ１７に進んで、フレームｔを例えば６０フレー
ム更新する。この６０フレームは、一つのディゾルブ区
間が約６０フレームであり、１ディゾルブ区間から２以
上のディゾルブ画面を検出しないようにするためであ
る。その後、ステップＳ２にもどって、前記の処理を繰
返す。
ータを、カット点画像保持部１２に転送する。次いで、
ステップＳ１４に進み、フレームｔは最終画像であるか
否かの判断をする。この判断が否定の時には、図７のス
テップＳ１７に進んで、フレームｔを例えば６０フレー
ム更新する。この６０フレームは、一つのディゾルブ区
間が約６０フレームであり、１ディゾルブ区間から２以
上のディゾルブ画面を検出しないようにするためであ
る。その後、ステップＳ２にもどって、前記の処理を繰
返す。
【００３４】一方、前記ステップＳ１１に進んだ時に
は、ステップＳ１１にて、フレームｔについて、通常の
カット点検出処理を行う。ステップＳ１２では、フレー
ムｔは通常カット点であるか否かの判断がなされ、この
判断が肯定の時には、図８のステップＳ１５に進む。ス
テップＳ１５では、フレームｔの画面データを、カット
点画像保持部１２に転送する。次いで、ステップＳ１６
に進み、フレームｔは最終画像であるか否かの判断をす
る。この判断が否定の時には、図７のステップＳ１８に
進んで、フレームｔを１フレーム更新する。その後、ス
テップＳ２にもどって、前記の処理を繰返す。なお、ス
テップＳ１２の判断が否定の時には、ステップＳ１６に
進む。
は、ステップＳ１１にて、フレームｔについて、通常の
カット点検出処理を行う。ステップＳ１２では、フレー
ムｔは通常カット点であるか否かの判断がなされ、この
判断が肯定の時には、図８のステップＳ１５に進む。ス
テップＳ１５では、フレームｔの画面データを、カット
点画像保持部１２に転送する。次いで、ステップＳ１６
に進み、フレームｔは最終画像であるか否かの判断をす
る。この判断が否定の時には、図７のステップＳ１８に
進んで、フレームｔを１フレーム更新する。その後、ス
テップＳ２にもどって、前記の処理を繰返す。なお、ス
テップＳ１２の判断が否定の時には、ステップＳ１６に
進む。
【００３５】さて、前記ステップＳ１４またはＳ１６の
判断が肯定になると、ステップＳ１９に進んで、カット
画像をカット点画像表示部１４に表示するか否かの判断
がなされる。この判断が肯定の時には、ステップＳ２０
に進んで、カット点画像データをカット点画像表示部１
４に転送する。そして、ステップＳ２１で、処理を終了
するか否かの判断がなされ、この判断が肯定になると、
前記した一連の処理を終了する。
判断が肯定になると、ステップＳ１９に進んで、カット
画像をカット点画像表示部１４に表示するか否かの判断
がなされる。この判断が肯定の時には、ステップＳ２０
に進んで、カット点画像データをカット点画像表示部１
４に転送する。そして、ステップＳ２１で、処理を終了
するか否かの判断がなされ、この判断が肯定になると、
前記した一連の処理を終了する。
【００３６】
【発明の効果】以上説明したように、本発明によれば、
可変長復号のみで抽出可能な輝度信号、および色差信号
の平均値成分を用いて特殊カット点検出を行うようにし
たので、通常のカット点検出に加えて、ディゾルブなど
の特殊効果を用いたカット点の検出を処理量の増加を非
常に小さなものに抑えつつ行うことが可能になる。ま
た、全体のカット点検出率の向上を図ることが可能とな
る。
可変長復号のみで抽出可能な輝度信号、および色差信号
の平均値成分を用いて特殊カット点検出を行うようにし
たので、通常のカット点検出に加えて、ディゾルブなど
の特殊効果を用いたカット点の検出を処理量の増加を非
常に小さなものに抑えつつ行うことが可能になる。ま
た、全体のカット点検出率の向上を図ることが可能とな
る。
【００３７】なお、本発明を実際に動作させたところ、
次のような結果が得られた。すなわち、ニュース、料理
番組、バラエティ番組、宣伝番組（CM番組）等を含んだ
約１時間の素材で、ＩＳＯで標準化されたＭＰＥＧ１方
式で符号化されたビットストリームについてカット検出
を行った場合、実際のカット点に対する検出されたカッ
ト点の割合（検出率）を前述の氏原らの方式と、本発明
の方式とで検出した結果を比較すると、前者の検出率
が、９２．８％であるのに対し、後者の検出率が、９
４．５％となった。これは、ディゾルブなどの特殊効果
を用いたカット点の検出が可能になったために検出率が
向上したものであり、本発明による検出装置では、従来
装置と比較して、総合的に見て、高い精度でカット点画
面を検出することができた。
次のような結果が得られた。すなわち、ニュース、料理
番組、バラエティ番組、宣伝番組（CM番組）等を含んだ
約１時間の素材で、ＩＳＯで標準化されたＭＰＥＧ１方
式で符号化されたビットストリームについてカット検出
を行った場合、実際のカット点に対する検出されたカッ
ト点の割合（検出率）を前述の氏原らの方式と、本発明
の方式とで検出した結果を比較すると、前者の検出率
が、９２．８％であるのに対し、後者の検出率が、９
４．５％となった。これは、ディゾルブなどの特殊効果
を用いたカット点の検出が可能になったために検出率が
向上したものであり、本発明による検出装置では、従来
装置と比較して、総合的に見て、高い精度でカット点画
面を検出することができた。
【図１】 本発明の一実施形態の動画像の特殊カット画
面の検出装置の構成を示すブロック図である。
面の検出装置の構成を示すブロック図である。
【図２】 図１の平均値成分抽出部の動作の一例の説明
図である。
図である。
【図３】 図１の移動平均演算部の動作の一例の説明図
である。
である。
【図４】 輝度信号の移動平均差分を示す説明図であ
る。
る。
【図５】 色差ヒストグラム相関を示す説明図である。
【図６】 図１のカット画像表示部の表示例を示す説明
図である。
図である。
【図７】 図１の制御装置の動作を説明するためのフロ
ーチャートである。
ーチャートである。
【図８】 図７の続きのフローチャートである。
１…可変長復号処理部、２…画面内アクティビティ演算
部、３…色差ヒストグラム演算部、４…移動平均演算
部、５…第１のメモリ、６…移動平均差分演算部、７…
第２のメモリ、８…特殊カット点検出処理部、９…色差
演算部、１０…第３のメモリ、１１…第１の判定部、１
２…カット点画像保持部、１３…通常カット点検出処理
部、１４…カット点画像表示部、１５…制御部、３１…
可変長復号部、３２…平均値成分抽出部。
部、３…色差ヒストグラム演算部、４…移動平均演算
部、５…第１のメモリ、６…移動平均差分演算部、７…
第２のメモリ、８…特殊カット点検出処理部、９…色差
演算部、１０…第３のメモリ、１１…第１の判定部、１
２…カット点画像保持部、１３…通常カット点検出処理
部、１４…カット点画像表示部、１５…制御部、３１…
可変長復号部、３２…平均値成分抽出部。
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平７−236153（ＪＰ，Ａ)
特開 平６−22298（ＪＰ，Ａ)
特開 平６−153155（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 11/00 - 11/22
H04N 9/00 - 9/78
Claims (7)
- 【請求項１】 動画像の特殊カット点検出装置におい
て、 入力された動画像の画面データから各フレームの輝度成
分のアクティビティを求める画面内アクティビティ演算
手段と、 該画面内アクティビティ演算手段によって抽出された各
フレームの画面内アクティビティから、各フレームの画
面内アクティビティの移動平均を求める移動平均演算手
段と、 該移動平均演算手段によって抽出された各フレームの移
動平均データから、移動平均のフレーム間差分値を求め
る移動平均差分演算手段と、 前記画面データから注目画面および該注目画面から時間
的に複数フレーム前の色差信号のヒストグラムをそれぞ
れ求め、フレーム間の色差信号ヒストグラム相関値を求
める色差ヒストグラム相関演算手段と、 該移動平均差分データと該色差ヒストグラム相関を用い
て特殊カット点検出処理を行う特殊カット点検出処理手
段とを具備したことを特徴とする動画像の特殊カット点
検出装置。 - 【請求項２】 請求項１の動画像の特殊カット点検出装
置において、 前記画面内アクティビティ演算手段は、入力された動画
像の各フレームの小領域での平均値成分データから画面
内アクティビティを抽出することを特徴とする動画像の
特殊カット点検出装置。 - 【請求項３】 請求項１の動画像の特殊カット点検出装
置において、 前記画面内アクティビティ演算手段は、入力された動画
像が圧縮された動画像である場合には、画面データを復
号処理し、該復号処理されたデータの一部を抽出する簡
易復号処理を用いて得られる小領域の平均値成分データ
から画面内アクティビティを抽出することを特徴とする
動画像の特殊カット点検出装置。 - 【請求項４】 請求項１〜３のいずれかの動画像の特殊
カット点検出装置において、 前記画面内アクティビティ演算手段は、抽出した小領域
の平均値成分データのうち輝度成分の平均値成分データ
を用いて画面内偏差を求めることを特徴とする動画像の
特殊カット点検出装置。 - 【請求項５】 請求項１の動画像の特殊カット点検出装
置において、 前記色差ヒストグラム相関演算手段は、前記フレームの
小領域の平均値成分データのうち色差成分の平均値成分
データを用いて色差ヒストグラムを求めることを特徴と
する動画像の特殊カット点検出装置。 - 【請求項６】 請求項１の動画像の特殊カット点検出装
置において、 前記特殊カット点検出処理手段は、前記移動平均差分デ
ータの時間的変化と、前記色差ヒストグラム相関の時間
的変化により特殊カット画面を判定することを特徴とす
る動画像の特殊カット点検出装置。 - 【請求項７】 請求項６の動画像の特殊カット点検出装
置において、 前記移動平均差分データの時間的変化と、前記色差ヒス
トグラム相関の時間的変化が、それぞれに対して設けら
れたしきい値を越える時に、特殊カット画面と判定する
ようにしたことを特徴とする動画像の特殊カット点検出
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25233396A JP3390308B2 (ja) | 1996-09-03 | 1996-09-03 | 動画像の特殊カット点検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25233396A JP3390308B2 (ja) | 1996-09-03 | 1996-09-03 | 動画像の特殊カット点検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1079957A JPH1079957A (ja) | 1998-03-24 |
| JP3390308B2 true JP3390308B2 (ja) | 2003-03-24 |
Family
ID=17235816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25233396A Expired - Fee Related JP3390308B2 (ja) | 1996-09-03 | 1996-09-03 | 動画像の特殊カット点検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3390308B2 (ja) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2611607B2 (ja) * | 1992-06-29 | 1997-05-21 | 日本ビクター株式会社 | シーンチェンジ検出装置 |
| JP3157928B2 (ja) * | 1992-11-09 | 2001-04-23 | 松下電器産業株式会社 | 動画像の拾い見装置 |
| JP2971724B2 (ja) * | 1994-02-22 | 1999-11-08 | ケイディディ株式会社 | 動画像のカット点検出装置 |
-
1996
- 1996-09-03 JP JP25233396A patent/JP3390308B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1079957A (ja) | 1998-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6473459B1 (en) | Scene change detector | |
| US5719643A (en) | Scene cut frame detector and scene cut frame group detector | |
| JP3363039B2 (ja) | 動画像内の移動物体検出装置 | |
| KR100865248B1 (ko) | 비디오 신호에서의 자막 검출 | |
| US20090122164A1 (en) | Roi setting method and apparatus, electronic camera apparatus, program, and recording medium | |
| US6940910B2 (en) | Method of detecting dissolve/fade in MPEG-compressed video environment | |
| US8224076B2 (en) | Image processing method and image processing apparatus | |
| WO2011140783A1 (zh) | 一种实现视频预览和检索的方法及移动终端 | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| US20060109902A1 (en) | Compressed domain temporal segmentation of video sequences | |
| JP2003061038A (ja) | 映像コンテンツ編集支援装置および映像コンテンツ編集支援方法 | |
| JP2978039B2 (ja) | 動画像のカット画面検出方法 | |
| JP3390308B2 (ja) | 動画像の特殊カット点検出装置 | |
| JP2859345B2 (ja) | シーン変化検出方法 | |
| JPH10224741A (ja) | 動画像のカット点検出方法 | |
| JPH07236153A (ja) | 動画像のカット点検出およびカット画面グループ検出装置 | |
| JP2002064823A (ja) | 圧縮動画像のシーンチェンジ検出装置、圧縮動画像のシーンチェンジ検出方法及びそのプログラムを記録した記録媒体 | |
| JP4036321B2 (ja) | 映像の検索装置および検索プログラム | |
| CN114387440A (zh) | 一种视频裁剪方法、装置及存储介质 | |
| JP2003061112A (ja) | カメラワーク検出装置およびカメラワーク検出方法 | |
| JPH10112863A (ja) | 動き被写体情報抽出方法及び装置 | |
| JP4225503B2 (ja) | 動画像のカット点検出装置 | |
| JP3339544B2 (ja) | ディゾルブ検出方法および装置 | |
| JPH10224779A (ja) | 動画像のシーン変化検出方法及び装置 | |
| KR20020040503A (ko) | 동영상 비디오 스트림의 장면전환 검출방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120117 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120117 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150117 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |