JP3827705B1 - 映像記録装置及びシーンチェンジ抽出方法 - Google Patents

映像記録装置及びシーンチェンジ抽出方法 Download PDF

Info

Publication number
JP3827705B1
JP3827705B1 JP2005232957A JP2005232957A JP3827705B1 JP 3827705 B1 JP3827705 B1 JP 3827705B1 JP 2005232957 A JP2005232957 A JP 2005232957A JP 2005232957 A JP2005232957 A JP 2005232957A JP 3827705 B1 JP3827705 B1 JP 3827705B1
Authority
JP
Japan
Prior art keywords
scene change
video
unit
encoding
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005232957A
Other languages
English (en)
Other versions
JP2007049516A (ja
Inventor
恵明 楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005232957A priority Critical patent/JP3827705B1/ja
Priority to US11/989,309 priority patent/US8886014B2/en
Priority to CN2006800291636A priority patent/CN101238727B/zh
Priority to JP2007529457A priority patent/JP4707713B2/ja
Priority to PCT/JP2006/305337 priority patent/WO2007017970A1/ja
Application granted granted Critical
Publication of JP3827705B1 publication Critical patent/JP3827705B1/ja
Publication of JP2007049516A publication Critical patent/JP2007049516A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びシーンチェンジ抽出方法を提供する。
【解決手段】映像記録装置１００は、映像データＰＩＮを符号化する符号化器１０１と、符号化器１０１から出力された符号化ストリームを記録するＨＤＤ１０５と、符号化器１０１から出力された符号化ストリームをＨＤＤ１０５に転送するストリーム制御部１０３と、符号化器１０１から出力された符号化ストリームを復号化し、復号化された映像データのシーンチェンジを抽出するシーンチェンジ抽出部１１０と、符号化器１０１から符号化ストリームの符号化単位毎に符号化完了通知ＩＥＮを取得して、シーンチェンジ抽出部１１０に対するシーンチェンジ抽出指示ＣＳＣを出力する録画制御部１０２とを有している。
【選択図】 図１

Description

本発明は、映像の記録と並行して映像のシーンチェンジを検出することができる映像記録装置、及びこの映像記録装置によって実施されるシーンチェンジ抽出方法に関するものである。
従来、映像を符号化して記録する映像記録装置において、記録した映像から希望する映像シーンを探し出すためには、早送り又は巻戻しなどの特殊再生を利用しながら、人間の目で該当するシーンを探し出しており、非常に多くの時間と労力を費やす必要があった。
このような問題を解消するために、映像の場面転換シーン（以後「シーンチェンジ」と言う。）を見つけるための方法が提案されてきた（例えば、特許文献１及び２参照）。特許文献１には、符号化を行うエンコーダの前段のプリ映像信号処理装置において、時間的に前後する２つの映像のヒストグラムの差の絶対値を算出し、算出された絶対値が所定の閾値を超えた場合にシーンチェンジであると判定する方法が示されている。また、特許文献２には、既にＨＤＤなどのストレージメディアに蓄積された映像データを読み出してシーンチェンジを抽出する方法が示されている。
特開２００４−２８２３１８号公報（第７頁、図２） 特開２００２−０６４８２３号公報（第５頁、図１）
しかしながら、特許文献１に示される方法は、エンコーダの前段に設けられたプリ映像信号処理装置によってシーンチェンジを検出する方法であるので、ビデオエンコーダからエンコーダまでの構成が一体になっているエンコーダチップセットであってシーンチェンジ抽出結果を外部に出力しないものを備えた映像記録装置には適用することができなかった。また、エンコーダチップセットがシーンチェンジ抽出結果を出力する場合においても、使用するエンコーダチップセットの種類が変わる毎にシーンチェンジ抽出結果が変わってしまうので、エンコーダチップセットの種類が変わる毎に映像記録装置における調整が必要になるという問題があった。
また、特許文献２に示される方法は、既に圧縮されＨＤＤ上に記録された映像ストリームからシーンチェンジを検出する方法であるので、記録処理が完了した後に、オフラインで多大な時間のかかる処理を行う必要があり、実用的ではなかった。
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びこの映像記録装置において実施されるシーンチェンジ抽出方法を提供することである。
本発明の映像記録装置は、映像データを符号化する符号化手段と、前記符号化手段から出力された符号化ストリームを記録する記録手段と、前記符号化手段から出力された符号化ストリームを前記記録手段に転送するストリーム制御手段と、前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出する映像変化点抽出手段と、前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに前記映像変化点抽出手段に対するシーンチェンジ抽出指示を出力する録画制御手段とを有することを特徴とするものである。
また、本発明のシーンチェンジ抽出方法は、符号化手段によって映像データを符号化して符号化ストリームを出力するステップと、前記符号化ストリームをストリーム制御手段によって転送して記録手段に記録するステップと、録画制御手段によって前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに映像変化点抽出手段に対するシーンチェンジ抽出指示を出力するステップと、前記映像変化点抽出手段によって、前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出するステップとを有することを特徴とするものである。
本発明の映像記録装置及びシーンチェンジ抽出方法によれば、映像が符号化される毎にシーンチェンジ抽出処理を行うので、リアルタイムにシーンチェンジの抽出を行うことができるという効果がある。
実施の形態１．
図１は、本発明の実施の形態１の映像記録装置１００の構成を示すブロック図である。図１に示されるように、映像記録装置１００は、図示しないチューナから又は外部から入力された入力映像データに対して、ＭＰＥＧ−２（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に準拠した符号化を行う符号化手段としての符号化部１０１と、符号化部１０１によって生成された符号化ストリームが記録される記録手段としてのＨＤＤ（ハードディスクドライブ）１０５と、ＨＤＤ１０５に対して符号化ストリームを安定的に書き込み及び読み出しを行うためのストリーム制御を行うストリーム制御手段としてのストリーム制御部１０３とを有している。また、映像記録装置１００は、ストリーム制御部１０３が符号化ストリームを一時的に記憶しておく一時記憶手段としてのストリームバッファ１０４と、符号化部１０１に対して符号化の開始・終了などを指示する録画制御手段としての録画制御部１０２と、符号化部１０１によって生成された符号化ストリームからシーンチェンジを抽出する映像変化点抽出手段としてのシーンチェンジ抽出部１１０とを有している。図１には、記録手段としてＨＤＤ１０５が示されているが、記録手段は、ＤＶＤのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像記録装置１００は、ＤＶＤ／ＨＤＤハイブリッドレコーダであってもよい。さらに、映像記録装置１００は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。
符号化部１０１による符号化方式であるＭＰＥＧ−２は可変レートに対応しており、そのため、１秒間に発生する符号量（ビットレート）は時間によって大きく変動する。そのため、ストリーム制御部１０３は、ＨＤＤ１０５へのデータ書き込み及びＨＤＤ１０５からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ１０４に一時的に保持させ、ＨＤＤ１０５の状態に応じて符号化ストリームのＨＤＤ１０５への書き出し及びＨＤＤ１０５からの読み込みを行っている。ストリームバッファ１０４は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分書き込みを行い、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う。
図２は、図１に示されるシーンチェンジ抽出部１１０の構成を示すブロック図である。図２に示されるように、シーンチェンジ抽出部１１０は、入力された符号化ストリームの復号化を行う復号化手段としての復号化部１１１と、復号化された映像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成器１１２と、ヒストグラム生成器１１２によって生成されたヒストグラムを保持する第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４と、第１のヒストグラムバッファ１１３に保持されたヒストグラムと第２のヒストグラムバッファ１１４に保持されたヒストグラムの差異を求める差分抽出手段としての差分抽出器１１５とを有している。また、シーンチェンジ抽出部１１０は、差分抽出器１１５で求めた差異値と予め設定された閾値を比較するシーンチェンジ判定手段としてのシーンチェンジ判定器１１６と、録画制御部１０２からのシーンチェンジ開始命令などの制御信号に基づいてシーンチェンジ抽出部１１０を制御するシーンチェンジコマンド制御手段としてのシーンチェンジコマンド制御部１２０とを有している。
次に、映像記録装置１００の録画動作について説明する。録画が開始されると、録画制御部１０２は、符号化部１０１に対して制御信号ＣＥＮを出力して符号化開始を指示し、符号化部１０１は入力された映像データＰＩＮの符号化処理を開始する。符号化部１０１は、例えば、符号化単位であるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）の符号化が完了する毎に、録画制御部１０２にＧＯＰ符号化完了通知ＩＥＮを送る。ストリーム制御部１０３は、符号化部１０１によって符号化された符号化ストリームをストリームバッファ１０４の書き込み位置ポインタを先頭に順次書き込んでいく。一方、ストリーム制御部１０３は、ＨＤＤ１０５が書き込み状態になっているのを確認しながら、ストリームバッファ１０４の読み出し位置ポインタから符号化ストリームを読み出し、ＨＤＤ１０５に書き込みを行う。録画が実行されている間、前記動作が繰り返し行われる。録画終了時には、録画制御部１０２は、符号化部１０１に対して符号化終了を指示し、符号化部１０１は符号化を停止する。ストリーム制御部１０３は、ストリームバッファ１０４に残っている符号化ストリームをすべてＨＤＤ１０５に書き込む。
次に、録画を行いながらシーンチェンジを抽出する方法について説明する。録画制御部１０２は、例えば、ＧＯＰの符号化完了通知ＩＥＮを符号化部１０１から受け取る毎に、シーンチェンジ抽出部１１０に対してシーンチェンジ抽出コマンドＣＳＣを送る。シーンチェンジ抽出コマンドＣＳＣは、シーンチェンジ抽出部１１０内のシーンチェンジ制御部１２０を経由して、復号化開始コマンドＣＤＥとして復号化部１１１に送られる。復号化部１１１は、符号化ストリームＰＳＴをストリーム制御部１０３を経由してストリームバッファ１０４から呼び出し、復号化を開始する。復号化部１１１によってＭＰＥＧ−２からＹＵＶに復号化された映像データはヒストグラム生成器１１２に入力され、ヒストグラム生成器１１２によって映像データのＹＵＶの各区画に含まれる計数に基づいてヒストグラムが作成される。ここで、ヒストグラム生成のための区画分けは、値の取り得る範囲を一定間隔に区切る方法、又は、予め複数の閾値を定めておいて、各閾値に対する大小関係に応じて区画分けをする方法などがある。また、ここでは、輝度成分Ｙと色差成分Ｕ、Ｖのすべての成分に対してヒストグラムを作成する場合を説明しているが、輝度成分Ｙのみについてヒストグラムを生成する方法を採用してもよい。また、輝度成分Ｙと色差成分Ｕ、Ｖのすべての成分に対してヒストグラムを作成するが、色差成分Ｕ及びＶに対しては重みを加えて区画分けを荒くする方法を採用してもよい。また、ヒストグラムの区画分けの方法は、以上に説明した例に限定されず、他の区画分け方法を採用してもよい。
ヒストグラム生成器１１２で生成されたヒストグラムは、第１のヒストグラムバッファ１１３又は第２のヒストグラムバッファ１１４に交互に送られ保持される。差分抽出器１１５は、第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４に交互に記憶されたヒストグラムを用いて、現在の映像データと１つ前の映像データの映像の比較を行い（例えば、現在のフレームの映像データと、１フレーム前のフレームの映像データの比較を行い）、差異値を求める。２つのヒストグラムの差異値を求める方法としては、例えば、２つのヒストグラムの対応する成分の値の差を、すべての成分について累積する方法がある。ここで、ｉ番目の映像のヒストグラムをＨｉ
Ｈｉ＝｛ｈｉ（１），ｈｉ（２），・・・，ｈｉ（Ｋ）｝
とすると、ｉ番目の映像のヒストグラムＨｉと、１つ前のｉー１番目の映像のヒストグラムＨｉ−１との差異値ｄを以下の式で求める。なお、Ｋは、所定の正の整数である。
Figure 0003827705
 ここで、Ｎは１フレーム内の画素数である。これによって、差異値ｄは０から１までの値をとり、ｉ番目のフレームの映像とｉー１番目のフレームの映像が同じ映像であれば差異値ｄは０になり、ｉ番目のフレームの映像とｉー１番目のフレームの映像の違いが大きければ差異値ｄは１に近づくことになる。
差分抽出器１１５で求められた差異値ｄは、シーンチェンジ判定器１１６に送られ、予めシーンチェンジコマンド制御部１２０によって設定された閾値ＥＴＨと比較され、設定された閾値ＥＴＨより大きな値であればシーンチェンジと判定し、その判定結果ＲＳＣをシーンチェンジコマンド制御部１２０に送る。さらに、録画終了時などに判定結果ＲＳＣを録画制御部１０２に送る。
以上に説明したように、符号化部１０１によってＧＯＰの符号化が完了する毎に（すなわち、実施の形態１においては、ＧＯＰの符号化完了に同期して）、シーンチェンジ抽出部１１０でシーンチェンジ判定を行う処理を、映像の録画開始から終了までの間において継続的に行うことによって、映像ストリームＰＳＴを録画しながら、映像ストリームＰＳＴのシーンチェンジを抽出することができる。すなわち、符号化の最小単位であるＧＯＰの符号化完了毎にシーンチェンジ抽出処理を実行するので、符号化と並行してシーンチェンジ抽出を行うことができる。
また、リアルタイムにシーンチェンジ抽出を行うので、シーンチェンジ抽出機能を有していないエンコーダを符号化部１０１に用いることができる。そのため、映像記録装置に採用するエンコーダの選定に際して、シーンチェンジ抽出機能を有しないエンコーダを選ぶことが可能になり、エンコーダ選択の幅が広がり、コストや調達性を重視したエンコーダの選択が可能になる。
また、既にＨＤＤなどに蓄積された符号化ストリームを解析してシーンチェンジを抽出する方法では、符号化ストリームを記憶装置であるＨＤＤから読み出すための時間が、シーンチェンジの解析時間に加えて、必要とされる。しかしながら、実施の形態１の映像記録装置１００においては、ＨＤＤ１０５よりも書き込み及び読出し速度が速く、ストリームを一時的に記憶しておくストリームバッファ１０４（通常は、揮発性半導体メモリを用いる）から読み出すため高速に読み出すことができ、結果として処理時間が早くなる。
また、シーンチェンジ抽出部１１０は符号化部１０１（エンコーダ）の動作よって影響されないので、エンコーダの種類や仕様が変更されたとしても、シーンチェンジの抽出基準を一定範囲に維持することができる。
また、実施の形態１の映像記録装置は、録画と並行してシーンチェンジを抽出できる機能のほかに、符号化ストリームを直接解析する機能をも有する。このため、直接ＨＤＤに記録された符号化ストリームに対してもストリーム制御部１０３を介して符号化ストリームを読み出すことによってシーンチェンジ抽出を行うことができる。
さらに、一般的にハードウェアで構成されるエンコーダチップ内のシーンチェンジ機能を利用するわけではなく、録画再生装置のファームウェアのみで構成することも可能なので、シーンチェンジ抽出のためのアルゴリズムを比較的容易に改変したり、録画再生装置の状態等に合わせてシーンチェンジ抽出処理の状態遷移や閾値を動的に変更したりすることができる。
例えば、入力映像データがＣＭ映像データである期間は、シーンチェンジの判定の閾値ＥＴＨを大きくして、シーンチェンジであると判定され難くして、ＣＭ映像データに対するシーンチェンジ検出を実行させないように制御する方法を採用してもよい。
また、シーンチェンジにおいて音声信号が無音になる瞬間が存在することに着目し、音声信号が無音（すなわち、所定の閾値よりも低いレベル）のときに、シーンチェンジの判定の閾値ＥＴＨを小さくすることによって、シーンチェンジを映像データだけでなく、音声データをも考慮して検出し、シーンチェンジの検出精度を向上させる制御方法を採用してもよい。
また、以上の説明においては、シーンチェンジ抽出単位を１ＧＯＰとしているが、シーンチェンジ抽出単位を複数のＧＯＰ単位としてもよい。また、シーンチェンジ抽出単位を、１又は複数のスライス単位又は１又は複数のマクロブロック単位としてもよい。
また、以上の説明においては、復号化処理を行う方法としてソフトウェアによる例を示したが、ハードウェアによって実行してもよい。
実施の形態２．
本発明の実施の形態２の映像記録装置は、図２に示されるシーンチェンジコマンド制御部１２０の構成及び動作のみが、実施の形態１の映像記録装置と相違する。したがって、実施の形態２の説明においては、図１及び図２をも参照する。
実施の形態２の映像記録装置は、録画と並行してシーンチェンジ抽出を行う場合に、シーンチェンジ抽出動作をＧＯＰの符号化処理と非同期に行う。この非同期に行われる符号化処理を、単に「非同期処理」とも言う。この非同期処理は、符号化部１０１による符号化処理が完了したＧＯＰに対して実行されるシーンチェンジ抽出処理の開始タイミングが、符号化処理の完了タイミングと必ずしも一致しない状態でも実行できることである。非同期処理の実際の動作としては、あるＧＯＰについて着目すると、符号化処理が完了した後、直ぐにシーンチェンジ抽出処理が行うのではなく、しばらく時間を置いてからシーンチェンジ抽出処理を実行する方法である。
一般的に、映像を記録する装置、例えば、ＨＤＤ／ＤＶＤハイブリッドレコーダなどにおいては録画動作に並行して、再生やダビング等のような装置のＣＰＵの負荷が上昇する動作が発生し得る。また、ユーザーによって不定期に行われる行為、例えば、ＤＶＤのトレーオープン、機能設定画面の表示、及び電子番組表の閲覧などの動作は、装置の一時的なＣＰＵの負荷上昇を招く。これらの動作によって負荷上昇が発生した場合、シーンチェンジ抽出処理のために、ＣＰＵを占有し続けることができる保障はなく、他の処理の完了を待つ間、シーンチェンジ抽出処理をしばらく遅らせることが望ましい場合があり得る。一方、シーンチェンジ抽出処理によって、装置の基本機能である映像の記録機能が妨げられることがあってはならず、よってシーンチェンジ抽出処理は記録処理よりも優先度を落とした処理にすることが望ましい。このような機能を実現するために、実施の形態２の映像記録装置においては、シーンチェンジ抽出処理を録画動作と非同期に行うころができるように構成している。
図３は、実施の形態２の映像記録装置のシーンチェンジコマンド制御部１２０（図２に示される）の構成を示すブロック図である。図３に示されるように、シーンチェンジコマンド制御部１２０は、録画制御部１０２からのコマンドの受け付けを行うＡＰＩ（アプリケーション プログラム インターフェース）部１２１と、受け付けたコマンドを複数保持するコマンドバッファ１２２と、シーンチェンジ抽出部の状態遷移を司り、受け付けたコマンドを処理する状態制御部１２４と、シーンチェンジ抽出結果やエラー状態を保持し、録画制御部１０２に返すためのシーンチェンジ抽出結果バッファ１２３とを有している。実施の形態２の映像記録装置が実施の形態１の映像記録装置と相違する点は、録画制御部１０２から発行されたシーンチェンジ抽出コマンドがシーンチェンジコマンド制御部１２０内のＡＰＩ部１２１に伝えられ、コマンドバッファ１２２に一旦保持されることである。コマンドバッファ１２２が保持できるコマンドの数はストリームバッファ１０４の容量に応じて設定すればよい。例えば、ストリームバッファ１０４のサイズが実施の形態１で示した２０Ｍバイトである仮定すると、符号化ストリームの約１５秒分（すなわち、１ＧＯＰあたり１５ピクチャ、０．５秒の時間長とすると、３０ＧＯＰのデータ）が一時的に保持できることになり、よって、３０個分のシーンチェンジ抽出コマンドを保持できるように構成すればよい。コマンドバッファ１２２が３０個のシーンチェンジ抽出コマンドを保持でき、且つ、ストリームバッファ１０４に３０ＧＯＰ分のデータが残っていれば、最新のＧＯＰから３０個前のＧＯＰまで遡ってシーンチェンジ抽出が可能であることを意味し、３０個のＧＯＰ分、すなわち、１５秒遅延したシーンチェンジ抽出処理が可能であることをも意味する。シーンチェンジコマンド制御部１２０のシーンチェンジ抽出結果バッファ１２３は、シーンチェンジ抽出部１１０の状態制御部１２４が実行したシーンチェンジ抽出結果の複数回分保持することが可能で、コマンドバッファ１２２に保持できるコマンド数と同数分を保持できるものとすればよい。
これによって、先行するＧＯＰのシーンチェンジ抽出処理が完了していない状態（例えば、ユーザーが既に録画されているストリームの再生要求をしたために、システムの負荷が上昇し、シーンチェンジ抽出処理が完了できなかった場合）において、次のＧＯＰの符号化が完了し、録画制御部１０２からシーンチェンジ抽出コマンドが発行された場合であっても、新しいシーンチェンジ抽出コマンドはコマンドバッファ１２２に保持される。コマンドバッファ１２２に保持されているシーンチェンジ抽出コマンドによって、現在実行中のシーンチェンジ抽出処理が完了後に、先行するＧＯＰのシーンチェンジ抽出処理を実行できるので、ＧＯＰの符号化毎にシーンチェンジ抽出処理が完了しないために次のシーンチェンジ抽出処理が実行できないという問題を防ぐことができる。
次に、図４、図５、及び図６のフローチャートを用いて録画動作と非同期で動作するシーンチェンジ抽出処理の説明を行う。まず、録画制御部１０２の動作について説明する。映像記録装置１００に電源が投入されると、システム起動（ステップＳ２０１）され、定期的にシステム終了の確認（ステップＳ２０２）と録画開始の確認（ステップＳ２０４）が行われ、システム終了の要求があれば、システム終了（ステップＳ２０２）に遷移する。一方、録画開始の要求があれば、シーンチェンジコマンド制御部１２０に対して、録画開始コマンド発行（ステップＳ２０５）が行われる。録画開始コマンドの発行の後は、録画終了を確認（ステップＳ２０６）し、録画終了であれば録画終了コマンドをシーンチェンジコマンド制御部１２０に発行する（ステップＳ２０７）。録画状態においては、ＧＯＰ単位の符号化が完了すると（ステップＳ２０８）、シーンチェンジコマンド制御部１２０に対してシーンチェンジ検出コマンドが発行される（ステップＳ２０９）。ＧＯＰ符号化検出（ステップＳ２０８）は、録画が完了するまで続けられる。録画制御部１０２から発行された制御コマンドは、シーンチェンジコマンド制御部１２０のＡＰＩ部１２１内で処理される。シーンチェンジ制御コマンドＣＳＣが発行されるとコマンドバッファ１２２の空きをチェックし（ステップＳ２２３）、コマンドバッファ１２２の空きがあれば、コマンドバッファ１２２にコマンドを格納する（ステップＳ２２４）。コマンドバッファ１２２に格納できなかった場合も含めて、次にシーンチェンジ状態制御部１２４からシーンチェンジ結果バッファ１２３に蓄えられたシーンチェンジ抽出結果の取得を行う（ステップＳ２２５）。最後に、シーンチェンジ抽出結果とコマンドが受け付けられたか否かを録画制御部１０２に返す（ステップＳ２２６）。
一方、シーンチェンジ状態制御部１２４では電源起動されると（ステップＳ２４１）、コマンド待ち状態になり（ステップＳ２４２）、受け取ったコマンドがシステム終了（ステップＳ２４３）であればシステム終了に移る（ステップＳ２４５）。また、コマンドが録画開始コマンドであれば（ステップＳ２５２）、録画開始のための例えばメモリの確保や変数の初期化などの録画開始処理（ステップＳ２５３）を実行し、録画終了コマンド（ステップＳ２５４）であれば、例えば確保したメモリの開放やシーンチェンジ抽出結果を録画制御部１０２に送る録画終了処理（ステップＳ２５５）を行う。一方、受け取ったコマンドがシーンチェンジ抽出コマンドであれば、シーンチェンジ抽出コマンドに付けて渡される符号化ストリームのストリームバッファ１０４における先頭アドレスを元に、符号化ストリームの復号化を行う（ステップＳ２４６）。復号化部１１１によってＹＵＶに変換された映像データからヒストグラムを生成し（ステップＳ２４７）、そのヒストグラムを第１のヒストグラムバッファ１１３（又は第２のヒストグラムバッファ１１４）に格納する（ステップＳ２４８）。生成したヒストグラムと第２のヒストグラムバッファ１１４（又は第１のヒストグラムバッファ１１３）に格納されている１つ前の映像のヒストグラムの差異値を求め（ステップＳ２４９）、予め設定されている閾値以上であればシーンチェンジと判定する（ステップＳ２５０）。この結果を、結果バッファ１２３に格納する（ステップＳ２５１）。
１つのＧＯＰに対するシーンチェンジ抽出処理が終わると、次の処理を行うためにコマンド待ち（ステップＳ２４２）に移る。ここでもし既にコマンドバッファ１２２にコマンドが格納されていれば、即座に、次のＧＯＰの解析が開始されるが、次のコマンドバッファがまだ設定されていなければ、コマンド待ちを継続する（ステップＳ２４２）。
実施の形態２の映像記録装置においては、シーンチェンジ抽出を行うソフトウェアモジュールのタスク又はスレッドの優先度は録画再生を行うモジュール群より低くしている。この理由は、シーンチェンジ抽出を行うモジュールは、ＭＰＥＧのソフトウェアデコード処理を伴うために、非常に処理負荷が高く、よって図示しないがソフトウェアを処理するＣＰＵを占有する時間が他のモジュールに比べて極めて大きくなるからである。そのため、もしシーンチェンジ抽出モジュールの優先度を録画再生モジュールの優先度と同じ又はそれ以上にしていると、録画再生時にＣＰＵの処理時間の多くを占有し、そのために映像の記録に関するモジュールの処理が遅れ、結果記録又は再生ができない問題を引き起こす可能性があるからである。さらに、ユーザー入力によって動作するモジュール、例えば、キー入力、画面表示等を司るモジュールの動作も同様にシーンチェンジ抽出モジュールによってその動作を遅延させることが想定しうる。よって、シーンチェンジ抽出モジュールの優先度は、その他のモジュールの優先度に比べて、低くすることが望ましい。一方、次々と録画によって生成されるＧＯＰに対してシーンチェンジの解析を実行していかなければ、シーンチェンジ検出を行うことはできない。しなしながら、符号化部１０１による符号化処理はリアルタイムに行われていくが、生成された符号化ストリームはＨＤＤ１０５に書き込みを行うために一時的にストリームバッファ１０４に保持されている。よって、符号化ストリームがストリームバッファ１０４に保持されている間にシーンチェンジモジュールがストリームバッファ１０４上の符号化ストリームを処理すれば、すべてのＧＯＰに対してシーンチェンジ抽出処理を行うことができることになる。
実際に、シーンチェンジ抽出動作が継続して実行されている最中において、例えば、ユーザーによる別番組の再生要求やＥＰＧ番組表の表示などシステム的に負荷の大きな処理が起動された場合を想定してみる。先行するＧＯＰのシーンチェンジ抽出実行時に大きな負荷がかかり、その処理の進行があまり進んでいない状況で、次のＧＯＰの符号化完了通知が符号化部１０１から録画制御部１０２に上がってくる。録画制御部１０２は、即座にシーンチェンジ抽出部１１０のシーンチェンジコマンド制御部１２０に対して、シーンチェンジ抽出コマンドを発行する。シーンチェンジコマンド制御部１２０のＡＰＩ部は、コマンドバッファの空きを見て（ステップＳ２２３）、空きがあればコマンドバッファにシーンチェンジ抽出コマンドを格納する。シーンチェンジコマンド制御部１２０は、シーンチェンジ抽出コマンドの格納だけを行い、即座に録画制御部１０２にリターンを返す。さらに、次のＧＯＰの符号化完了までに、先行するＧＯＰのシーンチェンジ抽出が完了していなければ、さらにその次のＧＯＰに対するシーンチェンジ抽出コマンドもコマンドバッファに格納する。その後シーンチェンジ抽出が完了すると、シーンチェンジ状態制御部はコマンド待ち（ステップＳ２４２）に移り、コマンドバッファより最古のコマンドを受け取り、次のＧＯＰのシーンチェンジ抽出の実行を開始する。その後システムの負荷が定常状態になると、シーンチェンジ抽出処理の処理頻度が増加し、コマンドバッファの遅延されたコマンドを順次と実行する。ただし、この遅延に許された最大数は２０ＧＯＰ分であり、それ以上のシーンチェンジ処理要求が生じた場合はコマンドバッファにコマンドの空きがないため、該当するＧＯＰに対してシーンチェンジ処理が実行されないことになる。このとき録画制御部１０２は何らかのエラー処理を実行してもよく、また、装置の主たる目的である録画動作が正常に行われているという理由で特にエラー処理を実行せずにそのまま処理を継続してもよい。
このようにストリームバッファ１０４上に一時的に保持されたストリームを解析することに加え、録画制御部１０２から発行されるコマンドをバッファリングすることによって、必ずしも映像が符号化される毎に符号化されたストリームに対してシーンチェンジ抽出を実行する必要がなく、遅延処理が可能である。そのため、録画制御部１０２による符号化処理における符号化単位とシーンチェンジ抽出部１２０における解析単位を連続的に処理する必要がなく、よって符号化処理とシーンチェンジ抽出処理を独立した処理単位として設計できる。
また、録画制御部１０２とシーンチェンジ抽出部１２０は独立して動作することが可能であり、さらにシーンチェンジ抽出部１２０の処理優先度を録画に関する処理のそれより低くすることによって、処理時間が長くかかるシーンチェンジ抽出部１２０の動作によって、録画制御部１０２の処理が遅れ、結果として通常の録画処理に影響を及ぼすといった悪影響を発生させることがない。
また、シーンチェンジ抽出処理は遅延処理が可能なため、システムの一時的な負荷上昇によってシーンチェンジ抽出処理がＧＯＰの再生時間内で完了できなかった場合や、シーンチェンジ抽出処理に処理が回ってこない場合であっても、コマンドバッファ１２２に格納されたシーンチェンジ抽出コマンドを使って、過去に符号化されたストリームに対して順次抽出処理を実行できるため、シーンチェンジ抽出処理が飛ばされて実行されないといった問題を回避することができる。
なお、上記シーンチェンジ抽出処理の遅延可能な時間若しくは回数は、ストリームバッファ１０４及びコマンドバッファの数によって決定される。
また、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。
実施の形態３．
本発明の実施の形態３の映像記録装置は、実施の形態１の映像記録装置の復号化部１１１の構成を特定した点が、実施の形態１の映像記録装置と相違する。したがって、実施の形態３の説明においては、図１及び図２をも参照する。
図７は、図１の復号化部１１１の構成を示すブロック図である。実施の形態３の映像記録装置は、図７に符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、ＤＣＴ（離散コサイン変換）係数の復号化次数を制御する方法に特徴がある。図７に示されるように、復号化部１１１は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部３０１と、画素サイズ検出部３０１によって検出された画素サイズからＤＣＴブロックの使用する成分（次数）を決定する次数決定部３０２と、符号化ストリームに対して次数決定部３０２で決定した次数まで逆量子化を行いながらＤＣＴ係数を抽出するＤＣＴ係数抽出部３０３と、抽出されたＤＣＴ係数から逆ＤＣＴを実行するＩＤＣＴ部３０４と、削減された次数で実行された逆ＤＣＴによって離散化してしまった画素データを詰めて縮小された画像を生成する画像整形部３０５とを有している。
図８（ａ）乃至（ｄ）は、実施の形態３の映像記録装置のＤＣＴ係数削減処理を説明するための図である。実施の形態３においては、ユーザーの希望により符号化する映像の画素サイズを７０４×４８０画素と３５２×２４０画素から選択できる映像記録装置について説明する。よって、復号化部１１１に入力されるストリームは、７０４×４８０画素の符号化ストリーム又は３５２×２４０画素の符号化ストリームの２種類の画素サイズのものが存在する。復号化部１１１に符号化ストリームが入力されると、まず最初に画素サイズ検出部３０１が符号化ストリームの画素サイズの検出を行い、検出した画素サイズを次数決定部３０２に送る。次数決定部３０２では、検出した画素サイズに応じて、符号化ストリームに含まれるＤＣＴ係数のうちの処理する次数Ｄｅを決定する。例えば、７０４×４８０画素の符号化ストリームの場合はＤＣＴブロックの内の次数２まで、一方、３５２×２４０画素の符号化ストリームの場合は次数４まで処理すると予め設定しておく。この次数に従ってＤＣＴ係数抽出部３０３とＩＤＣＴ部３０４は、ＤＣＴブロックの処理対象とする次数を設定し、復号化を行う。ＩＤＣＴ部３０４から出力された復号化された映像データは、ＤＣＴブロック単位でＤＣＴ係数の間引きを行ったため復号化されたＤＣＴブロックをつなぎ合わせて生成された復号化された映像の画素は離散的な映像になっている。この画素間が離散的な映像に対して画素の隙間をつめる処理を画素整形部３０５で行う。これによって、復号化された映像は、７０４×４８０画素の符号化ストリームの場合は１７６×１２０画素、３５２×２４０画素の符号化ストリームの場合は１７６×１２０画素となり、入力された符号化ストリームの画素サイズが違っていたにもかかわらず同じサイズの画像を得ることができる。このように復号化された映像を次のヒストグラム生成器１１２に送れば、実施の形態１と同様にシーンチェンジの検出を行うことができる。
すなわち、実施の形態３においては、復号化部１１１にＤＣＴ係数の制御を行う機能が付加されることによって、符号化部１０１によって異なる画素サイズとして符号化された符号化ストリームであってもシーンチェンジ抽出に使う映像は同じ画素サイズで行うことができることを示すと共に、シーンチェンジ抽出で解析対象とする映像の周波数帯域の上限を同じ帯域に揃えることができることを示している。また、ヒストグラム生成器１１２以降では常に同じ画素サイズの符号化ストリームに対してシーンチェンジ抽出を行うことができるので、次のヒストグラム生成器１１２以降の処理は画素サイズに依存することなく同じ処理を行うことができる。
上記のように構成することによって、符号化ストリームの画素サイズが違う場合であっても、同じ又は同程度の画素サイズに復号化された映像を得ることができる。
また、符号化ストリームの画素サイズが違う場合でも同じ画素サイズの復号化された映像に対して、シーンチェンジ抽出処理を行うことができるので、符号化ストリームの画素サイズが違っているストリームに対しても、同じシーンチェンジの評価方法と評価基準を用いることができ、結果として画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。
また、画素サイズが異なる符号化ストリームに対してＤＣＴ係数を制御することによって、復号化された画像の周波数帯域を揃えることができるので、画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。
また、高解像度の符号化データほど間引きを多くすることができるので、処理時間がかかる高解像度な符号化データであっても高速にシーンチェンジ抽出することができる。
また、高解像度の符号化データほど高周波の次数を間引きくことができるように構成できるので、比較的高周波ノイズの発生し易い高解像度の符号化データほどノイズ除去を効果的に行うことができる。
また、解像度によらず同一の復号化映像を生成するために、復号化映像を記憶するメモリサイズを同一にすることができる。
また、本来復号化映像を記憶するために大きなメモリサイズを必要とする高解像度映像ほど間引き処理を行うために、復号化処理のために用意しておくべきメモリ領域を小さくすることができる。
なお、実施の形態３において、上記以外の点は、上記実施の形態１乃至２の場合と同じである。
実施の形態４．
本発明の実施の形態４の映像記録装置は、実施の形態１の映像記録装置の復号化部１１１の構成を特定した点が、実施の形態１の映像記録装置と相違する。したがって、実施の形態４の説明においては、図１及び図２をも参照する。
図９は、本発明の実施の形態４の映像記録装置の復号化部の構成を示すブロック図である。図９を用いて符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、復号化を実行するスライスを限定する処理について説明する。実施の形態４の映像記録装置の復号化部１１１は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部３０１と、画素サイズ検出部３０１の検出した画素サイズからシーンチェンジ抽出の処理対象とするスライスを決定する使用スライス決定部３０６と、符号化ストリームのヘッダを解析するヘッダ検出部３０７と、符号化ストリームの逆量子化を行う逆量子化部３０８と、周波数領域に変換された係数値を逆ＤＣＴ処理するＩＤＣＴ部３０４とを有している。
次に、スライス削減と合わせて動作するシーンチェンジ抽出処理の動作について説明する。画素サイズ検出部３０１が画素サイズの検出を行い、使用スライス決定部３０６が使用するスライスを決定する。ここでは、例えば、符号化部１０１で生成される符号化ストリームの解像度は７２０×４８０画素と３５２×２４０画素の２種類のみしか存在しない場合には、垂直方向の画素数が４８０のときには、上下５スライス、すなわち、
（１６画素×５スライス）×２＝８０画素×２
を使用しないものとし、一方、画素数が２４０のときには、上下２スライス、すなわち、
（１６画素×２スライス）×２＝３２画素×２
を使用しないものとしている。ここで解像度によって使用しない画素数が異なるが、垂直方向に対する割合は、４８０画素の場合、全３０スライスに対して１０スライスを使用しないので、１／３を使用しないことになり、一方、２４０画素の場合、全１５スライスに対して４スライスを使用しないので、４／１５を使用しないことになり、ほぼ同じ割合をシーンチェンジ抽出対象としていることが分かる。
このようにして使用スライス決定部３０６において使用するスライス数を求め、ヘッダ検出部３０７で符号化ストリームのヘッダを解析し、スライスヘッダを抽出する毎に先の使用スライス決定部３０６で使用しないスライスと判定したスライスであれば、次のスライスヘッダまでジャンプし、一方、使用するスライスであれば、該当するスライスを逆量子化部３０８に送る。逆量子化部３０８は、符号化ストリームの逆量子化を行い、ＩＤＣＴ部３０４は、逆ＤＣＴを実行する。上記構成によって、使用するスライスのみが復号化処理され、結果として垂直解像度が４８０画素であれば垂直解像度３２０画素の映像を、一方、垂直解像度が２４０画素であれば垂直１７２画素の復号化された映像を求めることができる。復号化部１１１によって上記のように垂直方向に削減され復号化された映像に対して、ヒストグラム生成器１１２では有効なスライス領域と同じ位置の画素を対象にヒストグラムの生成を行う。差分抽出器１１５で求める差異値ｄを導出するためにフレーム内の画素数を表すＮ（１フレーム内の画素数）を利用している。実施の形態４においては、垂直方向に画素を削減したので、フレーム内の画素数Ｎは以下のように補正される。まず、元が垂直解像度７２０画素の場合であれば、削減された垂直解像度が３２０画素で、水平解像度は７２０画素なので、
Ｎ＝３２０×７２０＝２３０４００
となる。また、垂直解像度２４０画素の場合、削減された垂直解像度が１７２画素で、水平解像度は３５２画素であれば
Ｎ＝１７２×３５２＝６０５４４
に補正を行う。本補正を行ったうえで求められる差異値ｄを用いて、シーンチェンジ判定器１１６は、実施の形態１と同様のシーンチェンジ判定を行うことができる。
上記説明においては、スライス単位で復号化をするか否かを設定しているが、シーンチェンジに利用する領域を画素位置又はマクロブロック単位で設定してもよい。この場合、シーンチェンジを検出する位置を特定できるので、検出精度を向上することができる。また、画素毎にシーンチェンジ抽出を行うか否かを設定する場合、すべての画素について復号化を行い、復号化した後に抽出したいエリアのヒストグラム及びヒストグラムの差異値をとることによって実現可能であるが、検出単位をマクロブロック単位で指定するようにすると、ヘッダ検出部又は復号化処理部においてマクロブロック単位で処理を実行するか否かを制御できるので、不必要な復号化を実行しないよう構成でき、処理速度を向上することができる。
以上のように構成することによって、復号化及びシーンチェンジ抽出する画素サイズがスライス単位で削減できるので、処理の高速化を実現できる。
また、スライスの削減によって復号した画像のサイズも小さくなるので使用するメモリサイズも小さくなる。
また、シーンチェンジを検出する対象が放送番組であれば、映像の上下位置のスライスを使用しないように構成することによって、番組の本編との関連性が低い、又は、余り重要ではない情報である、時刻表示、臨時ニュースの文字表示、又はテロップなどに影響されることなくシーンチェンジ抽出を行うことができる。
また、マクロブロック単位で復号化及びシーンチェンジ抽出処理の実行を指定することによって、任意の１つ若しくは複数のマクロブロックに対してのみシーンチェンジ検出が可能になり、位置を特定したシーンチェンジ抽出が可能になる。
なお、実施の形態４において、上記以外の点は、上記実施の形態１乃至３の場合と同じである。
実施の形態５．
実施の形態５の映像記録装置は、差分抽出器１１５の動作が実施の形態１の映像記録装置と相違する。したがって、実施の形態５の説明においては、図１及び図２をも参照する。
実施の形態５においては、シーンチェンジ抽出対象となる映像によってシーンチェンジの判定基準を切り替える方法について説明する。図１０は映像の画素値のＹＵＶ分布を示している。一般的にＹＵＶは各２５６値で表現され、輝度信号Ｙは０から２５５まで、色差信号Ｕ及びＶは、−１２８から１２７までの値をとる。そのとき人間の目でほぼ白と感じる領域及びほぼ黒と感じる領域を、図１０において、それぞれＷ及びＢで示している。実施の形態５においては、抽出対象となる映像が、全体として白に近い色の領域が多い映像（以下「白映像」とも言う。）である場合は、領域Ｗ以外の領域で差異値を算出し、一方、全体として黒に近い色の領域が多い映像（以下「黒映像」とも言う。）である場合は、領域Ｂ以外の領域で差異値を算出する方法によって、比較する２つの映像がよく似た映像であっても的確にシーンチェンジを検出することを目的とする。
実施の形態５の差分抽出器１１５の動作を、図１１にフローチャートで示す。まず、第１のヒストグラムバッファ１１３及び第２のヒストグラムバッファ１１４からｉ番目のフレーム（以下「ｉフレーム」とも言う。）及びｉ−１番目のフレーム（以下「ｉ−１フレーム」とも言う。）のヒストグラムを取得する（ステップＳ４０１）。次にそれぞれのフレームの白領域Ｗの画素数をカウントする（ステップＳ４０２）。ｉフレーム及びｉ−１フレームの白画素数ＣＷｉ、ＣＷｉ−１は次式で表される。
Figure 0003827705
次に、白領域Ｗの累積差異ｒＷを次式で求める（ステップＳ４０３）。
Figure 0003827705
一方、黒領域Ｂについても同様に、黒画素数ＣＢｉ、ＣＢｉ−１を次式で求める（ステップＳ４０４）。
Figure 0003827705
また、黒領域Ｂの累積差異ｒＢを次式で求める（ステップＳ４０５）。
Figure 0003827705
次に、ｉフレーム及びｉ−１フレームが共に以下の条件式を満足すれば、白に近い色の領域が多い映像（「白映像」とも言う。）であると判断する（ステップＳ４０６）。
ＣＷ＿ＭＡＸ＞ＣＷｉ＞ＣＷ＿ＭＩＮ 且つ
ＣＷ＿ＭＡＸ＞ＣＷｉ−１＞ＣＷ＿ＭＩＮ
上記は、全体として白に近い色の領域が多い映像と判定する条件として、白領域Ｗの画素数が下限ＣＷ＿ＭＩＮより大きく、上限ＣＷ＿ＭＡＸ未満であることを条件としている。このように、白画素数が下限より大きいことを満足するだけでなく、上限を設けている理由は、白画素数がある値より大きい場合は、白に近い色の領域以外の画素数が非常に少なくなり、全体の画素数に対して非常に少ない白以外の画素で画像全体のシーンチェンジを判定を行ってしまうことを避けるためである。
上記条件を満足できれば、白領域Ｗを除いた領域について次式で差異値を求める（ステップＳ４０７）。
Figure 0003827705
一方、白に近い色の領域が多い映像と判断されなかった場合は、以下の条件式で黒に近い色の領域が多い映像であるか否かを判定する（ステップＳ４０８）。
ＣＢ＿ＭＡＸ＞ＣＢｉ＞ＣＢ＿ＭＩＮ 且つ
ＣＢ＿ＭＡＸ＞ＣＢｉ−１＞ＣＢ＿ＭＩＮ
上記は、黒に近い色の領域が多い映像と判定する条件として、黒領域Ｂの画素数が下限ＣＢ＿ＭＩＮより大きく、上限ＣＢ＿ＭＡＸ未満であることを条件としている。上記条件を満足できれば、黒領域Ｂを除いた領域について次式で差異値を求める（ステップＳ４０９）。
Figure 0003827705
一方、白に近い色の領域が多い映像と判断されず、且つ、黒に近い色の領域が多い映像とも判断されなかった場合は、実施の形態１で示した差異値の導出式
Figure 0003827705
 によって差異値を求める（ステップＳ４１０）。
以上によって求めた差異値ｄを用いて、実施の形態１で示した手法と同様に、シーンチェンジ判定器１１６によってシーンチェンジの判定が行われる。
上記動作により、比較する２つの映像が共に白に近い色の領域が多い映像であれば白領域Ｗを除いた領域で映像の変化を比較し、一方、比較する２つの映像が共に黒に近い色の領域が多い映像であれば黒領域Ｂを除いた領域で映像の変化を比較することができるので、特定の色領域を除いた映像のシーンチェンジを抽出することができる。
そのために、全体的に白に近い色の領域が多い映像又は黒に近い色の領域が多い映像が続いたシーンにおいてもシーンチェンジを検出することが可能である。
特に、放送番組のＣＭ（Ｃｏｍｍｅｒｃｉａｌ Ｍｅｓｓａｇｅ）間のつなぎ目において、白い背景（又は黒い背景）に企業名や製品名が示されたシーンから同じように白い背景（又は黒い背景）に異なる企業名や製品名が示されるシーンに切り替わる場合において、白い背景や黒い背景を除いたエリアでシーンチェンジ判定を行うので、結果として企業名や製品名の領域からシーンチェンジとして検出することができ、ＣＭの区切りを検出するのに非常に有効に動作することができる。
なお、実施の形態５において、上記以外の点は、上記実施の形態１乃至４の場合と同じである。
本発明の実施の形態１の映像記録装置の構成を示すブロック図である。 実施の形態１の映像記録装置のシーンチェンジ抽出部の構成を示すブロック図である。 本発明の実施の形態２の映像記録装置のシーンチェンジコマンド制御部の構成を示すブロック図である。 実施の形態２の映像記録装置の動作を示すフローチャートである。 実施の形態２の映像記録装置のシーンチェンジコマンド制御部のＡＰＩ部の動作を示すフローチャートである。 実施の形態２の映像記録装置のシーンチェンジコマンド制御部の状態制御部の動作を示すフローチャートである。 本発明の実施の形態３の映像記録装置の復号化部の構成を示すブロック図である。 （ａ）乃至（ｄ）は、実施の形態３の映像記録装置のＤＣＴ係数削減処理を説明するための図である。 本発明の実施の形態４の映像記録装置の復号化部の構成を示すブロック図である。 本発明の実施の形態５の映像記録装置におけるＹＵＶ領域を示す図である。 実施の形態５の映像記録装置の動作を示すフローチャートである。
符号の説明
１００ 映像記録装置、 １０１ 符号化部、 １０２ 録画制御部、 １０３ ストリーム制御部、 １０４ ストリームバッファ、 １０５ ＨＤＤ、 １１０ シーンチェンジ抽出部、 １１１ 復号化部、 １１２ ヒストグラム生成器、 １１３ 第１のヒストグラムバッファ、 １１４ 第２のヒストグラムバッファ、 １１５ 差分抽出器、 １１６ シーンチェンジ判定器、 １２０ シーンチェンジコマンド制御部、 １２１ ＡＰＩ部、 １２２ コマンドバッファ、 １２３ シーンチェンジ抽出結果バッファ、 １２４ 状態制御部、 ３０１ 画素サイズ検出部、 ３０２ 次数決定部、 ３０３ ＤＣＴ係数抽出部、 ３０４ ＩＤＣＴ部、 ３０５ 画像整形部、 ３０６ 使用スライス決定部、 ３０７ ヘッダ検出部、 ３０８ 逆量子化部。

Claims (24)

  1. 映像データを符号化して符号化ストリームを出力する符号化手段と、
    前記符号化手段から出力された符号化ストリームを記録する記録手段と、
    前記符号化手段から出力された符号化ストリームを前記記録手段に転送するストリーム制御手段と、
    前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出する映像変化点抽出手段と、
    前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに前記映像変化点抽出手段に対するシーンチェンジ抽出指示を出力する録画制御手段と
    を有することを特徴とする映像記録装置。
  2. 前記映像変化点抽出手段は、
    前記符号化手段から出力された符号化ストリームを復号化する復号化手段と、
    前記復号化された映像データのヒストグラムを生成するヒストグラム生成手段と、
    前記生成されたヒストグラムを所定の画素数毎に交互に保持する第１のヒストグラムバッファ及び第２のヒストグラムバッファと、
    前記第１のヒストグラムバッファに保持されたヒストグラムと前記第２のヒストグラムバッファに保持されたヒストグラムの差異値を求める差分抽出手段と、
    前記差分抽出手段で求めた差異値と予め定められた閾値とを比較するシーンチェンジ判定手段と、
    前記録画制御手段からのシーンチェンジ抽出指示に基づいて前記映像変化点抽出手段を制御するシーンチェンジコマンド制御手段と
    を有することを特徴とする請求項１に記載の映像記録装置。
  3. 前記記録手段よりもデータの書込み速度及びデータの読出し速度が早く、前記ストリーム制御手段に入力された符号化ストリームを一時的に記憶する一時記憶手段をさらに有し、
    前記映像変化点抽出手段によるシーンチェンジの抽出は、前記一時記憶手段から読み出された符号化ストリームに対して実行される
    ことを特徴とする請求項１又は２のいずれかに記載の映像記録装置。
  4. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが１又は複数ＧＯＰ出力される毎に実行されることを特徴とする請求項１乃至３のいずれかに記載の映像記録装置。
  5. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが１又は複数スライス出力される毎に実行されることを特徴とする請求項１乃至３のいずれかに記載の映像記録装置。
  6. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが１又は複数マクロブロック出力される毎に実行されることを特徴とする請求項１乃至３のいずれかに記載の映像記録装置。
  7. 前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記録画制御手段からのシーンチェンジ抽出指示の受信に同期して実行されることを特徴とする請求項１乃至６のいずれかに記載の映像記録装置。
  8. 前記映像変化点抽出手段が、前記録画制御手段からのシーンチェンジ抽出指示を一時保持する制御命令保持手段を有し、
    前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記制御命令保持手段から出力されたシーンチェンジ抽出指示に基づいて、前記録画制御手段からのシーンチェンジ抽出指示の受信に非同期のタイミングで実行される
    ことを特徴とする請求項１乃至７のいずれかに記載の映像記録装置。
  9. 前記制御命令保持手段は、前記シーンチェンジ抽出指示を複数回分保持し、所定の符号化単位のシーンチェンジ抽出が完了する毎に、前記シーンチェンジ抽出指示に対応した処理をすることを特徴とする請求項８に記載の映像記録装置。
  10. 前記符号化手段が、ＤＣＴを用いて映像データを圧縮し、
    前記映像変化点抽出手段が、前記復号化に際して、符号化ストリームの画素サイズに応じて符号化ストリームのＤＣＴ係数の復号化次数を制御する
    ことを特徴とする請求項１乃至９のいずれかに記載の映像記録装置。
  11. 前記映像変化点抽出手段が、符号化ストリームの画素サイズに応じて符号化ストリームの復号化スライスを制御することを特徴とする請求項１０に記載の映像記録装置。
  12. 前記ヒストグラム生成手段は、前記ヒストグラムの分布が、指定した色分布に適合するかを判定し、指定した色分布であると判定した場合、指定した色分布以外のヒストグラムを前記第１のヒストグラムバッファ及び前記第２のヒストグラムバッファに出力することを特徴とする請求項２に記載の映像記録装置。
  13. 符号化手段によって映像データを符号化して符号化ストリームを出力するステップと、
    前記符号化ストリームをストリーム制御手段によって転送して記録手段に記録するステップと、
    録画制御手段によって前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに映像変化点抽出手段に対するシーンチェンジ抽出指示を出力するステップと、
    前記映像変化点抽出手段によって、前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出するステップと
    を有することを特徴とするシーンチェンジ抽出方法。
  14. 前記シーンチェンジを抽出するステップが、
    前記符号化手段から出力された符号化ストリームを復号化するステップと、
    前記復号化された映像データのヒストグラムを生成するステップと、
    前記生成されたヒストグラムを所定の画素数毎に交互に第１のヒストグラムバッファ及び第２のヒストグラムバッファに保持するステップと、
    前記第１のヒストグラムバッファに保持されたヒストグラムと前記第２のヒストグラムバッファに保持されたヒストグラムの差異値を求めるステップと、
    前記求められた差異値と予め定められた閾値とを比較するステップと、
    前記録画制御手段からのシーンチェンジ抽出指示に基づいて前記映像変化点抽出手段を制御するステップと
    を有することを特徴とする請求項１３に記載のシーンチェンジ抽出方法。
  15. 前記記録手段よりもデータの書込み速度及びデータの読出し速度が早い一時記憶手段に、前記ストリーム制御手段に入力された符号化ストリームを一時的に記憶させるステップさらに有し、
    前記映像変化点抽出手段によるシーンチェンジの抽出は、前記一時記憶手段から読み出された符号化ストリームに対して実行される
    ことを特徴とする請求項１３又は１４のいずれかに記載のシーンチェンジ抽出方法。
  16. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが１又は複数ＧＯＰ出力される毎に実行されることを特徴とする請求項１３乃至１５のいずれかに記載のシーンチェンジ抽出方法。
  17. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが１又は複数スライス出力される毎に実行されることを特徴とする請求項１３乃至１５のいずれかに記載のシーンチェンジ抽出方法。
  18. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが１又は複数マクロブロック出力される毎に実行されることを特徴とする請求項１３乃至１５のいずれかに記載のシーンチェンジ抽出方法。
  19. 前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記録画制御手段からのシーンチェンジ抽出指示の受信に同期して実行されることを特徴とする請求項１３乃至１８のいずれかに記載のシーンチェンジ抽出方法。
  20. 前記録画制御手段からのシーンチェンジ抽出指示を制御命令保持手段に一時保持させるステップをさらに有し、
    前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記制御命令保持手段から出力されたシーンチェンジ抽出指示に基づいて、前記録画制御手段からのシーンチェンジ抽出指示の受信に非同期のタイミングで実行される
    ことを特徴とする請求項１３乃至１８のいずれかに記載のシーンチェンジ抽出方法。
  21. 前記制御命令保持手段にシーンチェンジ抽出指示を一時保持させるステップにおいて、前記シーンチェンジ抽出指示を複数回分保持させ、所定の符号化単位のシーンチェンジ抽出が完了する毎に、前記シーンチェンジ抽出指示に対応した処理をすることを特徴とする請求項２０に記載のシーンチェンジ抽出方法。
  22. 前記符号化手段が、ＤＣＴを用いて映像データを圧縮し、
    前記映像変化点抽出手段が、前記復号化に際して、符号化ストリームの画素サイズに応じて符号化ストリームのＤＣＴ係数の復号化次数を制御する
    ことを特徴とすることを特徴とする請求項１３乃至２１のいずれかに記載のシーンチェンジ抽出方法。
  23. 符号化ストリームの画素サイズに応じて符号化ストリームの復号化スライスを制御することを特徴とする請求項２２に記載のシーンチェンジ抽出方法。
  24. 前記ヒストグラム生成手段は、前記ヒストグラムの分布が、指定した色分布に適合するかを判定し、指定した色分布であると判定した場合、指定した色分布以外のヒストグラムを前記第１のヒストグラムバッファ及び前記第２のヒストグラムバッファに出力することを特徴とする請求項１４に記載のシーンチェンジ抽出方法。
JP2005232957A 2005-08-11 2005-08-11 映像記録装置及びシーンチェンジ抽出方法 Expired - Fee Related JP3827705B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005232957A JP3827705B1 (ja) 2005-08-11 2005-08-11 映像記録装置及びシーンチェンジ抽出方法
US11/989,309 US8886014B2 (en) 2005-08-11 2006-03-17 Video recording apparatus, scene change extraction method, and video audio recording apparatus
CN2006800291636A CN101238727B (zh) 2005-08-11 2006-03-17 图像记录装置、场景转换提取方法及图像语音记录装置
JP2007529457A JP4707713B2 (ja) 2005-08-11 2006-03-17 映像記録装置及びシーンチェンジ抽出方法
PCT/JP2006/305337 WO2007017970A1 (ja) 2005-08-11 2006-03-17 映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005232957A JP3827705B1 (ja) 2005-08-11 2005-08-11 映像記録装置及びシーンチェンジ抽出方法

Publications (2)

Publication Number Publication Date
JP3827705B1 true JP3827705B1 (ja) 2006-09-27
JP2007049516A JP2007049516A (ja) 2007-02-22

Family

ID=37101324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005232957A Expired - Fee Related JP3827705B1 (ja) 2005-08-11 2005-08-11 映像記録装置及びシーンチェンジ抽出方法

Country Status (2)

Country Link
JP (1) JP3827705B1 (ja)
CN (1) CN101238727B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007017970A1 (ja) * 2005-08-11 2009-02-19 三菱電機株式会社 映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置
JP2011091859A (ja) * 2011-01-14 2011-05-06 Mitsubishi Electric Corp 映像記録装置、映像記録方法、映像音声記録装置、及び映像音声記録方法
US8639089B2 (en) 2009-07-17 2014-01-28 Mitsubishi Electric Corporation Video audio recording/playback apparatus and method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178616B2 (ja) * 2009-04-22 2013-04-10 三菱電機株式会社 シーンチェンジ検出装置および映像記録装置
JP5029754B2 (ja) * 2010-10-27 2012-09-19 コニカミノルタビジネステクノロジーズ株式会社 動画再生装置、動画再生方法および動画再生プログラム
CN102223535A (zh) * 2011-06-07 2011-10-19 东莞电子科技大学电子信息工程研究院 一种基于svc的自适应图像组结构选择方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276388A (ja) * 1997-03-28 1998-10-13 Sony Corp 画像処理装置および画像処理方法、画像再生装置および画像再生方法、並びに記録媒体
JP3526414B2 (ja) * 1999-03-31 2004-05-17 株式会社東芝 情報記録再生方法および情報記録再生装置
CN1197380C (zh) * 2000-03-07 2005-04-13 皇家菲利浦电子有限公司 对视频信号进行编码的方法
JP2002010254A (ja) * 2000-06-20 2002-01-11 Sony Corp 特徴点検出方法および記録再生装置
JP2005175710A (ja) * 2003-12-09 2005-06-30 Sony Corp デジタル記録再生装置及びデジタル記録再生方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007017970A1 (ja) * 2005-08-11 2009-02-19 三菱電機株式会社 映像記録装置、シーンチェンジ抽出方法、及び映像音声記録装置
JP4707713B2 (ja) * 2005-08-11 2011-06-22 三菱電機株式会社 映像記録装置及びシーンチェンジ抽出方法
US8886014B2 (en) 2005-08-11 2014-11-11 Mitsubishi Electric Corporation Video recording apparatus, scene change extraction method, and video audio recording apparatus
US8639089B2 (en) 2009-07-17 2014-01-28 Mitsubishi Electric Corporation Video audio recording/playback apparatus and method
JP2011091859A (ja) * 2011-01-14 2011-05-06 Mitsubishi Electric Corp 映像記録装置、映像記録方法、映像音声記録装置、及び映像音声記録方法

Also Published As

Publication number Publication date
CN101238727B (zh) 2012-12-12
CN101238727A (zh) 2008-08-06
JP2007049516A (ja) 2007-02-22

Similar Documents

Publication Publication Date Title
JP4707713B2 (ja) 映像記録装置及びシーンチェンジ抽出方法
JP4536402B2 (ja) 映像再生装置、映像再生方法及びその方法をコンピュータに実行させるためのプログラム
US7187415B2 (en) System for detecting aspect ratio and method thereof
US6912327B1 (en) Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
EP2476256B1 (en) Video editing and reformating for digital video recorder
EP1107613A2 (en) Picture recording apparatus and methods
US8036470B2 (en) Image processing apparatus, image processing method, and program
US8363726B2 (en) Electronic apparatus, motion vector detecting method, and program therefor
US9509940B2 (en) Image output device, image output method, and recording medium
KR100846770B1 (ko) 동영상 부호화 방법 및 이에 적합한 장치
EP1547016B1 (en) Method and apparatus for encoding image and or audio data
JP3827705B1 (ja) 映像記録装置及びシーンチェンジ抽出方法
JP5036882B2 (ja) 映像記録装置、映像記録方法、映像音声記録装置、及び映像音声記録方法
US6781637B2 (en) Image change detecting apparatus and image change detecting method, image encoding apparatus and information recording medium with image change detecting program recorded readable by computer
US6999090B2 (en) Data processing apparatus, data processing method, information storing medium, and computer program
US20080107403A1 (en) Video Decoding Apparatus, Video Playback Apparatus, Video Decoding Method, And Video Playback Method
JP5425972B2 (ja) 映像音声記録装置及び映像音声記録方法
US20090304089A1 (en) Reproduction processing apparatus, reproduction processing method, and computer program
JP4420811B2 (ja) 画像処理装置および方法
JP5775006B2 (ja) 情報処理装置、情報処理方法及び半導体装置
WO1997004598A1 (en) Device for decoding encoded video signal and storing and decoding device using it
JPH11283333A (ja) データ記録装置及び方法
JP2000013741A (ja) 映像記録装置、映像再生装置
JP2005192013A (ja) 圧縮動画データデコード装置および圧縮動画データデコードプログラム
JP2007027857A (ja) マルチメディアデータ記録装置および方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060704

R150 Certificate of patent or registration of utility model

Ref document number: 3827705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees