JP3827705B1 - Video recording apparatus and scene change extraction method - Google Patents

Video recording apparatus and scene change extraction method Download PDF

Info

Publication number
JP3827705B1
JP3827705B1 JP2005232957A JP2005232957A JP3827705B1 JP 3827705 B1 JP3827705 B1 JP 3827705B1 JP 2005232957 A JP2005232957 A JP 2005232957A JP 2005232957 A JP2005232957 A JP 2005232957A JP 3827705 B1 JP3827705 B1 JP 3827705B1
Authority
JP
Japan
Prior art keywords
scene change
video
unit
encoding
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005232957A
Other languages
Japanese (ja)
Other versions
JP2007049516A (en
Inventor
恵明 楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005232957A priority Critical patent/JP3827705B1/en
Priority to US11/989,309 priority patent/US8886014B2/en
Priority to CN2006800291636A priority patent/CN101238727B/en
Priority to JP2007529457A priority patent/JP4707713B2/en
Priority to PCT/JP2006/305337 priority patent/WO2007017970A1/en
Application granted granted Critical
Publication of JP3827705B1 publication Critical patent/JP3827705B1/en
Publication of JP2007049516A publication Critical patent/JP2007049516A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びシーンチェンジ抽出方法を提供する。
【解決手段】映像記録装置100は、映像データPINを符号化する符号化器101と、符号化器101から出力された符号化ストリームを記録するHDD105と、符号化器101から出力された符号化ストリームをHDD105に転送するストリーム制御部103と、符号化器101から出力された符号化ストリームを復号化し、復号化された映像データのシーンチェンジを抽出するシーンチェンジ抽出部110と、符号化器101から符号化ストリームの符号化単位毎に符号化完了通知IENを取得して、シーンチェンジ抽出部110に対するシーンチェンジ抽出指示CSCを出力する録画制御部102とを有している。
【選択図】 図1
A video recording apparatus and a scene change extraction method capable of extracting a scene change of a video in parallel with video recording.
A video recording apparatus includes an encoder that encodes video data PIN , an HDD that records an encoded stream output from the encoder, and a code output from the encoder. A stream control unit 103 for transferring the encoded stream to the HDD 105, a scene change extraction unit 110 for decoding the encoded stream output from the encoder 101, and extracting a scene change of the decoded video data, and an encoder 101 acquires the coding completion notice I EN for each encoding unit of encoded streams from, and a recording control section 102 for outputting a scene change extraction instruction C SC for scene change extraction unit 110.
[Selection] Figure 1

Description

本発明は、映像の記録と並行して映像のシーンチェンジを検出することができる映像記録装置、及びこの映像記録装置によって実施されるシーンチェンジ抽出方法に関するものである。   The present invention relates to a video recording apparatus capable of detecting a video scene change in parallel with video recording, and a scene change extraction method implemented by the video recording apparatus.

従来、映像を符号化して記録する映像記録装置において、記録した映像から希望する映像シーンを探し出すためには、早送り又は巻戻しなどの特殊再生を利用しながら、人間の目で該当するシーンを探し出しており、非常に多くの時間と労力を費やす必要があった。   Conventionally, in a video recording apparatus that encodes and records a video, in order to search for a desired video scene from the recorded video, a corresponding scene is searched for by the human eye using special playback such as fast-forward or rewind. And had to spend a great deal of time and effort.

このような問題を解消するために、映像の場面転換シーン(以後「シーンチェンジ」と言う。)を見つけるための方法が提案されてきた(例えば、特許文献1及び2参照)。特許文献1には、符号化を行うエンコーダの前段のプリ映像信号処理装置において、時間的に前後する2つの映像のヒストグラムの差の絶対値を算出し、算出された絶対値が所定の閾値を超えた場合にシーンチェンジであると判定する方法が示されている。また、特許文献2には、既にHDDなどのストレージメディアに蓄積された映像データを読み出してシーンチェンジを抽出する方法が示されている。   In order to solve such a problem, a method for finding a scene change scene (hereinafter referred to as “scene change”) of a video has been proposed (for example, see Patent Documents 1 and 2). In Patent Document 1, in the pre-video signal processing apparatus in the preceding stage of the encoder that performs the encoding, the absolute value of the difference between the histograms of two videos that are temporally mixed is calculated, and the calculated absolute value has a predetermined threshold value. A method for determining that a scene change has occurred is shown. Japanese Patent Application Laid-Open No. 2004-228688 discloses a method for reading out video data already stored in a storage medium such as an HDD and extracting a scene change.

特開2004−282318号公報(第7頁、図2)JP 2004-282318 A (Page 7, FIG. 2) 特開2002−064823号公報(第5頁、図1)JP 2002-064823 A (5th page, FIG. 1)

しかしながら、特許文献1に示される方法は、エンコーダの前段に設けられたプリ映像信号処理装置によってシーンチェンジを検出する方法であるので、ビデオエンコーダからエンコーダまでの構成が一体になっているエンコーダチップセットであってシーンチェンジ抽出結果を外部に出力しないものを備えた映像記録装置には適用することができなかった。また、エンコーダチップセットがシーンチェンジ抽出結果を出力する場合においても、使用するエンコーダチップセットの種類が変わる毎にシーンチェンジ抽出結果が変わってしまうので、エンコーダチップセットの種類が変わる毎に映像記録装置における調整が必要になるという問題があった。   However, since the method disclosed in Patent Document 1 is a method of detecting a scene change by a pre-video signal processing device provided in the previous stage of the encoder, an encoder chip set in which the configuration from the video encoder to the encoder is integrated. However, it could not be applied to a video recording apparatus equipped with a scene change extraction result that is not output to the outside. Even when the encoder chip set outputs a scene change extraction result, the scene change extraction result changes every time the type of encoder chip set to be used changes. There was a problem that adjustments were required.

また、特許文献2に示される方法は、既に圧縮されHDD上に記録された映像ストリームからシーンチェンジを検出する方法であるので、記録処理が完了した後に、オフラインで多大な時間のかかる処理を行う必要があり、実用的ではなかった。   The method disclosed in Patent Document 2 is a method for detecting a scene change from a video stream that has already been compressed and recorded on an HDD. Therefore, after the recording process is completed, a long time-consuming process is performed offline. It was necessary and not practical.

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、映像の記録と並行して映像のシーンチェンジ抽出を行うことができる映像記録装置及びこの映像記録装置において実施されるシーンチェンジ抽出方法を提供することである。   Accordingly, the present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide a video recording apparatus capable of extracting a scene change of a video in parallel with video recording, and the video recording To provide a scene change extraction method implemented in an apparatus.

本発明の映像記録装置は、映像データを符号化する符号化手段と、前記符号化手段から出力された符号化ストリームを記録する記録手段と、前記符号化手段から出力された符号化ストリームを前記記録手段に転送するストリーム制御手段と、前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出する映像変化点抽出手段と、前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに前記映像変化点抽出手段に対するシーンチェンジ抽出指示を出力する録画制御手段とを有することを特徴とするものである。   The video recording apparatus of the present invention includes an encoding unit that encodes video data, a recording unit that records an encoded stream output from the encoding unit, and an encoded stream output from the encoding unit. A stream control means for transferring to the recording means, a video change point extracting means for decoding the encoded stream output from the encoding means, and extracting a scene change of the decoded video data; and the encoding means A recording control unit that acquires an encoding completion notification for each encoding unit of the encoded stream and outputs a scene change extraction instruction to the video change point extraction unit when the encoding completion notification is acquired. It is what.

また、本発明のシーンチェンジ抽出方法は、符号化手段によって映像データを符号化して符号化ストリームを出力するステップと、前記符号化ストリームをストリーム制御手段によって転送して記録手段に記録するステップと、録画制御手段によって前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに映像変化点抽出手段に対するシーンチェンジ抽出指示を出力するステップと、前記映像変化点抽出手段によって、前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出するステップとを有することを特徴とするものである。   The scene change extraction method of the present invention includes a step of encoding video data by an encoding unit and outputting an encoded stream, a step of transferring the encoded stream by a stream control unit and recording the recording stream on a recording unit, A step of acquiring an encoding completion notification for each encoding unit of the encoded stream from the encoding unit by the recording control unit, and outputting a scene change extraction instruction to the video change point extracting unit when the encoding completion notification is acquired; And a step of decoding the encoded stream output from the encoding means by the video change point extracting means and extracting a scene change of the decoded video data. .

本発明の映像記録装置及びシーンチェンジ抽出方法によれば、映像が符号化される毎にシーンチェンジ抽出処理を行うので、リアルタイムにシーンチェンジの抽出を行うことができるという効果がある。   According to the video recording apparatus and the scene change extraction method of the present invention, since the scene change extraction process is performed every time the video is encoded, there is an effect that the scene change can be extracted in real time.

実施の形態1.
図1は、本発明の実施の形態1の映像記録装置100の構成を示すブロック図である。図1に示されるように、映像記録装置100は、図示しないチューナから又は外部から入力された入力映像データに対して、MPEG−2(Moving Picture Experts Group)に準拠した符号化を行う符号化手段としての符号化部101と、符号化部101によって生成された符号化ストリームが記録される記録手段としてのHDD(ハードディスクドライブ)105と、HDD105に対して符号化ストリームを安定的に書き込み及び読み出しを行うためのストリーム制御を行うストリーム制御手段としてのストリーム制御部103とを有している。また、映像記録装置100は、ストリーム制御部103が符号化ストリームを一時的に記憶しておく一時記憶手段としてのストリームバッファ104と、符号化部101に対して符号化の開始・終了などを指示する録画制御手段としての録画制御部102と、符号化部101によって生成された符号化ストリームからシーンチェンジを抽出する映像変化点抽出手段としてのシーンチェンジ抽出部110とを有している。図1には、記録手段としてHDD105が示されているが、記録手段は、DVDのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像記録装置100は、DVD/HDDハイブリッドレコーダであってもよい。さらに、映像記録装置100は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of a video recording apparatus 100 according to Embodiment 1 of the present invention. As shown in FIG. 1, the video recording apparatus 100 includes encoding means that performs encoding in accordance with MPEG-2 (Moving Picture Experts Group) on input video data input from a tuner (not shown) or from the outside. , An HDD (Hard Disk Drive) 105 as recording means for recording the encoded stream generated by the encoding unit 101, and writing and reading the encoded stream to and from the HDD 105 stably. And a stream control unit 103 as stream control means for performing stream control. The video recording apparatus 100 also instructs the stream control unit 103 to temporarily store the encoded stream, the stream buffer 104 as a temporary storage unit, and the encoding unit 101 to start and end encoding. A recording control unit 102 serving as a recording control unit, and a scene change extracting unit 110 serving as a video change point extracting unit configured to extract a scene change from the encoded stream generated by the encoding unit 101. Although FIG. 1 shows the HDD 105 as the recording means, the recording means may be another information recording medium such as an optical disk such as a DVD or a magnetic tape. Further, the video recording apparatus 100 may be a DVD / HDD hybrid recorder. Furthermore, the video recording apparatus 100 is applicable not only to a home video recorder but also to various uses such as a personal computer, a video server, or a surveillance recorder for a surveillance system.

符号化部101による符号化方式であるMPEG−2は可変レートに対応しており、そのため、1秒間に発生する符号量(ビットレート)は時間によって大きく変動する。そのため、ストリーム制御部103は、HDD105へのデータ書き込み及びHDD105からのデータ読み出しによって符号化ストリームがオーバーフロー又はアンダーフローしないように、符号化ストリームをストリームバッファ104に一時的に保持させ、HDD105の状態に応じて符号化ストリームのHDD105への書き出し及びHDD105からの読み込みを行っている。ストリームバッファ104は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分書き込みを行い、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う。   MPEG-2, which is an encoding method by the encoding unit 101, supports a variable rate, and therefore, the amount of code (bit rate) generated per second varies greatly with time. Therefore, the stream control unit 103 temporarily stores the encoded stream in the stream buffer 104 so that the encoded stream does not overflow or underflow due to data writing to the HDD 105 and data reading from the HDD 105, and the HDD 105 enters the state of the HDD 105. Accordingly, the encoded stream is written to the HDD 105 and read from the HDD 105. The stream buffer 104 includes a ring buffer, and a valid data area is managed by a write position pointer and a read position pointer. That is, when data is written, writing is performed for the data size with the writing position pointer at the head, and the writing position pointer is advanced by the written data size. On the other hand, when reading data, reading is performed for the data size starting from the reading position pointer, and the reading position pointer is advanced by the read data size. However, when the end position of the ring buffer is reached, processing for returning the pointer to the head position is performed.

図2は、図1に示されるシーンチェンジ抽出部110の構成を示すブロック図である。図2に示されるように、シーンチェンジ抽出部110は、入力された符号化ストリームの復号化を行う復号化手段としての復号化部111と、復号化された映像データのヒストグラムを生成するヒストグラム生成手段としてのヒストグラム生成器112と、ヒストグラム生成器112によって生成されたヒストグラムを保持する第1のヒストグラムバッファ113及び第2のヒストグラムバッファ114と、第1のヒストグラムバッファ113に保持されたヒストグラムと第2のヒストグラムバッファ114に保持されたヒストグラムの差異を求める差分抽出手段としての差分抽出器115とを有している。また、シーンチェンジ抽出部110は、差分抽出器115で求めた差異値と予め設定された閾値を比較するシーンチェンジ判定手段としてのシーンチェンジ判定器116と、録画制御部102からのシーンチェンジ開始命令などの制御信号に基づいてシーンチェンジ抽出部110を制御するシーンチェンジコマンド制御手段としてのシーンチェンジコマンド制御部120とを有している。   FIG. 2 is a block diagram showing a configuration of the scene change extraction unit 110 shown in FIG. As shown in FIG. 2, the scene change extraction unit 110 includes a decoding unit 111 serving as a decoding unit that decodes an input encoded stream, and a histogram generation that generates a histogram of the decoded video data. The histogram generator 112 as means, the first histogram buffer 113 and the second histogram buffer 114 for holding the histogram generated by the histogram generator 112, the histogram stored in the first histogram buffer 113, and the second And a difference extractor 115 as a difference extracting means for obtaining a difference between histograms held in the histogram buffer 114. The scene change extraction unit 110 also includes a scene change determination unit 116 as a scene change determination unit that compares the difference value obtained by the difference extractor 115 with a preset threshold value, and a scene change start command from the recording control unit 102. And a scene change command control unit 120 as a scene change command control means for controlling the scene change extraction unit 110 based on a control signal such as.

次に、映像記録装置100の録画動作について説明する。録画が開始されると、録画制御部102は、符号化部101に対して制御信号CENを出力して符号化開始を指示し、符号化部101は入力された映像データPINの符号化処理を開始する。符号化部101は、例えば、符号化単位であるGOP(Group of Pictures)の符号化が完了する毎に、録画制御部102にGOP符号化完了通知IENを送る。ストリーム制御部103は、符号化部101によって符号化された符号化ストリームをストリームバッファ104の書き込み位置ポインタを先頭に順次書き込んでいく。一方、ストリーム制御部103は、HDD105が書き込み状態になっているのを確認しながら、ストリームバッファ104の読み出し位置ポインタから符号化ストリームを読み出し、HDD105に書き込みを行う。録画が実行されている間、前記動作が繰り返し行われる。録画終了時には、録画制御部102は、符号化部101に対して符号化終了を指示し、符号化部101は符号化を停止する。ストリーム制御部103は、ストリームバッファ104に残っている符号化ストリームをすべてHDD105に書き込む。 Next, the recording operation of the video recording apparatus 100 will be described. When recording is started, the recording control unit 102 outputs a control signal CEN to the encoding unit 101 to instruct the start of encoding, and the encoding unit 101 encodes the input video data PIN . Start processing. For example, every time encoding of a GOP (Group of Pictures) that is an encoding unit is completed, the encoding unit 101 sends a GOP encoding completion notification I EN to the recording control unit 102. The stream control unit 103 sequentially writes the encoded stream encoded by the encoding unit 101 with the write position pointer of the stream buffer 104 at the head. On the other hand, the stream control unit 103 reads the encoded stream from the read position pointer of the stream buffer 104 and writes it to the HDD 105 while confirming that the HDD 105 is in a write state. While the recording is being performed, the above operation is repeated. At the end of recording, the recording control unit 102 instructs the encoding unit 101 to end encoding, and the encoding unit 101 stops encoding. The stream control unit 103 writes all the encoded streams remaining in the stream buffer 104 to the HDD 105.

次に、録画を行いながらシーンチェンジを抽出する方法について説明する。録画制御部102は、例えば、GOPの符号化完了通知IENを符号化部101から受け取る毎に、シーンチェンジ抽出部110に対してシーンチェンジ抽出コマンドCSCを送る。シーンチェンジ抽出コマンドCSCは、シーンチェンジ抽出部110内のシーンチェンジ制御部120を経由して、復号化開始コマンドCDEとして復号化部111に送られる。復号化部111は、符号化ストリームPSTをストリーム制御部103を経由してストリームバッファ104から呼び出し、復号化を開始する。復号化部111によってMPEG−2からYUVに復号化された映像データはヒストグラム生成器112に入力され、ヒストグラム生成器112によって映像データのYUVの各区画に含まれる計数に基づいてヒストグラムが作成される。ここで、ヒストグラム生成のための区画分けは、値の取り得る範囲を一定間隔に区切る方法、又は、予め複数の閾値を定めておいて、各閾値に対する大小関係に応じて区画分けをする方法などがある。また、ここでは、輝度成分Yと色差成分U、Vのすべての成分に対してヒストグラムを作成する場合を説明しているが、輝度成分Yのみについてヒストグラムを生成する方法を採用してもよい。また、輝度成分Yと色差成分U、Vのすべての成分に対してヒストグラムを作成するが、色差成分U及びVに対しては重みを加えて区画分けを荒くする方法を採用してもよい。また、ヒストグラムの区画分けの方法は、以上に説明した例に限定されず、他の区画分け方法を採用してもよい。 Next, a method for extracting scene changes while recording will be described. Recording control unit 102, for example, each time it receives a coding completion notice I EN of the GOP from the coding unit 101 sends the scene change extraction command C SC against the scene change extracting unit 110. The scene change extraction command CSC is sent to the decoding unit 111 via the scene change control unit 120 in the scene change extraction unit 110 as a decoding start command CDE . Decoding unit 111, an encoded stream P ST via the stream control unit 103 calls from the stream buffer 104, it starts decoding. The video data decoded from MPEG-2 to YUV by the decoding unit 111 is input to the histogram generator 112, and a histogram is created by the histogram generator 112 based on the count included in each YUV section of the video data. . Here, the partitioning for generating the histogram is a method of partitioning a range of values that can be taken at a constant interval, or a method of partitioning in accordance with a magnitude relationship with respect to each threshold by setting a plurality of thresholds in advance. There is. Although the case where a histogram is created for all of the luminance component Y and the color difference components U and V has been described here, a method of generating a histogram for only the luminance component Y may be employed. In addition, although histograms are created for all components of the luminance component Y and the color difference components U and V, a method may be adopted in which weighting is applied to the color difference components U and V to roughen the division. Further, the method of dividing the histogram is not limited to the example described above, and other partitioning methods may be adopted.

ヒストグラム生成器112で生成されたヒストグラムは、第1のヒストグラムバッファ113又は第2のヒストグラムバッファ114に交互に送られ保持される。差分抽出器115は、第1のヒストグラムバッファ113及び第2のヒストグラムバッファ114に交互に記憶されたヒストグラムを用いて、現在の映像データと1つ前の映像データの映像の比較を行い(例えば、現在のフレームの映像データと、1フレーム前のフレームの映像データの比較を行い)、差異値を求める。2つのヒストグラムの差異値を求める方法としては、例えば、2つのヒストグラムの対応する成分の値の差を、すべての成分について累積する方法がある。ここで、i番目の映像のヒストグラムをH
={h(1),h(2),・・・,h(K)}
とすると、i番目の映像のヒストグラムHと、1つ前のiー1番目の映像のヒストグラムHi−1との差異値dを以下の式で求める。なお、Kは、所定の正の整数である。

Figure 0003827705
ここで、Nは1フレーム内の画素数である。これによって、差異値dは0から1までの値をとり、i番目のフレームの映像とiー1番目のフレームの映像が同じ映像であれば差異値dは0になり、i番目のフレームの映像とiー1番目のフレームの映像の違いが大きければ差異値dは1に近づくことになる。 The histogram generated by the histogram generator 112 is alternately sent to and held in the first histogram buffer 113 or the second histogram buffer 114. The difference extractor 115 uses the histograms alternately stored in the first histogram buffer 113 and the second histogram buffer 114 to compare the current video data and the video of the previous video data (for example, The video data of the current frame is compared with the video data of the previous frame), and the difference value is obtained. As a method for obtaining a difference value between two histograms, for example, there is a method of accumulating a difference between values of corresponding components of two histograms for all components. Here, the histogram of the i-th video is represented as H i
H i = {h i (1 ), h i (2), ···, h i (K)}
When a histogram H i of i-th image, obtaining the difference value d between the histogram H i-1 of the preceding i-1 -th image by the following equation. K is a predetermined positive integer.
Figure 0003827705
Here, N is the number of pixels in one frame. Thus, the difference value d takes a value from 0 to 1, and if the video of the i-th frame and the video of the i-1th frame are the same video, the difference value d is 0, and the difference value d of the i-th frame If the difference between the video and the video of the i-1st frame is large, the difference value d approaches 1.

差分抽出器115で求められた差異値dは、シーンチェンジ判定器116に送られ、予めシーンチェンジコマンド制御部120によって設定された閾値ETHと比較され、設定された閾値ETHより大きな値であればシーンチェンジと判定し、その判定結果RSCをシーンチェンジコマンド制御部120に送る。さらに、録画終了時などに判定結果RSCを録画制御部102に送る。 The difference value d obtained by the difference extractor 115 is sent to the scene change determiner 116 and compared with a threshold value E TH set in advance by the scene change command control unit 120, and is a value larger than the set threshold value E TH. if determined that the scene change, and sends the determination result R SC in the scene change command controller 120. Furthermore, the judgment result, such as during recording end sends the R SC in the recording control unit 102.

以上に説明したように、符号化部101によってGOPの符号化が完了する毎に(すなわち、実施の形態1においては、GOPの符号化完了に同期して)、シーンチェンジ抽出部110でシーンチェンジ判定を行う処理を、映像の録画開始から終了までの間において継続的に行うことによって、映像ストリームPSTを録画しながら、映像ストリームPSTのシーンチェンジを抽出することができる。すなわち、符号化の最小単位であるGOPの符号化完了毎にシーンチェンジ抽出処理を実行するので、符号化と並行してシーンチェンジ抽出を行うことができる。 As described above, every time GOP encoding is completed by encoding section 101 (that is, in synchronization with completion of GOP encoding in Embodiment 1, scene change extraction section 110 performs scene change). the process for determining, by continuously be carried out during the period until completion of the recording start of the video, while recording a video stream P ST, it is possible to extract a scene change of the video stream P ST. In other words, the scene change extraction process is executed every time GOP encoding, which is the minimum unit of encoding, is completed, so that scene change extraction can be performed in parallel with encoding.

また、リアルタイムにシーンチェンジ抽出を行うので、シーンチェンジ抽出機能を有していないエンコーダを符号化部101に用いることができる。そのため、映像記録装置に採用するエンコーダの選定に際して、シーンチェンジ抽出機能を有しないエンコーダを選ぶことが可能になり、エンコーダ選択の幅が広がり、コストや調達性を重視したエンコーダの選択が可能になる。   Since scene change extraction is performed in real time, an encoder that does not have a scene change extraction function can be used for the encoding unit 101. Therefore, when selecting an encoder to be used in a video recording device, it is possible to select an encoder that does not have a scene change extraction function, which broadens the range of encoder selection and makes it possible to select an encoder that emphasizes cost and availability. .

また、既にHDDなどに蓄積された符号化ストリームを解析してシーンチェンジを抽出する方法では、符号化ストリームを記憶装置であるHDDから読み出すための時間が、シーンチェンジの解析時間に加えて、必要とされる。しかしながら、実施の形態1の映像記録装置100においては、HDD105よりも書き込み及び読出し速度が速く、ストリームを一時的に記憶しておくストリームバッファ104(通常は、揮発性半導体メモリを用いる)から読み出すため高速に読み出すことができ、結果として処理時間が早くなる。   Also, in the method of extracting a scene change by analyzing an encoded stream already stored in an HDD or the like, a time for reading the encoded stream from the HDD as a storage device is required in addition to the scene change analysis time. It is said. However, in the video recording apparatus 100 according to the first embodiment, the writing and reading speed is faster than that of the HDD 105, and the stream is read from the stream buffer 104 (usually using a volatile semiconductor memory) that temporarily stores the stream. Data can be read out at high speed, resulting in faster processing time.

また、シーンチェンジ抽出部110は符号化部101(エンコーダ)の動作よって影響されないので、エンコーダの種類や仕様が変更されたとしても、シーンチェンジの抽出基準を一定範囲に維持することができる。   Further, since the scene change extraction unit 110 is not affected by the operation of the encoding unit 101 (encoder), the scene change extraction reference can be maintained within a certain range even if the type or specification of the encoder is changed.

また、実施の形態1の映像記録装置は、録画と並行してシーンチェンジを抽出できる機能のほかに、符号化ストリームを直接解析する機能をも有する。このため、直接HDDに記録された符号化ストリームに対してもストリーム制御部103を介して符号化ストリームを読み出すことによってシーンチェンジ抽出を行うことができる。   In addition to the function of extracting a scene change in parallel with recording, the video recording apparatus of Embodiment 1 also has a function of directly analyzing an encoded stream. Therefore, scene change extraction can be performed by reading the encoded stream via the stream control unit 103 even for the encoded stream directly recorded on the HDD.

さらに、一般的にハードウェアで構成されるエンコーダチップ内のシーンチェンジ機能を利用するわけではなく、録画再生装置のファームウェアのみで構成することも可能なので、シーンチェンジ抽出のためのアルゴリズムを比較的容易に改変したり、録画再生装置の状態等に合わせてシーンチェンジ抽出処理の状態遷移や閾値を動的に変更したりすることができる。   In addition, the scene change function in the encoder chip, which is generally composed of hardware, is not used, but it can be configured only by the firmware of the recording / playback device, so the algorithm for scene change extraction is relatively easy. Or the state transition of the scene change extraction process and the threshold value can be dynamically changed according to the state of the recording / playback apparatus.

例えば、入力映像データがCM映像データである期間は、シーンチェンジの判定の閾値ETHを大きくして、シーンチェンジであると判定され難くして、CM映像データに対するシーンチェンジ検出を実行させないように制御する方法を採用してもよい。 For example, during a period in which the input video data is CM video data, the scene change determination threshold ETH is increased to make it difficult to determine that it is a scene change, so that scene change detection for the CM video data is not executed. A control method may be employed.

また、シーンチェンジにおいて音声信号が無音になる瞬間が存在することに着目し、音声信号が無音(すなわち、所定の閾値よりも低いレベル)のときに、シーンチェンジの判定の閾値ETHを小さくすることによって、シーンチェンジを映像データだけでなく、音声データをも考慮して検出し、シーンチェンジの検出精度を向上させる制御方法を採用してもよい。 Also, focusing on the fact that there is a moment when the audio signal becomes silent in a scene change, when the audio signal is silent (that is, at a level lower than a predetermined threshold), the scene change determination threshold E TH is reduced. Accordingly, a control method may be employed in which a scene change is detected in consideration of not only video data but also audio data, and scene change detection accuracy is improved.

また、以上の説明においては、シーンチェンジ抽出単位を1GOPとしているが、シーンチェンジ抽出単位を複数のGOP単位としてもよい。また、シーンチェンジ抽出単位を、1又は複数のスライス単位又は1又は複数のマクロブロック単位としてもよい。   In the above description, the scene change extraction unit is 1 GOP, but the scene change extraction unit may be a plurality of GOP units. The scene change extraction unit may be one or more slice units or one or more macroblock units.

また、以上の説明においては、復号化処理を行う方法としてソフトウェアによる例を示したが、ハードウェアによって実行してもよい。   In the above description, an example using software is shown as a method for performing the decoding process, but the method may be executed by hardware.

実施の形態2.
本発明の実施の形態2の映像記録装置は、図2に示されるシーンチェンジコマンド制御部120の構成及び動作のみが、実施の形態1の映像記録装置と相違する。したがって、実施の形態2の説明においては、図1及び図2をも参照する。
Embodiment 2. FIG.
The video recording apparatus according to the second embodiment of the present invention is different from the video recording apparatus according to the first embodiment only in the configuration and operation of the scene change command control unit 120 shown in FIG. Therefore, in description of Embodiment 2, FIG.1 and FIG.2 is also referred.

実施の形態2の映像記録装置は、録画と並行してシーンチェンジ抽出を行う場合に、シーンチェンジ抽出動作をGOPの符号化処理と非同期に行う。この非同期に行われる符号化処理を、単に「非同期処理」とも言う。この非同期処理は、符号化部101による符号化処理が完了したGOPに対して実行されるシーンチェンジ抽出処理の開始タイミングが、符号化処理の完了タイミングと必ずしも一致しない状態でも実行できることである。非同期処理の実際の動作としては、あるGOPについて着目すると、符号化処理が完了した後、直ぐにシーンチェンジ抽出処理が行うのではなく、しばらく時間を置いてからシーンチェンジ抽出処理を実行する方法である。   The video recording apparatus according to the second embodiment performs the scene change extraction operation asynchronously with the GOP encoding process when performing the scene change extraction in parallel with the recording. This asynchronous encoding process is also simply referred to as “asynchronous process”. This asynchronous process can be executed even when the start timing of the scene change extraction process executed for the GOP for which the encoding process by the encoding unit 101 has been completed does not necessarily coincide with the completion timing of the encoding process. As an actual operation of the asynchronous processing, focusing on a certain GOP, the scene change extraction processing is not performed immediately after the encoding processing is completed, but the scene change extraction processing is executed after a while. .

一般的に、映像を記録する装置、例えば、HDD/DVDハイブリッドレコーダなどにおいては録画動作に並行して、再生やダビング等のような装置のCPUの負荷が上昇する動作が発生し得る。また、ユーザーによって不定期に行われる行為、例えば、DVDのトレーオープン、機能設定画面の表示、及び電子番組表の閲覧などの動作は、装置の一時的なCPUの負荷上昇を招く。これらの動作によって負荷上昇が発生した場合、シーンチェンジ抽出処理のために、CPUを占有し続けることができる保障はなく、他の処理の完了を待つ間、シーンチェンジ抽出処理をしばらく遅らせることが望ましい場合があり得る。一方、シーンチェンジ抽出処理によって、装置の基本機能である映像の記録機能が妨げられることがあってはならず、よってシーンチェンジ抽出処理は記録処理よりも優先度を落とした処理にすることが望ましい。このような機能を実現するために、実施の形態2の映像記録装置においては、シーンチェンジ抽出処理を録画動作と非同期に行うころができるように構成している。   Generally, in an apparatus for recording video, such as an HDD / DVD hybrid recorder, an operation that increases the load on the CPU of the apparatus, such as playback or dubbing, may occur in parallel with the recording operation. In addition, actions that are performed irregularly by the user, for example, operations such as opening a DVD tray, displaying a function setting screen, and viewing an electronic program guide, cause a temporary increase in the CPU load of the apparatus. When a load increase occurs due to these operations, there is no guarantee that the CPU can continue to be occupied for the scene change extraction process, and it is desirable to delay the scene change extraction process for a while while waiting for the completion of other processes. There may be cases. On the other hand, the scene change extraction process should not interfere with the video recording function, which is the basic function of the apparatus. Therefore, it is desirable that the scene change extraction process has a lower priority than the recording process. . In order to realize such a function, the video recording apparatus according to the second embodiment is configured so that the scene change extraction process can be performed asynchronously with the recording operation.

図3は、実施の形態2の映像記録装置のシーンチェンジコマンド制御部120(図2に示される)の構成を示すブロック図である。図3に示されるように、シーンチェンジコマンド制御部120は、録画制御部102からのコマンドの受け付けを行うAPI(アプリケーション プログラム インターフェース)部121と、受け付けたコマンドを複数保持するコマンドバッファ122と、シーンチェンジ抽出部の状態遷移を司り、受け付けたコマンドを処理する状態制御部124と、シーンチェンジ抽出結果やエラー状態を保持し、録画制御部102に返すためのシーンチェンジ抽出結果バッファ123とを有している。実施の形態2の映像記録装置が実施の形態1の映像記録装置と相違する点は、録画制御部102から発行されたシーンチェンジ抽出コマンドがシーンチェンジコマンド制御部120内のAPI部121に伝えられ、コマンドバッファ122に一旦保持されることである。コマンドバッファ122が保持できるコマンドの数はストリームバッファ104の容量に応じて設定すればよい。例えば、ストリームバッファ104のサイズが実施の形態1で示した20Mバイトである仮定すると、符号化ストリームの約15秒分(すなわち、1GOPあたり15ピクチャ、0.5秒の時間長とすると、30GOPのデータ)が一時的に保持できることになり、よって、30個分のシーンチェンジ抽出コマンドを保持できるように構成すればよい。コマンドバッファ122が30個のシーンチェンジ抽出コマンドを保持でき、且つ、ストリームバッファ104に30GOP分のデータが残っていれば、最新のGOPから30個前のGOPまで遡ってシーンチェンジ抽出が可能であることを意味し、30個のGOP分、すなわち、15秒遅延したシーンチェンジ抽出処理が可能であることをも意味する。シーンチェンジコマンド制御部120のシーンチェンジ抽出結果バッファ123は、シーンチェンジ抽出部110の状態制御部124が実行したシーンチェンジ抽出結果の複数回分保持することが可能で、コマンドバッファ122に保持できるコマンド数と同数分を保持できるものとすればよい。   FIG. 3 is a block diagram showing a configuration of the scene change command control unit 120 (shown in FIG. 2) of the video recording apparatus according to the second embodiment. As shown in FIG. 3, the scene change command control unit 120 includes an API (application program interface) unit 121 that receives a command from the recording control unit 102, a command buffer 122 that holds a plurality of received commands, a scene It has a state control unit 124 that manages the state transition of the change extraction unit and processes received commands, and a scene change extraction result buffer 123 for holding the scene change extraction result and error state and returning them to the recording control unit 102. ing. The video recording device of the second embodiment is different from the video recording device of the first embodiment in that the scene change extraction command issued from the recording control unit 102 is transmitted to the API unit 121 in the scene change command control unit 120. This is temporarily held in the command buffer 122. The number of commands that can be held in the command buffer 122 may be set according to the capacity of the stream buffer 104. For example, assuming that the size of the stream buffer 104 is 20 Mbytes shown in the first embodiment, if the encoded stream is about 15 seconds (ie, 15 pictures per GOP and a time length of 0.5 seconds), 30 GOP (Data) can be temporarily stored, and therefore, it is sufficient that 30 scene change extraction commands can be stored. If the command buffer 122 can hold 30 scene change extraction commands and 30 GOPs of data remain in the stream buffer 104, it is possible to extract scene changes retroactively from the latest GOP to the 30th previous GOP. This also means that scene change extraction processing delayed by 30 GOPs, that is, by 15 seconds is possible. The scene change extraction result buffer 123 of the scene change command control unit 120 can hold a plurality of scene change extraction results executed by the state control unit 124 of the scene change extraction unit 110, and the number of commands that can be held in the command buffer 122. It is sufficient that the same number can be held.

これによって、先行するGOPのシーンチェンジ抽出処理が完了していない状態(例えば、ユーザーが既に録画されているストリームの再生要求をしたために、システムの負荷が上昇し、シーンチェンジ抽出処理が完了できなかった場合)において、次のGOPの符号化が完了し、録画制御部102からシーンチェンジ抽出コマンドが発行された場合であっても、新しいシーンチェンジ抽出コマンドはコマンドバッファ122に保持される。コマンドバッファ122に保持されているシーンチェンジ抽出コマンドによって、現在実行中のシーンチェンジ抽出処理が完了後に、先行するGOPのシーンチェンジ抽出処理を実行できるので、GOPの符号化毎にシーンチェンジ抽出処理が完了しないために次のシーンチェンジ抽出処理が実行できないという問題を防ぐことができる。   As a result, the scene change extraction process of the preceding GOP has not been completed (for example, because the user has requested playback of a stream that has already been recorded, the system load increases and the scene change extraction process cannot be completed. In this case, even when the encoding of the next GOP is completed and a scene change extraction command is issued from the recording control unit 102, the new scene change extraction command is held in the command buffer 122. The scene change extraction process stored in the command buffer 122 can execute the scene change extraction process of the preceding GOP after the currently executed scene change extraction process is completed, so that the scene change extraction process is performed every time the GOP is encoded. This prevents the problem that the next scene change extraction process cannot be executed because it is not completed.

次に、図4、図5、及び図6のフローチャートを用いて録画動作と非同期で動作するシーンチェンジ抽出処理の説明を行う。まず、録画制御部102の動作について説明する。映像記録装置100に電源が投入されると、システム起動(ステップS201)され、定期的にシステム終了の確認(ステップS202)と録画開始の確認(ステップS204)が行われ、システム終了の要求があれば、システム終了(ステップS202)に遷移する。一方、録画開始の要求があれば、シーンチェンジコマンド制御部120に対して、録画開始コマンド発行(ステップS205)が行われる。録画開始コマンドの発行の後は、録画終了を確認(ステップS206)し、録画終了であれば録画終了コマンドをシーンチェンジコマンド制御部120に発行する(ステップS207)。録画状態においては、GOP単位の符号化が完了すると(ステップS208)、シーンチェンジコマンド制御部120に対してシーンチェンジ検出コマンドが発行される(ステップS209)。GOP符号化検出(ステップS208)は、録画が完了するまで続けられる。録画制御部102から発行された制御コマンドは、シーンチェンジコマンド制御部120のAPI部121内で処理される。シーンチェンジ制御コマンドCSCが発行されるとコマンドバッファ122の空きをチェックし(ステップS223)、コマンドバッファ122の空きがあれば、コマンドバッファ122にコマンドを格納する(ステップS224)。コマンドバッファ122に格納できなかった場合も含めて、次にシーンチェンジ状態制御部124からシーンチェンジ結果バッファ123に蓄えられたシーンチェンジ抽出結果の取得を行う(ステップS225)。最後に、シーンチェンジ抽出結果とコマンドが受け付けられたか否かを録画制御部102に返す(ステップS226)。 Next, scene change extraction processing that operates asynchronously with the recording operation will be described with reference to the flowcharts of FIGS. 4, 5, and 6. First, the operation of the recording control unit 102 will be described. When the video recording apparatus 100 is turned on, the system is activated (step S201), the system end is confirmed (step S202) and the recording start is confirmed (step S204), and the system end is requested. For example, the process proceeds to the system end (step S202). On the other hand, if there is a request to start recording, a recording start command is issued to the scene change command control unit 120 (step S205). After the recording start command is issued, the end of recording is confirmed (step S206). If the recording is ended, a recording end command is issued to the scene change command control unit 120 (step S207). In the recording state, when encoding in units of GOP is completed (step S208), a scene change detection command is issued to the scene change command control unit 120 (step S209). The GOP encoding detection (step S208) is continued until the recording is completed. The control command issued from the recording control unit 102 is processed in the API unit 121 of the scene change command control unit 120. When the scene change control command CSC is issued, the vacancy of the command buffer 122 is checked (step S223), and if the command buffer 122 is vacant, the command is stored in the command buffer 122 (step S224). The scene change extraction result stored in the scene change result buffer 123 is then acquired from the scene change state control unit 124, including the case where it cannot be stored in the command buffer 122 (step S225). Finally, the scene change extraction result and whether or not the command is accepted are returned to the recording control unit 102 (step S226).

一方、シーンチェンジ状態制御部124では電源起動されると(ステップS241)、コマンド待ち状態になり(ステップS242)、受け取ったコマンドがシステム終了(ステップS243)であればシステム終了に移る(ステップS245)。また、コマンドが録画開始コマンドであれば(ステップS252)、録画開始のための例えばメモリの確保や変数の初期化などの録画開始処理(ステップS253)を実行し、録画終了コマンド(ステップS254)であれば、例えば確保したメモリの開放やシーンチェンジ抽出結果を録画制御部102に送る録画終了処理(ステップS255)を行う。一方、受け取ったコマンドがシーンチェンジ抽出コマンドであれば、シーンチェンジ抽出コマンドに付けて渡される符号化ストリームのストリームバッファ104における先頭アドレスを元に、符号化ストリームの復号化を行う(ステップS246)。復号化部111によってYUVに変換された映像データからヒストグラムを生成し(ステップS247)、そのヒストグラムを第1のヒストグラムバッファ113(又は第2のヒストグラムバッファ114)に格納する(ステップS248)。生成したヒストグラムと第2のヒストグラムバッファ114(又は第1のヒストグラムバッファ113)に格納されている1つ前の映像のヒストグラムの差異値を求め(ステップS249)、予め設定されている閾値以上であればシーンチェンジと判定する(ステップS250)。この結果を、結果バッファ123に格納する(ステップS251)。   On the other hand, when the scene change state control unit 124 is powered on (step S241), it enters a command waiting state (step S242). If the received command is the system end (step S243), the system end is performed (step S245). . If the command is a recording start command (step S252), a recording start process (step S253) such as securing a memory or initializing variables for recording start is executed, and a recording end command (step S254) is executed. If there is, for example, a recording end process (step S255) for releasing the secured memory and sending the scene change extraction result to the recording control unit 102 is performed. On the other hand, if the received command is a scene change extraction command, the encoded stream is decoded based on the head address in the stream buffer 104 of the encoded stream passed along with the scene change extraction command (step S246). A histogram is generated from the video data converted into YUV by the decoding unit 111 (step S247), and the histogram is stored in the first histogram buffer 113 (or the second histogram buffer 114) (step S248). A difference value between the generated histogram and the histogram of the previous video stored in the second histogram buffer 114 (or the first histogram buffer 113) is obtained (step S249), and if it is equal to or greater than a preset threshold value. If it is a scene change, it is determined (step S250). This result is stored in the result buffer 123 (step S251).

1つのGOPに対するシーンチェンジ抽出処理が終わると、次の処理を行うためにコマンド待ち(ステップS242)に移る。ここでもし既にコマンドバッファ122にコマンドが格納されていれば、即座に、次のGOPの解析が開始されるが、次のコマンドバッファがまだ設定されていなければ、コマンド待ちを継続する(ステップS242)。   When the scene change extraction process for one GOP is completed, the process proceeds to a command wait (step S242) to perform the next process. If a command has already been stored in the command buffer 122, analysis of the next GOP is immediately started, but if the next command buffer has not yet been set, the command waiting is continued (step S242). ).

実施の形態2の映像記録装置においては、シーンチェンジ抽出を行うソフトウェアモジュールのタスク又はスレッドの優先度は録画再生を行うモジュール群より低くしている。この理由は、シーンチェンジ抽出を行うモジュールは、MPEGのソフトウェアデコード処理を伴うために、非常に処理負荷が高く、よって図示しないがソフトウェアを処理するCPUを占有する時間が他のモジュールに比べて極めて大きくなるからである。そのため、もしシーンチェンジ抽出モジュールの優先度を録画再生モジュールの優先度と同じ又はそれ以上にしていると、録画再生時にCPUの処理時間の多くを占有し、そのために映像の記録に関するモジュールの処理が遅れ、結果記録又は再生ができない問題を引き起こす可能性があるからである。さらに、ユーザー入力によって動作するモジュール、例えば、キー入力、画面表示等を司るモジュールの動作も同様にシーンチェンジ抽出モジュールによってその動作を遅延させることが想定しうる。よって、シーンチェンジ抽出モジュールの優先度は、その他のモジュールの優先度に比べて、低くすることが望ましい。一方、次々と録画によって生成されるGOPに対してシーンチェンジの解析を実行していかなければ、シーンチェンジ検出を行うことはできない。しなしながら、符号化部101による符号化処理はリアルタイムに行われていくが、生成された符号化ストリームはHDD105に書き込みを行うために一時的にストリームバッファ104に保持されている。よって、符号化ストリームがストリームバッファ104に保持されている間にシーンチェンジモジュールがストリームバッファ104上の符号化ストリームを処理すれば、すべてのGOPに対してシーンチェンジ抽出処理を行うことができることになる。   In the video recording apparatus of the second embodiment, the priority of the task or thread of the software module that performs scene change extraction is set lower than the module group that performs recording and reproduction. The reason for this is that the scene change extraction module is accompanied by MPEG software decoding processing, and therefore has a very high processing load. Therefore, although not shown, the time required to occupy the CPU for processing the software is extremely high compared to other modules. Because it grows. Therefore, if the priority of the scene change extraction module is equal to or higher than the priority of the recording / playback module, it takes up much of the processing time of the CPU during recording / playback, and the processing of the module related to video recording is This is because there is a possibility of causing a problem that delays and results cannot be recorded or reproduced. Furthermore, it can be assumed that the operation of a module that operates by user input, for example, a module that performs key input, screen display, and the like is also delayed by the scene change extraction module. Therefore, it is desirable that the priority of the scene change extraction module is lower than the priority of other modules. On the other hand, scene change detection cannot be performed unless scene change analysis is executed for GOPs generated by recording one after another. However, although the encoding process by the encoding unit 101 is performed in real time, the generated encoded stream is temporarily held in the stream buffer 104 for writing to the HDD 105. Therefore, if the scene change module processes the encoded stream on the stream buffer 104 while the encoded stream is held in the stream buffer 104, the scene change extraction process can be performed on all GOPs. .

実際に、シーンチェンジ抽出動作が継続して実行されている最中において、例えば、ユーザーによる別番組の再生要求やEPG番組表の表示などシステム的に負荷の大きな処理が起動された場合を想定してみる。先行するGOPのシーンチェンジ抽出実行時に大きな負荷がかかり、その処理の進行があまり進んでいない状況で、次のGOPの符号化完了通知が符号化部101から録画制御部102に上がってくる。録画制御部102は、即座にシーンチェンジ抽出部110のシーンチェンジコマンド制御部120に対して、シーンチェンジ抽出コマンドを発行する。シーンチェンジコマンド制御部120のAPI部は、コマンドバッファの空きを見て(ステップS223)、空きがあればコマンドバッファにシーンチェンジ抽出コマンドを格納する。シーンチェンジコマンド制御部120は、シーンチェンジ抽出コマンドの格納だけを行い、即座に録画制御部102にリターンを返す。さらに、次のGOPの符号化完了までに、先行するGOPのシーンチェンジ抽出が完了していなければ、さらにその次のGOPに対するシーンチェンジ抽出コマンドもコマンドバッファに格納する。その後シーンチェンジ抽出が完了すると、シーンチェンジ状態制御部はコマンド待ち(ステップS242)に移り、コマンドバッファより最古のコマンドを受け取り、次のGOPのシーンチェンジ抽出の実行を開始する。その後システムの負荷が定常状態になると、シーンチェンジ抽出処理の処理頻度が増加し、コマンドバッファの遅延されたコマンドを順次と実行する。ただし、この遅延に許された最大数は20GOP分であり、それ以上のシーンチェンジ処理要求が生じた場合はコマンドバッファにコマンドの空きがないため、該当するGOPに対してシーンチェンジ処理が実行されないことになる。このとき録画制御部102は何らかのエラー処理を実行してもよく、また、装置の主たる目的である録画動作が正常に行われているという理由で特にエラー処理を実行せずにそのまま処理を継続してもよい。   Actually, it is assumed that, while the scene change extraction operation is continuously executed, a system-intensive process such as a request for reproducing another program by the user or display of an EPG program guide is started. Try. When a scene change extraction of the preceding GOP is performed, a large load is applied and the progress of the process is not progressing so much, and the next GOP encoding completion notification is sent from the encoding unit 101 to the recording control unit 102. The recording control unit 102 immediately issues a scene change extraction command to the scene change command control unit 120 of the scene change extraction unit 110. The API unit of the scene change command control unit 120 looks at the empty space in the command buffer (step S223), and if there is a free space, stores the scene change extraction command in the command buffer. The scene change command control unit 120 only stores the scene change extraction command and immediately returns a return to the recording control unit 102. Further, if the scene change extraction of the preceding GOP is not completed by the completion of the encoding of the next GOP, a scene change extraction command for the next GOP is also stored in the command buffer. Thereafter, when the scene change extraction is completed, the scene change state control unit waits for a command (step S242), receives the oldest command from the command buffer, and starts executing the scene change extraction of the next GOP. Thereafter, when the system load becomes steady, the processing frequency of the scene change extraction process increases, and the delayed commands in the command buffer are sequentially executed. However, the maximum number allowed for this delay is 20 GOPs, and when there are more scene change processing requests, there is no command space in the command buffer, so no scene change processing is executed for the corresponding GOP. It will be. At this time, the recording control unit 102 may execute some error processing, and the processing is continued without performing error processing especially because the recording operation which is the main purpose of the apparatus is normally performed. May be.

このようにストリームバッファ104上に一時的に保持されたストリームを解析することに加え、録画制御部102から発行されるコマンドをバッファリングすることによって、必ずしも映像が符号化される毎に符号化されたストリームに対してシーンチェンジ抽出を実行する必要がなく、遅延処理が可能である。そのため、録画制御部102による符号化処理における符号化単位とシーンチェンジ抽出部120における解析単位を連続的に処理する必要がなく、よって符号化処理とシーンチェンジ抽出処理を独立した処理単位として設計できる。   In addition to analyzing the stream temporarily held in the stream buffer 104 in this way, by buffering a command issued from the recording control unit 102, the video is not necessarily encoded every time it is encoded. It is not necessary to perform scene change extraction on the stream, and delay processing is possible. Therefore, it is not necessary to continuously process the encoding unit in the encoding process by the recording control unit 102 and the analysis unit in the scene change extraction unit 120, and therefore the encoding process and the scene change extraction process can be designed as independent processing units. .

また、録画制御部102とシーンチェンジ抽出部120は独立して動作することが可能であり、さらにシーンチェンジ抽出部120の処理優先度を録画に関する処理のそれより低くすることによって、処理時間が長くかかるシーンチェンジ抽出部120の動作によって、録画制御部102の処理が遅れ、結果として通常の録画処理に影響を及ぼすといった悪影響を発生させることがない。   In addition, the recording control unit 102 and the scene change extraction unit 120 can operate independently, and the processing time of the scene change extraction unit 120 is made lower than that of the processing related to recording, thereby increasing the processing time. The operation of the scene change extraction unit 120 does not cause the adverse effect of delaying the process of the recording control unit 102 and consequently affecting the normal recording process.

また、シーンチェンジ抽出処理は遅延処理が可能なため、システムの一時的な負荷上昇によってシーンチェンジ抽出処理がGOPの再生時間内で完了できなかった場合や、シーンチェンジ抽出処理に処理が回ってこない場合であっても、コマンドバッファ122に格納されたシーンチェンジ抽出コマンドを使って、過去に符号化されたストリームに対して順次抽出処理を実行できるため、シーンチェンジ抽出処理が飛ばされて実行されないといった問題を回避することができる。   In addition, since the scene change extraction process can be delayed, if the scene change extraction process cannot be completed within the GOP playback time due to a temporary increase in system load, or the process does not go to the scene change extraction process. Even in this case, the scene change extraction process is skipped and not executed because the scene change extraction command stored in the command buffer 122 can be used to sequentially execute the extraction process on the previously encoded stream. The problem can be avoided.

なお、上記シーンチェンジ抽出処理の遅延可能な時間若しくは回数は、ストリームバッファ104及びコマンドバッファの数によって決定される。   Note that the time or number of times that the scene change extraction process can be delayed is determined by the number of stream buffers 104 and command buffers.

また、実施の形態2において、上記以外の点は、上記実施の形態1の場合と同じである。   In the second embodiment, the points other than the above are the same as those in the first embodiment.

実施の形態3.
本発明の実施の形態3の映像記録装置は、実施の形態1の映像記録装置の復号化部111の構成を特定した点が、実施の形態1の映像記録装置と相違する。したがって、実施の形態3の説明においては、図1及び図2をも参照する。
Embodiment 3 FIG.
The video recording apparatus according to the third embodiment of the present invention is different from the video recording apparatus according to the first embodiment in that the configuration of the decoding unit 111 of the video recording apparatus according to the first embodiment is specified. Therefore, in description of Embodiment 3, FIG.1 and FIG.2 is also referred.

図7は、図1の復号化部111の構成を示すブロック図である。実施の形態3の映像記録装置は、図7に符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、DCT(離散コサイン変換)係数の復号化次数を制御する方法に特徴がある。図7に示されるように、復号化部111は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部301と、画素サイズ検出部301によって検出された画素サイズからDCTブロックの使用する成分(次数)を決定する次数決定部302と、符号化ストリームに対して次数決定部302で決定した次数まで逆量子化を行いながらDCT係数を抽出するDCT係数抽出部303と、抽出されたDCT係数から逆DCTを実行するIDCT部304と、削減された次数で実行された逆DCTによって離散化してしまった画素データを詰めて縮小された画像を生成する画像整形部305とを有している。   FIG. 7 is a block diagram showing a configuration of the decoding unit 111 in FIG. The video recording apparatus of the third embodiment is characterized in that the decoding order of the DCT (discrete cosine transform) coefficient is controlled in the decoding process when the scene change extraction process is performed from the encoded stream in FIG. . As illustrated in FIG. 7, the decoding unit 111 includes a pixel size detection unit 301 that obtains a pixel size from the header of the input encoded stream, and uses a DCT block based on the pixel size detected by the pixel size detection unit 301. An order determination unit 302 that determines a component (order) to be performed, a DCT coefficient extraction unit 303 that extracts a DCT coefficient while performing inverse quantization on the encoded stream to the order determined by the order determination unit 302, An IDCT unit 304 that performs inverse DCT from DCT coefficients, and an image shaping unit 305 that generates a reduced image by packing pixel data that has been discretized by inverse DCT performed with a reduced order. Yes.

図8(a)乃至(d)は、実施の形態3の映像記録装置のDCT係数削減処理を説明するための図である。実施の形態3においては、ユーザーの希望により符号化する映像の画素サイズを704×480画素と352×240画素から選択できる映像記録装置について説明する。よって、復号化部111に入力されるストリームは、704×480画素の符号化ストリーム又は352×240画素の符号化ストリームの2種類の画素サイズのものが存在する。復号化部111に符号化ストリームが入力されると、まず最初に画素サイズ検出部301が符号化ストリームの画素サイズの検出を行い、検出した画素サイズを次数決定部302に送る。次数決定部302では、検出した画素サイズに応じて、符号化ストリームに含まれるDCT係数のうちの処理する次数Deを決定する。例えば、704×480画素の符号化ストリームの場合はDCTブロックの内の次数2まで、一方、352×240画素の符号化ストリームの場合は次数4まで処理すると予め設定しておく。この次数に従ってDCT係数抽出部303とIDCT部304は、DCTブロックの処理対象とする次数を設定し、復号化を行う。IDCT部304から出力された復号化された映像データは、DCTブロック単位でDCT係数の間引きを行ったため復号化されたDCTブロックをつなぎ合わせて生成された復号化された映像の画素は離散的な映像になっている。この画素間が離散的な映像に対して画素の隙間をつめる処理を画素整形部305で行う。これによって、復号化された映像は、704×480画素の符号化ストリームの場合は176×120画素、352×240画素の符号化ストリームの場合は176×120画素となり、入力された符号化ストリームの画素サイズが違っていたにもかかわらず同じサイズの画像を得ることができる。このように復号化された映像を次のヒストグラム生成器112に送れば、実施の形態1と同様にシーンチェンジの検出を行うことができる。   FIGS. 8A to 8D are diagrams for explaining DCT coefficient reduction processing of the video recording apparatus according to the third embodiment. In the third embodiment, a video recording apparatus will be described in which the pixel size of a video to be encoded can be selected from 704 × 480 pixels and 352 × 240 pixels as desired by the user. Therefore, the stream input to the decoding unit 111 has two types of pixel sizes, that is, an encoded stream of 704 × 480 pixels or an encoded stream of 352 × 240 pixels. When an encoded stream is input to the decoding unit 111, the pixel size detection unit 301 first detects the pixel size of the encoded stream and sends the detected pixel size to the order determination unit 302. The order determination unit 302 determines the order De to be processed among the DCT coefficients included in the encoded stream according to the detected pixel size. For example, in the case of an encoded stream of 704 × 480 pixels, processing is set in advance to process up to degree 2 in the DCT block, while in the case of an encoded stream of 352 × 240 pixels, processing up to order 4. According to this order, DCT coefficient extraction section 303 and IDCT section 304 set the order to be processed by the DCT block, and perform decoding. Since the decoded video data output from the IDCT unit 304 is subjected to DCT coefficient decimation in units of DCT blocks, the decoded video pixels generated by connecting the decoded DCT blocks are discrete. It is a video. The pixel shaping unit 305 performs a process of filling the pixel gaps with respect to an image having discrete pixels. As a result, the decoded video is 176 × 120 pixels in the case of an encoded stream of 704 × 480 pixels, and 176 × 120 pixels in the case of an encoded stream of 352 × 240 pixels. Even though the pixel size is different, an image of the same size can be obtained. By sending the decoded video to the next histogram generator 112, the scene change can be detected as in the first embodiment.

すなわち、実施の形態3においては、復号化部111にDCT係数の制御を行う機能が付加されることによって、符号化部101によって異なる画素サイズとして符号化された符号化ストリームであってもシーンチェンジ抽出に使う映像は同じ画素サイズで行うことができることを示すと共に、シーンチェンジ抽出で解析対象とする映像の周波数帯域の上限を同じ帯域に揃えることができることを示している。また、ヒストグラム生成器112以降では常に同じ画素サイズの符号化ストリームに対してシーンチェンジ抽出を行うことができるので、次のヒストグラム生成器112以降の処理は画素サイズに依存することなく同じ処理を行うことができる。   That is, in the third embodiment, a function for controlling the DCT coefficient is added to the decoding unit 111, so that even if the encoded stream is encoded with a different pixel size by the encoding unit 101, a scene change is performed. This indicates that the video used for extraction can be performed with the same pixel size, and that the upper limit of the frequency band of the video to be analyzed by scene change extraction can be made uniform. In addition, since scene change extraction can always be performed on an encoded stream having the same pixel size in the histogram generator 112 and later, the processing in the subsequent histogram generator 112 and later does the same processing without depending on the pixel size. be able to.

上記のように構成することによって、符号化ストリームの画素サイズが違う場合であっても、同じ又は同程度の画素サイズに復号化された映像を得ることができる。   By configuring as described above, it is possible to obtain video decoded to the same or similar pixel size even when the pixel sizes of the encoded streams are different.

また、符号化ストリームの画素サイズが違う場合でも同じ画素サイズの復号化された映像に対して、シーンチェンジ抽出処理を行うことができるので、符号化ストリームの画素サイズが違っているストリームに対しても、同じシーンチェンジの評価方法と評価基準を用いることができ、結果として画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。   Also, even if the pixel size of the encoded stream is different, the scene change extraction process can be performed on the decoded video of the same pixel size, so that the stream having a different pixel size of the encoded stream can be performed. However, the same scene change evaluation method and evaluation standard can be used. As a result, even when the same video is recorded while changing the pixel size, the same time position can be detected as a scene change.

また、画素サイズが異なる符号化ストリームに対してDCT係数を制御することによって、復号化された画像の周波数帯域を揃えることができるので、画素サイズを変えて同じ映像を録画した場合においても、同じ時間位置をシーンチェンジとして検出することができる。   Also, by controlling the DCT coefficients for encoded streams with different pixel sizes, the frequency band of the decoded image can be made uniform, so the same video can be recorded even when the pixel size is changed. The time position can be detected as a scene change.

また、高解像度の符号化データほど間引きを多くすることができるので、処理時間がかかる高解像度な符号化データであっても高速にシーンチェンジ抽出することができる。   Further, since the higher resolution encoded data can be thinned out more, scene change extraction can be performed at high speed even for high resolution encoded data that requires processing time.

また、高解像度の符号化データほど高周波の次数を間引きくことができるように構成できるので、比較的高周波ノイズの発生し易い高解像度の符号化データほどノイズ除去を効果的に行うことができる。   Further, since the higher-order encoded data can be configured so that the high-frequency order can be thinned out, the higher-resolution encoded data that is relatively easy to generate high-frequency noise can effectively perform noise removal.

また、解像度によらず同一の復号化映像を生成するために、復号化映像を記憶するメモリサイズを同一にすることができる。   Further, in order to generate the same decoded video regardless of the resolution, the memory size for storing the decoded video can be made the same.

また、本来復号化映像を記憶するために大きなメモリサイズを必要とする高解像度映像ほど間引き処理を行うために、復号化処理のために用意しておくべきメモリ領域を小さくすることができる。   In addition, since a thinning process is performed for a high-resolution video that originally requires a large memory size to store the decoded video, a memory area that should be prepared for the decoding process can be reduced.

なお、実施の形態3において、上記以外の点は、上記実施の形態1乃至2の場合と同じである。   The third embodiment is the same as the first and second embodiments except for the points described above.

実施の形態4.
本発明の実施の形態4の映像記録装置は、実施の形態1の映像記録装置の復号化部111の構成を特定した点が、実施の形態1の映像記録装置と相違する。したがって、実施の形態4の説明においては、図1及び図2をも参照する。
Embodiment 4 FIG.
The video recording apparatus according to the fourth embodiment of the present invention is different from the video recording apparatus according to the first embodiment in that the configuration of the decoding unit 111 of the video recording apparatus according to the first embodiment is specified. Therefore, in description of Embodiment 4, FIG.1 and FIG.2 is also referred.

図9は、本発明の実施の形態4の映像記録装置の復号化部の構成を示すブロック図である。図9を用いて符号化ストリームからシーンチェンジの抽出処理を行う場合の復号化処理において、復号化を実行するスライスを限定する処理について説明する。実施の形態4の映像記録装置の復号化部111は、入力された符号化ストリームのヘッダから画素サイズを求める画素サイズ検出部301と、画素サイズ検出部301の検出した画素サイズからシーンチェンジ抽出の処理対象とするスライスを決定する使用スライス決定部306と、符号化ストリームのヘッダを解析するヘッダ検出部307と、符号化ストリームの逆量子化を行う逆量子化部308と、周波数領域に変換された係数値を逆DCT処理するIDCT部304とを有している。   FIG. 9 is a block diagram showing the configuration of the decoding unit of the video recording apparatus according to Embodiment 4 of the present invention. With reference to FIG. 9, a description will be given of a process of limiting the slices to be decoded in the decoding process when the scene change extraction process is performed from the encoded stream. The decoding unit 111 of the video recording apparatus according to the fourth embodiment includes a pixel size detection unit 301 that obtains a pixel size from the header of the input encoded stream, and scene change extraction from the pixel size detected by the pixel size detection unit 301. The slice to be processed is used slice determining unit 306, the header detecting unit 307 that analyzes the header of the encoded stream, the inverse quantizing unit 308 that performs inverse quantization of the encoded stream, and the frequency domain. And an IDCT unit 304 that performs inverse DCT processing on the coefficient values.

次に、スライス削減と合わせて動作するシーンチェンジ抽出処理の動作について説明する。画素サイズ検出部301が画素サイズの検出を行い、使用スライス決定部306が使用するスライスを決定する。ここでは、例えば、符号化部101で生成される符号化ストリームの解像度は720×480画素と352×240画素の2種類のみしか存在しない場合には、垂直方向の画素数が480のときには、上下5スライス、すなわち、
(16画素×5スライス)×2=80画素×2
を使用しないものとし、一方、画素数が240のときには、上下2スライス、すなわち、
(16画素×2スライス)×2=32画素×2
を使用しないものとしている。ここで解像度によって使用しない画素数が異なるが、垂直方向に対する割合は、480画素の場合、全30スライスに対して10スライスを使用しないので、1/3を使用しないことになり、一方、240画素の場合、全15スライスに対して4スライスを使用しないので、4/15を使用しないことになり、ほぼ同じ割合をシーンチェンジ抽出対象としていることが分かる。
Next, the operation of the scene change extraction process that operates in conjunction with slice reduction will be described. The pixel size detection unit 301 detects the pixel size, and the use slice determination unit 306 determines a slice to be used. Here, for example, when there are only two types of resolutions of the encoded stream generated by the encoding unit 101, 720 × 480 pixels and 352 × 240 pixels, when the number of pixels in the vertical direction is 480, 5 slices, ie
(16 pixels × 5 slices) × 2 = 80 pixels × 2
On the other hand, when the number of pixels is 240, the upper and lower slices, that is,
(16 pixels × 2 slices) × 2 = 32 pixels × 2
Not to use. Here, the number of pixels that are not used differs depending on the resolution, but in the case of 480 pixels, 10 slices are not used for all 30 slices, so that 1/3 is not used, whereas 240 pixels. In this case, since 4 slices are not used for all 15 slices, 4/15 is not used, and it can be seen that almost the same ratio is targeted for scene change extraction.

このようにして使用スライス決定部306において使用するスライス数を求め、ヘッダ検出部307で符号化ストリームのヘッダを解析し、スライスヘッダを抽出する毎に先の使用スライス決定部306で使用しないスライスと判定したスライスであれば、次のスライスヘッダまでジャンプし、一方、使用するスライスであれば、該当するスライスを逆量子化部308に送る。逆量子化部308は、符号化ストリームの逆量子化を行い、IDCT部304は、逆DCTを実行する。上記構成によって、使用するスライスのみが復号化処理され、結果として垂直解像度が480画素であれば垂直解像度320画素の映像を、一方、垂直解像度が240画素であれば垂直172画素の復号化された映像を求めることができる。復号化部111によって上記のように垂直方向に削減され復号化された映像に対して、ヒストグラム生成器112では有効なスライス領域と同じ位置の画素を対象にヒストグラムの生成を行う。差分抽出器115で求める差異値dを導出するためにフレーム内の画素数を表すN(1フレーム内の画素数)を利用している。実施の形態4においては、垂直方向に画素を削減したので、フレーム内の画素数Nは以下のように補正される。まず、元が垂直解像度720画素の場合であれば、削減された垂直解像度が320画素で、水平解像度は720画素なので、
N=320×720=230400
となる。また、垂直解像度240画素の場合、削減された垂直解像度が172画素で、水平解像度は352画素であれば
N=172×352=60544
に補正を行う。本補正を行ったうえで求められる差異値dを用いて、シーンチェンジ判定器116は、実施の形態1と同様のシーンチェンジ判定を行うことができる。
In this way, the number of slices used in the used slice determination unit 306 is obtained, the header of the encoded stream is analyzed by the header detection unit 307, and a slice that is not used by the previous use slice determination unit 306 each time a slice header is extracted. If it is the determined slice, it jumps to the next slice header, and if it is a slice to be used, the corresponding slice is sent to the inverse quantization unit 308. The inverse quantization unit 308 performs inverse quantization on the encoded stream, and the IDCT unit 304 performs inverse DCT. With the above configuration, only the slice to be used is decoded. As a result, if the vertical resolution is 480 pixels, the video having the vertical resolution of 320 pixels is decoded, while if the vertical resolution is 240 pixels, the video having the vertical resolution of 172 pixels is decoded. You can ask for a video. The histogram generator 112 generates a histogram for a pixel at the same position as an effective slice area for the video that has been reduced and decoded in the vertical direction as described above by the decoding unit 111. In order to derive the difference value d obtained by the difference extractor 115, N (number of pixels in one frame) representing the number of pixels in the frame is used. In the fourth embodiment, since the number of pixels is reduced in the vertical direction, the number N of pixels in the frame is corrected as follows. First, if the original is a vertical resolution of 720 pixels, the reduced vertical resolution is 320 pixels and the horizontal resolution is 720 pixels.
N = 320 × 720 = 230400
It becomes. Further, in the case of a vertical resolution of 240 pixels, if the reduced vertical resolution is 172 pixels and the horizontal resolution is 352 pixels, N = 172 × 352 = 60544
Make corrections. Using the difference value d obtained after performing this correction, the scene change determination unit 116 can perform the same scene change determination as in the first embodiment.

上記説明においては、スライス単位で復号化をするか否かを設定しているが、シーンチェンジに利用する領域を画素位置又はマクロブロック単位で設定してもよい。この場合、シーンチェンジを検出する位置を特定できるので、検出精度を向上することができる。また、画素毎にシーンチェンジ抽出を行うか否かを設定する場合、すべての画素について復号化を行い、復号化した後に抽出したいエリアのヒストグラム及びヒストグラムの差異値をとることによって実現可能であるが、検出単位をマクロブロック単位で指定するようにすると、ヘッダ検出部又は復号化処理部においてマクロブロック単位で処理を実行するか否かを制御できるので、不必要な復号化を実行しないよう構成でき、処理速度を向上することができる。   In the above description, whether or not to perform decoding is set in units of slices, but an area used for scene change may be set in units of pixel positions or macroblocks. In this case, since the position where the scene change is detected can be specified, the detection accuracy can be improved. Also, when setting whether or not to perform scene change extraction for each pixel, it is possible to perform decoding for all the pixels and take the histogram of the area to be extracted after decoding and the difference value of the histogram. If the unit of detection is designated in units of macroblocks, the header detection unit or decoding processing unit can control whether or not to execute processing in units of macroblocks, so that it can be configured not to perform unnecessary decoding. , Processing speed can be improved.

以上のように構成することによって、復号化及びシーンチェンジ抽出する画素サイズがスライス単位で削減できるので、処理の高速化を実現できる。   With the above configuration, the pixel size for decoding and scene change extraction can be reduced in units of slices, so that the processing speed can be increased.

また、スライスの削減によって復号した画像のサイズも小さくなるので使用するメモリサイズも小さくなる。   Further, since the size of the decoded image is reduced by reducing the slices, the memory size to be used is also reduced.

また、シーンチェンジを検出する対象が放送番組であれば、映像の上下位置のスライスを使用しないように構成することによって、番組の本編との関連性が低い、又は、余り重要ではない情報である、時刻表示、臨時ニュースの文字表示、又はテロップなどに影響されることなくシーンチェンジ抽出を行うことができる。   In addition, if the target of the scene change is a broadcast program, it is information that is less relevant or less important by configuring so that slices at the top and bottom of the video are not used. The scene change can be extracted without being influenced by the time display, the text display of the special news, or the telop.

また、マクロブロック単位で復号化及びシーンチェンジ抽出処理の実行を指定することによって、任意の1つ若しくは複数のマクロブロックに対してのみシーンチェンジ検出が可能になり、位置を特定したシーンチェンジ抽出が可能になる。   In addition, by specifying the execution of decoding and scene change extraction processing in units of macroblocks, it becomes possible to detect scene changes only for any one or more macroblocks, and scene change extraction with a specified position can be performed. It becomes possible.

なお、実施の形態4において、上記以外の点は、上記実施の形態1乃至3の場合と同じである。   The fourth embodiment is the same as the first to third embodiments except for the points described above.

実施の形態5.
実施の形態5の映像記録装置は、差分抽出器115の動作が実施の形態1の映像記録装置と相違する。したがって、実施の形態5の説明においては、図1及び図2をも参照する。
Embodiment 5 FIG.
The video recording apparatus of the fifth embodiment is different from the video recording apparatus of the first embodiment in the operation of the difference extractor 115. Therefore, in description of Embodiment 5, FIG.1 and FIG.2 is also referred.

実施の形態5においては、シーンチェンジ抽出対象となる映像によってシーンチェンジの判定基準を切り替える方法について説明する。図10は映像の画素値のYUV分布を示している。一般的にYUVは各256値で表現され、輝度信号Yは0から255まで、色差信号U及びVは、−128から127までの値をとる。そのとき人間の目でほぼ白と感じる領域及びほぼ黒と感じる領域を、図10において、それぞれW及びBで示している。実施の形態5においては、抽出対象となる映像が、全体として白に近い色の領域が多い映像(以下「白映像」とも言う。)である場合は、領域W以外の領域で差異値を算出し、一方、全体として黒に近い色の領域が多い映像(以下「黒映像」とも言う。)である場合は、領域B以外の領域で差異値を算出する方法によって、比較する2つの映像がよく似た映像であっても的確にシーンチェンジを検出することを目的とする。   In the fifth embodiment, a method of switching a scene change determination criterion according to a scene change extraction target video will be described. FIG. 10 shows a YUV distribution of image pixel values. In general, YUV is expressed by 256 values, the luminance signal Y takes values from 0 to 255, and the color difference signals U and V take values from −128 to 127. At this time, an area that is almost white and an area that is almost black by human eyes are indicated by W and B in FIG. In the fifth embodiment, when the video to be extracted is a video having a large number of regions close to white as a whole (hereinafter also referred to as “white video”), the difference value is calculated in a region other than the region W. On the other hand, in the case of an image having a large number of areas close to black as a whole (hereinafter also referred to as “black image”), the two images to be compared are calculated by a method of calculating a difference value in an area other than the area B. The purpose is to detect scene changes accurately even for similar images.

実施の形態5の差分抽出器115の動作を、図11にフローチャートで示す。まず、第1のヒストグラムバッファ113及び第2のヒストグラムバッファ114からi番目のフレーム(以下「iフレーム」とも言う。)及びi−1番目のフレーム(以下「i−1フレーム」とも言う。)のヒストグラムを取得する(ステップS401)。次にそれぞれのフレームの白領域Wの画素数をカウントする(ステップS402)。iフレーム及びi−1フレームの白画素数CWi、CWi−1は次式で表される。

Figure 0003827705
FIG. 11 is a flowchart showing the operation of the difference extractor 115 according to the fifth embodiment. First, the i-th frame (hereinafter also referred to as “i-frame”) and the i−1-th frame (hereinafter also referred to as “i-1 frame”) from the first histogram buffer 113 and the second histogram buffer 114. A histogram is acquired (step S401). Next, the number of pixels in the white area W of each frame is counted (step S402). The numbers of white pixels C Wi and C Wi−1 in the i frame and the i−1 frame are expressed by the following equations.
Figure 0003827705

次に、白領域Wの累積差異rを次式で求める(ステップS403)。

Figure 0003827705
Next, determine the cumulative difference r W of the white area W by the following equation (step S403).
Figure 0003827705

一方、黒領域Bについても同様に、黒画素数CBi、CBi−1を次式で求める(ステップS404)。

Figure 0003827705
On the other hand, similarly for the black region B, the numbers of black pixels C Bi and C Bi−1 are obtained by the following equation (step S404).
Figure 0003827705

また、黒領域Bの累積差異rを次式で求める(ステップS405)。

Figure 0003827705
Moreover, determining cumulative difference r B of the black region B by the following equation (step S405).
Figure 0003827705

次に、iフレーム及びi−1フレームが共に以下の条件式を満足すれば、白に近い色の領域が多い映像(「白映像」とも言う。)であると判断する(ステップS406)。
_MAX>CWi>C_MIN 且つ
_MAX>CWi−1>C_MIN
上記は、全体として白に近い色の領域が多い映像と判定する条件として、白領域Wの画素数が下限C_MINより大きく、上限C_MAX未満であることを条件としている。このように、白画素数が下限より大きいことを満足するだけでなく、上限を設けている理由は、白画素数がある値より大きい場合は、白に近い色の領域以外の画素数が非常に少なくなり、全体の画素数に対して非常に少ない白以外の画素で画像全体のシーンチェンジを判定を行ってしまうことを避けるためである。
Next, if both of the i frame and the i-1 frame satisfy the following conditional expression, it is determined that the image has a large number of regions close to white (also referred to as “white image”) (step S406).
C W _MAX> C Wi> C W _MIN and C W _MAX> C Wi-1 > C W _MIN
Above, as the color area determining conditions often video close to white as a whole, the number of pixels in the white region W is greater than the lower limit C W _MIN, with the proviso that is less than the upper limit C W _MAX. In this way, not only is the number of white pixels satisfied more than the lower limit, but the reason why the upper limit is set is that when the number of white pixels is larger than a certain value, the number of pixels other than the area close to white is very large. This is to prevent the scene change of the entire image from being determined with pixels other than white, which is very small relative to the total number of pixels.

上記条件を満足できれば、白領域Wを除いた領域について次式で差異値を求める(ステップS407)。

Figure 0003827705
If the above condition can be satisfied, a difference value is obtained for the area excluding the white area W by the following equation (step S407).
Figure 0003827705

一方、白に近い色の領域が多い映像と判断されなかった場合は、以下の条件式で黒に近い色の領域が多い映像であるか否かを判定する(ステップS408)。
_MAX>CBi>C_MIN 且つ
_MAX>CBi−1>C_MIN
上記は、黒に近い色の領域が多い映像と判定する条件として、黒領域Bの画素数が下限C_MINより大きく、上限C_MAX未満であることを条件としている。上記条件を満足できれば、黒領域Bを除いた領域について次式で差異値を求める(ステップS409)。

Figure 0003827705
On the other hand, if it is not determined that the image has many areas close to white, it is determined whether the image has many areas close to black according to the following conditional expression (step S408).
C B _MAX> C Bi > C B _MIN and C B _MAX> C Bi-1 > C B _MIN
Above, as conditions for determining the color of the region is large image close to black, the number of pixels the black region B is greater than the lower limit C B _MIN, with the proviso that is less than the upper limit C B _MAX. If the above condition can be satisfied, the difference value is obtained for the area excluding the black area B by the following equation (step S409).
Figure 0003827705

一方、白に近い色の領域が多い映像と判断されず、且つ、黒に近い色の領域が多い映像とも判断されなかった場合は、実施の形態1で示した差異値の導出式

Figure 0003827705
によって差異値を求める(ステップS410)。 On the other hand, if it is not determined that the image has many areas of colors close to white and the image has many areas of colors close to black, the difference value derivation formula described in the first embodiment is used.
Figure 0003827705
To obtain the difference value (step S410).

以上によって求めた差異値dを用いて、実施の形態1で示した手法と同様に、シーンチェンジ判定器116によってシーンチェンジの判定が行われる。   Using the difference value d obtained as described above, the scene change determination unit 116 determines the scene change in the same manner as the method described in the first embodiment.

上記動作により、比較する2つの映像が共に白に近い色の領域が多い映像であれば白領域Wを除いた領域で映像の変化を比較し、一方、比較する2つの映像が共に黒に近い色の領域が多い映像であれば黒領域Bを除いた領域で映像の変化を比較することができるので、特定の色領域を除いた映像のシーンチェンジを抽出することができる。   By the above operation, if both of the two images to be compared are images having many areas of colors close to white, the change in the image is compared in the area excluding the white area W, while the two images to be compared are both close to black. If the image has many color areas, the change in the image can be compared in the area excluding the black area B, so that the scene change of the image excluding the specific color area can be extracted.

そのために、全体的に白に近い色の領域が多い映像又は黒に近い色の領域が多い映像が続いたシーンにおいてもシーンチェンジを検出することが可能である。   For this reason, it is possible to detect a scene change even in a scene in which an image with many color areas close to white as a whole or an image with many color areas close to black continues.

特に、放送番組のCM(Commercial Message)間のつなぎ目において、白い背景(又は黒い背景)に企業名や製品名が示されたシーンから同じように白い背景(又は黒い背景)に異なる企業名や製品名が示されるシーンに切り替わる場合において、白い背景や黒い背景を除いたエリアでシーンチェンジ判定を行うので、結果として企業名や製品名の領域からシーンチェンジとして検出することができ、CMの区切りを検出するのに非常に有効に動作することができる。   In particular, in a joint between commercial programs (CMs) of a broadcast program, a company name or product that is different on a white background (or black background) in the same way from a scene where the company name or product name is shown on a white background (or black background) When switching to a scene where the name is shown, scene change determination is performed in the area excluding the white background and black background. As a result, it can be detected as a scene change from the area of the company name and product name, and the CM is separated. It can operate very effectively to detect.

なお、実施の形態5において、上記以外の点は、上記実施の形態1乃至4の場合と同じである。   The fifth embodiment is the same as the first to fourth embodiments except for the points described above.

本発明の実施の形態1の映像記録装置の構成を示すブロック図である。It is a block diagram which shows the structure of the video recording device of Embodiment 1 of this invention. 実施の形態1の映像記録装置のシーンチェンジ抽出部の構成を示すブロック図である。3 is a block diagram illustrating a configuration of a scene change extraction unit of the video recording apparatus according to Embodiment 1. FIG. 本発明の実施の形態2の映像記録装置のシーンチェンジコマンド制御部の構成を示すブロック図である。It is a block diagram which shows the structure of the scene change command control part of the video recording device of Embodiment 2 of this invention. 実施の形態2の映像記録装置の動作を示すフローチャートである。6 is a flowchart illustrating an operation of the video recording apparatus according to the second embodiment. 実施の形態2の映像記録装置のシーンチェンジコマンド制御部のAPI部の動作を示すフローチャートである。10 is a flowchart illustrating an operation of an API unit of a scene change command control unit of the video recording apparatus according to the second embodiment. 実施の形態2の映像記録装置のシーンチェンジコマンド制御部の状態制御部の動作を示すフローチャートである。10 is a flowchart illustrating an operation of a state control unit of a scene change command control unit of the video recording apparatus according to the second embodiment. 本発明の実施の形態3の映像記録装置の復号化部の構成を示すブロック図である。It is a block diagram which shows the structure of the decoding part of the video recording device of Embodiment 3 of this invention. (a)乃至(d)は、実施の形態3の映像記録装置のDCT係数削減処理を説明するための図である。(A) thru | or (d) is a figure for demonstrating the DCT coefficient reduction process of the video recording device of Embodiment 3. FIG. 本発明の実施の形態4の映像記録装置の復号化部の構成を示すブロック図である。It is a block diagram which shows the structure of the decoding part of the video recording device of Embodiment 4 of this invention. 本発明の実施の形態5の映像記録装置におけるYUV領域を示す図である。It is a figure which shows the YUV area | region in the video recording device of Embodiment 5 of this invention. 実施の形態5の映像記録装置の動作を示すフローチャートである。10 is a flowchart illustrating an operation of the video recording apparatus according to the fifth embodiment.

符号の説明Explanation of symbols

100 映像記録装置、 101 符号化部、 102 録画制御部、 103 ストリーム制御部、 104 ストリームバッファ、 105 HDD、 110 シーンチェンジ抽出部、 111 復号化部、 112 ヒストグラム生成器、 113 第1のヒストグラムバッファ、 114 第2のヒストグラムバッファ、 115 差分抽出器、 116 シーンチェンジ判定器、 120 シーンチェンジコマンド制御部、 121 API部、 122 コマンドバッファ、 123 シーンチェンジ抽出結果バッファ、 124 状態制御部、 301 画素サイズ検出部、 302 次数決定部、 303 DCT係数抽出部、 304 IDCT部、 305 画像整形部、 306 使用スライス決定部、 307 ヘッダ検出部、 308 逆量子化部。
DESCRIPTION OF SYMBOLS 100 Video recording device, 101 Coding part, 102 Recording control part, 103 Stream control part, 104 Stream buffer, 105 HDD, 110 Scene change extraction part, 111 Decoding part, 112 Histogram generator, 113 1st histogram buffer, 114 Second histogram buffer, 115 Difference extractor, 116 Scene change determiner, 120 Scene change command control unit, 121 API unit, 122 Command buffer, 123 Scene change extraction result buffer, 124 State control unit, 301 Pixel size detection unit , 302 degree determination unit, 303 DCT coefficient extraction unit, 304 IDCT unit, 305 image shaping unit, 306 use slice determination unit, 307 header detection unit, 308 inverse quantization unit.

Claims (24)

映像データを符号化して符号化ストリームを出力する符号化手段と、
前記符号化手段から出力された符号化ストリームを記録する記録手段と、
前記符号化手段から出力された符号化ストリームを前記記録手段に転送するストリーム制御手段と、
前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出する映像変化点抽出手段と、
前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに前記映像変化点抽出手段に対するシーンチェンジ抽出指示を出力する録画制御手段と
を有することを特徴とする映像記録装置。
Encoding means for encoding video data and outputting an encoded stream;
Recording means for recording the encoded stream output from the encoding means;
Stream control means for transferring the encoded stream output from the encoding means to the recording means;
Video change point extraction means for decoding the encoded stream output from the encoding means and extracting a scene change of the decoded video data;
A recording control unit that obtains an encoding completion notification from the encoding unit for each encoding unit of an encoded stream, and outputs a scene change extraction instruction to the video change point extracting unit when the encoding completion notification is acquired; A video recording apparatus comprising:
前記映像変化点抽出手段は、
前記符号化手段から出力された符号化ストリームを復号化する復号化手段と、
前記復号化された映像データのヒストグラムを生成するヒストグラム生成手段と、
前記生成されたヒストグラムを所定の画素数毎に交互に保持する第1のヒストグラムバッファ及び第2のヒストグラムバッファと、
前記第1のヒストグラムバッファに保持されたヒストグラムと前記第2のヒストグラムバッファに保持されたヒストグラムの差異値を求める差分抽出手段と、
前記差分抽出手段で求めた差異値と予め定められた閾値とを比較するシーンチェンジ判定手段と、
前記録画制御手段からのシーンチェンジ抽出指示に基づいて前記映像変化点抽出手段を制御するシーンチェンジコマンド制御手段と
を有することを特徴とする請求項1に記載の映像記録装置。
The video change point extraction means includes:
Decoding means for decoding the encoded stream output from the encoding means;
Histogram generating means for generating a histogram of the decoded video data;
A first histogram buffer and a second histogram buffer for alternately holding the generated histogram for each predetermined number of pixels;
Difference extraction means for obtaining a difference value between the histogram held in the first histogram buffer and the histogram held in the second histogram buffer;
A scene change determination means for comparing the difference value obtained by the difference extraction means with a predetermined threshold;
The video recording apparatus according to claim 1, further comprising: a scene change command control unit that controls the video change point extraction unit based on a scene change extraction instruction from the recording control unit.
前記記録手段よりもデータの書込み速度及びデータの読出し速度が早く、前記ストリーム制御手段に入力された符号化ストリームを一時的に記憶する一時記憶手段をさらに有し、
前記映像変化点抽出手段によるシーンチェンジの抽出は、前記一時記憶手段から読み出された符号化ストリームに対して実行される
ことを特徴とする請求項1又は2のいずれかに記載の映像記録装置。
The data writing speed and the data reading speed are faster than the recording means, and further has a temporary storage means for temporarily storing the encoded stream input to the stream control means,
3. The video recording apparatus according to claim 1, wherein the scene change extraction by the video change point extraction unit is executed on the encoded stream read from the temporary storage unit. 4. .
前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが1又は複数GOP出力される毎に実行されることを特徴とする請求項1乃至3のいずれかに記載の映像記録装置。   The encoding completion notification is transmitted from the encoding unit each time one or a plurality of GOPs are output from the encoding unit. Video recording device. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが1又は複数スライス出力される毎に実行されることを特徴とする請求項1乃至3のいずれかに記載の映像記録装置。   4. The transmission of an encoding completion notification from the encoding unit is performed each time one or a plurality of slices of an encoded stream is output from the encoding unit. 5. Video recording device. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが1又は複数マクロブロック出力される毎に実行されることを特徴とする請求項1乃至3のいずれかに記載の映像記録装置。   The encoding completion notification is transmitted from the encoding unit each time one or a plurality of macroblocks are output from the encoding unit. The video recording apparatus described. 前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記録画制御手段からのシーンチェンジ抽出指示の受信に同期して実行されることを特徴とする請求項1乃至6のいずれかに記載の映像記録装置。   7. The video recording according to claim 1, wherein the scene change extraction operation by the video change point extraction unit is executed in synchronization with reception of a scene change extraction instruction from the recording control unit. apparatus. 前記映像変化点抽出手段が、前記録画制御手段からのシーンチェンジ抽出指示を一時保持する制御命令保持手段を有し、
前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記制御命令保持手段から出力されたシーンチェンジ抽出指示に基づいて、前記録画制御手段からのシーンチェンジ抽出指示の受信に非同期のタイミングで実行される
ことを特徴とする請求項1乃至7のいずれかに記載の映像記録装置。
The video change point extraction means has a control command holding means for temporarily holding a scene change extraction instruction from the recording control means,
The scene change extraction operation by the video change point extraction unit is executed at a timing asynchronous with the reception of the scene change extraction instruction from the recording control unit based on the scene change extraction instruction output from the control command holding unit. The video recording apparatus according to claim 1, wherein:
前記制御命令保持手段は、前記シーンチェンジ抽出指示を複数回分保持し、所定の符号化単位のシーンチェンジ抽出が完了する毎に、前記シーンチェンジ抽出指示に対応した処理をすることを特徴とする請求項8に記載の映像記録装置。   The control command holding unit holds the scene change extraction instruction for a plurality of times, and performs processing corresponding to the scene change extraction instruction every time a scene change extraction of a predetermined coding unit is completed. Item 9. The video recording apparatus according to Item 8. 前記符号化手段が、DCTを用いて映像データを圧縮し、
前記映像変化点抽出手段が、前記復号化に際して、符号化ストリームの画素サイズに応じて符号化ストリームのDCT係数の復号化次数を制御する
ことを特徴とする請求項1乃至9のいずれかに記載の映像記録装置。
The encoding means compresses video data using DCT,
10. The video change point extraction unit controls a decoding order of DCT coefficients of an encoded stream according to a pixel size of the encoded stream at the time of decoding. Video recording device.
前記映像変化点抽出手段が、符号化ストリームの画素サイズに応じて符号化ストリームの復号化スライスを制御することを特徴とする請求項10に記載の映像記録装置。   The video recording apparatus according to claim 10, wherein the video change point extraction unit controls a decoding slice of the encoded stream according to a pixel size of the encoded stream. 前記ヒストグラム生成手段は、前記ヒストグラムの分布が、指定した色分布に適合するかを判定し、指定した色分布であると判定した場合、指定した色分布以外のヒストグラムを前記第1のヒストグラムバッファ及び前記第2のヒストグラムバッファに出力することを特徴とする請求項2に記載の映像記録装置。   The histogram generation means determines whether the distribution of the histogram matches the specified color distribution, and determines that the histogram is a specified color distribution, the histogram other than the specified color distribution is the first histogram buffer and The video recording apparatus according to claim 2, wherein the video recording apparatus outputs to the second histogram buffer. 符号化手段によって映像データを符号化して符号化ストリームを出力するステップと、
前記符号化ストリームをストリーム制御手段によって転送して記録手段に記録するステップと、
録画制御手段によって前記符号化手段から符号化ストリームの符号化単位毎に符号化完了通知を取得し、該符号化完了通知を取得したときに映像変化点抽出手段に対するシーンチェンジ抽出指示を出力するステップと、
前記映像変化点抽出手段によって、前記符号化手段から出力された符号化ストリームを復号化し、該復号化された映像データのシーンチェンジを抽出するステップと
を有することを特徴とするシーンチェンジ抽出方法。
Encoding video data by an encoding means and outputting an encoded stream;
Transferring the encoded stream by a stream control means and recording it on a recording means;
A step of acquiring an encoding completion notification for each encoding unit of the encoded stream from the encoding unit by the recording control unit, and outputting a scene change extraction instruction to the video change point extracting unit when the encoding completion notification is acquired; When,
And a step of decoding the encoded stream output from the encoding means by the video change point extracting means and extracting a scene change of the decoded video data.
前記シーンチェンジを抽出するステップが、
前記符号化手段から出力された符号化ストリームを復号化するステップと、
前記復号化された映像データのヒストグラムを生成するステップと、
前記生成されたヒストグラムを所定の画素数毎に交互に第1のヒストグラムバッファ及び第2のヒストグラムバッファに保持するステップと、
前記第1のヒストグラムバッファに保持されたヒストグラムと前記第2のヒストグラムバッファに保持されたヒストグラムの差異値を求めるステップと、
前記求められた差異値と予め定められた閾値とを比較するステップと、
前記録画制御手段からのシーンチェンジ抽出指示に基づいて前記映像変化点抽出手段を制御するステップと
を有することを特徴とする請求項13に記載のシーンチェンジ抽出方法。
Extracting the scene change comprises:
Decoding the encoded stream output from the encoding means;
Generating a histogram of the decoded video data;
Holding the generated histogram alternately in a first histogram buffer and a second histogram buffer for each predetermined number of pixels;
Obtaining a difference value between the histogram held in the first histogram buffer and the histogram held in the second histogram buffer;
Comparing the determined difference value with a predetermined threshold;
14. The scene change extraction method according to claim 13, further comprising the step of controlling the video change point extraction unit based on a scene change extraction instruction from the recording control unit.
前記記録手段よりもデータの書込み速度及びデータの読出し速度が早い一時記憶手段に、前記ストリーム制御手段に入力された符号化ストリームを一時的に記憶させるステップさらに有し、
前記映像変化点抽出手段によるシーンチェンジの抽出は、前記一時記憶手段から読み出された符号化ストリームに対して実行される
ことを特徴とする請求項13又は14のいずれかに記載のシーンチェンジ抽出方法。
Temporarily storing the encoded stream input to the stream control means in a temporary storage means having a data writing speed and a data reading speed faster than the recording means;
15. The scene change extraction according to claim 13, wherein the scene change extraction by the video change point extraction unit is executed on the encoded stream read from the temporary storage unit. Method.
前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが1又は複数GOP出力される毎に実行されることを特徴とする請求項13乃至15のいずれかに記載のシーンチェンジ抽出方法。   16. The transmission of an encoding completion notification from the encoding unit is performed each time one or a plurality of encoded streams are output from the encoding unit. Scene change extraction method. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが1又は複数スライス出力される毎に実行されることを特徴とする請求項13乃至15のいずれかに記載のシーンチェンジ抽出方法。   16. The transmission of an encoding completion notification from the encoding unit is performed every time one or a plurality of slices of an encoded stream is output from the encoding unit. Scene change extraction method. 前記符号化手段からの符号化完了通知の送信は、前記符号化手段から符号化ストリームが1又は複数マクロブロック出力される毎に実行されることを特徴とする請求項13乃至15のいずれかに記載のシーンチェンジ抽出方法。   16. The encoding completion notification is transmitted from the encoding unit each time one or a plurality of macroblocks are output from the encoding unit. The described scene change extraction method. 前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記録画制御手段からのシーンチェンジ抽出指示の受信に同期して実行されることを特徴とする請求項13乃至18のいずれかに記載のシーンチェンジ抽出方法。   19. The scene change extraction operation according to claim 13, wherein the scene change extraction operation by the video change point extraction unit is executed in synchronization with reception of a scene change extraction instruction from the recording control unit. Extraction method. 前記録画制御手段からのシーンチェンジ抽出指示を制御命令保持手段に一時保持させるステップをさらに有し、
前記映像変化点抽出手段によるシーンチェンジ抽出動作は、前記制御命令保持手段から出力されたシーンチェンジ抽出指示に基づいて、前記録画制御手段からのシーンチェンジ抽出指示の受信に非同期のタイミングで実行される
ことを特徴とする請求項13乃至18のいずれかに記載のシーンチェンジ抽出方法。
A step of temporarily holding a scene change extraction instruction from the recording control means in a control command holding means;
The scene change extraction operation by the video change point extraction unit is executed at a timing asynchronous with the reception of the scene change extraction instruction from the recording control unit based on the scene change extraction instruction output from the control command holding unit. 19. The scene change extraction method according to claim 13, wherein the scene change extraction method is performed.
前記制御命令保持手段にシーンチェンジ抽出指示を一時保持させるステップにおいて、前記シーンチェンジ抽出指示を複数回分保持させ、所定の符号化単位のシーンチェンジ抽出が完了する毎に、前記シーンチェンジ抽出指示に対応した処理をすることを特徴とする請求項20に記載のシーンチェンジ抽出方法。   In the step of temporarily holding a scene change extraction instruction in the control instruction holding means, the scene change extraction instruction is held for a plurality of times, and each time a scene change extraction of a predetermined encoding unit is completed, the scene change extraction instruction is handled. 21. The scene change extraction method according to claim 20, wherein the process is performed. 前記符号化手段が、DCTを用いて映像データを圧縮し、
前記映像変化点抽出手段が、前記復号化に際して、符号化ストリームの画素サイズに応じて符号化ストリームのDCT係数の復号化次数を制御する
ことを特徴とすることを特徴とする請求項13乃至21のいずれかに記載のシーンチェンジ抽出方法。
The encoding means compresses video data using DCT,
The video change point extraction means controls the decoding order of DCT coefficients of an encoded stream in accordance with the pixel size of the encoded stream at the time of decoding. The scene change extraction method according to any one of the above.
符号化ストリームの画素サイズに応じて符号化ストリームの復号化スライスを制御することを特徴とする請求項22に記載のシーンチェンジ抽出方法。   The scene change extraction method according to claim 22, wherein the decoding slice of the encoded stream is controlled in accordance with the pixel size of the encoded stream. 前記ヒストグラム生成手段は、前記ヒストグラムの分布が、指定した色分布に適合するかを判定し、指定した色分布であると判定した場合、指定した色分布以外のヒストグラムを前記第1のヒストグラムバッファ及び前記第2のヒストグラムバッファに出力することを特徴とする請求項14に記載のシーンチェンジ抽出方法。   The histogram generation means determines whether the distribution of the histogram matches the specified color distribution, and determines that the histogram is a specified color distribution, the histogram other than the specified color distribution is the first histogram buffer and 15. The scene change extraction method according to claim 14, wherein the scene change extraction method outputs the result to the second histogram buffer.
JP2005232957A 2005-08-11 2005-08-11 Video recording apparatus and scene change extraction method Expired - Fee Related JP3827705B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005232957A JP3827705B1 (en) 2005-08-11 2005-08-11 Video recording apparatus and scene change extraction method
US11/989,309 US8886014B2 (en) 2005-08-11 2006-03-17 Video recording apparatus, scene change extraction method, and video audio recording apparatus
CN2006800291636A CN101238727B (en) 2005-08-11 2006-03-17 Video recorder, scene change extracting method, and video/audio recorder
JP2007529457A JP4707713B2 (en) 2005-08-11 2006-03-17 Video recording apparatus and scene change extraction method
PCT/JP2006/305337 WO2007017970A1 (en) 2005-08-11 2006-03-17 Video recorder, scene change extracting method, and video/audio recorder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005232957A JP3827705B1 (en) 2005-08-11 2005-08-11 Video recording apparatus and scene change extraction method

Publications (2)

Publication Number Publication Date
JP3827705B1 true JP3827705B1 (en) 2006-09-27
JP2007049516A JP2007049516A (en) 2007-02-22

Family

ID=37101324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005232957A Expired - Fee Related JP3827705B1 (en) 2005-08-11 2005-08-11 Video recording apparatus and scene change extraction method

Country Status (2)

Country Link
JP (1) JP3827705B1 (en)
CN (1) CN101238727B (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007017970A1 (en) * 2005-08-11 2009-02-19 三菱電機株式会社 Video recording apparatus, scene change extraction method, and video / audio recording apparatus
JP2011091859A (en) * 2011-01-14 2011-05-06 Mitsubishi Electric Corp Video recording apparatus, video recording method, video and audio recording apparatus, and video and audio recording method
US8639089B2 (en) 2009-07-17 2014-01-28 Mitsubishi Electric Corporation Video audio recording/playback apparatus and method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5178616B2 (en) * 2009-04-22 2013-04-10 三菱電機株式会社 Scene change detection device and video recording device
JP5029754B2 (en) * 2010-10-27 2012-09-19 コニカミノルタビジネステクノロジーズ株式会社 Movie playback device, movie playback method, and movie playback program
CN102223535A (en) * 2011-06-07 2011-10-19 东莞电子科技大学电子信息工程研究院 Adaptive GOP (Group of Image) structure selection method based on SVC (Scalable Video Coding)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276388A (en) * 1997-03-28 1998-10-13 Sony Corp Device, method for processing and reproducing image and recording medium
JP3526414B2 (en) * 1999-03-31 2004-05-17 株式会社東芝 Information recording / reproducing method and information recording / reproducing device
CN1197380C (en) * 2000-03-07 2005-04-13 皇家菲利浦电子有限公司 Method of encoding video signals
JP2002010254A (en) * 2000-06-20 2002-01-11 Sony Corp Feature point detection method and record reproduction device
JP2005175710A (en) * 2003-12-09 2005-06-30 Sony Corp Digital recording and reproducing apparatus and digital recording and reproducing method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2007017970A1 (en) * 2005-08-11 2009-02-19 三菱電機株式会社 Video recording apparatus, scene change extraction method, and video / audio recording apparatus
JP4707713B2 (en) * 2005-08-11 2011-06-22 三菱電機株式会社 Video recording apparatus and scene change extraction method
US8886014B2 (en) 2005-08-11 2014-11-11 Mitsubishi Electric Corporation Video recording apparatus, scene change extraction method, and video audio recording apparatus
US8639089B2 (en) 2009-07-17 2014-01-28 Mitsubishi Electric Corporation Video audio recording/playback apparatus and method
JP2011091859A (en) * 2011-01-14 2011-05-06 Mitsubishi Electric Corp Video recording apparatus, video recording method, video and audio recording apparatus, and video and audio recording method

Also Published As

Publication number Publication date
CN101238727B (en) 2012-12-12
CN101238727A (en) 2008-08-06
JP2007049516A (en) 2007-02-22

Similar Documents

Publication Publication Date Title
JP4707713B2 (en) Video recording apparatus and scene change extraction method
JP4536402B2 (en) Video playback device, video playback method, and program for causing computer to execute the method
US7187415B2 (en) System for detecting aspect ratio and method thereof
US6912327B1 (en) Imagine information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
EP2476256B1 (en) Video editing and reformating for digital video recorder
EP1107613A2 (en) Picture recording apparatus and methods
US8036470B2 (en) Image processing apparatus, image processing method, and program
US8363726B2 (en) Electronic apparatus, motion vector detecting method, and program therefor
US9509940B2 (en) Image output device, image output method, and recording medium
KR100846770B1 (en) Method for encoding a moving picture and apparatus therefor
EP1547016B1 (en) Method and apparatus for encoding image and or audio data
JP3827705B1 (en) Video recording apparatus and scene change extraction method
JP5036882B2 (en) Video recording apparatus, video recording method, video / audio recording apparatus, and video / audio recording method
US6781637B2 (en) Image change detecting apparatus and image change detecting method, image encoding apparatus and information recording medium with image change detecting program recorded readable by computer
US6999090B2 (en) Data processing apparatus, data processing method, information storing medium, and computer program
US20080107403A1 (en) Video Decoding Apparatus, Video Playback Apparatus, Video Decoding Method, And Video Playback Method
JP5425972B2 (en) Video / audio recording apparatus and video / audio recording method
US20090304089A1 (en) Reproduction processing apparatus, reproduction processing method, and computer program
JP4420811B2 (en) Image processing apparatus and method
JP5775006B2 (en) Information processing apparatus, information processing method, and semiconductor device
WO1997004598A1 (en) Device for decoding encoded video signal and storing and decoding device using it
JPH11283333A (en) Data recording device and method
JP2000013741A (en) Video recorder and video reproducing device
JP2005192013A (en) Device and program for decoding compression video data
JP2007027857A (en) Multimedia data recording device and method therefor

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060704

R150 Certificate of patent or registration of utility model

Ref document number: 3827705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees