JP2003047004A - Image feature detecting method, image feature detecting equipment and data recording medium - Google Patents
Image feature detecting method, image feature detecting equipment and data recording mediumInfo
- Publication number
- JP2003047004A JP2003047004A JP2001230385A JP2001230385A JP2003047004A JP 2003047004 A JP2003047004 A JP 2003047004A JP 2001230385 A JP2001230385 A JP 2001230385A JP 2001230385 A JP2001230385 A JP 2001230385A JP 2003047004 A JP2003047004 A JP 2003047004A
- Authority
- JP
- Japan
- Prior art keywords
- screen
- image
- video
- area
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、映像特徴検出方
法、映像特徴検出装置、およびデータ記録媒体に関し、
特に、輝度が激しく変化するような映像信号中のフラッ
シング映像と、時間的に連続性のなくなるシーンチェン
ジ点をそれぞれ的確に検出することができる機能を備え
たものに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video feature detection method, a video feature detection device, and a data recording medium,
In particular, the present invention relates to a flashing image in a video signal whose brightness changes drastically and a function capable of accurately detecting a scene change point at which temporal continuity is lost.
【0002】[0002]
【従来の技術】近年、デジタル信号処理技術が発達し、
動画像のデジタル圧縮が身近なものになってきている。
特に、高圧縮符号化を実現するには、MPEG(Mov
ingPicture Experts Group)
などで用いられるフレーム間予測符号化処理が必須であ
る。フレーム間予測符号化では、物体の動きに関する情
報を動きベクトルを用いて表すことで、動画像の高圧縮
符号化を実現している。2. Description of the Related Art In recent years, digital signal processing technology has been developed,
Digital compression of moving images is becoming commonplace.
In particular, to realize high compression coding, MPEG (Mov
ingPicture Experts Group)
The interframe predictive coding process used in such as is essential. In the inter-frame predictive coding, high-compression coding of a moving image is realized by expressing information about the motion of an object using a motion vector.
【0003】しかし、輝度が激しく変化する映像、例え
ば、映像のシーンが切り替わる点であるシーンチェンジ
点をまたぐ映像の画面間において、特別な処理なしで得
た動きベクトルは、もとの画面の画素の輝度レベルのみ
において適したものが検出されていた。そのため、画面
内の物体の動きとは全く違った動きベクトルが検出され
たり、シーンが切り替わって対象物体がなくなっても無
理やりな動きベクトルを検出されたりすることが多く、
この動きベクトルを用いて圧縮された映像は、人間の目
から見て、もとの映像と比較して劣化が目立つ映像とな
ってしまう問題があった。However, a motion vector obtained without special processing between video images whose brightness changes drastically, for example, a video image that crosses a scene change point where the scenes of the video are switched, is a pixel of the original screen. A suitable one was detected only in the luminance level of. Therefore, a motion vector that is completely different from the motion of the object on the screen is often detected, or even if the target object disappears when the scene switches and the motion vector is often forcibly detected,
There is a problem that an image compressed using this motion vector becomes an image that is noticeably deteriorated as compared with the original image when viewed by human eyes.
【0004】そこで、映像や画面の特徴に応じて動きベ
クトルの検出方法を変えることによって、劣化の少ない
動きベクトルを検出することが考えられる。このために
は、映像や画面の特徴を検出する方法が必要であり、い
くつかの方法が提案されている。例えば、特許公報第2
611607号や、特許公報第2565057号が挙げ
られる。上記特許公報第2611607号では、入力さ
れた画像を複数の小画面に分割し、時間的に連続した小
画面間で算出されたパラメータを、しきい値と比較する
ことによって、シーンチェンジの検出を実現している。Therefore, it is possible to detect a motion vector with less deterioration by changing the method of detecting the motion vector according to the characteristics of the image or screen. For this purpose, a method for detecting the characteristics of video and screen is required, and several methods have been proposed. For example, Patent Publication No. 2
No. 611607 and Japanese Patent Publication No. 2565057 are listed. In Japanese Patent No. 2611607, the input image is divided into a plurality of small screens, and a parameter calculated between temporally continuous small screens is compared with a threshold to detect a scene change. Has been realized.
【0005】また、特許公報第2565057号では、
時間的に連続した画面間の画像差分により得られたデー
タからシーンチェンジの可能性を示すフラグをたて、時
間的に連続した複数のフラグの出現パターンを見ること
によって、シーンチェンジの検出を実現している。Further, in Japanese Patent Publication No. 2565057,
A scene change can be detected by setting a flag that indicates the possibility of a scene change from the data obtained from the image differences between the screens that are continuous in time and seeing the appearance pattern of multiple flags that are continuous in time. is doing.
【0006】しかし、輝度が激しく変化する映像が連続
するような映像の場合、例えば、カメラのフラッシュが
たかれるような映像や照明が点滅するような映像である
フラッシング映像の場合には、これがシーンチェンジと
誤って判定されるという問題が生じる。詳述すると、上
記特許公報第2611607号では、しきい値によって
比較するパラメータは時間的に連続する2枚の画面間の
データのみであり、時間的に前の映像や後の映像につい
ては考慮されていないため、フラッシングのように輝度
が連続して激しく変化するような映像では、連続してシ
ーンチェンジが行われているものと誤検出してしまう恐
れがある。また、上記特許公報第2565057号で
は、入力された画面をそのまま用いるため、画面の局部
的な輝度変化となって現れる可能性のあるフラッシング
についてはこれを検出することが不可能であった。However, in the case of an image in which the images whose brightness changes drastically are continuous, for example, in the case of a flashing image in which the flash of the camera is hit or the image of which the illumination flashes, this is the scene. There is a problem that it is erroneously determined as a change. More specifically, in the above-mentioned Japanese Patent No. 2611607, the parameter to be compared according to the threshold value is only the data between two temporally consecutive screens, and the temporally preceding and subsequent images are considered. Therefore, in an image in which the brightness continuously changes drastically like flashing, there is a possibility that it may be erroneously detected as a continuous scene change. Further, in the above-mentioned Japanese Patent Publication No. 2565057, since the input screen is used as it is, it is impossible to detect the flashing that may appear as a local luminance change of the screen.
【0007】[0007]
【発明が解決しようとする課題】従来の映像特徴検出方
法、映像特徴検出装置は以上のように構成されており、
輝度が連続的に激しく変化するフラッシング映像につい
ては何ら考慮されておらず、従って、シーンチェンジを
的確に検出することができず、上述したような、動きベ
クトルを用いた動画像の高圧縮符号化を行うと、劣化が
目立つ映像となってしまうという問題点は依然として解
消することができないと言う問題点があった。The conventional image feature detecting method and image feature detecting device are configured as described above.
No consideration is given to a flashing image in which the brightness continuously and drastically changes, and therefore, a scene change cannot be detected accurately, and as described above, high compression encoding of a moving image using a motion vector is performed. However, there is a problem in that the problem that the deterioration of the image becomes noticeable cannot be solved.
【0008】本発明は以上のような問題点を解消するた
めになされたもので、精度よく映像や画面の特徴を検出
し、時間的な連続性を有さないシーンチェンジと、時間
的な連続性を有するフラッシングとをそれぞれ検出する
ことのできる映像特徴検出方法、映像特徴検出装置、さ
らにはデータ記録媒体を提供することを目的とする。The present invention has been made in order to solve the above-mentioned problems, and it detects the characteristics of the image and the screen with high accuracy, does not have a temporal continuity, and has a scene change and a temporal continuity. It is an object of the present invention to provide a video feature detection method, a video feature detection device, and a data recording medium, which are capable of detecting flashing each having a property.
【0009】[0009]
【課題を解決するための手段】本発明の請求項1にかか
る映像特徴検出方法は、時間的に連続して入力される映
像の画面において、映像または画面の時間的な特徴を検
出する映像特徴検出方法であって、入力された映像の画
面を複数の領域に分割する画面分割ステップと、上記分
割された画面領域の画像データを記憶する領域記憶ステ
ップと、上記領域記憶ステップで記憶された領域の画像
データと、該記憶された領域の画像データと時間的に連
続する領域の映像を画面分割して得られた画像データと
から、これら2つの画像データ間における画素データに
関するパラメータを算出するパラメータ算出ステップ
と、上記パラメータ算出ステップで得られたパラメータ
から、上記画素データの変化が第1のしきい値群で定め
た時間に相当するだけ発生しているか否かを判定する映
像画面特徴検出ステップと、を含むものである。According to a first aspect of the present invention, there is provided a video feature detecting method for detecting a video feature or a temporal feature of a screen on a screen of images continuously input in time. A detection method, a screen dividing step of dividing a screen of an input video into a plurality of areas, an area storing step of storing image data of the divided screen area, and an area stored in the area storing step. Of the image data of the stored area and the image data obtained by dividing the image of the area temporally continuous with the stored image data of the area into parameters for calculating pixel data between these two pieces of image data. From the calculation step and the parameters obtained in the parameter calculation step, the change in the pixel data corresponds to the time defined by the first threshold value group. A video screen feature detection step of determining whether or not generated, is intended to include.
【0010】また、本発明の請求項2にかかる映像特徴
検出方法は、請求項1記載の映像特徴検出方法におい
て、上記画素データの変化が第1のしきい値群で定めた
時間に相当するだけ発生しているか否かを判定するステ
ップは、上記分割された各領域において、それぞれ判定
を行う領域別判定ステップを含むものである。According to a second aspect of the present invention, in the image feature detecting method according to the first aspect, the change in the pixel data corresponds to the time defined by the first threshold value group. The step of determining whether or not the error has occurred includes an area-specific determination step of making a determination in each of the divided areas.
【0011】また、本発明の請求項3にかかる映像特徴
検出方法は、請求項1記載の映像特徴検出方法におい
て、映像画面特徴検出ステップは、上記第1のしきい値
群で定めた時間に相当する期間に得られたパラメータか
ら算出される値が第2のしきい値群で定めた値に相当す
るか否か判定するステップを含むものである。The video feature detecting method according to claim 3 of the present invention is the video feature detecting method according to claim 1, wherein the video screen feature detecting step is performed at a time defined by the first threshold value group. It includes a step of determining whether or not the value calculated from the parameter obtained in the corresponding period corresponds to the value defined by the second threshold value group.
【0012】また、本発明の請求項4にかかる映像特徴
検出方法は、請求項3記載の映像特徴検出方法におい
て、上記第1のしきい値群で定めた時間に相当する期間
に得られたパラメータから算出される値は、上記第1の
しきい値群で定めた時間に相当する期間に得られたパラ
メータの最大値と最小値との差であることを特徴とする
映像特徴検出方法。According to a fourth aspect of the present invention, there is provided the image feature detecting method according to the third aspect, wherein the image feature detecting method is obtained in a period corresponding to the time defined by the first threshold value group. The image feature detecting method, wherein the value calculated from the parameter is the difference between the maximum value and the minimum value of the parameter obtained during the period corresponding to the time defined by the first threshold value group.
【0013】また、本発明の請求項5にかかる映像特徴
検出方法は、請求項2記載の映像特徴検出方法におい
て、上記領域別判定ステップにおいて判定対象となった
各領域のパラメータが、第3のしきい値群で定めた値に
相当する個数が、第4のしきい値群で定めた個数に相当
するだけ存在するか否かを検出するしきい値個数検出ス
テップを含むものである。According to a fifth aspect of the present invention, there is provided the image feature detecting method according to the second aspect, wherein the parameter of each area which is the determination target in the area-specific determination step is the third parameter. The method includes a threshold value number detecting step of detecting whether or not the number corresponding to the value set in the threshold value group is equal to the number set in the fourth threshold value group.
【0014】また、本発明の請求項6にかかる映像特徴
検出方法は、請求項5記載の映像特徴検出方法におい
て、上記判定対象となった画素データの画面と時間的に
前後する所定個数の画面の画素データについて、当該画
面を分割して得られる各領域のパラメータの値を上記第
3のしきい値群で定めた値に相当する値と比較し、その
比較結果を上記第4のしきい値群で定めた個数と比較す
るステップを含むものである。The image feature detecting method according to claim 6 of the present invention is the image feature detecting method according to claim 5, wherein a predetermined number of screens temporally precedes and follows the screen of the pixel data which is the determination target. For the pixel data of, the value of the parameter of each area obtained by dividing the screen is compared with the value corresponding to the value defined by the third threshold value group, and the comparison result is compared with the fourth threshold value. It includes the step of comparing with the number defined by the value group.
【0015】また、本発明の請求項7にかかる映像特徴
検出方法は、請求項1記載の映像特徴検出方法におい
て、上記算出されるパラメータは、上記分割された画面
領域内の画素ごとの、経時的に変化する画素値同士の符
号付差分値の和としたものである。The image feature detecting method according to claim 7 of the present invention is the image feature detecting method according to claim 1, wherein the calculated parameter is the time-dependent value for each pixel in the divided screen area. It is the sum of the signed difference values of the pixel values that change with time.
【0016】また、本発明の請求項8にかかる映像特徴
検出方法は、請求項5記載の映像特徴検出方法におい
て、上記画素値同士の符号付差分値の和は、分割された
画面領域内の画素ごとの経時的な符号付差分値を算出す
る画素差算出ステップと、上記画素差算出ステップで算
出された値の領域内の和を算出する領域和算出ステップ
と、により求めるものとしたものである。The video feature detection method according to claim 8 of the present invention is the video feature detection method according to claim 5, wherein the sum of the signed difference values of the pixel values is within the divided screen area. The pixel difference calculation step of calculating a signed difference value over time for each pixel, and the area sum calculation step of calculating the sum of the values calculated in the pixel difference calculation step within the area. is there.
【0017】また、本発明の請求項9にかかる映像特徴
検出方法は、請求項7記載の映像特徴検出方法におい
て、上記画素値同士の符号付差分値の和は、分割された
画面領域内の画素値の和を算出する画素和算出ステップ
と、上記画素和算出ステップで算出された値から経時的
な符号付差分値を算出する領域差算出ステップと、によ
り求めるものとしたものである。The image feature detecting method according to claim 9 of the present invention is the image feature detecting method according to claim 7, wherein the sum of the signed difference values between the pixel values is within the divided screen area. The calculation is performed by a pixel sum calculation step of calculating the sum of pixel values and an area difference calculation step of calculating a signed difference value over time from the values calculated in the pixel sum calculation step.
【0018】また、本発明の請求項10にかかる映像特
徴検出装置は、時間的に連続して入力される映像の画面
において、映像または画面の時間的な特徴を検出する映
像特徴検出装置であって、入力された映像の画面を複数
の領域に分割する画面分割手段と、上記分割された画面
領域の画像データを記憶する記憶手段と、上記記憶手段
で記憶された領域の画像データと、該記憶された領域の
画像データと時間的に連続する領域の画像を上記画面分
割手段により画面分割して得られた画像データとから、
これら2つの画像データ間における画素データに関する
パラメータを算出するパラメータ算出手段と、上記パラ
メータ算出手段で得られたパラメータから、上記画素デ
ータの変化が第1のしきい値群で定めた時間に相当する
だけ発生しているか否かを判定する映像画面特徴検出手
段と、を備えたものである。The video feature detecting apparatus according to claim 10 of the present invention is a video feature detecting apparatus for detecting a video or a temporal feature of a screen in a screen of images continuously input in time. Screen dividing means for dividing the screen of the input video into a plurality of areas, storage means for storing the image data of the divided screen areas, image data of the areas stored by the storage means, and From the image data of the stored region image data and the image data obtained by dividing the image of the region continuous in time by the screen dividing means,
From the parameter calculation means for calculating the parameter relating to the pixel data between these two image data and the parameter obtained by the parameter calculation means, the change of the pixel data corresponds to the time defined by the first threshold value group. And a video screen feature detecting means for determining whether or not it has occurred.
【0019】また、本発明の請求項11にかかるデータ
記憶媒体は、時間的に連続して入力される映像または画
面の時間的な特徴を検出する処理を、コンピュータによ
り行うための映像特徴検出プログラムを格納したデータ
記憶媒体であって、上記映像特徴検出プログラムは、入
力された映像の画面を複数の領域に分割する画面分割処
理を、コンピュータにより行うための第1のプログラム
と、上記分割された画面領域の画像データを記憶する処
理を、コンピュータにより行う第2のプログラムと、上
記第2のプログラムにおいて記憶された領域の画像デー
タと、該記憶された領域の画像データと時間的に連続す
る領域の映像を上記第1のプログラムによって画面分割
して得られた画像データとから、これら2つの画像デー
タ間における画素データに関するパラメータを算出する
処理を、コンピュータにより行う第3のプログラムと、
上記第3のプログラムにおいて得られたパラメータか
ら、上記画素データの変化が第1のしきい値群で定めた
時間に相当するだけ発生しているか否かを判定する映像
画面特徴検出処理を、コンピュータにより行う第4のプ
ログラムと、を含むものである。A data storage medium according to an eleventh aspect of the present invention is a video feature detection program for causing a computer to perform a process of detecting a temporal feature of a video or a screen which is continuously input in time. And a first program for causing a computer to perform a screen division process for dividing the screen of the input video into a plurality of areas. A second program for performing a process of storing image data of a screen area by a computer, image data of an area stored in the second program, and an area temporally continuous with the image data of the stored area From the image data obtained by dividing the image of the above image into screens by the above-mentioned first program, The process of calculating the parameters relating to chromatography data, and a third program for a computer,
A video screen feature detection process for determining whether or not the change in the pixel data has occurred for a time period defined by the first threshold value group from the parameters obtained in the third program is performed by a computer. And a fourth program executed by.
【0020】[0020]
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について説明する。
(実施の形態1)図1は本発明の実施の形態1にかかる
映像特徴検出装置の構成を示すブロック図である。図2
は図1のブロック図で示した映像特徴検出装置によって
行われる処理の流れを示すフローチャートを記載した図
である。図3は映像特徴検出装置を構成する画面分割手
段で得られた分割画面の例を示す模式図であり、ここで
は画面を4分割にしたときの例を示しており、分割した
領域をそれぞれブロック1、ブロック2、ブロック3、
ブロック4とする。図4は隣接フィールド画面間での差
分をとる例を説明するための模式図である。さらに、図
5は上記4分割した領域の一つであるブロック1の符号
付差分値の和の時間的な変化を説明するための図であ
る。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. (Embodiment 1) FIG. 1 is a block diagram showing the configuration of a video feature detection apparatus according to Embodiment 1 of the present invention. Figure 2
FIG. 2 is a diagram in which a flowchart showing a flow of processing performed by the image feature detection device shown in the block diagram of FIG. 1 is described. FIG. 3 is a schematic diagram showing an example of a divided screen obtained by the screen dividing means constituting the image feature detection apparatus, and shows an example when the screen is divided into four, and each divided area is divided into blocks. 1, block 2, block 3,
It is block 4. FIG. 4 is a schematic diagram for explaining an example of obtaining a difference between adjacent field screens. Further, FIG. 5 is a diagram for explaining the temporal change of the sum of the signed difference values of the block 1 which is one of the four divided areas.
【0021】図1において、101は入力された画像の
画面を複数の領域に分割する画像分割手段、102は上
記分割された領域中の画素データを記憶する領域記憶手
段、103は上記領域記憶手段102で記憶された領域
の画素データと画像分割手段101で次のフィールドか
ら得られた領域の画素データとから所定のパラメータを
算出するパラメータ算出手段、104は上記パラメータ
算出手段103で得られたパラメータに基づき映像の特
徴を検出する映像画面特徴検出手段である。この例は入
力される映像の画面がフィールドの場合の例を示してい
る。In FIG. 1, 101 is an image dividing means for dividing the screen of the input image into a plurality of areas, 102 is an area storing means for storing pixel data in the divided areas, and 103 is the area storing means. Parameter calculation means for calculating a predetermined parameter from the pixel data of the area stored in 102 and the pixel data of the area obtained from the next field by the image dividing means 101, and 104 is the parameter obtained by the parameter calculation means 103. It is a video screen feature detecting means for detecting the feature of the video based on This example shows an example in which the screen of the input video is a field.
【0022】以下、詳述すると、図1の画面分割手段1
01で入力された画面を図3のように画面をいくつかの
領域(ここでは4つ)ごとに分割する。これらの領域の
中の画素データを領域記憶手段102で記憶する。領域
記憶手段102で記憶した領域と、画面分割手段101
で次のフィールド画面を分割した領域における、対応す
る位置の画素データとの画素値(ここでは輝度を扱うも
のとする)の符号付差分値を同一ブロック内で合計した
和をパラメータ算出手段103で得る。具体的には、図
4に示したように、隣接フィールド画面間で対応する位
置にある画素データの符号付差分値を求め、各フレーム
間で得られた符号付差分値の同一ブロック内における和
をとっている。この処理は、図2のステップS201〜S
202における、入力がフィールド単位であり、出力が
ブロック単位となるフローチャートの前処理部分に相当
する。この処理によって、ブロック1では、後述する図
5(b)に示したような符号付差分値の和が得られたと
する。In more detail, the screen dividing means 1 shown in FIG.
The screen input with 01 is divided into several regions (here, four) as shown in FIG. The pixel data in these areas are stored in the area storage means 102. The area stored in the area storage means 102 and the screen division means 101
In the parameter calculation means 103, the sum of the sum of the signed difference values of the pixel value (here, the brightness is handled) with the pixel data at the corresponding position in the divided area of the next field screen in the same block. obtain. Specifically, as shown in FIG. 4, the signed difference value of pixel data at corresponding positions between adjacent field screens is calculated, and the signed difference value obtained between each frame is summed in the same block. Is taking. This process includes steps S201 to S201 in FIG.
This corresponds to the preprocessing portion of the flowchart in which the input is in field units and the output is in block units in 202. It is assumed that by this processing, in block 1, the sum of the signed difference values as shown in FIG. 5B described later is obtained.
【0023】このとき、映像画面特徴検出手段104で
は以下の手順に従って検出を行う。フラッシングは、画
面を分割したブロック(ここでは4つ)ごとに検出す
る。この処理は、図2のフローチャートのフラッシング
検出処理の部分(ステップS203、ステップS204)
に相当する。図5(a)と図5(b)とは、分割した1
つの領域(ブロック1)の時間的な値の変化を示したも
のである。すなわち、図5(a)は、分割された領域内
における画素値の和をとったものを、時間的な流れの順
にDATAという名前で番号をつけて表示している。図5
(b)は、図5(a)の1ブロック内の画素値の和につ
いて、時間的に連続するブロック間で符号付の差分をと
ったもので、時間的な流れの順にDIFFという名前で番号
をつけている。例えば、DIFF(n−5)はDATA(n−5)
からDATA(n−6)を減算して求められている。At this time, the video screen feature detecting means 104 performs detection according to the following procedure. The flushing is detected for each block (here, four) into which the screen is divided. This process is a part of the flushing detection process in the flowchart of FIG. 2 (step S203, step S204).
Equivalent to. FIG. 5A and FIG. 5B are divided into 1
It shows changes in values over time in one region (block 1). That is, in FIG. 5A, the sum of the pixel values in the divided areas is displayed by numbering with the name DATA in the order of temporal flow. Figure 5
FIG. 5B shows a signed difference between temporally consecutive blocks with respect to the sum of pixel values in one block in FIG. 5A, and is numbered by the name DIFF in the order of temporal flow. I am wearing. For example, DIFF (n-5) is DATA (n-5)
Is obtained by subtracting DATA (n-6) from
【0024】以上のようにして得られた1ブロック分の
画素データの符号付差分値を利用してフラッシングとシ
ーンチェンジの判定方法について説明する。図5(b)
に示すように、しきい値±aで囲まれた区間より外にあ
る値を有効な値として用いる。このしきい値は実験によ
って設定されるもので、このしきい値を設定しない場合
には、装置の感度が高くなりすぎて、画素データの符号
付差分値の微小な変動があるたびにフラッシングまたは
シーンチェンジであるか否かの判定が行われることにな
る。なお、ここでは説明を簡単にするためにしきい値を
±aにて設定したが、上限と下限のしきい値の絶対値は
必ずしも同じ値でなくてもよいものである。A method of determining flushing and scene change will be described using the signed difference value of the pixel data of one block obtained as described above. Figure 5 (b)
As shown in, the value outside the section surrounded by the threshold value ± a is used as an effective value. This threshold value is set by experiment. If this threshold value is not set, the sensitivity of the device becomes too high, and the flashing or It will be determined whether or not there is a scene change. Although the threshold value is set to ± a for simplification of description here, the absolute values of the upper limit threshold value and the lower limit threshold value do not necessarily have to be the same value.
【0025】図5(b)において、DIFF(n−4)番目
からDIFF(n−3)番目までの+(正)の値をとる時間
の区間がしきい値c以内で、かつ、図5(a)におい
て、その区間でのブロック内の画素値の和であるDATA
(n−5)番目、DATA(n−4)番目、DATA(n−3)
番目での(最大値−最小値)(ここでは、DATA(n−
3)−DATA(n−5))がしきい値d以上である場合、
そのブロックはフラッシュの明るくなる傾向にあるシー
ンであると検出する。ここでしきい値cを3、この区間
でのブロック内の画素値の和の(最大値−最小値)がし
きい値d以上であるとした場合、この例では、しきい値
±aを超えるのはDIFF(n−4)番目からDIFF(n−
3)番目までで、この区間がしきい値c以内であり、DA
TA(n−5)番目、DATA(n−4)番目、DATA(n−
3)番目での(最大値−最小値)がしきい値d以上であ
るため、この区間でこのブロックはフラッシュの明るく
なる傾向にあるシーンであると検出されることになる。
図5(a)で−(負)の値をとる場合も同様に、フラッ
シュの暗くなる傾向にあるシーンとして検出されること
になる。In FIG. 5 (b), the section of time from the DIFF (n-4) th to the DIFF (n-3) th which takes a + (positive) value is within the threshold value c, and In (a), DATA, which is the sum of the pixel values in the block in that section
(N-5) th, DATA (n-4) th, DATA (n-3) th
(Maximum value-minimum value) (here, DATA (n-
3) -DATA (n-5)) is greater than or equal to the threshold value d,
The block is detected as a scene that tends to be bright in flash. If the threshold value c is 3 and the sum (maximum value-minimum value) of the pixel values in the block in this section is greater than or equal to the threshold value d, in this example, the threshold value ± a is DIFF (n-4) th to DIFF (n-
Up to 3) th, this section is within the threshold value c, and DA
TA (n-5) th, DATA (n-4) th, DATA (n-
Since the (maximum value-minimum value) at the 3) th is equal to or greater than the threshold value d, this block is detected as a scene in which flash tends to be bright in this section.
Similarly, in the case of a negative (-) value in FIG. 5A, the scene is detected as a scene in which the flash tends to be dark.
【0026】以上の処理を、ステップS205において
全てのブロックに対して行われたか否かを判定し、全ブ
ロックが処理されるまでステップS203からステップS
205が繰り返される。In step S205, it is determined whether all the blocks have been subjected to the above processing, and steps S203 to S are performed until all the blocks are processed.
205 is repeated.
【0027】一方、シーンチェンジは、ステップS20
6において、画面全体のデータを用いて、フィールドご
とに検出する。すなわち、図6は分割した各領域ごとの
時間的な値の変化を併せて示したものである。図6に示
すように、ブロックごとにしきい値±bで囲まれた区間
を超えるときのDIFFデータの番号を見る。なお、このと
きのしきい値±bについても、その上限と下限の絶対値
は必ず同じ値でなくてもよい。あるDIFFデータの番号に
おいて、しきい値±bで囲まれた区間を超えるブロック
が、しきい値ブロック個数以上でかつ、その前2つ、後
2つのDIFFデータ番号において、しきい値±bで囲まれ
た区間内にあるブロックがしきい値ブロック個以上であ
る場合、そのフィールドでシーンチェンジしたと検出す
る。このようにしきい値個数を超えるDIFFデータの前後
のデータを見ることにより、画素データの画素値の変化
が、局部的に発生したものであるか、画面全体で発生し
たものであるか、かつ、時間的に連続して発生したもの
であるか否かを検出することにより、シーンチェンジを
フラッシングであると誤検出することを抑えることがで
きる。この例では、しきい値ブロックの数を3個以上と
しており、図6では、しきい値±bで囲まれた区間を超
えるブロックがDIFF(n−2)番目で3個ある。また、
その前2つ、および後2つのDIFFデータ番号においてし
きい値±bで囲まれた区間内にすべてのDIFFデータが収
まっている。よって、DIFF(n−2)番目のデータが得
られたフィールド間でシーンチェンジが行われたと検出
する。On the other hand, the scene change is performed in step S20.
In 6, the data for the entire screen is used to detect each field. That is, FIG. 6 also shows changes in values over time for each of the divided areas. As shown in FIG. 6, the DIFF data number when the block exceeds the section surrounded by the threshold ± b is viewed. Regarding the threshold value ± b at this time, the absolute values of the upper limit and the lower limit do not necessarily have to be the same value. At a certain DIFF data number, the number of blocks that exceed the section surrounded by the threshold ± b is equal to or greater than the threshold number of blocks, and the threshold two ± 2 before and after the threshold ± b. If the number of blocks in the enclosed section is equal to or greater than the threshold number of blocks, it is detected that the scene has changed in the field. By observing the data before and after the DIFF data that exceeds the threshold number in this way, the change in the pixel value of the pixel data is caused locally or on the entire screen, and By detecting whether or not they occur consecutively in time, it is possible to prevent erroneous detection of a scene change as flushing. In this example, the number of threshold blocks is three or more, and in FIG. 6, there are three DIFF (n−2) th blocks exceeding the section surrounded by the threshold ± b. Also,
All of the DIFF data within the section surrounded by the threshold ± b in the two DIFF data numbers before and after the DIFF data number. Therefore, it is detected that a scene change is performed between the fields in which the DIFF (n-2) th data is obtained.
【0028】また、図2におけるフローチャートにおい
て、ステップS204でフラッシングが検出され、かつ
後段のステップS206においてシーンチェンジが検出
された場合、フラッシングとシーンチェンジが同時に発
生していることになるが、映像画面特徴検出手段104
内に設けた判定手段を用いて以下に示す判定を行う。す
なわち、図2のフローチャートで示した映像画面特徴判
定処理がシーンチェンジを優先すると設定していると
き、フラッシングとシーンチェンジが同時に検出された
場合は、フラッシングと判定された領域があっても、そ
のフレームでシーンチェンジしたと最終的な判定をす
る。Further, in the flowchart in FIG. 2, when flushing is detected in step S204 and a scene change is detected in the subsequent step S206, it means that flushing and scene change occur at the same time. Feature detecting means 104
The following determination is performed using the determination means provided inside. That is, when the video screen feature determination process shown in the flowchart of FIG. 2 is set to give priority to the scene change, if flushing and scene change are detected at the same time, even if there is an area determined to be flushing, The final decision is made that the scene has changed in the frame.
【0029】このように本実施の形態は、1つのパラメ
ータとして、入力された映像の画面を分割した領域内の
画素ごとの時間的な画素データの符号付差分値の和を用
い、この値の領域ごとの時間的な変化のパターンを用い
て、映像ごとの特徴や、映像の画面内の領域ごとの特徴
を検出するようにしたので、少ないデータで精度のよい
映像や画面の特徴であるシーンチェンジやフラッシング
をともに検出することができる。As described above, in the present embodiment, the sum of the signed difference values of the temporal pixel data of each pixel in the divided area of the screen of the input video is used as one parameter. Since the features of each image and the features of each region within the screen of the image are detected using the pattern of temporal change for each region, a scene that is an accurate feature of the image or screen with less data can be detected. Both change and flushing can be detected.
【0030】なお、本実施の形態では、画面の分割を単
純に4分割するようにしたが、分割数を増やしたり、分
割領域の形を変えたり、他の分割方法を用いることも可
能である。また、本実施の形態では、入力する映像がフ
ィールド単位である場合を例として示したが、フレーム
単位でも同様の効果を奏することができる。In the present embodiment, the screen division is simply divided into four, but it is also possible to increase the number of divisions, change the shape of the divided area, or use another division method. . Further, although the case where the input video is in field units has been described as an example in the present embodiment, the same effect can be achieved in frame units.
【0031】また、図5(a)で示したように、1ブロ
ックの画素データの画素値の和の時間的な変化のしきい
値や、図5(b)で示した、ブロック間での符号付差分
値の時間的な幅に対するしきい値として、それぞれ単一
のしきい値を設けて算出されたデータを分類分けするよ
うにしているが、ここで設定されるしきい値として複数
のしきい値を用いてデータの分類数を増やせるようにし
てもよい。Further, as shown in FIG. 5A, the threshold value of the temporal change of the sum of the pixel values of the pixel data of one block, and between the blocks shown in FIG. 5B. As a threshold for the temporal width of the signed difference value, a single threshold is provided to classify the calculated data, but a plurality of thresholds are set here. A threshold value may be used to increase the number of data classifications.
【0032】また、本実施の形態では、図5(a)で示
した1ブロックでの画素値の和の時間的な変化量に対す
るしきい値を設置するようにしたが、フラッシュの明暗
方向が分からなくてもよい場合には、このしきい値の値
を0(ゼロ)、つまり変化量に対するしきい値は設定し
なくてもよく、図5(b)で示した+(正)の値をとる
区間と−(負)の値をとる区間とをまとめてフラッシン
グとして検出するようにしてもよい。Further, in the present embodiment, the threshold value is set for the temporal change amount of the sum of pixel values in one block shown in FIG. When it is not necessary to know, the value of this threshold is 0 (zero), that is, the threshold for the change amount does not have to be set, and the value of + (positive) shown in FIG. It is also possible to collectively detect the section that takes a value and the section that takes a value of- (negative) as flashing.
【0033】また、+(正)の値をとる区間、または、
−(負)の値をとる区間で用いるしきい値群の設定によ
っては、画面がゆっくり明るくなるフェードイン、また
は画面がゆっくり暗くなるフェードアウトとして検出す
ることも可能である。Further, a section which takes a value of + (positive), or
Depending on the setting of the threshold value group used in the section that takes a negative value, it can be detected as a fade-in in which the screen slowly becomes bright or a fade-out in which the screen becomes slowly dark.
【0034】また、シーンチェンジを検出する際、しき
い値を超えるDIFFデータ番号の前後各2つのDIFFデータ
を判定の参照に用いたが、前または後のデータのみを用
いるようにしてもよいし、用いるデータ数も連続する2
つのデータに限られるものではない。Further, when detecting a scene change, two DIFF data each before and after the DIFF data number exceeding the threshold value were used for reference of determination, but only the previous or subsequent data may be used. , The number of data used is continuous 2
It is not limited to one data.
【0035】さらに、フラッシングとシーンチェンジと
が同時に検出された場合、ここではシーンチェンジを優
先して判定するようにしたが、フラッシングを優先して
判定するようにしてもよいし、利用者の希望に応じて、
劣化の目立たないような画像が得られるときなどには、
両方とも採用または不採用となるように設定することも
できる。Further, when the flushing and the scene change are detected at the same time, the scene change is prioritized and determined here, but the flushing may be prioritized and determined by the user. In response to the,
When you can obtain an image with no noticeable deterioration,
Both can be set to be adopted or not adopted.
【0036】また、本発明では、画素データとして輝度
を例に挙げて説明したが、彩度や明度など画像にかかる
ほかのパラメータに基づいてフラッシングやシーンチェ
ンジを検出することもできる。In the present invention, the luminance has been described as an example of the pixel data, but it is also possible to detect the flushing and the scene change based on other parameters related to the image such as saturation and brightness.
【0037】(実施の形態2)次に本発明の実施の形態
2にかかる映像特徴検出装置について説明する。本実施
の形態2では、上記実施の形態1で示した映像特徴検出
方法、あるいは、映像特徴検出装置を実現するための映
像特徴検出プログラムを、フロッピー(登録商標)ディ
スク等の記録媒体に記録して移送することにより、上記
実施の形態で示した処理を、独立したコンピュータシス
テムにおいて、容易に実施するようにしたものである。(Second Embodiment) Next, a video feature detecting apparatus according to a second embodiment of the present invention will be described. In the second embodiment, the image feature detecting method or the image feature detecting program for realizing the image feature detecting apparatus described in the first embodiment is recorded in a recording medium such as a floppy (registered trademark) disk. By carrying out the transfer, the processing shown in the above embodiment can be easily carried out in an independent computer system.
【0038】図7は、これをフロッピーディスクで実施
する場合を説明するための図である。図7(a)は、記
録媒体本体であるフロッピーディスクの物理フォーマッ
トの例を示す図であり、同心円状に外周から内周に向か
ってトラックを形成し、角度方向に16のセクタに分割
している。FIG. 7 is a diagram for explaining a case where this is implemented with a floppy disk. FIG. 7A is a diagram showing an example of the physical format of a floppy disk, which is the recording medium body. Tracks are formed concentrically from the outer circumference to the inner circumference, and are divided into 16 sectors in the angular direction. There is.
【0039】図7(b)は、このフロッピーディスクを
収納するケースを説明する図である。紙面左側から、フ
ロッピーディスクケースの正面図および断面図、そして
フロッピーディスクをそれぞれ示す。このようにフロッ
ピーディスクをケースに収納することにより、ディスク
を埃や外部の衝撃から守り、安全に移送することができ
るようになっている。FIG. 7B is a diagram for explaining a case for accommodating this floppy disk. From the left side of the paper, a front view and a sectional view of the floppy disk case and a floppy disk are shown, respectively. By storing the floppy disk in the case in this way, the disk can be protected from dust and external shocks and safely transferred.
【0040】図7(c)は、上記フロッピーディスクに
プログラムの記録再生を行うことを説明するための図で
ある。図示するように、コンピュータシステムにフロッ
ピーディスクドライブを接続することにより、ディスク
に対してプログラムを記録再生することが可能となる。
ディスクはフロッピードライブに、挿入口を介して組み
込みおよび取り出しがなされる。記録する場合は、コン
ピュータシステムからプログラムをフロッピーディスク
ドライブによってディスクに記録する。再生する場合
は、フロッピーディスクドライブがプログラムをディス
クから読み出し、コンピュータシステムに転送する。FIG. 7C is a diagram for explaining recording and reproducing of a program on the floppy disk. As shown in the figure, by connecting a floppy disk drive to the computer system, it becomes possible to record and reproduce the program on the disk.
The disk is inserted into and removed from the floppy drive via the insertion slot. When recording, the program is recorded from a computer system to a disk by a floppy disk drive. For playback, the floppy disk drive reads the program from disk and transfers it to the computer system.
【0041】このように、映像特徴検出方法を実現する
ための映像特徴検出プログラムを、フロッピーディスク
等の記録媒体に記録することにより、上記実施の形態1
で示した処理を、容易に実施することを可能とする。As described above, the image feature detecting program for realizing the image feature detecting method is recorded in the recording medium such as the floppy disk, so that the first embodiment described above can be realized.
It is possible to easily carry out the processing indicated by.
【0042】なお、上記説明では、データ記録媒体とし
てフロッピーディスクを用いて説明を行ったが、光ディ
スクを用いても上記フロッピーディスクの場合と同様に
ソフトウェアによる映像特徴検出処理を行うことができ
る。また、記録媒体は上記光ディスクやフロッピーディ
スクに限るものではなく、ICカード、ROMカセット
等、プログラムを記録できるものであればよく、これら
の記録媒体を用いる場合でも、上記フロッピーディスク
等を用いる場合と同様に映像特徴検出処理を行うことが
できる。In the above description, a floppy disk is used as the data recording medium, but an image characteristic detection process by software can be performed using an optical disk as in the case of the floppy disk. Further, the recording medium is not limited to the above-mentioned optical disk or floppy disk, but may be an IC card, a ROM cassette or the like, as long as it can record a program. Similarly, the image feature detection process can be performed.
【0043】なお、上記実施の形態1では、本発明を装
置(ハードウェア)で実現したが、汎用のCPUの下で
実行されるプログラム(ソフトウェア)で実現してもよ
い。ソフトウェアによる方法であっても、ハードウェア
による場合と同様の効果が得られるということは言うま
でもない。In the first embodiment described above, the present invention is realized by a device (hardware), but it may be realized by a program (software) executed under a general-purpose CPU. It goes without saying that the same effect as that obtained by hardware can be obtained even by the method by software.
【0044】[0044]
【発明の効果】以上のように、本発明の請求項1にかか
る映像特徴検出方法によれば、時間的に連続して入力さ
れる映像の画面において、映像または画面の時間的な特
徴を検出する映像特徴検出方法であって、入力された映
像の画面を複数の領域に分割する画面分割ステップと、
上記分割された画面領域の画像データを記憶する領域記
憶ステップと、上記領域記憶ステップで記憶された領域
の画像データと、該記憶された領域の画像データと時間
的に連続する領域の映像を画面分割して得られた画像デ
ータとから、これら2つの画像データ間における画素デ
ータに関するパラメータを算出するパラメータ算出ステ
ップと、上記パラメータ算出ステップで得られたパラメ
ータから、上記画素データの変化が第1のしきい値群で
定めた時間に相当するだけ発生しているか否かを判定す
る映像画面特徴検出ステップと、を含むものとしたの
で、少ないデータで、フラッシングとシーンチェンジを
正しく区別して検出することができ、この検出情報をも
とに適切な動きベクトルを求めることができるため、こ
のようにして得た動きベクトルを用いた動画像の高圧縮
符号化を行うことにより、劣化が目立たない映像を得る
ことができるという効果が得られる。As described above, according to the video feature detecting method according to the first aspect of the present invention, the video or the temporal feature of the screen is detected in the screen of the images continuously input in time. And a screen dividing step of dividing the screen of the input image into a plurality of areas.
An area storage step of storing the image data of the divided screen area, an image data of the area stored in the area storage step, and an image of an area temporally continuous with the image data of the stored area are displayed on the screen. Based on the image data obtained by division, a parameter calculation step for calculating a parameter relating to pixel data between these two image data, and a change in the pixel data based on the parameter obtained in the parameter calculation step Since it includes a video screen feature detection step of determining whether or not the time corresponding to the time defined by the threshold group has occurred, it is necessary to correctly detect flushing and scene change with a small amount of data. Since an appropriate motion vector can be obtained based on this detection information, the motion obtained in this way By performing high-compression coding of a moving picture using a vector, there is an advantage that it is possible to degradation obtain an image inconspicuous.
【0045】また、本発明の請求項2にかかる映像特徴
検出方法によれば、請求項1記載の映像特徴検出方法に
おいて、上記画素データの変化が第1のしきい値群で定
めた時間に相当するだけ発生しているか否かを判定する
ステップは、上記分割された各領域において、それぞれ
判定を行う領域別判定ステップを含むものとしたので、
フラッシングとシーンチェンジとを高精度にて区別する
ことができるという効果が得られる。According to a second aspect of the present invention, there is provided the image feature detecting method according to the first aspect, wherein the change of the pixel data is within a time period defined by the first threshold value group. Since it is assumed that the step of determining whether or not a corresponding amount has occurred includes an area-specific determination step of performing determination in each of the divided areas,
The effect that the flushing and the scene change can be distinguished with high accuracy can be obtained.
【0046】また、本発明の請求項3にかかる映像特徴
検出方法によれば、請求項1記載の映像特徴検出方法に
おいて、映像画面特徴検出ステップは、上記第1のしき
い値群で定めた時間に相当する期間に得られたパラメー
タから算出した値が第2のしきい値群で定めた値に相当
するか否か判定するステップを含むものとしたので、画
素データの変化に対して検出感度が敏感になりすぎるの
を防止でき、フラッシングまたはシーンチェンジを的確
に検出することができるという効果が得られる。According to the video feature detecting method of claim 3 of the present invention, in the video feature detecting method of claim 1, the video screen feature detecting step is determined by the first threshold value group. Since the method includes a step of determining whether or not the value calculated from the parameter obtained in the period corresponding to the time corresponds to the value defined by the second threshold value group, it is possible to detect a change in the pixel data. It is possible to prevent the sensitivity from becoming too sensitive, and it is possible to obtain an effect that the flushing or the scene change can be accurately detected.
【0047】また、本発明の請求項4にかかる映像特徴
検出方法によれば、請求項3記載の映像特徴検出方法に
おいて、上記第1のしきい値群で定めた時間に相当する
期間に得られたパラメータから算出される値は、上記第
1のしきい値群で定めた時間に相当する期間に得られた
パラメータの最大値と最小値との差としたから、画素デ
ータの変化に対して検出感度が敏感になりすぎるのを防
止でき、フラッシングまたはシーンチェンジを的確に検
出することができるという効果が得られる。According to a fourth aspect of the present invention, there is provided the image feature detecting method according to the third aspect, wherein the image feature detecting method is obtained in a period corresponding to the time defined by the first threshold value group. Since the value calculated from the obtained parameter is the difference between the maximum value and the minimum value of the parameter obtained during the period corresponding to the time defined by the first threshold value group, As a result, it is possible to prevent the detection sensitivity from becoming too sensitive, and it is possible to obtain an effect that the flushing or the scene change can be accurately detected.
【0048】また、本発明の請求項5にかかる映像特徴
検出方法によれば、請求項2記載の映像特徴検出方法に
おいて、上記領域別判定ステップにおいて判定対象とな
った各領域のパラメータが、第3のしきい値群で定めた
値に相当する個数が、第4のしきい値群で定めた個数に
相当するだけ存在するか否かを検出するしきい値個数検
出ステップを含むものとしたので、シーンチェンジとフ
ラッシングを高精度に区別することができるという効果
が得られる。According to a fifth aspect of the present invention, there is provided the image feature detecting method according to the second aspect, wherein the parameter of each area that is the determination target in the area-specific determination step is A threshold value number detecting step of detecting whether or not the number corresponding to the value defined by the threshold value group of 3 exists as much as the number defined by the fourth threshold value group is included. Therefore, the effect that the scene change and the flushing can be distinguished with high accuracy can be obtained.
【0049】また、本発明の請求項6にかかる映像特徴
検出方法によれば、請求項5記載の映像特徴検出方法に
おいて、上記判定対象となった画素データの画面と時間
的に前後する所定個数の画面の画素データについて、当
該画面を分割して得られる各領域のパラメータの値を上
記第3のしきい値群で定めた値に相当する値と比較し、
その比較結果を上記第4のしきい値群で定めた個数と比
較するステップを含むものとしたので、シーンチェンジ
をフラッシングと高精度に区別して検出することができ
るという効果が得られる。According to a sixth aspect of the present invention, there is provided the image feature detecting method according to the fifth aspect, wherein a predetermined number of pixels of the pixel data to be judged are temporally before and after the screen. Regarding the pixel data of the screen of, the value of the parameter of each area obtained by dividing the screen is compared with the value corresponding to the value defined by the third threshold value group,
Since the step of comparing the comparison result with the number determined by the fourth threshold value group is included, it is possible to obtain an effect that the scene change can be detected with high accuracy in distinction from the flushing.
【0050】また、本発明の請求項7にかかる映像特徴
検出方法によれば、請求項1記載の映像特徴検出方法に
おいて、上記算出されるパラメータは、上記分割された
画面領域内の画素ごとの、経時的に変化する画素値同士
の符号付差分値の和としたので、一般的な加算/減算回
路を用いて容易な構成で装置を提供することができると
いう効果が得られる。According to a seventh aspect of the present invention, there is provided the image feature detecting method according to the first aspect, in which the calculated parameter is for each pixel in the divided screen area. Since the sum of the signed difference values of the pixel values that change over time is used, it is possible to provide the device with a simple configuration using a general addition / subtraction circuit.
【0051】また、本発明の請求項8にかかる映像特徴
検出方法によれば、請求項5記載の映像特徴検出方法に
おいて、上記画素値同士の符号付差分値の和は、分割さ
れた画面領域内の画素ごとの経時的な符号付差分値を算
出する画素差算出ステップと、上記画素差算出ステップ
で算出された値の領域内の和を算出する領域和算出ステ
ップと、により求めるものとしたので、一般的な加算/
減算回路を用いて容易な方法で装置を提供することがで
きるという効果が得られる。According to an eighth aspect of the present invention, there is provided the image feature detecting method according to the fifth aspect, wherein the sum of the signed difference values between the pixel values is a divided screen area. It is determined by a pixel difference calculation step of calculating a signed difference value over time for each pixel in the area, and an area sum calculation step of calculating the sum within the area of the values calculated in the pixel difference calculation step. So general addition /
The advantage is that the device can be provided in a simple way using a subtraction circuit.
【0052】また、本発明の請求項9にかかる映像特徴
検出方法によれば、請求項7記載の映像特徴検出方法に
おいて、上記画素値同士の符号付差分値の和は、分割さ
れた画面領域内の画素値の和を算出する画素和算出ステ
ップと、上記画素和算出ステップで算出された値から経
時的な符号付差分値を算出する領域差算出ステップと、
により求めるものとしたので、一般的な加算/減算回路
を用いて容易な方法で装置を提供することができるとい
う効果が得られる。According to a ninth aspect of the present invention, in the image feature detecting method according to the seventh aspect, the sum of the signed difference values between the pixel values is a divided screen area. A pixel sum calculation step for calculating the sum of pixel values within the region, and a region difference calculation step for calculating a signed difference value over time from the values calculated in the pixel sum calculation step,
Since it is determined by the method described above, there is an effect that the device can be provided by a simple method using a general addition / subtraction circuit.
【0053】また、本発明の請求項10にかかる映像特
徴検出装置によれば、時間的に連続して入力される映像
の画面において、映像または画面の時間的な特徴を検出
する映像特徴検出装置であって、入力された映像の画面
を複数の領域に分割する画面分割手段と、上記分割され
た画面領域の画像データを記憶する記憶手段と、上記記
憶手段で記憶された領域の画像データと、該記憶された
領域の画像データと時間的に連続する領域の画像を上記
画面分割手段により画面分割して得られた画像データと
から、これら2つの画像データ間における画素データに
関するパラメータを算出するパラメータ算出手段と、上
記パラメータ算出手段で得られたパラメータから、上記
画素データの変化が第1のしきい値群で定めた時間に相
当するだけ発生しているか否かを判定する映像画面特徴
検出手段と、を備えたものとしたので、少ないデータ
で、フラッシングとシーンチェンジを正しく区別して検
出することができ、この検出情報をもとに適切な動きベ
クトルを求めることができるため、このようにして得た
動きベクトルを用いた動画像の高圧縮符号化を行うこと
により、劣化が目立たない映像を得ることができるとい
う効果が得られる。Further, according to the image feature detecting apparatus of the tenth aspect of the present invention, the image feature detecting apparatus for detecting the image or the temporal feature of the screen on the screen of images continuously input in time. And a screen dividing means for dividing the screen of the input video into a plurality of areas, a storage means for storing image data of the divided screen areas, and image data of the areas stored by the storage means. , A parameter relating to pixel data between these two image data is calculated from the image data of the stored region and the image data obtained by dividing the image of the temporally continuous region by the screen dividing means. From the parameter calculation means and the parameter obtained by the parameter calculation means, the change of the pixel data occurs for the time period defined by the first threshold value group. Since it is equipped with a video screen feature detecting means for determining whether or not there is a small amount of data, it is possible to correctly distinguish and detect flushing and scene change. Based on this detection information, an appropriate motion vector can be detected. Therefore, by performing high compression encoding of the moving image using the motion vector thus obtained, it is possible to obtain an image in which deterioration is not noticeable.
【0054】また、本発明の請求項11にかかるデータ
記憶媒体によれば、時間的に連続して入力される映像ま
たは画面の時間的な特徴を検出する処理を、コンピュー
タにより行うための映像特徴検出プログラムを格納した
データ記憶媒体であって、上記映像特徴検出プログラム
は、入力された映像の画面を複数の領域に分割する画面
分割処理を、コンピュータにより行うための第1のプロ
グラムと、上記分割された画面領域の画像データを記憶
する処理を、コンピュータにより行う第2のプログラム
と、上記第2のプログラムにおいて記憶された領域の画
像データと、該記憶された領域の画像データと時間的に
連続する領域の映像を上記第1のプログラムによって画
面分割して得られた画像データとから、これら2つの画
像データ間における画素データに関するパラメータを算
出する処理を、コンピュータにより行う第3のプログラ
ムと、上記第3のプログラムにおいて得られたパラメー
タから、上記画素データの変化が第1のしきい値群で定
めた時間に相当するだけ発生しているか否かを判定する
映像画面特徴検出処理を、コンピュータにより行う第4
のプログラムと、を含むものとしたので、コンピュータ
により、少ないデータで、フラッシングとシーンチェン
ジを正しく区別して検出でき、この検出情報をもとに適
切な動きベクトルを求めることができるため、このよう
にして得た動きベクトルを用いた動画像の高圧縮符号化
を行うことにより、劣化が目立たない映像を得ることが
できる映像特徴検出装置を提供することができるという
効果が得られる。According to the eleventh aspect of the data storage medium of the present invention, the image feature for causing the computer to perform the process of detecting the temporal feature of the image or screen which is continuously input in terms of time. A data storage medium storing a detection program, wherein the video feature detection program includes a first program for causing a computer to perform screen division processing for dividing a screen of an input video into a plurality of areas, and the division. A second program for performing a process of storing the image data of the stored screen area by a computer, the image data of the area stored in the second program, and the image data of the stored area that are temporally continuous. From the image data obtained by dividing the image of the area to be divided by the above-mentioned first program, place it between these two image data. From the third program for executing the process of calculating the parameter relating to the pixel data by the computer and the parameter obtained in the third program, the change in the pixel data corresponds to the time defined by the first threshold value group. A computer performs a video screen feature detection process for determining whether or not the occurrence has occurred.
Since the program and is included, the computer can correctly detect the flushing and the scene change with a small amount of data, and an appropriate motion vector can be obtained based on this detection information. By performing high-compression coding of a moving image using the obtained motion vector, it is possible to provide an image feature detection device that can obtain a video in which deterioration is not noticeable.
【図1】本発明の実施の形態1にかかる映像特徴検出装
置の構成を説明するためのブロック図である。FIG. 1 is a block diagram for explaining a configuration of a video feature detection device according to a first exemplary embodiment of the present invention.
【図2】上記実施の形態1にかかる映像特徴検出装置に
よって行われる処理の流れを示すフローチャートを記載
した図である。FIG. 2 is a diagram showing a flowchart showing a flow of processing performed by the video feature detection apparatus according to the first embodiment.
【図3】上記映像特徴検出装置を構成する画面分割手段
による画面分割の例を示す模式図である。FIG. 3 is a schematic diagram showing an example of screen division by a screen division unit which constitutes the video feature detection apparatus.
【図4】上記映像特徴検出装置を用いた、隣接フィール
ド画面間での差分をとる例を説明するための模式図であ
る。FIG. 4 is a schematic diagram for explaining an example of obtaining a difference between adjacent field screens using the above-mentioned video feature detection device.
【図5】上記画面分割手段により分割された一つのブロ
ックの画素値の符号付差分値の和の時間的な推移と、フ
ラッシングの検出手順を説明するための模式図である。FIG. 5 is a schematic diagram for explaining a temporal transition of a sum of signed difference values of pixel values of one block divided by the screen dividing unit and a flushing detection procedure.
【図6】シーンチェンジの検出手順を説明するための模
式図である。FIG. 6 is a schematic diagram for explaining a scene change detection procedure.
【図7】本発明の実施の形態2にかかる、映像特徴検出
方法をコンピュータシステムにより実現するためのプロ
グラムを格納するためのプログラム記録媒体について説
明するための模式図である。FIG. 7 is a schematic diagram for explaining a program recording medium for storing a program for implementing a video feature detection method by a computer system according to a second embodiment of the present invention.
101 画面分割手段 102 領域記憶手段 103 パラメータ算出手段 104 映像画面特徴検出手段 101 screen division means 102 area storage means 103 parameter calculation means 104 video screen feature detection means
フロントページの続き Fターム(参考) 5B057 CC02 CE09 CH01 CH11 DA08 DC01 5C059 KK01 MA00 NN43 PP04 SS20 TA21 TA66 TB06 TC02 TC14 TD05 TD12 UA38 5C076 AA36 BA06 5L096 GA19 HA04 JA11 Continued front page F term (reference) 5B057 CC02 CE09 CH01 CH11 DA08 DC01 5C059 KK01 MA00 NN43 PP04 SS20 TA21 TA66 TB06 TC02 TC14 TD05 TD12 UA38 5C076 AA36 BA06 5L096 GA19 HA04 JA11
Claims (11)
において、映像または画面の時間的な特徴を検出する映
像特徴検出方法であって、 入力された映像の画面を複数の領域に分割する画面分割
ステップと、 上記分割された画面領域の画像データを記憶する領域記
憶ステップと、 上記領域記憶ステップで記憶された領域の画像データ
と、該記憶された領域の画像データと時間的に連続する
領域の映像を画面分割して得られた画像データとから、
これら2つの画像データ間における画素データに関する
パラメータを算出するパラメータ算出ステップと、 上記パラメータ算出ステップで得られたパラメータか
ら、上記画素データの変化が第1のしきい値群で定めた
時間に相当するだけ発生しているか否かを判定する映像
画面特徴検出ステップと、 を含むことを特徴とする映像特徴検出方法。1. A video feature detection method for detecting temporal features of a video or a screen in a screen of video that is continuously input in time, wherein the screen of the input video is divided into a plurality of areas. Screen division step, an area storage step of storing image data of the divided screen area, image data of the area stored in the area storage step, and the image data of the stored area are temporally consecutive. From the image data obtained by dividing the image of the area to be divided into screens,
From the parameter calculation step of calculating the parameter relating to the pixel data between these two image data and the parameter obtained in the parameter calculation step, the change of the pixel data corresponds to the time defined by the first threshold value group. A video screen feature detection step of determining whether or not the video feature has occurred.
て、 上記画素データの変化が第1のしきい値群で定めた時間
に相当するだけ発生しているか否かを判定するステップ
は、 上記分割された各領域において、それぞれ判定を行う領
域別判定ステップを含むことを特徴とする映像特徴検出
方法。2. The image feature detecting method according to claim 1, wherein the step of determining whether or not the change of the pixel data has occurred for a time period defined by the first threshold value group, An image feature detection method comprising a region-by-region determination step of performing determination in each of the divided regions.
て、 映像画面特徴検出ステップは、 上記第1のしきい値群で定めた時間に相当する期間に得
られたパラメータから算出される値が第2のしきい値群
で定めた値に相当するか否か判定するステップを含むこ
とを特徴とする映像特徴検出方法。3. The video feature detecting method according to claim 1, wherein the video screen feature detecting step includes a step of calculating a value calculated from a parameter obtained during a period corresponding to the time defined by the first threshold value group. An image feature detecting method, comprising: a step of determining whether or not the value corresponds to a value defined by a second threshold value group.
て、 上記第1のしきい値群で定めた時間に相当する期間に得
られたパラメータから算出される値は、 上記第1のしきい値群で定めた時間に相当する期間に得
られたパラメータの最大値と最小値との差であることを
特徴とする映像特徴検出方法。4. The image feature detecting method according to claim 3, wherein the value calculated from the parameter obtained during the period corresponding to the time defined by the first threshold value group is the first threshold value. A video feature detection method, which is a difference between a maximum value and a minimum value of a parameter obtained in a period corresponding to a time defined by a value group.
て、 上記領域別判定ステップにおいて判定対象となった各領
域のパラメータが、第3のしきい値群で定めた値に相当
する個数が、第4のしきい値群で定めた個数に相当する
だけ存在するか否かを検出するしきい値個数検出ステッ
プを含むことを特徴とする映像特徴検出方法。5. The image feature detecting method according to claim 2, wherein the number of parameters of each region that is the determination target in the region-specific determination step corresponds to a value defined by a third threshold value group, A video feature detection method comprising a threshold number detection step of detecting whether or not there are as many as the number defined by the fourth threshold group.
て、 上記判定対象となった画素データの画面と時間的に前後
する所定個数の画面の画素データについて、当該画面を
分割して得られる各領域のパラメータの値を上記第3の
しきい値群で定めた値に相当する値と比較し、その比較
結果を上記第4のしきい値群で定めた個数と比較するス
テップを含むことを特徴とする映像特徴検出方法。6. The image feature detecting method according to claim 5, wherein the pixel data of a predetermined number of screens temporally before and after the screen of the pixel data as the determination target are obtained by dividing the screen. Comparing the value of the parameter of the region with a value corresponding to the value defined by the third threshold group, and comparing the comparison result with the number defined by the fourth threshold group. A method for detecting a characteristic image feature.
て、 上記算出されるパラメータは、上記分割された画面領域
内の画素ごとの、経時的に変化する画素値同士の符号付
差分値の和であることを特徴とする映像特徴検出方法。7. The image feature detection method according to claim 1, wherein the calculated parameter is a sum of signed difference values of pixel values that change over time for each pixel in the divided screen area. A video feature detection method characterized by:
て、 上記画素値同士の符号付差分値の和は、 分割された画面領域内の画素ごとの経時的な符号付差分
値を算出する画素差算出ステップと、 上記画素差算出ステップで算出された値の領域内の和を
算出する領域和算出ステップと、 により求めることを特徴とする映像特徴検出方法。8. The image feature detection method according to claim 5, wherein the sum of the signed difference values between the pixel values is a pixel for calculating a signed difference value over time for each pixel in the divided screen area. A video feature detection method comprising: a difference calculation step; and a region sum calculation step of calculating a sum of the values calculated in the pixel difference calculation step within a region.
て、 上記画素値同士の符号付差分値の和は、 分割された画面領域内の画素値の和を算出する画素和算
出ステップと、 上記画素和算出ステップで算出された値から経時的な符
号付差分値を算出する領域差算出ステップと、 により求めることを特徴とする映像特徴検出方法。9. The image feature detection method according to claim 7, wherein the sum of the signed difference values between the pixel values is a pixel sum calculation step of calculating a sum of pixel values in the divided screen areas, An area difference calculation step of calculating a time-coded difference value from the value calculated in the pixel sum calculation step, and a video characteristic detection method.
面において、映像または画面の時間的な特徴を検出する
映像特徴検出装置であって、 入力された映像の画面を複数の領域に分割する画面分割
手段と、 上記分割された画面領域の画像データを記憶する記憶手
段と、 上記記憶手段で記憶された領域の画像データと、該記憶
された領域の画像データと時間的に連続する領域の画像
を上記画面分割手段により画面分割して得られた画像デ
ータとから、これら2つの画像データ間における画素デ
ータに関するパラメータを算出するパラメータ算出手段
と、 上記パラメータ算出手段で得られたパラメータから、上
記画素データの変化が第1のしきい値群で定めた時間に
相当するだけ発生しているか否かを判定する映像画面特
徴検出手段と、 を備えたことを特徴とする映像特徴検出装置。10. A video feature detecting apparatus for detecting temporal features of a video or a screen in a screen of video continuously input in time, wherein the screen of the input video is divided into a plurality of areas. Screen dividing means, storage means for storing the image data of the divided screen area, image data of the area stored by the storage means, and an area temporally continuous with the image data of the stored area From the image data obtained by dividing the image of the image by the screen dividing means, and a parameter calculating means for calculating a parameter relating to pixel data between these two image data, and a parameter obtained by the parameter calculating means, A video screen feature detecting means for determining whether or not the change in the pixel data has occurred for a time period defined by the first threshold value group. Image feature detector, characterized in that.
は画面の時間的な特徴を検出する処理を、コンピュータ
により行うための映像特徴検出プログラムを格納したデ
ータ記憶媒体であって、 上記映像特徴検出プログラムは、 入力された映像の画面を複数の領域に分割する画面分割
処理を、コンピュータにより行うための第1のプログラ
ムと、 上記分割された画面領域の画像データを記憶する処理
を、コンピュータにより行う第2のプログラムと、 上記第2のプログラムにおいて記憶された領域の画像デ
ータと、該記憶された領域の画像データと時間的に連続
する領域の映像を上記第1のプログラムによって画面分
割して得られた画像データとから、これら2つの画像デ
ータ間における画素データに関するパラメータを算出す
る処理を、コンピュータにより行う第3のプログラム
と、 上記第3のプログラムにおいて得られたパラメータか
ら、上記画素データの変化が第1のしきい値群で定めた
時間に相当するだけ発生しているか否かを判定する映像
画面特徴検出処理を、コンピュータにより行う第4のプ
ログラムと、 を含むことを特徴とするデータ記憶媒体。11. A data storage medium storing a video feature detection program for causing a computer to perform a process of detecting temporal features of images or screens that are continuously input in terms of time. The detection program uses a computer to execute a first program for causing a computer to perform a screen division process for dividing an input video screen into a plurality of regions, and a process for storing the image data of the divided screen region. The second program to be executed, the image data of the area stored in the second program, and the image of the area temporally continuous with the image data of the stored area are screen-divided by the first program. From the obtained image data, the process of calculating the parameter relating to the pixel data between these two image data is It is determined from the third program executed by the computer and the parameters obtained in the third program whether or not the change in the pixel data has occurred for the time defined by the first threshold value group. A data storage medium comprising: a fourth program for performing a video screen feature detection process by a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001230385A JP2003047004A (en) | 2001-07-30 | 2001-07-30 | Image feature detecting method, image feature detecting equipment and data recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001230385A JP2003047004A (en) | 2001-07-30 | 2001-07-30 | Image feature detecting method, image feature detecting equipment and data recording medium |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2003047004A true JP2003047004A (en) | 2003-02-14 |
Family
ID=19062609
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001230385A Pending JP2003047004A (en) | 2001-07-30 | 2001-07-30 | Image feature detecting method, image feature detecting equipment and data recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003047004A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007274671A (en) * | 2006-03-10 | 2007-10-18 | Canon Inc | Image coding apparatus, image coding method, program, and storage medium |
JP2007304869A (en) * | 2006-05-11 | 2007-11-22 | Sony Corp | Image processing apparatus and method, program, and recording medium |
JP2008059374A (en) * | 2006-08-31 | 2008-03-13 | Canon Inc | Image processor and method therefor |
JP2010028234A (en) * | 2008-07-15 | 2010-02-04 | Mitsubishi Electric Corp | Video processing apparatus and method |
CN109218728A (en) * | 2018-11-16 | 2019-01-15 | 深圳市梦网百科信息技术有限公司 | A kind of scene change detection method and system |
-
2001
- 2001-07-30 JP JP2001230385A patent/JP2003047004A/en active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007274671A (en) * | 2006-03-10 | 2007-10-18 | Canon Inc | Image coding apparatus, image coding method, program, and storage medium |
US8270481B2 (en) | 2006-03-10 | 2012-09-18 | Canon Kabushiki Kaisha | Image coding apparatus and image coding method |
JP2007304869A (en) * | 2006-05-11 | 2007-11-22 | Sony Corp | Image processing apparatus and method, program, and recording medium |
JP2008059374A (en) * | 2006-08-31 | 2008-03-13 | Canon Inc | Image processor and method therefor |
US9019433B2 (en) | 2006-08-31 | 2015-04-28 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP2010028234A (en) * | 2008-07-15 | 2010-02-04 | Mitsubishi Electric Corp | Video processing apparatus and method |
CN109218728A (en) * | 2018-11-16 | 2019-01-15 | 深圳市梦网百科信息技术有限公司 | A kind of scene change detection method and system |
CN109218728B (en) * | 2018-11-16 | 2021-09-10 | 深圳市梦网视讯有限公司 | Scene switching detection method and system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6493042B1 (en) | Feature based hierarchical video segmentation | |
KR100869038B1 (en) | A content editor, a video content detector, a method for detecting commercials and content | |
US5801765A (en) | Scene-change detection method that distinguishes between gradual and sudden scene changes | |
JPH0944670A (en) | Method and device for extracting specified image area | |
US20050108745A1 (en) | Commercial detector with a start of active video detector | |
JPH1075457A (en) | Moving object detector in moving image | |
CN101543075A (en) | Detection of gradual transitions in video sequences | |
JP2008527525A (en) | Method and electronic device for detecting graphical objects | |
EP1800260B1 (en) | Correction of blotches in component images | |
US20060112337A1 (en) | Method and apparatus for summarizing sports moving picture | |
US20090046160A1 (en) | Camera shake correcting device | |
US8311269B2 (en) | Blocker image identification apparatus and method | |
CN109905660B (en) | Method, device and computer readable storage medium for searching video event | |
WO2002069201A2 (en) | Identification of blank segments in a set of visual recording data | |
JPH08214210A (en) | Method and device for detecting cutting point of video | |
JP2003047004A (en) | Image feature detecting method, image feature detecting equipment and data recording medium | |
JPH07249128A (en) | Picture processor for vehicle | |
JP4559043B2 (en) | Image monitoring device | |
JPH07236153A (en) | Detection of cut point of moving picture and device for detecting cut picture group | |
Lu et al. | An accumulation algorithm for video shot boundary detection | |
JPH10224741A (en) | Cut point detection method for moving image | |
Toller et al. | Video segmentation using combined cues | |
JP4207764B2 (en) | Motion vector detection apparatus, motion vector detection method, and computer program | |
KR100558383B1 (en) | Method for detecting a motion block and method for tracking a moving object based on the method for detecting motion block | |
WO2007026452A1 (en) | Image processing apparatus, image processing method, and image processing program |