JP3226020B2 - 動きベクトル検出装置 - Google Patents
動きベクトル検出装置Info
- Publication number
- JP3226020B2 JP3226020B2 JP13859897A JP13859897A JP3226020B2 JP 3226020 B2 JP3226020 B2 JP 3226020B2 JP 13859897 A JP13859897 A JP 13859897A JP 13859897 A JP13859897 A JP 13859897A JP 3226020 B2 JP3226020 B2 JP 3226020B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- shift amount
- screen
- time interval
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、動画像の符号化に
用いられる動きベクトルの検出装置に関する。
用いられる動きベクトルの検出装置に関する。
【０００２】
【従来の技術】動画像データを高能率に符号化する技術
として、ブロックマッチングによる動き補償フレーム間
予測方式が標準化され、広く用いられている。しかし、
フレーム間予測のためには動きベクトルの検出が必要で
あり、広い領域を探索するには計算量が膨大となる。そ
のため、装置規模が膨大になったり、リアルタイム処理
が困難になる、といった問題がある。
として、ブロックマッチングによる動き補償フレーム間
予測方式が標準化され、広く用いられている。しかし、
フレーム間予測のためには動きベクトルの検出が必要で
あり、広い領域を探索するには計算量が膨大となる。そ
のため、装置規模が膨大になったり、リアルタイム処理
が困難になる、といった問題がある。
【０００３】計算量を削減しつつ動きベクトル検出の精
度の向上を目指した装置としては、特開平１−１６６６
８４に記載の装置が知られている。この装置では、予め
定めた動きベクトルの探索範囲に対して、探索中心位置
にオフセット値が設定できる。そして、探索範囲の端の
動きベクトルで検出されたとき、次のフレームのオフセ
ット値を探索範囲の端の位置に設定し、探索範囲をシフ
トすることで、動きベクトルの探索範囲を見かけ上拡大
している。
度の向上を目指した装置としては、特開平１−１６６６
８４に記載の装置が知られている。この装置では、予め
定めた動きベクトルの探索範囲に対して、探索中心位置
にオフセット値が設定できる。そして、探索範囲の端の
動きベクトルで検出されたとき、次のフレームのオフセ
ット値を探索範囲の端の位置に設定し、探索範囲をシフ
トすることで、動きベクトルの探索範囲を見かけ上拡大
している。
【０００４】図１３は、前記従来の動きベクトル検出装
置のブロック図である。フレームメモリ２０１には参照
画面データが蓄積されている。動きベクトルの探索に
は、水平オフセット制御部２０６および垂直オフセット
制御部２０７により設定されるオフセットと探索動きベ
クトルに応じて参照する代表点を代表点設定部２０２に
設定し、差分器２０３において入力現画面との差分をと
る。フレーム差加算部２０４では参照画面と現画面との
差の総和を計算し、最小値検出部２０５において、前記
画面間の差の総和の最小値を与える動きベクトルを検出
し、水平・垂直それぞれの動きベクトル成分を出力す
る。前記出力の動きベクトルには、オフセットの指定に
応じて、選択器２０８，２０９により選択されたオフセ
ット値が加算器２１０，２１１により加算されて最終的
な動きベクトル値が計算される。また、前記出力動きベ
クトルは、その値に応じて、水平オフセット制御部２０
６および垂直オフセット制御部２０７により、次の動き
ベクトル探索のためのオフセットが設定される。
置のブロック図である。フレームメモリ２０１には参照
画面データが蓄積されている。動きベクトルの探索に
は、水平オフセット制御部２０６および垂直オフセット
制御部２０７により設定されるオフセットと探索動きベ
クトルに応じて参照する代表点を代表点設定部２０２に
設定し、差分器２０３において入力現画面との差分をと
る。フレーム差加算部２０４では参照画面と現画面との
差の総和を計算し、最小値検出部２０５において、前記
画面間の差の総和の最小値を与える動きベクトルを検出
し、水平・垂直それぞれの動きベクトル成分を出力す
る。前記出力の動きベクトルには、オフセットの指定に
応じて、選択器２０８，２０９により選択されたオフセ
ット値が加算器２１０，２１１により加算されて最終的
な動きベクトル値が計算される。また、前記出力動きベ
クトルは、その値に応じて、水平オフセット制御部２０
６および垂直オフセット制御部２０７により、次の動き
ベクトル探索のためのオフセットが設定される。
【０００５】オフセットの設定方法は、一つの方向成分
だけに着目し、第ｎフレームのオフセット値をδＶ
（ｎ）とすると、 δＶ（ｎ＋１）＝δＶ（ｎ）＋α・ΔＶ ・・・・・・（１） で設定している。ΔＶは探索範囲で、動きベクトルＶ
は、 −ΔＶ≦Ｖ≦ΔＶ ・・・・・・（２） の範囲で検出する。ここで、αの値は α＝１ ｉｆ Ｖ＝ΔＶ α＝−１ ｉｆ Ｖ＝−ΔＶ ・・・・・・（３） α＝０ ｅｌｓｅ と設定する。
だけに着目し、第ｎフレームのオフセット値をδＶ
（ｎ）とすると、 δＶ（ｎ＋１）＝δＶ（ｎ）＋α・ΔＶ ・・・・・・（１） で設定している。ΔＶは探索範囲で、動きベクトルＶ
は、 −ΔＶ≦Ｖ≦ΔＶ ・・・・・・（２） の範囲で検出する。ここで、αの値は α＝１ ｉｆ Ｖ＝ΔＶ α＝−１ ｉｆ Ｖ＝−ΔＶ ・・・・・・（３） α＝０ ｅｌｓｅ と設定する。
【０００６】また、これとは別な方法として、特開平５
−３２８３３３に記載の方法が知られている。この方法
では、過去の動きベクトルの結果から、探索範囲をブロ
ック毎に切り替えている。
−３２８３３３に記載の方法が知られている。この方法
では、過去の動きベクトルの結果から、探索範囲をブロ
ック毎に切り替えている。
【０００７】図１４は、前記従来の動きベクトル検出装
置のブロック図である。動きベクトル検出回路３０１で
は、入力の現フレーム画像データと参照画像データとか
ら、選択器３０４で指定される探索範囲において、予測
誤差が最小となる動きベクトルを検出する。前記検出動
きベクトルは図示されない動き補償器へ出力されるとと
もに、動きベクトルメモリ３０２に入力される。
置のブロック図である。動きベクトル検出回路３０１で
は、入力の現フレーム画像データと参照画像データとか
ら、選択器３０４で指定される探索範囲において、予測
誤差が最小となる動きベクトルを検出する。前記検出動
きベクトルは図示されない動き補償器へ出力されるとと
もに、動きベクトルメモリ３０２に入力される。
【０００８】動きベクトルメモリ３０２には動きベクト
ルが１フレーム期間蓄えられ、前フレームの空間的に同
一位置にあるブロックの動きベクトルとして、探索範囲
判定器３０３に出力される。探索範囲判定器３０３で
は、前フレームの動きベクトルの大きさと向きに応じ
て、現フレームの対象ブロックの動きベクトルの探索端
範囲を決定し、その結果に応じて、選択器３０４では、
探索範囲３０５から探索範囲３０７までの中から１個を
選択し出力する。選択された探索範囲にしたがい、動き
ベクトル検出回路３０１では、動きベクトル探索を行
う。
ルが１フレーム期間蓄えられ、前フレームの空間的に同
一位置にあるブロックの動きベクトルとして、探索範囲
判定器３０３に出力される。探索範囲判定器３０３で
は、前フレームの動きベクトルの大きさと向きに応じ
て、現フレームの対象ブロックの動きベクトルの探索端
範囲を決定し、その結果に応じて、選択器３０４では、
探索範囲３０５から探索範囲３０７までの中から１個を
選択し出力する。選択された探索範囲にしたがい、動き
ベクトル検出回路３０１では、動きベクトル探索を行
う。
【０００９】探索範囲の種類としては、図１５に示すよ
うに、通常の探索範囲（図１５（ａ））の他に、実線の
枠で示した水平方向重視の探索範囲（図１５（ｂ））、
垂直方法重視の探索範囲（図１５（ｃ））、斜め方向重
視の探索範囲（図１５（ｄ））などが用意されている。
あるいは、探索範囲の形状を変形し、図１６に示すよう
に、通常の探索範囲（図１６（ａ））の他に、実線の枠
で示した水平方向重視の探索範囲（図１６（ｂ））、垂
直方向重視の探索範囲（図１６（ｃ））などを使うこと
もできる。
うに、通常の探索範囲（図１５（ａ））の他に、実線の
枠で示した水平方向重視の探索範囲（図１５（ｂ））、
垂直方法重視の探索範囲（図１５（ｃ））、斜め方向重
視の探索範囲（図１５（ｄ））などが用意されている。
あるいは、探索範囲の形状を変形し、図１６に示すよう
に、通常の探索範囲（図１６（ａ））の他に、実線の枠
で示した水平方向重視の探索範囲（図１６（ｂ））、垂
直方向重視の探索範囲（図１６（ｃ））などを使うこと
もできる。
【００１０】
【発明が解決しようとする課題】第１の問題点は、検出
動きベクトルが特定の値になったときだけ探索範囲をシ
フトする方法では、最適な動きベクトルを検出できない
ことがある。その理由は、動きベクトルの出現状態によ
っては、探索範囲が追従できないことがあり、最適な動
きベクトルを探索範囲内にカバーできないためである。
動きベクトルが特定の値になったときだけ探索範囲をシ
フトする方法では、最適な動きベクトルを検出できない
ことがある。その理由は、動きベクトルの出現状態によ
っては、探索範囲が追従できないことがあり、最適な動
きベクトルを探索範囲内にカバーできないためである。
【００１１】第２の問題点は、検出動きベクトルの大き
さと向きから探索領域を切り替える方法では、最適な動
きベクトルを検出できないことがある。その理由は、限
られた種類の探索領域の選択しかできないためである。
さと向きから探索領域を切り替える方法では、最適な動
きベクトルを検出できないことがある。その理由は、限
られた種類の探索領域の選択しかできないためである。
【００１２】第３の問題点は、探索領域をブロック毎に
切り替える方法では、最適な動きベクトルを検出できな
いことがある。その理由は、動きの境界部分では、探索
領域の予測が外れることがあるためである。
切り替える方法では、最適な動きベクトルを検出できな
いことがある。その理由は、動きの境界部分では、探索
領域の予測が外れることがあるためである。
【００１３】第４の問題点は、直前の符号化画面で検出
された動きベクトルをそのまま用いる方法では、最適な
動きベクトルを検出できないことがある。その理由は、
参照画面と符号化画面との時間間隔が変化するような画
像符号化方法では、動きベクトルのスケールが画面によ
って適合しないためである。
された動きベクトルをそのまま用いる方法では、最適な
動きベクトルを検出できないことがある。その理由は、
参照画面と符号化画面との時間間隔が変化するような画
像符号化方法では、動きベクトルのスケールが画面によ
って適合しないためである。
【００１４】本発明の目的は、限られた探索範囲を使用
する場合においても、適切な動きベクトルの検出が可能
な動きベクトル検出装置を提供することにある。
する場合においても、適切な動きベクトルの検出が可能
な動きベクトル検出装置を提供することにある。
【００１５】
【課題を解決するための手段】本発明の動きベクトル検
出装置は、動画像符号化で用いられる動きベクトルの検
出装置において、画像を複数の領域に分割し、前記分割
領域毎に、定められた動きベクトルの探索範囲内で、参
照画像データと現画像データとのマッチングをとり、差
分が最小となる動きベクトルを検出する動きベクトル検
出手段と、前記分割領域毎の検出動きベクトルの画面毎
の統計量を計算する動きベクトル統計処理手段と、時間
間隔の異なる複数の参照画面が使える場合、当該時間間
隔の平均値を動きベクトルを検出した画面の参照画面と
の時間間隔の値とし、すでに動きベクトル検出を行った
過去の符号化画面における前記計算された動きベクトル
の統計量から、前記動きベクトルを検出した画面の参照
画面との時間間隔と、次にシフト量を設定しようとする
画面の参照画面との時間間隔の比に応じて、次に符号化
する画面の動きベクトルの探索領域のシフト量を算出す
るシフト量設定手段と、前記算出されたシフト量にした
がって、前記動きベクトル検出手段に探索すべき動きベ
クトル候補を指定する探索範囲指定手段を有する。
出装置は、動画像符号化で用いられる動きベクトルの検
出装置において、画像を複数の領域に分割し、前記分割
領域毎に、定められた動きベクトルの探索範囲内で、参
照画像データと現画像データとのマッチングをとり、差
分が最小となる動きベクトルを検出する動きベクトル検
出手段と、前記分割領域毎の検出動きベクトルの画面毎
の統計量を計算する動きベクトル統計処理手段と、時間
間隔の異なる複数の参照画面が使える場合、当該時間間
隔の平均値を動きベクトルを検出した画面の参照画面と
の時間間隔の値とし、すでに動きベクトル検出を行った
過去の符号化画面における前記計算された動きベクトル
の統計量から、前記動きベクトルを検出した画面の参照
画面との時間間隔と、次にシフト量を設定しようとする
画面の参照画面との時間間隔の比に応じて、次に符号化
する画面の動きベクトルの探索領域のシフト量を算出す
るシフト量設定手段と、前記算出されたシフト量にした
がって、前記動きベクトル検出手段に探索すべき動きベ
クトル候補を指定する探索範囲指定手段を有する。
【００１６】本発明の動きベクトル検出方法では、過去
に符号化した画面において検出された動きベクトルにつ
いて、画面毎の平均値、ヒストグラムといった動きベク
トルの統計量を計算し、これを用いて動きベクトルの探
索領域のシフト量を設定する。さらに、参照画面と現画
面との時間間隔に応じて、シフト量の調整を行う。
に符号化した画面において検出された動きベクトルにつ
いて、画面毎の平均値、ヒストグラムといった動きベク
トルの統計量を計算し、これを用いて動きベクトルの探
索領域のシフト量を設定する。さらに、参照画面と現画
面との時間間隔に応じて、シフト量の調整を行う。
【００１７】本発明によれば、画面単位の動きベクトル
の統計量を用いて探索範囲を画面単位に制御しているの
で、動きベクトルが検出される範囲の予測が的確にで
き、適切な動きベクトルの検出が行える。また、検出し
た動きベクトルを大きさなどから分類することなしにそ
のままシフト量として用いることで、動きの追従性や自
由度の高い探索範囲のシフト設定ができる。
の統計量を用いて探索範囲を画面単位に制御しているの
で、動きベクトルが検出される範囲の予測が的確にで
き、適切な動きベクトルの検出が行える。また、検出し
た動きベクトルを大きさなどから分類することなしにそ
のままシフト量として用いることで、動きの追従性や自
由度の高い探索範囲のシフト設定ができる。
【００１８】本発明の実施態様によれば、動きベクトル
統計処理手段は、動きベクトルの統計量として、平均値
またはヒストグラムを計算する。
統計処理手段は、動きベクトルの統計量として、平均値
またはヒストグラムを計算する。
【００１９】本発明の実施態様によれば、シフト量設定
手段は、動きベクトルの平均値、または動きベクトルの
最頻値を示す動きベクトル、または動きベクトルのヒス
トグラムから、一定の頻度以上検出された動きベクトル
を抽出し、前記抽出動きベクトルの水平方向成分、垂直
方向成分のそれぞれにおいて、最大値と最小値との平均
値、または動きベクトルのヒストグラムから、一定の頻
度以上検出された動きベクトルを抽出し、抽出動きベク
トルの平均値をシフト量として設定する。
手段は、動きベクトルの平均値、または動きベクトルの
最頻値を示す動きベクトル、または動きベクトルのヒス
トグラムから、一定の頻度以上検出された動きベクトル
を抽出し、前記抽出動きベクトルの水平方向成分、垂直
方向成分のそれぞれにおいて、最大値と最小値との平均
値、または動きベクトルのヒストグラムから、一定の頻
度以上検出された動きベクトルを抽出し、抽出動きベク
トルの平均値をシフト量として設定する。
【００２０】本発明の実施態様によれば、動きベクトル
統計処理手段は、順方向予測のための動きベクトルと、
逆方向予測のための動きベクトルとを検出する場合、前
記それぞれの予測方向の検出動きベクトルの統計量を個
別に計算する。
統計処理手段は、順方向予測のための動きベクトルと、
逆方向予測のための動きベクトルとを検出する場合、前
記それぞれの予測方向の検出動きベクトルの統計量を個
別に計算する。
【００２１】本発明の実施態様によれば、シフト量設定
手段は、順方向のための動きベクトルと、逆方向予測の
ための動きベクトルとを検出する場合、前記それぞれの
予測方向の探索範囲のシフト量を個別に設定する。
手段は、順方向のための動きベクトルと、逆方向予測の
ための動きベクトルとを検出する場合、前記それぞれの
予測方向の探索範囲のシフト量を個別に設定する。
【００２２】
【００２３】本発明の実施態様によれば、シフト量設定
手段は、時間間隔の異なる複数の参照画面が使える場
合、当該時間間隔の平均値を時間間隔の値とするか、時
間間隔の異なる複数の参照画面が使える場合、当該時間
間隔の一つを選択して、時間間隔の値とするか、時間間
隔の異なる複数の参照画面が使える場合、前記分割領域
で選択された、当該参照画面の画面全体に対する比率に
応じて、当該時間間隔の平均値を計算し、前記平均値の
動きベクトルを検出した画面の参照画面との時間間隔の
値とする。
手段は、時間間隔の異なる複数の参照画面が使える場
合、当該時間間隔の平均値を時間間隔の値とするか、時
間間隔の異なる複数の参照画面が使える場合、当該時間
間隔の一つを選択して、時間間隔の値とするか、時間間
隔の異なる複数の参照画面が使える場合、前記分割領域
で選択された、当該参照画面の画面全体に対する比率に
応じて、当該時間間隔の平均値を計算し、前記平均値の
動きベクトルを検出した画面の参照画面との時間間隔の
値とする。
【００２４】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００２５】図１は本発明の一実施形態の動きベクトル
検出装置のブロック図である。
検出装置のブロック図である。
【００２６】本実施形態の動きベクトル検出装置は参照
画像記憶部１０１と現画像記憶部１０２と動きベクトル
検出部１０３と動きベクトル統計処理部１０４とシフト
量設定部１０５と探索範囲指定部１０６で構成されてい
る。
画像記憶部１０１と現画像記憶部１０２と動きベクトル
検出部１０３と動きベクトル統計処理部１０４とシフト
量設定部１０５と探索範囲指定部１０６で構成されてい
る。
【００２７】図２は動きベクトル探索範囲のシフトを説
明するための図である。図の丸印が動きベクトルの探索
点である。図の例では通常の探索範囲は、破線で囲んだ
ように、−４≦ＭＶｘ≦＋３，−４≦ＭＶｙ≦＋３の範
囲の動きベクトル探索を行う。いま、シフト量として、
（２，４）を指定すると、図の実線で囲まれたような、
−２≦ＭＶｘ≦＋５，０≦ＭＶｙ≦＋７の範囲の動きベ
クトル探索を行う。この場合、下方のやや右側からの動
きベクトルを中心に探索を行うことになる。このよう
に、シフト量を与えて、探索範囲を制御する。
明するための図である。図の丸印が動きベクトルの探索
点である。図の例では通常の探索範囲は、破線で囲んだ
ように、−４≦ＭＶｘ≦＋３，−４≦ＭＶｙ≦＋３の範
囲の動きベクトル探索を行う。いま、シフト量として、
（２，４）を指定すると、図の実線で囲まれたような、
−２≦ＭＶｘ≦＋５，０≦ＭＶｙ≦＋７の範囲の動きベ
クトル探索を行う。この場合、下方のやや右側からの動
きベクトルを中心に探索を行うことになる。このよう
に、シフト量を与えて、探索範囲を制御する。
【００２８】（統計量計算）次に、動きベクトル統計処
理部１０４における統計量計算処理について説明する。
ここでは、検出した動きベクトルの平均値、ヒストグラ
ムといった統計量を計算する。平均値の計算では、検出
した動きベクトルが入力される毎に、動きベクトルの値
を累算していく。１画面の処理が終了した時点で、前記
累算値を検出した動きベクトルの数で割り、動きベクト
ルの平均値を求める。この際、必要な精度に丸め処理し
てもよい。
理部１０４における統計量計算処理について説明する。
ここでは、検出した動きベクトルの平均値、ヒストグラ
ムといった統計量を計算する。平均値の計算では、検出
した動きベクトルが入力される毎に、動きベクトルの値
を累算していく。１画面の処理が終了した時点で、前記
累算値を検出した動きベクトルの数で割り、動きベクト
ルの平均値を求める。この際、必要な精度に丸め処理し
てもよい。
【００２９】ヒストグラムの計算では、検出した動きベ
クトルが入力される毎に、そのベクトルに対応する頻度
の値をインクリメントしていく。１画面の処理が終了し
た時点で、それぞれの検出動きベクトルの頻度が確定
し、ヒストグラムが得られる。なお、発生頻度情報の保
存のためには、検出可能な動きベクトルの範囲だけの記
憶手段が必要であるが、記憶領域削減のために、動きベ
クトルの値を量子化して、量子化代表値の頻度を計数し
てもよい。
クトルが入力される毎に、そのベクトルに対応する頻度
の値をインクリメントしていく。１画面の処理が終了し
た時点で、それぞれの検出動きベクトルの頻度が確定
し、ヒストグラムが得られる。なお、発生頻度情報の保
存のためには、検出可能な動きベクトルの範囲だけの記
憶手段が必要であるが、記憶領域削減のために、動きベ
クトルの値を量子化して、量子化代表値の頻度を計数し
てもよい。
【００３０】ここで、動きベクトルが、順方向予測、逆
方向予測、というように予測方向の異なる動きベクトル
が検出される場合には、それぞれの予測方向毎に計算す
る。あるいは、一方の動きベクトルを逆にし、さらに参
照画面との時間間隔で正規化し、１種類の予測方向の動
きベクトルとして計算してもよい。
方向予測、というように予測方向の異なる動きベクトル
が検出される場合には、それぞれの予測方向毎に計算す
る。あるいは、一方の動きベクトルを逆にし、さらに参
照画面との時間間隔で正規化し、１種類の予測方向の動
きベクトルとして計算してもよい。
【００３１】また、上記統計量計算において、１ブロッ
クに対して、同じ予測方向の動きベクトルが複数個検出
された場合検出した全ての動きベクトルをカウントに含
める。例えばＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１
８）のフレーム構造におけるフィールド予測の場合、フ
ィールド構造における１６×８予測の場合、デュアルラ
イム予測の場合などのとき発生する。このとき、検出し
た全ての動きベクトルの数によって、重み付けを調整し
てもよい。例えば、１ブロックで２つの動きベクトルが
検出されたとき、各々を１／２の重み付けで統計計算す
る。あるいは、同じ予測方向の動きベクトルが複数個検
出された場合、簡単のために、その中の一つの動きベク
トルだけを統計計算の対象としてもよい。
クに対して、同じ予測方向の動きベクトルが複数個検出
された場合検出した全ての動きベクトルをカウントに含
める。例えばＭＰＥＧ−２（ＩＳＯ／ＩＥＣ１３８１
８）のフレーム構造におけるフィールド予測の場合、フ
ィールド構造における１６×８予測の場合、デュアルラ
イム予測の場合などのとき発生する。このとき、検出し
た全ての動きベクトルの数によって、重み付けを調整し
てもよい。例えば、１ブロックで２つの動きベクトルが
検出されたとき、各々を１／２の重み付けで統計計算す
る。あるいは、同じ予測方向の動きベクトルが複数個検
出された場合、簡単のために、その中の一つの動きベク
トルだけを統計計算の対象としてもよい。
【００３２】また、１ブロックの処理に対して、動きベ
クトルが検出されない場合がある。例えばＭＰＥＧ−２
などでは、フレーム内符号化をし、フレーム間予測をし
ないイントラ符号化モードが選択された場合に発生す
る。このような場合には、上記統計量計算において、動
きベクトルの累算や頻度更新などは行わない。あるい
は、イントラ／ノンイントラ判定のときに、ノンイント
ラモードの動きベクトルとして検出された動きベクトル
の値を統計計算の対象としてもよい。
クトルが検出されない場合がある。例えばＭＰＥＧ−２
などでは、フレーム内符号化をし、フレーム間予測をし
ないイントラ符号化モードが選択された場合に発生す
る。このような場合には、上記統計量計算において、動
きベクトルの累算や頻度更新などは行わない。あるい
は、イントラ／ノンイントラ判定のときに、ノンイント
ラモードの動きベクトルとして検出された動きベクトル
の値を統計計算の対象としてもよい。
【００３３】（シフト量設定）次に、シフト量の設定部
１０５における、シフト量の設定方法について説明す
る。まず、動きベクトル統計量として、検出動きベクト
ルの画面あたりの平均値を計算した場合について説明す
る。画面あたりの平均値を計算している場合には、平均
値をそのままシフト量として設定する。なお、平均値計
算をシフト量を含まない相対動きベクトルで行った場合
は、シフト量を加味した値に変換して用いる。
１０５における、シフト量の設定方法について説明す
る。まず、動きベクトル統計量として、検出動きベクト
ルの画面あたりの平均値を計算した場合について説明す
る。画面あたりの平均値を計算している場合には、平均
値をそのままシフト量として設定する。なお、平均値計
算をシフト量を含まない相対動きベクトルで行った場合
は、シフト量を加味した値に変換して用いる。
【００３４】次に、検出動きベクトルの画面あたりのヒ
ストグラムを計算した場合について説明する。例えば、
図３はヒストグラムの例である。このヒストグラムは、
探索範囲内の動きベクトル探索点について、当該動きベ
クトルが検出された頻度を示している。ヒストグラムか
らシフト量設定する一つの方法としては、最も頻度の高
い動きベクトルを選択する方法を使う。図３の例では、
（ＭＶｘ’，ＭＶｙ’＝（−１，０）で最も高い頻度を
示しているので、これをシフト量として設定する。な
お、（ＭＶｘ’，ＭＶｙ’）がシフト量が含まれない相
対的な動きベクトルであるならば、シフト量を加味した
値に変換して用いる。また、最も頻度の高い動きベクト
ルが複数ある場合には、それらの重心位置をシフト量に
設定する。あるいは簡単のために、その中の一つ（例え
ばスキャン順で最もはじめに現われたもの、あるいは最
も後に現われたもの、（０，０）に最も近いものなど）
をシフト量に設定してもよい。
ストグラムを計算した場合について説明する。例えば、
図３はヒストグラムの例である。このヒストグラムは、
探索範囲内の動きベクトル探索点について、当該動きベ
クトルが検出された頻度を示している。ヒストグラムか
らシフト量設定する一つの方法としては、最も頻度の高
い動きベクトルを選択する方法を使う。図３の例では、
（ＭＶｘ’，ＭＶｙ’＝（−１，０）で最も高い頻度を
示しているので、これをシフト量として設定する。な
お、（ＭＶｘ’，ＭＶｙ’）がシフト量が含まれない相
対的な動きベクトルであるならば、シフト量を加味した
値に変換して用いる。また、最も頻度の高い動きベクト
ルが複数ある場合には、それらの重心位置をシフト量に
設定する。あるいは簡単のために、その中の一つ（例え
ばスキャン順で最もはじめに現われたもの、あるいは最
も後に現われたもの、（０，０）に最も近いものなど）
をシフト量に設定してもよい。
【００３５】また、ヒストグラムからシフト量設定する
別な方法としては、一定の頻度以上のものだけを使用す
るという方法もある。例えば、まずヒストグラムにしき
い値処理を施し２値化する。図４は図３のヒストグラム
を頻度２以上を‘１’に、頻度２未満を‘０’に２値化
したものである。このように２値化した後、‘１’を示
す動きベクトルの平均値をシフト量として設定する。例
えば図４の例では、（−０．９２８，−０．３５７）と
なる。あるいは‘１’を示す動きベクトルの各成分の最
大値と最小値の平均値をシフト量として設定する。この
方法では、図４の例では、ＭＶｘ’が最大値１、ＭＶ
ｘ’の最小値が−３、ＭＶｙ’の最大値が１、ＭＶｙ’
の最小値が−２なので、（−１，−０．５）がシフト量
となる。以上ヒストグラムを２値化してシフト量を求め
る方法を説明したが、ヒストグラムを２値化せず、図３
の形態のまま、頻度のしきい値と比較しながら処理して
もよい。また、ヒストグラムを作成するときに頻度記録
の上限を設けて、一定数以上は最大値に張り付けたもの
を作って使用してもよい。
別な方法としては、一定の頻度以上のものだけを使用す
るという方法もある。例えば、まずヒストグラムにしき
い値処理を施し２値化する。図４は図３のヒストグラム
を頻度２以上を‘１’に、頻度２未満を‘０’に２値化
したものである。このように２値化した後、‘１’を示
す動きベクトルの平均値をシフト量として設定する。例
えば図４の例では、（−０．９２８，−０．３５７）と
なる。あるいは‘１’を示す動きベクトルの各成分の最
大値と最小値の平均値をシフト量として設定する。この
方法では、図４の例では、ＭＶｘ’が最大値１、ＭＶ
ｘ’の最小値が−３、ＭＶｙ’の最大値が１、ＭＶｙ’
の最小値が−２なので、（−１，−０．５）がシフト量
となる。以上ヒストグラムを２値化してシフト量を求め
る方法を説明したが、ヒストグラムを２値化せず、図３
の形態のまま、頻度のしきい値と比較しながら処理して
もよい。また、ヒストグラムを作成するときに頻度記録
の上限を設けて、一定数以上は最大値に張り付けたもの
を作って使用してもよい。
【００３６】ここで、予測方向が複数あり、それぞれの
予測方向について統計量を計算し、その各々について上
記のようにシフト量を設定する。例えば、図５は順方向
予測だけを行う画面（Ｐピクチャ）と、順方向、逆方向
の両方から予測可能な画面（Ｂピクチャ）とを用いて符
号化する場合を示す図である。この図で、画面２のＢピ
クチャに対しては、画面１のＰピクチャを参照画面とす
る順方向予測と、画面４のＰピクチャを参照画面とする
逆方向予測とを行う。このとき、順方向予測のために検
出された動きベクトルと逆方向予測のために検出された
動きベクトルとのそれぞれの統計量を計算する。また、
動きベクトル検出をするための探索範囲のシフト量も、
順方向予測用および逆方向予測用にそれぞれ設定する。
なお、順方向予測の検出結果だけから、逆方向予測の探
索範囲シフト量を決めるには、順方向予測のシフト量の
符号を反転すればよい。
予測方向について統計量を計算し、その各々について上
記のようにシフト量を設定する。例えば、図５は順方向
予測だけを行う画面（Ｐピクチャ）と、順方向、逆方向
の両方から予測可能な画面（Ｂピクチャ）とを用いて符
号化する場合を示す図である。この図で、画面２のＢピ
クチャに対しては、画面１のＰピクチャを参照画面とす
る順方向予測と、画面４のＰピクチャを参照画面とする
逆方向予測とを行う。このとき、順方向予測のために検
出された動きベクトルと逆方向予測のために検出された
動きベクトルとのそれぞれの統計量を計算する。また、
動きベクトル検出をするための探索範囲のシフト量も、
順方向予測用および逆方向予測用にそれぞれ設定する。
なお、順方向予測の検出結果だけから、逆方向予測の探
索範囲シフト量を決めるには、順方向予測のシフト量の
符号を反転すればよい。
【００３７】（シフト量調整）次に、参照画面と現画面
との時間間隔が画面毎に変化する場合の、時間間隔に応
じて、シフト量の調整の方法について説明する。まず、
図５の例を用いて説明する。この例では、３画面毎にＰ
ピクチャとして符号化し、その間に挟まれた２画面をＢ
ピクチャとして符号化している。いま画面１が符号化済
みで、次に画面４、画面２、画面３、画面７、、、、と
いう順序で符号化処理されるものとする。この場合、連
続する２つの画面間隔を１とすると、画面４のＰピクチ
ャ（Ｐ４）における動きベクトルは、時間間隔が３に対
応する動きベクトルである。また、その次に符号化され
る画面２のＢピクチャ（Ｂ２）においては、順方向の動
きベクトルについては時間間隔が１であり、逆方向の動
きベクトルについては時間間隔が２である。このとき、
Ｂ２順方向予測のためのシフト量はＰ４で得られたシフ
ト量の１／３に、このとき、Ｂ２の逆方向予測のための
シフト量はＰ４で得られたシフト量の−２／３にすれば
よい。同様に、画面３のＢピクチャ（Ｂ３）の順方向予
測のためのシフト量は、Ｂ２で得られた順方向予測のシ
フト量の２倍に、Ｂ３の逆方向予測のためのシフト量
は、Ｂ２で得られた逆方向予測のシフト量の１／２にす
ればよい。さらに、画面７のＰピクチャ（Ｐ７）の順方
向予測のためのシフト量は、Ｂ３で得られた順方向予測
のシフト量の３／２倍にすればよい。
との時間間隔が画面毎に変化する場合の、時間間隔に応
じて、シフト量の調整の方法について説明する。まず、
図５の例を用いて説明する。この例では、３画面毎にＰ
ピクチャとして符号化し、その間に挟まれた２画面をＢ
ピクチャとして符号化している。いま画面１が符号化済
みで、次に画面４、画面２、画面３、画面７、、、、と
いう順序で符号化処理されるものとする。この場合、連
続する２つの画面間隔を１とすると、画面４のＰピクチ
ャ（Ｐ４）における動きベクトルは、時間間隔が３に対
応する動きベクトルである。また、その次に符号化され
る画面２のＢピクチャ（Ｂ２）においては、順方向の動
きベクトルについては時間間隔が１であり、逆方向の動
きベクトルについては時間間隔が２である。このとき、
Ｂ２順方向予測のためのシフト量はＰ４で得られたシフ
ト量の１／３に、このとき、Ｂ２の逆方向予測のための
シフト量はＰ４で得られたシフト量の−２／３にすれば
よい。同様に、画面３のＢピクチャ（Ｂ３）の順方向予
測のためのシフト量は、Ｂ２で得られた順方向予測のシ
フト量の２倍に、Ｂ３の逆方向予測のためのシフト量
は、Ｂ２で得られた逆方向予測のシフト量の１／２にす
ればよい。さらに、画面７のＰピクチャ（Ｐ７）の順方
向予測のためのシフト量は、Ｂ３で得られた順方向予測
のシフト量の３／２倍にすればよい。
【００３８】また、ＭＰＥＧ−２のようなインターレー
ス信号を扱う場合には、フィールドの単位の予測を使う
ことができる。このときはフィールドの画面間隔で調整
すればよい。例えば、図６のようにＰピクチャの間隔が
３フレームであるとき、フレーム構造で画面４のＰピク
チャ（Ｐ４）の動きベクトル検出をする場合を考える。
ここで、１フレームは２つのフィールドから構成されて
おり、Ｐ４の２つのフィールドはそれぞれ、画面１のＰ
ピクチャ（Ｐ１）の２つのフィールドが参照できる。そ
のため、フィールド予測が選択された場合は、Ｐ４の第
１フィールドについては、参照されるフィールドによっ
て、時間間隔は５および６、第２フィールドについて
は、時間間隔は６および７とする。なお、フレーム予測
が選択された場合には、時間間隔はフィールドの間隔で
数えて６とする。また、Ｂピクチャの場合も同様であ
り、それぞれ図７，８に示したようにする。例えば画面
２のＢピクチャの順方向予測では、それぞれのフィール
ドはＰ１のフィールドを参照し、時間間隔は１および２
とする。
ス信号を扱う場合には、フィールドの単位の予測を使う
ことができる。このときはフィールドの画面間隔で調整
すればよい。例えば、図６のようにＰピクチャの間隔が
３フレームであるとき、フレーム構造で画面４のＰピク
チャ（Ｐ４）の動きベクトル検出をする場合を考える。
ここで、１フレームは２つのフィールドから構成されて
おり、Ｐ４の２つのフィールドはそれぞれ、画面１のＰ
ピクチャ（Ｐ１）の２つのフィールドが参照できる。そ
のため、フィールド予測が選択された場合は、Ｐ４の第
１フィールドについては、参照されるフィールドによっ
て、時間間隔は５および６、第２フィールドについて
は、時間間隔は６および７とする。なお、フレーム予測
が選択された場合には、時間間隔はフィールドの間隔で
数えて６とする。また、Ｂピクチャの場合も同様であ
り、それぞれ図７，８に示したようにする。例えば画面
２のＢピクチャの順方向予測では、それぞれのフィール
ドはＰ１のフィールドを参照し、時間間隔は１および２
とする。
【００３９】また、フィールド構造で符号化する場合に
は、Ｐピクチャに関しては図９のような参照関係にな
る。すなわち、ピクチャＰ７は、ピクチャＰ１あるいは
ピクチャＰ２を参照する。同様に、ピクチャＰ８は、ピ
クチャＰ２あるいはピクチャＰ７を参照する。したがっ
て、ピクチャＰ７については、時間間隔は５および６、
ピクチャＰ８については、時間間隔は１および６とす
る。フィールド構造の場合のＢピクチャの参照関係につ
いては、既に図７，８に示したように、フレーム構造で
符号化した場合と同様である。
は、Ｐピクチャに関しては図９のような参照関係にな
る。すなわち、ピクチャＰ７は、ピクチャＰ１あるいは
ピクチャＰ２を参照する。同様に、ピクチャＰ８は、ピ
クチャＰ２あるいはピクチャＰ７を参照する。したがっ
て、ピクチャＰ７については、時間間隔は５および６、
ピクチャＰ８については、時間間隔は１および６とす
る。フィールド構造の場合のＢピクチャの参照関係につ
いては、既に図７，８に示したように、フレーム構造で
符号化した場合と同様である。
【００４０】さらに、ＭＰＥＧ−２では、Ｂピクチャを
用いないとき、同相のフィールドと異相のフィールドと
の平均予測を行うデュアルプライム予測が使える。この
場合も同様に、フレーム構造の場合は図１０に示すよう
に、時間間隔を１および２あるいは２および３とする。
また、フィールド構造の場合は図１１に示すように、時
間間隔１および２とする。
用いないとき、同相のフィールドと異相のフィールドと
の平均予測を行うデュアルプライム予測が使える。この
場合も同様に、フレーム構造の場合は図１０に示すよう
に、時間間隔を１および２あるいは２および３とする。
また、フィールド構造の場合は図１１に示すように、時
間間隔１および２とする。
【００４１】以上のようにフィールド予測を用いる場合
にも、上記のように設定した時間間隔を用いて、検出動
きベクトルに対応した時間間隔と、シフト量を設定しよ
うとする画面に対応する時間間隔との比を計算し、この
比率にしたがってシフト量を調整すればよい。ただし、
時間間隔の異なる複数の参照フィールドが使用できるの
で、統計量計算においては、ブロック毎に選択された参
照フィールドの画面全体に対する比率を考慮して計算す
る。ここで、これから動きベクトルを検出しようとする
画面では、参照されるフィールドの比率を予め知ること
はできない。そのため、複数の時間間隔の平均値を設定
することにする。例えば図７のＢ２の第１フィールドで
は、順方向の動きベクトルに対する時間間隔は１および
２であるが、それらの平均値１／２を時間間隔とみな
す。あるいは簡単のために、いずれか一つ（例えば常に
短い時間間隔を使う、常に同相のフィールドのものを使
う、など）を選択する方法でもよい。同様に統計量を計
算するときも、簡単のために選択したフィールドの情報
を使わずに計算することもできる。このときも時間間隔
については、前述のように、取り得る値の平均値あるい
はいずれか一つを選択する方法でよい。例えば、図９の
ピクチャＰ７の次に符号化されるピクチャＰ８の場合を
考える。時間間隔として複数の参照画面の平均をとると
すると、シフト量はＰ７の動きベクトル統計量から定ま
るシフト量を（１＋６）／（６＋５）倍する。同様に、
他のピクチャについても計算することが可能である。
にも、上記のように設定した時間間隔を用いて、検出動
きベクトルに対応した時間間隔と、シフト量を設定しよ
うとする画面に対応する時間間隔との比を計算し、この
比率にしたがってシフト量を調整すればよい。ただし、
時間間隔の異なる複数の参照フィールドが使用できるの
で、統計量計算においては、ブロック毎に選択された参
照フィールドの画面全体に対する比率を考慮して計算す
る。ここで、これから動きベクトルを検出しようとする
画面では、参照されるフィールドの比率を予め知ること
はできない。そのため、複数の時間間隔の平均値を設定
することにする。例えば図７のＢ２の第１フィールドで
は、順方向の動きベクトルに対する時間間隔は１および
２であるが、それらの平均値１／２を時間間隔とみな
す。あるいは簡単のために、いずれか一つ（例えば常に
短い時間間隔を使う、常に同相のフィールドのものを使
う、など）を選択する方法でもよい。同様に統計量を計
算するときも、簡単のために選択したフィールドの情報
を使わずに計算することもできる。このときも時間間隔
については、前述のように、取り得る値の平均値あるい
はいずれか一つを選択する方法でよい。例えば、図９の
ピクチャＰ７の次に符号化されるピクチャＰ８の場合を
考える。時間間隔として複数の参照画面の平均をとると
すると、シフト量はＰ７の動きベクトル統計量から定ま
るシフト量を（１＋６）／（６＋５）倍する。同様に、
他のピクチャについても計算することが可能である。
【００４２】以上、時間間隔の説明は、３フレーム毎に
Ｐピクチャとして符号化する構造について説明したが、
これと異なった構造で符号化する場合も同様に考えるこ
とができる。また、フレームスキップがある場合などの
ように、参照画面との時間間隔が変動する構成であって
も同様に考えることができる。また、動きベクトル検出
を行わずに、フレーム内符号化するピクチャが使用され
る場合もあるが、この場合は、当該ピクチャを除いて考
えればよい。
Ｐピクチャとして符号化する構造について説明したが、
これと異なった構造で符号化する場合も同様に考えるこ
とができる。また、フレームスキップがある場合などの
ように、参照画面との時間間隔が変動する構成であって
も同様に考えることができる。また、動きベクトル検出
を行わずに、フレーム内符号化するピクチャが使用され
る場合もあるが、この場合は、当該ピクチャを除いて考
えればよい。
【００４３】また、時間間隔に基づいた調整処理を省く
ため、時間調整前のシフト量を数フレーム間保存してお
き、同じ位置関係にあるピクチャのときに適用するよう
にしてもよい。例えば図５で、Ｐ４の処理の結果計算さ
れたシフト量はＢ２，Ｂ３には適用せず、数フレーム間
保存してＰ７にそのまま適用するようにしてもよい。同
様に、Ｂ２の処理の結果計算されたシフト量をＢ５に、
Ｂ３の処理の結果計算されたシフト量をＢ６に用いるこ
とにしてもよい。
ため、時間調整前のシフト量を数フレーム間保存してお
き、同じ位置関係にあるピクチャのときに適用するよう
にしてもよい。例えば図５で、Ｐ４の処理の結果計算さ
れたシフト量はＢ２，Ｂ３には適用せず、数フレーム間
保存してＰ７にそのまま適用するようにしてもよい。同
様に、Ｂ２の処理の結果計算されたシフト量をＢ５に、
Ｂ３の処理の結果計算されたシフト量をＢ６に用いるこ
とにしてもよい。
【００４４】また、シフト量の設定は、直前の符号化画
面あるいは、数画面前の１画面分の情報だけから設定す
るだけでなく、過去の符号化した複数の画像の情報を用
いてもよい。例えば、直前の過去ｎフレーム（ｎは正整
数）のシフト量の平均値を、新たなシフト量として設定
するなどという方法を用いてもよい。
面あるいは、数画面前の１画面分の情報だけから設定す
るだけでなく、過去の符号化した複数の画像の情報を用
いてもよい。例えば、直前の過去ｎフレーム（ｎは正整
数）のシフト量の平均値を、新たなシフト量として設定
するなどという方法を用いてもよい。
【００４５】最後に、シフト量は、実際に設定可能な範
囲内に修正する。例えば、シフト量の各々の成分が設定
可能な最大値、最小値を超えていれば、最大値、最小値
に張り付ける。また、シフト量の設定可能な最小単位
（例えば画素単位など）への丸めを行う。
囲内に修正する。例えば、シフト量の各々の成分が設定
可能な最大値、最小値を超えていれば、最大値、最小値
に張り付ける。また、シフト量の設定可能な最小単位
（例えば画素単位など）への丸めを行う。
【００４６】以上説明したとおり、本実施形態では、探
索範囲の大きさを変えずに、位置をシフトさせている。
シフト量は、過去の符号化画面において検出した動きベ
クトルの統計量に基づいて設定されているので、動きベ
クトルが検出される範囲の予測が的確にでき、限られた
探索範囲を使用する場合においても、適切な動きベクト
ルの検出が行える。実際、ＭＰＥＧ−２（ＩＳＯ／ＩＥ
Ｃ−１３８１３）の画像符号化方法に対し、本手法の探
索範囲シフト方法を適用した結果、探索範囲のシフトを
行わない場合に比べて、通常の探索範囲では検出できな
い動きを含む画像については、ＳＮ比の改善が得られて
いる。
索範囲の大きさを変えずに、位置をシフトさせている。
シフト量は、過去の符号化画面において検出した動きベ
クトルの統計量に基づいて設定されているので、動きベ
クトルが検出される範囲の予測が的確にでき、限られた
探索範囲を使用する場合においても、適切な動きベクト
ルの検出が行える。実際、ＭＰＥＧ−２（ＩＳＯ／ＩＥ
Ｃ−１３８１３）の画像符号化方法に対し、本手法の探
索範囲シフト方法を適用した結果、探索範囲のシフトを
行わない場合に比べて、通常の探索範囲では検出できな
い動きを含む画像については、ＳＮ比の改善が得られて
いる。
【００４７】実際にシミュレーション実験した結果を図
１２に示す。図は何種類かの画像に対して動画像を符号
化したとき、動きベクトル探索範囲をシフトさせた場合
に、それが固定位置にあるときと比較したＳＮ比の改善
量を示したグラフである。グラフの左側はフレーム構造
で符号化した場合、右側はフィールド構造で符号化した
場合をそれぞれ示している。シミュレーションの条件と
しては、通常の探索範囲は最大で水平方向−４７〜＋４
７画素、垂直方向−１５〜＋１５画素とし、ビットレー
トを４Ｍｂｉｔ／秒とした。
１２に示す。図は何種類かの画像に対して動画像を符号
化したとき、動きベクトル探索範囲をシフトさせた場合
に、それが固定位置にあるときと比較したＳＮ比の改善
量を示したグラフである。グラフの左側はフレーム構造
で符号化した場合、右側はフィールド構造で符号化した
場合をそれぞれ示している。シミュレーションの条件と
しては、通常の探索範囲は最大で水平方向−４７〜＋４
７画素、垂直方向−１５〜＋１５画素とし、ビットレー
トを４Ｍｂｉｔ／秒とした。
【００４８】フレーム構造で符号化した場合において、
shift Ａの方法は、前に符号化した画像で検出した動き
ベクトルの画像あたりの平均値を、次の符号化画面のシ
フト量とする方式である。shift Ｂの方法は、検出した
動きベクトルの画像あたりの平均値を、さらに過去に符
号化した画像の全てにわたって平均した値を、次の符号
化画面のシフト量とする方式である。shift Ｃの方法
は、検出した動きベクトルの画像あたりの平均値を、さ
らに過去４画面にわたって平均した値を、次の符号化画
面のシフト量をする方式である。shift Ｄの方法は、前
に符号化した画像で検出した動きベクトルのヒストグラ
ムを観測し、頻度が１５以上のものを抽出し、最も外側
にあるものの中心点を次の符号化画面のシフト量とする
方式である。すなわち、抽出した動きベクトル値の水平
方向成分、垂直方向成分それぞれの最大値、最小値の平
均値を使用する方法である。shift Ｅの方法は、前に符
号化した画像で検出した動きベクトルのヒストグラムを
観測し、頻度が１５以上のものを抽出し、その平均値を
次の符号化画面のシフト量とする方式である。これらの
いずれの方法でも、“Bus ”，“Hockey”，“Carouse
l”といった速い動きがある画像に対しては、ＳＮ比で
測定した画質の改善効果がある。なお、Doubleの方法
は、探索範囲を通常の２倍とし、シフトを行わない方法
である。性能が高いが、計算量は４倍必要になる。
shift Ａの方法は、前に符号化した画像で検出した動き
ベクトルの画像あたりの平均値を、次の符号化画面のシ
フト量とする方式である。shift Ｂの方法は、検出した
動きベクトルの画像あたりの平均値を、さらに過去に符
号化した画像の全てにわたって平均した値を、次の符号
化画面のシフト量とする方式である。shift Ｃの方法
は、検出した動きベクトルの画像あたりの平均値を、さ
らに過去４画面にわたって平均した値を、次の符号化画
面のシフト量をする方式である。shift Ｄの方法は、前
に符号化した画像で検出した動きベクトルのヒストグラ
ムを観測し、頻度が１５以上のものを抽出し、最も外側
にあるものの中心点を次の符号化画面のシフト量とする
方式である。すなわち、抽出した動きベクトル値の水平
方向成分、垂直方向成分それぞれの最大値、最小値の平
均値を使用する方法である。shift Ｅの方法は、前に符
号化した画像で検出した動きベクトルのヒストグラムを
観測し、頻度が１５以上のものを抽出し、その平均値を
次の符号化画面のシフト量とする方式である。これらの
いずれの方法でも、“Bus ”，“Hockey”，“Carouse
l”といった速い動きがある画像に対しては、ＳＮ比で
測定した画質の改善効果がある。なお、Doubleの方法
は、探索範囲を通常の２倍とし、シフトを行わない方法
である。性能が高いが、計算量は４倍必要になる。
【００４９】フィールド構造で符号化した場合は、shif
t Ａ，shift Ｅの方法に対して、２つの時間調整の方法
を適用した結果を示している。まず、AdjustmentＩの方
法は、フレーム構造と同じ時間間隔の調整をしたもので
ある。つまり、参照画面との時間間隔は、全て同相側の
距離とみなした方法である。一方、Adjustment II の方
法は、検出した動きベクトルの対応する複数の参照フレ
ームの時間間隔を、検出した比率によって調整した方法
である。結果はグラフからもわかるとおり、いずれの方
法でもＳＮ比で測定した画質の改善効果がある。
t Ａ，shift Ｅの方法に対して、２つの時間調整の方法
を適用した結果を示している。まず、AdjustmentＩの方
法は、フレーム構造と同じ時間間隔の調整をしたもので
ある。つまり、参照画面との時間間隔は、全て同相側の
距離とみなした方法である。一方、Adjustment II の方
法は、検出した動きベクトルの対応する複数の参照フレ
ームの時間間隔を、検出した比率によって調整した方法
である。結果はグラフからもわかるとおり、いずれの方
法でもＳＮ比で測定した画質の改善効果がある。
【００５０】以上シミュレーションの結果に示したとお
り、通常の探索範囲ではカバーできない速い動きがある
画像に対して、探索範囲をシフトすることにより検出可
能となり、最適な動きベクトルが検出され、固定レート
のもとで符号化した場合の画質の改善効果が得られる。
り、通常の探索範囲ではカバーできない速い動きがある
画像に対して、探索範囲をシフトすることにより検出可
能となり、最適な動きベクトルが検出され、固定レート
のもとで符号化した場合の画質の改善効果が得られる。
【００５１】
【発明の効果】以上説明したように、本発明によれば、
動きベクトルの適切な検出が行える効果がある。
動きベクトルの適切な検出が行える効果がある。
【図１】本発明の一実施形態の動きベクトル検出装置の
ブロック図である。
ブロック図である。
【図２】動きベクトル探索範囲のシフトを説明する図で
ある。
ある。
【図３】動きベクトルのヒストグラムを説明する図であ
る。
る。
【図４】動きベクトルのヒストグラムにしきい値処理を
した結果を説明する図である。
した結果を説明する図である。
【図５】動きベクトルの検出した画像の時間的な間隔を
説明する図である。
説明する図である。
【図６】フィールド予測の場合の画像の時間的な間隔を
説明する図である。
説明する図である。
【図７】フィールド予測の場合の画像の時間的な間隔を
説明する図である。
説明する図である。
【図８】フィールド予測の場合の画像の時間的な間隔を
説明する図である。
説明する図である。
【図９】フィールド予測の場合の画像の時間的な間隔を
説明する図である。
説明する図である。
【図１０】デュアルプライム予測の場合の画像の時間的
な間隔を説明する図である。
な間隔を説明する図である。
【図１１】デュアルプライム予測の場合の画像の時間的
な間隔を説明する図である。
な間隔を説明する図である。
【図１２】探索領域シフトの効果を説明するための図で
ある。
ある。
【図１３】従来の動きベクトル検出装置のブロック図で
ある。
ある。
【図１４】従来の動きベクトル検出装置のブロック図で
ある。
ある。
【図１５】従来の動きベクトル検出装置における探索範
囲を説明する図である。
囲を説明する図である。
【図１６】従来の動きベクトル検出装置における探索範
囲を説明する図である。
囲を説明する図である。
１０１ 参照画像記憶部 １０２ 現画像記憶部 １０３ 動きベクトル検出部 １０４ 動きベクトル統計処理部 １０５ シフト量設定部 １０６ 探索範囲指定部 ２０１ フレームメモリ ２０２ 代表点設定部 ２０３ 減算器 ２０４ フレーム差加算部 ２０５ 最小値検出部 ２０６ 水平オフセット制御部 ２０７ 垂直オフセット制御部 ２０８，２０９ 選択器 ２１０，２１１ 加算器 ３０１ 動きベクトル検出回路 ３０２ 動きベクトルメモリ ３０３ 探索範囲判定器 ３０４ 選択器 ３０５，３０６，３０７ 探索範囲
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−323780（ＪＰ，Ａ) 特開 平４−298184（ＪＰ，Ａ) 特開 平８−307780（ＪＰ，Ａ) 特開 平９−55941（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (11)
- 【請求項１】 動画像符号化で用いられる動きベクトル
の検出装置において、 画像を複数の領域に分割し、前記分割領域毎に、定めら
れた動きベクトルの探索範囲内で、参照画像データと現
画像データとのマッチングをとり、差分が最小となる動
きベクトルを検出する動きベクトル検出手段と、 前記分割領域毎の検出動きベクトルの画面毎の統計量を
計算する動きベクトル統計処理手段と、時間間隔の異なる複数の参照画面が使える場合、当該時
間間隔の平均値を動きベクトルを検出した画面の参照画
面との時間間隔の値とし、 すでに動きベクトル検出を行
った過去の符号化画面における前記計算された動きベク
トルの統計量から、前記動きベクトルを検出した画面の
参照画面との時間間隔と、次にシフト量を設定しようと
する画面の参照画面との時間間隔の比に応じて、次に符
号化する画面の動きベクトルの探索領域のシフト量を算
出するシフト量設定手段と、 前記算出されたシフト量にしたがって、前記動きベクト
ル検出手段に探索すべき動きベクトル候補を指定する探
索範囲指定手段を有する動きベクトル検出装置。 - 【請求項２】 前記動きベクトル統計処理手段は、動き
ベクトルの統計量として、平均値を計算する、請求項１
記載の動きベクトル検出装置。 - 【請求項３】 前記動きベクトル統計処理手段は、動き
ベクトルの統計量として、ヒストグラムを計算する、請
求項１記載の動きベクトル検出装置。 - 【請求項４】 前記シフト量設定手段は、動きベクトル
の平均値をシフト量として設定する、請求項２記載の動
きベクトル検出装置。 - 【請求項５】 前記シフト量設定手段は、動きベクトル
のヒストグラムの最頻値を示す動きベクトルをシフト量
として設定する、請求項３記載の動きベクトル検出装
置。 - 【請求項６】 前記シフト量設定手段は、動きベクトル
のヒストグラムから、一定の頻度以上検出された動きベ
クトルを抽出し、前記抽出動きベクトルの水平方向成
分、垂直方向成分のそれぞれにおいて、最大値と最小値
との平均値をシフト量として設定する、請求項３記載の
動きベクトル検出装置。 - 【請求項７】 前記シフト量設定手段は、動きベクトル
のヒストグラムから、一定の頻度以上検出された動きベ
クトルを抽出し、前記抽出動きベクトルの平均値をシフ
ト量として設定する、請求項３記載の動きベクトル検出
装置。 - 【請求項８】 前記動きベクトル統計処理手段は、順方
向予測のための動きベクトルと、逆方向予測のための動
きベクトルとを検出する場合、前記それぞれの予測方向
の検出動きベクトルの統計量を個別に計算する、請求項
１記載の動きベクトル検出装置。 - 【請求項９】 前記シフト量設定手段は、順方向予測の
ための動きベクトルと、逆方向予測のための動きベクト
ルとを検出する場合、前記それぞれの予測方向の探索範
囲のシフト量を個別に設定する、請求項１記載の動きベ
クトル検出装置。 - 【請求項１０】 前記シフト量設定手段は、時間間隔の
異なる複数の参照画面が使える場合、当該時間間隔の一
つを選択して、時間間隔の値とする、請求項１記載の動
きベクトル検出装置。 - 【請求項１１】 前記シフト量設定手段は、時間間隔の
異なる複数の参照画面が使える場合、前記分割領域で選
択された、当該参照画面の画面全体に対する比率に応じ
て、当該時間間隔の平均値を計算し、前記平均値の動き
ベクトルを検出した画面の参照画面との時間間隔の値と
する、請求項１記載の動きベクトル検出装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13859897A JP3226020B2 (ja) | 1997-05-28 | 1997-05-28 | 動きベクトル検出装置 |
| US09/034,583 US6078618A (en) | 1997-05-28 | 1998-03-04 | Motion vector estimation system |
| CA 2231703 CA2231703C (en) | 1997-05-28 | 1998-03-05 | Motion vector estimation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13859897A JP3226020B2 (ja) | 1997-05-28 | 1997-05-28 | 動きベクトル検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10336666A JPH10336666A (ja) | 1998-12-18 |
| JP3226020B2 true JP3226020B2 (ja) | 2001-11-05 |
Family
ID=15225843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13859897A Expired - Fee Related JP3226020B2 (ja) | 1997-05-28 | 1997-05-28 | 動きベクトル検出装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6078618A (ja) |
| JP (1) | JP3226020B2 (ja) |
| CA (1) | CA2231703C (ja) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU732968B2 (en) * | 1997-03-06 | 2001-05-03 | Canon Kabushiki Kaisha | Moving image correcting circuit for display device |
| JP3149840B2 (ja) * | 1998-01-20 | 2001-03-26 | 日本電気株式会社 | 動きベクトル検出装置及び方法 |
| JP4453202B2 (ja) * | 1998-11-25 | 2010-04-21 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにコンピュータ読み取り可能な記録媒体 |
| WO2000046695A1 (en) * | 1999-02-01 | 2000-08-10 | Koninklijke Philips Electronics N.V. | Descriptor for a video sequence and image retrieval system using said descriptor |
| DE19909627A1 (de) * | 1999-03-05 | 2000-09-07 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz |
| JP3508916B2 (ja) * | 1999-03-11 | 2004-03-22 | 日本電気株式会社 | 動画像可変ビットレート符号化方法および装置 |
| JP4496595B2 (ja) * | 1999-03-29 | 2010-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP2000324498A (ja) * | 1999-05-13 | 2000-11-24 | Nec Corp | 動画像符号化装置 |
| JP2001197501A (ja) * | 2000-01-07 | 2001-07-19 | Fujitsu Ltd | 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置 |
| JP2001285874A (ja) * | 2000-03-28 | 2001-10-12 | Nec Corp | 動きベクトル探索装置、方法及びプログラムを記録した記録媒体 |
| US6765964B1 (en) | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
| US6987866B2 (en) * | 2001-06-05 | 2006-01-17 | Micron Technology, Inc. | Multi-modal motion estimation for video sequences |
| ATE404019T1 (de) | 2001-09-12 | 2008-08-15 | Nxp Bv | Bewegungsschätzung und/oder kompensation |
| EP1468569B1 (de) * | 2002-01-23 | 2008-03-19 | Siemens Aktiengesellschaft | Kodierung von bildfolgen mit einer vielzahl von bildblöcken und referenzbildern |
| KR100956910B1 (ko) * | 2002-07-02 | 2010-05-11 | 파나소닉 주식회사 | 움직임 벡터 도출 방법, 동화상 부호화 방법, 및 동화상복호화 방법 |
| KR20040049214A (ko) * | 2002-12-05 | 2004-06-11 | 삼성전자주식회사 | 고속 모션벡터 추정장치 및 방법 |
| US7340460B1 (en) * | 2003-04-04 | 2008-03-04 | Yahoo! Inc. | Vector analysis of histograms for units of a concept network in search query processing |
| US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
| TWI230890B (en) * | 2003-12-29 | 2005-04-11 | Pixart Imaging Inc | Handheld pointing device and method for estimating a displacement |
| JP4671696B2 (ja) * | 2004-01-14 | 2011-04-20 | パナソニック株式会社 | 動きベクトル検出装置 |
| US8462850B2 (en) * | 2004-07-02 | 2013-06-11 | Qualcomm Incorporated | Motion estimation in video compression systems |
| US7609765B2 (en) | 2004-12-02 | 2009-10-27 | Intel Corporation | Fast multi-frame motion estimation with adaptive search strategies |
| US7716162B2 (en) * | 2004-12-30 | 2010-05-11 | Google Inc. | Classification of ambiguous geographic references |
| US20060233258A1 (en) * | 2005-04-15 | 2006-10-19 | Microsoft Corporation | Scalable motion estimation |
| US8588513B2 (en) * | 2005-07-18 | 2013-11-19 | Broadcom Corporation | Method and system for motion compensation |
| CN100461865C (zh) * | 2005-10-21 | 2009-02-11 | 广达电脑股份有限公司 | 运动矢量估计系统 |
| US8494052B2 (en) * | 2006-04-07 | 2013-07-23 | Microsoft Corporation | Dynamic selection of motion estimation search ranges and extended motion vector ranges |
| US8155195B2 (en) * | 2006-04-07 | 2012-04-10 | Microsoft Corporation | Switching distortion metrics during motion estimation |
| US20070268964A1 (en) * | 2006-05-22 | 2007-11-22 | Microsoft Corporation | Unit co-location-based motion estimation |
| CN101569201B (zh) * | 2006-11-07 | 2011-10-05 | 三星电子株式会社 | 基于帧内预测进行编码和解码的方法和装置 |
| JP4895853B2 (ja) * | 2007-02-15 | 2012-03-14 | パナソニック株式会社 | 動きベクトル検出装置および動きベクトル検出システム |
| TWI367026B (en) * | 2007-03-28 | 2012-06-21 | Quanta Comp Inc | Method and apparatus for image stabilization |
| EP2188978A2 (en) * | 2007-09-10 | 2010-05-26 | Nxp B.V. | Method and apparatus for line-based motion estimation in video image data |
| US20110170605A1 (en) * | 2008-09-24 | 2011-07-14 | Kazushi Sato | Image processing apparatus and image processing method |
| JP5423305B2 (ja) * | 2008-10-16 | 2014-02-19 | 株式会社ニコン | 画像評価装置及びカメラ |
| US8295551B2 (en) * | 2009-04-08 | 2012-10-23 | Samsung Electronics Co., Ltd. | System and method of adaptive vertical search range tracking for motion estimation in digital video |
| US8462852B2 (en) * | 2009-10-20 | 2013-06-11 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
| US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
| US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
| JP5299820B2 (ja) * | 2010-01-20 | 2013-09-25 | 株式会社日立国際電気 | 画像処理装置及び動画像符号化装置。 |
| JP5310614B2 (ja) * | 2010-03-17 | 2013-10-09 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法 |
| CN102986224B (zh) | 2010-12-21 | 2017-05-24 | 英特尔公司 | 用于增强的解码器侧运动向量导出处理的系统及方法 |
| JP5880119B2 (ja) * | 2011-05-31 | 2016-03-08 | 株式会社Ｊｖｃケンウッド | 映像信号処理装置及び方法 |
| JP5880116B2 (ja) * | 2012-02-17 | 2016-03-08 | 株式会社Ｊｖｃケンウッド | 映像信号処理装置及び方法 |
| JP5880118B2 (ja) * | 2011-05-31 | 2016-03-08 | 株式会社Ｊｖｃケンウッド | 映像信号処理装置及び方法 |
| JP5880117B2 (ja) * | 2011-05-31 | 2016-03-08 | 株式会社Ｊｖｃケンウッド | 映像信号処理装置及び方法 |
| US20150146784A1 (en) * | 2013-11-26 | 2015-05-28 | Vixs Systems Inc. | Motion compensation with moving window |
| JP5970507B2 (ja) * | 2014-08-08 | 2016-08-17 | 日本電信電話株式会社 | 映像符号化装置及び映像符号化プログラム |
| JP7201906B2 (ja) * | 2019-01-15 | 2023-01-11 | 日本電信電話株式会社 | 参照領域決定装置及びプログラム |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0738721B2 (ja) * | 1987-12-23 | 1995-04-26 | 日本放送協会 | 動きベクトル検出回路 |
| US5111511A (en) * | 1988-06-24 | 1992-05-05 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting apparatus |
| JPH07105949B2 (ja) * | 1989-03-20 | 1995-11-13 | 松下電器産業株式会社 | 画像の動きベクトル検出装置および揺れ補正装置 |
| SK399692A3 (en) * | 1990-09-20 | 1995-01-05 | British Broadcasting Corp | Method of determination of suitable motion vector |
| US5200820A (en) * | 1991-04-26 | 1993-04-06 | Bell Communications Research, Inc. | Block-matching motion estimator for video coder |
| JPH05328333A (ja) * | 1992-05-15 | 1993-12-10 | Toshiba Corp | 動きベクトル検出装置 |
| JPH07135663A (ja) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | 動きベクトル検出方法および動きベクトル検出装置 |
| EP0721633B1 (de) * | 1993-09-30 | 1997-03-05 | Siemens Aktiengesellschaft | Prozessor zum vergleich von bildpunkt-blöcken (block-matching-prozessor) |
| US5940130A (en) * | 1994-04-21 | 1999-08-17 | British Telecommunications Public Limited Company | Video transcoder with by-pass transfer of extracted motion compensation data |
| FR2742248B1 (fr) * | 1995-12-06 | 1998-01-23 | Thomson Multimedia Sa | Procede de traitement de donnees dans des reseaux matriciels dans un systeme d'estimation de mouvement |
| US5973755A (en) * | 1997-04-04 | 1999-10-26 | Microsoft Corporation | Video encoder and decoder using bilinear motion compensation and lapped orthogonal transforms |
-
1997
- 1997-05-28 JP JP13859897A patent/JP3226020B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-04 US US09/034,583 patent/US6078618A/en not_active Expired - Lifetime
- 1998-03-05 CA CA 2231703 patent/CA2231703C/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10336666A (ja) | 1998-12-18 |
| US6078618A (en) | 2000-06-20 |
| CA2231703C (en) | 2003-08-05 |
| CA2231703A1 (en) | 1998-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3226020B2 (ja) | 動きベクトル検出装置 | |
| US8379094B2 (en) | Apparatus and method for obtaining motion adaptive high dynamic range image | |
| KR100973429B1 (ko) | 배경 움직임 벡터 선택기, 업-변환 유닛, 이미지 처리 장치, 배경 움직임 벡터 선택 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| JP3149840B2 (ja) | 動きベクトル検出装置及び方法 | |
| US5387947A (en) | Motion vector detecting method of a video signal | |
| US7773674B2 (en) | Image matching device and method for motion pictures | |
| JP2005287048A (ja) | 画像境界における動きベクトル検出の改良 | |
| JP2005318620A (ja) | 適応時間予測を用いた動きベクトル検出 | |
| JPH09163380A (ja) | 画像符号化装置及び動きベクトル検出方法 | |
| JP2005287049A (ja) | ベクトルに基づく、画像境界における動き補償方法およびその装置 | |
| JPH10262258A (ja) | 画像符号化装置及び方法 | |
| US7590288B1 (en) | Method and/or apparatus for detecting edges of blocks in an image processing system | |
| EP1802127B1 (en) | Method for performing motion estimation | |
| US6668070B2 (en) | Image processing device, image processing method, and storage medium | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP2608909B2 (ja) | 動画像の予測符号化方式 | |
| JP3237815B2 (ja) | 動きベクトル探索方法および装置 | |
| JP6758977B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JPH08242454A (ja) | グローバル動きパラメタ検出方法 | |
| JP4349542B2 (ja) | 動画像内のテロップ領域検出装置 | |
| JPH10304371A (ja) | 動きベクトル検出装置 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP3004799B2 (ja) | 画像符号化方法と装置 | |
| JP2894335B2 (ja) | 画像符号化装置、方法及びプログラムを記録した記録媒体 | |
| JP3832924B2 (ja) | 画像信号処理方法、画像信号処理装置及びコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070831 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080831 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080831 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090831 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090831 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100831 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110831 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120831 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130831 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |