JPH11505687A

JPH11505687A - 動作補償フィルタリング

Info

Publication number: JPH11505687A
Application number: JP8533119A
Authority: JP
Inventors: ボアラー・ティモシー・ジョーン
Original assignee: インノビジョンリミティッド
Priority date: 1995-05-02
Filing date: 1996-05-01
Publication date: 1999-05-21
Also published as: DE69601362T2; ES2128168T3; DK0824828T3; DE69601362D1; US6069670A

Abstract

(57)【要約】インターレースビデオ信号の動作補償フィルタリングのビデオ処理方法およびシステムであって、このシステムは、各出力サンプリング部位に対応する動作ベクトルを生成する動作推定装置と、対応する動作ベクトルによって変化する出力サンプリング部位それぞれの入力座標のセットを発生するベクトルプロセサーと、入力ピクセル値を保持して可変ディレイを提供するメモリー内のデータ保持手段と、複数の乗算器と対応する係数保持手段と、各乗算器から得た部分的結果を足し算する足し算器、とを含み、これらの乗算器は、入力座標の部位によってデータ保持手段から選択された入力ピクセル値を、入力座標の別の部位によって係数保持手段から選択された係数で乗算し、フィルターアパチャーは、動作推定装置で供給された動作ベクトルの垂直速度要素によって選択される。

Description

【発明の詳細な説明】動作補償フィルタリング本発明は、インターレース信号の動作補償フィルタリングまたは補間の改良に関するものであり、テレビ画像などの特殊なビデオシーケンスにおいて、インターレースビデオシーケンスが動作ベクトルを使用して生成される全ての領域において適用され、次の用法を含む（ただしそれらに限定されるものではない）：１．ビデオ圧縮２．ビデオからフィルムへの変換３．動作補色復調４．ビデオ動作推定５．テレビ標準方式変換６．スロー動作ディスプレイ本願において、ビデオシーケンスとは、インターレース形式にサンプル化された画像シーケンスである。画像は何らかの典型特性の多次元表示表現である場合もあるが、明度は限定されない。このように、動画像はシーン特性の時間的かつ空間的な表示であり、画像シーケンスは、ある瞬間にサンプル化された動画像である。動画像のポイントがサンプル化される瞬間は、そのポイントの空間的位置によって変わってもよい。ピクチャーセルは、画像が表現しているシーンの特性に値する、またはある種の画像座標に値する画像のサンプルである。画像内のポイントの位置を詳しく表す画像座標は、サンプル画像がサンプルにされたポイントに対応している必要はない。従って、画像座標は、出力入力とも、量子化する必要はない。サンプル部位は、サンプル画像におけるピクチャーセルの画像座標である。従来の動作補償フィルタリングまたは補間は、付録１にリストされた参考２，３，４，５，１０，１２，１３，１４，１６，１７，１８，２０の中で詳しく説明されている。このプロセスは以後、ＭＦＣもしくは従来のＭＦＣと呼び、フィルタリングと同様に補間のプロセスも含むものとする。従来の動作補償フィルタリングまたは補間の、ハードウェア構成は、参考３，４，１８，２０で説明されている。単純な構成としては、参考３と図１で説明されている、フィルタリングまたは補間のセルまたはタップのカスケード接続または構造がある。図１には、出力画像の各出力サンプリング部位の動作ベクトルをフィルタリングまたは補間操作で使用される入力画像の入力座標に変換する、ベクトルプロセッサー１を持つ、従来のＭＣＦフィルターセルが示されている。ベクトルプロセッサーは、参考の中で説明されているようなカウンターによって発生された出力サンプリング部位と、参考で説明されているような動作推定器ハードウエアからの関連の動作ベクトルと、を受け、後続のフィールドにおいて出力サンプリング部位に対応する正確な入力座標を見つけるための調査を行う。動作推定器は、動画像に応じた動作ベクトルを推定するための装置である。推定された動作ベクトルは、画像処理システムのために、入力または出力のサンプリングラティスでサンプル化される。ＭＣＦにおいては、入力・出力のラティスは通常同一である。動作補償補間においては、推定された動作ベクトルは、出力サンプリングラティスでサンプル化されるものである。入力座標は、出力サンプリング部位、動作ベクトル、フィルターアパチャー内のフィルタータップの位置、によって変化するものである。可変ディレイ２は、その時々の入力座標の整数部によって決定される出力サンプリング部位のために、乗算器３に正確な入力ピクセル量を供給、つまり入力画像から画像処理システムに供給する。乗算器３は、ＲＯＭに記憶された索引テーブル４に保持されている、予め計算された係数によってピクセルの量を乗算する。この係数は、要求されたフィルター特性とサブピクセル、もしくは図１に見られるようなベクトルプロセッサによって供給される入力座標の分数部によって決定される。フィルターアパチャーとは、フィルターのインパルス応答のことである。このアパチャーはフィルタータップの数や時空(spatio-temporal)を表すフィルターの指示部位とは異なる。テレビ標準方式変換のために使用されるような、典型的な動作補償トランスバーサルフィルタまたは補間器は、４つのフィールドをスパニングするアパチャーを有することがあり、それぞれのフィールドには４つのフィールドラインと、またそれぞれのフィールドラインには２つのピクセルがある。フィールドライン間隔は、垂直にサンプルされた画像の垂直に連続したライン間の距離であるピクチャーラインの２倍である。垂直に連続したピクチャーラインは、同じ瞬間にサンプル化される必要はない。インターレースビデオシーケンスでは、垂直に連続したピクチャーラインは、時間的に隣合うフィールドの上にある。従って、そのようなフィルターは、互いがカスケード接続された３２個の補間またはフィルターセルを必要とする。考えられる構成のひとつでは、可変ディレイ２は２重ポートＲＡＭ（ランダムアクセスメモリ）を利用して構成される。２重ポートＲＡＭが４つの完全なフィールドを保持できるようにすることによって、フィルターアパチャーのどのポイントも可変ディレイ２から接続できる。ディレイは、参考３のページ１７９に説明されているようなオフセット読み書きアドレスを提供することによって構成される。与えられた出力ピクセルのために構成された独自のディレイは、そのピクセルに対応する入力座標の整数部によって変化する。使用された乗算器の係数は、索引テーブルとしてＲＯＭ（リードオンリーメモリー）に保持される。使用されるある種の係数は、対応する入力座標の分数部によって、完全なフィルターアパチャーから選択される。この例では、各係数索引テーブルは完全なフィルターまたは補間アパチャーの３２分の１の部分を含んでいる。別の構成では、係数索引テーブルは係数の完全なアパチャーセットを含んでいてもよい（参考３）。係数索引テーブルは、参考４に見られるように、検索テーブルで乗算器と組み合わせて、ＲＯＭにおいて構成できるようにすると、便利である。フィルターまたは補間係数索引テーブル４のサイズは、従来の動作補償フィルターにおいては、フィルターアパチャーや、フィルターに供給される動作ベクトルの精度によって判断される。フィールド毎に、ピクチャーライン間隔または垂直ピクセル間隔の１６分の１のベクトル精度である場合の基準変換補間を例に考える。係数索引テーブルのサイズは以下説明するように計算される。空間位相の数は、動作ベクトルの空間的精度に対応している。時間的位相の数は、補間の時間的精度を判定する（参考３，６，７）。典型的には、商業基準方式変換器用には１６個の時間的位相がある。水平の２つのタップ、１６個の位相＝５ビット垂直の４つのフィールドラインと１６個の位相、８個のピクチャーラインと１６個の位相＝７ビット時間の４つのフィールドと１６個の位相＝６ビット合計１８ビットこの例では、係数索引テーブルサイズの合計は１８ビットのアドレス空間を持っている。索引テーブルは、３２個の別個の小さい索引テーブルに区切られている。一つは各補間セル用のものなので、各索引テーブルのサイズは１３ビットのみである。他の構成では、係数索引テーブルは完全なアパチャーを含んでいなければならないかもしれない。動作推定フィルタと補間器との違いは、補間器が複数の時間的位相を持っているのに対し、フィルタは時間的位相をだだ一つだけ持っていることである。フィルターが、入力フィールドと時間的に同部位に存在する出力を生成するのが典型的である。複数位相または多重位相フィルタは参考８に詳細されている。視覚的に非常に邪魔になるのでビデオ作成においてエイリアシングを回避することが強く望まれている。従来の、時空、ＭＣＦにおいては、単一の補間アパチャー、フィルター係数のセットが使用される。このプロセスでは、ビデオ信号のインターレース的性質による、好ましくない偽信号を取り除くことはできない。従来のＭＣＦの出力に存在する、これらの好ましくない偽信号は、ＭＣＦを使用したビデオ再生システムの機能を著しく低下させている。これらの好ましくない偽信号が起きる原因は、全ての動作のスピードに対して、ただ一つの補間アパチャーを使用している点にある。さらに、フィルターアパチャーが、時空の、信号スペクトルイグノアリング位相の倍率だけを考慮して設計されている点にある。そこで、本発明は、複数のフィルターセルを含む、ビデオ連続生成のためのフィルターまたは補間装置、を提供する。その特徴とするところは、フィルターセルが互いの間で、各サンプリング部位に関連する動作ベクトルの垂直速度合成によって変化するフィルターアパチャーを構成して、異なる垂直速度には異なるフィルターアパチャーが使用されるようにすること、である。本発明はまた、インターレーステレビ信号の動作補償フィルタリングのシステムを提供し、このシステムは、各サンプリング部位に対応する動作ベクトルを生成する動作推定装置と、対応する動作ベクトルによって変化する出力サンプリング部位それぞれの入力座標のセットを発生するベクトルプロセッサーと、入力ピクセル値を保持して可変ディレイを提供するメモリー内のデータ保持手段と、複数の乗算器と対応する係数保持手段と、を有し、これらの乗算器は、入力座標の部位によってデータ保持手段から選択された入力ピクセル値を、入力座標の別の部位によって係数保持手段から選択された係数で乗算し、フィルターアパチャー（フィルター係数のセット）は、動作推定装置で供給された動作ベクトルの垂直速度要素によって選択され、各乗算器から得た部分的結果を足し算する足し算器も有する。フィルターまたは補間器がメモリー内に保持されている係数索引テーブルを含み、異なる係数のセットの総数は２^P+1で、ここでｐはビットの垂直ベクトル精度を示す。この垂直ベクトルは入力ピクチャーラインまたはフィールドピリオドの単位で計測される。本発明は、インターレースビデオ信号生成の方法にも含まれる。この方法は、入力フィールドの空間スペクトラの信号と偽信号の合成の位相に従って、フィルターまたは補間器アパチャーを付加する。この方法は、各出力サンプリング部位に関連した垂直速度によるフィルターアパチャーを使用している。異なる速度には異なるフィルターアパチャーが使用され、フィルターアパチャーは隣合う出力サンプリング部位間で変化させることができる。この方法では、動作ベクトルを各出力サンプリング部位に割当て、各出力サンプリング部位向けに入力座標セットを生成し、各動作ベクトルの垂直部に従って複数の計算済フィルターアパチャーから１つのフィルターアパチャーとフィルター係数を選択し、各入力座標の分数部によってフィルターアパチャーから係数を選択し、各入力座標の整数部によって入力ピクセル値を選択し、入力座標は各フィールドピリオト毎に入力ピクチャー内で計測され、各入力ピクセル値を対応する係数で乗算して各出力サンプリング部位に対し部分結果を生成し、それら部分結果を足し算する、という工程が含まれることもある。フィルターアパチャーの必要数は、動作ベクトルの垂直合成の精度によって変わる。フィルタリングの改良としては、望ましい信号合成だけを残して望ましくない偽信号合成をキャンセルするために、入力フィールドの空間スペクトラの信号と偽信号の合成の位相と倍率に基づいて、フィルターの周波数応答を設計することで実現できる。本願は、上記したようにまた次に詳細したようにフィルターアパチャーを指定し、フィルターまたは補間アパチャーを動作ベクトルに付加することによって、動作補償フィルタまたは補間器の出力における望ましくない偽信号を大幅に減衰することを可能にした。後続の空間スペクトラの信号と偽信号の合成の位相と倍率を考慮することによって、次に述べたように、従来のＭＣＦの出力に存在した偽信号をほぼキャンセルするフィルターアパチャーを指定することが可能になった。これを完遂するために、異なる垂直動作速度には異なるフィルターアパチャーが必要となる。これは、垂直動作速度によって異なるフィルターまたは補間アパチャーを選択することによって完遂される。動作補償フィルターに供給される垂直動作ベクトルの量子化によって、ある一定数の異なるフィルターアパチャー数が要求されていることが確認できる。本発明は、正確には、垂直速度付加動作補償フィルタリング（ＶＡＭＣＦ）と表現されるものである。次に、本発明の用例を参考例とともに図面に沿って説明する。図１は、動作補償フィルタリングの構成の従来例による動作補償フィルターまたは補間セルのブロック図である。図２は、第一実施例にかかるＶＡＭＣＦまたは補間セルのブロック図である。図３は、別の実施例にかかるＶＡＭＣＦまたは補間セルの代替えのブロック図である。図４は、プログレッシブ変換へのインターレースの方法のブロック図である。図５は、合成ビデオ復調器のブロック図である。図６は、フィールドの異なる信号を計算するためのフィールドタイミングの概略図である。本発明の方法において、動作ベクトルの垂直速度合成によって、多くの異なる補間アパチャーの内の一つがフィルタリングに使用される。付録２に説明しているような、的確なフィルターデザインをもってすれば、インターレース入力の中にあるエイリアシングがキャンセルされて、好ましくない偽信号が殆ど含まれない出力を生成することができる。そのために、異なる垂直動作速度には異なる補間アパチャーが要求される。要求される異なるフィルターアパチャーの数は、垂直ベクトル精度による。垂直動作速度がピクチャーラインまたはフィールドピリオドで測定される場合、要求される異なる係数のセットは、２^p+1で、ここでｐはビットの垂直ベクトル精度を示す。１６分の１のピクチャーラインまたはフィールドピリオドの精度に測定される垂直ベクトルを得るには、２⁴⁺¹＝３２の異なる係数のセットが要求される。この係数のセットをアドレスするのに要求されるＰ＋１（この例では５つ）のビットは分数垂直ベクトルと最小限の整数ベクトルビットである。このように、図２に従ってＶＡＭＣＦを構成することができる。図２のフィルターセルは、係数４’が複数のフィルターアパチャーとフィルター係数を含んでいるために比較的大きい点と、フィルターアパチャーが動作ベクトルの垂直速度合成によって選択されるという点において、図１のものと異なる。この例でＭＣＦよりＶＡＭＣＦを構成するためには、係数索引テーブルのサイズは１３ビットアドレス（上記参照）から１８ビットアドレスに増加する。１つの係数索引テーブルに保持されるすべてのアパチャーからすべての係数を要求する構成の場合は、アドレススペースは１８ビットから２３ビットに増加する。いづれの場合でも、要求される索引テーブルのサイズにおいては非常な増加である。ＶＡＭＣＦにとっては、ベクトル処理と係数索引テーブルを合体させることが有利である。これによって、係数アドレスとアパチャー係数セットアドレスの垂直部が冗長情報を含むので、要求される索引テーブルのサイズを小さくすることもできる。垂直動作速度と時間的係数アドレスが与えられるので、係数アドレスもアパチャー係数セットアドレスも見ることができる。この結果図３の構成が得られる。図２または図３の最もよい構成は、垂直アパチャーサイズと最大垂直速度によって実現される。最大垂直速度が＋−３２ピクセル（ピクチャーライン）またはフィールドピリオドである場合、図３でＲＯＭにおいて実現された索引テーブル６のサイズは、この例の場合、水平２タップ、１６位相＝５ビットテンポラル４タップ、１６位相＝７ビット垂直＋−３２ピクチャーラインまたはフィールド、精度１６分の１＝９ビット合計＝２１ビットであって、図２の構成より２ビット少ない。図２、図３のフィルターセルは、図１に見られる従来の動作補償フィルタの改良を含み、結果としての動作補償フィルタは垂直動作速度に加算されてエリアシングをキャンセルする。異なる垂直速度に異なる補間アパチャーを使用することによって、生来インターレーステレビ信号出力に存在していたエイリアシングをキャンセルすることができ、これによって動作補償フィルタリングおよび補間システムの出力が劣化するのを避けることができる。ＶＡＭＣＦには、少なくとも２つのフィールドをスパニングする最小フィルターアパチャーが必要であるが、２つ以上のフィールドを使用することで付録２に示すように結果はより良くなる。例１ビデオ圧縮のための、インターレースからプログレッシブへの変換多くのビデオ圧縮システム（たとえばＪＰＥＧ，ＭＰＥＧ，サブバンドコーディング、波形化変換手法）は、インターレースピクチャーよりプログレッシブを使用するほうが良く機能する。しかし、多くのビデオソースはプログレッシブスキャンビデオよりインターレースの方を生産している。従って、最も良い圧縮システムを得るためには、インターレースビデオをプログレッシブ形式に変換することが要求される。現存のこの変換器は、それらが固定式のフィルターまたは動作適応または動作補償されたものであれば、プログレッシブ出力に相当量のエイリアシングを放置せずには、この変換を行うことができない。このエイリアシングは、かなりビデオ圧縮システムの操作を劣化させ得る。本発明の改良した動作補償フィルタリングを使用すると、プログレッシブ信号中の望ましくないエイリアシングを減らすことによって、インターレースからプログレッシブへの変換の質を向上させることができる。これは言い換えると、圧縮システムの質が向上、またはビット率が減少することになる。このインターレースからプログレッシブへの変換の概念は、図４のフィルターである。インターレース入力は、まず、多くのディジタル信号処理にかかる文献に説明されているように、零を埋め込んで非常に偽信号の多いプログレッシブ信号を生成する。このゼロパッド信号は、それからフィルターされて出来るかぎり排除される。フィルター７は、固定式の線型フィルターまたは動作適応フィルターまたはメディアンフィルターのような非線型フィルターまたは従来の動作補償フィルターであってもよい。もし、偽信号をキャンセルする動作補償フィルターが使用されれば、それは本願でいうところのＶＡＭＣＦであって、ほぼ偽信号のないプログレッシブ出力が生成される。インターレースからプログレッシブへの変換に使用される、偽信号をキャンセルする動作補償フィルター（ＶＡＭＣＦ）には、最低２つのフィールドをスパニングするアパチャーが必要となる。しかし、これによって、信号雑音や使用する動作ベクトルの不正確さが無くなるわけではない。２フィールドフィルターはまた、出力フィールドの途中でプログレッシブ出力を生成するような、不都合な非零グループディレイ、または劣った結果を生む非対称アパチャーの、いずれかの不利点がある。インターレースからプログレッシブへの変換するための、偽信号をキャンセルする動作補償フィルター（ＶＡＭＣＦ）のより良い例では、３つ以上のフィールドアパチャーが使用される。これによって、零グループディレイ〜入力フィールドと同時の出力フレーム〜を伴う対称アパチャーと、出力信号雑音や動作ベクトルエラーの減少と、が得られる。フィールドが３つあれば、インターレースからプログレッシブへの変換に必要な情報より多くの情報を得ることができるが、数学的に判断を越える問題として、出力フレームは、３つの入力フィールドのすべてに対する最小自乗（ＬＭＳ）近似値として、判断されうる。このＬＭＳ近似値（付録２に詳細）は、上記したような粗雑な特徴を提供している。最良の（ＬＭＳ）出力フレームを提供するためのフィルター特性の計算においては、３つのフィールドのすべてからのエラーの平等に重みを付加する必要はない。最良の方法は、おそらく、アパチャーの中央のフィールドからのエラーに、側方の２つのフィールドの２倍の重みを付加することである。この重みつきＬＭＳのフィルターデザインへのアプローチは、付録２に説明している。明らかに、ＶＡＭＣＦをアパチャーの３つ以上のフィールドをもって実現することは可能である。入力フィールドの数が増えると、ノイズや動作ベクトルエラーの入力を免れるが、ハードウエアの複雑性も連続動作も増加し、動作補償は行わないので、多くのフィールドが破壊されやすい。実用面では、おそらく、３つから５つのフィールドフィルターを使用することに落ちついている。例２ビデオからフィルムへの変換ビデオ信号をフィルムに記録できるように変換する（録画）ことは、時に望まれることである。これは目的を達成するため、つまり独自機能を備えていると思われるビデオシーケンスを動作ピクチャーフィルムに挿入するために行われることである。各フレームに２フィールドを記録することによって、２５フレーム／セカンドフィルムに、５０フィールド／セカンドビデオシーケンスを記録することができる。同様、３０フレーム／セカンドフィルムに、６０フィールド／セカンドビデオシーケンスを記録することができる。しかし、光記録やプレイバック（テレシネ）操作における登録上の問題や空間的な偽信号のために、記録されたフィルムフレームから元の２フレームを回復させることは、非常に困難であるとされる。もし別々のフィールドがリプレイされた信号において混同されれば、動作シーンにおいてかなり邪魔な失敗が生じると思われる。仮に正確に回復されたとしても、フィルムが光プロジェクターを使用してディスプレイされる場合には、ペアーになったフィールドの動作は受理されないと思われる。ペアーのフィールドの記録における問題点を回避するために、インターレース信号をプログレッシブフォーマットに変換する必要がある。これによって、一つの連続フレームが各フィルムフレームに記録されることができる。この技術によって上記したようなペアーのフィールドの記録に伴う問題を回避できる。この録画用の、インターレースからプログレッシブへの変換工程は、改良された性質のものを提供するためにＶＡＭＣＦを使用した、ビデオ圧縮（例１）と全く同じ方法で実行することができる。録画で唯一異なることは、５０Ｈｚのインターレースソースを発生させるのに、５０Ｈｚでなくただ２５Ｈｚのプログレッシブ出力が必要とされることである。このプログレッシブ出力もまた、ＶＡＭＣＦを使用することによって改良された性質のものを提供することができる。例３動作補償色解読多くの技術は、複合カラーテレビ信号（ＰＡＬ、ＮＴＳＣ）を解読するものとして、書物において説明されている。１つの例が図５に示されている。この形態は、２つの異なるベースバンドクロミナンスパスフィルター８，８’ を含んでいる。このクロミナンスパスフィルターは、１次（水平）、２次（空間的）、または３次（時空間的）な、フィルターのいづれかでありうる。多次元線型フィルターは色復調の分野では、たいてい、くし形フィルターと呼ばれている。色復調回路のくし形フィルターは、従来の動作補償時空くし形フィルターに置き換えられる。これによって動作補色復調器をつくることができる。また非動作補償くし形フィルター復調器に比べてより良い結果をだすと思われる。残念ながら、動作補償くし形フィルターの出力ににはなお、クロミナンス／ルミナンス分離を損なう偽信号要素が含まれている。もし図５のようにくし形フィルターの替わりにＶＡＭＣＦが使用されれば、フィルターの出力のエリアシングは減衰され結果、より良いクロミナンス／ルミナンス分離を達成することができる。そのようなフィルターのフィルター係数は、復調された合成信号の倍率や位相を計算にいれた上で設計される。しかし、ＶＡＭＣＦは、なおフィルター出力の中のエリアシングを回避するためには必要である。例４インターレースビデオ信号を使用した動作推定多くのビデオ動作推定の技術において（参考１，２，３，９，１１，１３，１４，２１）、入力ピクチャーの変位ヴァージョンを比較して、考えられる動作ベクトルの効果をテストする必要がある。入力ピクチャーは、シークエンスにおける先の、または後に続くピクチャーの変位ヴァージョンから引き算されるのが、典型的なことである。残念ながら、もし入力がインターレースシーケンスであれば変位フィールドディファレンス信号は、インターレース信号の中の暗黙のエリアジングに起因する相当のエネルギーを含んでいる。この偽信号エネルギーは、動作推定の前では、フィールド内フィルタリングによって取り除くことはできない。偽信号エネルギーは動作推定を混同させ、結果、動作ベクトルを使用する下手の工程にとって悪い影響を与えるような、誤った動作ベクトルを発生することになる。偽信号キャンセリング動作補償フィルタリング（ＶＡＭＣＦ）を使用することにって、ほぼ偽信号のない変位フィールドディファレンス信号が発生され、動作推定に使用されることがでる。これによって、動作推定がエリアジングによって混乱させられる機械を少なくし、より良い動作推定を行うことができるようになる。偽信号のない変位フィールドディファレンス信号を発生させるために、通常の２つではなく、３つ以上のフィールドを使用することが必要となる。従来の、フォワードまたはバックワードフィールドディファレンス信号は、従来の、２フィールドアパチャーを備えた動作補償フィルターによって発生されている。使用するアパチャーは、時間的ハイパスフィルターであるところのフィールドディファレンスであって、空間的およびフールド内補間を含むこともある。使用する動作ベクトルは、テスト中のベクトルである。この工程は、まず２つのフィールドの平均値を計算して、それからその平均値を、２つの入力フィールドのそれぞれから差し引くもの、と考えることもできる。これによって２つのエラー信号が与えられる。もし、フィールドが、インターレースされるよりも漸進的にスキャンされるのならば、平均フィールドは、２つの入力に最も適したＬＭＳになるであろう。偽信号のない変位フィールドディファレンスを発生させるために、概念では、まず３つ以上の入力フィールドのプログレッシブフレームのＬＭＳ推定を計算する。次に、変位フィールドディファレンス信号がそのプログレッシブフレームから計算される。これはアパチャー内の各入力フィールドについて行われる。それ以上またはそれ以下の数のフィールドでは可能であるが、典型的には、３つのフィールド（たとえば図６に示したように、フィールド０，１，２および０，−１，−２が、偽信号のないフォワードおよびバックワードフィールドディファレンス信号を発生するのに使われる）を使用する。フィールド０，−１，＋１は従来のフォワードおよびバックワードフィールドディファレンス信号をそれぞれ発生するのに使われる。３つのフィールドアパチャーを使用すると、従来のアプローチの、単一一意な変位フィールドディファレンスでなく、３つの異なるフィールドディッファレンス信号が計算される。この３つのうちどれも、従来の変位フィールドディファレンスの替わりに使用できる。一方、偽信号のないアプローチによって提供された、複数のフィールドディファレンスは、たとえばその２乗を取るなどして統合されて、単一のフィールドディファレンスのみを使用して得られるより、ベクトル価値のより有用な測定を提供することができる。偽信号のないフィールドディファレンスの計算は、上記したようにＶＡＭＣＦを使用することによって実現される。各フィールドディファレンスを計算するためには、別々の、時空の、フィルターが必要である。本願のフィルターデザインの技術は、付録２にアウトラインが述べられている。例５テレビ標準方式変換テレビ標準方式変換は、異なるテレビ標準同志の間で変換を行う工程であって、例えば６２５ライン５０ＨｚＰＡＬと５２５ライン６０ＨｚＮＴＳＣとの間などで行われる。色復調および再変調が別々に行われる場合、標準方式変換は３次元の、時空の、の補間問題である。標準方式変換の理論と技術は、参考３，６，７に詳細している。動作補償は、非動作補償標準方式変換に比べて改良された性質を提供するために示されている。従来のＭＣＦは、しかしながらなお、ピクチャーの性質に継続的な劣化をもたらすエリアシングを、出力ピクチャーの中に残している。この劣化は、特にコンピュータグラフィックスなどの、ゆっくり動く、高い質の画像において明らかである。この残存エリアシングが無ければ、この種のピクチャーは、動作補償を利用して、顕著に処理するとができるであろう。ＶＡＭＣＦはテレビ標準に直接適用できる。この場合、エリアシングを除くことは、直接ピクチャーの質を改良することにつながる。標準方式変換は、時間補間処理も含む。異なる時間において、入力フィールドから出力フィールドを発生させることが必要である。これは、出力フィールドが入力フィールドと同時であるような、上記したフィルター例とは正反対のものである。時間補間のフィルター係数の設計は、フィルタリング用の方が複雑である。これは付録２にアウトラインが示されている。例６スロー動作ディスプレイ元の動作よりゆっくりしたビデオ信号をリプレイすることはよく望まれることである。この‘動作のリプレイ’の一般的な例は、テレビのスポーツ番組である。これを達成する方法の１つは、フィールドまたはフレームを十分な速さになるまで単純にリピートすることである。この技術は、一般にビデオ録音でゆっくりした動作をリプレイするのに使われる。残念なことに、それでは不自然で煩わしい‘ジャーキー’動作が起きてしまう。動作補償は、参考１８で述べているような改良された動作を提供するのに使用される。しかし従来の動作補償では出力信号の中に、残存エリアジングが存在する。スロー動作リプレイシステムにおいて、例えば壁の上端などの縦要素によっておこるエリアシングは、静止画像上のウオッブリングディテールを招く。これは視覚的に非常に煩わしい。ＶＡＭＣＦは、テレビ標準方式変換に使われたと同じ方法で、動作の補償されたスロー動作リプレイにも使用することがでる。この理論は基本的に同一であるが、各入力フィールド毎の出力フィールドの数は非常に大きい。この場合、望ましくないエリアシングを除外することは、標準方式変換の場合より重要となる。なぜなら、エリアシングは、信号が低速である方が、多く目につきやすいからである。付録１参考付録２この付録は簡略化するため、垂直的および時間的次元のみを考慮した。水平線次元は当業技術者には旧知のものである。対象ｈが、速度ｖで移動し、動画像を生成する場合：ｇ（ｙ，ｔ）＝ｈ（ｙ−ｖ．ｔ）式１テレビシステムにおいて、継続した時空的画像は、インターレースサンプリングラティス上でサンプル化される。サンプリンググリッドの空間的位置は、連続したフィールド上で、奇数・偶数位置の間で変わる。２つのサンプル化された信号Ｓは、画像ｇが偶数・奇数いづれのフィールドラティスでサンプル化されたかによって各フィールド位置に可能となる。この結果、各フィールドＳｅ、Ｓｏは２つの異なる信号ができる可能性がある。偶数または奇数のサンプル化された信号をフーリエ変換すれば、次の結果が生まれる。これらの式では、ｎは縦周期、Ｆ（ｙ）はフーリエ変換（ｙのみ）、Ｈは対象物のフーリエ変換（複雑スペクトル）、ｈとＹはピクチャーラインスペーシング（フィールドラインスペーシングは２Ｙ）、をそれぞれ表す。式は最初のオーダーエリアシングのみを考慮し、また正の周期にのみ有効（類似した式が負の周期に適用される）である。２つの入力フィールドを使用したインターレースからプログレッシブへの変換の例を考える。２つの入力フィールドを、ｔ＝０，ｔ＝Ｔ（Ｔはフィールドピリオド）とし、最初のフィールドが偶数で２番目のフィールドが奇数とする。２つのフィールドのフーリエ変換は次のマトリックス式となる。Ｓがサンプル化されたフィールドのスペクトラのベクトルで、Ｐが位相要素のマトリックス（離散フーリエ変換マトリックスに類似）、Ｈが対象物スペクトルと偽信号スペクトルのベクトルである。インターレースフィールドからプログレッシブフレームを計算するにおいて、ｔ＝０で、サンプル化（インターレース）されたフィールドからサンプル化されていない画像を見いだす努力をしている。要求されるサンプル化されていない画像は、Ｈ（ｙ）である。式３を解決することによって、Ｈ（ｎ）（およびＨ（ｎ −１／２Ｙ）、つまり要求しないエリアシング）と、Ｈ（ｙ）を逆数フーリエ変換によって見つけ出すことができる。Ｈ（ｎ）の表現として唯一の式は、逆数フーリエ変換式５はからは次の式が与えられる。式６は、各インターレースフィールドを別々にフィールド内フィルターを使用してフィルターしそれからその結果を合計することによって、要求されるプログレッシブ画像ｈ（ｙ）を、見つけ出す、ということを表している。２つのフィールド内フィルターを、連続するフィルター上で合計することは、単一の時空的フィルターを使用すること、と考えられる。使用されるフィールド内フィルタは式５の係数Ｓｅ、Ｓｏの逆数フーリエ変換によて与えられる。式６のフィルターはｖ、つまり垂直動作速度の機能であることを確認する。式６のフィルターは理想状態を表している。フィルターは無限に延長しているので実用化はできない。しかし、式５の係数Ｓｅ、Ｓｏの係数は、理想インターレースからプログレッシブへの変換フィルターの、周波数領域の仕様を表している。インターレースからプログレッシブへの変換器の操作は、本文で述べたように２つ以上のフィールドアパチャーを使用することによって改良される。ｔ＝−Ｔ，０，＋Ｔのフィールドでフィールドアパチャーが３つの場合、式３は次のようになる。本件の場合、位相マトリックスは正方形でなく長方形であるので、もはや式７を逆数にしてＨ（ｎ）を見いだすことはできない。しかしながら、次の通常式で答えを出すことによってＨ（ｎ）のＬＭＳ近似値を見いだすことができる。この式において、シンボルｈはマトリックスのエルミート共役（転置の複雑共役）を表している。Ｈ（〜）はＬＭＳ近似値を示している。Ｈを解くために次の式が与えられる。ＨのＬＭＳ解決によって、エリアジング除去フィルターの周波数領域仕様が提供される。それの表用的なヴァージョンは、多数の公表技術を用いて計算することができる。インターレースからプログレッシブへの変換のための、３つのフィールドアパチャーの場合、アパチャーの中央のフィールドにより大きいプロミネンスを与えることが望ましい。例えば、２つの外側の奇数フィールドの重みを中央の偶数フィールドの半分の重みにすることが望ましい。これは、次のような適度な重みマトリックスを用いて式７を計算することによってできる。式１０を計算することによって、重みを有するＨのＬＭＳ解決を見いだすことができる。実用的フィルターは、再度、式１１にあるような周波数領域仕様から設計することができる。標準方式変換のための補間フィルターの設計は、インターレースからプログレッシブへの変換のためのフィルターに似ている。標準方式変換の工程は、インターレース入力からのプログレッシブフレームのシーケンスを計算すること、と見なされる。インターレース出力は、標準方式変換器から要求されるのが典型的である。これは、概念的には、単純に空間上にプログレッシブフィールドをほぼサブサンプリングしてインターレース信号を出すことによって、用意に達成することができる。実用面でいうと、これは、出力ポイントの数の半分のみを、要求されるハードウエアの対応するセイビングで計算するだけでよい、ということである。標準方式変換においては、インターレースからプログレッシブへの変換とは反対に、出力フィールドは、入力フィールドの瞬間瞬間の異なる時間において要求される。これの効果は、位相マトリックスＰの位相時間を変えることである。位相マトリックスの要素は、依然、式２を用いて計算される。標準方式変換においては、使用されている値ｔは、もはやフィールドピリオドの整数倍ではない。この小さな変化以外は、上記式が依然適用される。このように、標準方式変換のためのフィルター設計は、インターレースからプログレッシブへの変換に使用されものと本質的には非常に似ている。動作推定において、考えうる動作ベクトルの効果を、後続のフィールドを比較することによって、テストすることが、しばしば要求される。残念なことに、この比較は、従来は、ビデオシグナルのインターレース特性のために複雑化されていた。ビデオシグナルのインターレース特性を正確に発揮することによって、結果を改良することは、可能である。インターレースを可能にする、後続フィールドの比較は、概念的には２つの処理ステージがある。まず、テスト動作ベクトルが正確であるとして、３つ以上のフィールドアパチャーが、プログレッシブフレームのＬＭＳ推定を計算するのに使用される。それから、入力フィールドが、プログレッシブフレームと動作ベクトルが正確な予想フィールドと比較されて、インターレースが可能となる。プログレッシブフレーム（の複雑スペクトル）のＬＭＳ推定は式１２で表す。推定スペクトラＨ（〜）が正確であれば、入力フィールドは次のように表されると思われる。実際のフィールドＳと推定フィールドＳ（〜）との違いは、次のように出る。式１４は、周波数領域仕様を提供している。これは、アパチャーの各フィールドのための、偽信号が除去されたフィールドディファレンス信号のためのものである。実用的なフィルターは、公表されている技術を用いて、周波数領域仕様から設計することができる。

Claims

【特許請求の範囲】１．インターレースビデオ信号の動作補償フィルタリングまたは補間のためのフィルターまたは補間装置であって、複数のフィルタータップを含むものであって、その特徴とするところは、複数のフィルタータップが互いの間でフィルターアパチャーを実現するのであって、このフィルターアパチャーは各サンプリング部位に関連した動作ベクトルの垂直速度要素によって変化するものであり、異なる垂直速度には異なるフィルターアパチャーが使用されるようになっている。２．請求の範囲１に記載のフィルターまたは補間装置であって、各フィルタータップが推定器（３）と対応する係数保持手段（４’，６）を含む。３．インターレースビデオ信号の動作補償フィルタリングのビデオ処理システムであって、このシステムは、各出力サンプリング部位に対応する動作ベクトルを生成する動作推定装置と、対応する動作ベクトルによって変化する出力サンプリング部位それぞれの入力座標のセットを発生するベクトルプロセサーと、入力ピクセル値を保持して可変ディレイ（２）を提供するメモリー内のデータ保持手段と、複数の乗算器（３）と対応する係数保持手段（４’，６）と、各乗算器から得た部分的結果を足し算する足し算器（５）、とを含み、これらの乗算器は、入力座標の部位によってデータ保持手段から選択された入力ピクセル値を、入力座標の別の部位によって係数保持手段から選択された係数で乗算し、フィルターアパチャーは、動作推定装置で供給された動作ベクトルの垂直速度要素によって選択される。４．請求の範囲１または２に記載のフィルター装置、または請求の範囲１に記載のビデオ処理システムであって、このシステムは、メモリー内に保持されている係数索引テーブル（４’，６）を含み、異なる係数のセットの総数は２^P+1で、ここでｐはビットの垂直ベクトル精度を示す。５．インターレースビデオ信号の動作補償フィルタリングのビデオ処理方法であって、このシステムは、動作ベクトルを各出力サンプリング部位に割当て、入力座標セットを生成する工程を含み、さらに次の工程を特徴とする：各サンプリング部位に関連した動作ベクトルの垂直速度要素によって変化するフィルターアパチャーを選択し、異なる垂直速度には異なるフィルターアパチャーが使用されるようにする。６．請求の範囲５に記載のインターレースビデオ信号を処理するビデオ処理方法において、各動作ベクトルの垂直速度要素に従って複数の計算済フィルターアパチャーからフィルターアパチャーが選択されるのであって、この方法は、各入力座標の分数部によってフィルターアパチャーから係数を選択し、各入力座標の整数部によって入力ピクセル値を選択し、各入力ピクセル値を対応する係数で乗算して各出力サンプリング部位に対し部分結果を生成し、それら部分結果を足し算する、という工程を含む。７．請求の範囲５または６に記載のインターレースビデオ信号を処理するビデオ処理方法において、前もって計算されたフィルターアパチャーの必要数は、動作ベクトルの垂直合成の精度によって変わる。