JP5186444B2 - 低ビットレートオーディオ符号化用の効率的かつスケーラブルなパラメトリックステレオ符号化 - Google Patents

Description

本発明は、低ビットレートオーディオ情報源符号化システムに関する。入力信号のステレオ特性の様々なパラメトリック表現を紹介し、スペクトル包絡線の擬似ステレオからフルステレオ符号化にわたって、復号器側におけるその適用について説明する。後者はＨＦＲ（高周波再構成）に基づくコーデックに特に適している。

オーディオ情報源符号化技術は２種類、すなわち自然オーディオ符号化（natural audio coding）及び会話符号化（speech coding）に分類することができる。中ないし高ビットレートでは、一般に自然オーディオ符号化が会話信号にも音楽信号に使用され、ステレオ伝送とステレオ再生が可能である。低ビットレートしか利用できない適用例、例えば低速電話モデム接続のユーザを対象とするインターネットストリーミングオーディオ、または新興のデジタルＡＭ放送システムでは、オーディオ番組素材のモノラル符号化は避けられない。しかし、それでもなおステレオの感覚が望ましい。ヘッドホンで聞くときに純粋なモノラル信号が「頭の中」から生じているように知覚され、それが不快な経験であり得る場合は、特にそうである。

この問題に取り組む１つの手法は、復号器の側で、受信した純粋なモノラル信号からステレオ信号を合成することである。長年にわたり、幾つかの異なる「疑似ステレオ」生成器が提案されてきた。例えば［米国特許第５，８８３，９６２号］には、信号の遅延／移相バージョンを未処理信号に加えることによってモノラル信号を強化し、それによって擬似的なステレオを生み出すことが記載されている。そこでは、２つのチャネルが後で信号経路で加えられれば強化信号が確実に相殺されるようにしながら、処理された信号を同レベルであるが逆の符号をもって２つの出力の各々の原信号に加算する。［ＰＣＴ ＷＯ９８／５７４３６］には、強化信号の上記のモノラル両立性（mono-compatibility）はないが、同様のシステムが示されている。先行技術の方法は、それらが純粋な後処理として適用されるという点で共通している。言い換えると、ステレオサウンドステージの位置はおろか、ステレオ幅の程度に関する情報さえも復号器には得られない。したがって、疑似ステレオ信号が原信号のステレオ特性との類似性をもつかどうかは分からない。先行技術のシステムが不十分であることが顕著に現れるのは、原信号が純粋なモノラル信号である場合であり、それは往々にして会話録音の場合に当てはまる。このモノラル信号は復号器で盲目的に合成ステレオ信号に変換され、それは会話の場合、しばしば耳障りなアーチファクトを引き起こし、明瞭さと会話の了解度を低減することがある。

低ビットレートの真のステレオ伝送を目的とする他の先行技術のシステムは、一般的に和差符号化方式を採用している。例えば、元の左側信号（Ｌ）と右側信号（Ｒ）は和信号Ｓ＝（Ｌ＋Ｒ）／２と差信号Ｄ＝（Ｌ−Ｒ）／２に変換され、その後符号化されて伝送される。受信機は、演算Ｌ＝Ｓ＋ＤとＲ＝Ｓ−Ｄにより元のＬ／Ｒ信号が再生されるように、Ｓ信号とＤ信号を復号化する。これの利点は、ＬとＲとの間の冗長度を使用できることが非常に多く、それにより符号化されるＤに含まれる情報がＳに含まれる情報より少なくなって必要なビット数が少なくてすむことである。極端な例は純粋なモノラル信号の場合、すなわちＬとＲが同一の場合であることは明らかである。従来のＬ／Ｒコーデックはこのモノラル信号を２回符号化するのに対し、Ｓ／Ｄコーデックはこの冗長度を検出し、Ｄ信号は（理想的には）ビットを全く必要としない。別の極端な例は、「位相ずれ」(out of phase)信号に相当するＲ＝−Ｌという状況で現れる。ここではＤ信号はＬと計算されるのに対し、Ｓ信号は零である。この場合もＳ／Ｄ方式は標準的Ｌ／Ｒ符号化より明らかな利点を有する。しかし、送信中に例えばＲ＝０となる状況を考える。それはステレオ録音が始まった初期の頃には珍しくはなかった。その状況下では、ＳとＤはどちらもＬ／２に等しく、Ｓ／Ｄ方式は何らの利点ももたらさない。それに対して、Ｌ／Ｒ符号化はこれを非常にうまく処理する。というのは、Ｒ信号はビットを必要としないからである。このため、先行技術のコーデックは、所定の瞬間にどちらの方法を使用するのが最も有利であるかによって、これらの２つの符号化方式の間の適応型切換えを採用している。上の極端な例は、（会話のみの番組に使用されるデュアルモノラルを除いて）単なる理論である。したがって、実世界のステレオ番組素材はかなりの量のステレオ情報を含み、たとえ上記切換えが実現されても、結果的に得られるビットレートは多くの用途には往々にして高すぎる。さらに、上記の再合成関係から分かる通り、量子化誤差はＬ信号とＲ信号における無視できないレベルの誤差に変わるので、ビットレートをさらに低減しようとしてＤ信号の非常に粗い量子化を実行することは不可能である。

本発明は、符号化と伝送の前に、信号のステレオ特性の検出を採用する。最も単純な形では、入力ステレオ信号に存在するステレオ配合（stereo perspective）の量を検出器で測定する。次いでこの量をステレオ幅パラメータとして、原信号の符号化されたモノラル和と共に伝送する。受信機はモノラル信号を復号化し、疑似ステレオ生成器を使用して、前記パラメータによって制御されるステレオ幅の適切な量を適用する。特別な場合として、モノラル入力信号は零ステレオ幅として信号化され、したがって復号器でステレオ合成は適用されない。本発明では、ステレオ幅の有用な尺度を、例えば元の左右チャネルの差信号または相互相関から導出することができる。そのような計算の値を少数の状態で表現することができ、それらは適当な時間間隔で、あるいは必要に応じて伝送される。本発明はまた、一般的に低ビットレート符号化信号と関連のある脱マスキング（unmasking）符号化アーチファクトの危険性を低減するために、合成ステレオ成分をフィルタリングする方法をも教示する。

また、ステレオフィールドにおける全体的ステレオバランスまたは位置を符号器で検出する。この情報をバランスパラメータとして、符号化されたモノラル信号と共に、必要に応じて上記の幅パラメータと一緒に、効率的に伝送する。したがって、サウンドステージのいずれかの側への変位は、２つの出力チャネルの利得を対応づけて変更することによって、復号器で再生することができる。本発明では、このステレオバランスパラメータは左側信号パワーと右側信号パワーとの商から導き出すことができる。両パラメータの伝送はフルステレオ符号化と比較して必要なビット数が非常に少なくてすみ、それにより総ビットレート要求が低く維持される。より正確なパラメトリックステレオ描写を提供する本発明のより精巧な形態では、それぞれが別個の周波数帯を表わす幾つかのバランスパラメータとステレオ幅パラメータが使用される。

周波数帯域毎の作用に一般化されるバランスパラメータは、左側信号パワーと右側信号パワーの和として計算されるレベルパラメータの対応する帯域毎の作用とともに、ステレオ信号のパワースペクトル密度についての新しくて、詳細の程度が任意な表現を可能にする。Ｓ／Ｄシステムも備えているステレオ冗長度からの利点以外に、この表現の特に有利な点は、ステレオスペクトル包絡線に戻したときに量子化誤差がレベルの誤差ではなくむしろ「空間誤差」すなわちステレオパノラマで知覚される位置の誤差になるので、バランス信号を同様のレベルより低い精度で量子化できることである。総合信号がいずれか一方のチャネルにひどく偏位しているときは、レベル／バランス方式も従来の切換え式のＬ／Ｒ及びＳ／Ｄシステムと同様に、より効率的なレベルＬ／レベルＲ信号に適応的に切り換えることができる。上記のスペクトル包絡線符号化方式は、パワースペクトル包絡線の効率的な符号化が要求されるときはいつでも使用することができ、新しいステレオソースコーデックにツールとして組み込むことができる。特に興味深い適用は、原信号の高帯域包絡線に関する情報によって誘導されるＨＦＲシステムである。そのようなシステムでは、低帯域は任意のコーデックによって符号化と復号化が行なわれ、高帯域は復号化された低帯域信号と伝送された高帯域包絡線情報を使用して復号器で再生される［ＰＣＴ ＷＯ９８／５７４３６］。さらに、包絡線符号化をレベル／バランス動作に固定することによって、スケーラブルなＨＦＲに基づくステレオコーデックを形成することを可能にする。これにより、レベル値は一次ビットストリーム内に供給され、それは装置によって異なるが一般的にモノラル信号に復号化される。バランス値は、一例としてＩＢＯＣ（In-Band On-Channel）デジタルＡＭ放送システムをとりあげると、一次ビットストリームに加えて、送信機に近接する受信機に利用可能な二次ビットストリーム内に供給される。これらの２つのビットストリームが結合されると、復号器はステレオ出力信号を生成する。一次ビットストリームは、レベル値に加えてステレオパラメータ、例えば幅パラメータを含むことができる。したがって、このビットストリームのみの復号化がすでにステレオ出力を生じており、それは両方のビットストリームが得られるときに改善される。

パラメトリックステレオ符号器モジュールによって強化された符合器及びパラメトリックステレオ復号器モジュールによって強化された復号器を含む情報源符号化システムを示す図である。 パラメトリックステレオ復号器モジュールのブロック略図である。 制御パラメータ入力を持つ疑似ステレオ生成器のブロック略図である。 制御パラメータ入力を持つバランス調整器のブロック略図である。 マルチバンドバランス調整と組み合わされたマルチバンド疑似ステレオ生成を使用するパラメトリックステレオ復号器モジュールのブロック略図である。 スペクトル包絡線のレベル／バランス符号化を使用する、スケーラブルなＨＦＲに基づくステレオコーデックの符号器側のブロック略図である。 対応する復号器側のブロック略図である。

次に、本発明を添付の図面を参照しながら、本発明の範囲または精神を限定しない実施例によって説明する。

以下で述べる実施形態は、本発明の原理の単なる説明である。ここに記載する構成及び詳細説明の変化例ならびに変形例が、当業者には明らかであることを理解されたい。したがって、本書における実施形態の記述及び説明によって提示される特定の詳細によってではなく、特許請求の範囲によってのみ限定するつもりである。分かりやすくするために、以下の例は全て２つのチャネルシステムを想定しているが、当業者には明白であるように、当該方法は５．１システムなどのマルチチャネルシステムにも適用できる。

図１は、符号器１０７及び復号器１１５を備えた任意の情報源符号化システムを、符号器及び復号器がモノラルモードで動作する場合に、本発明によるパラメトリックステレオ符号化によっていかに強化することができるかを示す。Ｌ及びＲは、左側アナログ入力信号及び右側アナログ入力信号を表わすことにする。これらはＡＤ変換器１０１に供給される。ＡＤ変換器からの出力はダウンミックス１０５でモノラル信号に変換され、そのモノラル信号は符号器１０７で符号化される。また、ステレオ信号は、後述する１つまたは幾つかのステレオパラメータを計算するパラメトリックステレオ符号器１０３に送られる。これらのパラメータはマルチプレクサ１０９によって符号化モノラル信号と結合され、ビットストリーム１１１を形成する。ビットストリームは格納または伝送され、その後復号器側でデマルチプレクサ１１３によって抽出される。モノラル信号は復号器１１５で復号化され、ステレオパラメータ１１７を制御信号として使用するパラメトリックステレオ復号器１１９によってステレオ信号に変換される。最後に、ステレオ信号はアナログ出力Ｌ’及びＲ’を供給するＤＡ変換器１２１に送られる。図１のトポロジーは、以下においてより簡単なバージョンから始めて、詳述する１組のパラメトリックステレオ符号化方法に共通である。

本発明に係るステレオ特性のパラメータ化の１つの方法は、符号器側で原信号のステレオ幅を決定することである。大まかに言うと、ＬとＲとの間の類似度が高ければ算出されるＤの値は小さくなり、その逆もしかりであるので、ステレオ幅の最初の概算は差信号Ｄ＝Ｌ−Ｒである。特殊な例はデュアルモノラルであり、この場合Ｌ＝Ｒであり、したがってＤ＝０である。したがって、この簡単なアルゴリズムでも、疑似ステレオが望ましくないニュース放送に一般に関連付けられる、モノラル入力信号の型を検出することができる。しかし、異なるレベルでＬ及びＲに供給されるモノラル信号は、知覚される幅が零であっても、零Ｄ信号を生じない。したがって、実際には、例えば相互相関法を使用する、より精巧な検出器が必要になるであろう。レベルに依存しない検出器を達成するためには、何らかの方法で左右の差または相関を記述する値を全信号レベルにより正規化しなければならない。上述の検出器についての問題は、会話から音楽へ／音楽から会話への遷移中に、モノラル会話がずっと弱いステレオ信号、例えばステレオ雑音又は背景音楽と混合される場合である。会話が中断すると、検出器は次いでワイドステレオ信号を示す。これは、ステレオ幅値を前の全エネルギレベルの情報を含む信号、例えば全エネルギのピーク減衰信号で正規化することによって解決される。さらに、ステレオ幅検出器が高周波雑音又はチャネルの異なる高周波ひずみによってトリガされることを防止するために、検出器信号は、一般的に音声の第２フォルマントより上寄りのカットオフ周波数の低域フィルタによって事前フィルタリングする必要があり、また必要に応じて、アンバランス信号オフセットまたはハムを回避するために高域フィルタによっても、事前フィルタリングする必要がある。検出器の型に関係なく、算出されたステレオ幅は、モノラルからワイドステレオまでの範囲全体を網羅する有限集合の値で表現される。

図２ａは、図１に導入したパラメトリックステレオ復号器の中身の一例を示す。パラメータＢによって制御される「バランス」と表示されたブロック２１１については後述するが、とりあえずは迂回するものと考える。「幅」と表示されたブロック２０５はモノラル入力信号を受け、ステレオ幅の感覚を再現する。そこでは幅の量はパラメータＷによって制御される。任意のパラメータＳ及びＤについては後述する。本発明では、低周波数範囲を「厳密」に、かつ影響されない状態に維持するために、低域フィルタ２０３及び高域フィルタ２０１からなるクロスオーバフィルタを組み込むことによって、主観的により優れた音質を達成することができる。これにより、高域フィルタからの出力のみが幅ブロックに送られる。幅ブロックからのステレオ出力は、加算器２０７及び２０９によって低域フィルタからのモノラル出力に加算され、ステレオ出力信号を形成する。

幅ブロックには、背景技術のところで示したもの、シュレーダ(Schroeder)型の初期の反射シミュレーション装置（マルチタップ遅延）またはリバーブレータ(reverberator)など、任意の先行技術疑似ステレオ生成器を使用することができる。図２ｂは、モノラル信号Ｍが供給される疑似ステレオ生成器の一例を示す。ステレオ幅の量は増幅器２１５の利得によって決定され、この利得はステレオ幅パラメータＷの関数である。利得が高ければ高いほど、ステレオ感覚が広くなり、零利得は純粋なモノラル表現に対応する。増幅器２１５からの出力は遅延(２２１)され、正負の符号を使用して、２つの直接信号に加算(２２３及び２２５)される。ステレオ幅を変えたときに全体的な再生レベルを著しく変化させないために、直接信号の補償減衰を組み込む(２１３)ことができる。例えば、遅延された信号の利得がＧである場合、直接信号の利得は（１−Ｇ²）の平方根として選択することができる。本発明では、高周波ロールオフ(roll-off)を遅延信号経路２１７に組み込むことができ、これは疑似ステレオから生じる符号化アーチファクトの脱マスキングを回避する。図２ａ及び図２ｂに信号Ｘ、Ｓ及びＤとして示されるように、必要に応じてクロスオーバフィルタ、ロールオフフィルタ及び遅延パラメータをビットストリームに送り、原信号のステレオ特性に似せることをもっと可能にすることができる。ステレオ信号を生成するために残響装置を使用する場合、音の最後以後の残響減衰は時には望ましくないかもしれない。しかし、これらの望ましくない残響尾部は、残響信号の利得を変更するだけで、容易に、減衰させるか又は完全に除去することができる。その目的のために、音の終わりを見出す検出器を使用することができる。残響装置が、ある特定の信号、例えば過渡信号でアーチファクトを発生させる場合、それを減衰するためにこれらの信号の検出器を使用することもできる。

本発明にかかるステレオ特性を検出する他の方法を以下に述べる。再びＬ及びＲが左側入力信号及び右側入力信号を表わすことにする。次いで対応する信号パワーをＰ_L〜Ｌ²及びＰ_R〜Ｒ²によって示す。今、ステレオバランスの大きさは２つの信号パワーの商として、より詳しくはＢ＝（Ｐ_L＋ｅ）／（Ｐ_R＋ｅ）として計算することができる。ここでｅは、零による除算を排除する、任意の非常に小さい数である。バランスパラメータＢはｄＢ単位で表わすことができ、関係Ｂ_dB＝１０ｌｏｇ₁₀（Ｂ）によって与えられる。一例として、Ｐ_L＝１０Ｐ_R、Ｐ_L＝Ｐ_R、及びＰ_L＝０．１Ｐ_Rの３つの場合は、＋１０ｄＢ、０ｄＢ、及び−１０ｄＢにそれぞれ対応する。明らかに、これらの値は位置「左」、「中央」、及び「右」を意味する。実験から、バランスパラメータのスパンを例えば＋／−４０ｄＢに制限できることが分かっている。これらの極値は、すでに音が完全に２つのスピーカ又はヘッドホンドライバのうちの１つから発しているように知覚されるためである。この制限は、伝送中に対象とする信号量を低減し、したがってビットレートの低減をもたらす。さらに、順次量子化方式を使用することができ、それによって零付近では小さい量子化ステップを使用し、外側の極値に向かってより大きいステップを使用し、ビットレートをさらに低減する。バランスは長期の伝送に対して長時間一定であることが多い。したがって、必要な平均ビット数を著しく低減する最後の手段を講じることができる。初期バランス値の伝送後、連続バランス値間の差だけを伝送して、エントロピ符号化を使用する。たいていの場合、この差は零であって、したがって可能な限り最も短かいコードワードによって送信される。ビット誤りが起こり得る用途では、制御できない誤り伝播を排除するために、このデルタ符号化は適切な時間間隔でリセットしなければならないことは明らかである。

バランスパラメータの最も基本的な復号器の利用法は、両方の出力にモノラル信号を供給し、図２ｃのブロック２２７及び２２９に示すように制御信号Ｂにより、それに相応して利得を調整することによって、２つの再生チャネルのいずれかの方向にモノラル信号を単純に偏位させることである。これは、ミキシングデスク上で「パノラマ」ノブを回し、２つのステレオスピーカの間でモノラル信号を合成的に「動かす」ことに似ている。

上述した幅パラメータに加えてバランスパラメータを送信して、制御された方法によるサウンドステージにおける音の像の配置と拡散の両方を可能にし、原ステレオ感覚に似せるときに柔軟性を与えることができる。前節で述べた疑似ステレオ生成とパラメータ制御バランスを組み合わせることにおける１つの問題は、中心位置から遠いバランス位置での疑似ステレオ生成器からの望ましくない信号寄与である。これは、モノラル向きの関数をステレオ幅値に適用することによって解決され、結果的に、端側位置のバランス位置ではステレオ幅値の減衰が大きくなり、中心位置に近いバランス位置では減衰が少ないか全くないようになる。

これまで説明した方法は、非常に低いビットレートの用途向けに意図されている。より高いビットレートが利用可能な用途では、上記の幅及びバランス法のより精巧な形態を使用することが可能である。幾つかの周波数帯域でステレオ幅検出を行なうことができ、結果的に各周波数帯域について個別のステレオ幅値が得られる。同様にバランス計算をマルチバンド方式で操作することができ、それはモノラル信号が供給される２つのチャネルに異なるフィルタ曲線を適用することと同等である。図３は、ブロック３０７、３１７、及び３２７によって表わされる図２ｂに係る1組のＮ個の疑似ステレオ生成器を、図２ｃで説明したブロック３０９、３１９、及び３２９で表わされるマルチバンドバランス調整と組み合わせて使用する、パラメトリックステレオ復号器の一例を示す。個々の通過域は、モノラル入力信号Ｍを１組の帯域フィルタ３０５、３１５及び３２５に供給することによって得られる。バランス調整器からの通過域ステレオ出力は加算器３１１、３２１、３１３、３２３で加算され、ステレオ出力信号Ｌ及びＲが形成される。以前のスカラの幅及びバランスパラメータは、ここでは、配列Ｗ（ｋ）及びＢ（ｋ）に置き換えられる。図３で、全ての疑似ステレオ生成器及びバランス調整器は独自のステレオパラメータを持つ。しかし、伝送または格納されるデータの総量を低減するために、幾つかの周波数帯域からのパラメータを符号器でグループ毎に平均し、このより少数のパラメータを復号器で対応するグループの幅及びバランスブロックに配置することができる。配列Ｗ（ｋ）及びＢ（ｋ）に様々なグループ分け方式及び長さを使用できることは明らかである。Ｓ（ｋ）は幅ブロックの遅延信号経路の利得を表わし、Ｄ（ｋ）は遅延パラメータを表わす。ここでも、Ｓ（ｋ）及びＤ（ｋ）はビットストリームでは使用は任意である。

パラメトリックバランス符号化法は、特に低周波数帯域の場合、周波数分解能の欠如のため、あるいは異なるバランス位置ではあるが１つの周波数帯域で同時に発生する音声が多すぎるために、多少不安定な挙動をもたらすことがあり得る。これらのバランスの不調は通常ごく短期間の逸脱したバランス値によって特徴付けられ、典型的なものは更新レートに応じた１個又は数個の連続計算値である。邪魔なバランス不調を防止するために、バランスデータに安定化プロセスを適用することができる。このプロセスは、現行時間位置の前後の多数のバランス値を使用して、それらの中央値を算出することができる。その中央値は、現行バランス値のリミッタ値として使用することができ、すなわち、現行バランス値はその中央値を超えることができないものとすることができる。その結果、現行値は最後の値と中央値との間の範囲によって制限される。必要に応じて、現行バランス値は特定のオーバシュート係数だけ制限値を超えられるようにすることができる。さらに、中央値の算出に使用されるバランス値の個数だけでなくオーバシュート係数も周波数従属特性であり、したがって各周波数帯域に対して固有であるとみるべきである。

バランス情報の更新率が低い場合、時間分解能が欠如して、ステレオ像の動きと実際の音声との間の同期化に不良を発生させ得る。同期化に関するこの挙動を改善するために、音声の識別に基づく補間方式を使用することができる。補間とはここでは、２つの時間的に連続したバランス値間の補間を指す。受信機側でモノラル信号を調べることによって、異なる音声の始まりと終わりに関する情報を得ることができる。１つの方法は、特定の周波数帯域における信号エネルギの突然の増加又は減少を検出することである。補間は、時間的には、そのエネルギ包絡線からの誘導の後、バランス位置の変更を、好ましくは信号エネルギをほとんど含まない時間セグメント中に実行するようにすべきである。人間の耳は音の後縁部より入口部に敏感なので、補間方式は、例えばピークホールドをエネルギに適用することによって、音の開始を見出すことが有利であり、次いでバランス値の増分をピークホールドエネルギの関数とする。エネルギ値が小さければ増分は大きく、その逆もしかりである。時間的に均等に分散されたエネルギを含む時間セグメントの場合、すなわち幾つかの静止信号の場合など、この補間法は２つのバランス値間の線形補間に等しい。バランス値が左側及び右側のエネルギの商である場合、左右の対称性のため、対数バランス値が好ましい。対数領域に全補間アルゴリズムを適用する別の利点は、レベルを対数尺に関連付ける人間の耳の傾向である。

また、ステレオ幅の利得値の更新率が低い場合、補間をそれに適用することができる。簡単な方法は、時間的に連続する２つのステレオ幅値の間で線形的に補間するものである。幾つかのステレオ幅パラメータを含むより長い時間セグメントに亘ってステレオ幅の利得値を平滑化することによって、ステレオ幅のより安定な挙動を達成することができる。様々なアタック時定数及びリリース時定数による平滑化を利用することによって、混合又は差し挟まれた会話及び音楽を含むプログラム素材によく適したシステムが達成される。そのような平滑化フィルタの適切な設計は、短いアタック時定数を使用して短い立上り時間、及びしたがってステレオでの音楽開始への即時対応が得られ、かつ長いリリース時間を使用して長い立下り時間が得られるように行なわれる。突然に会話に入るのに望ましい場合があるワイドステレオモードからモノラルへの高速切換えができるようにするために、この事象を送信することによって、平滑化フィルタを迂回又はリセットすることができる。さらに、アタック時定数、リリース時定数、及び他の平滑化フィルタ特性をも符号器によって信号として送ることができる。

疑似音響コーデックからのマスクされたひずみを含む信号の場合、符号化モノラル信号に基づくステレオ情報の導入における１つの共通の問題は、ひずみの脱マスキング効果である。通常「ステレオ脱マスキング」と呼ばれるこの現象は、マスキング基準を満たさない非中心合わせ音声の結果である。ステレオ脱マスキングの問題は、そのような状況を目的とした検出器を復号器側に導入することによって、解決又は部分的に解決することができる。信号対マスク比を測定するための公知の技術を使用して、潜在的なステレオ脱マスキングを検出することができる。ひとたび検出されると、それを明示的に送信することができ、あるいはステレオパラメータを簡単に低減させることができる。

符号器側において、本発明で教示する１つの選択肢は、入力信号に対しヒルベルト変換器を使用することである。すなわち、２つのチャネル間に９０度移相を導入する。その後に２つの信号の加算によってモノラル信号を形成すると、ヒルベルト変換は中心情報に３ｄＢの減衰を導入するので、中心にパンされたモノラル信号と「真」のステレオ信号との間のよりよいバランスが達成される。実際、これは、リードボーカル及びベースギターが一般に単一モノラルソースを使用して録音される、例えば現代ポップ音楽のモノラル符号化を改善する。

マルチバンドバランスパラメータ法は、図１に記載した適用の型に限定されず、ステレオ信号のパワースペクトル包絡線を効率的に符号化することが目的である場合はいつでも、有利に使用することができる。したがって、ステレオスペクトル包絡線に加えて対応するステレオ残留が符号化されるステレオコーデックにおけるツールとして使用することができる。全パワーＰがＰ＝Ｐ_L＋Ｐ_Rによって定義されるとする。ここでＰ_L及びＰ_Rは上述した信号パワーである。この定義は、左側と右側の位相関係を考慮していないことに注意されたい。（例えば符号が逆である同一の左側信号と右側信号であっても全パワーは零にならない）。Ｂと同様に、ＰはｄＢ単位でＰ_dB＝１０ｌｏｇ₁₀（Ｐ／Ｐ_ref）と表わすことができる。ここでＰ_refは任意の基準パワーであり、デルタ値は符号化されたエントロピである。バランスの場合とは対照的に、Ｐに対しては順次量子化は使用しない。ステレオ信号のスペクトル包絡線を表わすために、ＰとＢは、必ずしもそうとは限らないが、典型的には人間の聴覚の臨界帯域に関連する帯域幅をもつ１組の周波数帯域に対して計算される。例えば、これらの帯域は、一定帯域幅フィルタバンクにチャネルをグループ分けすることによって形成することができ、それによりＰ_L及びＰ_Rはそれぞれの帯域及び周期時間に対応するサブバンドサンプルの二乗の時間及び周波数平均として計算される。集合Ｐ₀,Ｐ₁,Ｐ₂,…,Ｐ_N-1及びＢ₀,Ｂ₁,Ｂ₂,…,Ｂ_N-1（ここで下付数字はＮ個の帯域表現における周波数帯域を表わす）はデルタ符号化及びハフマン符号化され、伝送又は格納され、最終的に、符号器で計算された量子化値に復号化される。最後のステップは、Ｐ及びＢをＰ_L及びＰ_Rに戻すことである。Ｐ及びＢの定義から容易に分かるように、逆の関係は（Ｂの定義におけるｅを無視したとき）Ｐ_L＝ＢＰ／（Ｂ＋１）及びＰ_R＝Ｐ／（Ｂ＋１）である。

上記の包絡線符号化法の１つの特に興味深い用途は、ＨＦＲに基づくコーデックのための高帯域のスペクトル包絡線の符号化である。この場合、高帯域残留信号は伝送されない。代わりにこの残留は低帯域から導出される。したがって、残留及び包絡線表現間に厳密な関係はなく、包絡線量子化はより重要である。量子化の効果を調べるために、Ｐｑ及びＢｑがＰ及びＢの量子化値をそれぞれ表わすものとする。次いでＰｑ及びＢｑを上記の関係に挿入し、和を形成する。すなわち、
Ｐ_Lｑ＋Ｐ_Rｑ＝ＢｑＰｑ／（Ｂｑ＋１）＋Ｐｑ／（Ｂｑ＋１）＝Ｐｑ（Ｂｑ＋１）／（Ｂｑ＋１）＝Ｐｑとなる。ここで興味深い特徴は、Ｂｑが除去され、全パワーの誤差がＰの量子化誤差だけによって決定されることである。これは、たとえＢが密に量子化されても、Ｐの量子化で充分な精度が使用されるならば、知覚されるレベルが正確であることを暗示している。言い換えると、Ｂのひずみは、レベルではなく、むしろ空間のひずみに置き換えられる。音源が長時間空間的に静止している限り、ステレオ配合のこのひずみも静止しており、気付きにくい。人間の聴覚の特性のため、中心線に対する角度が大きい場合、ｄＢの任意の誤差は知覚される角度の小さい誤差に対応するので、すでに述べた通り、ステレオバランスの量子化は外側端に向かって粗くすることができる。

周波数従属データ、例えばマルチバンドステレオ幅利得値又はマルチバンドバランス値を量子化する場合、量子化方法の分解能及び範囲は、知覚スケールの特性に一致するように有利に選択することができる。そのようなスケールを周波数に依存させる場合、異なる周波数帯域に対して異なる量子化方法又はいわゆる量子化クラスを選択することができる。異なる周波数帯域を表わす符号化されたパラメータ値は、次いで、場合によっては、たとえ同一値であっても異なるように解釈し、すなわち異なる値に復号化しなければならない。

極端信号によりよく対処するために、切換えＬ／Ｒ−Ｓ／Ｄ符号化方式と同様に、Ｐ信号とＢ信号はＰ_L信号とＰ_R信号に適応的に切り換えることができる。［ＰＣＴ／ＳＥ００／００１５８］によって教示される通り、包絡線サンプルのデルタ符号化は、特定の瞬間にビット数の点からどちらが最も効率的であるかによって、時間デルタから周波数デルタに切り換えることができる。バランスパラメータもまた、この方式を利用することができる。すなわち、例えばステレオフィールド内を時間の経過と共に移動するソースを考える。明らかに、これは時間の経過に対するバランス値の連続変化に対応し、それはソースの速度対パラメータの更新率によって、大きい時間デルタ値に対応することがあり、エントロピ符号化を使用する場合の大きいコードワードに対応する。しかし、ソースが周波数に対して均等な音の放射をもつと仮定すると、バランスパラメータの周波数デルタ値は全ての時間点で零であり、再び小さいコードワードに対応する。したがって、この場合、周波数デルタ符号化を使用すると低いビットレートが達成される。別の例は、ソースが室内で静止しているが、均一でない放射をもつ場合である。この場合は、周波数デルタ値は大きく、時間デルタが好適な選択肢となる。

Ｐ／Ｂ符号化方式は、スケーラブルなＨＦＲコーデックを作成する可能性を与える。図４を参照されたい。スケーラブルなコーデックは、ビットストリームが２つ又はそれ以上の部分に分割されることによって特徴付けられ、高次の部分の受信及び復号化の使用は任意である。例として、以下で一次ビットストリーム４１９及び二次ビットストリーム４１７と呼ぶ２つのビットストリーム部分を取り上げるが、より多数の部分に拡張が可能であることは明らかである。符号化側（図４ａ）は、ステレオ入力信号ＩＮに対して動作する任意のステレオ低帯域符号器４０３（ＡＤまたはＤＡ変換の自明のステップは図示されていない）と、高帯域スペクトル包絡線及び必要に応じて追加のステレオパラメータを推定し、またステレオ入力信号に対して動作するパラメトリックステレオ符号器４０１と、それぞれ一次及び二次ビットストリーム用の２つのマルチプレクサ４１５及び４１３とを備えている。この適用では、高帯域包絡線符号化はＰ／Ｂ動作に固定され、Ｐ信号４０７はマルチプレクサ４１５によって一次ビットストリームに送られる一方、Ｂ信号４０５はマルチプレクサ４１３によって二次ビットストリームに送られる。

低帯域コーデックの場合、異なる可能性が存在する。すなわち、それは常にＳ／Ｄモードで動作することができ、Ｓ信号及びＤ信号がそれぞれ一次ビットストリーム及び二次ビットストリームに送られる。この場合、一次ビットストリームを復号化すると全帯域のモノラル信号が得られる。言うまでもなく、このモノラル信号は、本発明に係るパラメトリックステレオ方法によって強化することができ、その場合ステレオパラメータも一次ビットストリーム内に配置しなければならない。別の可能性は、ステレオ符号化低帯域信号を、必要に応じて高帯域の幅パラメータ及びバランスパラメータと共に、一次ビットストリームに供給することである。低帯域のステレオ特性は高周波再構成に反映されるので、この場合は、一次ビットストリームを復号化すると、低帯域の真のステレオ及び高帯域の非常に現実的な疑似ステレオが得られる。別の言い方をすると、利用可能な高帯域包絡線表現又はスペクトル粗構造がモノラルであったとしても、合成される高帯域残留又はスペクトル微細構造はそうではない。この型の実施では、二次ビットストリームはより多くの低帯域情報を含むことができ、それは一次ビットストリームのそれと組み合わされたときに、より高品質の低帯域再生を生み出す。マルチプレクサ４１５及び４１７にそれぞれ接続される一次及び二次の低帯域符号器出力信号４１１及び４０９は、上述した信号型のどちらでも含むことができるので、図４のトポロジーは両方の場合を表わす。

ビットストリームは伝送又は格納され、一次ビットストリーム４１９だけ、または一次ビットストリーム４１９及び二次ビットストリーム４１７の両方が復号器（図４ｂ）に供給される。一次ビットストリームはデマルチプレクサ４２３によって逆多重化されて、低帯域コア復号器一次信号４２９及びＰ信号４３１になる。同様に、二次ビットストリームはデマルチプレクサ４２１によって逆多重化され、低帯域コア復号器二次信号４２７及びＢ信号４２５になる。低帯域信号は出力４３５を生成する低帯域復号器４３３に送られる。出力４３５は、一次ビットストリームの復号化の場合にのみ、再び上述したどちらの型（モノラルまたはステレオ）であってもよい。信号４３５はＨＦＲ装置４３７に送られ、そこで合成高帯域が生成され、同じくＨＦＲ装置に接続されるＰ信号に応じて調整される。復号化された低帯域はＨＦＲ装置で高帯域と結合され、低帯域及び／又は高帯域は、最終的にシステム出力に送られて出力信号ＯＵＴを形成する前に、必要に応じて疑似ステレオ生成器（これもＨＦＲ装置内に位置する）によって強化される。二次ビットストリーム４１７が存在する場合、ＨＦＲ装置は入力信号４２５としてＢ信号をも得、信号４３５はステレオ信号であり、それによってシステムはフルステレオ出力信号を生成し、疑似ステレオ生成器が存在する場合、それは迂回される。

言い換えると、入力信号のステレオ特性を符号化するための方法は、符号器で前記入力信号のステレオ幅を示す幅パラメータを計算するステップと、復号器で出力信号のステレオ幅を制御するために前記幅パラメータを使用してステレオ出力信号を生成するステップとを含んでいる。その方法は前記符号器で前記入力信号からモノラル信号を形成することをさらに含み、前記復号器での前記ステレオ出力信号の生成は前記モノラル信号に対して作用する疑似ステレオ方法を含む。その方法は前記モノラル信号を２つの信号に分割すると共に、前記モノラル信号の遅延バージョンを、前記幅パラメータによって制御されたレベルで、前記２つの信号に加えることをさらに含む。その方法は、前記遅延バージョンが前記２つの信号に加えられる前に高域フィルタにかけられ、より高い周波数で漸次減衰させられることをさらに含む。その方法は、前記幅パラメータがベクトルであり、前記ベクトルの要素が別個の周波数帯域に対応することをさらに含む。その方法は、前記入力信号がデュアルモノラル型である場合、前記出力信号もまたデュアルモノラル型であることをさらに含む。

入力信号のステレオ特性を符号化するための方法は、符号器で前記入力信号のステレオバランスを示すバランスパラメータを計算することを含み、復号器で出力信号のステレオバランスを制御するために前記バランスパラメータを使用してステレオ出力信号を生成する。

この方法において、前記符号器で前記入力信号からモノラル信号が形成され、前記復号器でのステレオ出力信号の生成は前記モノラル信号を２つの信号に分割することを含み、前記ステレオバランスの制御は前記２つの信号のレベルの調整を含む。その方法は、前記入力信号の各チャネルのパワーが計算され、前記パワー間の商から前記バランスパラメータが計算されることをさらに含む。その方法は、前記パワー及び前記バランスパラメータがベクトルであり、ベクトルの各要素が特定の周波数帯域に対応することをさらに含む。その方法は、前記復号器で、前記モノラル信号の対応するパワーの瞬時値が瞬時補間の勾配をどの程度にすべきかを制御するように、前記バランスパラメータの２つの時間的連続値の間で補間されることをさらに含む。その方法は、前記補間法が対数値で表わされたバランス値に対して実行されることをさらに含む。その方法は、前記バランスパラメータの値が前のバランス値とメジアンフィルタ又は他のフィルタプロセスによって他のバランス値から抽出されたバランス値との間の範囲に限定されることをさらに含む。ただし、前記範囲はその境界を特定の範囲だけ移動させることによってさらに拡張することができる。その方法は、バランス値に対する前記限定の境界を抽出する前記方法はマルチバンドシステムの場合には周波数依存性をもつものであることをさらに含む。その方法は、前記パワーのベクトル和として追加レベルパラメータが計算されて前記復号器に送られ、それによって前記復号器に前記入力信号のスペクトル包絡線の表現を与えることをさらに含む。その方法は、前記レベルパラメータ及び前記バランスパラメータが前記パワーによって適応して切り換えられることをさらに含む。その方法は、前記スペクトル包絡線が復号器でのＨＦＲプロセスを制御するために使用されることをさらに含む。その方法は、前記レベルパラメータがスケーラブルなＨＦＲに基づくステレオコーデックの一次ビットストリームに供給され、前記バランスパラメータが前記コーデックの二次ビットストリームに供給されることをさらに含む。前記モノラル信号及び前記幅パラメータは前記一次ビットストリームに供給される。さらに、前記幅パラメータは、中心位置からより遠いバランス位置に対応するバランス値にはより小さい値を付与する関数によって処理される。その方法は、前記バランスパラメータの量子化が、中心位置付近ではより小さい量子化ステップを使用し、外側の位置に向かってより大きいステップを使用することをさらに含む。その方法は、マルチバンドシステムでは周波数依存性をもつ量子化方法を用いて、前記幅パラメータ及び前記バランスパラメータが分解能と範囲に関して量子化されることをさらに含む。その方法は、前記バランスパラメータが時間又は周波数のいずれかで適応してデルタ符号化されることをさらに含む。その方法は、前記モノラル信号を形成する前に前記入力信号がヒルベルト変換器に通されることをさらに含む。

パラメトリックステレオ符号化のための装置は、符号器における、入力信号のステレオ幅を示す幅パラメータを計算するための手段及び前記入力信号からモノラル信号を形成するための手段と、復号器における、出力信号のステレオ幅を制御するために前記幅パラメータを用いて前記モノラル信号からステレオ出力信号を生成するための手段と、を含む。

Claims (19)

1. １組の周波数帯域をもつ２つのチャネルをもった、ステレオ信号又はマルチチャネル信号のパワースペクトル包絡線を符号化するための方法であって、
   各周波数帯域に対してバランスパラメータを計算することと、各周波数帯域に対して前記２つのチャネルの全パワーを表わすレベルパラメータを計算することを含む方法。
2. 前記レベルパラメータとバランスパラメータを量子化するステップをさらに含み、その量子化ステップではバランスパラメータがレベルパラメータよりも低い精度で量子化実行される請求項１に記載の方法。
3. 周波数帯域に対する前記バランスパラメータは、その周波数帯域の２つのチャネルの信号パワーの商に基づいて導き出される請求項１又は２に記載の方法。
4. 前記レベルパラメータとバランスパラメータを計算することに替えて、第１のチャネルのレベルと第２のチャネルのレベルを適応可能に計算するステップをさらに含む請求項１から３のいずれかに記載の方法。
5. 任意の基準パワーを用いて前記レベルパラメータをｄＢ表現に変換し、前記バランスパラメータをｄＢ表現に変換するステップをさらに含む請求項１から４のいずれかに記載の方法。
6. 前記レベルパラメータのｄＢ表現はＬ_ｄＢ＝１０ｌｏｇ_１０Ｐ／Ｐ_ｒｅｆと定義され、前記バランスパラメータのｄＢ表現はＢ_ｄＢ＝１０ｌｏｇ_１０（Ｂ）と定義される請求項５に記載の方法。
   ここで、Ｌ_ｄＢは前記レベルパラメータのｄＢ表現、Ｂ_ｄＢは前記バランスパラメータのｄＢ表現、Ｐは前記レベルパラメータの非対数表現、Ｂは前記バランスパラメータの非対数表現、Ｐ_ｒｅｆは任意の基準パワー、ｌｏｇ_１０は底１０をもつ対数演算子である。
7. 前記バランスパラメータ及び前記レベルパラメータのデルタ符号化及びハフマン符号化のステップと、
   前記デルタ符号化されたパラメータ及びハフマン符号化されたパラメータを伝送し又は格納するステップをさらに含む請求項１から６のいずれかに記載の方法。
8. 前記バランスパラメータは漸次量子化される請求項１から７のいずれかに記載の方法。
9. 前記レベルパラメータは漸次量子化されない請求項１から８のいずれかに記載の方法。
10. 前記バランスパラメータを時間又は周波数のいずれかで適応してデルタ符号化するステップをさらに含み、
    ソースが大きな時間的静止特性と大きな不均一放射をもつ場合は時間についてデルタ符号化し、ソースが小さい時間的静止特性と小さい不均一放射をもつ場合は周波数についてデルタ符号化する請求項１から９のいずれかに記載の方法。
11. 低帯域符号化出力信号を得るために、２つのチャネルをもつステレオ信号又はマルチチャネル信号を符号化する低帯域符号器と、
    ２つのチャネルをもつステレオ信号又はマルチチャネル信号の高帯域部分の推定されたパワースペクトル包絡線を計算するパラメトリックステレオ符号器とを備え、
    前記２つのチャネルの高帯域部分は、１組の周波数帯域を持ち、
    前記パラメトリックステレオ符号器は、高帯域部分の周波数帯域ごとのバランスパラメータと、高帯域部分の周波数帯域ごとのレベルパラメータとを計算するように構成され、
    前記レベルパラメータは、周波数帯域ごとの２つのチャネルの全パワーを表す、符号器。
12. 前記符号器は、スケーラブルな符号器であり、
    前記スケーラブルな符号器は、レベルパラメータを一次ビットストリーム部分に送り、バランスパラメータを二次ビットストリーム部分に送るように動作し、
    前記２次部分の受信および復号化は、前記一次ビットストリーム部分の受信および復号化に対してオプションである請求項１１に記載の符号器。
13. 前記低帯域符号化出力信号と前記レベルパラメータを一次ビットストリーム部分へ多重化する一次ビットストリームマルチプレクサと、
    前記バランスパラメータを二次ビットストリーム部分へ多重化する二次ビットストリーム部分マルチプレクサと、をさらに備えている請求項１２に記載の符号器。
14. 前記低帯域符号器は一次ビットストリーム部分へ送られる和信号と二次ビットストリーム部分へ送られる差信号を生成するように動作し、
    前記パラメトリックステレオ符号器は１又は２以上のステレオパラメータを前記一次ビットストリーム部分へ送るようにさらに動作する請求項１１から１３のいずれかに記載の符号器。
15. 前記二次ビットストリーム部分に追加の低帯域情報を含み、一次ビットストリーム部分低帯域出力信号と組み合わされたときにその二次ビットストリームがより高品質の低帯域復号器出力信号を生み出すものとなるように動作する請求項１４に記載の符号器。
16. 前記パラメトリックステレオ符号器はステレオ幅パラメータを生成し、かつそのステレオ幅パラメータと前記バランスパラメータを前記一次ビットストリーム部分へ供給するように配置されており、
    前記ステレオ幅パラメータは、第１のチャネルと第２のチャネルとの間の類似度を表し、
    前記ステレオ幅パラメータは、第１のチャネルと第２のチャネルとの間のモノ状況と広いステレオ状況との間の範囲全体を網羅する有限集合の値からの値である請求項１１から１５のいずれかに記載の符号器。
17. 一組の周波数帯域をもつ２つのチャネルをもったステレオ信号又はマルチチャネル信号のパワースペクトル包絡線を符号化する装置であって、
    周波数帯域ごとのバランスパラメータと周波数帯域ごとの前記２つのチャネルの全パワーを表すレベルパラメータを計算する計算機を備える装置。
18. ２つのチャネルをもつステレオ信号又はマルチチャネル信号を符号化する方法であって、
    低帯域符号化出力信号を得るために、２つのチャネルをもつステレオ信号又はマルチチャネル信号を符号化するステップと、
    ２つのチャネルをもつステレオ信号又はマルチチャネル信号の高帯域部分の推定されたパワースペクトル包絡線を計算するステップとを備え、
    ２つのチャネルの高帯域部分は高帯域部分の周波数帯域ごとのバランスパラメータと、高帯域部分の周波数帯域ごとのレベルパラメータとを計算することによって１組の周波数帯域を持ち、
    前記レベルパラメータは、周波数帯域ごとの２つのチャネルの全パワーを表す符号化方法。
19. ２つのチャネルをもつステレオ信号又はマルチチャネル信号の符号化されたパワースペクトル包絡線を復号化する装置であって、前記２つのチャネルは一組の周波数帯域をもち、前記符号化パワースペクトル包絡線は周波数帯域ごとのバランスパラメータと周波数帯域ごとの前記２つのチャネルの全パワーを表すレベルパラメータによって表現されている復号化装置において、
    前記バランスパラメータと前記レベルパラメータを前記第１のチャネルと第２のチャネルのパワー値に変換する装置を備える復号化装置。

Images