JP4950210B2 - オーディオ圧縮 - Google Patents

Description

本出願は、一般に、オーディオ圧縮に関するものである。

オーディオ圧縮は、一般に、デジタルオーディオ信号を保存又は伝送するべく、最近の消費者装置において採用されている。消費者装置は、通信装置、ビデオ装置、オーディオプレーヤー、無線装置、及びその他の消費者装置であってよい。高圧縮比により、相対的に大きなストレージ容量、或いは、通信チャネル、即ち、無線通信チャネル又は有線通信チャネルを介した相対的に効率的な伝送が実現される。但し、圧縮比と同時に、圧縮された信号の品質をハイレベルに維持する必要がある。オーディオコーディングの目的は、一般に、所与の圧縮比、即ち、ビットレートとの関係において、オーディオ品質を極大化させることにある。

過去数十年の間に、多数のオーディオコーディング法が開発されている。先進的なオーディオコーディングシステムは、人間の耳の特性を効果的に利用している。主要な概念は、知覚品質に影響を及ぼすことが最も少ない信号の領域にコーディング雑音を配置可能であり、この結果、可聴歪みを導入することなしにデータレートを低減可能であるというものである。従って、音響心理学の理論が最近のオーディオコーディングの重要な部分を構成している。

既知のオーディオエンコーダにおいては、入力信号を限られた数のサブ帯域に分割している。これらのサブ帯域信号のそれぞれを量子化可能である。スペクトル内の最高周波数は、低い周波数よりも、知覚的な重要性が低いことが音響心理学の理論から判明している。これは、コーダ内において、低周波数サブ帯域の場合よりも、相対的に少ない数のビットを高周波数サブ帯域の量子化に割り当てることにより、ある程度考慮可能である。

更に高度なオーディオコーディングにおいては、大部分の場合に、オーディオ信号の低周波数領域と高周波数領域の間には、大きな依存性が存在している、即ち、スペクトルの上半分は、一般に、下半分と非常に類似している、という事実を利用している。低周波数領域とは、オーディオスペクトルの下半分である見なすことが可能であり、高周波数は、オーディオスペクトルの上半分であると見なすことができる。低周波数と高周波数の間の境界は、固定されてはいないが、２ｋＨｚ〜１５ｋＨｚの間に位置可能であり、場合によっては、これらの境界を超過することも可能であることを理解されたい。

高周波数領域をコーディングするための現在の方法は、ＳＢＲ（Ｓｐｅｃｔｒａｌ−Ｂａｎｄ−Ｒｅｐｌｉｃａｔｉｏｎ）と呼ばれている。この技法については、Ｍ． Ｄｉｅｔｚ、Ｌ． Ｌｉｌｊｅｒｙｄ、Ｋ． Ｋｊｏｒｌｉｎｇ、及びＯ． Ｋｕｎｚによる「Ｓｐｅｃｔｒａｌ Ｂａｎｄ Ｒｅｐｌｉｃａｔｉｏｎ， ａ ｎｏｖｅｌ ａｐｐｒｏａｃｈ ｉｎ ａｕｄｉｏ ｃｏｄｉｎｇ」（１１２ｔｈ ＡＥＳ Ｃｏｎｖｅｎｔｉｏｎ、Ｍｕｎｉｃｈ，Ｇｅｒｍａｎｙ、２００２年５月）及びＰ． Ｅｋｓｔｒａｎｄによる「Ｂａｎｄｗｉｄｔｈ ｅｘｔｅｎｓｉｏｎ ｏｆ ａｕｄｉｏ ｓｉｇｎａｌｓ ｂｙ ｓｐｅｃｔｒａｌ ｂａｎｄ ｒｅｐｌｉｃａｔｉｏｎ」（１ｓｔ ＩＥＥＥ Ｂｅｎｅｌｕｘ Ｗｏｒｋｓｈｏｐ ｏｎ Ｍｏｄｅｌ Ｂａｓｅｄ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｃｏｄｉｎｇ ｏｆ Ａｕｄｉｏ、Ｌｅｕｖｅｎ，Ｂｅｌｊｉｕｍ、２００２年１１月）に記述されている。この記述されている方法は、例えば、ＡＡＣ又はＭＰ３（ＭＰＥＧ−１ Ｌａｙｅｒ ＩＩＩ）コーダなどの一般的なオーディオコーダ、並びに、多くのその他の最新技術のコーダに適用可能である。

当技術分野における方法の欠点は、低周波数帯域の高周波数帯域への単純な転位が、オリジナルの高周波数と、転位された低周波数を利用したそれらの再構築との間の不同性に結び付く可能性を有しているという点にある。別の欠点は、雑音及び正弦波を既知の方法に従って周波数スペクトルに追加する必要があるという点にある。

従って、改善されたオーディオコーディング法を提供することが本出願の目的である。適度に低いビットレートによって入力信号を更に正確に表現するコーディング法を提供することが本出願の更なる目的である。

前述の欠点を克服するべく、本出願は、一態様によれば、入力オーディオ信号を受信する段階と、オーディオ信号を少なくとも１つの低周波数帯域及び１つの高周波数帯域に分割する段階と、高周波数帯域を少なくとも２つの高周波数サブ帯域信号に分割する段階と、低周波数帯域信号セクションの中において高周波数サブ帯域信号と最良にマッチングしているものを判定する段階と、高周波数サブ帯域信号と最良にマッチングしている低周波数帯域信号セクションを少なくとも参照するパラメータを生成する段階と、を有するオーディオ信号をエンコーディングする方法を提供している。

本出願は、入力信号の高周波数領域をコーディングする新しい方法を提供している。入力信号を時間的に連続したフレームに分割可能である。フレームのそれぞれは、入力信号の時間的なインスタンスを表している。それぞれのフレーム内においては、そのスペクトル成分によって入力信号を表現可能である。これらのスペクトル成分、即ち、サンプルは、入力信号内における周波数を表している。

低周波数領域を高周波数領域に盲目的に転位させる代わりに、本出願は、オリジナルの及びコーディング済みの高周波数スペクトル成分の間の類似性を極大化させている。本出願によれば、信号の既にコーディング済みの低周波数領域を利用することにより、高周波数領域を形成している。

低周波数信号サンプルを受信信号の高周波数サブ帯域と比較することにより、実際の高周波数サブ帯域と最良にマッチングしている低周波数における信号セクションを見出すことが可能である。本出願は、低周波数スペクトルサンプルの全体において、高周波数サブ帯域に最良に類似している信号セクションについてサンプルごとにサーチする段階を提供している。信号セクションは、サンプルシーケンスに対応していることから、本出願は、換言すれば、高周波数サブ帯域と最良にマッチングしているサンプルシーケンスを見出す段階を提供している。このサンプルシーケンスは、低周波数帯域内における最後の検討された開始点は、低周波数帯域内の最後のサンプルからマッチング対象である高周波数サブ帯域の長さを減算したものである必要があるという点を除いて、低周波数帯域内の任意の場所において開始可能である。

実際の高周波数サブ帯域に最良にマッチングしている低周波数信号セクションに対するインデックス又はリンクを使用することにより、高周波数サブ帯域をモデル化可能である。対応した高周波数サブ帯域の表現の受信側における回復を実現するには、このインデックス又はリンクをエンコードし、保存又は伝送するだけでよい。

実施例によれば、信号セクションと高周波数サブ帯域の最も類似したマッチング、即ち、最も類似したスペクトル形状を低周波数帯域内においてサーチしている。高周波数サブ帯域に最も類似していると判明した信号セクションを少なくとも参照するパラメータをエンコーダ内において生成している。これらのパラメータは、検出されたセクションを高周波数帯域内にスケーリングするスケーリングファクタを有することができる。デコーダ側においては、これらのパラメータを使用して対応する低周波数信号セクションを高周波数領域に転位させることにより、高周波数サブ帯域を再構築している。

スケーリングファクタを使用することにより、複写された低周波数信号セクションに対してスケーリングを適用可能である。実施例によれば、エンコードする必要があるのは、スケーリングファクタ及び低周波数信号セクションに対するリンクのみである。

高周波数サブ帯域を再生成するべく最良にマッチングしている低周波数信号セクションを使用した際には、高周波数領域の形状は、既知の方法によるものよりも、オリジナルの高周波数スペクトルに更に密接に類似している。振幅、形状、及び周波数の位置が、オリジナルの信号に対して更に類似しているため、知覚的に重要なスペクトルピークを更に正確にモデル化可能である。モデル化された高周波数サブ帯域をオリジナルの高周波数サブ帯域と比較可能であることから、消失したスペクトル成分、即ち、正弦波又は雑音を容易に検出し、次いで、これらを追加可能である。

エンベロープ整形を実現するべく、実施例は、パラメータを使用して低周波数信号サンプルを高周波数サブ帯域信号に転位させることによって低周波数信号セクションを利用する段階を提供しており、この場合に、これらのパラメータは、転位した低周波数信号セクションのエンベロープが、受信信号の高周波数サブ帯域信号のエンベロープと連続するように、スケーリングファクタを有している。スケーリングファクタにより、複写された低周波数信号セクションのエネルギー及び形状を調節し、実際の高周波数サブ帯域に更に良好にマッチングさせることが可能である。

パラメータは、実施例による対応した高周波数サブ帯域信号を表すための低周波数信号セクションに対するリンクを有することが可能である。これらのリンクは、低周波数信号セクションに対するポインタ又はインデックスであってよい。この情報により、高周波数サブ帯域を構築する際に低周波数信号セクションを参照可能である。

量子化ビットの数を低減するべく、高周波数サブ帯域信号のエンベロープを正規化可能である。正規化により、低周波数帯域と高周波数帯域の両方が、正規化された振幅レンジ内に存在することになる。これにより、スケーリングファクタの量子化に必要なビットの数が低減される。正規化に使用した情報をエンコーダから提供することにより、デコーダ内において高周波数サブ帯域の表現を構築しなければならない。実施例は、線形予測コーディングによるエンベロープの正規化を提供している。又、ケプストラムモデル化を利用することにより、エンベロープを正規化することも可能である。ケプストラムモデル化は、信号のパワースペクトルの対数の逆フーリエ変換を使用している。

スケーリングファクタの生成段階は、スペクトル内の少なくとも振幅ピークにマッチングするべく線形ドメイン内においてスケーリングファクタを生成する段階を有することができる。又、スケーリングファクタを生成する段階は、実施例に従って、対数ドメイン内において少なくともスペクトルのエネルギー及び／又は形状をマッチングさせる段階を有することも可能である。

実施例は、修正離散コサイン変換（ＭＤＣＴ：Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用して低周波数帯域及び／又は高周波数帯域内において信号サンプルを生成する段階を提供している。ＭＤＣＴ変換は、好ましくは、実数としてスペクトル係数を提供している。実施例によるＭＤＣＴ変換は、任意の適切なフレームサイズ、具体的には、通常フレームの場合には、２０４８個のサンプルの、そして、過渡フレームの場合には、２５６個のサンプルのフレームサイズにおいて、使用可能であるが、この間の任意のその他の値を使用することも可能である。

対応した高周波数サブ帯域信号に最良にマッチングしている低周波数信号セクションを取得するべく、実施例は、正規化された相関又はユークリッド距離を使用して類似性尺度を算出する段階を提供している。

入力信号をエンコーディングするべく、実施例は、低周波数信号サンプルを量子化する段階と、少なくともスケーリングファクタを量子化する段階と、を提供している。低周波数信号セクションに対するリンクは、整数であってよい。

追加の正弦波を追加することにより、高周波数信号の品質を改善可能である。このような正弦波に対応するべく、実施例は、入力信号を時間的に連続したフレームに分割する段階と、入力信号の２つの連続したフレーム内において調性セクション（ｔｏｎａｌ ｓｅｃｔｉｏｎ）を検出する段階と、を提供している。調性セクションは、追加の正弦波を追加することにより、機能強化可能である。高度な調性セクションは、更に、対応する高周波数領域内における高周波数サブ帯域の数を増大させることにより、更に機能強化可能である。入力信号は、例えば、非調性（ｎｏｔ ｔｏｎａｌ）、調性（ｔｏｎａｌ）、及び強力な調性（ｓｔｒｏｎｇｌｙ ｔｏｎａｌ）などの異なる調性グループ（ｔｏｎａｌｉｔｙ ｇｒｏｕｐ）に分割可能である。

調性セクションを検出する段階は、シフト離散フーリエ変換（ＳＤＦＴ：Ｓｈｉｆｔｅｄ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用する段階を有することができる。ＳＤＦＴの結果をエンコーダ内において利用することにより、ＭＤＣＴ変換を提供可能である。

本出願の別の態様は、エンコーディング済みのビットストリームを受信する段階と、このビットストリームから少なくとも１つの低周波数信号及び低周波数信号セクションを参照する少なくともパラメータをデコーディングする段階と、低周波数信号サンプル及び低周波数信号セクションを参照するパラメータを利用して少なくとも２つの高周波数サブ帯域信号を再構築する段階と、少なくとも１つの低周波数信号及び少なくとも２つの高周波数サブ帯域信号を有する出力信号を出力する段階と、を有するオーディオ信号をデコーディングする方法である。

本出願の更なる態様は、入力オーディオ信号を受信するべく構成された受信手段と、オーディオ信号を少なくとも１つの低周波数帯域及び１つの高周波数帯域に分割するべく構成されており、且つ、高周波数帯域を少なくとも２つの高周波数サブ帯域信号に分割するべく更に構成されたフィルタリング手段と、高周波数サブ帯域信号に最良にマッチングしている低周波数帯域信号セクションを少なくとも参照するパラメータを生成するべく構成されたコーディング手段と、を有するオーディオ信号をエンコーディングするエンコーダである。

更には、本出願の更なる態様は、エンコーディング済みのビットストリームを受信するべく構成された受信手段と、このビットストリームから少なくとも１つの低周波数信号及び低周波数信号セクションを参照する少なくともパラメータをデコーディングするべく構成されたデコーディング手段と、低周波数信号のサンプル及び低周波数信号セクションを参照するパラメータを利用して少なくとも２つの高周波数サブ帯域信号を再構築するべく構成された生成手段と、を有するオーディオ信号をデコーディングするデコーダである。

本出願の更なる態様は、前述のデコーダと、前述のエンコーダと、を有するデジタルオーディオ圧縮用のシステムである。

更には、本出願の更なる態様は、オーディオ信号をエンコーディングするコンピュータプログラムプロダクトに関するものであり、このプログラムは、入力オーディオ信号を受信する段階と、オーディオ信号を少なくとも１つの低周波数帯域及び１つの高周波数帯域に分割する段階と、高周波数帯域を少なくとも２つの高周波数サブ帯域信号に分割する段階と、高周波数サブ帯域信号に最良にマッチングしている低周波数帯域信号セクションを少なくとも参照するパラメータを生成する段階と、をプロセッサに実行させるべく動作可能である命令を有している。

又、ビットストリームをデコーディングするコンピュータプログラムプロダクトであって、プログラムは、エンコーディング済みのビットストリームを受信する段階と、このビットストリームから少なくとも１つの低周波数信号及び低周波数信号セクションを参照する少なくともパラメータをデコーディングする段階と、低周波数信号のサンプル及び低周波数信号セクションを参照するパラメータを利用して少なくとも２つの高周波数サブ帯域信号を再構築する段階と、少なくとも１つの低周波数信号及び少なくとも２つの高周波数サブ帯域信号を有する出力信号を出力する段階と、をプロセッサに実行させるべく動作可能である命令を有している。

一般的なオーディオコーディングシステムは、図１に概略的に示されているように、エンコーダ及びデコーダから構成されている。図示されているのは、エンコーダ４、ストレージ又は媒体チャネル６、及びデコーダ８を有するコーディングシステム２である。

エンコーダ４は、入力オーディオ信号１０を圧縮することにより、ビットストリーム１２を生成しており、このビットストリームは、保存されるか、又は媒体チャネル６を通じて伝送される。ビットストリーム１２は、デコーダ８内において受信可能である。デコーダ８は、ビットストリーム１２を圧縮解除することにより、出力オーディオ信号１４を生成している。ビットストリーム１２のビットレートと、入力信号１０との関係における出力オーディオ信号１４の品質が主要な特徴であり、コーディングシステム２の性能は、これらによって定義されている。

最近のオーディオエンコーダ４の代表的な構造が図２に概略的に示されている。入力信号１０を分析フィルタバンク構造１６を使用することにより、サブ帯域に分割している。音響心理学モデル２０から供給される情報を利用することにより、コーディング手段１８内において、それぞれのサブ帯域を量子化及びコーディング可能である。コーディングは、Ｈｕｆｆｍａｎコーディングであってよい。量子化の設定とコーディングの方式は、音響心理学モデル１８によって決定可能である。量子化及びコーディング済みの情報をビットストリームフォーマッタ２２内において使用することにより、ビットストリーム１２を生成している。

ビットストリーム１２は、図３に概略的に示されているように、デコーダ８内においてデコーディング可能である。デコーダ８は、ビットストリームアンパッキング手段２４、サブ帯域再構築手段２６、及び合成フィルタバンク２８を有することができる。

デコーダ８は、エンコーダ４の逆演算を実行しており、変換によってビットストリーム１２を出力オーディオ信号１４に戻している。デコーディングプロセスにおいては、サブ帯域再構築手段２６内において、ビットストリーム１２をサブ帯域信号に逆量子化している。これらのサブ帯域信号を合成フィルタバンク２８に供給し、この合成フィルタバンクが、サブ帯域信号からオーディオ信号を合成し、出力信号１４を生成している。

多くの場合に、低周波数領域及び限られた量の追加制御情報のみを使用することにより、高周波数領域を効率的且つ知覚的に正確に合成可能である。最適には、高周波数部分のコーディングに必要とされるのは、少数の制御パラメータのみである。スペクトルの上部部分の全体を少量の情報によって合成可能であるため、合計ビットレートにおける相当の節約を実現可能である。

ＭＰ３ｐｒｏなどの現在のコーディングは、音響心理学的なコーディングに加えて、ＳＢＲコーディング方式を導入することにより、これらの特性をオーディオ信号内において利用している。ＳＢＲにおいては、図４及び図５に概略的に示されているように、コーディング済みの低周波数領域を利用することにより、高周波数領域を別個に生成可能である。

図４は、エンコーダ４を概略的に示している。エンコーダ４は、低域通過フィルタリング手段３０、コーディング手段３１、ＳＢＲ手段３２、エンベロープ抽出手段３４、及びビットストリームフォーマッタ２２を有している。

低域通過フィルタ３０は、まず、入力信号１０をフィルタリングするためのカットオフ周波数を定義している。この効果が図６ａに示されている。カットオフ周波数３６未満の周波数のみがフィルタを通過している。

コーディング手段３１は、３２個の低周波数サブ帯域を伴う量子化及びＨｕｆｆｍａｎコーディングを実行している。コーディング手段３１内において、低周波数コンテンツをＱＭＦドメインに変換している。この低周波数コンテンツをコーダ３１の出力に基づいて転位させている。この転位は、ＳＢＲ手段３２内において実行している。低周波数の高周波数への転位の効果が図６ｂに示されている。この転位は、低周波数サブ帯域サンプルが高周波数サブ帯域サンプル内にそのまま複写されるように、盲目的に実行されている。これは、入力信号のすべてのフレーム内において同様に、且つ、入力信号の特性とは無関係に、実行されている。

ＳＢＲ手段３２内においては、高周波数サブ帯域を追加情報に基づいて調節可能である。これは、合成された高周波数領域の特定の特徴をオリジナルのものに類似したものにするべく実行されている。正弦波又は雑音などの追加成分を高周波数領域に追加することにより、オリジナルの高周波数領域との類似性を増大させることが可能である。最終的に、オリジナルの高周波数スペクトルのエンベロープと連続するように、エンベロープ抽出手段３４内において、エンベロープを調節している。この効果を図６ｃにおいて観察可能であり、この場合には、入力信号の実際の高周波数成分により近接したものとなるように、高周波数成分をスケーリングしている。

ビットストリーム１２内において、コーディング済みの低周波数信号は、スケーリング及びエンベロープ調節パラメータと共に存在している。図５に示されているように、このビットストリーム１２は、デコーダ内においてデコーディング可能である。

図５は、アンパッキング手段２４、低周波数デコーダ３８、高周波数再構築手段４０、成分調節手段４２、及びエンベロープ調節手段４４を有するデコーダ８を示している。デコーダ３８内において、低周波数サブ帯域を再構築している。高周波数再構築手段４０内において、これらの低周波数サブ帯域から高周波数サブ帯域を静的に再構築している。成分調節手段４２内において、正弦波を追加可能であり、エンベロープ調節手段４４内において、エンベロープを調節可能である。

本出願によれば、低周波数信号サンプルの高周波数サブ帯域への転位は、動的に実行されており、例えば、どの低周波数信号セクションが高周波数サブ帯域に最良にマッチングしているかをチェックしている。対応した低周波数信号セクションに対するインデックスを生成している。このインデックスをエンコードし、デコーダ内において使用することにより、低周波数信号から高周波数サブ帯域を構築している。

図７は、エンコーダ４と、デコーダ８と、を有するコーディングシステムを示している。エンコーダ４は、高周波数コーディング手段５０、低周波数コーダ５２、及びビットストリームフォーマッタ２２から構成されている。エンコーダ４は、更に複雑なオーディオコーディング体系の一部であってよい。本出願は、低ビットレートにおいて良好な品質を目的としている大部分の任意のオーディオコーダ内において使用可能である。例えば、実際の低ビットレートオーディオコーダとは完全に別個に本出願を使用可能であり、例えば、ＡＡＣやＭＰＥＧなどの音響心理学的なコーダの前段に配置可能である。

高周波数領域は、通常、低周波数領域と類似したスペクトル形状を含んでことから、一般的に、良好なコーディング性能が実現される。デコーダに伝送する必要があるのは、複写されたスペクトルのインデックス及びスケーリングファクタのみであることから、これは、相対的に低い合計ビットレートによって実現される。

低周波数コーダ２２内において、低周波数サンプルＸ_L（ｋ）をコーディングしている。高周波数コーダ５０内においては、後程詳述するように、コーディングのために、変換、スケーリング、及びエンベロープ形成を表すパラメータα₁、α₂、ｉを生成している。

まず、高周波数スペクトルをｎ_b個のサブ帯域に分割している。それぞれのサブ帯域ごとに、最も類似したマッチング（即ち、最も類似したスペクトル形状）を低周波数領域からサーチしている。

この方法は、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）ドメイン内において動作可能である。その良好な特性（クリティカルサンプリングとの５０％のオーバーラップや柔軟なウィンドウ切り替えなど）に起因し、ＭＤＣＴドメインは、大部分の最新技術のオーディオコーダ内において使用されている。ＭＤＣＴ変換は、次式のように実行している。

ここで、ｘ（ｎ）は、入力信号であり、ｈ（ｎ）は、長さ２Ｎを有する時間分析ウィンドウであって、０≦ｋ＜Ｎである。通常、オーディオコーディングにおいては、Ｎは、１０２４個（通常フレーム）又は１２８個（過渡）のサンプルである。スペクトル係数Ｘ（ｋ）は、実数であってよい。前述のフレームサイズ、並びに、任意のその他のフレームサイズが可能である。

高周波数サブ帯域を表すパラメータを生成するべく、高周波数コーダ５０内において、高周波数サブ帯域に最もマッチングしている低周波数信号セクションを見出す必要がある。高周波数コーダ５０及び低周波数コーダ５２は、Ｎ個のＭＤＣＴコーディング済みの成分を生成可能であり、ここで、Ｘ_L（ｋ）は、低周波数成分を表しており、Ｘ_H（ｋ）は、高周波数成分を表している。

低周波数コーダ５２により、Ｎ_L個の低周波数ＭＤＣＴ係数

をコーディング可能であり、ここで、０≦ｋ＜Ｎ_Lである。通常は、Ｎ_L＝Ｎ／２であるが、その他の選択も実行可能である。

オリジナルのスペクトルＸ（ｋ）及び

を利用している目的は、使用する尺度により、オリジナルの高周波数信号Ｘ_H（ｋ）＝Ｘ（Ｎ_L＋ｋ）に最大限に類似した高周波数成分

を生成することであり、ここで、０≦ｋ＜Ｎ−Ｎ_Lである。

及び

が、協働し、次のように、合成されたスペクトル

を形成している。

オリジナルの高周波数スペクトルＸ_H（ｋ）をｎ_b個のオーバーラップしていない帯域に分割している。原則的に、帯域の数と帯域の幅は、任意に選択可能である。例えば、Ｎが１０２４個のサンプルに等しい際には、８個の等しい幅の周波数帯域を使用可能である。別の適度な選択肢は、人間の聴力の知覚的特性に基づいて帯域を選択するというものである。例えば、Ｂａｒｋ又はＥＲＢ（Ｅｑｕｉｖａｌｅｎｔ Ｒｅｃｔａｎｇｕｌａｒ Ｂａｎｄｗｉｄｔｈ）スケールを利用することにより、帯域の数とそれらの幅を選択可能である。

高周波数コーダ内において、高周波数信号及び低周波数成分の間の類似性尺度を算出可能である。

ｗ_J個のサンプルの長さを有するＸ_H（ｋ）のｊ番目の帯域を含む列ベクトルを

としよう。

を、次のように、コーディング済みの低周波数スペクトル

と比較可能である。

ここで、Ｓ（ａ，ｂ）は、ベクトルａ及びｂの間の類似性尺度であり、

は、コーディング済みの低周波数スペクトル

のインデックスｉ（ｊ）≦ｋ＜ｉ（ｊ）＋ｗ_jを含むベクトルである。望ましい低周波数信号セクションの長さは、現在の高周波数サブ帯域の長さと同一であり、従って、基本的に、必要な唯一の情報は、インデックスｉ（ｊ）であり、これは、個々の低周波数信号セクションがどこで始まっているのかを示している。

類似性尺度を使用することにより、最高の類似性を提供するインデックスｉ（ｊ）を選択可能である。類似性尺度を使用することにより、ベクトルの形状がどれほど類似しているかを表しており、それらの相対的な振幅は、重要ではない。類似性尺度には、多数の選択肢が存在している。１つの可能な実装は、次のように、正規化された相関であってよい。

これは、ａ及びｂの振幅の影響を受けにくい尺度を提供している。別の適度な代替肢は、次のように、ユークリッド距離に基づいた類似性尺度である。

同様に、多くのその他の類似性尺度を利用可能である。

低周波数信号サンプル内のこれらの最も類似したセクションを高周波数サブ帯域に複写すると共に、特定のスケーリングファクタを使用することにより、スケーリング可能である。これらのスケーリングファクタは、コーディング済みの高周波数スペクトルのエンベロープが、オリジナルのスペクトルのエンベロープと連続するように、機能している。

インデックスｉ（ｊ）を使用することにより、

に形状において最も類似している選択されたベクトル

を

と同一の振幅にスケーリングしなければならない。スケーリングには、多数の異なる技法が存在している。例えば、スケーリングは、まず、線形ドメインにおいてスペクトル内の高振幅ピークをマッチングさせた後に、対数ドメインにおいて、エネルギー及び形状をマッチングさせるという２つのフェーズにおいて実行可能である。これらのスケーリングファクタによってベクトル

をスケーリングすることにより、結果的に、コーディング済みの周波数成分

が得られる。

線形ドメインスケーリングは、単純に次のように実行される。

ここで、α₁（ｊ）は、次式から得られる。

α₁（ｊ）が正及び負の両方の値を取得可能であることに留意されたい。対数スケーリングの前に、ベクトルサンプルの符号と

の最大対数値を次のように保存している。

この段階で、対数スケーリングを実行可能であり、

を次のように更新する。

ここで、スケーリングファクタα₂（ｊ）は、次式から得られる。

このスケーリングファクタは、対数ドメインにおける波形の間の類似性を極大化している。或いは、この代わりに、エネルギーが略等しいレベルに設定されるように、次のように、α₂（ｊ）を選択することも可能である。

上記の式において、変数

の目的は、

内の最大の値の振幅（即ち、スペクトルピーク）が過大にスケーリングされないようにすることにある（第１スケーリングファクタα₁（ｊ）が、これらを既に正しいレベルに設定している）。変数

を使用することにより、オリジナルサンプルの符号を保存しているが、この理由は、この情報が、対数ドメインへの変換の際に失われるためである。

帯域のスケーリングが完了した後に、ベクトル

を合成することにより、合成済みの高周波数スペクトル

を取得可能であり、ここで、ｊ＝０，１，．．．，ｎ_b−１である。

パラメータの選択が完了した後に、高周波数領域再構築情報をデコーダ８に伝送するべく、これらのパラメータを量子化する必要がある。

デコーダ８内において

を再構築するには、それぞれの帯域について、パラメータｉ（ｊ）、α₁（ｊ）、及びα₂（ｊ）が必要である。デコーダ８内において、高周波数生成手段５４がこれらのパラメータを利用している。インデックスｉ（ｊ）は、整数であるため、そのまま提出可能である。α₁（ｊ）及びα₂（ｊ）は、例えば、スカラー又はベクトル量子化を使用することにより、量子化可能である。

これらのパラメータの量子化されたバージョン

及び

を高周波数生成手段５４内において使用することにより、式（６）及び式（１０）に従って

を構築している。

低周波数デコーディング手段５６は、低周波数信号をデコーディングし、且つ、再構築された高周波数サブ帯域と共に、式２に従って出力信号１４を形成している。

図７に示されているシステムは、エンベロープ正規化手段によって更に機能強化可能である。図８に示されているシステムは、図７に示されているシステムに加えて、エンベロープ正規化手段５８及びエンベロープ合成手段６０を有している。

このシステムにおいては、高周波数コーディング法を使用し、且つ、エンコーダ４内のエンベロープ正規化手段５８を使用することにより、エンベロープ正規化スペクトルを生成している。実際のエンベロープの合成は、デコーダ８内の別個のエンベロープ合成手段６０内において実行されている。

エンベロープの正規化は、例えば、ＬＰＣ分析又はケプストラムモデル化を使用することにより、実行可能である。図８に示されているように、エンベロープの正規化に伴い、オリジナルの高周波数スペクトルエンベロープを表すエンベロープパラメータをデコーダに提出しなければならないことに留意されたい。

ＳＢＲにおいて、追加の正弦波及び雑音成分を高周波数領域に追加している。前述のアプリケーション内においても、同様の内容を実行可能である。必要に応じて、追加成分を容易に追加可能である。これは、この記述されている方法においては、オリジナルの及び合成されたスペクトルの間の差を計測可能であり、且つ、従って、スペクトル形状において大きな差が存在している場所を見出すことが可能であるためである。例えば、一般的なＢＷＥコーダにおいては、スペクトル形状がオリジナルのスペクトルから大きく異なっているため、通常、追加の正弦波又は雑音成分を追加するべきかどうかを決定することが相対的に困難である。

いくつかの場合において、入力信号が顕著な調性を有している際には、オリジナルと比較した際に、コーディング済みの信号の品質が低下可能であることが判明した。これは、コーディング済みの高周波数領域が、オリジナルの信号ほどには、フレーム間における周期性を有していないためである。いくつかの周期的（正弦波的）成分が消失可能であるため、又は既存の周期的成分の振幅がフレーム間において過剰に変化しているため、周期性が失われている。

高周波数サブ帯域を再構築するべく使用される低周波数信号サンプルが完全な正弦波を表していない際にも調性セクションを包含するべく、２つの更なる段階を提供可能である。

第１段階において、可能な品質の劣化を伴う調性信号セクションを検出可能である。調性セクションは、ＳＤＦＴ（Ｓｈｉｆｔｅｄ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）ドメインにおいて２つの連続したフレーム間の類似性を比較することにより、検出可能である。ＳＤＦＴは、位相情報をも含んでいるため、この目的に有用な変換であるが、これは、コーダのその他の部分において使用されているＭＤＣＴ変換と依然として密接に関連している。

調性検出は、過渡検出の直後、又は実際の高周波数領域コーディングの初期化の前に実行可能である。過渡フレームは、一般に、調性成分を含んでいないため、調性検出は、現在の及び以前のフレームの両方が通常の長いフレーム（例えば、２０４８個のサンプル）である際にのみ、適用可能である。

調性検出は、前述のように、ＳＤＦＴ（Ｓｈｉｆｔｅｄ Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）に基づいており、これは、２Ｎ個のサンプルの長いフレームについて、次のように定義可能である。

ここで、ｈ（ｎ）は、ウィンドウであり、ｘ（ｎ）は、入力信号であり、ｕ及びｖは、それぞれ、時間及び周波数ドメインシフトを表している。Ｘ（ｋ）＝ｒｅａｌ（Ｙ（ｋ））であるため、ｕ＝（Ｎ＋１）／２及びｖ＝１／２となるように、これらのドメインシフトを選択可能である。

従って、ＳＤＦＴ及びＭＤＣＴ変換を別個に演算する代わりに、まず、調性分析のために、ＳＤＦＴ変換を演算可能であり、この結果、ＳＤＦＴ係数の実数部分として、ＭＤＣＴ変換が容易に得られる。従って、調性検出によって演算の複雑性が大幅に増大することにはならない。

それぞれ、現在の及び以前のフレームのＳＤＦＴ変換を表しているＹ（ｋ）_b及びＹ（ｋ）_b-1により、フレーム間の類似性を次式を使用して計測可能である。

ここで、Ｎ_L＋１は、高周波数コーディング用の限界周波数に対応している。パラメータＳが小さくなるほど、高周波数スペクトルの類似性が増大する。Ｓの値に基づいて、フレームを次のように分類可能である。

制限ファクタｓｌｉｍ１及びｓｌｍ２の良好な選択肢は、それぞれ、０．０２及び０．２である。但し、その他の選択肢も選択可能である。更には、異なる変形を使用可能であり、例えば、これらの分類の中の１つを完全に除去することも可能である。

図１０に示されているように、前述の調性検出（６２）は、入力信号１０に基づいて実行可能である。

図１０に示されているように、調性検出（６２）に基づいて、入力フレームを、非調性（６４）、調性（６６）、及び強力な調性（６６）という３つのグループに分割可能である。

調性検出（６２）の後に、第２段階において、前述のように、追加の正弦波を高周波数領域に追加すると共に、恐らくは、高周波数領域の生成に使用される高周波数サブ帯域の数を増大させることにより、調性セクションの品質を改善可能である。

最も一般的なケースは、信号が非調性（６４）であるというものであり、この場合には、コーディングは、前述のように継続される。

入力信号が調性（６６）に分類される場合には、前述のように、コーディングを適用した後に、追加の正弦波を高周波数スペクトルに追加可能である。固定数の正弦波をＭＤＣＴドメインスペクトルに追加可能である。オリジナルの及びコーディング済みのスペクトルの間の絶対差が最大である周波数に対して正弦波を単純に追加可能である。正弦波の位置及び振幅を量子化し、デコーダに提出している。

フレームが調性（又は、強力な調性）であると検出された際には、正弦波をスペクトルの高周波数領域に追加可能である。それぞれ、オリジナルの及びコーディング済みの高周波数サブ帯域成分を表しているＸ_H（ｋ）及び

により、第１正弦波をインデックスｋ₁に追加可能であり、これは、次式から取得可能である。

正弦波の（その符号を含む）振幅は、次のように定義可能である。

最後に、

を次のように更新可能である。

所望の数の正弦波の追加が完了する時点まで、式（１７）〜式（１９）を反復可能である。通常は、４つの追加の正弦波により、調性セクションにおいて明瞭に改善された結果を得ることが可能である。正弦波の振幅Ａ_iを量子化し、デコーダ８に提出可能である。正弦波の位置ｋ_iも提出可能である。更には、現在のフレームが調性であることをデコーダ８に通知可能である。

調性セクションにおいては、第２スケーリングファクタα₂は、品質を改善不可能であり、従って、これを除去可能であることが判明した。

強力な調性セクション（６８）が検出された際には、現在のセクションの高周波数領域のコーディングが特に困難であることがわかる。従って、正弦波の追加だけでは、不十分であろう。高周波数コーディングの精度を増大させることにより、品質を更に改善可能である。これは、高周波数領域の生成に使用される帯域の数を追加することにより、実行可能である。

強力な調性セクションにおいては、高周波数サブ帯域は、フレーム間において非常に類似した状態に留まっている。この類似性をコーディング済みの信号においても維持するべく、特殊な操作を適用可能である。特に、高周波数サブ帯域の数ｎｂが相対的に小さい（即ち、８以下である）場合には、高周波数サブ帯域の数を更に大きなレートに増大可能である。例えば、１６個の高周波数サブ帯域は、一般に、更に高い精度の性能を提供している。

多数の帯域に加えて、多数の正弦波を追加することも可能である。一般に、良好な解決策は、「通常」の調性セクションにおけるものの２倍の数の正弦波を使用するというものである。

高周波数サブ帯域の数を増大させると共に、正弦波の数を増大させれば、「通常」のフレームと比べた場合に、強力な調性セクションのビットレートは、容易に倍増することになる。しかしながら、強力な調性セクションは、非常に特殊なケースであって、非常にまれにしか発生せず、従って、平均ビットレートの増大は、非常にわずかである。

当技術分野におけるオーディオ信号をコーディングするシステムである。 当技術分野におけるエンコーダである。 当技術分野におけるデコーダである。 ＳＢＲエンコーダである。 ＳＢＲデコーダである。 異なる段階におけるオーディオ信号のスペクトル表現である。 第１実施例によるシステムである。 第２実施例によるシステムである。 エンベロープの正規化を伴う周波数スペクトルである。 調性検出を使用したコーディングの機能強化である。

Claims (24)

1. オーディオ信号をエンコーディングする方法において、
   入力オーディオ信号を受信する段階と、
   前記オーディオ信号を少なくとも１つの低周波数帯域及び１つの高周波数帯域に分割する段階と、
   前記高周波数帯域を少なくとも２つの高周波数サブ帯域信号に分割する段階と、
   低周波数信号サンプルを前記受信入力オーディオ信号の高周波数サブ帯域と比較することにより、低周波数帯域信号セクションと前記高周波数サブ帯域信号との間の類似性尺度を判定する段階と、
   低周波数帯域信号セクションを量子化及びコーディングする段階と、
   前記低周波数帯域信号セクションを高周波数に転位して前記高周波数サブ帯域を再構築するために、前記高周波数サブ帯域信号に対して最高の類似性尺度を有する前記低周波数帯域信号セクションを少なくとも参照するパラメータを生成する段階と、
   前記入力信号を時間的に連続したフレームに分割する段階と、
   前記入力信号の２つの連続したフレーム内において調性セクションを検出する段階と、
   少なくとも１つの正弦波の位置及び振幅を表すパラメータを調性セクションのパラメータに追加する段階と、
   前記コーディング済みの低周波数信号セクションと前記パラメータとを有するビットストリームを作成する段階と、
   を有する方法。
2. パラメータを生成する段階は、前記低周波数帯域信号セクションをスケーリングするための少なくとも１つのスケーリングファクタを生成する段階を更に有する、請求項１記載の方法。
3. 前記スケーリングファクタは、前記パラメータを使用して前記高周波数サブ帯域信号に転位される前記低周波数信号セクションのエンベロープが、前記受信信号の前記高周波数サブ帯域信号のエンベロープと連続するように生成される、請求項２記載の方法。
4. スケーリングファクタを生成する段階は、前記スペクトル内の少なくとも振幅ピークにマッチングするように、線形ドメイン内においてスケーリングファクタを生成する段階を有する、請求項２記載の方法。
5. スケーリングファクタを生成する段階は、前記スペクトルの少なくともエネルギー及び／又は形状にマッチングするように、対数ドメイン内においてスケーリングファクタを生成する段階を有する、請求項２記載の方法。
6. パラメータを生成する段階は、前記対応する高周波数サブ帯域信号を表す低周波数信号セクションに対するリンクを生成する段階を有する、請求項１記載の方法。
7. 前記低周波数帯域信号セクションの中において高周波数サブ帯域信号に最良にマッチングしているものを判定する段階は、
   Ａ）正規化された相関と、
   Ｂ）ユークリッド距離と、
   の中の少なくとも１つを使用する段階を有する、請求項１記載の方法。
8. 少なくとも前記低周波数信号セクションのサンプルは、修正離散コサイン変換を使用することにより生成される、請求項１記載の方法。
9. 前記高周波数サブ帯域信号の前記エンベロープを正規化する段階を更に有する、請求項１記載の方法。
10. 前記低周波数信号のサンプルを量子化する段階と、前記少なくとも１つのスケーリングファクタを量子化する段階と、を更に有する、請求項２記載の方法。
11. 調性セクションを検出する段階は、シフト離散フーリエ変換を使用する段階を有する、請求項１記載の方法。
12. 調性セクション用の前記高周波数サブ帯域の数を増大させる段階を更に有する、請求項１記載の方法。
13. オーディオ信号をデコーディングする方法において、
    エンコーディング済みのビットストリームを受信する段階と、
    前記ビットストリームから、少なくとも１つの低周波数信号と、低周波数信号セクション並びに少なくとも１つの正弦波の位置及び振幅を参照する少なくともパラメータと、をデコーディングする段階であって、前記パラメータは、前記低周波数帯域信号セクションを高周波数に転位して前記高周波数サブ帯域を再構築するために、前記高周波数サブ帯域信号に対して最高の類似性尺度を有する前記低周波数帯域信号セクションを少なくとも参照するものである、段階と、
    前記低周波数信号のサンプルと、前記低周波数信号セクション並びに正弦波の位置及び振幅を参照する前記パラメータと、を利用することにより、少なくとも２つの高周波数サブ帯域信号を再構築する段階と、
    前記少なくとも１つの低周波数信号及び前記少なくとも２つの高周波数サブ帯域信号を有する出力信号を出力する段階であって、前記少なくとも２つの高周波数サブ帯域が、前記少なくとも１つのデコーディング済みの低周波数信号と前記パラメータとから再構築されている、段階と、
    を有する方法。
14. オーディオ信号をエンコーディングするエンコーダにおいて、
    入力オーディオ信号を受信するべく構成された受信手段と、
    前記オーディオ信号を少なくとも１つの低周波数帯域及び１つの高周波数帯域に分割し、前記高周波数帯域を少なくとも２つの高周波数サブ帯域信号に分割するべく構成されており、更に、前記入力信号を時間的に連続したフレームに分割し、前記入力信号の２つの連続したフレーム内において調性セクションを検出するべく構成されたフィルタリング手段と、
    低周波数信号サンプルを前記受信入力オーディオ信号の高周波数サブ帯域と比較することにより、低周波数帯域信号セクションと前記高周波数サブ帯域信号との間の類似性尺度を判定し、前記低周波数帯域信号セクションを高周波数に転位して前記高周波数サブ帯域を再構築するために、前記高周波数サブ帯域信号に対して最高の類似性尺度を有する前記低周波数帯域信号セクションを少なくとも参照するパラメータを生成し、少なくとも１つの正弦波の位置及び振幅を表すパラメータを調性セクションのパラメータに追加するべく構成され、更に、低周波数帯域信号セクションを量子化及びコーディングするべく構成されたコーディング手段と、
    前記コーディング済みの低周波数信号セクションと前記パラメータとを有するビットストリームを作成する出力手段と、
    を有するエンコーダ。
15. 前記コーディング手段は、前記低周波数帯域信号セクションをスケーリングするための少なくとも１つのスケーリングファクタを生成するべく構成されている、請求項１４記載のエンコーダ。
16. 前記コーディング手段は、前記パラメータを使用して高周波数サブ帯域信号に転位される前記低周波数信号セクションのエンベロープが、前記受信信号の前記高周波数サブ帯域信号のエンベロープと連続するように、前記スケーリングファクタを生成するべく構成されている、請求項１４記載のエンコーダ。
17. 前記フィルタリング手段は、シフト離散フーリエ変換を使用して調性セクションを検出するべく構成されている、請求項１４記載のエンコーダ。
18. 前記コーディング手段は、調性セクション用の前記高周波数サブ帯域の数を増大させるべく構成されている、請求項１４記載のエンコーダ。
19. オーディオ信号をデコーディングするデコーダにおいて、
    エンコーディング済みのビットストリームを受信するべく構成された受信手段と、
    前記ビットストリームから、少なくとも１つの低周波数信号と、低周波数信号セクション並びに少なくとも１つの正弦波の位置及び振幅を参照する少なくともパラメータと、をデコーディングするべく構成されたデコーディング手段であって、前記パラメータは、前記低周波数帯域信号セクションを高周波数に転位して前記高周波数サブ帯域を再構築するために、前記高周波数サブ帯域信号に対して最高の類似性尺度を有する前記低周波数帯域信号セクションを少なくとも参照するものである、デコーディング手段と、
    前記低周波数信号のサンプルと、前記低周波数信号セクション並びに正弦波の位置及び振幅を参照する前記パラメータと、を利用して少なくとも２つの高周波数サブ帯域信号を再構築するべく構成された生成手段であって、前記少なくとも２つの高周波数サブ帯域が、前記少なくとも１つのデコーディング済みの低周波数信号と前記パラメータとから再構築されている、生成手段と、
    を有するデコーダ。
20. 請求項１９記載のデコーダと、請求項１４記載のエンコーダと、を有するデジタルオーディオ圧縮用のシステム。
21. オーディオ信号をエンコーディングするためのコンピュータプログラムにおいて、前記プログラムは、
    入力オーディオ信号を受信する段階と、
    前記オーディオ信号を少なくとも１つの低周波数帯域及び１つの高周波数帯域に分割する段階と、
    前記高周波数帯域を少なくとも２つの高周波数サブ帯域信号に分割する段階と、
    低周波数信号サンプルを前記受信入力オーディオ信号の高周波数サブ帯域と比較することにより、低周波数帯域信号セクションと前記高周波数サブ帯域信号との間の類似性尺度を判定する段階と、
    低周波数帯域信号セクションを量子化及びコーディングする段階と、
    前記低周波数帯域信号セクションを高周波数に転位して前記高周波数サブ帯域を再構築するために、前記高周波数サブ帯域信号に対して最高の類似性尺度を有する前記低周波数帯域信号セクションを少なくとも参照するパラメータを生成する段階と、
    前記入力信号を時間的に連続したフレームに分割する段階と、
    前記入力信号の２つの連続したフレーム内において調性セクションを検出する段階と、
    少なくとも１つの正弦波の位置及び振幅を表すパラメータを調性セクションのパラメータに追加する段階と、
    前記コーディング済みの低周波数信号セクションと前記パラメータとを有するビットストリームを作成する段階と、
    をプロセッサに実行させるべく動作可能である命令を有する、コンピュータプログラム。
22. シフト離散フーリエ変換を使用して調性セクションを検出する段階をプロセッサに実行させるべく動作可能である、請求項２１記載のコンピュータプログラム。
23. 調性セクション用の前記高周波数サブ帯域の数を増大させる段階をプロセッサに実行させるべく動作可能である、請求項２１記載のコンピュータプログラム。
24. ビットストリームをデコーディングするためのコンピュータプログラムにおいて、前記プログラムは、
    エンコーディング済みのビットストリームを受信する段階と、
    前記ビットストリームから、少なくとも１つの低周波数信号と、低周波数信号セクション並びに少なくとも１つの正弦波の位置及び振幅を参照する少なくともパラメータと、をデコーディングする段階であって、前記パラメータは、前記低周波数帯域信号セクションを高周波数に転位して前記高周波数サブ帯域を再構築するために、前記高周波数サブ帯域信号に対して最高の類似性尺度を有する前記低周波数帯域信号セクションを少なくとも参照するものである、段階と、
    前記低周波数信号のサンプルと、前記低周波数信号セクション並びに正弦波の位置及び振幅を参照する前記パラメータと、を利用することにより、少なくとも２つの高周波数サブ帯域信号を再構築する段階と、
    前記少なくとも１つの低周波数信号及び前記少なくとも２つの高周波数サブ帯域信号を有する出力信号を出力する段階であって、前記少なくとも２つの高周波数サブ帯域が、前記少なくとも１つのデコーディング済みの低周波数信号と前記パラメータとから再構築されている、段階と、
    をプロセッサに実行させるべく動作可能である命令を有する、コンピュータプログラム。

Images