JP4258694B2 - Moving picture coding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture communication system including them - Google Patents
Moving picture coding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture communication system including them Download PDFInfo
- Publication number
- JP4258694B2 JP4258694B2 JP2000308127A JP2000308127A JP4258694B2 JP 4258694 B2 JP4258694 B2 JP 4258694B2 JP 2000308127 A JP2000308127 A JP 2000308127A JP 2000308127 A JP2000308127 A JP 2000308127A JP 4258694 B2 JP4258694 B2 JP 4258694B2
- Authority
- JP
- Japan
- Prior art keywords
- resolution
- image
- encoding
- conversion
- quantization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システムに関し、特に、動画像の水平方向と垂直方向との解像度変換を個別に制御する動画像符号化方法、動画像符号化装置、動画像復号化装置及びそれらを備えた動画像通信システムに関する。
【０００２】
【従来の技術】
従来、動画像を符号化する際に用いる発生符号量は、量子化幅を調節することによって制御される。しかし、符号化レートを下げていくと、そのままでは量子化幅を広くしなければならず、後に復号化された動画像の画質が大幅に低下する場合があった。これを緩和する方法として、入力画像の解像度を低下させ、発生情報量を減少させる動画像符号化方式が、従来、例えば、特開平９−２７１０２６号公報に開示されている。この公報の記載によると、発生情報量を減少させることにより、量子化幅の増大を防止し、主観画質を向上させることができる。
【０００３】
図２０は、従来の解像度変換を行う動画像符号化装置の構成を示すブロック図である。図２１は、図２０に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。
【０００４】
まず、図２０に示す動画像符号化装置について説明する。図２０に示すように、従来の動画像符号化装置は、入力された動画像信号から予測画像生成手段１０１０で生成された予測画像信号を減算することにより予測誤差画像信号を生成する減算手段１００１と、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を解像度情報作成手段１０１４で決定された解像度情報に従って変換することにより低解像度予測誤差画像信号を生成する解像度変換手段１００２と、解像度変換手段１００２から出力された低解像度予測誤差画像信号をブロック化して周波数成分等に分解して各成分毎に直交変換を施すことにより変換係数信号を求める離散コサイン変換（Discrete Cosine Transform ：以下、ＤＣＴ）手段１００３と、ＤＣＴ変換手段１００３から出力された変換係数信号を制御部１０１１から出力された量子化パラメータに従って量子化することにより量子化変換係数信号を生成する量子化手段１００４と、量子化手段１００４から出力された量子化変換係数信号をたとえば一次元信号に変換することによって可変長符号化する可変長符号化手段１０１２と、可変長符号を速度平滑化することにより伝送路速度に整合化して符号列して動画像を出力するとともにバッファ占有量を出力するバッファ１０１３と、バッファ１０１３のバッファ占有量に応じて符号化制御を行う制御部１０１１とを備えている。
【０００５】
また、従来の動画像符号化装置は、可変長符号化手段１０１２から出力された発生符号量と制御部１０１１から出力された量子化パラメータとバッファ１０１３から出力されたバッファ占有量とに基づいて次に符号化する動画像の解像度を決定する解像度情報作成手段１０１４と、解像度情報作成手段１０１４で作成された解像度情報に従って動画像の解像度を変換する解像度変換手段１００７と、解像度変換手段１００７で解像度変換された動画像と予測画像生成手段１０１０で生成された予測画像信号とを加算して局所復号画像信号を算出する加算手段１００８と、制御部１０１１から出力された量子化パラメータに従って量子化変換手段１００４から出力された量子化変換係数信号を逆量子化する逆量子化手段１００５と、逆量子化手段１００５から出力された逆量子化変換係数信号に対してブロック毎に逆ＤＣＴ変換を行い低解像度復号予測誤差画像信号を生成する逆ＤＣＴ手段１００６と、加算手段１００８から出力された局所復号画像信号をたとえばフレーム単位で蓄積するフレームメモリ１００９とを備えている。
【０００６】
次に、図２０に示す動画像符号化装置動作について説明する。動画像符号化装置に動画像信号が入力されると、この動画像信号は、予測パラメータ算出手段１０１５及び減算手段１００１にそれぞれへ入力される。また、予測パラメータ算出手段１０１５には、この他に、フレームメモリ１００９に蓄積されている過去に符号化されている動画像信号と解像度情報作成手段１０１４から出力される解像度情報も入力される。
【０００７】
予測パラメータ算出手段１０１５は、解像度情報によって定まる大きさの各ブロックごとに動き推定を行い、各ブロックの符号化モード情報及び動きベクトル（以下、符号化モード情報及び動きベクトルを「予測パラメータ」と称する。）を算出し、予測画像生成手段１０１０及び可変長符号化手段１０１２へ出力する。
【０００８】
次に、予測画像生成手段１０１０は、フレームメモリ１００９に蓄積されている動画像信号を、算出された予測パラメータと解像度情報作成手段１０１４から出力された解像度情報とに基づいて、ブロック毎に動き補償を行い、予測画像信号を取得して、加算手段１００８及び減算手段１００１へ出力する。
【０００９】
減算手段１００１は、入力された動画像信号から、予測画像信号を減算することによって、予測誤差画像信号を生成して、解像度変換手段１００２へ出力する。
【００１０】
解像度変換手段１００２は、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を、解像度情報作成手段１０１４から出力された解像度情報に従って変換することにより、低解像度予測誤差画像信号を生成して、ＤＣＴ変換手段１００３へ出力する。
【００１１】
ＤＣＴ変換手段１００３は、動画像からたとえば８×８画素のように正方形ブロックに分割し、画素ブロック毎にＤＣＴ演算を行い変換係数信号を求めて量子化手段１００４へ出力する。
【００１２】
量子化手段１００４は、ＤＣＴ変換手段１００３から出力された変換係数信号を、制御部１０１１から出力された量子化パラメータに従って量子化することにより、量子化変換係数信号を生成し、可変長符号化手段１０１２及び逆量子化手段１００５へ出力する。
【００１３】
可変長符号化手段１０１２は、量子化手段１００４から出力された量子化変換係数信号を走査して、一次元信号に変換してから可変長符号化するとともに、制御部１０１１から出力された量子化パラメータ、解像度情報作成手段１０１４から出力された解像度情報及び予測パラメータ算出手段１０１５から出力された予測パラメータも同時に可変長符号化して、これらを含む符号列を作成してバッファ１０１３へ出力するとともに、出力した符号列の長さを表す発生符号量を制御部１０１１及び解像度情報作成手段１０１４へ出力する。
【００１４】
バッファ１０１３は、可変長符号化手段１０１２から出力された符号列を速度平滑化することにより、伝送路速度に整合化して伝送路及び制御部１０１１へ出力するとともに、バッファ占有量情報を制御部１０１１及び解像度情報作成手段１０１４へ出力する。
【００１５】
制御部１０１１は、可変長符号化手段１０１２から出力された発生符号量とバッファ１０１３からバッファ占有量情報とに基づいて、量子化パラメータを算出して、量子化手段１００４、解像度情報作成手段１０１４、逆量子化手段１００５及び可変長符号化手段１０１２へそれぞれ出力する。
【００１６】
解像度情報作成手段１０１４は、制御部１０１１から出力された量子化パラメータと、可変長符号化手段１０１２から出力された発生符号量と、バッファ１０１３から出力されたバッファ占有情報とに基づいて、解像度情報を作成して、解像度変換手段１００２、解像度変換手段１００７、可変長符号化手段１０１２、予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力する。解像度情報を作成する手法については、後述する。
【００１７】
一方、逆量子化手段１００５は、量子化手段１００４から出力された量子化変換係数信号を、制御部１０１１から出力された量子化パラメータに従って逆量子化することによって逆量子化変換係数信号を生成し、逆ＤＣＴ変換手段１００６へ出力する。すなわち、逆量子化手段１００５は、量子化手段１００４において量子化に際し用いた量子化パラメータと同じ量子化パラメータを用いて逆量子化する。
【００１８】
逆ＤＣＴ手段１００６は、逆量子化手段１００５から出力された逆量子化変換係数信号を、画素ブロック毎に逆ＤＣＴ変換を行うことによって、低解像度復号予測誤差画像信号を生成し、解像度変換手段１００７へ出力する。
【００１９】
解像度変換手段１００７は、逆ＤＣＴ手段１００６から出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度情報作成手段１０１４から出力された解像度情報に基づいて変換することによって、復号予測誤差画像信号を生成し、加算手段１００８へ出力する。すなわち、復号予測誤差画像信号に係る動画像の解像度は、動画像符号化装置に入力された動画像信号に係る解像度と同じであり、解像度変換手段１００７における解像度変換は、解像度変換手段１００２で変更された解像度を元に戻すために行われる。例えば、解像度変換手段１００２で、ＣＩＦ解像度からＱＣＩＦ解像度に変換された場合には、解像度変換手段１００７では、ＱＣＩＦ解像度からＣＩＦ解像度へ変換する。
【００２０】
加算手段１００８は、予測画像生成手段１０１０から出力された予測画像信号に、解像度変換手段１００７から出力された復号予測誤差画像信号を加算することによって、局所復号画像信号を生成し、フレームメモリ１００９へ出力する。
【００２１】
フレームメモリ１００９は、出力された局所復号画像信号を一時的に蓄積し、予測パラメータを算出する際に、予測パラメータ算出手段１０１５へ出力する。
【００２２】
次に、解像度情報作成手段１０１４の動作を説明する。解像度情報作成手段１０１４では、制御部１０１１から出力されたブロック毎の量子化パラメータの平均値ＱＰ、算出した量子化パラメータの平均値ＱＰと可変長符号化手段１０１２から出力された発生符号量Ｂとの積並びに高解像度から低解像度に切り替わる量子化パラメータの閾値ＱＴＨ１及び低解像度から高解像度に切り替わる量子化パラメータの閾値ＱＴＨ２とターゲットのビットレートＢ０との積をそれぞれ求める。
【００２３】
そして、高解像度で動画像信号を符号化する場合には、バッファ占有量Δが予め定めた閾値ΔＴＨ１を超え、かつ、［ＱＰ×Ｂ］が［ＱＴＨ１×Ｂ０］を超えたときに、解像度を下げさせるための解像度情報を出力する。次のフレームの符号化時には、解像度変換手段１００２において、この解像度情報に基づいて解像度変換が行われる。すなわち、低解像度で符号化される。一方、解像度変換手段１００７では、逆に、この解像度情報に基づいて、低下した解像度を元の解像度に戻す変換が行われる。
【００２４】
低解像度で動画像信号を符号化する場合には、バッファ占有量Δが予め定めた閾値ΔＴＨ２よりも小さく、かつ、［ＱＰ×Ｂ］が［ＱＴＨ２×Ｂ０］よりも小さいときに、動画像の解像度を上げさせる解像度情報を出力する。次のフレームの符号化時には、解像度変換手段１００２において、この解像度情報に基づいて解像度変換が行われる。すなわち、高解像度で符号化される。
【００２５】
つぎに、図２１に示す動画像復号化装置について説明する。図２１に示すように、従来の動画像復号装置は、動画像符号化装置から送信された符号列を受信して可変長復号する可変長復号化手段２００１と、復号化された動画像信号を逆量子化する逆量子化手段２００２と、逆量子化された動画像信号を逆ＤＣＴ変換する逆ＤＣＴ変換手段２００３と、逆ＤＣＴ変換された動画像信号に係る動画像の解像度を変換する解像度変換手段２００４と、解像度変換された動画像信号と可変長復号化された動画像信号に基づく予測画像信号とを加算する加算手段２００５と、加算結果を記憶するフレームメモリ２００７と、フレームメモリに記憶されている加算結果とに基づいて上記予測画像信号を生成する予測画像信号生成手段２００６とを備えている。
【００２６】
次に、図２１に示す動画像復号化装置の動作について説明する。動画像復号化装置は、動画像符号化装置から送信された符号列を受信して可変長復号化手段２００１へ出力する。
【００２７】
可変長復号手段２００１は、出力された符号列に対して可変長復号を行うことにより、量子化変換係数信号、量子化パラメータ、予測パラメータ及び解像度情報を復号化し、量子化変換係数信号を逆量子化手段２００２へ出力し、予測パラメータを予測画像生成手段２００６へ出力し、解像度情報を解像度変換手段２００４及び予測画像生成手段２００６へ出力し、量子化パラメータを逆量子化手段２００２へ出力する。
【００２８】
逆量子化手段２００２は、図２０に示した逆量子化手段１００５と同様に、出力された量子化変換係数信号に対し、同じく出力された量子化パラメータに基づいて逆量子化を行うことによって取得した逆量子化変換係数信号を逆ＤＣＴ変換手段２００３へ出力する。
【００２９】
逆ＤＣＴ変換手段２００３は、図２０に示した逆ＤＣＴ変換手段１００６と同様に、出力された逆量子化変換係数信号を逆ＤＣＴ変換することにより低解像度復号予測誤差画像信号を生成して、解像度変換手段２００４へ出力する。
【００３０】
解像度変換手段２００４は、図２０に示した解像度変換手段１００７と同様に、出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度変換情報によって特定された解像度から元の動画像の解像度に戻すように変換して得られる、復号予測誤差画像信号を加算手段２００５へ出力する。
【００３１】
加算手段２００５は、図２０に示した加算手段１００８と同様に、出力された復号予測誤差画像信号に予測画像生成手段２００６から出力されている予測画像信号を加算して得られた動画像信号をフレームメモリ２００７及び外部に出力する。
【００３２】
フレームメモリ２００７は、図２０に示したフレームメモリ１００９と同様に、加算手段２００５から出力された動画像信号を一時的に蓄積し、予測画像信号を生成する際に予測画像生成手段２００６へ出力する。
【００３３】
予測画像生成手段２００６は、図２０に示した予測画像生成手段１０１０と同様に、フレームメモリ２００７から出力された動画像信号を用いて、可変長復号手段２００１から出力されている予測パラメータと解像度情報とに基づいて予測画像信号を生成して加算手段２００５へ出力する。
【００３４】
【発明が解決しようとする課題】
しかし、従来の技術は、動画像の水平方向と垂直方向との各解像度を、量子化パラメータの平均値に基づいて決定された解像度情報に応じて変換しており、たとえば、動画像の水平方向の解像度を１／２とし、垂直方向の解像度を１／３というようにすることができなかったので、発生符号量が少ない場合であっても、一律に、動画像の水平方向と垂直方向とを同じ割合で解像度変換しなければならず、画質が劣化する場合があった。
【００３５】
また、特に量子化幅が広い場合には、量子化幅と画質劣化との度合いが必ずしも比例しないため、量子化幅で解像度間の遷移を制御すると、量子化雑音が小さいにもかかわらず解像度が低下し、不要に復号した動画像の画質が劣化する場合があった。
【００３６】
そこで、本発明は、動画像の水平方向と垂直方向のそれぞれの解像度を個別に変換することができる動画像符号化装置を提供することを課題とする。
【００３７】
【課題を解決するための手段】
上記課題を解決するため、本発明は、動画像の符号化対象画像の水平方向と垂直方向との解像度の組み合わせを選択して解像度を制御する動画像符号化装置であって、画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力する解像度情報作成手段を備え、前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする。
【００３８】
また、本発明の動画像復号化装置は、上記動画像符号化装置において符号化された符号列を復号化する復号化手段と、前記復号化手段によって復号化された量子化係数信号を前記符号列から得られる量子化パラメータに応じて逆量子化することによって変換係数信号を求める逆量子化手段と、前記逆量子化手段によって求められた変換係数信号を逆周波数変換することによって予測誤差画像信号を求める逆周波数変換手段と、前記逆周波数変換手段によって求められた予測誤差画像信号に係る動画像の解像度を変換する解像度変換手段と、前記解像度変換手段によって変換された動画像に係る動画像信号を格納するメモリと、前記メモリに記憶されていた過去の動画像信号と前記量子化パラメータと前記解像度変換手段の変換結果とに基づく予測画像信号を、前記解像度変換手段によって変換された解像度に係る動画像信号に加算する加算手段とを備えることを特徴とする。
【００３９】
さらに、本発明の動画像通信システムは、上記動画像符号化装置と、上記動画像復号化装置とを伝送路で接続してなることを特徴とする。
【００４０】
さらにまた、本発明の動画像符号化方法は、動画像の符号化対象画像の水平方向と垂直方向との解像度の組み合わせを選択して解像度を制御する動画像符号化方法であって、画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力し、前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする。
【００４１】
また、本発明の記憶媒体は、上記動画像符号化方法をコンピュータに実行させる命令を含むプログラムを格納したことを特徴とする。
【００４２】
具体的には、本発明の動画像符号化装置は、図１，図９〜図１２に示すように、過去に符号化された画像の局所復号画像信号を記憶するメモリ１０９と、メモリ１０９に記憶されている局所復号画像信号を参照画像として用いてこれと入力された動画像信号と解像度情報とに基づいて解像度の変換に用いる予測パラメータを算出する予測パラメータ算出手段１０１５と、算出された予測パラメータと解像度情報とに基づいて参照画像から予測画像信号を生成する予測画像生成手段１０１０と、入力された動画像信号から予測画像信号を減じて予測誤差画像信号を生成する減算手段１００１と、生成された予測誤差画像信号の解像度を解像度情報によって特定される解像度になるように変換して低解像度予測誤差画像信号を得る解像度変換手段１０２と、得られた低解像度予測誤差画像信号を周波数成分に投影する周波数変換を行い変換係数信号として出力する周波数変換手段１０３と、出力された変換係数信号を量子化パラメータに従って量子化して量子化変換係数信号として出力する量子化手段１０４と、出力された量子化変換係数信号と量子化パラメータと予測パラメータと解像度情報とをそれぞれ可変長符号化して符号列を生成するとともに符号列の長さを表す発生符号量情報を出力する可変長符号化手段１１２と、生成された符号列を一時的に蓄えた後に伝送路に出力するとともにバッファ占有量情報を出力するバッファと、発生符号量情報とバッファ占有量情報とを用いて量子化パラメータを算出する制御部１１１と、量子化変換係数信号を量子化パラメータに従って逆量子化し逆量子化変換係数信号を算出する逆量子化手段１０５と、算出された逆量子化変換係数信号を周波数変換手段で行う変換の逆変換あるいは逆変換を近似する変換を行うことによって低解像度復号予測誤差画像を生成する逆周波数変換手段１０５と、生成された低解像度復号予測誤差画像信号に対して解像度情報で特定される解像度から動画像の解像度へ戻す解像度変換を行うことによって復号予測誤差画像を生成する解像度変換手段１０７と、予測画像と復号予測誤差画像とを加算して局所復号画像を生成する加算手段１０８と、少なくとも量子化パラメータと予測誤差画像信号又は低解像度予測誤差画像信号又は変換係数信号又は逆量子化変換係数信号とを用いて解像度情報を作成する解像度情報作成手段１２０，１３０，１５０，１６０，１７０とを備えている。
【００４３】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００４４】
（実施形態１）
［構成の説明］
図１は、本発明の実施形態１の動画像符号化装置の構成を示すブロック図である。本実施形態の動画像符号化装置は、入力された動画像信号から予測画像生成手段１０１０で生成された予測画像信号を減算することにより予測誤差画像信号を生成する減算手段１００１と、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を解像度情報作成手段１２０で決定された解像度情報に従って変換することにより低解像度予測誤差画像信号を生成する第１解像度変換手段である解像度変換手段１０２と、解像度変換手段１０２から出力された低解像度予測誤差画像信号をたとえば８×８画素ごとにブロック化して周波数成分等に分解して各成分毎に離散コサイン変換（Discrete Cosine Transform ：以下、ＤＣＴ），アダマール変換，ウェーブレット変換などを行うことにより変換係数信号を求める周波数変換手段１０３と、周波数変換手段１０３から出力された変換係数信号を制御部１１１から出力された量子化パラメータに従って量子化することにより量子化変換係数信号を生成する量子化手段１０４と、量子化手段１０４から出力された量子化変換係数信号をたとえば一次元信号に変換することによって可変長符号化するとともに発生符号量を出力する可変長符号化手段１１２と、可変長符号を蓄積するとともにバッファ占有量を出力するバッファ１１３と、バッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量に応じて符号化制御を行う制御部１１１とを備えている。
【００４５】
また、本実施形態の動画像符号化装置は、制御部１１１から出力された量子化パラメータなどに基づいて次に符号化する動画像の解像度変換に用いる解像度情報を作成する作成手段であるところの解像度情報作成手段１２０と、解像度情報作成手段１２０で作成された解像度情報に従って動画像の解像度を変換する解像度変換手段１０７と、解像度変換手段１０７で解像度変換された動画像と予測画像生成手段１０１０で生成された予測画像信号とを加算して局所画像信号を算出する加算手段１００８と、制御部１１１から出力された量子化パラメータに従って量子化変換手段１０４から出力された量子化変換係数信号を逆量子化する逆量子化手段１０５と、逆量子化手段１０５から出力された逆量子化変換係数信号をたとえばブロック毎に逆周波数変換することによって低解像度復号予測誤差画像信号を生成する逆周波数変換手段１０６と、加算手段１００８から出力された局所復号画像信号を蓄積するメモリ１０９とを備えている。
【００４６】
なお、解像度情報作成手段１２０は、変換係数に対して同じ周波数の変換係数間で二乗平均や絶対値平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１２１と、予測誤差分布算出手段１２１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向とのいずれの解像度を変換するかを選択する選択手段１２２とを備えている。
【００４７】
図２は、図１に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。動画像符号化装置から送信された符号列を受信して可変長復号する可変長復号化手段９０１と、可変長復号化手段９０１で復号化された動画像信号を逆量子化する逆量子化手段９０２と、逆量子化手段９０２で逆量子化された動画像信号を逆ＤＣＴ変換などの逆周波数変換を行う逆周波数変換手段９０３と、逆周波数変換手段９０３で逆周波数変換された動画像信号に係る動画像の解像度を変換する解像度変換手段９０４と、解像度変換手段９０４で解像度変換された動画像と可変長復号化された動画像信号に基づく予測画像信号とを加算する加算手段２００５と、加算結果を記憶するメモリ２０７と、メモリに記憶されている加算結果とに基づいて上記予測画像信号を生成する予測画像信号生成手段２００６とを備えている。
【００４８】
［動作の説明］
次に、図１に示す動画像符号化装置の動作について説明する。動画像符号化装置に動画像信号が入力されると、この動画像信号は、予測パラメータ算出手段１０１５及び減算手段１００１へそれぞれ入力される。また、予測パラメータ算出手段１０１５には、この他に、メモリ１０９に蓄積されている過去に符号化されている動画像信号と解像度情報作成手段１２０から出力された解像度情報も入力される。
【００４９】
予測パラメータ算出手段１０１５は、解像度情報によって定まる大きさの各ブロックごとに動き推定を行い、各ブロックの符号化モード情報及び動きベクトル（以下、符号化モード情報及び動きベクトルを「予測パラメータ」と称する。）を算出し、予測画像生成手段１０１０及び可変長符号化手段１１２へ出力する。
【００５０】
次に、予測画像生成手段１０１０は、メモリ１０９に蓄積されている動画像信号を読み出して、予測パラメータ算出手段１０１５から出力された予測パラメータと解像度情報作成手段１２０から出力された解像度情報とに基づいて、ブロック毎に動き補償を行い、予測画像信号を生成して、加算手段１００８及び減算手段１００１へ出力する。
【００５１】
ここで、解像度情報作成手段１２０から出力された解像度情報は、動画像の水平方向と垂直方向とのいずれを変換するかを制御したり、解像度をどの程度変更するかを制御する情報であり、例えば、解像度変換後の動画像の水平方向又は垂直方向の解像度（サイズ）そのもの、変換前後の動画像の解像度の比率やこれに上記サイズを含めたもの又はこれらの情報を特定するために予め定められたインデックスを用いている。あるいは、現在の解像度から動画像の水平方向、垂直方向のいずれかの解像度を変換させるかを指定する情報であってもよい。
【００５２】
そして、減算手段１００１は、入力された動画像信号から、予測画像信号を減算することによって、予測誤差画像信号を生成して、解像度変換手段１０２へ出力する。
【００５３】
解像度変換手段１０２は、減算手段１００１から出力された予測誤差画像信号に係る動画像の解像度を、動画像全体あるいは動画像を複数のブロックに分割して各ブロック毎に解像度情報作成手段１２０から出力された解像度情報に従って変換することにより、低解像度予測誤差画像を生成して、周波数変換手段１０３へ出力する。具体的には、解像度変換手段１００２は、解像度変換用の複数のフィルタを有しており、解像度情報に従って水平方向と垂直方向とで個別にフィルタをいくつか選択し、選択したフィルタを用いてフィルタ処理を行うことで、解像度を変換する。
【００５４】
なお、解像度情報作成手段１２０から出力された解像度情報が、動画像の水平方向と垂直方向とのいずれの解像度も変換しない旨の情報である場合もあり、この場合には、解像度変換を行わず、減算手段１００１から出力された予測誤差画像信号をそのまま低解像度予測誤差画像信号として出力する。
【００５５】
また、ブロック毎に解像度変換を行うためには、解像度情報作成手段１２０側で各解像度情報にブロックを特定できるような情報を含めて解像度変換手段１０２へ出力し、解像度変換手段１０２側で解像度を特定できるようにしたり、解像度情報を各分割動画像の水平方向と垂直方向とのそれぞれの解像度を予め定まったルールに従って並べて表現するようにして、解像度変換手段１０２側でどの分割動画像に対応する解像度であるかを特定できるようにしている。
【００５６】
なお、解像度変換は、フレーム毎に行ってもよく、さらにフレームの種別に基づいて行うようにしてもよい。例えば、Ｉフレームの画質は他のフレームの画質にも大きな影響を与えるので、後述する量子化パラメータの閾値Ｑth1の値を大きくするなどしてＩフレームを高解像度に維持する。また、Ｂフレームの画質は多少劣化しても、他の種別のフレームの画質が劣化することがないので、閾値Ｑth1の値を小さくするなどしてＢフレームを低解像度とするようにしてもよい。
【００５７】
周波数変換手段１０３では、解像度変換手段１０２から出力された低解像度予測誤差画像信号を周波数変換することにより変換係数信号を求めて量子化手段１０４及び解像度情報作成手段１２０へ出力する。なお、周波数変換としてＤＣＴを行う場合には、たとえば動画像をブロック毎に分割してから、各ブロック毎にＤＣＴを行い変換係数信号を求める。
【００５８】
量子化手段１０４は、周波数変換手段１０３から出力された変換係数信号を、制御部１１１から出力された量子化パラメータに従って量子化することにより、量子化変換係数信号を生成し、可変長符号化手段１１２及び逆量子化手段１０５へ出力する。ここで、量子化パラメータとは、変換係数の量子化の粗さを定めるパラメータであり、この値が大きいほど量子化幅が長く、粗く量子化される。
【００５９】
可変長符号化手段１１２は、量子化手段１０４から出力された量子化変換係数信号を走査して、たとえば一次元信号に変換してから可変長符号化するとともに、制御部１１１から出力された量子化パラメータ、解像度情報作成手段１２０から出力された解像度情報及び予測パラメータ算出手段１０１５から出力された予測パラメータ情報も同時に可変長符号化して、これらを含む符号列を作成してバッファ１０１３へ出力するとともに、出力した符号列の長さを表す発生符号量を制御部１１１及び選択手段１２２へ出力する。
【００６０】
バッファ１０１３は、可変長符号化手段１１２から出力された符号列を速度平滑化するためにこれを蓄積し、伝送路速度に整合化してから伝送路及び制御部１１１へ出力する。そして、バッファ占有量情報を制御部１１１及び解像度情報作成手段１２０へ出力する。
【００６１】
制御部１１１は、可変長符号化手段１１２から出力された発生符号量とバッファ１０１３から出力されたバッファ占有量情報とに基づいて、量子化パラメータを算出して、量子化手段１０４、選択手段１２２、逆量子化手段１０５及び可変長符号化手段１１２へそれぞれ出力する。
【００６２】
解像度情報作成手段１２０は、後述するように、少なくとも制御部１１１から出力された量子化パラメータと周波数変換手段１０３から出力された変換係数信号とに基づいて、次に符号化する動画像の水平方向と垂直方向とのいずれの解像度を変換するかを示す解像度情報を作成して、解像度変換手段１０２、解像度変換手段１０７、可変長符号化手段１１２、予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力する。
【００６３】
一方、逆量子化手段１０５は、量子化手段１０４から出力された量子化変換係数信号を、制御部１１１から出力された量子化パラメータに従って逆量子化することによって逆量子化変換係数信号を生成し、逆周波数変換手段１０６へ出力する。すなわち、逆量子化手段１０５は、量子化手段１０４において量子化の際に用いた量子化パラメータと同じ量子化パラメータを用いて逆量子化を行う。
【００６４】
逆周波数変換手段１０６は、逆量子化手段１０５から出力された逆量子化変換係数信号を、周波数変換手段１０３で行った変換の逆変換を行うことによって、低解像度復号予測誤差画像信号を生成し、解像度変換手段１０７へ出力する。
【００６５】
解像度変換手段１０７は、逆周波数変換手段１０６から出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度情報作成手段１２０から出力された解像度情報に基づいて変換することによって、復号予測誤差画像信号を生成し、加算手段１００８へ出力する。すなわち、復号予測誤差画像信号に係る動画像の解像度は、動画像符号化装置に入力された動画像信号に係る解像度と同じであり、解像度変換手段１０７における解像度変換は、解像度変換手段１０２で変更された解像度を元に戻すために行われる。たとえば、解像度変換手段１０２で、ＣＩＦ解像度からＱＣＩＦ解像度に変換された場合には、解像度変換手段１０７では、ＱＣＩＦ解像度からＣＩＦ解像度へ変換する。
【００６６】
加算手段１００８は、予測画像生成手段１０１０から出力された予測画像信号に、解像度変換手段１０７から出力された復号予測誤差画像信号を加算することによて、局所復号画像信号を生成し、メモリ１０９に蓄積する。
【００６７】
メモリ１０９は、メモリ１０９に蓄積された局所復号画像信号を、予測パラメータを算出する際に、予測パラメータ算出手段１０１５へ出力する。
【００６８】
次に、解像度情報作成手段１２０の動作を説明する。解像度情報作成手段１２０では、周波数変換手段１０３から出力された変換係数情報を、予測誤差分布算出手段１２１によって同じ周波数間で二乗平均や絶対値平均などの統計処理を行い各周波数における変換係数の平均値を求め、予測誤差分布情報として選択手段１２２へ出力する。
【００６９】
選択手段１２２は、予測誤差分布算出手段１２１から出力された予測誤差分布情報と、たとえば制御部１１１から出力された量子化パラメータとに基づいて、動画像の水平方向と垂直方向とのいずれの解像度を変換するかを選択して、可変長符号化手段１１２，解像度変換手段１０７，１０２及び予測パラメータ算出手段１０１５へそれぞれ出力する。なお、解像度変換する方向は、制御部１１１から出力された量子化パラメータだけでなく、バッファ１０１３から出力されたバッファ占有量情報や可変長符号化手段１１２から出力された発生符号量を用いて選択することもできる。
【００７０】
具体的には、選択手段１２２は、量子化パラメータなどを用いて解像度の変更の有無を決定する。そして、解像度を変更させると決定した場合には、予測誤差分布算出手段１２１からの各周波数における変換係数の平均値に基づいて、動画像の水平方向と垂直方向とのいずれの解像度を変換するかを決定する。
【００７１】
なお、本実施形態では、たとえば動画像の水平方向の解像度を変換する場合には、動画像の水平方向に対しては、その解像度をたとえば１／２とさせるような情報を作成するとともに、動画像の垂直方向に対しては解像度を変換させないような情報を作成するようにしている。
【００７２】
図３は、図１の選択手段１２２の動作を説明するための遷移図である。図３において、楕円内の数字は、動画像の水平方向と垂直方向との解像度に基づくインデックスを意味している。ここでは、楕円内の数字が±１又は０になるように遷移するようにしており、たとえば（ｍ，ｎ）＝（０，０）から（ｍ，ｎ）＝（０，１）へ遷移することは、動画像の垂直方向の解像度だけをたとえば１／２だけ低下させることを意味している。このように、ｍ，ｎの値が大きくなるにつれ、解像度が低下するようにしている。
【００７３】
なお、本実施形態では、解像度を１／２とする場合を例としているが、一般的には、たとえば解像度を以下のようにすることができる。すなわち、動画像の水平方向と垂直方向との解像度は、それぞれｍ，ｎの関数で表現できるので、動画像の水平方向の解像度をｒh（ｍ）、垂直方向の解像度をｒv（ｎ）とすると、ｒh（ｍ）、ｒv（ｎ）は、
ｒh（ｍ）＝αm
ｒv（ｎ）＝αn （但し、０＜α＜１とする。）
とすることができる。
【００７４】
また、図３では、［ｍ＋ｎ］を解像度レベルｋと定義して、解像度レベルｋが等しい領域を破線で区切っている。解像度レベルｋが等しい領域では、動画像に係る画素の総数が同数になるので動画像の解像度は同じになる。
【００７５】
但し、ｒh（ｍ），ｒv（ｎ）は、それぞれαのべき乗ではなくてもよく、たとえばｒh（０）＝１，ｒh（１）＝２／３，ｒh（２）＝１／２，ｒh（３）＝１／３，ｒh（４）＝１／４とし、ｒv（ｎ）もこれと同様に設定してもよい。この場合ｋの値が同じでも、ｍ，ｎの組み合わせにより画素数が完全には一致しないが、ｋが等しい状態間では近い値になり、ほぼ同等の解像度と見なすことができる。
【００７６】
図４は、図１の選択手段１２２の動作を示すフローチャートである。図５，図６は、それぞれ図４のステップＳ３００５，Ｓ３００６の手順を示すフローチャートである。以下、遷移前の解像度レベルｋをｋ0として説明する。
【００７７】
まず、選択手段１２２は、制御部１１１から出力されたブロック毎の量子化パラメータなどを用いて、動画像内での量子化パラメータの平均値Ｑaveを算出する（ステップＳ３００１）。つづいて、動画像内での量子化パラメータの平均値Ｑaveと解像度レベルｋがｋ0の場合の閾値Ｑth1（ｋ0）との大小を比較し（ステップＳ３００２）し、ＱaveがＱth1（ｋ0）より大きい場合にはステップＳ３００５へ移行し、そうでなければステップＳ３００３へ移行する。
【００７８】
ステップＳ３００３では、解像度レベルｋがｋ0の場合の閾値Ｑth0（ｋ0）と動画像内での量子化パラメータの平均値Ｑaveとの大小を比較し、さらに、解像度変更を行わない動画像の数、すなわち図３において元の楕円に遷移した回数（Count）と所定の閾値Ｃthとの大小を比較する。そして、Ｑaveが、Ｑth1（ｋ0）よりも小さい場合であって、CountがＣthより大きい場合には、ステップＳ３００６へ移行し、そうでなければステップＳ３００４へ移行する。
【００７９】
なお、ここでは、解像度変換が頻繁にされすぎたり、逆にほとんどされないような事態が生じないように、閾値Ｃthを、たとえば過去の解像度変換が行われる程度に応じて設定している。すなわち、解像度変換が頻繁にされる場合には、閾値Ｃthの値を大きくして、Countが増えるようにする。一方、解像度変換がほとんどされない場合には、閾値Ｃthの値を小さくして、Countが増えないようにしている。なお、閾値Ｑth（ｋ0）などの値を変えて、Countを制御してもよい。
【００８０】
ステップＳ３００４では、Countに１を加える。こうして、図４に示す手順を終了する。なお、Countは、動画像の解像度を変更させた後に、すぐに直前の解像度に戻すことにより、解像度変換が頻繁に行われて画質の低下などが生じないようにするために用いている。
【００８１】
一方、ステップＳ３００５に移行した場合には、解像度を低下させる処理を行う。具体的には、図５に示すように、まず、ステップＳ３１０１において、図３の遷移図上で、遷移元が一番右下の楕円であるかどうかを判定する。具体的には、ｍ＝Ｍ−１かつｎ＝Ｎ−１であるかどうかを判定して、この条件を満たす場合には、ステップＳ３１０９へ移行し、そうでなければステップＳ３１０２へ移行する。
【００８２】
ステップＳ３１０９に移行したということは、動画像の水平方向と垂直方向とのいずれの解像度も低下させることができないのでCount値に１を加える。こうして、図４に示す手順を終了する。
【００８３】
一方、ステップＳ３１０２に移行した場合には、まだ動画像の水平方向と垂直方向とのいずれかの解像度を低下させることができるので、いずれの方向の解像度を低下させることができるか判定するために、図３の遷移図上で、遷移元が一番右列の楕円であるかどうかを判定する。具体的には、ｍ＝Ｍ−１であるかどうかを判定して、この条件を満たす場合には、ステップＳ３１０６へ移行し、そうでない場合には、ステップＳ３１０３へ移行する。
【００８４】
ステップＳ３１０３では、図３の遷移図上で、遷移元が一番下行の楕円であるかどうかを判定する。具体的には、ｎ＝Ｎ−１であるかどうかを判定して、この条件を満たす場合には、ステップＳ３１０８へ移行し、そうでなければステップＳ３１０４へ移行する。なお、ステップＳ３１０２とステップＳ３１０３とで行う処理の順序を互いに入れ替えて、先に遷移元が一番下行の楕円であるかどうかを判定し、それから遷移元が一番右列の楕円であるかどうかを判定してもよい。
【００８５】
ステップＳ３１０４では、予測誤差分布算出手段１２１からの各周波数における変換係数の平均値を用いて、右側の楕円に遷移させたと仮定したときに、解像度変換手段１０２から出力される低解像度予測誤差画像信号の電力が現在の解像度状態の場合よりもどれだけ損失するかを表す損失電力Ｐh、下側の楕円に遷移させたと仮定したときに、低解像度予測誤差画像信号の電力が現在の解像度状態の場合よりもどれだけ損失するかを表す損失電力Ｐv及び水平方向と垂直方向とのいずれの解像度を低下させるべきかの選択に用いる閾値Ｐth（ｍ，ｎ）算出して、ステップＳ３１０５へ移行する。
【００８６】
なお、閾値Ｐth（ｍ，ｎ）は、本実施形態では、たとえば［ｍ−ｎ＝０］若しくは［ｍ−ｎ＝１］、すなわち水平方向の解像度と垂直方向の解像度との比が、１：１又は２：１若しくは１：２になるようにして、動画像の水平方向と垂直方向とで、極端に解像度が異ならないようにしている。これにより、画質が劣化することを防ぐことができる。なお、たとえば閾値Ｐth（ｍ，ｎ）≡１とすると、Ｐh／Ｐvのみによって遷移が決まる。閾値Ｐth（ｍ，ｎ）を算出する手法については後述する。
【００８７】
ステップＳ３１０５では、動画像の水平方向と垂直方向との、解像度変換による予測誤差画像信号の損失電力の少ない方の解像度を低下させるために、算出した損失電力ＰhとＰvとの比であるＰh／Ｐvと閾値Ｐth（ｍ，ｎ）との大小を比較して、Ｐh／Ｐvが閾値Ｐth（ｍ，ｎ）よりも小さい場合には、ステップＳ３１０８へ移行し、そうでなければステップＳ３１０６へ移行する。
【００８８】
図７（ａ）は、隣接している楕円へ遷移させる場合のＱaveと閾値Ｑth0（ｋ0）等との関係を示す図である。図７（ｂ）は、後述する隣接していない楕円へ遷移させる場合のＱaveと閾値Ｑth0（ｋ0）等との関係を示す図である。
【００８９】
図７（ａ）を用いて図４のステップＳ３００２，ステップＳ３００３及び図５のステップＳ３１０５の動作について説明を捕捉すると、まず、Ｑaveの値と閾値Ｑth0（ｋ0）又はＱth1（ｋ0）との大小を比較して、解像度レベルｋがｋ0からｋ0へ遷移するのか、ｋ0 ＋１又はｋ0 −１へ遷移するかを求める。次に、解像度レベルｋがｋ0からｋ0 ＋１又はｋ0 −１へ遷移する場合には、Ｐh／Ｐvの値と閾値Ｐth（ｍ，ｎ）との大小を比較して、解像度レベルｋがｋ0 ＋１とｋ0 −１とのいずれに遷移するかを決定する。
【００９０】
また、ステップＳ３１０８では、ｍに１を加え、さらに、後に説明するDirection(k)の値を１とすることによって、動画像の水平方向の解像度を低下させる解像度情報を作成してステップＳ３１０７へ移行する。ステップＳ３１０６では、ｎに１を加え、さらに、Direction(k)の値を０とすることによって、動画像の垂直方向の解像度を低下させる解像度情報を作成してステップＳ３１０７へ移行する。ステップＳ３１０７では、解像度レベルｋに１を加え、Countの値をリセットする。こうして、図５に示す処理を終了する。
【００９１】
ここで、Direction(k)は、それぞれ解像度レベルｋに１を加えたときに動画像の水平方向と垂直方向とのいずれの解像度を低下させる解像度情報を作成したかという履歴を生成するためのものであり、動画像の水平方向の解像度を低下させる解像度情報を作成した場合には、たとえばDirection(k)の値を１とし、動画像の垂直方向の解像度を低下させる解像度情報を作成した場合には、たとえばDirection(k)の値を０にすることで、遷移状態の履歴を生成する。生成した履歴は、後の処理で解像度を元に戻す際に用いる。
【００９２】
つぎに、閾値Ｐth（ｍ，ｎ）を算出する手法について説明する。まず、閾値Ｐth（ｍ，ｎ）を、
Ｐth（ｍ，ｎ）＝ｆ（Ｓｉｇｎ（ｒh（ｍ）−ｒv（ｎ））ｄ（ｒh（ｍ），ｒv（ｎ））） …（１）
とおく。ここで、関数ｆ（ｘ）はｆ（０）＝１を満たす単調非減少関数としており、またｄ（ｘ，ｙ）はｘとｙとの距離を示す関数、Ｓｉｇｎ（ｘ）は［ｘ≧０］の場合に１、［ｘ＜０］の場合に−１を満たす関数としている。
【００９３】
特に、［ｒh（ｉ）＝ｒv（ｉ）］が成り立つ場合には、数式（１）において、Ｓｉｇｎ（ｒh（ｍ）−ｒv（ｎ））に代えて、Ｓｉｇｎ（ｎ−ｍ）を用い、ｄ（ｒh（ｍ），ｒv（ｎ））に代えてｄ（ｍ，ｎ）を用いると、
Ｐth（ｍ，ｎ）＝ｆ（Ｓｉｇｎ（ｎ−ｍ）ｄ（ｍ，ｎ）） …（２）
が得られるが、数式（２）を用いて閾値Ｐth（ｍ，ｎ）を算出してもよい。
【００９４】
また、例えば、ａを正の定数として、
ｆ（ｔ）＝ｅｘｐ（ａｔ） …（３）
ｄ（ｘ，ｙ）＝｜ｘ−ｙ｜ …（４）
とおき、数式（３），（４）を数式（２）に代入すると、
Ｐth（ｍ，ｎ）＝ｅｘｐ（ａ（ｎ−ｍ）） …（５）
が得られる。
【００９５】
図８は、数式（５）を対数スケールで示す図である。図８に示すように、横軸を［ｎ−ｍ］とし、縦軸を［ｌｏｇＰth（ｍ，ｎ）］とすると、
ｌｏｇＰth（ｍ，ｎ）＝ａ（ｎ−ｍ）
が成立する。
【００９６】
次に、図４のステップＳ３００６に移行した場合の動作について図６を用いて説明する。まず、ステップＳ３２０１において、図３の遷移図上で、遷移元が一番左上の楕円であるかどうかを判定する。具体的には、ｍ＝０かつｎ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３２０７へ移行し、そうでなければステップＳ３２０４へ移行する。
【００９７】
ステップＳ３２０７では、解像度をもう上げることができないのでCountに１を加えて、図５に示す手順を終了する。一方、ステップＳ３２０４では、動画像の水平方向又は垂直方向の解像度をまだ上げることができるのでDirection(k-1)の値が１であるかどうかを判定し、判定の結果、Direction(k-1)の値が１である場合には、ステップＳ３２０８へ移行し、そうでなければステップＳ３２０５へ移行する。
【００９８】
ここで、図５のステップＳ３１０６で説明したように、解像度レベルｋに１が加えられるときには、動画像の水平方向の解像度を低下させる解像度情報を作成したことを意味するため、Direction(k-1)が１の場合には、現在の遷移元から、動画像の水平方向の解像度を上げさせるような解像度情報を作成し、一方、Direction(k-1)が１でない場合には、動画像の垂直方向の解像度を上げさせるような解像度情報を作成している。
【００９９】
ステップＳ３２０８では、ｍから１を減らすことによって、動画像の水平方向の解像度を上げさせるような解像度情報を作成してステップＳ３２０６へ移行する。一方、ステップＳ３２０５では、ｎから１を減らすことによって、動画像の垂直方向の解像度を上げさせるような解像度情報を作成してステップＳ３２０６へ移行する。ステップＳ３２０６では、ｋから１を減して、さらにCountをリセットして、図６に示す処理を終了する。
【０１００】
つぎに、図３〜図６を用いつつ具体的な解像度を決定する手法について説明する。初期状態を［ｍ＝ｎ＝０］としておき、この状態で、制御部１１１から出力された量子化パラメータなどを用いて、（ｍ，ｎ）＝（０，１）又は（１，０）の楕円に遷移するのか、又は（ｍ，ｎ）＝（０，０）の楕円に遷移するのかを算出する。
【０１０１】
そして、解像度を低下させる解像度情報を作成する場合には、画像予測誤差分布算出手段１２１から出力の各周波数における変換係数の平均値に基づいて、動画像の水平方向と垂直方向とのいずれの解像度を低下させる解像度情報を作成するかを算出する（ステップＳ３１０５）。
【０１０２】
一方、初期状態をｍ＝ｎ＝０としていても、何度目かの解像度の変更時には、解像度を上げさせる解像度情報を作成する場合もある（ステップＳ３００３）。この場合には、解像度を低下させる解像度情報を作成したときの状態遷移の経路を逆行することにより解像度を上げさせる解像度情報を作成している。このような手順の繰り返すことによって、各動画像ごとに水平方向又は垂直方向の解像度が変換できるように解像度情報を作成している。
【０１０３】
なお、制御部１１１から出力された量子化パラメータと予測誤差分布算出手段１２１から出力された予測誤差分布情報とに加え、たとえば発生符号量も用いて解像度を決定する場合には、図４のステップＳ３００２及びステップＳ３００３において、それぞれＱaveと発生符号量との積と、閾値Ｑth0（ｋ0）及びＱth1（ｋ0）との大小を比較するようにすればよい。
【０１０４】
さらに、バッファ占有量情報も用いて解像度を決定する場合には、図４のステップＳ３００２及びステップＳ３００３において、それぞれＱaveと発生符号量とバッファ占有量との積と、閾値Ｑth0（ｋ0）及びＱth1（ｋ0）との大小を比較するようにすればよい。
【０１０５】
以上、本実施形態では、図３において隣接している楕円へ遷移する場合を例に説明したが、ＱaveとＰh／Ｐvに対する閾値とをそれぞれ複数設定することにより、隣接していない楕円へ遷移させてもよい。
【０１０６】
図７（ｂ）に示すように、まず、Ｑaveの値とたとえば各閾値Ｑth-2（ｋ0）〜Ｑth3（ｋ0）との大小を比較して、解像度レベルｋがｋ0からｋ0へ遷移するのか、ｋ0以外のｋ0＋３〜ｋ0−３のいずれかへ遷移するかを求める。すなわち、求めた解像度レベルｋの変位量をｐとすると、変位量ｐが０かどうかを求める。
【０１０７】
つぎに、解像度レベルｋがｋ0以外のｋ0 ＋３〜ｋ0 −３のいずれかへ遷移する場合、すなわち、変位量ｐが０でない場合には、解像度レベルｋがｋ0 ＋ｐのいずれかへ遷移するということを決定する。
【０１０８】
つづいて、解像度レベルｋがｋ0 ＋ｐの楕円のうち、いずれの楕円に遷移するかを決定する。具体的には、各楕円の遷移した場合に解像度変換手段１０２への入力信号の電力損失を算出して、基本的には、算出した値が最小になる楕円を遷移先と決定する。但し、動画像の水平方向と垂直方向との各解像度が極端に異ならないようにするために、［ｍ−ｎ］の差に従って各算出値に重み付けをするようにしている。
【０１０９】
この重み付けは、たとえば、数式（１）の関数ｆ（ｘ），ｄ（ｘ，ｙ）を用いて、
ｆ（ｄ（ｍ，ｎ））
によって、算出した数値を用いればよい。
【０１１０】
ここで、ｐ＜０の場合、すなわち、解像度を上げさせるような解像度情報を作成する場合には、動画像の水平方向と垂直方向との解像度の差が最も小さい状態のうちいずれかに遷移するようにする。なお、隣接していない楕円へ遷移させる場合には、解像度情報作成手段１２０において、解像度そのものを含む解像度情報が作成される。
【０１１１】
次に、図２の動画像復号化装置の動作について説明する。動画像復号化装置は、動画像符号化装置から送信された符号列を受信して可変長復号化手段９０１へ出力する。
【０１１２】
可変長復号手段９０１は、出力された符号列に対して可変長復号を行うことにより、量子化変換係数信号、量子化パラメータ、予測パラメータ及び解像度情報を復号化し、量子化変換係数信号を逆量子化手段９０２へ出力し、予測パラメータを予測画像生成手段２００６へ出力し、解像度情報を解像度変換手段９０４及び予測画像生成手段２００６へ出力し、量子化パラメータを逆量子化手段９０２へ出力する。
【０１１３】
逆量子化手段９０２は、図１に示した逆量子化手段１００５と同様に、出力された量子化変換係数信号に対し、同じく出力された量子化パラメータに基づいて逆量子化を行うことによって取得した逆量子化変換係数信号を逆周波数変換手段９０３へ出力する。
【０１１４】
逆周波数変換手段９０３は、図１に示した逆周波数変換手段１００６と同様に、出力された逆量子化変換係数信号を逆周波数変換することにより低解像度復号予測誤差画像信号を生成して、解像度変換手段９０４へ出力する。
【０１１５】
解像度変換手段９０４は、図１に示した解像度変換手段１００７と同様に、出力された低解像度復号予測誤差画像信号に係る動画像の解像度を、解像度変換情報によって特定された解像度から元の動画像の解像度に戻すように変換して得られる、復号予測誤差画像信号を加算手段２００５へ出力する。
【０１１６】
加算手段２００５は、図１に示した加算手段１００８と同様に、出力された復号予測誤差画像信号に予測画像生成手段２００６から出力されている予測画像信号を加算して得られた動画像信号をメモリ２０７及び外部に出力する。
【０１１７】
メモリ２０７は、図１に示したメモリ１０９と同様に、加算手段２００５から出力された動画像信号を一時的に蓄積し、予測画像信号を生成する際に予測画像生成手段２００６へ出力する。
【０１１８】
予測画像生成手段２００６は、図１に示した予測画像生成手段１０１０と同様に、メモリ２０７から出力された動画像信号を用いて、可変長復号手段９０１から出力されている予測パラメータと解像度情報とに基づいて予測画像信号を生成して加算手段２００５へ出力する。
【０１１９】
（実施形態２）
図９は、本発明の実施形態２の動画像符号化装置の構成を示すブロック図である。図９において、１５０は逆量子化手段１０５から出力された逆量子化変換係数信号と制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１２０】
解像度情報作成手段１５０は、逆量子化手段１０５から出力された逆量子化変換係数信号に対して同じ周波数の逆量子化変換係数信号間で二乗平均などの統計処理を行うことにより各周波数に対する逆量子化変換係数信号の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１５１と、予測誤差分布算出手段１５１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段１５２とを備えている。なお、図９において図１と同様の部分には同一符号を付している。
【０１２１】
また、図９に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、解像度情報作成手段１５０に備えている予測誤差分布算出手段１５１は、逆量子化変換係数信号の平均値を算出している。なお、この算出結果には、符号化歪みが含まれるため、実際の周波数分布とは異なるが、それに近い分布が得られるので、それを用いて次に符号化する動画像の解像度の変換に用いる解像度情報を作成している。
【０１２２】
（実施形態３）
図１０は、本発明の実施形態３の動画像符号化装置の構成を示すブロック図である。図１０において、１３０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と、制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１２３】
解像度情報作成手段１３０は、解像度変換手段１０２から出力された低解像度予測誤差画像信号から、方向毎にアクティビティ（交流電力成分）を求めて、これを方向別予測誤差推定情報として出力する方向別予測誤差推定手段１３１と、方向別予測誤差推定手段１３１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段選択手段１３２とを備えている。なお、図１０において図１と同様の部分には同一符号を付している。
【０１２４】
また、図１０に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、選択手段１３２は、方向別予測誤差推定手段１３１から出力された方向別予測誤差推定情報に基づいて解像度を選択し、具体的には、アクティビティの振幅の小さい方向の解像度を変換するようにしている。
【０１２５】
（実施形態４）
図１１は、本発明の実施形態４の動画像符号化装置の構成を示すブロック図である。図１１において、１６０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と、制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量と可変長符号化手段１１２から出力された発生符号量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１２６】
解像度情報作成手段１６０は、低解像度予測誤差画像信号を周波数成分に射影する周波数変換を行うことによって第２の変換係数信号を生成する周波数変換手段１６３と、周波数変換手段１６３で生成された第２の変換係数信号を変換係数に対して同じ周波数の変換係数間で二乗平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１６１と、予測誤差分布算出手段１６１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段１６２とを備えている。なお、図１１において図１と同様の部分には同一符号を付している。
【０１２７】
周波数変換手段１６３では、周波数変換手段１０３と同様の手法によって周波数変換を行っても異なる手法によって周波数変換を行ってもよく、例えば、周波数変換手段１０３ではＤＣＴを行い、周波数変換手段１６３ではＤＦＴ（離散フーリエ変換）を行ってもよい。
【０１２８】
また、図１１に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、予測誤差分布算出手段１６１では、周波数変換手段１６３から出力された第２の変換係数信号に基づいて予測誤差分布を求め、予測誤差分布情報として出力する。選択手段１６２では、予測誤差分布算出手段１６１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて解像度を決定するようにしている。
【０１２９】
（実施形態５）
図１２は、本発明の実施形態５の動画像符号化装置の構成を示すブロック図である。図１２において、１７０は減算手段１００１から出力された予測誤差画像信号と、制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１３０】
解像度情報作成手段１７０は、予測誤差画像信号の周波数変換を行うことにより第３の変換係数信号を生成する周波数変換手段１７３と、周波数変換手段１７３で生成された第３の変換係数信号を変換係数に対して同じ周波数の変換係数間で二乗平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段１７１と、予測誤差分布算出手段１７１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段１７２とを備えている。なお、図１２において図１と同様の部分には同一符号を付している。
【０１３１】
また、図１２に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、図５のステップＳ３１０４においてＰh及びＰvの値を算出せず、入力された動画像信号に係る動画像の解像度を変換したときの各電力損失を求めている。具体的には、後に図１３のステップＳ３３０４で説明する処理と同じで、インデックス（ｍ，ｎ）がインデックス（ｍ＋１，ｎ）及び（ｍ，ｎ＋１）で表せる解像度に変換した際の、インデックス（０，０）を基準とした電力損失を算出して、この算出結果に基づいて解像度を変換する方向を決定している。
【０１３２】
また、図１２に示す動画像符号化方式の場合、図６を用いて説明した手法の他に、以下説明する図７に示す手法によって解像度を上げてもよい。なお、図１３に示す手法を用いる場合には、Direction(k)の値を記憶する（ステップＳ３１０６，Ｓ３１０８）という動作が不要となる。
【０１３３】
図１３は、図１２に示す動画像符号化装置における解像度を上げる動作を説明するフローチャートであり、図６に相当するものである。まず、ステップＳ３３０１において、図３の遷移図上で、遷移元が一番左上の楕円であるかどうかを判定する。具体的には、ｍ＝０かつｎ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３３０９へ移行し、そうでなければステップＳ３３０２へ移行する。
【０１３４】
ステップＳ３３０９では、解像度をもう上げることができないのでCountに１を加えて、図１３に示す手順を終了する。一方、ステップＳ３３０２では、動画像の水平方向又は垂直方向の解像度をまだ上げることができるので、いずれの方向の解像度を低下させることができるか判定するために、図３の遷移図上で、遷移元が一番左列の楕円であるかどうかを判定する。具体的には、ｍ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３３０６へ移行し、そうでない場合には、ステップＳ３３０３へ移行する。
【０１３５】
ステップＳ３３０３では、図３の遷移図上で、遷移元が一番上行の楕円であるかどうかを判定する。具体的には、ｎ＝０であるかどうかを判定して、この条件を満たす場合には、ステップＳ３３０８へ移行し、そうでなければステップＳ３３０４へ移行する。なお、ステップＳ３３０２とステップＳ３３０３とで行う処理の順序を互いに入れ替えて、先に遷移元が一番上行の楕円であるかどうかを判定し、それから遷移元が一番左列の楕円であるかどうかを判定してもよい。
【０１３６】
ステップＳ３３０４では、予測誤差分布算出手段１２１から出力された予測誤差分布情報を用いて、インデックス（ｍ，ｎ）を、（ｍ＋１，ｎ）又は（ｍ，ｎ＋１）で表せる解像度に変換した際の、（ｍ，ｎ）＝（０，０）に対する水平方向の電力損失Ｐ’h、垂直方向の電力損失Ｐ’v及び水平方向と垂直方向とのいずれの解像度を上げるべきかの決定に用いる閾値Ｐ’th（ｍ，ｎ）を算出して、ステップＳ３３０５へ移行する。
【０１３７】
なお、閾値Ｐ’th（ｍ，ｎ）は、図５のステップＳ３１０４で算出する閾値Ｐth（ｍ，ｎ）と同様に算出する。簡単には、閾値Ｐ’th（ｍ，ｎ）＝閾値Ｐth（ｍ，ｎ）としてもよい。
【０１３８】
ステップＳ３３０５では、動画像の水平方向と垂直方向との、解像度変換による損失電力の少ない方の解像度を低下させるために、算出した損失電力Ｐ’vとＰ’hとの比であるＰ’v／Ｐ’hと閾値Ｐ’th（ｍ，ｎ）との大小を比較して、Ｐ’v／Ｐ’hが閾値Ｐ’th（ｍ，ｎ）よりも大きい場合には、ステップＳ３３０８へ移行し、そうでなければステップＳ３３０６へ移行する。
【０１３９】
ステップＳ３３０８では、ｍから１を減らすことによって、動画像の水平方向の解像度を上げさせる解像度情報を作成してステップＳ３３０７へ移行する。ステップＳ３３０６では、ｎから１を減らすことによって垂直方向の解像度を上げさせる解像度情報を作成してステップＳ３３０７へ移行する。ステップＳ３１０７では、解像度レベルｋから１を減らして、Countの値をリセットする。こうして、図１３に示す処理を終了する。
【０１４０】
なお、本実施形態においても、図７（ｂ）を用いて説明したように、図３における隣接しない楕円に遷移するようにしてもよい。この場合において、ｐ＜０のとき、すなわち、解像度を上げるような解像度情報を作成するときには、算出したＰ’h及びＰ’vに基づいて遷移するようすればよい。
【０１４１】
（実施形態６）
図１４は、本発明の実施形態６の動画像符号化装置の構成を示すブロック図である。図１４において、２２１は周波数変換手段１０３から出力された変換係数信号と、逆量子化手段１０５から出力された逆量子化変換係数信号とに基づいて算出した量子化によって生じた量子化誤差の統計処理を行うことによって、量子化誤差の大きさを表す統計量を算出して、量子化誤差情報として解像度情報作成手段２２０へ出力する量子化誤差算出手段である。
【０１４２】
また、２２０は周波数変換手段１０３から出力された変換係数信号と制御部１１１から出力された量子化パラメータとバッファ１１３から出力されたバッファ占有量とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１４３】
解像度情報作成手段２２０は、変換係数に対して同じ周波数の変換係数間で二乗平均などの統計処理を行うことにより各周波数に対する変換係数の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段２２１と、予測誤差分布算出手段２２１から出力された予測誤差分布情報と制御部１１１から出力された量子化パラメータなどとに基づいて動画像の水平方向と垂直方向との解像度変換を個別に制御するための選択手段２２２とを備えている。なお、図１４において図１と同様の部分には同一符号を付している。
【０１４４】
図１４に示す動画像符号化装置の動作は、実施形態１の動画像符号化装置の動作と同様であるが、量子化誤差算出手段２２１は、周波数変換手段１０３から出力された変換係数信号と逆量子化手段１０５から出力された逆量子化変換係数信号とをそれぞれ入力して、これらの信号を差分することによって、量子化によって生じたブロック毎の量子化誤差を算出する。さらに、算出した各量子化誤差から例えば二乗平均値や絶対値平均値に基づく量子化誤差電力などの統計量を算出するために統計処理を行って、算出した統計量を量子化誤差情報として解像度情報作成手段２２０へ出力する。
【０１４５】
解像度情報作成手段２２０では、選択手段２２２によって、量子化誤差算出手段２２１から出力された量子化誤差情報と周波数変換手段１０３から出力された変換係数信号とに基づいて、将来符号化する動画像の解像度が決定され、解像度情報として、解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力される。
【０１４６】
図１５は、図１４の選択手段２２２の動作を示すフローチャートであり、図４に相当するものである。現在の解像度の状態における解像度レベルｋの値がｋ1である場合には、図１５に示すように、まず、解像度レベルｋがｋ1の場合の量子化誤差情報Ｅと量子化誤差情報Ｅの閾値Ｅth1（ｋ1）との大小を比較し（ステップＳ３５０２）、ＥがＥth1（ｋ1）より大きい場合には、ステップＳ３５０５へ移行し、そうでなければステップＳ３５０３へ移行する。なお、ステップＳ３５０５における処理は、図５と同様としている。
【０１４７】
ステップＳ３５０３では、量子化誤差情報Ｅと閾値Ｅth0（ｋ1）との大小を比較し、さらに、解像度を変更しない動画像の数、すなわち図３で元の楕円に遷移した回数（Count）と所定の閾値ｃthとの大小を比較する。そして、ＥがＥth0（ｋ1）より小さい場合であって、Countがｃthより大きい場合には、ステップＳ３５０６へ移行し、そうでなければステップＳ３５０４へ移行する。なお、ステップＳ３５０６における処理は、図６と同様としている。
【０１４８】
また、ステップＳ３５０４では、Countに１を加える。こうして、図１５に示す処理を終了する。なお、Countは、実施形態１と同様に、動画像の解像度を変更させた後に、すぐに直前の解像度に戻さないように制御するために用い、解像度間のばたつきが生じないようにしている。
【０１４９】
（実施形態７）
図１６は、本発明の実施形態７の動画像符号化装置の構成を示すブロック図である。図１６において、２５０は逆量子化手段１０５から出力された逆量子化変換係数信号と量子化誤差算出手段２２１とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５０】
解像度情報作成手段２５０は、逆量子化手段１０５から出力された逆量子化変換係数信号に対して同じ周波数の逆量子化変換係数信号間で二乗平均などの統計処理を行うことにより各周波数に対する逆量子化変換係数信号の平均値を算出して予測誤差分布情報として出力する予測誤差分布算出手段２５１と、予測誤差分布算出手段２５１から出力された予測誤差分布と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて動画像の水平方向と垂直方向とのいずれの解像度を変更するかを選択する選択手段２５２とを備えている。
【０１５１】
図１６に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、解像度情報作成手段２５０では、逆量子化手段１０５から出力された逆量子化変換係数信号を用いて予測誤差画像信号の周波数分布を算出して、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１５２】
（実施形態８）
図１７は、本発明の実施形態８の動画像符号化装置の構成を示すブロック図である。図１７において、２３０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と量子化誤差算出手段２２１から出力された逆量子化変換係数信号とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５３】
解像度情報作成手段２３０は、図１０で説明した方向別予測誤差推定手段１３１と同様の方向別予測誤差推定手段２３１と、方向別予測誤差推定手段２３１から出力された方向別予測誤差推定情報と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて解像度を選択する選択手段２３２とを備えている。なお、図１７において図１４と同様の部分には同一符号を付している。
【０１５４】
図１７に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、選択手段２３２では、量子化誤差算出手段２２１から出力された量子化誤差情報と方向別予測誤差推定手段２３１から出力された方向別予測誤差推定情報を用いて解像度を選択し、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１５５】
（実施形態９）
図１８は、本発明の実施形態９の動画像符号化装置の構成を示すブロック図である。図１８において、２６０は解像度変換手段１０２から出力された低解像度予測誤差画像信号と量子化誤差算出手段２２１から出力された逆量子化変換係数信号とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５６】
解像度情報作成手段２６０は、図１１で説明した周波数変換手段１６３及び予測誤差分布算出手段１２１と、予測誤差分布算出手段１２１から出力された方向別予測誤差推定情報と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて解像度を選択する選択手段２６２とを備えている。
【０１５７】
図１８に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、選択手段２６２では、量子化誤差算出手段２２１から出力された量子化誤差情報と、予測誤差分布算出手段１６１から出力された予測誤差分布情報とに基づいて解像度を選択し、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１５８】
（実施形態１０）
図１９は、本発明の実施形態１０の動画像符号化装置の構成を示すブロック図である。図１９において、２７０は減算手段１００１から出力された予測誤差画像信号と量子化誤差算出手段２２１から出力された逆量子化変換係数信号とに基づいて次に符号化する動画像の解像度の変換に用いる解像度情報を作成する解像度情報作成手段である。
【０１５９】
解像度情報作成手段２７０は、図１２で説明した周波数変換手段１６３及び予測誤差分布算出手段１６１と、予測誤差分布算出手段１６１から出力された予測誤差分布情報と量子化誤差算出手段２２１から出力された量子化誤差情報とに基づいて解像度を選択する選択手段２７２とを備えている。
【０１６０】
図１９に示す動画像符号化装置の動作は、実施形態６の動画像符号化装置の動作と同様であるが、選択手段２７２では、量子化誤差算出手段２２１から出力された量子化誤差情報と、予測誤差分布算出手段１６１から出力された予測誤差分布情報とを用いて、解像度を選択して、解像度情報として解像度変換手段１０２，解像度変換手段１０７，可変長符号化手段１１２，予測画像生成手段１０１０及び予測パラメータ算出手段１０１５へそれぞれ出力するようにしている。
【０１６１】
以上、本発明の各実施形態で説明した動画像符号化装置の動作を実現できるプログラムを、ＣＤ−ＲＯＭやフロッピーディスク、不揮発性メモリカードなどの記憶媒体に記憶し、記憶媒体に記憶しているプログラムをコンピュータによって読み取り実行するようにしてもよい。
【０１６２】
【発明の効果】
以上説明したように、本発明によると、動画動の水平方向と垂直方向とで個別に解像度を変換することができるので、動画像の画質を向上することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態１の動画像符号化装置の構成を示すブロック図である。
【図２】図１に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。
【図３】図１の選択手段の動作を説明するための遷移図である。
【図４】図１の選択手段の動作を示すフローチャートである。
【図５】図４のステップＳ３００５の手順を示すフローチャートである。
【図６】図４のステップＳ３００６の手順を示すフローチャートである。
【図７】Ｑaveと閾値Ｑth0（ｋ0）等との関係を示す図である。
【図８】数式（５）を対数スケールで示す図である。
【図９】本発明の実施形態２の動画像符号化装置の構成を示すブロック図である。
【図１０】本発明の実施形態３の動画像符号化装置の構成を示すブロック図である。
【図１１】本発明の実施形態４の動画像符号化装置の構成を示すブロック図である。
【図１２】本発明の実施形態５の動画像符号化装置の構成を示すブロック図である。
【図１３】図１２に示す動画像符号化装置における解像度を上げる動作を説明するフローチャートである。
【図１４】本発明の実施形態６の動画像符号化装置の構成を示すブロック図である。
【図１５】図１４の選択手段の動作を示すフローチャートである。
【図１６】本発明の実施形態７の動画像符号化装置の構成を示すブロック図である。
【図１７】本発明の実施形態８の動画像符号化装置の構成を示すブロック図である。
【図１８】本発明の実施形態９の動画像符号化装置の構成を示すブロック図である。
【図１９】本発明の実施形態１０の動画像符号化装置の構成を示すブロック図である。
【図２０】従来技術の解像度変換を行う動画像符号化装置の構成を示すブロック図である。
【図２１】図２０に示す動画像符号化装置において符号化された動画像を復号化する動画像復号化装置の構成を示すブロック図である。
【符号の説明】
１０２，１０７，１００２，９０４，２００４ 解像度変換手段
１０３，１６３ 周波数変換手段
１０４，１００４ 量子化手段
１０５，１００５，２００２ 逆量子化手段
１０６ 逆周波数変換手段
１０９ メモリ
１１１，１０１１ 制御部
１１２，１０１２ 可変長符号化手段
１２０，１３０，１５０，１６０，１７０，２２０，２３０，２５０，２６０，２７０，１０１４ 解像度情報作成手段
１２１，１３１，１５１，１６１，１７１，２２１，２３１，２５１ 予測誤差分布算出手段
１２２，１３２，１５２，１６２，１７２，２２２，２３２，２５２，２６２，２７２ 選択手段
１３１，２３１ 方向別予測誤差推定手段
２２１ 量子化誤差算出手段
９０１，２００１ 可変長復号手段
１００１ 減算手段
１００３ ＤＣＴ変換手段
１００８，２００５ 加算手段
１０１０，２００６ 予測画像生成手段
１０１３ バッファ
１０１５ 予測パラメータ算出手段
２００３ 逆ＤＣＴ変換手段
２００７ フレームメモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image encoding method, a moving image encoding device, a moving image decoding device, and a moving image communication system including the same, and in particular, individually controls resolution conversion between moving images in the horizontal and vertical directions. The present invention relates to a moving image encoding method, a moving image encoding device, a moving image decoding device, and a moving image communication system including the same.
[0002]
[Prior art]
Conventionally, a generated code amount used when encoding a moving image is controlled by adjusting a quantization width. However, if the encoding rate is lowered, the quantization width must be widened as it is, and the image quality of a moving image decoded later may be significantly lowered. As a method for alleviating this problem, a moving image coding method for reducing the resolution of an input image and reducing the amount of generated information has been disclosed in, for example, Japanese Patent Laid-Open No. 9-271026. According to the description of this publication, by reducing the amount of generated information, an increase in quantization width can be prevented and subjective image quality can be improved.
[0003]
FIG. 20 is a block diagram showing a configuration of a moving image encoding apparatus that performs conventional resolution conversion. FIG. 21 is a block diagram showing a configuration of a moving picture decoding apparatus that decodes a moving picture encoded by the moving picture encoding apparatus shown in FIG.
[0004]
First, the moving picture encoding apparatus shown in FIG. 20 will be described. As shown in FIG. 20, the conventional moving image coding apparatus subtracts a prediction error image signal 1001 by subtracting the prediction image signal generated by the prediction image generation means 1010 from the input moving image signal. A resolution conversion unit 1002 that generates a low-resolution prediction error image signal by converting the resolution of the moving image related to the prediction error image signal output from the subtraction unit 1001 according to the resolution information determined by the resolution information generation unit 1014; Discrete Cosine Transform (hereinafter referred to as “Discrete Cosine Transform”), in which the low-resolution prediction error image signal output from the resolution conversion means 1002 is divided into blocks, decomposed into frequency components, etc., and subjected to orthogonal transform for each component. , DCT) means 1003 and the conversion coefficient signal output from the DCT conversion means 1003 are controlled by the controller 10. Quantizing means 1004 for generating a quantized transform coefficient signal by quantizing according to the quantization parameter output from 1, and converting the quantized transform coefficient signal output from the quantizing means 1004 to a one-dimensional signal, for example. A variable-length encoding means 1012 that performs variable-length encoding using a buffer, and a buffer 1013 that outputs a moving image and outputs a buffer occupancy amount by matching the speed of the variable-length code to a transmission line speed by code smoothing. A control unit 1011 that performs encoding control according to the buffer occupation amount of the buffer 1013.
[0005]
Further, the conventional moving image encoding apparatus performs the following based on the generated code amount output from the variable length encoding means 1012, the quantization parameter output from the control unit 1011, and the buffer occupancy output from the buffer 1013. Resolution information creating means 1014 for determining the resolution of the moving image to be encoded, resolution converting means 1007 for converting the resolution of the moving image in accordance with the resolution information created by the resolution information creating means 1014, and resolution conversion by the resolution converting means 1007 An adding unit 1008 that calculates a local decoded image signal by adding the generated moving image and the predicted image signal generated by the predicted image generation unit 1010; and a quantization conversion unit 1004 according to the quantization parameter output from the control unit 1011. An inverse quantization means 1005 for inversely quantizing the quantized transform coefficient signal output from the An inverse DCT unit 1006 that performs inverse DCT transform for each block on the inverse quantized transform coefficient signal output from 1005 to generate a low resolution decoded prediction error image signal, and a local decoded image signal output from the adding unit 1008 For example, a frame memory 1009 is provided that stores data in units of frames.
[0006]
Next, the operation of the moving image encoding apparatus shown in FIG. 20 will be described. When a moving image signal is input to the moving image encoding apparatus, the moving image signal is input to the prediction parameter calculation unit 1015 and the subtraction unit 1001 respectively. In addition to this, the prediction parameter calculation unit 1015 also receives the previously encoded moving image signal stored in the frame memory 1009 and the resolution information output from the resolution information generation unit 1014.
[0007]
The prediction parameter calculation unit 1015 performs motion estimation for each block having a size determined by the resolution information, and the encoding mode information and motion vector of each block (hereinafter, the encoding mode information and motion vector are referred to as “prediction parameters”). .) Is output to the predicted image generation means 1010 and the variable length encoding means 1012.
[0008]
Next, the prediction image generation unit 1010 performs motion compensation on the moving image signal stored in the frame memory 1009 for each block based on the calculated prediction parameter and the resolution information output from the resolution information generation unit 1014. To obtain a predicted image signal and output it to the adding means 1008 and the subtracting means 1001.
[0009]
The subtraction unit 1001 generates a prediction error image signal by subtracting the prediction image signal from the input moving image signal, and outputs the prediction error image signal to the resolution conversion unit 1002.
[0010]
The resolution conversion unit 1002 generates a low resolution prediction error image signal by converting the resolution of the moving image related to the prediction error image signal output from the subtraction unit 1001 according to the resolution information output from the resolution information generation unit 1014. Then, it outputs to the DCT conversion means 1003.
[0011]
The DCT conversion unit 1003 divides the moving image into square blocks such as 8 × 8 pixels, performs a DCT operation for each pixel block, obtains a conversion coefficient signal, and outputs the conversion coefficient signal to the quantization unit 1004.
[0012]
The quantizing unit 1004 quantizes the transform coefficient signal output from the DCT transform unit 1003 according to the quantization parameter output from the control unit 1011 to generate a quantized transform coefficient signal, and the variable length encoding unit 1012 and the inverse quantization means 1005.
[0013]
The variable length coding unit 1012 scans the quantized transform coefficient signal output from the quantization unit 1004, converts the signal into a one-dimensional signal, performs variable length coding, and outputs the quantization output from the control unit 1011. The resolution information output from the parameter and resolution information creation unit 1014 and the prediction parameter output from the prediction parameter calculation unit 1015 are also variable-length encoded at the same time, and a code string including these is generated and output to the buffer 1013 and output. The generated code amount indicating the length of the code string is output to the control unit 1011 and the resolution information creating unit 1014.
[0014]
The buffer 1013 speed-smooths the code string output from the variable-length encoding unit 1012 to match the transmission path speed and output it to the transmission path and control unit 1011, and the buffer occupancy information is also transmitted to the control unit 1011. And output to the resolution information creation means 1014.
[0015]
The control unit 1011 calculates a quantization parameter based on the generated code amount output from the variable length encoding unit 1012 and the buffer occupancy amount information from the buffer 1013, and includes a quantization unit 1004, a resolution information generation unit 1014, Output to the inverse quantization means 1005 and the variable length coding means 1012 respectively.
[0016]
The resolution information creating means 1014 is based on the quantization parameter output from the control unit 1011, the generated code amount output from the variable length encoding means 1012, and the buffer occupancy information output from the buffer 1013. Are generated and output to the resolution conversion unit 1002, the resolution conversion unit 1007, the variable length coding unit 1012, the prediction image generation unit 1010, and the prediction parameter calculation unit 1015, respectively. A method for creating resolution information will be described later.
[0017]
On the other hand, the inverse quantization means 1005 generates an inverse quantization transform coefficient signal by inversely quantizing the quantized transform coefficient signal output from the quantization means 1004 according to the quantization parameter output from the control unit 1011. And output to the inverse DCT conversion means 1006. That is, the inverse quantization unit 1005 performs inverse quantization using the same quantization parameter as the quantization parameter used in the quantization by the quantization unit 1004.
[0018]
The inverse DCT unit 1006 performs an inverse DCT transform on the inverse quantization transform coefficient signal output from the inverse quantization unit 1005 for each pixel block, thereby generating a low resolution decoded prediction error image signal, and a resolution conversion unit 1007. Output to.
[0019]
The resolution conversion unit 1007 converts the resolution of the moving image related to the low-resolution decoded prediction error image signal output from the inverse DCT unit 1006 based on the resolution information output from the resolution information creation unit 1014, thereby performing decoding prediction. An error image signal is generated and output to the adding means 1008. That is, the resolution of the moving image related to the decoded prediction error image signal is the same as the resolution related to the moving image signal input to the moving image encoding apparatus, and the resolution conversion in the resolution conversion unit 1007 is changed by the resolution conversion unit 1002. This is done to restore the original resolution. For example, when the resolution conversion unit 1002 converts the CIF resolution to the QCIF resolution, the resolution conversion unit 1007 converts the QCIF resolution to the CIF resolution.
[0020]
The adding unit 1008 generates a local decoded image signal by adding the decoded prediction error image signal output from the resolution converting unit 1007 to the predicted image signal output from the predicted image generating unit 1010, and supplies the local decoded image signal to the frame memory 1009. Output.
[0021]
The frame memory 1009 temporarily accumulates the output local decoded image signal, and outputs it to the prediction parameter calculation means 1015 when calculating the prediction parameter.
[0022]
Next, the operation of the resolution information creation unit 1014 will be described. In the resolution information creation unit 1014, the quantization parameter average value QP for each block output from the control unit 1011, the calculated quantization parameter average value QP, and the generated code amount B output from the variable length encoding unit 1012, And the product of the quantization parameter threshold value QTH1 for switching from high resolution to low resolution, the quantization parameter threshold value QTH2 for switching from low resolution to high resolution, and the target bit rate B0, respectively.
[0023]
When a moving image signal is encoded with high resolution, the resolution is set when the buffer occupation amount Δ exceeds a predetermined threshold ΔTH1 and [QP × B] exceeds [QTH1 × B0]. Outputs resolution information for lowering. At the time of encoding the next frame, resolution conversion means 1002 performs resolution conversion based on this resolution information. That is, encoding is performed at a low resolution. On the other hand, in the resolution conversion means 1007, conversely, conversion is performed to return the lowered resolution to the original resolution based on this resolution information.
[0024]
When encoding a moving image signal at a low resolution, when the buffer occupation amount Δ is smaller than a predetermined threshold ΔTH2 and [QP × B] is smaller than [QTH2 × B0], the moving image signal Outputs resolution information that increases the resolution. At the time of encoding the next frame, resolution conversion means 1002 performs resolution conversion based on this resolution information. That is, it is encoded with high resolution.
[0025]
Next, the moving picture decoding apparatus shown in FIG. 21 will be described. As shown in FIG. 21, the conventional moving picture decoding apparatus includes a variable length decoding unit 2001 that receives the code string transmitted from the moving picture encoding apparatus and performs variable length decoding, and the decoded moving picture signal. Inverse quantization means 2002 that performs inverse quantization, inverse DCT conversion means 2003 that performs inverse DCT transform on the inversely quantized moving image signal, and resolution conversion that converts the resolution of the moving image related to the inverse DCT transformed moving image signal Means 2004, addition means 2005 for adding a resolution-converted moving image signal and a predicted image signal based on a variable-length decoded moving image signal, a frame memory 2007 for storing the addition result, and a frame memory Prediction image signal generation means 2006 for generating the prediction image signal based on the added result.
[0026]
Next, the operation of the moving picture decoding apparatus shown in FIG. 21 will be described. The moving picture decoding apparatus receives the code string transmitted from the moving picture encoding apparatus and outputs it to the variable length decoding unit 2001.
[0027]
The variable length decoding unit 2001 decodes the quantized transform coefficient signal, the quantization parameter, the prediction parameter, and the resolution information by performing variable length decoding on the output code string, and dequantizes the quantized transform coefficient signal. Output to the conversion unit 2002, output prediction parameters to the prediction image generation unit 2006, output resolution information to the resolution conversion unit 2004 and prediction image generation unit 2006, and output quantization parameters to the inverse quantization unit 2002.
[0028]
Similar to the inverse quantization unit 1005 shown in FIG. 20, the inverse quantization unit 2002 obtains the output quantized transform coefficient signal by performing inverse quantization based on the output quantization parameter. The inverse quantized transform coefficient signal is output to the inverse DCT transform means 2003.
[0029]
Similarly to the inverse DCT transform unit 1006 shown in FIG. 20, the inverse DCT transform unit 2003 generates a low resolution decoded prediction error image signal by performing inverse DCT transform on the output inverse quantization transform coefficient signal, The data is output to the conversion unit 2004.
[0030]
Similar to the resolution conversion unit 1007 shown in FIG. 20, the resolution conversion unit 2004 changes the resolution of the moving image related to the output low-resolution decoded prediction error image signal from the resolution specified by the resolution conversion information to the original moving image. The decoded prediction error image signal obtained by conversion so as to return to the resolution is output to the adding means 2005.
[0031]
Similar to the adding unit 1008 shown in FIG. 20, the adding unit 2005 adds a moving image signal obtained by adding the predicted image signal output from the predicted image generating unit 2006 to the output decoded prediction error image signal. Output to the frame memory 2007 and the outside.
[0032]
Similar to the frame memory 1009 shown in FIG. 20, the frame memory 2007 temporarily accumulates the moving image signals output from the adding unit 2005 and outputs them to the predicted image generating unit 2006 when generating the predicted image signal. .
[0033]
Similar to the predicted image generation unit 1010 illustrated in FIG. 20, the predicted image generation unit 2006 uses the moving image signal output from the frame memory 2007 and the prediction parameter and resolution information output from the variable length decoding unit 2001. Based on the above, a predicted image signal is generated and output to the adding means 2005.
[0034]
[Problems to be solved by the invention]
However, the conventional technology converts the horizontal and vertical resolutions of the moving image according to resolution information determined based on the average value of the quantization parameter. For example, the horizontal direction of the moving image Therefore, even if the amount of generated code is small, the horizontal direction and the vertical direction of the moving image are uniformly set. The resolution must be converted at the same rate, and the image quality may deteriorate.
[0035]
In particular, when the quantization width is wide, the degree of quantization width and the degree of image quality degradation are not necessarily proportional. Therefore, if the transition between resolutions is controlled by the quantization width, the resolution is reduced even though the quantization noise is small. In some cases, the image quality of the moving image that is unnecessarily decoded deteriorates.
[0036]
Therefore, an object of the present invention is to provide a moving image encoding apparatus that can individually convert the resolutions of the moving image in the horizontal direction and the vertical direction.
[0037]
[Means for Solving the Problems]
In order to solve the above-mentioned problem, the present invention is a moving image encoding apparatus that controls the resolution by selecting a combination of resolutions in the horizontal direction and the vertical direction of a moving image encoding target image,The ratio of independently converting the resolution of the image into the horizontal direction and the vertical direction is defined as a horizontal resolution and a vertical resolution, respectively, and according to a resolution combination in which the horizontal resolution and the vertical resolution are paired. A set of resolution combinations in which the number of pixels after resolution conversion is the same or close to the same value is classified as corresponding to the same resolution level as having the same resolution, and the past images of the moving image A quantization parameter used for encoding, which is a parameter for determining the roughness of quantization, or a quantization error generated by encoding the past image, and the quantization parameter or the threshold value for which the quantization error is set in advance. The resolution is lower than the resolution level corresponding to the resolution combination used in the past image encoding. An image level is determined, a resolution combination is selected from a set of resolution combinations corresponding to the resolution level at which the resolution is reduced so that the power loss of the encoding target image is minimized, and the selected resolution combination Output as resolution informationProvides resolution information creation meansThe resolution-encoded image is encoded according to the resolution information.It is characterized by that.
[0038]
The moving picture decoding apparatus of the present invention includes a decoding means for decoding a code string encoded by the moving picture encoding apparatus, and a quantized coefficient signal decoded by the decoding means.Quantization obtained from code sequenceInverse quantization according to parametersTo obtain the conversion coefficient signalBy the inverse quantization means and the inverse quantization meansThe obtained conversion coefficient signalInverse frequency conversion means for obtaining a prediction error image signal by inverse frequency conversion, and the inverse frequency conversion meansPrediction error imageConvert the resolution of the moving image related to the signalSolutionImage power conversion means and frontCommentConverted by image conversion meansVideoA memory for storing a moving image signal according to the above, a past moving image signal stored in the memory and the memoryQuantizationBased on the parameter and the conversion result of the resolution conversion meansPredicted imageSignal,in frontCommentAnd adding means for adding to the moving image signal relating to the resolution converted by the image degree conversion means.
[0039]
Furthermore, the moving image communication system of the present invention is characterized in that the moving image encoding device and the moving image decoding device are connected by a transmission path.
[0040]
Furthermore, the moving image encoding method of the present invention is a moving image encoding method for controlling the resolution by selecting a combination of the resolutions of the horizontal direction and the vertical direction of the encoding target image of the moving image,The ratio of independently converting the resolution of the image into the horizontal direction and the vertical direction is defined as a horizontal resolution and a vertical resolution, respectively, and according to a resolution combination in which the horizontal resolution and the vertical resolution are paired. A set of resolution combinations in which the number of pixels after resolution conversion is the same or close to the same value is classified as corresponding to the same resolution level as having the same resolution, and the past images of the moving image A quantization parameter used for encoding, which is a parameter for determining the roughness of quantization, or a quantization error generated by encoding the past image, and the quantization parameter or the threshold value for which the quantization error is set in advance. The resolution is lower than the resolution level corresponding to the resolution combination used in the past image encoding. An image level is determined, a resolution combination is selected from a set of resolution combinations corresponding to the resolution level at which the resolution is reduced so that the power loss of the encoding target image is minimized, and the selected resolution combination Is output as resolution information, and the encoding target image is resolution-converted and encoded according to the resolution information.It is characterized by that.
[0041]
The storage medium of the present invention stores a program including instructions for causing a computer to execute the moving picture encoding method.
[0042]
Specifically, as shown in FIGS. 1 and 9 to 12, the moving image encoding apparatus according to the present invention includes a memory 109 that stores a locally decoded image signal of an image encoded in the past, and a memory 109. Prediction parameter calculation means 1015 for using the stored local decoded image signal as a reference image and calculating a prediction parameter used for resolution conversion based on the input moving image signal and resolution information, and the calculated prediction Prediction image generation means 1010 that generates a prediction image signal from a reference image based on the parameter and resolution information, subtraction means 1001 that generates a prediction error image signal by subtracting the prediction image signal from the input moving image signal, and generation Resolution conversion means for converting the resolution of the prediction error image signal thus obtained to a resolution specified by the resolution information to obtain a low resolution prediction error image signal 02, frequency conversion means 103 that performs frequency conversion by projecting the obtained low-resolution prediction error image signal onto a frequency component and outputs it as a conversion coefficient signal, and quantizes the output conversion coefficient signal by quantizing it according to a quantization parameter Quantization means 104 for outputting as a transform coefficient signal, variable length coding of the output quantized transform coefficient signal, quantization parameter, prediction parameter, and resolution information, respectively, to generate a code string and the length of the code string Variable length encoding means 112 for outputting generated generated code amount information, a buffer for temporarily storing the generated code string and outputting it to the transmission line and outputting buffer occupancy information, generated code amount information and buffer The control unit 111 that calculates the quantization parameter using the occupation amount information, and the quantization transform coefficient signal is inverted according to the quantization parameter. Low resolution by performing inverse transform of the inverse quantization means 105 for calculating the inverse quantized transform coefficient signal and transforming the calculated inverse quantized transform coefficient signal by the frequency transform means or approximating the inverse transform Inverse frequency conversion means 105 for generating a decoded prediction error image, and decoding prediction error by performing resolution conversion for converting the generated low resolution decoded prediction error image signal from the resolution specified by the resolution information to the resolution of the moving image. Resolution conversion means 107 that generates an image, addition means 108 that adds a prediction image and a decoded prediction error image to generate a local decoded image, and at least a quantization parameter and a prediction error image signal or a low resolution prediction error image signal or Resolution information creating means 120, 130, 150, which creates resolution information using the transform coefficient signal or the inverse quantization transform coefficient signal. 160, 170.
[0043]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0044]
(Embodiment 1)
[Description of configuration]
FIG. 1 is a block diagram showing a configuration of a moving picture coding apparatus according to Embodiment 1 of the present invention. The moving image encoding apparatus according to the present embodiment includes a subtracting unit 1001 that generates a prediction error image signal by subtracting a predicted image signal generated by the predicted image generating unit 1010 from an input moving image signal, and a subtracting unit 1001. Resolution conversion means which is a first resolution conversion means for generating a low resolution prediction error image signal by converting the resolution of the moving image related to the prediction error image signal output from the signal according to the resolution information determined by the resolution information creation means 120 102 and the low-resolution prediction error image signal output from the resolution conversion means 102 are divided into blocks of, for example, 8 × 8 pixels and decomposed into frequency components and the like, and discrete cosine transform (hereinafter referred to as DCT) for each component. ), Hadamard transform, wavelet transform, etc., frequency transform means 10 for obtaining a transform coefficient signal 3, a quantization unit 104 that generates a quantized transform coefficient signal by quantizing the transform coefficient signal output from the frequency conversion unit 103 according to the quantization parameter output from the control unit 111, and the quantization unit 104 Variable length encoding means 112 for converting the output quantized transform coefficient signal into, for example, a one-dimensional signal and outputting the generated code amount, and storing the variable length code and outputting the buffer occupation amount And a control unit 111 that performs encoding control according to the buffer occupancy output from the buffer 113 and the generated code amount output from the variable-length encoding means 112.
[0045]
In addition, the moving image encoding apparatus according to the present embodiment is a creation unit that generates resolution information used for resolution conversion of a moving image to be encoded next based on a quantization parameter output from the control unit 111 or the like. A resolution information creation unit 120; a resolution conversion unit 107 that converts the resolution of the moving image according to the resolution information created by the resolution information creation unit 120; and a moving image that has been converted by the resolution conversion unit 107 and a predicted image generation unit 1010. An addition unit 1008 that calculates a local image signal by adding the generated predicted image signal, and a quantization transform coefficient signal output from the quantization conversion unit 104 according to a quantization parameter output from the control unit 111 is inversely quantized. Dequantizing means 105 to be converted, and the inverse quantized transform coefficient signal output from the dequantizing means 105, for example, for each block An inverse frequency transformation unit 106 for generating a low-resolution decoded prediction error image signals by frequency conversion, and a memory 109 for storing the local decoded image signal output from the adding unit 1008.
[0046]
Note that the resolution information creating unit 120 calculates the average value of the transform coefficients for each frequency by performing statistical processing such as the mean square or the absolute value average between the transform coefficients of the same frequency with respect to the transform coefficients, thereby calculating a prediction error distribution. The horizontal direction and the vertical direction of the moving image based on the prediction error distribution calculation unit 121 output as information, the prediction error distribution information output from the prediction error distribution calculation unit 121, the quantization parameter output from the control unit 111, and the like And selecting means 122 for selecting which resolution is to be converted.
[0047]
FIG. 2 is a block diagram showing a configuration of a moving picture decoding apparatus that decodes a moving picture encoded by the moving picture encoding apparatus shown in FIG. A variable length decoding unit 901 that receives a code string transmitted from a moving image encoding apparatus and performs variable length decoding, and an inverse quantization unit that dequantizes the moving image signal decoded by the variable length decoding unit 901 902, an inverse frequency transforming unit 903 that performs inverse frequency transform such as inverse DCT transform on the moving image signal inversely quantized by the inverse quantizing unit 902, and a moving image signal inversely frequency transformed by the inverse frequency transforming unit 903. A resolution conversion unit 904 for converting the resolution of the moving image, an addition unit 2005 for adding the moving image whose resolution has been converted by the resolution conversion unit 904 and the predicted image signal based on the variable-length decoded moving image signal, and addition A memory 207 that stores the result and a predicted image signal generation unit 2006 that generates the predicted image signal based on the addition result stored in the memory are provided.
[0048]
[Description of operation]
Next, the operation of the video encoding apparatus shown in FIG. 1 will be described. When a moving image signal is input to the moving image encoding apparatus, the moving image signal is input to the prediction parameter calculation unit 1015 and the subtraction unit 1001. In addition to this, the prediction parameter calculation unit 1015 also receives the previously encoded moving image signal stored in the memory 109 and the resolution information output from the resolution information generation unit 120.
[0049]
The prediction parameter calculation unit 1015 performs motion estimation for each block having a size determined by the resolution information, and the encoding mode information and motion vector of each block (hereinafter, the encoding mode information and motion vector are referred to as “prediction parameters”). .) Is calculated and output to the predicted image generation means 1010 and the variable length encoding means 112.
[0050]
Next, the predicted image generation unit 1010 reads out the moving image signal stored in the memory 109, and based on the prediction parameter output from the prediction parameter calculation unit 1015 and the resolution information output from the resolution information creation unit 120. Then, motion compensation is performed for each block, a predicted image signal is generated, and output to the adding unit 1008 and the subtracting unit 1001.
[0051]
Here, the resolution information output from the resolution information creating unit 120 is information for controlling which of the horizontal direction and the vertical direction of the moving image is to be converted and how much the resolution is to be changed. For example, the horizontal or vertical resolution (size) of the moving image after the resolution conversion itself, the ratio of the resolution of the moving image before and after the conversion, the one including the above-mentioned size, or predetermined information are specified in advance. The index is used. Alternatively, it may be information specifying whether to convert the resolution of the moving image in the horizontal direction or the vertical direction from the current resolution.
[0052]
Then, the subtraction unit 1001 generates a prediction error image signal by subtracting the prediction image signal from the input moving image signal, and outputs the prediction error image signal to the resolution conversion unit 102.
[0053]
The resolution converting unit 102 divides the entire moving image or the moving image into a plurality of blocks and outputs the resolution of the moving image related to the prediction error image signal output from the subtracting unit 1001 from the resolution information generating unit 120 for each block. By converting according to the resolution information thus generated, a low resolution prediction error image is generated and output to the frequency conversion means 103. Specifically, the resolution conversion unit 1002 has a plurality of filters for resolution conversion, selects several filters individually in the horizontal direction and the vertical direction according to the resolution information, and uses the selected filters to filter The resolution is converted by processing.
[0054]
Note that the resolution information output from the resolution information creation unit 120 may be information indicating that neither the horizontal direction nor the vertical direction of the moving image is converted. In this case, resolution conversion is not performed. The prediction error image signal output from the subtracting means 1001 is output as it is as a low resolution prediction error image signal.
[0055]
In addition, in order to perform resolution conversion for each block, the resolution information creating means 120 side outputs each resolution information including information that can identify the block to the resolution converting means 102, and the resolution converting means 102 side sets the resolution. The resolution conversion means 102 corresponds to which divided moving image so that it can be specified or the resolution information is expressed by arranging the resolutions in the horizontal and vertical directions of each divided moving image in accordance with a predetermined rule. The resolution can be specified.
[0056]
Note that resolution conversion may be performed for each frame, or may be performed based on the type of frame. For example, since the image quality of the I frame greatly affects the image quality of other frames, the threshold Q of the quantization parameter described later is used.th1The I frame is maintained at a high resolution by increasing the value of. Further, even if the image quality of the B frame is somewhat deteriorated, the image quality of other types of frames is not deteriorated.th1The B frame may have a low resolution by decreasing the value of.
[0057]
The frequency conversion unit 103 obtains a conversion coefficient signal by frequency-converting the low resolution prediction error image signal output from the resolution conversion unit 102 and outputs it to the quantization unit 104 and the resolution information creation unit 120. In addition, when performing DCT as frequency conversion, for example, after dividing a moving image into blocks, DCT is performed for each block to obtain a conversion coefficient signal.
[0058]
The quantizing unit 104 generates a quantized transform coefficient signal by quantizing the transform coefficient signal output from the frequency converting unit 103 according to the quantization parameter output from the control unit 111, and variable length coding unit. 112 and the inverse quantization means 105. Here, the quantization parameter is a parameter that determines the roughness of the quantization of the transform coefficient. The larger the value, the longer the quantization width and the rougher the quantization.
[0059]
The variable length encoding unit 112 scans the quantized transform coefficient signal output from the quantization unit 104, converts it into, for example, a one-dimensional signal, performs variable length encoding, and outputs the quantum conversion coefficient signal output from the control unit 111. The variable information and the resolution information output from the resolution information creation unit 120 and the prediction parameter information output from the prediction parameter calculation unit 1015 are also variable-length encoded at the same time, and a code string including these is generated and output to the buffer 1013. The generated code amount indicating the length of the output code string is output to the control unit 111 and the selection unit 122.
[0060]
The buffer 1013 accumulates the code string output from the variable-length encoding unit 112 for speed smoothing, matches the transmission speed with the transmission line speed, and then outputs the code string to the transmission line and control unit 111. Then, the buffer occupation amount information is output to the control unit 111 and the resolution information creating unit 120.
[0061]
The control unit 111 calculates a quantization parameter based on the generated code amount output from the variable-length encoding unit 112 and the buffer occupation amount information output from the buffer 1013, and the quantization unit 104 and the selection unit 122. , Output to the inverse quantization means 105 and the variable length coding means 112, respectively.
[0062]
As will be described later, the resolution information creating unit 120 uses at least the quantization parameter output from the control unit 111 and the transform coefficient signal output from the frequency conversion unit 103 in the horizontal direction of the moving image to be encoded next. Resolution information indicating which resolution is to be converted in the vertical direction and the resolution conversion unit 102, resolution conversion unit 107, variable length encoding unit 112, predicted image generation unit 1010, and prediction parameter calculation unit 1015. Output each.
[0063]
On the other hand, the inverse quantization means 105 generates an inverse quantization transform coefficient signal by inversely quantizing the quantized transform coefficient signal output from the quantization means 104 according to the quantization parameter output from the control unit 111. And output to the inverse frequency conversion means 106. That is, the inverse quantization unit 105 performs inverse quantization using the same quantization parameter as the quantization parameter used in the quantization unit 104 at the time of quantization.
[0064]
The inverse frequency transform unit 106 generates a low-resolution decoded prediction error image signal by performing inverse transform of the transform performed by the frequency transform unit 103 on the inverse quantization transform coefficient signal output from the inverse quantization unit 105. And output to the resolution conversion means 107.
[0065]
The resolution conversion unit 107 performs decoding by converting the resolution of the moving image related to the low-resolution decoded prediction error image signal output from the inverse frequency conversion unit 106 based on the resolution information output from the resolution information generation unit 120. A prediction error image signal is generated and output to the adding means 1008. That is, the resolution of the moving image related to the decoded prediction error image signal is the same as the resolution related to the moving image signal input to the moving image encoding apparatus, and the resolution conversion in the resolution converting unit 107 is changed by the resolution converting unit 102. This is done to restore the original resolution. For example, when the resolution conversion unit 102 converts the CIF resolution to the QCIF resolution, the resolution conversion unit 107 converts the QCIF resolution to the CIF resolution.
[0066]
The adding unit 1008 generates a local decoded image signal by adding the decoded prediction error image signal output from the resolution converting unit 107 to the predicted image signal output from the predicted image generating unit 1010, and the memory 109 To accumulate.
[0067]
The memory 109 outputs the locally decoded image signal stored in the memory 109 to the prediction parameter calculation unit 1015 when calculating the prediction parameter.
[0068]
Next, the operation of the resolution information creation unit 120 will be described. In the resolution information creation unit 120, the conversion coefficient information output from the frequency conversion unit 103 is subjected to statistical processing such as mean square and absolute value average between the same frequencies by the prediction error distribution calculation unit 121, and the average of the conversion coefficients at each frequency. A value is obtained and output to the selection means 122 as prediction error distribution information.
[0069]
Based on the prediction error distribution information output from the prediction error distribution calculation unit 121 and, for example, the quantization parameter output from the control unit 111, the selection unit 122 selects either resolution in the horizontal direction or the vertical direction of the moving image. Are to be converted and output to the variable length encoding means 112, the resolution conversion means 107 and 102, and the prediction parameter calculation means 1015, respectively. Note that the resolution conversion direction is selected using not only the quantization parameter output from the control unit 111 but also the buffer occupancy information output from the buffer 1013 and the generated code amount output from the variable length encoding unit 112. You can also
[0070]
Specifically, the selection unit 122 determines whether to change the resolution using a quantization parameter or the like. If it is determined that the resolution is to be changed, based on the average value of the conversion coefficients at each frequency from the prediction error distribution calculation unit 121, which resolution is converted in the horizontal direction or the vertical direction of the moving image To decide.
[0071]
In the present embodiment, for example, when converting the horizontal resolution of a moving image, information is generated to reduce the resolution to, for example, 1/2 with respect to the horizontal direction of the moving image. Information that does not convert the resolution in the vertical direction of the image is created.
[0072]
FIG. 3 is a transition diagram for explaining the operation of the selection means 122 of FIG. In FIG. 3, the numbers in the ellipse mean indexes based on the resolution of the moving image in the horizontal direction and the vertical direction. Here, transition is made so that the number in the ellipse becomes ± 1 or 0, for example, transition from (m, n) = (0,0) to (m, n) = (0,1). This means that only the vertical resolution of the moving image is reduced by, for example, 1/2. Thus, the resolution decreases as the values of m and n increase.
[0073]
In the present embodiment, the case where the resolution is halved is taken as an example, but in general, the resolution can be set as follows, for example. That is, the horizontal and vertical resolutions of the moving image can be expressed by functions of m and n, respectively.h(M), the vertical resolution is rvIf (n), rh(M), rv(N)
rh(M) = αm
rv(N) = αn (However, 0 <α <1.)
It can be.
[0074]
In FIG. 3, [m + n] is defined as a resolution level k, and regions having the same resolution level k are separated by a broken line. In regions where the resolution level k is equal, the total number of pixels related to the moving image is the same, so the resolution of the moving image is the same.
[0075]
Where rh(M), rv(N) may not be powers of α, for example rh(0) = 1, rh(1) = 2/3, rh(2) = 1/2, rh(3) = 1/3, rh(4) = 1/4, rv(N) may be set similarly to this. In this case, even if the value of k is the same, the number of pixels does not completely match due to the combination of m and n, but it is a close value between the states where k is equal, and it can be regarded as substantially the same resolution.
[0076]
FIG. 4 is a flowchart showing the operation of the selection unit 122 of FIG. 5 and 6 are flowcharts showing the procedures of steps S3005 and S3006 of FIG. 4, respectively. Hereinafter, the resolution level k before transition is set to k.0Will be described.
[0077]
First, the selection unit 122 uses the quantization parameter for each block output from the control unit 111 and the like, and the average value Q of the quantization parameter in the moving image.aveIs calculated (step S3001). Subsequently, the average value Q of the quantization parameter in the moving imageaveAnd resolution level k is k0Threshold Q forth1(K0) And the size (step S3002), and QaveIs Qth1(K0) If greater, the process proceeds to step S3005; otherwise, the process proceeds to step S3003.
[0078]
In step S3003, the resolution level k is k.0Threshold Q forth0(K0) And the average value Q of the quantization parameters in the videoaveAnd the number of moving images whose resolution is not changed, that is, the number of transitions to the original ellipse (Count) in FIG. 3 and a predetermined threshold CthCompare the size with. And QaveBut Qth1(K0), And Count is CthIf it is larger, the process proceeds to step S3006; otherwise, the process proceeds to step S3004.
[0079]
It should be noted that here, the threshold value C is set so as not to cause a situation in which resolution conversion is performed too frequently or conversely.thIs set according to the degree to which past resolution conversion is performed, for example. That is, when resolution conversion is frequently performed, the threshold value CthIncrease the value of to increase the count. On the other hand, when resolution conversion is hardly performed, the threshold value CthThe value of is made small so that Count does not increase. The threshold value Qth(K0) Etc. may be changed to control Count.
[0080]
In step S3004, 1 is added to Count. Thus, the procedure shown in FIG. 4 is completed. Note that Count is used in order to prevent the image quality from being deteriorated by frequently performing resolution conversion by changing the resolution of the moving image and immediately returning to the previous resolution.
[0081]
On the other hand, when the process proceeds to step S3005, a process for reducing the resolution is performed. Specifically, as shown in FIG. 5, first, in step S3101, it is determined whether or not the transition source is the lower right ellipse on the transition diagram of FIG. Specifically, it is determined whether m = M−1 and n = N−1. If this condition is satisfied, the process proceeds to step S3109; otherwise, the process proceeds to step S3102.
[0082]
The fact that the process has shifted to step S3109 adds 1 to the count value because neither the horizontal direction nor the vertical direction of the moving image can be reduced. Thus, the procedure shown in FIG. 4 is completed.
[0083]
On the other hand, when the process proceeds to step S3102, since the resolution of either the horizontal direction or the vertical direction of the moving image can still be reduced, in order to determine which direction the resolution can be reduced. In the transition diagram of FIG. 3, it is determined whether or not the transition source is an ellipse in the rightmost column. Specifically, it is determined whether or not m = M−1. If this condition is satisfied, the process proceeds to step S3106; otherwise, the process proceeds to step S3103.
[0084]
In step S3103, it is determined whether or not the transition source is an ellipse in the bottom row on the transition diagram of FIG. Specifically, it is determined whether or not n = N−1. If this condition is satisfied, the process proceeds to step S3108; otherwise, the process proceeds to step S3104. Note that the order of the processes performed in step S3102 and step S3103 is interchanged, and it is determined first whether the transition source is the ellipse in the bottom row, and then whether the transition source is the ellipse in the rightmost column. May be determined.
[0085]
In step S3104, the low-resolution prediction error image signal output from the resolution conversion unit 102 when it is assumed that the average value of the conversion coefficient at each frequency from the prediction error distribution calculation unit 121 is used to make a transition to the right ellipse. Power loss P indicating how much power is lost compared to the current resolution stateh, A loss power P representing how much power of the low resolution prediction error image signal is lost compared to the current resolution state when it is assumed that the transition to the lower ellipse is made.vAnd a threshold value P used for selecting whether to reduce the resolution in the horizontal direction or the vertical direction.th(M, n) is calculated, and the process proceeds to step S3105.
[0086]
The threshold value PthIn this embodiment, (m, n) is, for example, [mn = 0] or [mn = 1], that is, the ratio of the horizontal resolution to the vertical resolution is 1: 1 or 2: The resolution is not extremely different between the horizontal direction and the vertical direction of the moving image so as to be 1 or 1: 2. Thereby, it is possible to prevent the image quality from deteriorating. For example, the threshold value PthIf (m, n) ≡1, then Ph/ PvTransition is determined only by. Threshold PthA method for calculating (m, n) will be described later.
[0087]
In step S3105, the calculated power loss P is calculated in order to lower the resolution of the prediction error image signal with the smaller power loss in the horizontal direction and the vertical direction of the moving image.hAnd PvIs the ratio ofh/ PvAnd threshold PthCompared with (m, n), Ph/ PvIs the threshold PthIf smaller than (m, n), the process proceeds to step S3108; otherwise, the process proceeds to step S3106.
[0088]
FIG. 7A shows the Q in the case of transition to an adjacent ellipse.aveAnd threshold Qth0(K0) And the like. FIG. 7B shows a Q in the case of transition to a non-adjacent ellipse described later.aveAnd threshold Qth0(K0) And the like.
[0089]
7A is used to capture the explanation of the operations in steps S3002, S3003 in FIG. 4 and step S3105 in FIG.aveValue and threshold Qth0(K0Or Qth1(K0) And the resolution level k is k0To k0Or transition to k0 +1Or k0 -1Ask whether to transition to. Next, the resolution level k is k0To k0 +1Or k0 -1When transitioning to Ph/ PvValue and threshold PthThe resolution level k is k by comparing the magnitude with (m, n).0 +1And k0 -1To which of the transitions.
[0090]
In step S3108, 1 is added to m, and further, the value of Direction (k) described later is set to 1, thereby generating resolution information for reducing the horizontal resolution of the moving image, and the process proceeds to step S3107. To do. In step S3106, 1 is added to n, and the value of Direction (k) is set to 0, thereby creating resolution information for reducing the vertical resolution of the moving image, and the process proceeds to step S3107. In step S3107, 1 is added to the resolution level k, and the value of Count is reset. In this way, the process shown in FIG.
[0091]
Here, Direction (k) is used to generate a history indicating whether resolution information that reduces the resolution in the horizontal direction or the vertical direction of a moving image when 1 is added to the resolution level k. When the resolution information for reducing the horizontal resolution of the moving image is created, for example, when the value of Direction (k) is set to 1 and the resolution information for reducing the vertical resolution of the moving image is created. Generates a transition state history by setting the value of Direction (k) to 0, for example. The generated history is used when restoring the resolution in a later process.
[0092]
Next, the threshold value PthA method for calculating (m, n) will be described. First, the threshold value Pth(M, n)
Pth(M, n) = f (Sign (rh(M) -rv(N)) d (rh(M), rv(N))) ... (1)
far. Here, the function f (x) is a monotonic non-decreasing function that satisfies f (0) = 1, d (x, y) is a function indicating the distance between x and y, and Sign (x) is [x ≧ 0], and a function satisfying -1 in the case of [x <0].
[0093]
In particular, [rh(I) = rvWhen (i)] holds, in Equation (1), Sign (rh(M) -rv(N)) is replaced with Sign (nm) and d (rh(M), rvIf d (m, n) is used instead of (n)),
Pth(M, n) = f (Sign (nm) d (m, n)) (2)
Can be obtained, but the threshold value P can be calculated using Equation (2).th(M, n) may be calculated.
[0094]
For example, if a is a positive constant,
f (t) = exp (at) (3)
d (x, y) = | x−y | (4)
When substituting Equations (3) and (4) into Equation (2),
Pth(M, n) = exp (a (nm)) (5)
Is obtained.
[0095]
FIG. 8 is a diagram illustrating Equation (5) on a logarithmic scale. As shown in FIG. 8, the horizontal axis is [nm] and the vertical axis is [logP].th(M, n)]
logPth(M, n) = a (nm)
Is established.
[0096]
Next, the operation when the process proceeds to step S3006 in FIG. 4 will be described with reference to FIG. First, in step S3201, it is determined whether or not the transition source is the upper left ellipse on the transition diagram of FIG. Specifically, it is determined whether m = 0 and n = 0. If this condition is satisfied, the process proceeds to step S3207; otherwise, the process proceeds to step S3204.
[0097]
In step S3207, since the resolution cannot be increased any more, 1 is added to Count, and the procedure shown in FIG. 5 ends. On the other hand, in step S3204, since the horizontal or vertical resolution of the moving image can still be increased, it is determined whether the value of Direction (k-1) is 1, and the result of the determination is Direction (k-1 If the value of) is 1, the process proceeds to step S3208; otherwise, the process proceeds to step S3205.
[0098]
Here, as described in step S3106 of FIG. 5, when 1 is added to the resolution level k, it means that the resolution information for reducing the horizontal resolution of the moving image has been created. ) Is 1, the resolution information is generated from the current transition source so as to increase the horizontal resolution of the moving image. On the other hand, if Direction (k-1) is not 1, the moving image Resolution information that increases the vertical resolution is created.
[0099]
In step S3208, resolution information that increases the horizontal resolution of the moving image is generated by subtracting 1 from m, and the process proceeds to step S3206. On the other hand, in step S3205, resolution information that increases the vertical resolution of the moving image is generated by subtracting 1 from n, and the process proceeds to step S3206. In step S3206, 1 is subtracted from k, Count is further reset, and the process shown in FIG. 6 ends.
[0100]
Next, a method for determining a specific resolution will be described with reference to FIGS. The initial state is set to [m = n = 0], and in this state, using the quantization parameter output from the control unit 111, (m, n) = (0, 1) or (1, 0) Whether to transition to an ellipse or to transition to an ellipse with (m, n) = (0,0) is calculated.
[0101]
Then, when creating resolution information that lowers the resolution, based on the average value of the transform coefficients at each frequency output from the image prediction error distribution calculating unit 121, any resolution in the horizontal direction or the vertical direction of the moving image It is calculated whether to generate resolution information that lowers (step S3105).
[0102]
On the other hand, even if the initial state is set to m = n = 0, resolution information for increasing the resolution may be created when the resolution is changed several times (step S3003). In this case, resolution information for increasing the resolution is created by reversing the path of the state transition when the resolution information for reducing the resolution is created. By repeating such a procedure, resolution information is created so that the resolution in the horizontal direction or the vertical direction can be converted for each moving image.
[0103]
In the case where the resolution is determined by using, for example, the generated code amount in addition to the quantization parameter output from the control unit 111 and the prediction error distribution information output from the prediction error distribution calculating unit 121, the steps shown in FIG. In S3002 and Step S3003, QaveAnd the generated code amount and the threshold value Qth0(K0) And Qth1(K0) And the size may be compared.
[0104]
Further, when the resolution is determined using the buffer occupancy information, in steps S3002 and S3003 in FIG.aveAnd the product of the generated code amount and the buffer occupation amount, and the threshold value Qth0(K0) And Qth1(K0) And the size may be compared.
[0105]
As described above, in the present embodiment, the case of transition to an adjacent ellipse in FIG. 3 has been described as an example.aveAnd Ph/ PvBy setting a plurality of thresholds for each of them, transition to an ellipse that is not adjacent may be performed.
[0106]
First, as shown in FIG.aveAnd the threshold value Q, for exampleth-2(K0) ~ Qth3(K0) And the resolution level k is k0To k0Or transition to k0Other than k0+3 to k0-3 is obtained. That is, if the displacement amount of the obtained resolution level k is p, it is determined whether or not the displacement amount p is zero.
[0107]
Next, the resolution level k is k.0Other than k0 +3~ K0 -3In other words, when the displacement amount p is not 0, the resolution level k is k.0 + PIt decides that it changes to either.
[0108]
Next, the resolution level k is k.0 + PThe ellipse to be transitioned to is determined. Specifically, when each ellipse transitions, the power loss of the input signal to the resolution conversion unit 102 is calculated, and basically, the ellipse having the smallest calculated value is determined as the transition destination. However, each calculated value is weighted according to the difference of [mn] so that the resolutions of the moving image in the horizontal direction and the vertical direction are not extremely different.
[0109]
This weighting is performed using, for example, the functions f (x) and d (x, y) of the formula (1).
f (d (m, n))
Thus, the calculated numerical value may be used.
[0110]
Here, when p <0, that is, when creating resolution information that increases the resolution, the state transitions to one of the states in which the difference in resolution between the horizontal direction and the vertical direction of the moving image is the smallest. Like that. Note that, when transitioning to an ellipse that is not adjacent, resolution information including the resolution itself is created in the resolution information creating unit 120.
[0111]
Next, the operation of the video decoding device in FIG. 2 will be described. The moving picture decoding apparatus receives the code string transmitted from the moving picture encoding apparatus and outputs it to the variable length decoding unit 901.
[0112]
The variable length decoding unit 901 decodes the quantized transform coefficient signal, the quantization parameter, the prediction parameter, and the resolution information by performing variable length decoding on the output code string, and dequantizes the quantized transform coefficient signal. Output to the conversion unit 902, output prediction parameters to the prediction image generation unit 2006, output resolution information to the resolution conversion unit 904 and prediction image generation unit 2006, and output quantization parameters to the inverse quantization unit 902.
[0113]
Similar to the inverse quantization unit 1005 shown in FIG. 1, the inverse quantization unit 902 obtains the output quantized transform coefficient signal by performing inverse quantization based on the output quantization parameter. The inverse quantized transform coefficient signal is output to the inverse frequency transform means 903.
[0114]
The inverse frequency transform unit 903 generates a low-resolution decoded prediction error image signal by performing inverse frequency transform on the output inverse quantization transform coefficient signal, similarly to the inverse frequency transform unit 1006 shown in FIG. Output to the conversion means 904.
[0115]
Similar to the resolution conversion unit 1007 shown in FIG. 1, the resolution conversion unit 904 converts the resolution of the moving image related to the output low-resolution decoded prediction error image signal from the resolution specified by the resolution conversion information to the original moving image. The decoded prediction error image signal obtained by conversion so as to return to the resolution is output to the adding means 2005.
[0116]
Similar to the adding unit 1008 shown in FIG. 1, the adding unit 2005 adds a moving image signal obtained by adding the predicted image signal output from the predicted image generating unit 2006 to the output decoded prediction error image signal. Output to the memory 207 and the outside.
[0117]
Similarly to the memory 109 shown in FIG. 1, the memory 207 temporarily accumulates the moving image signal output from the adding unit 2005, and outputs it to the predicted image generating unit 2006 when generating the predicted image signal.
[0118]
Similar to the predicted image generation unit 1010 illustrated in FIG. 1, the predicted image generation unit 2006 uses the moving image signal output from the memory 207 and the prediction parameter and resolution information output from the variable length decoding unit 901. On the basis of the prediction image signal and outputs it to the adding means 2005.
[0119]
(Embodiment 2)
FIG. 9 is a block diagram showing the configuration of the moving picture coding apparatus according to the second embodiment of the present invention. In FIG. 9, reference numeral 150 denotes an inverse quantization transform coefficient signal output from the inverse quantization unit 105, a quantization parameter output from the control unit 111, a buffer occupation amount output from the buffer 113, and a variable length encoding unit 112. Resolution information creating means for creating resolution information used for converting the resolution of a moving image to be encoded next based on the generated generated code amount.
[0120]
The resolution information creation means 150 performs inverse processing for each frequency by performing statistical processing such as root mean square between the inverse quantization transform coefficient signals of the same frequency on the inverse quantization transform coefficient signal output from the inverse quantization means 105. A prediction error distribution calculation unit 151 that calculates an average value of the quantized transform coefficient signal and outputs it as prediction error distribution information, prediction error distribution information output from the prediction error distribution calculation unit 151, and quantum output from the control unit 111 Selection means 152 for individually controlling the resolution conversion between the horizontal direction and the vertical direction of the moving image based on the conversion parameter or the like. In FIG. 9, the same parts as those in FIG.
[0121]
9 is the same as the operation of the moving image encoding apparatus according to the first embodiment, but the prediction error distribution calculating unit 151 provided in the resolution information generating unit 150 is The average value of the quantized transform coefficient signal is calculated. Note that this calculation result includes encoding distortion, and thus differs from the actual frequency distribution, but a distribution close to that is obtained, and is used to convert the resolution of a moving image to be encoded next using the distribution. Creating resolution information.
[0122]
(Embodiment 3)
FIG. 10 is a block diagram showing the configuration of the moving picture coding apparatus according to the third embodiment of the present invention. In FIG. 10, reference numeral 130 denotes a low resolution prediction error image signal output from the resolution conversion unit 102, a quantization parameter output from the control unit 111, a buffer occupation amount output from the buffer 113, and a variable length encoding unit 112. Resolution information creating means for creating resolution information used for converting the resolution of a moving image to be encoded next based on the generated generated code amount.
[0123]
The resolution information creation unit 130 obtains an activity (AC power component) for each direction from the low resolution prediction error image signal output from the resolution conversion unit 102, and outputs this as direction-specific prediction error estimation information. Based on the error estimation unit 131, the prediction error distribution information output from the direction-specific prediction error estimation unit 131, the quantization parameter output from the control unit 111, and the like, resolution conversion between the horizontal direction and the vertical direction of the moving image is performed. And selecting means selecting means 132 for individually controlling. In FIG. 10, the same parts as those in FIG.
[0124]
10 is the same as the operation of the moving image encoding apparatus according to the first embodiment. However, the selection unit 132 outputs the direction-specific prediction error estimation unit 131. The resolution is selected based on the prediction error estimation information. Specifically, the resolution in the direction in which the amplitude of the activity is small is converted.
[0125]
(Embodiment 4)
FIG. 11 is a block diagram illustrating a configuration of a moving image encoding apparatus according to the fourth embodiment of the present invention. In FIG. 11, reference numeral 160 denotes a low resolution prediction error image signal output from the resolution conversion unit 102, a quantization parameter output from the control unit 111, a buffer occupation amount output from the buffer 113, and a variable length encoding unit 112. Resolution information creating means for creating resolution information used for converting the resolution of a moving image to be encoded next based on the generated generated code amount.
[0126]
The resolution information creating unit 160 performs frequency conversion by projecting the low-resolution prediction error image signal to the frequency component, thereby generating a second conversion coefficient signal, and second frequency generated by the frequency conversion unit 163. Prediction error distribution calculation that calculates the average value of the conversion coefficient for each frequency and outputs it as prediction error distribution information by performing statistical processing such as root mean square between the conversion coefficients of the same frequency for the conversion coefficient signal of Based on the means 161, the prediction error distribution information output from the prediction error distribution calculation means 161, the quantization parameter output from the control unit 111, and the like, the resolution conversion between the horizontal direction and the vertical direction of the moving image is individually controlled. And selection means 162 for performing the operation. In FIG. 11, the same parts as those in FIG.
[0127]
The frequency conversion unit 163 may perform frequency conversion by the same method as the frequency conversion unit 103 or may perform frequency conversion by a different method. For example, the frequency conversion unit 103 performs DCT and the frequency conversion unit 163 performs DFT ( (Discrete Fourier Transform) may be performed.
[0128]
11 is the same as the operation of the moving image encoding apparatus according to the first embodiment. In the prediction error distribution calculating unit 161, the second output from the frequency converting unit 163 is used. A prediction error distribution is obtained on the basis of the conversion coefficient signal and output as prediction error distribution information. The selection unit 162 determines the resolution based on the prediction error distribution information output from the prediction error distribution calculation unit 161 and the quantization parameter output from the control unit 111.
[0129]
(Embodiment 5)
FIG. 12 is a block diagram showing the configuration of the moving picture coding apparatus according to the fifth embodiment of the present invention. In FIG. 12, reference numeral 170 denotes a moving image to be encoded next based on the prediction error image signal output from the subtraction unit 1001, the quantization parameter output from the control unit 111, and the buffer occupation amount output from the buffer 113. Resolution information creating means for creating resolution information used for converting the resolution of the image.
[0130]
The resolution information creation unit 170 generates a third conversion coefficient signal by performing frequency conversion on the prediction error image signal, and converts the third conversion coefficient signal generated by the frequency conversion unit 173 into a conversion coefficient. Predictive error distribution calculating means 171 for calculating an average value of transform coefficients for each frequency by performing statistical processing such as root mean square between transform coefficients of the same frequency and predictive error distribution information; A selection unit 172 for individually controlling resolution conversion between the horizontal direction and the vertical direction of a moving image based on the prediction error distribution information output from the calculation unit 171 and the quantization parameter output from the control unit 111; It has. In FIG. 12, the same parts as those in FIG.
[0131]
12 is the same as the operation of the moving image encoding apparatus according to the first embodiment, but in step S3104 in FIG.hAnd PvEach power loss is calculated when the resolution of the moving image related to the input moving image signal is converted. Specifically, the index (0) when the index (m, n) is converted into a resolution that can be represented by the indexes (m + 1, n) and (m, n + 1) is the same as the processing described later in step S3304 in FIG. , 0) as a reference, and the resolution conversion direction is determined based on the calculation result.
[0132]
In the case of the moving picture coding system shown in FIG. 12, the resolution may be increased by the technique shown in FIG. 7 described below in addition to the technique explained using FIG. When the method shown in FIG. 13 is used, the operation of storing the value of Direction (k) (steps S3106 and S3108) becomes unnecessary.
[0133]
FIG. 13 is a flowchart for explaining the operation of increasing the resolution in the video encoding apparatus shown in FIG. 12, and corresponds to FIG. First, in step S3301, it is determined whether or not the transition source is the upper left ellipse on the transition diagram of FIG. Specifically, it is determined whether m = 0 and n = 0. If this condition is satisfied, the process proceeds to step S3309; otherwise, the process proceeds to step S3302.
[0134]
In step S3309, since the resolution can no longer be increased, 1 is added to Count, and the procedure shown in FIG. 13 ends. On the other hand, in step S3302, the horizontal or vertical resolution of the moving image can still be increased. Therefore, in order to determine which direction the resolution can be reduced, a transition is made on the transition diagram of FIG. Determine if the element is the leftmost ellipse. Specifically, it is determined whether or not m = 0, and if this condition is satisfied, the process proceeds to step S3306; otherwise, the process proceeds to step S3303.
[0135]
In step S3303, it is determined whether or not the transition source is the uppermost ellipse on the transition diagram of FIG. Specifically, it is determined whether or not n = 0. If this condition is satisfied, the process proceeds to step S3308; otherwise, the process proceeds to step S3304. Note that the order of the processes performed in step S3302 and step S3303 is interchanged, and it is first determined whether or not the transition source is the top row ellipse, and then whether or not the transition source is the leftmost ellipse. May be determined.
[0136]
In step S3304, using the prediction error distribution information output from the prediction error distribution calculating unit 121, the index (m, n) is converted into a resolution that can be expressed by (m + 1, n) or (m, n + 1). Horizontal power loss P ′ for (m, n) = (0,0)h, Vertical power loss P 'vAnd a threshold value P ′ used for determining whether to increase the resolution in the horizontal direction or the vertical direction.th(M, n) is calculated, and the process proceeds to step S3305.
[0137]
The threshold value P ′th(M, n) is the threshold value P calculated in step S3104 of FIG.thCalculated in the same manner as (m, n). Briefly, the threshold value P ′th(M, n) = threshold Pth(M, n) may be used.
[0138]
In step S3305, the calculated loss power P ′ is used in order to reduce the resolution in the horizontal direction and the vertical direction of the moving image, which has less power loss due to resolution conversion.vAnd P ’hWhich is the ratio ofv/ P ’hAnd threshold P ′thCompared with (m, n), P 'v/ P ’hIs the threshold P ′thIf greater than (m, n), the process proceeds to step S3308; otherwise, the process proceeds to step S3306.
[0139]
In step S3308, resolution information for increasing the horizontal resolution of the moving image is generated by subtracting 1 from m, and the process proceeds to step S3307. In step S3306, resolution information for increasing the vertical resolution by subtracting 1 from n is generated, and the process proceeds to step S3307. In step S3107, 1 is subtracted from the resolution level k, and the value of Count is reset. Thus, the process shown in FIG.
[0140]
Also in this embodiment, as described with reference to FIG. 7B, the transition may be made to a non-adjacent ellipse in FIG. In this case, when p <0, that is, when creating resolution information that increases the resolution, the calculated P ′hAnd P ’vIt is sufficient to make a transition based on.
[0141]
(Embodiment 6)
FIG. 14 is a block diagram showing a configuration of a moving picture coding apparatus according to the sixth embodiment of the present invention. In FIG. 14, reference numeral 221 denotes statistics of quantization errors caused by quantization calculated based on the transform coefficient signal output from the frequency transform unit 103 and the inverse quantization transform coefficient signal output from the inverse quantization unit 105. It is a quantization error calculation unit that calculates a statistic indicating the magnitude of the quantization error and outputs it to the resolution information creation unit 220 as quantization error information by performing processing.
[0142]
Reference numeral 220 denotes the resolution of the moving image to be encoded next based on the transform coefficient signal output from the frequency converter 103, the quantization parameter output from the control unit 111, and the buffer occupancy output from the buffer 113. This is resolution information creating means for creating resolution information used for conversion.
[0143]
The resolution information creation unit 220 calculates a mean value of transform coefficients for each frequency by performing statistical processing such as a mean square between transform coefficients of the same frequency for the transform coefficients, and outputs the prediction error distribution information as prediction error distribution information Based on the distribution calculation unit 221, the prediction error distribution information output from the prediction error distribution calculation unit 221, the quantization parameter output from the control unit 111, and the like, the resolution conversion between the horizontal direction and the vertical direction of the moving image is individually performed. And selection means 222 for controlling. In FIG. 14, the same parts as those in FIG.
[0144]
The operation of the video encoding device shown in FIG. 14 is the same as that of the video encoding device of the first embodiment, except that the quantization error calculation unit 221 uses the transform coefficient signal output from the frequency conversion unit 103 and Each of the inverse quantization transform coefficient signals output from the inverse quantization means 105 is input, and these signals are differentiated to calculate a quantization error for each block caused by the quantization. Further, statistical processing is performed to calculate a statistic such as a quantization error power based on a mean square value or an absolute value average value from each calculated quantization error, and the calculated statistic is resolved as quantization error information. The information is output to the information creation means 220.
[0145]
In the resolution information creating unit 220, the selection unit 222 uses the quantization error information output from the quantization error calculation unit 221 and the transform coefficient signal output from the frequency conversion unit 103 to select a moving image to be encoded in the future. The resolution is determined and output as resolution information to the resolution conversion means 102, the resolution conversion means 107, the variable length encoding means 112, the predicted image generation means 1010, and the prediction parameter calculation means 1015, respectively.
[0146]
FIG. 15 is a flowchart showing the operation of the selection unit 222 of FIG. 14, and corresponds to FIG. The value of the resolution level k in the current resolution state is k1, First, as shown in FIG.1Quantization error information E and threshold E of quantization error information Eth1(K1) (Step S3502), and E is Eth1(K1) If greater, the process proceeds to step S3505; otherwise, the process proceeds to step S3503. Note that the processing in step S3505 is the same as in FIG.
[0147]
In step S3503, the quantization error information E and the threshold Eth0(K1) And the number of moving images whose resolution is not changed, that is, the number of transitions to the original ellipse in FIG. 3 (Count) and a predetermined threshold cthCompare the size with. And E is Eth0(K1) Is smaller, and Count is cthIf it is larger, the process proceeds to step S3506, and if not, the process proceeds to step S3504. Note that the processing in step S3506 is the same as in FIG.
[0148]
In step S3504, 1 is added to Count. Thus, the process shown in FIG. As in the first embodiment, Count is used to control so as not to immediately return to the immediately preceding resolution after changing the resolution of the moving image, so that no flickering occurs between the resolutions.
[0149]
(Embodiment 7)
FIG. 16 is a block diagram showing the configuration of the moving picture encoding apparatus according to the seventh embodiment of the present invention. In FIG. 16, 250 generates resolution information used for converting the resolution of the moving image to be encoded next, based on the inverse quantization transform coefficient signal output from the inverse quantization unit 105 and the quantization error calculation unit 221. This is resolution information creation means.
[0150]
The resolution information creation unit 250 performs inverse processing for each frequency by performing statistical processing such as root mean square between the inverse quantization transform coefficient signals of the same frequency on the inverse quantization transform coefficient signal output from the inverse quantization unit 105. A prediction error distribution calculating unit 251 that calculates an average value of the quantized transform coefficient signal and outputs it as prediction error distribution information, and a prediction error distribution output from the prediction error distribution calculating unit 251 and a quantization error calculating unit 221 Selection means 252 for selecting which resolution in the horizontal direction or the vertical direction of the moving image is to be changed based on the quantization error information.
[0151]
The operation of the moving image encoding apparatus shown in FIG. 16 is the same as that of the moving image encoding apparatus according to the sixth embodiment. However, the resolution information creation unit 250 performs the inverse quantization transform output from the inverse quantization unit 105. The frequency distribution of the prediction error image signal is calculated using the coefficient signal, and the resolution information is sent to the resolution conversion means 102, resolution conversion means 107, variable length encoding means 112, prediction image generation means 1010 and prediction parameter calculation means 1015 as resolution information. I am trying to output.
[0152]
(Embodiment 8)
FIG. 17 is a block diagram showing the configuration of the moving picture encoding apparatus according to the eighth embodiment of the present invention. In FIG. 17, reference numeral 230 denotes a resolution of a moving image to be encoded next based on the low resolution prediction error image signal output from the resolution conversion unit 102 and the inverse quantization conversion coefficient signal output from the quantization error calculation unit 221. This is resolution information creating means for creating resolution information used for conversion.
[0153]
The resolution information creating unit 230 includes a direction-specific prediction error estimation unit 231 similar to the direction-specific prediction error estimation unit 131 described with reference to FIG. 10, and direction-specific prediction error estimation information output from the direction-specific prediction error estimation unit 231. Selection means 232 for selecting a resolution based on the quantization error information output from the quantization error calculation means 221. In FIG. 17, the same parts as those in FIG.
[0154]
The operation of the moving picture encoding apparatus shown in FIG. 17 is the same as that of the moving picture encoding apparatus of the sixth embodiment, but the selection means 232 selects the quantization error information output from the quantization error calculation means 221 and The resolution is selected using the direction-specific prediction error estimation information output from the direction-specific prediction error estimation unit 231. As resolution information, the resolution conversion unit 102, the resolution conversion unit 107, the variable length encoding unit 112, and the prediction image generation unit 1010 are selected. And the prediction parameter calculation means 1015.
[0155]
(Embodiment 9)
FIG. 18 is a block diagram showing the configuration of the moving picture encoding apparatus according to the ninth embodiment of the present invention. In FIG. 18, reference numeral 260 denotes a resolution of a moving image to be encoded next based on the low resolution prediction error image signal output from the resolution conversion unit 102 and the inverse quantization conversion coefficient signal output from the quantization error calculation unit 221. This is resolution information creating means for creating resolution information used for conversion.
[0156]
The resolution information creation unit 260 outputs the frequency conversion unit 163 and the prediction error distribution calculation unit 121 described in FIG. 11, the direction-specific prediction error estimation information output from the prediction error distribution calculation unit 121, and the quantization error calculation unit 221. Selecting means 262 for selecting a resolution based on the quantized error information.
[0157]
The operation of the moving picture encoding apparatus shown in FIG. 18 is the same as that of the moving picture encoding apparatus of the sixth embodiment, but the selection means 262 uses the quantization error information output from the quantization error calculation means 221 and The resolution is selected based on the prediction error distribution information output from the prediction error distribution calculation means 161, and resolution conversion means 102, resolution conversion means 107, variable length encoding means 112, prediction image generation means 1010 and Each is output to the prediction parameter calculation means 1015.
[0158]
(Embodiment 10)
FIG. 19 is a block diagram showing the configuration of the moving picture encoding apparatus according to the tenth embodiment of the present invention. In FIG. 19, reference numeral 270 denotes conversion of the resolution of a moving image to be encoded next on the basis of the prediction error image signal output from the subtraction unit 1001 and the inverse quantization transform coefficient signal output from the quantization error calculation unit 221. This is resolution information creating means for creating resolution information to be used.
[0159]
The resolution information creation unit 270 outputs the frequency conversion unit 163 and the prediction error distribution calculation unit 161 described in FIG. 12, the prediction error distribution information output from the prediction error distribution calculation unit 161, and the quantization error calculation unit 221. Selection means 272 for selecting a resolution based on the quantization error information.
[0160]
The operation of the moving picture coding apparatus shown in FIG. 19 is the same as that of the moving picture coding apparatus of the sixth embodiment, but the selection means 272 uses the quantization error information output from the quantization error calculation means 221 and The resolution is selected using the prediction error distribution information output from the prediction error distribution calculation means 161, and the resolution conversion means 102, the resolution conversion means 107, the variable length encoding means 112, the prediction image generation means as the resolution information. 1010 and the prediction parameter calculation means 1015, respectively.
[0161]
As mentioned above, the program which can implement | achieve the operation | movement of the moving image encoder demonstrated in each embodiment of this invention is memorize | stored in storage media, such as CD-ROM, a floppy disk, and a non-volatile memory card, and is memorize | stored in the storage medium. The program may be read and executed by a computer.
[0162]
【The invention's effect】
As described above, according to the present invention, since the resolution can be individually converted in the horizontal direction and the vertical direction of the moving image motion, the image quality of the moving image can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving picture encoding apparatus according to a first embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a moving picture decoding apparatus that decodes a moving picture encoded by the moving picture encoding apparatus illustrated in FIG. 1;
FIG. 3 is a transition diagram for explaining the operation of the selection means of FIG. 1;
4 is a flowchart showing the operation of the selection means of FIG.
FIG. 5 is a flowchart showing the procedure of step S3005 of FIG.
FIG. 6 is a flowchart showing the procedure of step S3006 of FIG.
[Fig. 7] QaveAnd threshold Qth0(K0) And the like.
FIG. 8 is a diagram illustrating a mathematical formula (5) on a logarithmic scale.
FIG. 9 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a second embodiment of the present invention.
FIG. 10 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a third embodiment of the present invention.
FIG. 11 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a fourth embodiment of the present invention.
FIG. 12 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a fifth embodiment of the present invention.
13 is a flowchart for explaining an operation for increasing the resolution in the video encoding apparatus shown in FIG.
FIG. 14 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a sixth embodiment of the present invention.
15 is a flowchart showing the operation of the selection unit in FIG. 14;
FIG. 16 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a seventh embodiment of the present invention.
FIG. 17 is a block diagram illustrating a configuration of a moving image encoding apparatus according to an eighth embodiment of the present invention.
FIG. 18 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a ninth embodiment of the present invention.
FIG. 19 is a block diagram illustrating a configuration of a moving image encoding apparatus according to a tenth embodiment of the present invention.
FIG. 20 is a block diagram illustrating a configuration of a moving image encoding apparatus that performs resolution conversion according to the related art.
FIG. 21 is a block diagram illustrating a configuration of a moving picture decoding apparatus that decodes a moving picture encoded by the moving picture encoding apparatus illustrated in FIG. 20;
[Explanation of symbols]
102, 107, 1002, 904, 2004 Resolution conversion means
103,163 Frequency conversion means
104,1004 Quantization means
105, 1005, 2002 Inverse quantization means
106 Inverse frequency conversion means
109 memory
111, 1011 control unit
112, 1012 Variable length encoding means
120, 130, 150, 160, 170, 220, 230, 250, 260, 270, 1014 Resolution information creating means
121, 131, 151, 161, 171, 221, 231, 251 Prediction error distribution calculating means
122,132,152,162,172,222,232,252,262,272 selection means
131,231 Direction-specific prediction error estimation means
221 Quantization error calculation means
901, 2001 Variable length decoding means
1001 Subtraction means
1003 DCT conversion means
1008, 2005 addition means
1010, 2006 Predictive image generation means
1013 buffer
1015 Prediction parameter calculation means
2003 Inverse DCT conversion means
2007 frame memory
Claims (14)
画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、
前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力する解像度情報作成手段を備え、
前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする動画像符号化装置。A moving picture coding apparatus that controls a resolution by selecting a combination of resolutions in a horizontal direction and a vertical direction of an encoding target picture of a moving picture,
The ratio of independently converting the resolution of the image into the horizontal direction and the vertical direction is set as the horizontal resolution and the vertical resolution, respectively, and according to a resolution combination in which the horizontal resolution and the vertical resolution are paired. A set of resolution combinations in which the number of pixels after resolution conversion is the same or close to the value is divided into resolution levels corresponding to the same resolution level as having the same resolution,
Using the quantization parameter, which is a parameter for determining the roughness of quantization, used for encoding the past image of the moving image or the quantization error generated by encoding the past image, the quantization parameter or the quantization When the error is larger than a preset threshold, the resolution level is determined so as to lower the resolution than the resolution level corresponding to the resolution combination used in the past image encoding, and the encoding target image power loss selects the resolution combinations from the set resolution combination corresponding to the resolution levels reduced the resolution so as to minimize, e Bei resolution information forming means for outputting the selected resolution combined as resolution information ,
A moving image encoding apparatus, wherein the encoding target image is encoded by performing resolution conversion in accordance with the resolution information .
前記解像度組み合わせが、前記過去画像の符号化で用いた解像度組み合わせから前記水平方向の解像度と前記垂直方向の解像度とのいずれか一方のみを変更するものである場合、前記水平方向の解像度と前記垂直方向の解像度とをそれぞれ解像度変換した場合の前記符号化対象画像の損失電力Ｐ ｈ 、Ｐ ｖ を算出し、その電力損失算出結果を出力する予測誤差推定手段と、
前記電力損失算出結果から前記電力損失の比Ｐ ｈ ／Ｐ ｖ を算出し、予め設定された電力損失の比の閾値よりも前記電力損失の比Ｐ ｈ ／Ｐ ｖ が小さい場合には、前記過去画像の符号化で用いた解像度組み合わせから前記水平方向の解像度を低下させ、前記電力損失の比の閾値よりも前記電力損失の比Ｐ ｈ ／Ｐ ｖ が大きい場合には、前記過去画像の符号化で用いた解像度組み合わせから前記垂直方向の解像度を低下させた解像度レベルを決定し、その解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択する選択手段と、
を備えることを特徴とする請求項１又は２に記載の動画像符号化装置。The resolution information creating means
When the resolution combination changes only one of the horizontal resolution and the vertical resolution from the resolution combination used in the past image encoding, the horizontal resolution and the vertical resolution Prediction error estimation means for calculating the power loss P h and P v of the encoding target image when the resolution of the direction is converted to the resolution, and outputting the power loss calculation result;
Wherein calculating the ratio P h / P v of power loss calculation the results power loss, if the ratio P h / P v of the power loss than the threshold value of the ratio of the set power loss advance is small, the past When the resolution in the horizontal direction is reduced from the resolution combination used in image encoding and the power loss ratio Ph / Pv is larger than the power loss ratio threshold , the past image encoding is performed. Selection means for determining a resolution level obtained by lowering the resolution in the vertical direction from the resolution combination used in the step, and selecting a resolution combination from a set of resolution combinations corresponding to the resolution level ;
The video coding device according to claim 1 or 2, characterized in that it comprises a.
前記第１解像度変換手段で求められた前記予測誤差画像信号を変換することによって第１変換係数信号を求める第１周波数変換手段と、
前記第１周波数変換手段で求められた第１変換係数信号を前記量子化パラメータによって量子化して量子化係数信号を求める量子化手段と、
前記量子化手段で求められた量子化係数信号を前記量子化パラメータも含めて符号化して符号列を作成する符号化手段と、
前記量子化手段によって求められた前記量子化係数信号を前記量子化パラメータに基づ いて逆量子化することによって逆量子化信号を求める逆量子化手段と、
前記符号化手段によって作成された符号列を蓄積し、そのバッファ占有量を算出するバッファと、
前記符号化手段で作成された符号列の符号化発生量と前記バッファ占有量より前記量子化パラメータを作成する制御手段と、
をさらに備えることを特徴とする請求項３記載の動画像符号化装置。At least one direction resolution of horizontal and vertical images, wherein a resolution information creating means for outputting by the resolution converting the prediction error image signal in accordance with the resolution information inputted by the previous image is input The resolution conversion of the past image according to the resolution information for the past image, outputting the prediction error image signal for the past image, and when the encoding target image is input, First resolution conversion means for converting the resolution of the encoding target image in accordance with resolution information and outputting the prediction error image signal for the encoding target image ;
First frequency conversion means for obtaining a first conversion coefficient signal by converting the prediction error image signal obtained by the first resolution conversion means;
Quantizing means for obtaining a quantized coefficient signal a first transform coefficient signal obtained by the first frequency converting means and quantized by the quantization parameter,
Encoding means for encoding a quantized coefficient signal obtained by the quantizing means including the quantization parameter to create a code string;
And inverse quantization means for obtaining the inverse quantized signal by performing inverse quantization have based the quantized coefficient signal obtained on the quantization parameter by said quantization means,
A buffer for accumulating the code string created by the encoding means and calculating its buffer occupancy ;
Control means for creating the quantization parameter from the amount of generated code of the code string created by the encoding means and the buffer occupation amount ;
The moving picture encoding apparatus according to claim 3 , further comprising:
前記予測誤差推定手段は、前記第２変換係数信号の電力分布から解像度変換によって損失する周波数帯の電力を求め、各電力損失を算出することを特徴とする請求項４記載の動画像符号化装置。Second frequency conversion means for obtaining a second conversion coefficient signal by converting the input or output signal of the first resolution conversion means by frequency conversion for the purpose of obtaining a power distribution on the frequency axis of the entire image; Prepared,
5. The moving picture coding apparatus according to claim 4 , wherein the prediction error estimation means calculates power in a frequency band lost by resolution conversion from the power distribution of the second transform coefficient signal, and calculates each power loss. .
前記逆周波数変換手段によって求められた第２予測誤差画像信号に係る動画像の解像度を前記第１解像度変換手段の変換結果に基づいて、もとの動画像の解像度に戻す解像度変換を行い復号予測誤差画像信号を出力する第２解像度変換手段と、
前記第２解像度変換手段で求めた前記予測誤差画像信号と復号予測誤差画像信号を加算して局所復号画像信号を生成する加算手段と、
前記加算手段で求めた前記局所復号画像信号を格納するメモリと、
前記メモリに格納されている前記局所復号動画像信号を動画像符号化装置本体に入力される動画像信号と比較して予測画像を生成する予測画像生成手段と、
前記動画像符号化装置本体に入力される動画像信号から前記予測画像を減算することによって予測誤差画像信号を生成する減算手段と、
をさらに備えることを特徴とする請求項４記載の動画像符号化装置。An inverse frequency transform means for obtaining a second prediction error image signal by performing an inverse transform on the transform performed by the first frequency transform means on the inverse quantized signal obtained by the inverse quantization means;
Based on the conversion result of the first resolution conversion means, the resolution conversion for returning the resolution of the moving picture related to the second prediction error image signal obtained by the inverse frequency conversion means to the original moving picture resolution is performed for decoding prediction. Second resolution conversion means for outputting an error image signal;
Adding means for adding the prediction error image signal obtained by the second resolution conversion means and the decoded prediction error image signal to generate a local decoded image signal;
A memory for storing the locally decoded image signal obtained by the adding means;
Prediction image generation means for generating a prediction image by comparing the locally decoded video signal stored in the memory with a video signal input to a video encoding device body;
Subtracting means for generating a prediction error image signal by subtracting the prediction image from a moving image signal input to the moving image encoding device main body;
The moving picture coding apparatus according to claim 4 , further comprising:
前記復号化手段によって復号化された量子化係数信号を前記符号列から得られる量子化パラメータに応じて逆量子化することによって変換係数信号を求める逆量子化手段と、
前記逆量子化手段によって求められた変換係数信号を逆周波数変換することによって予測誤差画像信号を求める逆周波数変換手段と、
前記逆周波数変換手段によって求められた予測誤差画像信号に係る動画像の解像度を変換する解像度変換手段と、
前記解像度変換手段によって変換された動画像に係る動画像信号を格納するメモリと、
前記メモリに記憶されていた過去の動画像信号と前記量子化パラメータと前記解像度変換手段の変換結果とに基づく予測画像信号を、前記解像度変換手段によって変換された解像度に係る動画像信号に加算する加算手段と、
を備えることを特徴とする動画像復号化装置。Decoding means for decoding a code string encoded in the video encoding device according to claim 9 ,
Dequantization means for obtaining a transform coefficient signal by dequantizing the quantized coefficient signal decoded by the decoding means according to a quantization parameter obtained from the code string;
Inverse frequency transform means for obtaining a prediction error image signal by inverse frequency transforming the transform coefficient signal obtained by the inverse quantization means;
Resolution conversion means for converting the resolution of the moving image related to the prediction error image signal obtained by the inverse frequency conversion means;
A memory for storing a moving image signal related to the moving image converted by the resolution conversion means;
The prediction image signal based on the past moving image signal stored in the memory, the quantization parameter, and the conversion result of the resolution conversion unit is added to the moving image signal related to the resolution converted by the resolution conversion unit. Adding means;
A moving picture decoding apparatus comprising:
画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、
前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力し、
前記解像度情報に従って前記符号化対象画像を解像度変換して符号化することを特徴とする動画像符号化方法。A moving image encoding method for controlling resolution by selecting a combination of resolutions in a horizontal direction and a vertical direction of an encoding target image of a moving image,
The ratio of independently converting the resolution of the image into the horizontal direction and the vertical direction is set as the horizontal resolution and the vertical resolution, respectively, and according to a resolution combination in which the horizontal resolution and the vertical resolution are paired. A set of resolution combinations in which the number of pixels after resolution conversion is the same or close to the value is divided into resolution levels corresponding to the same resolution level as having the same resolution,
Using the quantization parameter, which is a parameter for determining the roughness of quantization, used for encoding the past image of the moving image or the quantization error generated by encoding the past image, the quantization parameter or the quantization When the error is larger than a preset threshold, the resolution level is determined so as to lower the resolution than the resolution level corresponding to the resolution combination used in the past image encoding, and the encoding target image Selecting a resolution combination from a set of resolution combinations corresponding to the resolution level at which the resolution has been reduced so as to minimize power loss, and outputting the selected resolution combination as resolution information;
A moving image encoding method, wherein the encoding target image is encoded by performing resolution conversion according to the resolution information .
画像の解像度を水平方向と垂直方向とに独立して変換する割合を、それぞれ水平方向の解像度と垂直方向の解像度とし、前記水平方向の解像度と前記垂直方向の解像度とを対とする解像度組み合わせに従って解像度変換した後の画素数が同数又は近い値になる解像度組み合わせの集合を、同程度の解像度をもつものとして同一の解像度レベルに対応させて解像度レベル毎に区分し、
前記動画像の過去画像の符号化に用いた、量子化の粗さを定めるパラメータである量子化パラメータまたは前記過去画像の符号化で生じた量子化誤差を用い、前記量子化パラメータあるいは前記量子化誤差が予め設定された閾値よりも大きくなるときに、前記過去画像の符号化で用いた解像度組み合わせに対応する解像度レベルよりも解像度を低下させるように解像度レベルを決定し、前記符号化対象画像の損失電力が最小となるように前記解像度を低下させた解像度レベルに対応する解像度組み合わせの集合の中から解像度組み合わせを選択し、その選択した解像度組み合わせを解像度情報として出力する解像度情報作成手段と、
前記解像度情報に従って前記符号化対象画像を解像度変換して符号化する手段としてコンピュータを機能させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium on which a moving image encoding program for selecting a combination of resolutions in the horizontal direction and vertical direction of a moving image encoding target image and controlling the resolution is recorded,
The ratio of independently converting the resolution of the image into the horizontal direction and the vertical direction is set as the horizontal resolution and the vertical resolution, respectively, and according to a resolution combination in which the horizontal resolution and the vertical resolution are paired. A set of resolution combinations in which the number of pixels after resolution conversion is the same or close to the value is divided into resolution levels corresponding to the same resolution level as having the same resolution,
Using the quantization parameter, which is a parameter for determining the roughness of quantization, used for encoding the past image of the moving image or the quantization error generated by encoding the past image, the quantization parameter or the quantization When the error becomes larger than a preset threshold, the resolution level is determined so as to lower the resolution than the resolution level corresponding to the resolution combination used in the past image encoding, and the encoding target image Resolution information generating means for selecting a resolution combination from a set of resolution combinations corresponding to the resolution level at which the resolution is reduced so as to minimize power loss, and outputting the selected resolution combination as resolution information ;
A computer-readable recording medium on which a moving image encoding program for causing a computer to function as means for performing resolution conversion and encoding of the encoding target image according to the resolution information is recorded.
前記第１解像度変換手段で求められた前記予測誤差画像信号を変換することによって第１変換係数信号を求める第１周波数変換手段と、
前記第１周波数変換手段で求められた第１変換係数信号を前記量子化パラメータによって量子化して量子化係数信号を求める量子化手段と、
前記量子化手段で求められた量子化係数信号を前記量子化パラメータも含めて符号化して符号列を作成する符号化手段と、
前記量子化手段によって求められた量子化係数信号を前記量子化パラメータに基づいて逆量子化することによって逆量子化信号を求める逆量子化手段と、
前記符号化手段によって作成された符号列を蓄積し、そのバッファ占有量を算出するバッファと、
前記符号化手段で作成された符号列の符号化発生量と前記バッファ占有量より前記量子化パラメータを作成する制御手段と、
をさらに備えることを特徴とする請求項１又は２に記載の動画像符号化装置。At least one direction resolution of horizontal and vertical images, wherein a resolution information creating means for outputting by the resolution converting the prediction error image signal in accordance with the resolution information inputted by the previous image is input The past image is subjected to resolution conversion in accordance with the resolution information for the past image, the prediction error image signal for the past image is output, and when the encoding target image is input, First resolution conversion means for converting the resolution of the encoding target image in accordance with the resolution information and outputting the prediction error image signal for the encoding target image ;
First frequency conversion means for obtaining a first conversion coefficient signal by converting the prediction error image signal obtained by the first resolution conversion means;
Quantizing means for obtaining a quantized coefficient signal a first transform coefficient signal obtained by the first frequency converting means and quantized by the quantization parameter,
Encoding means for encoding a quantized coefficient signal obtained by the quantizing means including the quantization parameter to create a code string;
An inverse quantization means for obtaining an inversely quantized signal by inversely quantizing the quantized coefficient signal obtained by the quantizing means based on the quantization parameter;
A buffer for accumulating the code string created by the encoding means and calculating its buffer occupancy ;
Control means for creating the quantization parameter from the amount of generated code of the code string created by the encoding means and the buffer occupation amount ;
The video coding device according to claim 1 or 2, further comprising a.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000308127A JP4258694B2 (en) | 2000-10-06 | 2000-10-06 | Moving picture coding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture communication system including them |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000308127A JP4258694B2 (en) | 2000-10-06 | 2000-10-06 | Moving picture coding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture communication system including them |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002118849A JP2002118849A (en) | 2002-04-19 |
| JP4258694B2 true JP4258694B2 (en) | 2009-04-30 |
Family
ID=18788492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000308127A Expired - Fee Related JP4258694B2 (en) | 2000-10-06 | 2000-10-06 | Moving picture coding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture communication system including them |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4258694B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007043651A (en) * | 2005-07-05 | 2007-02-15 | Ntt Docomo Inc | Dynamic image encoding device, dynamic image encoding method, dynamic image encoding program, dynamic image decoding device, dynamic image decoding method, and dynamic image decoding program |
| BRPI1011333A2 (en) * | 2009-05-29 | 2016-03-08 | Mitsubishi Electric Corp | video encoding and decoding device, and video encoding and decoding methods |
| WO2013014884A1 (en) * | 2011-07-22 | 2013-01-31 | パナソニック株式会社 | Moving image encoding method, moving image encoding device, moving image decoding method, and moving image decoding device |
| US10356406B2 (en) * | 2016-01-19 | 2019-07-16 | Google Llc | Real-time video encoder rate control using dynamic resolution switching |
| AR118250A1 (en) | 2019-03-08 | 2021-09-22 | Jvckenwood Corp | MOTION PICTURE CODING AND DECODING DEVICES, METHODS AND PROGRAMS |
-
2000
- 2000-10-06 JP JP2000308127A patent/JP4258694B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002118849A (en) | 2002-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4901772B2 (en) | Moving picture coding method and moving picture coding apparatus | |
| KR0184905B1 (en) | Code amount control device and encoding apparatus using the same | |
| KR0165497B1 (en) | Post processing apparatus and method for removing blocking artifact | |
| US6658157B1 (en) | Method and apparatus for converting image information | |
| JP4111351B2 (en) | Apparatus and method for optimizing rate control in a coding system | |
| RU2527740C2 (en) | Video encoding control method, video encoding device and video encoding programme | |
| US20070140574A1 (en) | Decoding apparatus and decoding method | |
| CN102271257B (en) | Image processing device, method, and program | |
| EP2157799A1 (en) | Interpolation filter with local adaptation based on block edges in the reference frame | |
| US20110002395A1 (en) | Deblocking filtering processor and deblocking filtering method | |
| US10085030B2 (en) | Method and apparatus for SSIM-based bit allocation | |
| US20040234150A1 (en) | Quantization matrix adjusting method for avoiding underflow of data | |
| KR100677552B1 (en) | Method and Apparatus for loop filtering | |
| JP6892555B2 (en) | Image coding device, image decoding device, and program | |
| JP4258694B2 (en) | Moving picture coding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture communication system including them | |
| JPH10336654A (en) | Image encoder | |
| KR20040048289A (en) | Transcoding apparatus and method, target bit allocation, complexity prediction apparatus and method of picture therein | |
| JPH0970041A (en) | Variable bit rate coder | |
| JP6946979B2 (en) | Video coding device, video coding method, and video coding program | |
| JP4762486B2 (en) | Multi-resolution video encoding and decoding | |
| KR0157465B1 (en) | Quantization level decision method and device according to image characteristic | |
| JP2004248124A (en) | Hierarchical image encoder and hierarchical image decoder | |
| JP2614661B2 (en) | High efficiency image coding device | |
| JP3948025B2 (en) | Image code transcoder and image code transcoding method | |
| JP4007398B2 (en) | Quantization control apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040409 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061006 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090115 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20090115 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090128 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |