JP3859325B2

JP3859325B2 - 画像の反復変換復号化装置及び方法、並びに記録媒体

Info

Publication number: JP3859325B2
Application number: JP29003597A
Authority: JP
Inventors: 隆浩福原; 章男大場
Original assignee: Sony Corp; Sony Computer Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc; Sony Corp
Priority date: 1997-10-22
Filing date: 1997-10-22
Publication date: 2006-12-20
Anticipated expiration: 2017-10-22
Also published as: DE69828019T2; US6373989B1; JPH11127356A; DE69828019D1; KR19990037282A; EP0911760A3; EP0911760B1; EP0911760A2

Description

【０００１】
【発明の属する技術分野】
本発明は、画像の反復変換復号化装置及び方法、並びに記録媒体に関し、特に、画像の高能率符号化あるいは、画像の効率的伝送もしくは蓄積を行うシステムに供する画像の符号化器から出力された符号化ビットストリームを反復変換を利用して復号化する反復変換復号化装置及び方法、並びに記録媒体に関するものである。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式として、ＩＳＯによって標準化されたいわゆるＪＰＥＧ（Joint Photographic Coding Experts Group）方式が知られている。このＪＰＥＧ方式は、ＤＣＴ（離散コサイン変換：Discrete Cosine Transform）を用い、比較的高いビットが割り当てられる場合には、良好な符号化・復号化画像を供することが知られている。ところが、ある程度符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
これとは別に最近、反復変換方式（ＩＦＳ：Iterated Function Systems）を利用した画像圧縮方式が注目され始めている。この方式は、画像全体の中で、その画像の一部分を取り出した場合に、その取り出された画像と良く似た別の画像が、その画像の中に異なるサイズの形で存在するという前提で、画像の自己相似性を利用したものである。この反復変換方式は、上記ＪＰＥＧのようなブロック歪みが目立つことがなく、しかも画像内の異なるサイズのブロック間の自己相似性を利用していることから、復号化時には解像度に依存しないという利点がある。この反復変換符号化は、別名フラクタル符号化とも呼ばれており、様々な領域への応用が期待されている。
【０００４】
上記反復変換符号化の基本的な構成は、例えば、アーノード・イー・ジャッキン（Arnaud E. Jacquin）による論文「反復収縮画像変換のフラクタル理論に基づく画像符号化」（"Image coding based on a fractal theory of Iterated Contractive Image Transformations", IEEE Transactions on Image Processing, Vol.1, No.1, pp.18-30）に示されている。ここで示されている反復変換符号化装置を図９に、反復変換復号化装置を図１０に示す。
【０００５】
先ず、反復変換符号化装置について、図９を参照しながら説明する。
この図９の反復変換符号化装置に供給された原画像３００は、ブロック生成回路２００に入力されて複数個のブロック３０１に分割される。これらのブロックは互いに重なり合わないように設定されている。また原画像３００を縮小画像生成回路２０２にて縮小することにより得られた縮小画像３０７は、縮小画像記憶回路２０４において記憶される。上記分割されたブロック３０１は、近似領域検索回路２０１において、縮小画像記憶回路２０４の中から全探索で縮小画像を探索して、その中から最も良く似た縮小画像を検出する。ここで得られた、縮小画像中のどの部分を抜き出すかという近似ブロック位置情報３０６が、縮小画像記憶回路２０４に伝送され、指定領域の縮小画像３０５が取り出される。続いて、指定領域の縮小画像３０５は、変換パラメータ３０４に従って、回転・変転・レベル値変換回路２０３において、例えば回転・変転・レベル値変換を行い、変換後の縮小画像３０３が出力される。その結果、変換パラメータ３０４と近似ブロック位置情報３０６は、ＩＦＳ（反復関数方式：Iterated Function System）符号３０２として出力される。
【０００６】
次に、反復変換復号化装置について、図１０を参照しながら説明する。
上記図９の反復変換符号化装置から出力された上記ＩＦＳ符号３０２は、一度ＩＦＳ符号蓄積回路２０５に入力されて記憶され、ここから複数回に渡ってシーケンシャルにブロック単位で読み出される。ＩＦＳ符号読み出し回路２０６では、ブロック単位のＩＦＳ符号３０８を読み出して、前記近似ブロック位置情報３０６及び変換パラメータ３０４とに分ける。続いて、近似ブロック位置情報３０６は縮小画像記憶回路２１０に入力し、縮小画像中で前記位置情報３０６によって指定領域の縮小画像３０５が取り出される。この指定領域の縮小画像３０５は、回転/変転/レベル値変換回路２０３において、変換パラメータ３０４に基づいた変換処理が施され、復号画像記憶回路２０８中の復号画像に加算、複写処理されて記憶される。ＩＦＳ符号読み出し回路２０６は、全てのブロックのＩＦＳ符号３０８を読み出し終わると、読み出し終了通知信号３１０を複写制御回路２０７に送る。この複写制御回路２０７では、一連の上記複写処理を何回実行したかを計測していて、予め設定した値に達していない場合には、再読み出し指示信号３０９をＩＦＳ符号読み出し回路２０６に出力して、上記複写処理を再度、画像中の全てのブロックに対して行う。同時に、復号画像出力制御信号３１１で再処理指示情報を送り、スイッチ２０９により復号画像３１３を縮小画像生成回路２０２への入力３１４に接続する。縮小画像生成回路２０２は、符号化器側と全く同様にして縮小画像３１５を生成して、これにより縮小画像記憶回路２０４に記憶されている画像の内容を書き換える。一方、前記複写処理が一定の回数に達した時には、複写制御回路２０７は、復号画像出力制御信号３１１で終了の指示を出し、スイッチ２０９により復号画像３１３を最終出力画像３１６側に接続して、復号化器の出力を得る。
【０００７】
【発明が解決しようとする課題】
上述したような従来技術の例においては、自画面全体の任意の場所にあるブロックを縮小、及び変換処理して得られる画像と近似度を測定し、最も似通ったブロックの位置情報、並びにその時の変換パラメータを、考えうる全候補の中から選択する。その結果、符号化器では、符号化したブロックの順番にビットストリーム中に符号化コードが書き込まれる。
【０００８】
一方、復号化器では、符号化ビットストリームを解読して、符号化器側での入力画像と同じサイズまたは同じアスペクト比の復号化画像を出力する。ところが、最近ＣＧ（コンピュータグラフィックス）等で多用されている３次元形状へのテキスチャマッピング処理（テキスチャの貼り付け）では、３次元形状が様々な形態を取りうるために、その形状に合わせる必要がある。
【０００９】
このような場合、従来においては、一度復号化された画像を再度フィルタリング処理等を行って、アスペクト比を変えるのが普通であった。このアスペクト比変換が、復号化の際に同時に行えると、ＣＧでのテキスチャマッピング処理等が大幅に簡略化される。
【００１０】
本発明は、このような実状に鑑みてなされたものであり、復号化時に一切のフィルタリング処理等を用いず、復号化と同時にアスペクト比変換も行えるような反復変換復号化装置及び方法、並びに記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明は、上述した課題を解決するために、入力された符号化ビットストリームを解読し、原画サイズに対して水平方向にｈ倍、垂直方向にｖ倍の比で示されたアスペクト比情報に基づいて第１、第２の多角形画像を生成するための第１、第２の多角形情報を復元する第１、第２の多角形情報生成手段と、上記第１、第２の多角形情報に基づいて一方の多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成手段と、変換された多角形画像を変換された位置に記憶・保持する画像メモリ手段と、上記多角形の写像変換生成を反復処理して制御する制御手段とを有することを特徴としている。
【００１２】
このような構成において、第１の多角形情報生成手段は、アスペクト比情報を入力して写像変換先の多角形の位置情報を復元する。第２の多角形情報生成手段は、同じくアスペクト比情報を入力して写像変換元の多角形の位置情報を復元する。画像変換生成手段は、第２の多角形画像のすべての画素に所定の写像変換処理を施して、新たな多角形画像を生成する。画像メモリ手段は、変換された多角形画像を記憶・保持する。制御手段は、復号化ループの反復処理を制御して最終的な復号化画像を出力する。
【００１３】
また、本発明は、入力された符号化ビットストリームを解読して、第１、第２の多角形画像を生成するための第１、第２の多角形情報を復元する第１、第２の多角形情報生成手段と、上記第１、第２の多角形情報及び少なくとも原画の変形情報を含む多角形変形情報に基づいて上記第１、第２の多角形画像情報を変形・生成する第１、第２の多角形変形生成手段と、変形された上記第１、第２の多角形画像情報に基づいて一方の変形された多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成手段と、写像変換された多角形画像を変換された位置に記憶・保持する画像メモリ手段と、上記多角形の写像変換生成を反復処理して制御する制御手段とを有することを特徴としている。
【００１４】
このような構成において、第１の多角形情報生成手段は、符号化ビットストリームを解読して、写像変換先の多角形の位置情報を復元する。第２の多角形情報生成手段は、符号化ビットストリームを解読して、写像変換元の多角形の位置情報を復元する。第１の多角形変形生成手段は、多角形変形情報を入力して第１の多角形を変形して新たな多角形画像を生成する。第２の多角形変形生成手段は、多角形変形情報を入力して第２の多角形を変形して新たな多角形画像を生成する。
【００１５】
【発明の実施の形態】
以下、本発明に係る実施の形態について図面を参照しながら説明する。
図１は、本発明の第１の実施の形態となるアスペクト比可変型の画像の反復変換復号化装置の概略構成を示すブロック図である。
【００１６】
この図１に示す画像の反復変換復号化装置は、入力された符号化ビットストリーム１００を多重化分離し復号化する多重化分離・復号化部１と、分離された各符号化ビットストリームを解読し、アスペクト比情報を入力して、第１、第２の多角形画像を生成するための情報を復元する第１、第２の多角形情報生成部２、３と、第２の多角形情報生成部３からの多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成部４と、変換された多角形画像を変換された位置に記憶・保持する画像メモリ部５と、上記多角形の写像変換生成を反復処理して制御する制御部６とで構成されている。
【００１７】
次に動作について説明する。
図１において、反復変換符号化装置により反復変換されて得られた符号化ビットストリーム１００は、例えばディスク等の記録媒体２０を再生することで、あるいは伝送媒体を介して伝送されることにより入力される。この符号化ビットストリーム１００は、多重化分離・復号化部１で多重化分離され、分離された各符号化コードは必要に応じて復号化され、元の情報が復元される。なお、符号化ビットストリーム１００が多重化されていないデータであった場合には、多重化分離・復号化部１は省略できることは言うまでもない。しかし、データの伝送効率という点から考えると、多重化分離・復号化部１が使用されるケースは多い。
【００１８】
次に、多重化分離・復号化部１より出力された第１の多角形画像の番号またはアドレス１０１、第２の多角形画像の番号またはアドレス１０２は、それぞれ第１の多角形情報生成部２、第２の多角形情報生成部３に入力される。第１の多角形情報生成部２では、第１の多角形画像の番号またはアドレス１０１及びアスペクト比情報１１２を元にして、第１の多角形画像情報１０４を出力する。この場合の情報としては、多角形画像の位置座標が一般的である。次に、第２の多角形情報生成部３では、第２の多角形画像の番号またはアドレス１０２及びアスペクト比情報１１２を元にして、画像メモリ部５内の第２の多角形画像が存在する位置の画像情報を、第２の多角形画像１０９として入力し、第２の多角形画像情報１０５を出力する。このとき、第２の多角形画像情報１０５は、第２の多角形画像が存在する位置情報と画像内の画素値の両方を有することになる。
【００１９】
第２の多角形画像情報１０５を入力した画像変換生成部４では、多重化分離・復号化部１から入力した変換パラメータ１０３を元に、第２の多角形画像内の画素値に対して所定の写像変換を行い、変換された多角形画像１０６を出力する。続いて多角形画像１０６は、画像メモリ部５内の第１の多角形画像情報１０４で示された位置に書き込まれる。符号化ビットストリーム１００中の一部またはすべての多角形画像の復号化が終了した時点で、画像メモリ部５からは復号化済み画像１０７が制御部６に出力される。制御部６では、反復復号化ループの終端にあって、該復号化ループ制御を行う。従って、制御部６より再度復号化ループを行う時には、制御信号１１１を第２の多角形情報生成部３に出力して、復号化を継続する。なお、画像メモリ部５に記憶された画素値が復号化ループの度に、上書きされてゆく。従って、復号化ループの初期状態では、画像メモリ部５に記憶された画素値は任意で良い。一方、復号化ループを終了する際には、制御部６から最終的な復号化画像１１０が出力される。
【００２０】
次に、図２は、上記図１に示す第１の実施の形態の反復変換復号化装置に対応した反復変換符号化装置の構成例を示している。
【００２１】
この図２に示す画像の反復変換符号化装置は、画像メモリ部５、制御部７、第１の多角形画像生成部１０、第２の多角形画像生成部１１、画像変換生成部４、近似度計測・閾値処理部８、及び符号化・多重化部９により構成されている。
【００２２】
図２において、入力された原画像１０１は先ず画像メモリ部５に送られ、この画像メモリ部５から読み出された第１の画像１１３が第１の多角形画像生成部１０に、第２の画像１１４が第２の多角形画像生成部１１にそれぞれ送られる。各多角形画像生成部１０、１１では、それぞれ画面を構成する複数個の多角形画像に分割される。ここで、第２の多角形画像生成部１１は、第１の多角形画像生成部１０での多角形画像生成の動作が行われる以前に、画面全体をある特定のサイズの複数個の多角形画像に分割する。生成された第２の多角形画像情報（番号またはアドレス）１０２は、符号化・多重化部９に送られる。この一連の動作は１画面を構成する全多角形画像に対して続けられる。
【００２３】
上記動作が終了した後、第１の多角形画像生成部１０において、画像メモリ部５の画面から多角形画像を順番に読み出して（普通は画面左上から右下の方向）、読み出された第１の多角形画像を近似度計測・閾値処理部８に送る。画像メモリ部５から第２の多角形画像生成部１１を介して、例えば全探索で多角形画像１１８が読み出され、得られた多角形画像１１８に対して、画像変換・生成部４で所定の回転・並進・拡大・縮小等の変換処理が施され、変換後の多角形画像１１５が近似度計測・閾値処理部８に出力される。この時の変換処理の具体例については、後で詳述する。近似度計測・閾値処理部８では、第１の多角形画像１１６と前記変換後の多角形画像１１５との間でマッチングを取り、両者の誤差が最小となる多角形画像を探索し、選択する。この時に得られた多角形画像番号やアドレス等の多角形画像情報１０２や変換パラメータ１０３は、符号化・多重化部９において、各々符号化（例えばハフマン符号化）された後、得られた符号語を多重化して、符号化器の出力として送出する。この多重化された符号語は、通信回線等の伝送媒体を介して伝送されたり、光ディスクや磁気ディスク等の記録媒体２０に記録されて供給される。
【００２４】
ここで、本発明の実施の形態の基本技術の１つである反復変換符号化・復号化の基礎理論について、図３を参照しながら説明する。
反復変換符号化は、通常、ドメインブロックからレンジブロックへの縮小写像を、画面を構成するすべてのレンジブロックに対して、反復して行うことで、画像符号化を行う手法である。この時、各レンジブロックを最も近似するドメインブロックの位置情報、変換パラメータを符号化する。
【００２５】
図３において、レンジブロックＲ_kは、上記第１の多角形画像情報１０４（あるいは１０１）に相当し、一般的には多角形であるが、ここでは図示を簡略化するために矩形ブロックを例に挙げている。また同様にドメインブロックＤ_kは、上記第２の多角形画像情報１０５（あるいは１０２）に相当するが、これも矩形ブロックを例示している。ここでは、Ｒ_kのブロックサイズをｍ×ｎ、Ｄ_kのブロックサイズをＭ×Ｎとしている。図３では、レンジブロックがＬ×Ｌ個存在することを示している。このレンジブロックとドメインブロックのブロックサイズは、符号化効率に大きく影響する要素であり、このサイズ決定は重要である。
【００２６】
また、画像変換・生成部４でのブロック画像変換は、このＤ_k からＲ_k への変換であり、ブロックＲ_kへのマッピング関数をｗ_k、画面全体を写像変換するために要したドメインブロックのブロック数をＰとすると、画像ｆは画像全体のマッピング関数Ｗによって、
Ｗ(ｆ) ＝ｗ₁(ｆ) ∪ ｗ₂(ｆ) ∪ … ∪ ｗ_P(ｆ) …… （１）
に写像される。従って、Ｗは下式によって表される。
【００２７】
Ｗ＝ ∪^P _k=1ｗ_k …… （２）
ここで、上記マッピング関数ｗは、どのようなものを選択しても収束すれば良く、収束を確実にするために一般に縮小写像が用いられることが多い。さらに、処理の簡単化からアフィン変換がよく用いられる。アフィン変換によってＤ_k がＲ_k に写像されるケースを、実際の変換関数をｖ_iとして、数式化すると下記のようになる。
【００２８】
【数１】

【００２９】
この（３）式によって、２ブロック間の回転・並進・縮小・拡大等の変換がすべて表現できることになる。
【００３０】
なお、上記の例は、ブロックの空間座標についての変換を示しているが、画素値、例えば輝度、色差情報等の濃淡値、に関しても、同様にアフィン変換を用いて写像変換することができる。この場合、例えば簡単化のために、Ｄ_k内の画素値ｄ_iがＲ_kの画素値ｒ_iに写像される関係式を表すと、下式のようになる。
【００３１】
ｖ_i（ｄ_i）＝ｓ × ｄ_i ＋ｏ ……（４）
ここで、ｓをコントラスト、ｏをオフセット値と定義することができる。この場合、Ｒ_k 内の画素値ｒ_i との誤差の差分２乗和が最小になるようなパラメータｓ及びｏを算出すればよい。すなわち
Σ（ｓ×ｄ_i＋ｏ−ｒ_i）² → 最小値 ……（５）
となるように設定すればよい。
【００３２】
画像変換・生成部４では、例えば（３）式で示される回転・並進・縮小・拡大等の変換を行う回路を内蔵していて、画像メモリ部５から読み出された第２の多角形画像情報１０５に対して、画面内での位置変換を行う。図３では、画面右下にあったＤ_kが画面左上にあるＲ_kに、写像変換される様子を示している。
【００３３】
次にブロック内の画素の濃淡値の変換法としては、これも同様に、アフィン変換を用いることで実現できる。読み出された第２の多角形画像情報１０５に対して、上記（３）式の変換係数（a_i,b_i,c_i,d_i,e_i,f_i）を何通りか変えて、変換処理を施すことで変換後の多角形画像１０６を得ることができる。
【００３４】
上記図１の実施の形態で、第１の多角形情報生成部２、第２の多角形情報生成部３では、それぞれ第１の多角形画像の番号またはアドレス１０１及びアスペクト比情報１１２、第２の多角形画像の番号またはアドレス１０２及びアスペクト比情報１１２を元にして、第１の多角形画像情報１０４、及び第２の多角形画像情報１０５を出力している。図３及び図４は、上記動作を図示したものであり、上述したように、レンジブロックＲ_kは第１の多角形画像の一例を、ドメインブロックＤ_kは第２の多角形画像の一例をそれぞれ示し、通常の復号化では、Ｍ×ＮのサイズのＤ_kがｍ×ｎのサイズのＲ_kに写像変換される。一方、アスペクト比情報１１２に基づいた復号化を行う場合は、図４で示す様に、Ｒ_k、Ｄ_kが共に、水平方向にｈ倍、垂直方向にｖ倍されて復号化される。このときのアスペクト比情報１１２は、（ｈ、ｖ）になる。これによって、符号化器側で符号化した際の入力原画像のアスペクト比とは異なる任意のアスペクト比を持った復号化画像を得ることが可能になる。
【００３５】
ここで、図５は、実際の画像に上述したアスペクト比可変の復号化を行ったときの復元画像の具体例を示す図であり、（Ａ）が原画サイズ（ｈ＝１，ｖ＝１）の画像を、（Ｂ）がｈ＝２，ｖ＝０．５としたときの復号画像を、また（Ｃ）がｈ＝０．５，ｖ＝２としたときの復号画像をそれぞれ示している。
【００３６】
従って、ＣＧ（コンピュータグラフィックス）等で多用されている３次元形状へのテキスチャマッピング処理（テキスチャの貼り付け）を行う際に、３次元形状が様々な形態を取り得るためにその形状に合わせる必要があり、従来においては前述したように、一度復号化された画像を再度フィルタリング処理等を行って、アスペクト比を変えるのが普通であったのに対して、本発明の実施の形態によれば、復号化の際にアスペクト比変換が行え、簡単にアスペクト比を可変にした復号化画像を出力してテキスチャマッピングを行うことが実現できる。すなわち、テキスチャマッピング処理のための計算を簡略化することができる。
【００３７】
次に、本発明の第２の実施の形態となる画像の反復変換復号化装置について、図６を参照しながら説明する。
【００３８】
図６は、第２の実施の形態となる反復変換復号化装置の概略構成を示すブロック図であり、この図６に示す反復変換復号化装置は、多重化分離・復号化部１、第１の多角形情報生成部２、第２の多角形情報生成部３、第１の多角形変形生成部１４、第２の多角形変形生成部１５、画像変換生成部４、画像メモリ部５、制御部６、で構成される。
【００３９】
次に動作について説明する。
図６の符号化ビットストリーム１００は、多重化分離・復号化部１で多重化分離され、分離された各符号化コードは必要に応じて復号化され、元の情報が復元される。同部１より出力された第１の多角形画像の番号またはアドレス１０１、第２の多角形画像の番号またはアドレス１０２は、それぞれ第１の多角形情報生成部２、第２の多角形情報生成部３に入力する。第１の多角形情報生成部２では、第１の多角形画像の番号またはアドレス１０１を元にして、第１の多角形画像情報１０４を出力する。同様に、第２の多角形情報生成部３では、第２の多角形画像の番号またはアドレス１０２を元にして、第２の多角形画像情報１０５を出力する。
【００４０】
第１の多角形変形生成部１４では、前記第１の多角形画像情報１０４及び多角形画像変形情報１２７を入力して、変形された第１の多角形情報１２８を出力する。同様にして、第２の多角形変形生成部１５では、前記第２の多角形画像情報１０５及び多角形画像変形情報１２７を入力して、変形された第２の多角形情報１２９を出力する。これより後の復号化プロセスは、上述した第１の実施の形態で述べたものと同様であるため説明を省略する。
【００４１】
ここで、図７、図８は、上記第１の多角形変形生成部１４及び第２の多角形変形生成部１５での多角形画像変形処理の例を示した図であり、図７は円形への変形・復号化、図８は平行四辺形への変形・復号化を表している。上記第１の実施の形態でも説明した通り、Ｒｋは第１の多角形画像、Ｄｋは第２の多角形画像を意味する。また、通常の復号化では、Ｍ×ＮのサイズのＤｋがｍ×ｎのサイズのＲｋに写像変換されるが、図７の円形への変形・復号化の場合には、水平方向にｈ倍、垂直方向にｖ倍され、２つの径が（ｎ・ｖ、ｍ・ｈ）である楕円形（円を含む）の第１の多角形画像と、２つの径が（Ｎ・ｖ、Ｍ・ｈ）である楕円形（円を含む）の第２の多角形画像が生成される。なお、画像変換生成部４での変形された第２の多角形画像１２９の各画素値は、通常のブロック画像の時と同様の手法で写像変換されることは言うまでもない。またこの時の多角形画像変形情報１２７は、（楕円形、ｈ、ｖ）となる。
【００４２】
図８は、平行四辺形への変形・復号化を表していて、横辺Ｍ・ｈ、高さＮ・ｖの平行四辺形Ｄｋが、横辺ｍ・ｈ、高さｎ・ｖの平行四辺形Ｒｋに写像変換されることを示している。この時の多角形画像変形情報１２７は、（平行四辺形、ｈ、ｖ）となる。なお、上記実施の形態では、変形・復号化される図形が、楕円形、平行四辺形としていたが、他の図形であっても良いことは言うまでもない。
【００４３】
また、上述した画像の反復変換復号化装置や方法は、ソフトウェア的に実現することができ、これらを実現するためのプログラムが記録された記録媒体を提供することができる。
【００４４】
すなわち、入力された符号化ビットストリームを解読し、アスペクト比情報を入力して、第１、第２の多角形画像を生成するための情報を復元する第１、第２の多角形情報生成工程と、一方の多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成工程と、変換された多角形画像を画像メモリ手段の変換された位置に記憶・保持する工程と、上記多角形の写像変換生成を反復処理して制御する工程とを実行させるためのプログラムを記録した記録媒体を提供することができる。
【００４５】
また、入力された符号化ビットストリームを解読して、第１、第２の多角形画像を生成するための情報を復元する第１、第２の多角形情報生成工程と、多角形変形情報を入力して上記第１、第２の多角形画像情報を変形・生成する第１、第２の多角形変形生成工程と、一方の変形された多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成工程と、写像変換された多角形画像を画像メモリ手段の変換された位置に記憶・保持する工程と、上記多角形の写像変換生成を反復処理して制御する工程とを実行させるためのプログラムを記録した記録媒体を提供することができる。
【００４６】
なお、これらのプログラムは、記録媒体に記録して提供する以外に、電話回線や通信回線等を介して供給することもできることは勿論である。
【００４７】
以上説明したような画像の反復変換符号化装置や復号化装置の具体的な応用例としては、ディジタルビデオディスク、画像のデータベース、インターネット上での画像のダウンロードを目的とした画像圧縮・伸張器、または同方式を実現したソフトウェアモジュールなどが挙げられる。
【００４８】
【発明の効果】
本発明によれば、入力された符号化ビットストリームを解読し、アスペクト比情報を入力して、第１、第２の多角形画像を生成するための情報を復元する第１、第２の多角形情報生成手段を有することにより、アスペクト比に応じた画像の変形・復号化を行い、従来で必要とされていたフィルタリング処理等を介せず、所定のアスペクト比を持った復元画像を供することができ、処理が簡略化され、従って高速化が実現できる。また、フィルタリング処理の際に生じるリンギングシャープネスの欠如といった問題も解決される。さらに、画像を復元した後、３次元形状へのテキスチャマッピングを行う際に３次元形状のアスペクト比に応じた形状に、復号化を行いながら変形することが可能になる。
【００４９】
また、本発明によれば、第１、第２の多角形変形生成手段により、多角形変形情報を入力して第１、第２の多角形をそれぞれ変形して新たな多角形画像を生成することにより、上記のようなアスペクト比変換では対応できないような、画像の形の変形を伴う復号化を行える効果がある。従って、この場合も同様に、平行四辺形や楕円形等の様な、正方形から大きく形状が異なる形状に、一切のフィルタリング処理無しに復号化画像が生成できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態となる画像のアスペクト比可変型の反復変換復号化装置の概略構成を示すブロック図である。
【図２】図１の反復変換復号化装置に対応した反復変換符号化装置の概略構成を示すブロック図である。
【図３】ドメインブロックとレンジブロックとの間の写像変換を示す図である。
【図４】アスペクト比を可変にした時の復号化処理を示す図である。
【図５】実際の画像にアスペクト比可変の復号化を行った際の復元画像の具体例を示す図である。
【図６】本発明の第２の実施の形態となる復元画像変形型の反復変換復号化装置の概略構成を示すブロック図である。
【図７】正方形から楕円形への変形を伴う復号化を行う場合の例を示す図である。
【図８】正方形から平行四辺形への変形を伴う復号化を行う場合の例を示す図である。
【図９】従来の画像の反復変換符号化装置の構成の一例を示すブロック図である。
【図１０】従来の画像の反復変換復号化装置の構成の一例を示すブロック図である。
【符号の説明】
１多重化分離・復号化部、２第１の多角形情報生成部、３第２の多角形情報生成部、４画像変換生成部、５画像メモリ部、６制御部、７制御部、８近似度計測・閾値値処理部、９符号化・多重化部、１０第１の多角形画像生成部、１１第２の多角形画像生成部、１２変換写像分析・抽出部、１３多角形情報生成部、１４第１の多角形変形生成部、１５第２の多角形変形生成部、１００符号化ビットストリーム、１０１第１の多角形画像の番号またはアドレス、１０２第２の多角形画像の番号またはアドレス、１０３変換パラメータ、１０４生成された第１の多角形画像情報、１０５第２の多角形画像情報、１０６変換された多角形画像、１０７画像メモリより出力された復号化済み画像、１０８画像変換の制御信号、１０９画像メモリ部より読み出された第２の多角形画像、１１０最終的な復号化画像、１１１制御信号、１１２アスペクト比情報、１１３読み出された第１の画像、１１４読み出された第２の画像、１１５読み出し制御信号、１１６第１の多角形画像、１１７制御信号、１１８第２の多角形画像

Claims

入力された符号化ビットストリームを解読し、原画サイズに対して水平方向にｈ倍、垂直方向にｖ倍の比で示されたアスペクト比情報に基づいて第１、第２の多角形画像を生成するための第１、第２の多角形情報を復元する第１、第２の多角形情報生成手段と、
上記第１、第２の多角形情報に基づいて一方の多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成手段と、
変換された多角形画像を変換された位置に記憶・保持する画像メモリ手段と、
上記多角形の写像変換生成を反復処理して制御する制御手段と
を有することを特徴とする画像の反復変換復号化装置。
上記第１の多角形情報生成手段は、上記アスペクト比情報を入力して写像変換先の多角形の位置情報を復元し、上記第２の多角形情報生成手段は、上記アスペクト比情報を入力して写像変換元の多角形の位置情報を復元することを特徴とする請求項１記載の画像の反復変換復号化装置。
入力された符号化ビットストリームを解読して、第１、第２の多角形画像を生成するための第１、第２の多角形情報を復元する第１、第２の多角形情報生成手段と、
上記第１、第２の多角形情報及び少なくとも原画の変形情報を含む多角形変形情報に基づいて上記第１、第２の多角形画像情報を変形・生成する第１、第２の多角形変形生成手段と、
変形された上記第１、第２の多角形画像情報に基づいて一方の変形された多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成手段と、
写像変換された多角形画像を変換された位置に記憶・保持する画像メモリ手段と、
上記多角形の写像変換生成を反復処理して制御する制御手段と
を有することを特徴とする画像の反復変換復号化装置。
入力された符号化ビットストリームを解読し、原画サイズに対して水平方向にｈ倍、垂直方向にｖ倍の比で示されたアスペクト比情報に基づいて第１、第２の多角形画像を生成するための第１、第２の多角形情報を復元する第１、第２の多角形情報生成工程と、
上記第１、第２の多角形情報に基づいて一方の多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成工程と、
変換された多角形画像を画像メモリ手段の変換された位置に記憶・保持する工程と、
上記多角形の写像変換生成を反復処理して制御する工程と
を有することを特徴とする画像の反復変換復号化方法。
入力された符号化ビットストリームを解読して、第１、第２の多角形画像を生成するための第１、第２の多角形情報を復元する第１、第２の多角形情報生成工程と、
上記第１、第２の多角形情報及び少なくとも原画の変形情報を含む多角形変形情報に基づいて上記第１、第２の多角形画像情報を変形・生成する第１、第２の多角形変形生成工程と、
変形された上記第１、第２の多角形画像情報に基づいて一方の変形された多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成工程と、
写像変換された多角形画像を画像メモリ手段の変換された位置に記憶・保持する工程と、
上記多角形の写像変換生成を反復処理して制御する工程と
を有することを特徴とする画像の反復変換復号化方法。
コンピュータに、
入力された符号化ビットストリームを解読し、原画サイズに対して水平方向にｈ倍、垂直方向にｖ倍の比で示されたアスペクト比情報に基づいて第１、第２の多角形画像を生成するための第１、第２の多角形情報を復元する第１、第２の多角形情報生成工程と、
上記第１、第２の多角形情報に基づいて一方の多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成工程と、
変換された多角形画像を画像メモリ手段の変換された位置に記憶・保持する工程と、
上記多角形の写像変換生成を反復処理して制御する工程と
を実行させるためのプログラムを記録した記録媒体。
コンピュータに、
入力された符号化ビットストリームを解読して、第１、第２の多角形画像を生成するための情報を復元する第１、第２の多角形情報生成工程と、
多角形変形情報を入力して上記第１、第２の多角形画像情報を変形・生成する第１、第２の多角形変形生成工程と、
一方の変形された多角形内の画像の画素値及び多角形の位置を写像変換する画像変換生成工程と、
写像変換された多角形画像を画像メモリ手段の変換された位置に記憶・保持する工程と、
上記多角形の写像変換生成を反復処理して制御する工程と
を実行させるためのプログラムを記録した記録媒体。