JP3495040B1 - デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置 - Google Patents
デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置Info
- Publication number
- JP3495040B1 JP3495040B1 JP2003280972A JP2003280972A JP3495040B1 JP 3495040 B1 JP3495040 B1 JP 3495040B1 JP 2003280972 A JP2003280972 A JP 2003280972A JP 2003280972 A JP2003280972 A JP 2003280972A JP 3495040 B1 JP3495040 B1 JP 3495040B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate
- conversion
- data
- conversion parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
でない多くの桁数を有する場合に、正確な変換をより少
ないデータ伝送量で実現できるデジタル画像データ符号
化装置を提供する。 【解決手段】 画像予測符号化装置において、入力画像
を符号化してデータ圧縮する画像圧縮手段と、その画像
圧縮手段により圧縮した画像を復号して得た画像を座標
変換して、座標変換することにより発生する座標データ
を出力する座標変換手段と、この座標変換手段の座標デ
ータから変換パラメータを生成する変換パラメータ生成
手段と、この変換パラメータ生成手段によって生成され
た変換パラメータを用いて、入力画像から予測画像を生
成する予測画像生成手段と、圧縮画像と座標データを伝
送する伝送手段とを備えた。
Description
しくは伝送するための符号化・復号化方法および装置に
関するもので、特に画像予測における動き情報を符号化
・復号化し、予測画像を高精度に生成する方法および装
置に関するものである。
送するには、圧縮符号化する必要がある。デジタル画像
を圧縮符号化するための方法として、従来JPEGやM
PEGに代表される離散コサイン変換(DCT)のほか
に、サブバンドやウェアブレット、フラクタルなどの波
形符号化方法がある。
は動き補償を用いた画像間予測を行い、差分信号を波形
符号化する。
EG方式について説明する。入力画像を複数の16x1
6のマクロブロックに分割して処理する。一つのマクロ
ブロックをさらに8x8のブロックに分割し、8x8の
DCTを施してから量子化する。これはフレーム内符号
化と呼ばれる。
る動き検出方法で、時間に隣接する別のフレームの中か
ら対象マクロブロックに誤差の最も小さい予測マクロブ
ロックを検出し、検出された動きに基づいて、過去の画
像から動き補償をし、最適な予測ブロックを取得する。
誤差の最も小さい予測マクロブロックを示す信号が動き
ベクトルである。
ブロックの差分を求め、DCTを施し、変換係数を量子
化し、動き情報と共に伝送もしくは蓄積する。これをフ
レーム間符号化と呼ぶ。
との差分信号に復元した後に、動きベクトルに基づいて
予測ブロックを取得し、差分信号と加算し、画像を再生
する。
ているが、パンやズームのように画像全体が動く場合が
あり、この場合画像全体を動き補償する。動き補償、も
しくは予測画像の生成は単純な平行移動から拡大・縮小
・回転などの変形に伴うものがある。
らわす式を示す。(x,y)は画素の座標で、(u,v)
は変換された座標であり、(x,y)における動きベク
トルである。そのほかの変数は移動や変形を示す変換パ
ラメータである。
e,hx2+qxy+sy2cx+dy+f)
るもので、以降これを例として説明する。アフィン変換
のパラメータ(a,b,c,d,e,f)は以下のよう
に求めることができる。
4x4、8x8など)に分割して、ブロックマッチング
の方法で各ブロックの動きベクトルを求める。求められ
た動きベクトルの中から信頼性の高いものを少なくとも
3個を選び、数3の連立方程式6つを解くことによりア
フィンパラメータを得る。一般的には誤差を少なくする
ためには、より多くの点を選び、最小二乗法でアフィン
パラメータを求める。
メータを予測画像生成に用いられる。受信側にも同じ予
測画像生成ができるようにアフィンパラメータを伝送す
る必要がある。
画像と参照画像とが同じ大きさを有することを前提とし
ており、異なる大きさの画像について十分に対応されて
いない。隣接する二つの画像の大きさの変化は、その画
像の中にある物体の動きによるものが多い。
物(図7(A))が両手を挙げることにより人物を囲む長
方形の大きさが変化する(図7(B))。符号化効率を
考えるとき、動きベクトルの符号量が少なくなるよう
に、対象画像と参照画像とを同じ座標空間に変換する必
要がある。
れる画像のマクロブロックの配置が変化する。たとえば
図7(A)から図7(B)に変化するときに、マクロブ
ロック701はマクロブロック703と704の二つに
分けられ圧縮符号化されるために、図7(B)の再生画
像において、人物の顔に量子化による垂直のひずみが出
現し、視覚上の画質が低下する。
とが必要であるために、アフィンパラメータ(a,b,
c,d,e,f等)は一般に小数点以下の実数であるた
め、高精度に伝送しようとすると、長いビット数で伝送
する必要がある。
子化して固定長もしくは可変長符号で伝送するため、ア
フィンパラメータの精度を低下させ、高い精度のアフィ
ン変換が得られず、所望の予測画像生成ができない。
に、変換パラメータの個数は2個から10個、またはそ
れ以上のものがある。変換パラメータを伝送するには、
その最大の個数にあわせて符号化すると少ないパラメー
タを伝送するときに冗長な符号を送ることになるという
問題がある。
ようにそのパラメータが整数でない多くの桁数を有する
場合に、正確な変換をより少ないデータ伝送量で実現で
きるデジタル画像データ符号化、復号化装置を提供する
ことである。
符号化してデータ圧縮する画像圧縮手段と、その画像圧
縮手段により圧縮した画像を復号して得た画像を座標変
換して、座標変換することにより発生する座標データを
出力する座標変換手段と、この座標変換手段の座標デー
タから変換パラメータを生成する変換パラメータ生成手
段と、この変換パラメータ生成手段によって生成された
変換パラメータを用いて、入力画像から予測画像を生成
する予測画像生成手段と、前記圧縮画像と座標データを
伝送する伝送手段と、を備え、画像予測符号化装置を構
成したものである。
し、可変長復号する可変長復号手段と、前記可変長復号
手段により復号された座標データから、変換パラメータ
を生成する変換パラメータ生成手段と、前記変換パラメ
ータ生成手段により生成された変換パラメータを用いて
予測画像データを生成する予測画像生成手段と、前記予
測画像生成手段からの予測画像と前記可変長復号された
圧縮画像データを加算することにより復号画像を生成す
る加算手段とを有するデジタル画像復号化装置である。
(Nは自然数)の画素の座標点と、前記N個の座標点を
所定の線形多項式によって変換されたN個の変換済み座
標点とから変換パラメータを生成するデジタル符号化、
復号化装置である。更に、変換パラメータ生成手段が、
大きさの異なる第1から第Nの対象画像を入力し、前記
第1から第Nの対象画像に対し、共通空間座標を設定
し、前記第1から第Nの対象画像について、所定の方法
で圧縮符号化し第1から第Nの圧縮画像を生成し、前記
第1から第Nの圧縮画像を復号化し、前記共通空間座標
に変換し、第1から第Nの伸張画像を生成して格納する
と同時に、前記第1から第Nの伸張画像を前記共通空間
座標に変換することによって生成される変換パラメータ
を出力するデジタル画像符号化、符号化装置である。
として異なる大きさの画像を予測符号化するときに、対
象画像と参照画像とを同じ座標空間に変換した座標デー
タを伝送することにより動き検出の精度を向上させると
同時に動きベクトルの符号量を少なくし画質の向上を図
ったデジタル画像符号化、復号化装置である。
像予測符号化装置は、大きさの異なる第一から第Nの対
象画像を入力し、第一から第Nの対象画像に対し、共通
空間座標を設定し、第一の対象画像について、所定の方
法で圧縮符号化し第一の圧縮画像を生成した後、第一の
圧縮画像を復号化し、共通空間座標に変換し、第一の伸
長画像を生成して格納すると同時に、第一の対象画像を
共通空間座標に変換することによって生成される第一オ
フセット信号(座標データ)を符号化し、第一の圧縮画像
と共に伝送し、 第n(n=2,3,...N)の対象
画像について、共通空間座標に変換し、第(n−1)の
伸長画像を参照して予測画像を生成し、第nの対象画像
と予測画像とから差分画像を生成して圧縮符号化し、第
nの圧縮画像を生成した後、第nの圧縮画像を復号化
し、共通空間座標に変換し、第nの伸長画像を生成して
格納すると同時に、第nの対象画像を共通空間座標に変
換することによって生成される第nのオフセット信号
(座標データ)を符号化し、第nの圧縮画像と共に伝送す
るとしたものである。
入力端子と、データ解析器と、復号化器と、加算器と、
座標変換器と、動き補償器と、フレームメモリとを具備
し、入力端子に、大きさの異なる第一から第Nの対象画
像を符号化し、第n(n=1,2,3,...,N)の対
象画像を共通空間座標に変換することによって生成され
る第nのオフセット信号を含めた第一から第Nの圧縮画
像データを入力し、データ解析器にて、第一の圧縮画像
データを分析し、第一の圧縮画像信号と第一のオフセッ
ト信号とを出力し、復号化器に第一の圧縮画像信号を入
力し、第一の再生画像に復元した後に、座標変換器に
て、第一のオフセット信号をもとに、第一の再生画像を
座標変換し、フレームメモリに格納し、第n(n=2,
3,...,N)の圧縮画像データについて、データ解
析器にて、第nの圧縮画像データを分析し、第nの圧縮
画像信号と第nのオフセット信号と第nの動き信号とを
出力し、復号化器に第nの圧縮画像信号を入力し、第n
の伸長差分画像に復元し、動き補償器に第nのオフセッ
ト信号と第nの動き信号とを入力し、第nのオフセット
信号と第nの動き信号をもとに、フレームメモリに格納
された第(n−1)の再生画像から第nの予測画像を取
得し、加算器にて第nの伸長差分画像と第nの予測画像
とを加算して第nの再生画像に復元し出力すると同時
に、座標変換器にて、第nのオフセット信号をもとに、
第nの再生画像を座標変換しフレームメモリに格納する
としたものである。
て伝送するデータにアフィン変換を行う場合のアフィン
パラメータを含む変換パラメータを高精度に伝送し、高
精度な予測画像生成を可能にするデジタル画像符号化、
復号化装置を提供することである。
差分画像伸長部と、加算部と、変換パラメータ生成部
と、予測画像生成部とフレームメモリとから構成するデ
ジタル画像復号化装置で、可変長復号化部にデータを入
力し、データから、差分画像データを分離し差分画像伸
長部に伝送すると同時に、座標データを分離し変換パラ
メータ生成部に入力し、差分画像伸長部にて、差分画像
データを伸長し、加算部に伝送し、変換パラメータ生成
部にて、座標データから変換パラメータを生成し、予測
画像生成部に伝送し、予測画像生成部にて、変換パラメ
ータとフレームメモリから入力される画像とから予測画
像生成し、加算部に伝送し、加算部にて、伸長された差
分画像に予測画像を加算し、画像を生成し出力すると同
時にフレームメモリに格納する。
点と、N個の座標点を所定の線形多項式によって変換さ
れたN個の変換済み座標点であり、または、N個の画素
の座標点と、N個の座標点を所定の線形多項式によって
変換されたN個の変換済み座標点の差分値であり、また
は、所定のN個の座標点を所定の線形多項式によって変
換されたN個の変換済み座標点であり、または、所定の
N個の座標点を所定の線形多項式によって変換されたN
個の変換済み座標点と予測値との差分値である。この予
測値は、所定のN個の座標点であり、または前フレーム
のN個の変換済み座標点である。
推定部と、予測画像生成部と、第一加算部と、差分画像
圧縮部と、差分画像伸長部と、第二加算部と、フレーム
メモリと、伝送部とから構成するデジタル画像符号化装
置で、 デジタル画像を入力し、変換パラメータ推定部
にて、フレームメモリに格納されている画像とデジタル
画像とから変換パラメータを推定し、予測画像生成部
に、推定された変換パラメータとフレームメモリに格納
された画像とを入力し、推定された変換パラメータに基
づいて予測画像を生成し、第一加算部にて、デジタル画
像と予測画像との差分を求め、差分画像圧縮部にて圧縮
差分データに圧縮し、伝送部に送ると同時に、差分画像
伸長部にて、圧縮差分データを伸長差分データに伸長
し、第二加算部にて、予測画像と加算し、フレームメモ
リに格納するデジタル画像符号化装置において、変換パ
ラメータ推定部から、座標データを伝送部に送り、圧縮
差分データと共に伝送する。
点と、N個の座標点を変換パラメータによって変換され
たN個の変換済み座標点であり、または、N個の画素の
座標点と、N個の変換済み座標点とN個の画素の座標点
との差分であり、または、所定のN個の画素の座標点を
変換パラメータによって変換されたN個の変換済み座標
点であり、N個の変換済み座標点と所定のN個の画素の
座標点との差分であり、または、N個の変換済み座標点
と過去のフレームのN個の変換済み座標点との差分であ
る。
と、差分画像伸長部と、加算部と、変換パラメータ生成
部と、予測画像生成部とフレームメモリとから構成する
デジタル画像復号化装置で、可変長復号化部にデータを
入力し、データから、差分画像データを分離し差分画像
伸長部に伝送すると同時に、座標データの個数の個数と
座標データとを変換パラメータ生成部に入力し、差分画
像伸長部にて、差分画像データを伸長し、加算部に伝送
し、変換パラメータ生成部にて、変換パラメータの個数
に基づいて変換パラメータ生成方法を切り替え、座標デ
ータから変換パラメータを生成し、予測画像生成部に伝
送し、予測画像生成部にて、変換パラメータとフレーム
メモリから入力される画像とから予測画像生成し、加算
部に伝送し、加算部にて、伸長された差分画像に前記予
測画像を加算し、画像を生成し、出力すると同時にフレ
ームメモリに格納する。
と、N個の座標点を所定の線形多項式によって変換され
たN個の変換済み座標点であり、または、座標データが
N個の画素の座標点と、N個の座標点を所定の線形多項
式によって変換されたN個の変換済み座標点とN個の画
素の座標点との差分であり、または、座標データがN個
の画素の座標点と過去のフレームのN個の画像の座標点
との差分と、N個の座標点を所定の線形多項式によって
変換されたN個の変換済み座標点と過去のフレームのN
個の変換済み座標点との差分であり、または、所定のN
個の座標点を所定の線形多項式によって変換されたN個
の変換済み座標点であり、または、所定のN個の座標点
を所定の線形多項式によって変換されたN個の変換済み
座標点と所定のN個の座標点との差分であり、または、
所定のN個の座標点を所定の線形多項式によって変換さ
れたN個の変換済み座標点と過去のフレームのN個の変
換済み座標点との差分である。
る際に、変換パラメータを画像サイズで定倍してから量
子化し符号化し、または変換パラメータの最大値の指数
部を求め、指数部で変換パラメータを正規化し、指数部
と正規化された変換パラメータを伝送する。
異なる画像を同じ座標系に変換してから動き検出し予測
画像を生成することにより動き検出の精度を向上すると
同時に動きベクトルの符号量を削減する効果が得られ
る。
ラメータを求めることにより、精度の高い変換パラメー
タが得られ、高精度な予測画像生成が可能になる。ま
た、変換パラメータを正規化したり、画像サイズで定倍
することにより、画像に応じた精度でパラメータを伝送
することができる。
パラメータの生成を切り替えることにより、変換パラメ
ータの生成が最適な処理が可能になると同時に、座標デ
ータを効率よく伝送できる。
ら図12を用いて説明する。 (実施例1) 図1は本発明の実施例1による画像予測符号化装置のブ
ロック図を示し、図1において101は入力端子、10
2は第一加算器、103は符号化器、106は出力端
子、107は復号化器、110は第二加算器、111は
第一座標変換器、112第二座標変換器、113は動き
検出器、114は動き補償器、115はフレームメモリ
である。
装置について、以下、その動作を述べる。入力端子10
1に大きさの異なる第一から第Nの対象画像を入力す
る。Nは映像の長さによって決定される。
を入力し、第一加算器102を経由し、符号化器103
にて圧縮符号化する。この場合、第一加算器102にお
ける引き算は行わない。また、本実施例では、対象画像
を複数隣接するブロック(8x8画素)に分割し、離散
コサイン変換器DCT(104)にて空間領域の信号を
周波数領域の信号に変換して変換ブロックを生成する。
よって量子化され、第一の圧縮画像を生成し、出力端子
106に出力し、固定長もしくは可変長の符号に変換し
て伝送する(図示されていない)。同時に、第一の圧縮
画像を復号化器107にて伸長画像に復元する。本実施
例では、逆量子化器IQ(108)によって逆量子化さ
れ、逆離散コサイン変換器(IDCT)109にて空間
信号に変換される。
変換器111にて座標変換し、第一の再生画像をしてフ
レームメモリ115に格納する。
明する。図2(A)を第一の対象画像とする。画像20
1の画素a1は、座標系203において(0,0)の座
標をもつ。図2(C)には新しい座標系205が設定さ
れている。この座標系は表示画面の座標系でもいいし、
または対象画像の中心点を原点とする座標系でもよい。
はじめる前にあらかじめ設定されるものである。対象画
像201を座標系205にマッピングしたものは図2
(C)に示されている。
素a1の座標が(x_a,y_a)になる。なお、回転
を含めた座標変換を行うこともある。x_a,y_aの
値を固定長、8bitに符号化して第一の圧縮画像と共
に伝送する。
の対象画像を入力端子101に入力する。第nの対象画
像をライン126を経由し第二の座標変換器112に入
力し、座標系205に変換する。図2(B)の画像20
2を第nの対象画像とする。
素b1の座標を(x_b,y_b)に変換する(図2
(C))。座標変換された対象画像202を動き検出器
113に入力し、複数のブロックに分割してフレームメ
モリ115に格納された第(n−1)の再生画像を参照
し、ブロックマッチングなどの方法で動き検出し、動き
ベクトルを生成する。
に出力し符号化し伝送する(図示されていない)と同時に
動き補償器114に送られ、フレームメモリ115に格
納された第(n−1)の再生画像をアクセスし予測ブロ
ックを生成する。動き検出・動き補償についての実施例
はたとえばUSP5,193,004に開示されてい
る。
ブロックとその予測ブロックを入力して差分ブロックを
生成する。差分ブロックを符号化器103にて圧縮し、
第nの圧縮画像を生成し出力端子106に出力すると同
時に、復号化器107にて伸長差分ブロックに復元す
る。
ックにライン125を経由して送られる予測ブロックを
加算し、画像を再生する。このように再生された画像を
第一の座標変換器111に入力し、図2(C)の画像2
02と同じように座標変換し、第nの再生画像としてフ
レームメモリ115に格納すると同時に、画素b1の座
標(x_b,y_b)を符号化し第nの圧縮画像と共に
伝送する。
装置による符号化画像データ系列を示す模式図である。
符号化画像データの先頭に画像同期信号303、続い
て、座標変換によるパラメータx_a(304),y_a
(305)、画像のサイズ306、307、量子化に用
いられるステップ値308がある。
ータが続く。即ち座標データとしてパラメータx_a
(304),y_a(305)、画像のサイズ306、
307が伝送されることになる。
標変換の別の形態を示す。この場合、対象画像を複数の
領域に分割され、それぞれの領域について座標変換を行
う。
1,R2,R3に分割し、それぞれの領域を圧縮・伸長
してから、第一の座標変換器111にて再生されたR
1、R2、R3の領域をそれぞれ座標変換し、フレーム
メモリ115に格納する。座標変換に用いられるパラメ
ータ(x_a1,y_a1),(x_a2,y_a
2),(x_a3,y_a3)を同時符号化して伝送す
る。
R5,R6に分割され、それぞれの領域を第二の座標変
換器112にて座標変換する。各座標変換された領域に
ついて、フレームメモリ115に格納された領域を参照
し動き検出・動き補償を行い、予測信号を生成し、第一
の加算器102にて差分信号を生成し、圧縮・伸長して
から、第二の加算器にて予測信号を加算する。
座標変換してフレームメモリ115に格納する。座標変
換に用いられるパラメータ(x_b1,y_b1),
(x_b2,y_b2),(x_b3,y_b3)を同
時符号化して伝送する。
換することにより、動き検出の精度を向上させると同時
に動きベクトルの符号量を少なくし画質を向上させるこ
とができる。
5に座標をあわせることにより、ブロック601とブロ
ック603、ブロック602とブロック604が一致し
ているので、動き検出は正確に求められる。
ック604の動きベクトルがゼロに近い値になるため動
きベクトルの符号量を削減することができる。一般の画
像について、隣接する二つの画像についても同じことが
いえる。また、図7(B)と違って、図6(B)のブロ
ック603の顔は一つのブロックに収まるために、顔に
量子化による垂直のひずみは出現しない。
ロック図を示し、図5において501は入力端子、50
2はデータ解析器、503は復号化器、506は加算
器、507は出力端子、508は座標変換器、509は
動き検出器、510はフレームメモリである。
装置について、以下、その動作を述べる。入力端子50
1に、大きさの異なる第一から第Nの対象画像を符号化
し、第n(n=1,2,3,...,N)の対象画像を共
通空間座標に変換することによって生成される第nの変
換パラメータを含めた第一から第Nの圧縮画像データを
入力する。図3の模式図は圧縮画像データの一例を示
す。データ解析器502にて入力された圧縮画像データ
を解析する。
器502にて解析し、第一の圧縮画像を復号化器503
に出力する。また、共通空間座標に変換することによっ
て生成される第一の変換パラメータ(図2(C)のx_
a,y_a)をライン520を経由して座標変換器50
8に送る。
伸長画像に復元し、出力端子507に出力する。同時に
伸長画像を座標変換器508に入力する。本実施例で
は、逆量子化し、IDCTを施して空間領域の信号に復
元する。
ータをもとに、伸長画像を共通空間座標系にマッピング
し、第一の再生画像として出力し、フレームメモリ51
0に格納する。座標変換について実施例1にて説明した
のと同じである。
圧縮画像データをデータ解析器502にて解析し、第n
の圧縮差分画像を復号化器503に出力する。また、第
nの動きデータをライン521を経由し動き補償器50
9に送り、共通空間座標に変換することによって生成さ
れる第nの変換パラメータ(図2(C)のx_b,y_
bに相当)をライン520を経由して座標変換器508
および動き補償器509に送る。
像を第nの伸長差分画像に復元し、加算器506に出力
する。本実施例では、対象ブロックの差分信号を逆量子
化し、IDCTし、伸長差分ブロックとして出力する。
パラメータと該当ブロックの動きベクトルを用いて、フ
レームメモリ510から予測ブロックを取得する。
換パラメータを用いて変換し、すなわち対象ブロックの
座標に第nの変換パラメータ(たとえば図2(C)のx
_b,y_b)を加算し、その和に動きベクトルを加算
することにより、フレームメモリ510の番地を決定す
る。このようにして得られた予測ブロックを加算器50
6に送り、伸長差分ブロックと加算し、画像を再生す
る。再生された画像を出力端子507に出力すると同時
に、座標変換器508にて第nの変換パラメータを用い
て座標変換してフレームメモリ510に格納する。
き補償器509またはその前後に於いて、対象ブロック
の座標に第n番目の画像と第n−1番目の画像の変換パ
ラメータの差分(x_b−x_a,y_b−y_a)を
加算し、それに動きベクトルを加算する機能を有する他
の装置を付加して、フレームメモリ510の番地を決定
しても同様な効果を有することは言うまでもない。
タを入力する場合を考える。すなわち、大きさの異なる
第一から第Nの対象画像を複数の対象領域に分割し符号
化して、それぞれの対象領域を共通空間座標に変換する
ことによって生成される変換バラメータを含めた第一か
ら第Nの圧縮画像データを入力する。
析器502にて分析し、第m(m=1,2,...,
M)の圧縮領域を復号化器503に出力する。図4
(A)ではM=3。また、共通空間座標に変換すること
によって生成される第mの変換パラメータ(図4(A)
のx_am,y_am,m=1,2,3)をライン52
0を経由して座標変換器508に送る。復号化器503
では、第mの圧縮領域を第mの伸長領域に復元し、出力
端子507に出力する。同時に第mの伸長領域を座標変
換器508に入力する。
第mの伸長領域を共通空間座標系にマッピングし、第m
の再生領域として出力し、フレームメモリ510に格納
する。方法は前述と同じである。
圧縮画像データをデータ解析器502にて解析し、その
中にある第k(k=1,2,...,K)の圧縮差分領域を復号
化器503に出力する。図4(B)ではK=3。
1を経由し動き検出器509に送り、共通空間座標に変
換することによって生成される第kの変換パラメータ
(図4(B)のx_bk,y_bk,k=1,2,3)
をライン520を経由して座標変換器508および動き
補償器509に送る。
域を第kの伸長差分領域に復元し、加算器506に出力
する。本実施例では、対象ブロックの差分信号を逆量子
化し、IDCTし、伸長差分ブロックとして出力する。
換パラメータと該当ブロックの動きベクトルを用いて、
フレームメモリ510から予測ブロックを取得する。本
実施例では、対象ブロックの座標を第kの変換パラメー
タの用いて変換し、すなわち対象ブロックの座標に第k
変換パラメータ(たとえば図4(B)のx_bk,y_
bk,k=1,2,3)を加算し、その和に動きベクト
ルを加算することにより、フレームメモリ510の番地
を決定する。
加算器506に送り、伸長差分ブロックと加算し、画像
を再生する。再生された画像を出力端子507に出力す
ると同時に、座標変換器508にて座標変換してフレー
ムメモリ510に格納する。
を示す。入力端子801、可変長復号化部802、差分
画像伸長部803、加算部804、出力端子805、変
換パラメータ生成部806、フレームメモリ807と予
測画像生成部808から構成される。
801に入力する。可変長復号化802では、入力デー
タを解析し、差分画像データや座標データを分離し、そ
れぞれ、ライン8002と8003を経由して差分画像
伸長部803と変換パラメータ生成部806に送る。
化された変換係数と量子化幅が含まれる。差分画像伸長
部803では、変換係数を量子化幅を利用して逆量子し
た後に逆DCTをし、差分画像に伸長する。
を生成するためのデータが含まれ、変換パラメータ生成
部806にて、変換パラメータを生成する。たとえば、
(数3)に示すアフィン変換の場合、(a,b,c,d,
e,f)が生成される。詳細について以下に説明する。
れた変換パラメータと、フレームメモリに格納される画
像を予測画像生成部808に入力する。(数3)に示す
アフィン変換の場合、変換パラメータ生成部806から
送られる(a,b,c,d,e,f)を用いて、(数
3)にしたがって、(x,y)にある画素の予測値はフ
レームメモリに格納される画像の(u,v)にある画素
になる。(数1)、(数2)、(数4)の場合について
も同じである。
算部804に送り、差分画像に加算し、画像を再生す
る。再生された画像は出力端子805に出力すると同時
にフレームメモリ807に格納する。
とることが可能で、以下に説明する。座標データがN個
の画素の座標点と、そのN個の座標点を所定の線形多項
式によって変換されたN個の変換済み座標点とからなる
場合を考える。
めに必要な点の個数である。アフィンパラメータの場
合、6つのパラメータがあるので、6つの変数を解くに
は6つの式を必要とする。一つの座標点には(x,y)
の成分があるために、N=3であれば、6つのアフィン
変換パラメータを解くことができる。
合N=2、(数4)の場合N=5である。N個の変換済
み座標点は動きベクトルであり、(数1)から(数4)
の左辺の(u,v)に相当する。
0,y0),(x1,y1),(x2,y2)と変換済
み座標点(u0,v0),(u1,v1),(u2,v
2)がライン8003を経由し変換パラメータ生成部8
06に入力する。変換パラメータ生成部806では、下
記に連立方程式を解くことにより、アフィンパラメータ
が得られる。
換パラメータを求めることも可能である。ほかの場合も
同様に変換パラメータを解くことができる。N個の
(x,y)をうまく選択することにより非常に高精度な
変換パラメータを求めることができる。直角に配置され
るN個の(x,y)が好ましい。
(u1,v1),(u2,v2)に対し、対応する座標
点(x0,y0),(x1,y1),(x2,y2)を
求めるときには、(数5)の代わりに(数6)の連立方
程式を求めてもよい。
点と、N個の座標点を所定の線形多項式によって変換さ
れたN個の変換済み座標点の差分値である場合を考え
る。差分をとるための予測値がN個の画素の座標点の場
合、変換パラメータ生成部806にて、N個の画素の座
標点とN個の変換済み座標点の差分値とを加算し、N個
の画素の座標点と加算したN個の変換済み座標点とから
変換パラメータを生成する。
レームのN個の画素の変換済み座標点の場合、変換パラ
メータ生成部806にて、前のフレームのN個の変換済
み座標点とN個の変換済み座標点の差分値とを加算し、
N個の画素の座標点と加算したN個の変換済み座標点と
から変換パラメータを生成する。加算したN個の変換済
み座標点を次のフレームの予測値として、格納してお
く。
点を所定の線形多項式によって変換されたN個の変換済
み座標点である場合を考える。所定のN個の座標点はあ
らかじめに定められた座標点であり、伝送する必要がな
い。変換パラメータ生成部806にて、所定のN個の画
素の座標点とN個の変換済み座標点とから変換パラメー
タを生成する。
所定の線形多項式によって変換されたN個の変換済み座
標点の差分値である場合を考える。差分をとるための予
測値がN個の画素の座標点の場合、変換パラメータ生成
部806にて、N個の画素の座標点とN個の変換済み座
標点の差分値とを加算し、N個の画素の座標点と加算し
たN個の変換済み座標点とから変換パラメータを生成す
る。
レームのN個の画素の変換済み座標点の場合、変換パラ
メータ生成部806にて、前のフレームのN個の変換済
み座標点とN個の変換済み座標点の差分値とを加算し、
N個の画素の座標点と加算したN個の変換済み座標点と
から変換パラメータを生成する。加算したN個の変換済
み座標点を次のフレームの予測値として、格納してお
く。
ブロック図である。入力端子901と、変換パラメータ
推定部903と、予測画像生成部908と、第一加算部
904と、差分画像圧縮部905と、差分画像伸長部9
10と、第二加算部911と、フレームメモリ909
と、伝送部906とから構成される。入力端子901に
デジタル画像を入力する。変換パラメータ推定部903
にて、フレームメモリに格納されている画像とデジタル
画像とから変換パラメータを推定する。アフィンパラメ
ータの推定方法について前述した通りである。
画像のかわりに、その原画像を用いてもよい。変換パラ
メータ推定部903で推定された変換パラメータはライ
ン9002を経由して予測画像生成部908に送る。
た座標データをライン9009を経由し伝送部906に
送る。座標データについて複数の形態をもつことが可能
で、前述した通りである。
変換パラメータとフレームメモリ909に格納された画
像とを入力し、推定された変換パラメータに基づいて前
述したように予測画像を生成する。次に、第一加算部9
04にて、デジタル画像と予測画像との差分を求め、差
分画像圧縮部905にて圧縮差分データに圧縮し、伝送
部906に送る。
CTし量子化する。同時に、差分画像伸長部910に
て、圧縮差分データを伸長差分データに伸長する。差分
画像伸長部910では、逆量子化と逆DCTが施され
る。伸長差分データを第二加算部にて、予測画像と加算
しフレームメモリに格納する。伝送部906では、圧縮
差分データ、量子化幅、座標データを符号化し、多重化
した後に伝送・蓄積する。
置である。入力端子1001と、可変長復号化部100
2と、差分画像伸長部1003と、加算部1004と、
変換パラメータ生成部1006と、予測画像生成部10
08とフレームメモリ1007とから構成する。基本的
な動作は図8と同じである。異なるところについてのみ
説明する。
種類の変換パラメータが生成できる構成になっている。
パラメータ生成部1006aは(数2)に示すパラメー
タ(a,e,d,f)、パラメータ生成部1006bは
(数3)に示すパラメータ(a,b,e,c,d,
f)、パラメータ生成部1006cは(数4)に示すパ
ラメータ(g,p,r,a,b,e,h,q,s,c,
d,f)を生成する手段から構成される。
つの座標点、(数4)は12個の座標点があればパラメ
ータが生成できる。この座標点の個数はライン1001
0を経由し、スイッチ1009と1010とを制御す
る。座標点の個数が2のときスイッチ1009と101
0とをそれぞれ端子1011aと1012aに接続し、
座標データをライン10003を経由しパラメータ生成
部1006aに送り、連立方程式を解くことにより(数
2)のパラメータを生成し端子1012aから出力す
る。
パラメータ生成部1006bと1006cに接続する。
このようにして、座標点の個数情報より、伝送する座標
データの種類がわかり、切り替えて変換パラメータを生
成することが可能である。
の形態は前述した通りである。なお、(数2)から(数
4)の右辺の(x,y)が既知の場合、伝送する必要が
ないため、ライン10010を経由する座標点の個数
は、(数2)に対し1、(数3)に対し3、(数4)に
対し6と対応させても可能である。さらに、変換パラメ
ータ生成部は3つに限るものではなく、それ以上があっ
てもよい。
復号化装置と符号化装置のブロック図を示す。基本的に
は図8と図9と同じである。異なるところは、変換パラ
メータ生成部806のかわりに、変換パラメータ伸長部
1106となり、また、変換パラメータ推定部903と
1203の動作が多少異なる。これについて説明する。
では変換パラメータを推定した後に、それを画像サイズ
で定倍し、量子化してからライン12009経由して伝
送部1206に送る。変換パラメータは実数値であり、
定倍してからさらに整数化する必要がある。
c,d)は高精度に表現する必要がある。aとcは垂直
座標のパラメータで、画像の垂直の画素数Vを乗算し、
またbとdは水平座標のパラメータで、画像の水平の画
素数Hで乗算する。
場合、定倍する画像サイズを同じ二乗(H2,V2,H
V)にしても可能である。図11の変換パラメータ伸長
部1106では、定倍されたパラメータを除算し、パラ
メータを再生する。
203では変換パラメータを推定した後に、変換パラメ
ータの最大値を求める。好ましくは、絶対値の最大値が
よい。その最大値の指数部(好ましくは2のべき乗の指
数部)で、変換パラメータを正規化する。すなわち各変
換パラメータに指数部の値を乗算する。
と指数部を伝送部1206に送り、固定長符号に変換し
て伝送する。図11の変換パラメータ伸長部1106で
は、正規化された変換パラメータを指数部で除算し変換
パラメータに伸長する。
の場合、(a,b,c,d)の中から最大値を求める。
平行移動のパラメータ(e,f)を含めてもよいが、普
通値の大きさが桁数が違うので、含めない。数4のパラ
メータについても同様で、二乗の項と一乗の項のパラメ
ータをわけて正規化することは好ましいが、これに限る
ことではない。
が非ゼロな場合について説明したが、差分画像が完全に
ゼロの場合も同じである。この場合、予測画像がそのま
ま出力されることになる。また、画像全体の変換につい
て説明したが、二次元もしくは三次元の画像を複数の小
領域に分割し、各小領域にアフィン変換をはじめとした
変換を施す場合も同じように適用可能である。
異なる画像を同じ座標系に変換してから動き検出し予測
画像を生成することにより動き検出の精度を向上すると
同時に動きベクトルの符号量を削減する効果が得られ
る。
ラメータを求めることにより、精度の高い変換パラメー
タが得られ、高精度な予測画像生成が可能になる。ま
た、変換パラメータを正規化したり、画像サイズで定倍
することにより、画像に応じた精度でパラメータを伝送
することができる。
パラメータの生成を切り替えることにより、変換パラメ
ータの生成が最適な処理が可能になると同時に、座標デ
ータを効率よく伝送できる。
示すブロック図である。
を示す第一模式図である。
符号化画像データ系列を示す摸式図である。
を示す第二模式図である。
示すブロック図である。
を示す模式図である。
る。
ブロック図である。
ブロック図である。
のブロック図である。
のブロック図である。
のブロック図である。
Claims (2)
- 【請求項1】参照画像を参照して符号化された圧縮画像
データを復号化する予測復号化方法において、 前記圧縮画像データから、符号化時に参照画像から座標
変換により予測画像を生成する際の変換座標点に関する
座標データ情報と、前記変換座標点の個数情報と、復号
化対象画像の圧縮画像信号とを抽出し、 前記個数情報に基づいて予測画像変換方法を選択し、 前記選択した予測画像変換方法と前記座標データ情報と
に基づいて前記参照画像から復号化の際の予測画像を生
成し、 前記圧縮画像信号を復号化して差分画像を生成し、復号
化の際の前記予測画像と前記差分画像とを加算し、復号
画像を生成する、 ことを特徴とする予測復号化方法。 - 【請求項2】参照画像を参照して対象画像を符号化する
予測符号化方法において、 前記参照画像と前記対象画像とから予測画像変換方法を
推定し、推定された前記予測画像変換方法に基づいて前
記参照画像から予測画像を生成し、 前記予測画像変換方法に対応した数の変換座標点に関す
る座標データ情報を決定し、 前記対象画像と前記予測画像から差分画像を生成し、 前記差分画像を圧縮符号化して圧縮画像信号を生成し、 前記予測画像変換方法に対応した数の変換座標点に関す
る座標データ情報を前記圧縮画像信号とともに伝送す
る、 ことを特徴とする予測符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003280972A JP3495040B1 (ja) | 1996-01-22 | 2003-07-28 | デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8-8108 | 1996-01-22 | ||
JP810896 | 1996-01-22 | ||
JP12951696 | 1996-05-24 | ||
JP8-129516 | 1996-05-24 | ||
JP2003280972A JP3495040B1 (ja) | 1996-01-22 | 2003-07-28 | デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP52672597A Division JP3573465B2 (ja) | 1996-01-22 | 1997-01-21 | デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004007804A JP2004007804A (ja) | 2004-01-08 |
JP3495040B1 true JP3495040B1 (ja) | 2004-02-09 |
Family
ID=30448890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003280972A Expired - Lifetime JP3495040B1 (ja) | 1996-01-22 | 2003-07-28 | デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3495040B1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007159045A (ja) * | 2005-12-08 | 2007-06-21 | Nagasaki Univ | 画像データ処理方法及び装置 |
KR101939628B1 (ko) | 2012-05-30 | 2019-01-17 | 삼성전자주식회사 | 모션 검출 방법 및 모션 검출기 |
KR102121558B1 (ko) | 2013-03-15 | 2020-06-10 | 삼성전자주식회사 | 비디오 이미지의 안정화 방법, 후처리 장치 및 이를 포함하는 비디오 디코더 |
JP6614472B2 (ja) | 2013-09-30 | 2019-12-04 | サン パテント トラスト | 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置 |
JP7233027B2 (ja) * | 2013-09-30 | 2023-03-06 | サン パテント トラスト | 画像復号装置及び画像符号化装置 |
-
2003
- 2003-07-28 JP JP2003280972A patent/JP3495040B1/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2004007804A (ja) | 2004-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3573465B2 (ja) | デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置 | |
JP3776920B2 (ja) | 画像符号化方法 | |
EP1379000B1 (en) | Signal encoding method and apparatus and decoding method and apparatus | |
US5398067A (en) | Picture data processing apparatus | |
US5506621A (en) | Image processing method and apparatus | |
CN108848377B (zh) | 视频编码、解码方法、装置、计算机设备和存储介质 | |
JP2880051B2 (ja) | 1d/2d dctを用いた映像信号符号化装置 | |
JP3495040B1 (ja) | デジタル画像符号化、復号化方法及びそれを用いたデジタル画像符号化、復号化装置 | |
KR100212559B1 (ko) | 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법 | |
JP3877427B2 (ja) | 画像データ圧縮装置および画像データ伸張装置 | |
CA2244003C (en) | Digital image encoding and decoding method and digital image encoding and decoding device using the same | |
JPH0614739B2 (ja) | 画像信号の動き補償フレ−ム間予測符号化・復号化方法とその装置 | |
JP2001078199A (ja) | 映像信号符号化装置 | |
CA2488796C (en) | Digital image encoding and decoding method and digital image encoding and decoding device using the same | |
KR100206924B1 (ko) | 영상 처리 시스템의 엔코더 및 디코더 | |
KR0130167B1 (ko) | 동영상 압축 부호화 장치 | |
JPH06225288A (ja) | 動き補償予測符号化および復号化装置 | |
JPH11146403A (ja) | 映像信号符号化装置、映像信号符号化方法、および映像信号符号化プログラム記憶媒体 | |
JPH0229180A (ja) | 動画像符号化方式 | |
KR19990003316A (ko) | 개선된 윤곽선 움직임 벡터 부호화 장치 | |
JPH08153202A (ja) | 3段カスケード画像符号化装置および復号化装置 | |
KR19990086000A (ko) | 엠펙 디코더의 기준 매크로 블록 검출방법 | |
JPH04207285A (ja) | 動画像符号化装置 | |
JPH09187011A (ja) | 動きベクトル検出装置および方法並びにデータ圧縮装置および方法 | |
JPH08186819A (ja) | 高能率符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071121 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081121 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091121 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091121 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101121 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 10 |
|
EXPY | Cancellation because of completion of term |