JP2004153751A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2004153751A JP2004153751A JP2002319483A JP2002319483A JP2004153751A JP 2004153751 A JP2004153751 A JP 2004153751A JP 2002319483 A JP2002319483 A JP 2002319483A JP 2002319483 A JP2002319483 A JP 2002319483A JP 2004153751 A JP2004153751 A JP 2004153751A
- Authority
- JP
- Japan
- Prior art keywords
- code data
- data
- amount
- memory
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】迅速に所望量の符号データを生成する画像処理装置を提供する。
【解決手段】本発明の画像処理装置は、画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する符号化手段と、エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を記憶しておく第１メモリと、上記画像データの符号データを記憶する第２メモリと、目標符号データ量を設定する設定手段と、上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節手段を備えることを特徴とする。
【選択図】 図１
【解決手段】本発明の画像処理装置は、画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する符号化手段と、エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を記憶しておく第１メモリと、上記画像データの符号データを記憶する第２メモリと、目標符号データ量を設定する設定手段と、上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節手段を備えることを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを周波数変換して符号化する画像処理装置、例えば、ＪＰＥＧ２０００に準拠した画像処理装置に関する。
【０００２】
【従来の技術】
高精細画像を取り扱うのに適した圧縮符号化方法としてＪＥＰＧ２０００が知られている（例えば、非特許文献１参照）。
【０００３】
【非特許文献１】
野水泰之著「次世代画像符号化方法ＪＰＥＧ２０００」、株式会社トリケッツプス出版、２００１年２月１３日発行
【０００４】
【発明が解決しようとする課題】
上記ＪＰＥＧ２０００形式の画像処理においては、２次元離散ウェーブレット変換を行うことにより得られるウェーブレット係数をビットプレーンに分割し、サブバンド単位で下位ビットのデータを破棄することにより、当該ウェーブレット係数をエントロピー符号化して得られる符号データの量を調節することができる。
【０００５】
しかし、ウェーブレット係数をエントロピー符号化した場合に得られる符号量は一定でないため、最終的に希望する符号データ量が決まっている場合には、ビットプレーン単位でウェーブレット係数の下位ビットプレーンのデータの破棄し、破棄後のデータに対するエントロピー符号化処理により得られる符号データ量の確認するといった作業を、複数回、繰り返す必要がある。エントロピー符号化処理は、演算処理するデータ量が多いため、時間を要するため、上記手法による符号量の調整には長時間を要することになる。
【０００６】
本発明は、より迅速に所望の量の符号データを生成できる画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の第１の画像処理装置は、画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する符号化手段を備える画像処理装置において、エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を記憶しておく第１メモリと、上記画像データの符号データを記憶する第２メモリと、目標とする符号データ量を設定する設定手段と、上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節手段を備えることを特徴とする。
【０００８】
本発明の第２の画像処理装置は、上記第１の画像処理装置がＪＰＥＧ２０００に準拠し、所定の画素マトリクスで成るコードブロック単位で上記ウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行し、上記画像データの符号データを生成する符号化手段を備える画像処理装置であって、上記第１メモリは、上記第２メモリに記憶されている符号データの内、各コードブロックの符号データの格納アドレスと、各コードブロックのビットプレーン毎にコーディングパス単位の符号データの量を記憶しており、上記データ量調節手段は、上記第１メモリに記憶してあるコーディングパス単位の符号データの量に基づいて、上記第２メモリに記憶してある符号データから、各コードブロックの下位のビットプレーンのコーディングパス単位の符号データを順に削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にすることを特徴とする。
【０００９】
本発明の第１の画像処理方法は、画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する画像処理方法において、エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を第１メモリに記憶しておく第１記憶工程と、上記画像データの符号データを第２メモリに記憶する第２記憶工程と、目標とする符号データ量を設定する目標値設定工程と、上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節工程とで成ることを特徴とする。
【００１０】
本発明の第２の画像処理方法は、上記第１の画像処理方法がＪＰＥＧ２０００に準拠し、所定の画素マトリクスで成るコードブロック単位で上記ウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行し、上記画像データの符号データを生成する画像処理方法であって、上記第１記憶工程において、上記第２メモリに記憶されている符号データの内、各コードブロックの符号データの格納アドレスと、各コードブロックのビットプレーン毎にコーディングパス単位の符号データの量を第１メモリに記憶させ、上記データ量調節工程において、上記第１メモリに記憶してあるコーディングパス単位の符号データの量に基づいて、上記第２メモリに記憶してある符号データから、各コードブロックの下位のビットプレーンのコーディングパス単位の符号データを順に削除して符号データの量を上記目標値設定工程において設定された目標とする符号データの量とみなせる許容範囲内の値にすることを特徴とする。
【００１１】
【発明の実施の形態】
（１）実施の形態
本発明の画像処理装置は、例えば、ＪＰＥＧ２０００の規格に準拠した符号化処理装置であって、２枚のインターレース画像を合成して生成したノンインターレース画像を処理対象とし、当該ノンインターレース画像の画像データを周波数変換するために２次元離散ウェーブレット変換して得られるウェーブレット係数に対して行うエントロピー符号化処理（係数モデリング処理及び算術符号化処理で成る。）において、生成される符号データの他に、コードブロック単位でコーディングパス毎の符号データ量を記憶しておくものである。その後、画像データの出力時、設定された圧縮率より特定される全符号データ量を超えないように、各コードブロックの下位のビットプレーンのコーディングパスの符号データから順に削除する。当該処理により所望のデータ量（許容範囲内にあるものを含む）に調整された符号データをＪＰＥＧ２０００の標準のパケットデータに並び替えて外部の装置に出力する。このように、本発明の画像処理装置では、エントロピー符号化処理は１回で済み、処理の迅速化を図ることができる。
【００１２】
図１は、実施の形態に係る画像処理装置１０の全体構成図である。画像処理装置１０は、中央演算処理装置（ＣＰＵ）１を中心に、画像処理プログラムが格納されているＲＯＭ２、上記画像処理プログラムの実行時に使用される第１メモリ３及び第２メモリ４、マン・マシン・インターフェースであるキーボード５及びマウス６、ディスプレイ７、主記録装置であり、ビデオカメラ８で撮影した映像の処理後の符号データを記録するハードディスク（ＨＤ）９、並びに、ビデオカメラ８で構成される。
【００１３】
図２は、ビデオカメラ８により撮影される一連のフィールド０〜ｎのインターレース画像を示す図である。ビデオカメラ８は、撮影の開始時間ｔ０と共にフィールド０の画像のインターレース形式によるスキャンを行い、１／６０秒後にフィールド１の画像のインターレース形式によるスキャンを行う。そして終了時間ｔｎまでの間に１／６０秒単位で合計ｎ枚のフィールドの画像をインターレース形式でスキャンする。
【００１４】
図３の（ａ）〜（ｃ）は、ビデオカメラ８により連続して読み取られる２枚のフィールド０，１のインターレース画像Ａ，Ｂから生成される１枚のフレームのノンインターレース画像を示す図である。図３の（ａ）に示すように、インターレース形式では、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。フィールド０のインターレース画像Ａのスキャン終了後、ビデオカメラ８は、直ちに、図３の（ｂ）に示すように、前回スキャンしなかった画素ライン（図３の（ｂ）において実線で示す走査ライン）のスキャンを行う。これによりフィールド１のインターレース画像Ｂが撮影される。この撮影時、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに１／６０秒経過している。図３の（ａ）と（ｂ）を比較すれば解るように、上記１／６０秒の間に被写体１５は右方向（当然左方向の場合もある）に移動している。このため、図３の（ｃ）に示すように、インターレース画像Ａにインターレース画像Ｂを重ね合わせて成る１枚のフレームのノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
【００１５】
なお、上記ノンインターレース画像のデータは、メモリ内にインターレース画像Ａ及びインターレース画像Ｂの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことで形成する。
【００１６】
図４の（ａ）は、第１メモリ３のメモリマップを示し、図４の（ｂ）は、第２メモリ４のメモリマップを示す。第１画像フレームバッファ３ａには、連続して読み込まれる２枚のインターレース画像から生成されるノンインターレース画像の画像データが格納される。第２画像フレームバッファ３ｂには、上記第１画像フレームバッファ３ａに格納したノンインターレース画像の符号化処理の実行中にビデオカメラ８により引き続き取り込まれる２枚のインターレース画像の画像データの書き込みが行われる。ビデオカメラ８による撮影中、第１画像フレームバッファ３ａおよび第２画像フレームバッファ３ｂには、インターレース画像の画像データが２枚単位（図３に示したインターレース画像Ａ，Ｂ）で交互に書き込まれる。
【００１７】
ＣＰＵ１は、第１画像フレームバッファ３ａに書き込まれた画像データに対してＪＰＥＧ２０００に準拠した符号化処理を施し、この符号化処理の際、以下に説明するように、第２メモリ４内のウェーブレット係数フレームバッファ４ａにウェーブレット係数のデータを格納すると共に、符号データバッファ４ｃに符号データを書き込み、更に、第１メモリ３の第１パケットデータポインタ３ｃにウェーブレット係数を所定のコードブロックに分割して各コードブロック毎に得られるコーディングパス毎の符号データ量についての情報を書き込む。
【００１８】
第１パケットデータポインタ３は、６４×６４画素マトリクスのコードブロックを単位として形成されるデータであり、図４の（ａ）に示すように、レベル３のウェーブレット変換を行った場合、１ＨＨ，１ＬＨ，１ＨＬについてそれぞれ２５６個、２ＨＨ，２ＬＨ，２ＨＬについてそれぞれ６４個、３ＨＨ，３ＬＨ，３ＨＬ，３ＬＬについてそれぞれ１６個用意される。
【００１９】
図４の（ｂ）に示すように、第２メモリ４内には、第１画像フレームバッファ３ａに格納されたノンインターレース画像の画像データに対してレベル３の２次元離散ウェーブレット変換を行って得られるウェーブレット係数用のフレームバッファ４ａ、第２画像フレームバッファ３ｂに格納されたノンインターレース画像の画像データに対してレベル３の２次元離散ウェーブレット変換を行って得られるウェーブレット係数用のフレームバッファ４ｂ、上記フレームバッファ４ａに格納するデータに基づいて行った符号化処理から得られる符号データを格納するバッファ４ｃ、及び、上記フレームバッファ４ｂに格納するデータに基づいて行った符号化処理から得られる符号データを格納するバッファ４ｄで構成される。
【００２０】
図５は、ＣＰＵ１の実行するＪＰＥＧ２０００に準拠した符号化処理のフローチャートである。まず、上述した第１メモリ３の第１画像フレームバッファ３ａからノンインターレース画像の画像データを読み出す（ステップＳ１）。読み出したノンインターレース画像の画像データを、Ｙ，Ｃｒ，Ｃｂの色成分データに変換する（ステップＳ２）。以降の処理部で各成分の色データは同じ手順で並列に処理されるが、説明の簡単化のため、以下、Ｙ成分の色データについてのみ説明する。
【００２１】
Ｙ成分の色データにレベル３の２次元離散ウェーブレット変換を施し、得られるウェーブレット係数を第２メモリ４のウェーブレット係数フレームバッファ４ａに書き込む（ステップＳ３）。当該処理により得られたウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施し、バッファ４ａ内のデータを処理後のデータに更新する（ステップＳ４）。
【００２２】
スカラ量子化後のウェーブレット係数を図６に示すように、ｎ個のコードブロックに分割する（ステップＳ５）。コードブロックの順番は、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，３ＨＬ，３ＬＨ及び３ＨＨの各サブバンド内でラスタ走査順序に従う。コードブロックを表す変数ＣＢの値を１に初期化する（ステップＳ６）。第１メモリ３の第１パケットデータポインタ３ｃの所定領域に、図７に示すコードブロックＣＢ用のデータ記憶領域を確保し、当該データ記憶領域内にポイントヘッダデータ領域４００、レイヤポインタデータ領域４１０、ＣＰバイト数のデータ領域４５０に区切り、ポイントヘッダ情報及びレイヤ毎の初期データを書き込む（ステップＳ７）。画像処理装置１０では、ビットプレーン１枚を１レイヤとする。従って、コードブロック１個当たり１６枚のレイヤが存在する。上記ポイントヘッダ情報とは、係数モデリング処理実行前に段階で特定できるトータルコーディングパス数やゼロビットプレーン数の情報のことをいう。
【００２３】
コードブロックＣＢのウェーブレット係数にＪＰＥＧ２０００に規定されているエントロピー符号化処理として係数モデリング処理及び算術符号化処理を実行する（ステップＳ８）。まず、係数モデリング処理として、図８に示すように、６４×６４画素マトリクスの各１６ビットデータで構成されるコードブロックのウェーブレット係数を１６枚のビットプレーンに分解し、各ビットプレーン毎にＪＰＥＧ２０００に規定されている（１）クリーンアップ・パス（２）シグニフィカント・プロパゲーション・パス（３）マグニチュード・リファインメント・パスの３通りの３×３画素近傍処理を実行する。次に、算術符号化処理を実行し、第１メモリ３内のデータ領域内のデータを以下に説明するように更新すると共に、符号データを第２メモリ４内のバッファ４ｃに書き込む。
【００２４】
上記データの更新は、図７に示すように、コードブロックＣＢについて実行した係数モデリング処理及び算術符号化処理により得られる符号データより、符号データのバイト数を領域４１２に、符号データの有効ビット長を表すＬブロックデータ（８ビット）の領域４１３に、第２メモリ４のバッファ４ｃに書き込んだ符号データのアドレスデータ（スタートアドレス）を領域４１４にそれぞれ書き込んで行う。また、処理したコードブロックＣＢについて行う３つのパス毎に得られる符号データ量を表すデータをＣＰ０バイト数データ書き込み領域４５１、ＣＰ１バイト数データ書き込み領域４５２、ＣＰ２バイト数データ書き込み領域４５３にそれぞれ書き込む。なお、領域４１４に書き込んだ符号データのアドレスデータ（スタートアドレス）と領域４１２及び４１３に書き込んだデータより判別される符号データ量からエンドアドレスが解る。このため、以下に説明するように、符号データ量調節処理において、最下位ビットプレーン（レイヤ）の最終のコーディングパスにより得られる符号データ量を順に削除することは、簡単に行うことができる。
【００２５】
変数ＣＢの値がｎ以外の場合には（ステップＳ９でＮＯ）、変数ＣＢに１を加算して（ステップＳ１０）、上記ステップＳ８に戻る。他方、変数ＣＢの値がｎの場合には（ステップＳ９でＹＥＳ）、第１メモリ３の第１パケットデータポインタ３ｃ及び第２メモリ４の符号データバッファ４ｃのデータをハードディスク７に保存する（ステップＳ１１）。
【００２６】
処理すべき次のフレームのノンインターレース画像のデータがあるかを調べ、ある場合には（ステップＳ１１でＮＯ）、ステップＳ１に戻り上記処理を繰り返し実行する。なお、ステップＳ１では、上記ステップＳ１〜Ｓ１１の処理実行中に、第１メモリ３の第２画像フレームバッファ３ｂに格納されたノンインターレース画像のデータを読み出して処理し、ステップＳ５では、第２メモリ４のウェーブレット係数フレームバッファ４ｂに書き込まれたウェーブレット係数を処理対象とする。同様に、ステップＳ７及びＳ８では、第１メモリ３の第２パケットデータポインタ３ｄ及び第２メモリ４の符号データバッファ４ｄにデータの書き込みを行う。以後、第１メモリ３の第１画像フレームバッファ３ａ及び第２画像フレームバッファ３ｂ、第１パケットデータポインタ３ｃ及び第２パケットデータポインタ３ｄ、第２メモリ４のウェーブレット係数フレームバッファ４ａ及び４ｂ、符号データバッファ４ｃ及び４ｄをそれぞれ交互に処理対象とする。
【００２７】
一方、ビデオカメラ８により撮影された全てのフレームのノンインターレース画像の処理が終了した場合には（ステップＳ１１でＹＥＳ）、符号化処理を終了する。
【００２８】
図９は、符号データ量調節処理のフローチャートである。当該処理は、上記手順で符号化処理の終了後、直ちに実行するようにしても良いし、ユーザの任意のタイミングで起動できるようにしても良い。処理実行に伴い、まず、初期設定として変数ｍの値を３（３枚分のパス）×１６（１６枚のビットプレーン）＝４８、即ち１つのコードブロック内の全コーディングパス数に設定する（ステップＳ２０）。ディスプレイ９に図１０に示す設定画面を表示する（ステップＳ２１）。ユーザによりキーボード５及びマウス６の操作により目標符号データ量入力欄９２に目標とする符号データの量（単位Ｋｂｉｔ）が入力され、又は、目標圧縮率入力欄９３に目標とする符号データの圧縮率（単位％）が入力された後、設定ボタン９４が選択されるのを待つ（ステップＳ２２でＮＯ）。
【００２９】
上記何れかの数値入力及び設定ボタン９４の選択が行われた場合（ステップＳ２２でＹＥＳ）、入力された位置より目標とする符号データ量αを特定する（ステップＳ２３）。ハードディスク７より最初のフレームの符号データ（以下、標準符号データという）βを読み出す（ステップＳ２４）。変数γの値をβに設定する（ステップＳ２５）。ハードディスク７より合計ｎ個のコードブロックの最下位ビットのレイヤのコーディングパスＣＰｍ（＝４８）のバイト数（符号データ量）を読み出し、合計Ｂｍを算出する（ステップＳ２６）。上記変数γよりＢｍを減算する（ステップＳ２７）。
【００３０】
ここで、減算後の変数γの値が上記目標符号データ量α以上の場合（ステップＳ２８でＮＯ）、読み出した符号データからコーディングパスＣＰｍの符号データを削除し（ステップＳ２９）、変数ｍの値を１減算した後に（ステップＳ３０）、ステップＳ２６に戻る。他方、減算後の変数γの値が上記目標符号データ量αに満たない値になる場合には（ステップＳ２８でＹＥＳ）、図１１に例示するＪＰＥＧ２０００に準拠するパケットデータ形式によるデータの出力を行う（ステップＳ３１）。当該ＪＰＥＧ２０００に準拠するパケットデータ形式では、各１ビットのＰ−ｉｎｃ，ＣＢ−ｉｎｃ、図７に示すポイントヘッダ領域４００に書き込まれているゼロビットプレーンの数（６ビットデータ）、例えば、領域４１１に書き込まれているコーディングパスの数（６ビットデータ）、符号データのビット長を表すＬブロック（８ビットデータ）、符号データのバイト数（２４ビットデータ）、符号データ（目標符号データ量分のビットデータ）で構成される。
【００３１】
なお、上記ステップＳ２８における判断は、例えば１Ｋｂｉｔ程度の許容範囲を定めておき、減算後の変数γの値が上記目標符号データ量α＋１Ｋｂｉｔ以下になった場合に、目標値に達したと判断してもよい。
【００３２】
撮影した全てのフレームの符号データについての処理が未だの場合には（ステップＳ３２でＮＯ）、上記ステップＳ２４に戻り、次のフレーム符号データの読み出しを行う。他方、全てのフレームの符号データについての処理が終了した場合には（ステップＳ３２でＹＥＳ）、処理を終了する。
【００３３】
上述するように、画像処理装置１０では、図５に示した符号化処理により、ビデオカメラ８により撮影した画像のデータを、一旦ハードディスク７に格納し、この後、引き続いて、又はユーザにより起動される図９に示す符号データ量調節処理を実行することにより、ウェーブレット係数の下位ビットプレーンのデータの破棄、係数モデリング及び算術符号化処理、符号データ量の参照を繰り返し行い所望のデータ量の符号データを得る場合に比べ、唯１回の係数モデリング及び算術符号化処理で所望のデータ量の符号データを非常に短い時間で得ることができる。
【００３４】
なお、上記画像処理装置１０においてＣＰＵ１の実行する上記符号化処理及び符号データ量調節処理の一部又は全部をハード回路により実現しても良い。
【００３５】
（２）他の実施の形態
上述した画像処理装置１０では、ビデオカメラ８で撮影した各フレームのノンインターレース画像の画像データの符号化と、符号データ量の調節処理を別々に行うため、一旦撮影した映像の符号データを様々なサイズの符号データに変換して出力することができるという利点を有するが、図５に示す符号化処理の前の段階（ステップＳ１の実行前）で、目標とする符号データ量を設定する処理（図９のステップＳ２０〜Ｓ２３に相当する処理）を実行しておき、符号化処理において符号データ及びパケットデータポインタのデータをハードディスク７に保存する処理（図５のステップＳ１１の処理）のかわりに、第１メモリ３及び第２メモリ４に書き込まれているデータを直接使用して符号データ量の調節処理（図９のステップＳ２４〜Ｓ３１に相当する処理）を実行するようにしても良い（図は省略する）。
【００３６】
ＣＰＵ１により上記構成の処理を実行することで、ビデオカメラ８による撮影と同時に予め決めた量の符号データで成るパケットデータの出力を行うことができる。
【００３７】
なお、当該他の実施の形態においてＣＰＵの実行する処理の一部又は全部ハード回路により実現しても良い。
【００３８】
【発明の効果】
本発明の画像処理装置及び画像処理方法によれば、データ量調節前の符号データが第１メモリに記憶されているため、これから、符号データのデータ量が目標値になる様に、第１メモリに記憶しているビットプレーン毎の符号データ量に基づいて、符号データを削除するだけで、ウェーブレット係数のビットプレーンの下位ビットデータを破棄し、再び符号化処理を実行する場合に比べ、符号化処理が１回で済み、目標量の符号データを迅速に得ることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成を示す図である。
【図２】ビデオカメラによるインターレース画像の取り込みについて説明するための図である。
【図３】（ａ）〜（ｃ）は、２枚のインターレース画像から生成される１枚のノンインターレース画像を説明するための図である。
【図４】（ａ）は第１メモリのマップを示し、（ｂ）は第２メモリのマップを示す。
【図５】符号化処理のフローチャートである。
【図６】ウェーブレット係数をコードブロックに分割した状態を示す図である。
【図７】第１メモリ内にコードブロック単位で生成されるパケットデータポインタのデータ構造を示す図である。
【図８】コードブロックのデータをビットプレーンに展開して行う係数モデリング処理の説明を行うための図である。
【図９】符号データ量調節処理のフローチャートである。
【図１０】圧縮率設定画面を示す図である。
【図１１】ＪＰＥＧ２０００に準拠するパケットデータ構造の一例を示す図である。
【符号の説明】１ ＣＰＵ、２ ＲＯＭ、３ 第１メモリ、４ 第２メモリ、５ キーボード、６ マウス、７ ハードディスク、８ ビデオカメラ、９ディスプレイ、１０ 画像処理装置、９１ 圧縮率設定画面、９２ 目標符号データ量の数値入力欄、９３ 目標圧縮率の数値入力欄。
【発明の属する技術分野】
本発明は、画像データを周波数変換して符号化する画像処理装置、例えば、ＪＰＥＧ２０００に準拠した画像処理装置に関する。
【０００２】
【従来の技術】
高精細画像を取り扱うのに適した圧縮符号化方法としてＪＥＰＧ２０００が知られている（例えば、非特許文献１参照）。
【０００３】
【非特許文献１】
野水泰之著「次世代画像符号化方法ＪＰＥＧ２０００」、株式会社トリケッツプス出版、２００１年２月１３日発行
【０００４】
【発明が解決しようとする課題】
上記ＪＰＥＧ２０００形式の画像処理においては、２次元離散ウェーブレット変換を行うことにより得られるウェーブレット係数をビットプレーンに分割し、サブバンド単位で下位ビットのデータを破棄することにより、当該ウェーブレット係数をエントロピー符号化して得られる符号データの量を調節することができる。
【０００５】
しかし、ウェーブレット係数をエントロピー符号化した場合に得られる符号量は一定でないため、最終的に希望する符号データ量が決まっている場合には、ビットプレーン単位でウェーブレット係数の下位ビットプレーンのデータの破棄し、破棄後のデータに対するエントロピー符号化処理により得られる符号データ量の確認するといった作業を、複数回、繰り返す必要がある。エントロピー符号化処理は、演算処理するデータ量が多いため、時間を要するため、上記手法による符号量の調整には長時間を要することになる。
【０００６】
本発明は、より迅速に所望の量の符号データを生成できる画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の第１の画像処理装置は、画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する符号化手段を備える画像処理装置において、エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を記憶しておく第１メモリと、上記画像データの符号データを記憶する第２メモリと、目標とする符号データ量を設定する設定手段と、上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節手段を備えることを特徴とする。
【０００８】
本発明の第２の画像処理装置は、上記第１の画像処理装置がＪＰＥＧ２０００に準拠し、所定の画素マトリクスで成るコードブロック単位で上記ウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行し、上記画像データの符号データを生成する符号化手段を備える画像処理装置であって、上記第１メモリは、上記第２メモリに記憶されている符号データの内、各コードブロックの符号データの格納アドレスと、各コードブロックのビットプレーン毎にコーディングパス単位の符号データの量を記憶しており、上記データ量調節手段は、上記第１メモリに記憶してあるコーディングパス単位の符号データの量に基づいて、上記第２メモリに記憶してある符号データから、各コードブロックの下位のビットプレーンのコーディングパス単位の符号データを順に削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にすることを特徴とする。
【０００９】
本発明の第１の画像処理方法は、画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する画像処理方法において、エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を第１メモリに記憶しておく第１記憶工程と、上記画像データの符号データを第２メモリに記憶する第２記憶工程と、目標とする符号データ量を設定する目標値設定工程と、上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節工程とで成ることを特徴とする。
【００１０】
本発明の第２の画像処理方法は、上記第１の画像処理方法がＪＰＥＧ２０００に準拠し、所定の画素マトリクスで成るコードブロック単位で上記ウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行し、上記画像データの符号データを生成する画像処理方法であって、上記第１記憶工程において、上記第２メモリに記憶されている符号データの内、各コードブロックの符号データの格納アドレスと、各コードブロックのビットプレーン毎にコーディングパス単位の符号データの量を第１メモリに記憶させ、上記データ量調節工程において、上記第１メモリに記憶してあるコーディングパス単位の符号データの量に基づいて、上記第２メモリに記憶してある符号データから、各コードブロックの下位のビットプレーンのコーディングパス単位の符号データを順に削除して符号データの量を上記目標値設定工程において設定された目標とする符号データの量とみなせる許容範囲内の値にすることを特徴とする。
【００１１】
【発明の実施の形態】
（１）実施の形態
本発明の画像処理装置は、例えば、ＪＰＥＧ２０００の規格に準拠した符号化処理装置であって、２枚のインターレース画像を合成して生成したノンインターレース画像を処理対象とし、当該ノンインターレース画像の画像データを周波数変換するために２次元離散ウェーブレット変換して得られるウェーブレット係数に対して行うエントロピー符号化処理（係数モデリング処理及び算術符号化処理で成る。）において、生成される符号データの他に、コードブロック単位でコーディングパス毎の符号データ量を記憶しておくものである。その後、画像データの出力時、設定された圧縮率より特定される全符号データ量を超えないように、各コードブロックの下位のビットプレーンのコーディングパスの符号データから順に削除する。当該処理により所望のデータ量（許容範囲内にあるものを含む）に調整された符号データをＪＰＥＧ２０００の標準のパケットデータに並び替えて外部の装置に出力する。このように、本発明の画像処理装置では、エントロピー符号化処理は１回で済み、処理の迅速化を図ることができる。
【００１２】
図１は、実施の形態に係る画像処理装置１０の全体構成図である。画像処理装置１０は、中央演算処理装置（ＣＰＵ）１を中心に、画像処理プログラムが格納されているＲＯＭ２、上記画像処理プログラムの実行時に使用される第１メモリ３及び第２メモリ４、マン・マシン・インターフェースであるキーボード５及びマウス６、ディスプレイ７、主記録装置であり、ビデオカメラ８で撮影した映像の処理後の符号データを記録するハードディスク（ＨＤ）９、並びに、ビデオカメラ８で構成される。
【００１３】
図２は、ビデオカメラ８により撮影される一連のフィールド０〜ｎのインターレース画像を示す図である。ビデオカメラ８は、撮影の開始時間ｔ０と共にフィールド０の画像のインターレース形式によるスキャンを行い、１／６０秒後にフィールド１の画像のインターレース形式によるスキャンを行う。そして終了時間ｔｎまでの間に１／６０秒単位で合計ｎ枚のフィールドの画像をインターレース形式でスキャンする。
【００１４】
図３の（ａ）〜（ｃ）は、ビデオカメラ８により連続して読み取られる２枚のフィールド０，１のインターレース画像Ａ，Ｂから生成される１枚のフレームのノンインターレース画像を示す図である。図３の（ａ）に示すように、インターレース形式では、１画素のライン（実線で示す走査ライン）をスキャンした後、直ぐ下の画素のライン（点線で示す走査ライン）を飛ばして２画素下のライン（実線で示す走査ライン）をスキャンする。フィールド０のインターレース画像Ａのスキャン終了後、ビデオカメラ８は、直ちに、図３の（ｂ）に示すように、前回スキャンしなかった画素ライン（図３の（ｂ）において実線で示す走査ライン）のスキャンを行う。これによりフィールド１のインターレース画像Ｂが撮影される。この撮影時、あるラインをスキャンしてから直ぐ下の画素のラインをスキャンするのに１／６０秒経過している。図３の（ａ）と（ｂ）を比較すれば解るように、上記１／６０秒の間に被写体１５は右方向（当然左方向の場合もある）に移動している。このため、図３の（ｃ）に示すように、インターレース画像Ａにインターレース画像Ｂを重ね合わせて成る１枚のフレームのノンインターレース画像の両端部分には、数画素分のくし型のずれが生じる。
【００１５】
なお、上記ノンインターレース画像のデータは、メモリ内にインターレース画像Ａ及びインターレース画像Ｂの画像データをスキャンしたライン毎（上記の例では１画素単位の走査ライン毎）に、交互に並べる（スキャンしていないラインのデータを補充する）ことで形成する。
【００１６】
図４の（ａ）は、第１メモリ３のメモリマップを示し、図４の（ｂ）は、第２メモリ４のメモリマップを示す。第１画像フレームバッファ３ａには、連続して読み込まれる２枚のインターレース画像から生成されるノンインターレース画像の画像データが格納される。第２画像フレームバッファ３ｂには、上記第１画像フレームバッファ３ａに格納したノンインターレース画像の符号化処理の実行中にビデオカメラ８により引き続き取り込まれる２枚のインターレース画像の画像データの書き込みが行われる。ビデオカメラ８による撮影中、第１画像フレームバッファ３ａおよび第２画像フレームバッファ３ｂには、インターレース画像の画像データが２枚単位（図３に示したインターレース画像Ａ，Ｂ）で交互に書き込まれる。
【００１７】
ＣＰＵ１は、第１画像フレームバッファ３ａに書き込まれた画像データに対してＪＰＥＧ２０００に準拠した符号化処理を施し、この符号化処理の際、以下に説明するように、第２メモリ４内のウェーブレット係数フレームバッファ４ａにウェーブレット係数のデータを格納すると共に、符号データバッファ４ｃに符号データを書き込み、更に、第１メモリ３の第１パケットデータポインタ３ｃにウェーブレット係数を所定のコードブロックに分割して各コードブロック毎に得られるコーディングパス毎の符号データ量についての情報を書き込む。
【００１８】
第１パケットデータポインタ３は、６４×６４画素マトリクスのコードブロックを単位として形成されるデータであり、図４の（ａ）に示すように、レベル３のウェーブレット変換を行った場合、１ＨＨ，１ＬＨ，１ＨＬについてそれぞれ２５６個、２ＨＨ，２ＬＨ，２ＨＬについてそれぞれ６４個、３ＨＨ，３ＬＨ，３ＨＬ，３ＬＬについてそれぞれ１６個用意される。
【００１９】
図４の（ｂ）に示すように、第２メモリ４内には、第１画像フレームバッファ３ａに格納されたノンインターレース画像の画像データに対してレベル３の２次元離散ウェーブレット変換を行って得られるウェーブレット係数用のフレームバッファ４ａ、第２画像フレームバッファ３ｂに格納されたノンインターレース画像の画像データに対してレベル３の２次元離散ウェーブレット変換を行って得られるウェーブレット係数用のフレームバッファ４ｂ、上記フレームバッファ４ａに格納するデータに基づいて行った符号化処理から得られる符号データを格納するバッファ４ｃ、及び、上記フレームバッファ４ｂに格納するデータに基づいて行った符号化処理から得られる符号データを格納するバッファ４ｄで構成される。
【００２０】
図５は、ＣＰＵ１の実行するＪＰＥＧ２０００に準拠した符号化処理のフローチャートである。まず、上述した第１メモリ３の第１画像フレームバッファ３ａからノンインターレース画像の画像データを読み出す（ステップＳ１）。読み出したノンインターレース画像の画像データを、Ｙ，Ｃｒ，Ｃｂの色成分データに変換する（ステップＳ２）。以降の処理部で各成分の色データは同じ手順で並列に処理されるが、説明の簡単化のため、以下、Ｙ成分の色データについてのみ説明する。
【００２１】
Ｙ成分の色データにレベル３の２次元離散ウェーブレット変換を施し、得られるウェーブレット係数を第２メモリ４のウェーブレット係数フレームバッファ４ａに書き込む（ステップＳ３）。当該処理により得られたウェーブレット係数に、ＪＰＥＧ２０００に規定のスカラ量子化処理を施し、バッファ４ａ内のデータを処理後のデータに更新する（ステップＳ４）。
【００２２】
スカラ量子化後のウェーブレット係数を図６に示すように、ｎ個のコードブロックに分割する（ステップＳ５）。コードブロックの順番は、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，３ＨＬ，３ＬＨ及び３ＨＨの各サブバンド内でラスタ走査順序に従う。コードブロックを表す変数ＣＢの値を１に初期化する（ステップＳ６）。第１メモリ３の第１パケットデータポインタ３ｃの所定領域に、図７に示すコードブロックＣＢ用のデータ記憶領域を確保し、当該データ記憶領域内にポイントヘッダデータ領域４００、レイヤポインタデータ領域４１０、ＣＰバイト数のデータ領域４５０に区切り、ポイントヘッダ情報及びレイヤ毎の初期データを書き込む（ステップＳ７）。画像処理装置１０では、ビットプレーン１枚を１レイヤとする。従って、コードブロック１個当たり１６枚のレイヤが存在する。上記ポイントヘッダ情報とは、係数モデリング処理実行前に段階で特定できるトータルコーディングパス数やゼロビットプレーン数の情報のことをいう。
【００２３】
コードブロックＣＢのウェーブレット係数にＪＰＥＧ２０００に規定されているエントロピー符号化処理として係数モデリング処理及び算術符号化処理を実行する（ステップＳ８）。まず、係数モデリング処理として、図８に示すように、６４×６４画素マトリクスの各１６ビットデータで構成されるコードブロックのウェーブレット係数を１６枚のビットプレーンに分解し、各ビットプレーン毎にＪＰＥＧ２０００に規定されている（１）クリーンアップ・パス（２）シグニフィカント・プロパゲーション・パス（３）マグニチュード・リファインメント・パスの３通りの３×３画素近傍処理を実行する。次に、算術符号化処理を実行し、第１メモリ３内のデータ領域内のデータを以下に説明するように更新すると共に、符号データを第２メモリ４内のバッファ４ｃに書き込む。
【００２４】
上記データの更新は、図７に示すように、コードブロックＣＢについて実行した係数モデリング処理及び算術符号化処理により得られる符号データより、符号データのバイト数を領域４１２に、符号データの有効ビット長を表すＬブロックデータ（８ビット）の領域４１３に、第２メモリ４のバッファ４ｃに書き込んだ符号データのアドレスデータ（スタートアドレス）を領域４１４にそれぞれ書き込んで行う。また、処理したコードブロックＣＢについて行う３つのパス毎に得られる符号データ量を表すデータをＣＰ０バイト数データ書き込み領域４５１、ＣＰ１バイト数データ書き込み領域４５２、ＣＰ２バイト数データ書き込み領域４５３にそれぞれ書き込む。なお、領域４１４に書き込んだ符号データのアドレスデータ（スタートアドレス）と領域４１２及び４１３に書き込んだデータより判別される符号データ量からエンドアドレスが解る。このため、以下に説明するように、符号データ量調節処理において、最下位ビットプレーン（レイヤ）の最終のコーディングパスにより得られる符号データ量を順に削除することは、簡単に行うことができる。
【００２５】
変数ＣＢの値がｎ以外の場合には（ステップＳ９でＮＯ）、変数ＣＢに１を加算して（ステップＳ１０）、上記ステップＳ８に戻る。他方、変数ＣＢの値がｎの場合には（ステップＳ９でＹＥＳ）、第１メモリ３の第１パケットデータポインタ３ｃ及び第２メモリ４の符号データバッファ４ｃのデータをハードディスク７に保存する（ステップＳ１１）。
【００２６】
処理すべき次のフレームのノンインターレース画像のデータがあるかを調べ、ある場合には（ステップＳ１１でＮＯ）、ステップＳ１に戻り上記処理を繰り返し実行する。なお、ステップＳ１では、上記ステップＳ１〜Ｓ１１の処理実行中に、第１メモリ３の第２画像フレームバッファ３ｂに格納されたノンインターレース画像のデータを読み出して処理し、ステップＳ５では、第２メモリ４のウェーブレット係数フレームバッファ４ｂに書き込まれたウェーブレット係数を処理対象とする。同様に、ステップＳ７及びＳ８では、第１メモリ３の第２パケットデータポインタ３ｄ及び第２メモリ４の符号データバッファ４ｄにデータの書き込みを行う。以後、第１メモリ３の第１画像フレームバッファ３ａ及び第２画像フレームバッファ３ｂ、第１パケットデータポインタ３ｃ及び第２パケットデータポインタ３ｄ、第２メモリ４のウェーブレット係数フレームバッファ４ａ及び４ｂ、符号データバッファ４ｃ及び４ｄをそれぞれ交互に処理対象とする。
【００２７】
一方、ビデオカメラ８により撮影された全てのフレームのノンインターレース画像の処理が終了した場合には（ステップＳ１１でＹＥＳ）、符号化処理を終了する。
【００２８】
図９は、符号データ量調節処理のフローチャートである。当該処理は、上記手順で符号化処理の終了後、直ちに実行するようにしても良いし、ユーザの任意のタイミングで起動できるようにしても良い。処理実行に伴い、まず、初期設定として変数ｍの値を３（３枚分のパス）×１６（１６枚のビットプレーン）＝４８、即ち１つのコードブロック内の全コーディングパス数に設定する（ステップＳ２０）。ディスプレイ９に図１０に示す設定画面を表示する（ステップＳ２１）。ユーザによりキーボード５及びマウス６の操作により目標符号データ量入力欄９２に目標とする符号データの量（単位Ｋｂｉｔ）が入力され、又は、目標圧縮率入力欄９３に目標とする符号データの圧縮率（単位％）が入力された後、設定ボタン９４が選択されるのを待つ（ステップＳ２２でＮＯ）。
【００２９】
上記何れかの数値入力及び設定ボタン９４の選択が行われた場合（ステップＳ２２でＹＥＳ）、入力された位置より目標とする符号データ量αを特定する（ステップＳ２３）。ハードディスク７より最初のフレームの符号データ（以下、標準符号データという）βを読み出す（ステップＳ２４）。変数γの値をβに設定する（ステップＳ２５）。ハードディスク７より合計ｎ個のコードブロックの最下位ビットのレイヤのコーディングパスＣＰｍ（＝４８）のバイト数（符号データ量）を読み出し、合計Ｂｍを算出する（ステップＳ２６）。上記変数γよりＢｍを減算する（ステップＳ２７）。
【００３０】
ここで、減算後の変数γの値が上記目標符号データ量α以上の場合（ステップＳ２８でＮＯ）、読み出した符号データからコーディングパスＣＰｍの符号データを削除し（ステップＳ２９）、変数ｍの値を１減算した後に（ステップＳ３０）、ステップＳ２６に戻る。他方、減算後の変数γの値が上記目標符号データ量αに満たない値になる場合には（ステップＳ２８でＹＥＳ）、図１１に例示するＪＰＥＧ２０００に準拠するパケットデータ形式によるデータの出力を行う（ステップＳ３１）。当該ＪＰＥＧ２０００に準拠するパケットデータ形式では、各１ビットのＰ−ｉｎｃ，ＣＢ−ｉｎｃ、図７に示すポイントヘッダ領域４００に書き込まれているゼロビットプレーンの数（６ビットデータ）、例えば、領域４１１に書き込まれているコーディングパスの数（６ビットデータ）、符号データのビット長を表すＬブロック（８ビットデータ）、符号データのバイト数（２４ビットデータ）、符号データ（目標符号データ量分のビットデータ）で構成される。
【００３１】
なお、上記ステップＳ２８における判断は、例えば１Ｋｂｉｔ程度の許容範囲を定めておき、減算後の変数γの値が上記目標符号データ量α＋１Ｋｂｉｔ以下になった場合に、目標値に達したと判断してもよい。
【００３２】
撮影した全てのフレームの符号データについての処理が未だの場合には（ステップＳ３２でＮＯ）、上記ステップＳ２４に戻り、次のフレーム符号データの読み出しを行う。他方、全てのフレームの符号データについての処理が終了した場合には（ステップＳ３２でＹＥＳ）、処理を終了する。
【００３３】
上述するように、画像処理装置１０では、図５に示した符号化処理により、ビデオカメラ８により撮影した画像のデータを、一旦ハードディスク７に格納し、この後、引き続いて、又はユーザにより起動される図９に示す符号データ量調節処理を実行することにより、ウェーブレット係数の下位ビットプレーンのデータの破棄、係数モデリング及び算術符号化処理、符号データ量の参照を繰り返し行い所望のデータ量の符号データを得る場合に比べ、唯１回の係数モデリング及び算術符号化処理で所望のデータ量の符号データを非常に短い時間で得ることができる。
【００３４】
なお、上記画像処理装置１０においてＣＰＵ１の実行する上記符号化処理及び符号データ量調節処理の一部又は全部をハード回路により実現しても良い。
【００３５】
（２）他の実施の形態
上述した画像処理装置１０では、ビデオカメラ８で撮影した各フレームのノンインターレース画像の画像データの符号化と、符号データ量の調節処理を別々に行うため、一旦撮影した映像の符号データを様々なサイズの符号データに変換して出力することができるという利点を有するが、図５に示す符号化処理の前の段階（ステップＳ１の実行前）で、目標とする符号データ量を設定する処理（図９のステップＳ２０〜Ｓ２３に相当する処理）を実行しておき、符号化処理において符号データ及びパケットデータポインタのデータをハードディスク７に保存する処理（図５のステップＳ１１の処理）のかわりに、第１メモリ３及び第２メモリ４に書き込まれているデータを直接使用して符号データ量の調節処理（図９のステップＳ２４〜Ｓ３１に相当する処理）を実行するようにしても良い（図は省略する）。
【００３６】
ＣＰＵ１により上記構成の処理を実行することで、ビデオカメラ８による撮影と同時に予め決めた量の符号データで成るパケットデータの出力を行うことができる。
【００３７】
なお、当該他の実施の形態においてＣＰＵの実行する処理の一部又は全部ハード回路により実現しても良い。
【００３８】
【発明の効果】
本発明の画像処理装置及び画像処理方法によれば、データ量調節前の符号データが第１メモリに記憶されているため、これから、符号データのデータ量が目標値になる様に、第１メモリに記憶しているビットプレーン毎の符号データ量に基づいて、符号データを削除するだけで、ウェーブレット係数のビットプレーンの下位ビットデータを破棄し、再び符号化処理を実行する場合に比べ、符号化処理が１回で済み、目標量の符号データを迅速に得ることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の構成を示す図である。
【図２】ビデオカメラによるインターレース画像の取り込みについて説明するための図である。
【図３】（ａ）〜（ｃ）は、２枚のインターレース画像から生成される１枚のノンインターレース画像を説明するための図である。
【図４】（ａ）は第１メモリのマップを示し、（ｂ）は第２メモリのマップを示す。
【図５】符号化処理のフローチャートである。
【図６】ウェーブレット係数をコードブロックに分割した状態を示す図である。
【図７】第１メモリ内にコードブロック単位で生成されるパケットデータポインタのデータ構造を示す図である。
【図８】コードブロックのデータをビットプレーンに展開して行う係数モデリング処理の説明を行うための図である。
【図９】符号データ量調節処理のフローチャートである。
【図１０】圧縮率設定画面を示す図である。
【図１１】ＪＰＥＧ２０００に準拠するパケットデータ構造の一例を示す図である。
【符号の説明】１ ＣＰＵ、２ ＲＯＭ、３ 第１メモリ、４ 第２メモリ、５ キーボード、６ マウス、７ ハードディスク、８ ビデオカメラ、９ディスプレイ、１０ 画像処理装置、９１ 圧縮率設定画面、９２ 目標符号データ量の数値入力欄、９３ 目標圧縮率の数値入力欄。
Claims (4)
- 画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する符号化手段を備える画像処理装置において、
エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を記憶しておく第１メモリと、
上記画像データの符号データを記憶する第２メモリと、
目標とする符号データ量を設定する設定手段と、
上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節手段を備えることを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置は、ＪＰＥＧ２０００に準拠し、所定の画素マトリクスで成るコードブロック単位で上記ウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行し、上記画像データの符号データを生成する符号化手段を備える画像処理装置であって、
上記第１メモリは、上記第２メモリに記憶されている符号データの内、各コードブロックの符号データの格納アドレスと、各コードブロックのビットプレーン毎にコーディングパス単位の符号データの量を記憶しており、
上記データ量調節手段は、上記第１メモリに記憶してあるコーディングパス単位の符号データの量に基づいて、上記第２メモリに記憶してある符号データから、各コードブロックの下位のビットプレーンのコーディングパス単位の符号データを順に削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にすることを特徴とする画像処理装置。 - 画像データを２次元離散ウェーブレット変換して得られるウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行して上記画像データの符号データを生成する画像処理方法において、
エントロピー符号化処理によりビットプレーン毎に生成される符号データの量を第１メモリに記憶しておく第１記憶工程と、
上記画像データの符号データを第２メモリに記憶する第２記憶工程と、
目標とする符号データ量を設定する目標値設定工程と、
上記第１メモリに記憶してある各ビットプレーンの符号データの量に基づいて、下位のビットプレーンの符号データより順に上記第２メモリに記憶してある符号データから削除して符号データの量を上記設定手段により設定された目標とする符号データの量とみなせる許容範囲内の値にするデータ量調節工程とで成ることを特徴とする画像処理方法。 - 請求項３に記載の画像処理方法は、ＪＰＥＧ２０００に準拠し、所定の画素マトリクスで成るコードブロック単位で上記ウェーブレット係数をビットプレーンに分割し、ビットプレーン単位でエントロピー符号化処理を実行し、上記画像データの符号データを生成する画像処理方法であって、
上記第１記憶工程において、上記第２メモリに記憶されている符号データの内、各コードブロックの符号データの格納アドレスと、各コードブロックのビットプレーン毎にコーディングパス単位の符号データの量を第１メモリに記憶させ、
上記データ量調節工程において、上記第１メモリに記憶してあるコーディングパス単位の符号データの量に基づいて、上記第２メモリに記憶してある符号データから、各コードブロックの下位のビットプレーンのコーディングパス単位の符号データを順に削除して符号データの量を上記目標値設定工程において設定された目標とする符号データの量とみなせる許容範囲内の値にすることを特徴とする画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319483A JP2004153751A (ja) | 2002-11-01 | 2002-11-01 | 画像処理装置及び画像処理方法 |
| US10/695,473 US7321693B2 (en) | 2002-11-01 | 2003-10-27 | Image processing apparatus and image processing method including adjustment of coded data to specified target size |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002319483A JP2004153751A (ja) | 2002-11-01 | 2002-11-01 | 画像処理装置及び画像処理方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007018086A Division JP4551413B2 (ja) | 2007-01-29 | 2007-01-29 | 画像処理装置及び画像処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004153751A true JP2004153751A (ja) | 2004-05-27 |
Family
ID=32462319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002319483A Pending JP2004153751A (ja) | 2002-11-01 | 2002-11-01 | 画像処理装置及び画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7321693B2 (ja) |
| JP (1) | JP2004153751A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011037009A1 (en) * | 2009-09-25 | 2011-03-31 | Canon Kabushiki Kaisha | Image processing apparatus and processing method therefor |
| US8452083B2 (en) | 2010-06-09 | 2013-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8509532B2 (en) | 2010-04-28 | 2013-08-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060193523A1 (en) * | 2002-04-01 | 2006-08-31 | Matrixview Limited | Repetition coded compression for highly correlated image data |
| JP4090975B2 (ja) * | 2003-09-30 | 2008-05-28 | 株式会社リコー | 画像処理装置 |
| US20070217607A1 (en) * | 2004-02-15 | 2007-09-20 | Matrixview Limited | Repetition Coded Compression For Encrypting Highly Correlated Data |
| JP4276981B2 (ja) * | 2004-06-30 | 2009-06-10 | 株式会社リコー | シリアル通信装置、その通信方法及びそのシリアル通信装置を使用したシステム装置 |
| JP5489557B2 (ja) * | 2009-07-01 | 2014-05-14 | パナソニック株式会社 | 画像符号化装置及び画像符号化方法 |
| JP5469127B2 (ja) * | 2011-05-30 | 2014-04-09 | 富士フイルム株式会社 | 画像データ符号化装置ならびにその動作制御方法およびそのプログラム |
| US9947071B2 (en) | 2014-06-27 | 2018-04-17 | Samsung Electronics Co., Ltd. | Texture pipeline with online variable rate dictionary compression |
| US10115177B2 (en) | 2014-06-27 | 2018-10-30 | Samsung Electronics Co., Ltd. | Online texture compression and decompression in hardware |
| TWI593272B (zh) * | 2016-06-04 | 2017-07-21 | 晨星半導體股份有限公司 | 壓縮影像資料的方法及影像資料壓縮系統 |
| US10860399B2 (en) | 2018-03-15 | 2020-12-08 | Samsung Display Co., Ltd. | Permutation based stress profile compression |
| US10776957B2 (en) | 2018-10-02 | 2020-09-15 | Samsung Electronics Co., Ltd. | Online image compression in hardware |
| US10803791B2 (en) | 2018-10-31 | 2020-10-13 | Samsung Display Co., Ltd. | Burrows-wheeler based stress profile compression |
| US11308873B2 (en) | 2019-05-23 | 2022-04-19 | Samsung Display Co., Ltd. | Redundancy assisted noise control for accumulated iterative compression error |
| US11245931B2 (en) | 2019-09-11 | 2022-02-08 | Samsung Display Co., Ltd. | System and method for RGBG conversion |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4302775A (en) * | 1978-12-15 | 1981-11-24 | Compression Labs, Inc. | Digital video compression system and methods utilizing scene adaptive coding with rate buffer feedback |
| FR2599893B1 (fr) | 1986-05-23 | 1996-08-02 | Ricoh Kk | Procede de montage d'un module electronique sur un substrat et carte a circuit integre |
| JPH01245607A (ja) | 1988-03-25 | 1989-09-29 | Ricoh Co Ltd | 合成型良限インパルス応答デジタルフィルタ |
| JP2945103B2 (ja) | 1990-05-15 | 1999-09-06 | 株式会社リコー | テスト用スキャン回路装置 |
| JPH05291891A (ja) | 1992-02-14 | 1993-11-05 | Ricoh Co Ltd | 一次乱数パルス列発生回路装置 |
| JP3449566B2 (ja) | 1994-01-28 | 2003-09-22 | 株式会社リコー | アドレス発生装置 |
| US5748786A (en) * | 1994-09-21 | 1998-05-05 | Ricoh Company, Ltd. | Apparatus for compression using reversible embedded wavelets |
| US5881176A (en) * | 1994-09-21 | 1999-03-09 | Ricoh Corporation | Compression and decompression with wavelet style and binary style including quantization by device-dependent parser |
| JPH08106375A (ja) | 1994-10-03 | 1996-04-23 | Ricoh Co Ltd | 信号処理演算器 |
| JPH08339298A (ja) | 1995-02-02 | 1996-12-24 | Ricoh Co Ltd | マイクロプロセッサにおける命令追加方法及びそれを用いたマイクロプロセッサ |
| US6144773A (en) * | 1996-02-27 | 2000-11-07 | Interval Research Corporation | Wavelet-based data compression |
| US5815097A (en) * | 1996-05-23 | 1998-09-29 | Ricoh Co. Ltd. | Method and apparatus for spatially embedded coding |
| US6052205A (en) * | 1997-02-14 | 2000-04-18 | Ricoh Company, Ltd. | Image data encoding/decoding method and apparatus configured to compress both natural gray scale images and binary images |
| US6125201A (en) * | 1997-06-25 | 2000-09-26 | Andrew Michael Zador | Method, apparatus and system for compressing data |
| JP3396720B2 (ja) | 1997-11-06 | 2003-04-14 | 株式会社リコー | 部分積生成回路 |
| US6310978B1 (en) * | 1998-10-01 | 2001-10-30 | Sharewave, Inc. | Method and apparatus for digital data compression |
| US6658159B1 (en) * | 2000-03-17 | 2003-12-02 | Hewlett-Packard Development Company, L.P. | Block entropy coding in embedded block coding with optimized truncation image compression |
| JP4545980B2 (ja) | 2000-05-11 | 2010-09-15 | キヤノン株式会社 | 符号化装置及び符号化方法並びに記憶媒体 |
| US6898323B2 (en) * | 2001-02-15 | 2005-05-24 | Ricoh Company, Ltd. | Memory usage scheme for performing wavelet processing |
| US6944639B2 (en) * | 2001-06-29 | 2005-09-13 | Nokia Corporation | Hardware context vector generator for JPEG2000 block-coding |
| US7110608B2 (en) * | 2001-07-02 | 2006-09-19 | Canon Kabushiki Kaisha | Digital image compression |
-
2002
- 2002-11-01 JP JP2002319483A patent/JP2004153751A/ja active Pending
-
2003
- 2003-10-27 US US10/695,473 patent/US7321693B2/en not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011037009A1 (en) * | 2009-09-25 | 2011-03-31 | Canon Kabushiki Kaisha | Image processing apparatus and processing method therefor |
| JP2011071767A (ja) * | 2009-09-25 | 2011-04-07 | Canon Inc | 画像処理装置及びその処理方法 |
| CN102577345A (zh) * | 2009-09-25 | 2012-07-11 | 佳能株式会社 | 图像处理设备及其处理方法 |
| US8660347B2 (en) | 2009-09-25 | 2014-02-25 | Canon Kabushiki Kaisha | Image processing apparatus and processing method therefor |
| CN102577345B (zh) * | 2009-09-25 | 2015-03-11 | 佳能株式会社 | 图像处理设备及其处理方法 |
| US8509532B2 (en) | 2010-04-28 | 2013-08-13 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
| US8452083B2 (en) | 2010-06-09 | 2013-05-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and computer-readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040136599A1 (en) | 2004-07-15 |
| US7321693B2 (en) | 2008-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004153751A (ja) | 画像処理装置及び画像処理方法 | |
| US8503809B2 (en) | Information processing apparatus and method to entropy code upon processing of predetermined number of precincts | |
| JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
| KR100971833B1 (ko) | 화상 부호화 방법 및 장치 | |
| US7302105B2 (en) | Moving image coding apparatus, moving image decoding apparatus, and methods therefor | |
| JP2004104347A (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| US7492951B2 (en) | Image processing method and apparatus, and computer-readable storage medium | |
| JP2004186871A (ja) | 画像処理装置、撮像装置、プログラム及び記憶媒体 | |
| JP4594425B2 (ja) | 画像処理装置 | |
| JP4551413B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2007014002A (ja) | 画像処理装置、画像処理用プログラム及び記録媒体 | |
| WO2006046550A1 (ja) | 画像符号化方法および装置、ならびに画像復号方法および装置 | |
| JP4688164B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2004096695A (ja) | 画像処理装置、画像表示装置、プログラム、記憶媒体及び画像処理方法 | |
| JP2011045138A (ja) | 画像復号方法 | |
| JP2004289737A (ja) | 画像符号化装置、画像符号化プログラム、及び画像復号化プログラム | |
| JP4194311B2 (ja) | 動画像符号化装置及び動画像復号装置並びにそれらの方法 | |
| JP4247089B2 (ja) | ノンインターレース画像の処理装置及び処理方法 | |
| JP4090978B2 (ja) | 画像処理装置 | |
| JP2004056632A (ja) | 動画像処理装置、動画像再生装置、動画像表示システム、プログラム、記憶媒体及び動画像処理方法 | |
| JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2021069094A (ja) | 画像符号化装置及びその制御方法及びプログラム | |
| JP2005102125A (ja) | 画像復号方法、画像復号装置 | |
| JP4280752B2 (ja) | コンピュータ等の画像処理装置、画像処理用プログラム及び記憶媒体 | |
| JP2004213202A (ja) | 画像処理方法、画像処理装置、撮像装置、プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070129 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070724 |