JP3591025B2

JP3591025B2 - Image information processing device

Info

Publication number: JP3591025B2
Application number: JP01468195A
Authority: JP
Inventors: 淳長谷部; 聡米谷; 規郎海老原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-01-31
Filing date: 1995-01-31
Publication date: 2004-11-17
Anticipated expiration: 2019-11-17
Also published as: JPH08205175A

Description

【０００１】
【産業上の利用分野】
本発明は、映像信号の合成、変形、色変換等の処理を行う画像情報処理装置に関する。
【０００２】
【従来の技術】
画像情報処理装置は、多数の入力画像信号から複数の画像信号を選択しながら、画像の合成や色変換や幾何変換等の画像処理を行っていた。例えば、上記画像情報処理装置は、２つの系統の画像信号を切り替え手段であるスイッチャを用いて、指定されたフレームで切り替えながら合成していた。
【０００３】
この画像情報処理装置は、図１７に示すように、標準フォーマットの画像信号である複合（以下、コンポジットといい、図中、Ｃｏｍｐｏｓｉｔｅと記す。）信号、Ｙ／Ｃ信号、コンポーネント（図中、Ｃｏｍｐｏｎｅｎｔと記す。）信号をスイッチャ１４１を介して受け取る。この画像情報処理装置では、上記画像処理をコンポーネント信号に施すようにしている。このため、コンポーネント信号でないＹ／Ｃ信号、コンポジット信号を、スイッチャ１４１以降でコンポーネント信号に変換する必要がある。
【０００４】
先ず、コンポジット信号は、Ｙ／Ｃ分離回路１４２でＹ、Ｃ信号に分離された後、デコーダ１４３で、コンポーネント信号であるＹ、Ｒ−Ｙ、Ｂ−Ｙ信号に変換される。Ｙ／Ｃ信号は、デコーダ１４３で、コンポーネント信号に変換される。デコーダ１４３の出力であるコンポーネント信号は、Ａ／Ｄ変換回路１４４に供給される。Ａ／Ｄ変換回路１４４は、書き込みクロック生成回路１４５のクロックに基づいて上記コンポーネント信号をディジタル信号に変換する。このディジタルコンポーネント信号は、フレームシンクロナイザ１４６に供給される。
【０００５】
フレームシンクロナイザ１４６は、スイッチャ１４１が上記標準フォーマットの映像信号から生成した外部クロック（図中、ＥＸＴｋｅｙと記す。）信号に基づいて、上記ディジタルコンポーネント信号を内部のフレームメモリ内に書き込むと共に、読みだして、後述するディジタルマルチエフェクト（ＤｉｇｉｔａｌＭｕｌｔｉＥｆｆｅｃｔ、以下ＤＭＥという。）処理に適する信号にするため、そのフレーム位置やカラーサブキャリアの位相等を調整する。このフレームシンクロナイザ１４６の出力であるディジタルコンポーネント信号は、スイッチャ１４７に供給される。
【０００６】
Ｙ／Ｃ分離回路１４８、デコーダ１４９、Ａ／Ｄ変換回路１５０、書き込みクロック生成回路１５１及びフレームシンクロナイザ１５２も上述したと同様の処理をスイッチャ１４１を介したもう一方の系の標準フォーマットの映像信号に施す。そして、フレームシンクロナイザ１５２の出力であるディジタルコンポーネント信号もスイッチャ１４７に供給される。このスイッチャ１４７には、カラー背景信号、カラーバー信号及びグリッド信号等のテストパターン信号を発生するテストパターン信号発生回路１５３からＹ、Ｒ−Ｙ、Ｂ−Ｙのディジタルコンポーネント信号も供給される。
【０００７】
スイッチャ１４７を介したディジタルコンポーネント信号は、２次元可変ローパスフィルタ（ＬＰＦ）１５４に供給される。この２次元可変ＬＰＦ１５４は、ディジタルコンポーネント信号にエリアシングを発生させないように、該ディジタルコンポーネント信号の高域成分を除去する。高域成分が除去されたディジタルコンポーネント信号は、フィールドメモリ１５５に供給される。このフィールドメモリ１５５には、システムコントローラ１５７から書き込み及び読み出しアドレスがＤＭＥ処理部１５８を介して供給される。このＤＭＥ処理部１５８は、システムコントローラ１５７の指示に従って、上記画像の合成や色変換や幾何変換等の画像処理をディジタルコンポーネント信号に施す。このため、システムコントローラ１５７は、ＤＭＥ処理部１５８に所望のＤＭＥ処理に必要とされるデータを供給する。
【０００８】
そして、ＤＭＥ処理部１５８は、システムコントローラ１５７から供給されるアドレス及びデータに従って、２次元可変ＬＰＦ１５４を介したディジタルコンポーネント信号に、フィールドメモリ１５５を用いて、上記画像情報処理を施す。
ここで、上記ディジタルコンポーネント信号に、例えば変形処理を施す場合、フィールドメモリ１５５から読み出される信号には、ピクセルの抜けが発生する。このため、フィールドメモリ１５５から読み出された信号は、補間処理回路１５６に供給され、所定の補間処理が施される。補間処理回路１５６の出力信号であるＤＭＥ処理信号は、データ混合回路１５９に供給される。このデータ混合回路１５９には、システムコントローラ１５７から、ＤＭＥ処理回路１５８に供給されるのと同じアドレスとデータも供給されており、上記ＤＭＥ処理信号と混合される。このデータ混合回路１５９の出力信号である混合出力信号は、合成回路１６１に供給される。この合成回路１６１には、フィールド遅延回路１６０で遅延された上記ディジタルコンポーネント信号も供給されており、上記混合出力信号に合成される。この合成回路１６１の合成出力が画像情報処理が施された信号であり、Ｄ／Ａ変換回路１６２でアナログ信号に変換され、アナログのコンポジット信号、Ｙ／Ｃ信号及びコンポーネント信号の形で出力される。
【０００９】
【発明が解決しようとする課題】
ところで、図１７に示したような従来の画像情報処理装置は、入出力信号を標準のコンポジット信号、Ｙ／Ｃ信号、コンポーネント信号に限定していた。標準の映像信号から外れるような、解像度の異なる画像や、転送レートの異なる画像や、画像サイズの異なる画像を扱えなかった。また、同じ画像信号でも、例えばＨＤＴＶ方式とＮＴＳＣ方式のように方式が異なると、同じ装置で処理ができなくなった。すなわち、従来の画像情報処理装置では、解像度に依存しないようないわゆるフリーフォーマットの画像信号や、転送レートに依存しないような画像信号や、画像サイズに依存しないようないわゆるスケラーブルフォーマットの画像信号や、方式の異なる画像信号を取り扱うことができなかった。また、当然ながら、圧縮画像が扱えなかったので、フレーム間圧縮処理をしたような圧縮画像の切り替えがスムーズに行えなかった。
【００１０】
本発明は、上記実情に鑑みてなされたものであり、解像度に依存しないようないわゆるフリーフォマットの画像信号や、転送レートに依存しないような画像信号や、画像サイズに依存しないようないわゆるスケーラブルフォーマットの画像信号や、方式の異なる画像信号にも種々の画像処理を施すことができ、またフレーム間圧縮処理が施されたような圧縮画像のスイッチングをスムーズに行える画像情報処理装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る画像情報処理装置は、フレーム間圧縮処理が施された複数の圧縮画像を処理する画像情報処理装置において、フレーム間圧縮処理が施された複数の圧縮画像信号を取り込み、選択的に出力するとともに、上記複数の圧縮画像信号を切り替えることによって生成された圧縮画像信号を出力する選択出力手段と、所定の切り替え点で上記複数の圧縮画像信号を切り替えるために、上記圧縮画像を再構成する再構成手段と上記再構成手段により再構成された圧縮画像信号を伸張する伸張手段と、上記伸張手段から出力された画像信号を一時的に記憶する第１の記憶部を有する第１の入出力手段と、上記第１の記憶部から出力された画像信号に種々の画像処理を施して画像処理信号を出力する画像処理手段と、上記画像処理信号を圧縮して圧縮画像処理信号を出力する圧縮手段と、上記圧縮画像処理信号を一時的に記憶する第２の記憶部を有する第２の入出力手段と、上記複数の圧縮画像信号を切り替えるために上記選択出力手段を制御するとともに、上記伸張手段、上記第１及び第２の入出力手段、上記画像処理手段及び上記圧縮手段を制御する制御手段と、を備え、上記再構成手段は、切り替えによって捨てられる画像を予測のために用いるフレーム間順方向予測符号化画像及び双方向予測符号化画像を対象として、上記フレーム間順方向符号化画像をフレーム内符号化画像に変更し、かつ切り替えによって捨てられる画像の予測情報に基づいて上記双方向予測符号化画像の予測情報を変更することにより、上記課題を解決する。
【００１３】
本発明に係る画像情報処理方法は、フレーム間圧縮処理が施された複数の圧縮画像を処理する画像情報処理方法において、フレーム間圧縮処理が施された複数の圧縮画像信号を選択的に出力し、所定の切り替え点で上記複数の圧縮画像信号を切り替えるために上記圧縮画像を再構成し、上記複数の圧縮画像信号を切り替えることによって再構成された圧縮画像信号を出力し、上記再構成された圧縮画像信号を伸張し、上記伸張された画像信号を一時的に第１の記憶部に記憶し、上記第１の記憶部から出力された画像信号に種々の画像処理を施して画像処理信号を出力し、上記画像処理信号を圧縮して圧縮画像処理信号を出力し、上記圧縮画像処理信号を一時的に第２の記憶部に記憶するようになされ、上記再構成時に、切り替えによって捨てられる画像を予測のために用いるフレーム間順方向予測符号化画像及び双方向予測符号化画像を対象として、上記フレーム間順方向符号化画像をフレーム内符号化画像に変更し、かつ切り替えによって捨てられる画像の予測情報に基づいて上記双方向予測符号化画像の予測情報を変更することにより上記課題を解決する。
【００１５】
【作用】
本発明に係る画像情報処理装置は、選択出力手段がフレーム間圧縮処理が施された複数の圧縮画像信号を取り込み、選択的に出力するとともに、複数の圧縮画像信号を切り替えることによって生成された圧縮画像信号を出力し、再構成手段が所定の切り替え点で複数の圧縮画像信号を切り替えるために、圧縮画像を再構成し、伸張手段が再構成された圧縮画像信号を伸張し、第１の入出力手段が伸張手段から出力された画像信号を一時的に記憶し、画像処理手段が第１の記憶部から出力された画像信号に種々の画像処理を施して画像処理信号を出力し、圧縮手段が画像処理信号を圧縮して圧縮画像処理信号を出力し、第２の入出力手段が圧縮画像処理信号を一時的に記憶し、制御手段が複数の圧縮画像信号を切り替えるために選択出力手段を制御するとともに、記伸張手段、第１及び第２の入出力手段、画像処理手段及び圧縮手段を制御する。この再構成手段は、切り替えによって捨てられる画像を予測のために用いるフレーム間順方向予測符号化画像及び双方向予測符号化画像を対象として、上記フレーム間順方向符号化画像をフレーム内符号化画像に変更し、かつ切り替えによって捨てられる画像の予測情報に基づいて上記双方向予測符号化画像の予測情報を変更する。
【００１６】
【実施例】
以下、本発明に係る画像情報処理装置の実施例について図面を参照しながら説明する。この実施例は、静止画像から動画像までの広範囲の画像の生成、色変換、合成、編集等の画像情報処理を行う画像情報処理装置であり、例えばフレーム間圧縮処理が施された圧縮画像信号を取り扱うことができる。フレーム間圧縮処理が施された画像としては、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ、蓄積用動画像符号化の検討組織）で標準化されたような符号化方法で圧縮された画像がある。また、上記画像情報処理装置は、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ、カラー静止画像符号化の検討組織）で標準化された符号化方法で圧縮された画像も取り扱うことができる。
【００１７】
先ず、本実施例の構成について説明する前に、ＭＰＥＧにより標準化された画像圧縮処理について説明しておく。この画像圧縮処理により圧縮された画像には、フレーム符号化画像であるＩ（Ｉｎｔｒａ）ピクチャ、フレーム間順方向予測符号化画像であるＰ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャ、双方向予測符号化画像であるＢ（ＢｉｄｉｒｅｃｔｉｏｎａｌＰｒｅｄｉｃｔｉｖｅ）ピクチャの３種類がある。以下では、説明の簡略化のために、これらＩピクチャ、Ｐピクチャ及びＢピクチャを、Ｉフレーム、Ｐフレーム及びＢフレームとして説明する。すなわち、Ｉフレームはフレーム内圧縮されたフレーム、Ｐフレームは前のＩフレームの予測情報を用い圧縮されたフレーム、Ｂフレームは前後のフレームであるＩフレームとＰフレームの予測情報を用い圧縮されたフレームである。圧縮画像は、これらのフレームの集合からなるグループオブピクチャ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ、以下ＧＯＰという。）と呼ばれる圧縮単位からなる。ＧＯＰは、一つのＩフレームを有し、例えば、“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”のように１５フレームからなる。
【００１８】
そして、上記画像情報処理装置は、図１に示すように、例えばＶＴＲやデータレコーダのような複数の外部入力装置から供給される複数の上記圧縮画像を選択的に取り込むと共に、上記ＧＯＰ内でＰフレームをＩフレーム化し、かつＢフレームの予測データの変更を行うマトリックススイッチャ１と、上記圧縮画像を元の画像に復元するように伸張するデコーダ２と、デコーダ２で伸張された画像信号をＹ、Ｒ−Ｙ、Ｇ−Ｙ又はＲ、Ｇ、Ｂのコンポーネント信号に変換すると共に、上記画像信号の転送レートを変換する機能を有する入力バッファメモリ部３と、入力バッファメモリ部３の出力信号である画像信号に色変換や変形や縮小や幾何変換等の各種画像情報処理を施す機能を有する画像処理部４と、画像処理部４の出力信号である画像処理信号を圧縮する機能を有するエンコーダ５と、エンコーダ５の圧縮画像処理信号である送り出しデータの転送レートを変換する機能を有する出力バッファメモリ部６と、マトリックススイッチャ１、デコーダ２、入力バッファメモリ部３、画像処理部４、エンコーダ５及び出力バッファメモリ部６の各処理を制御する制御部７とを有している。また、この画像情報処理装置には、処理パラメータや処理制御データを外部から与える手段であるキーボード８と、処理結果や入力画像を表示するモニター９が接続されている。
【００１９】
マトリックススイッチャ１は、図２に示すように、クロスポイントスイッチ１０と、ＧＯＰ再構成部１１及び１２と、合成部１３とからなる。クロスポイントスイッチ１０は、上記複数の外部入力装置からの複数の圧縮画像を入力し、制御部７の指示でその内の例えば２系統を選択する。ＧＯＰ再構成部１１及び１２は、例えば一方の連続画像をあるＧＯＰの途中で切り、他方の画像と接続する際に、途中から切られた一方の画像の不完全なＧＯＰを完全なＧＯＰに再構成する。合成部１３は、ＧＯＰ再構成部１１及び１２で再構成された２つのＧＯＰ画像を接続する。
【００２０】
ＧＯＰ再構成部１１及び１２は、図３に示すように、入力側バッファメモリ１４と、可変長符号復号器１５と、逆量子化器１６と、加算器１７と、バッファメモリ１８と、量子化器１９と、前向き補償回路２０と、後ろ向き補償回路２１と、フレームメモリ２２と、フレームメモリ２３と、ワークメモリ２４と、予測データ修正回路２５と、符号化器２６と、ＧＯＰ組立回路２７と、ワークメモリ／出力側バッファメモリ２８とから構成される。
【００２１】
入力側バッファメモリ１４は、後段の処理に必要な圧縮画像のデータを一時的に蓄える。可変長符号復号器１５は、可変長符号化されている上記圧縮画像データを復号する。逆量子化器１６は、可変長符号復号器１５で復号された画像データに量子化テーブルの逆数を掛け周波数領域の値に戻す。前向き補償回路２０は、フレームメモリ２２から時間の流れと同じ方向である前向き方向の逆量子化された画像データを取り出して画像を再構成する。後ろ向き補償回路２１は、フレームメモリ２３から時間の流れと逆方向である後ろ向き方向の逆量子化された画像データを取り出して画像を再構成する。加算器１７は、前向き補償回路２０及び後ろ向き補償回路２３から出力された再構成画像データと逆量子化器１６の処理結果である画像データとを加算する。バッファメモリ１８は、後段の処理で必要な例えば１ＧＯＰ分のデータを一時的に蓄える。量子化器１９は、バッファメモリ１８から取り出した上記加算画像データに、量子化テーブルの係数で各離散的コサイン変換値を掛ける処理を行うと共に、最終的なＧＯＰ総データ量を、予め決められたある一定値（基準データ量）以内に収める処理も行う。予測データ修正回路２５は、Ｂフレームの圧縮画像データを、前向き、及び後ろ向き予測データを追加／削除し修正する。ワークメモリ２４は、予測データ修正回路２５が予測したＢフレーム圧縮画像データに修正処理を施すためのワークメモリである。符号化器２６は、量子化したデータをハフマン符号とランレングス符号に変換する。ＧＯＰ組立回路２７は、基準データ量超えの判定、復号、再量子化、ハフマン・テーブル更新、符号化などの機能を有し、予測データ修正回路２５で修正された符号化データと、修正する必要のない他のデータとから新しいＧＯＰを再構成し、組み立てる。ワークメモリ／出力側バッファメモリ２８は、ＧＯＰ組立回路２７の組立処理を行うワークエリアの機能と、あるまとまった結果が得られ出力されるまで処理結果データを蓄えるメモリの機能を有する。
【００２２】
次に、上述したように構成されたマトリックススイッチャ１の動作について説明する。図２に示したクロスポイントスイッチ１０は、複数の外部入力装置より供給される複数の圧縮画像データから、制御部７の指示に従い、例えば２つの圧縮画像データを選択する。フレーム間圧縮をした圧縮画像データを扱う場合、クロスポイントスイッチ１０は選択の切り替えを切り替えフレームを含むＧＯＰの最後で行う。正確なフレーム切り替えは、後段のＧＯＰ再構成部１１及び１２で行われる。ここで、二つの画像を切り替え、一つの連続画像にする場合、既に選択されている画像を既存画像、新たに選択される画像を新画像と呼ぶことにする。既存画像は、ＧＯＰ再構成部１１又は１２を通り、合成部１３を通り、出力される。切り替え前では、ＧＯＰ再構成処理や合成処理は必要ないため既存画像はこれらを単に通過するだけである。
【００２３】
切り替え指示がくると、新画像は既存画像が供給されていない方のＧＯＰ再構成部１１又は１２に入力され、それぞれ指定されたフレームで切り替えられるよう、既存画像は指定フレームで終る新たなＧＯＰに、また、新画像は指定フレームで始まる新たなＧＯＰに再構成される。合成部１３はそれぞれの画像をＧＯＰ単位で接続し一つの連続画像にする。
【００２４】
ここで、ＧＯＰ再構成部１１及び１２の動作の詳細を、図３乃至図１０を参照しながら説明する。
図３において、入力側バッファメモリ１４、可変長符号復号器１５、逆量子化器１６、加算器１７、バッファメモリ１８及び量子化器１９からなる系と、閉ループを構成する加算器１７、フレームメモリ２３、フレームメモリ２２、前向き補償回路２０及び後ろ向き補償回路２１とからなる系とは、ＰフレームからＩフレームを生成するパスである。後述するように、新たにＩフレームを作る場合は前向き補償回路２０だけを、また、Ｂフレームの予測情報を修正するためにＰフレームをＩフレーム化する場合は前向き補償回路２０と後ろ向き補償回路２１の両方を用いる。
【００２５】
ＰフレームからＩフレームを生成するには、前のＩフレームを使いＰフレームをＩフレーム化すればよい。このＰフレームのＩフレーム化と後述のＢフレームの予測情報修正について説明する。
一つのＧＯＰは、一つのＩフレームを有し、例えば、“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”のように１５フレームからなることについては上述した。このＧＯＰのフレーム列の符号化順序は図４の（Ａ）に示すようになり、入力順序は図４の（Ｂ）に示すようになる。入力順序は、“ＢＢＩＢＢＰＢＢＰＢＢＰＢＢＰ”であるが、符号化順序は、Ｉが先頭に来るようにＩとＰを前にずらし、“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”となる。
【００２６】
マトリックススイッチャ１に入力された上記圧縮画像データのＧＯＰは、可変長符号復号器１５で図４の（Ａ）に示すような符号化順序を解かれ、図４の（Ｂ）に示すような入力順序とされている。図５にこの入力順序とされたＧＯＰの“ＩＢＢＰ”部分を取り出して示す。もちろん、各フレームは、左から入力順序で配列され、符号化を解かれた周波数領域のスペクトル値である。
【００２７】
ＩフレームＦ_Ｉのスペクトル値を、予測ベクトルを持つＰフレームＦ_Ｐのブロックのスペクトル値に加算する。ここで、ブロックは、８×８の６４画素分のスペクトル値から成る。動きベクトルである上記予測ベクトルは、ＩフレームＦ_ＩのあるブロックがＰフレームＦ_Ｐのあるブロックとある誤差内で同じであるという対応関係を示し、ＩフレームＦ_Ｉからそのブロックを持って来ることにより、対応するＰフレームＦ_Ｐのブロックが再生できる。この操作を全ブロックについて行うと、ＰフレームをＩフレーム化できる。可変長符号復号器１５、ワークメモリ２４及び予測データ修正回路２５からなる系は、前向き予測情報の埋め込み、又は、後ろ向き予測情報の埋め込み等、ＢフレームＦ_Ｂ１及びＦ_Ｂ２の修正を行う。前向きと後ろ向き両方の予測情報がある場合、どちらか一方のみにする。この操作は予測データ修正回路２５で行われる。ＢフレームＦ_Ｂ１及びＦ_Ｂ２の修正は、上述のＩフレーム化した後のフレームＦ_Ｐ’の情報を用いて行う。これは、Ｉフレーム化したフレームＦ_Ｐ’を捨てる前に、Ｂフレーム再生に必要な情報をＢフレームＦ_Ｂ１及びＦ_Ｂ２に移すために必要である。具体的には、ベクトル情報に基づきＩフレーム化したフレームＦ_Ｐ’からスペクトル値を移動し、フレーム間の依存関係をなくす処理を行う。このように、ＰフレームＦ_ＰのＩフレーム化には、二つの目的がある。一つは、ＢフレームＦ_Ｂ１及びＦ_Ｂ２の予測情報修正のため捨てるＰフレームＦ_ＰをＩフレーム化することと、もう一つはＩフレームＦ_Ｉを捨てるためにＰフレームＦ_Ｐから新たなＩフレームＦ_Ｐ’を作ることである。また、ＩフレームＦ_ＩからＢフレームＦ_Ｂ１及びＦ_Ｂ２に予測ブロックのスペクトル値を供給しているのは、伸張の際の操作である。ここでは、フレームの圧縮情報を予測情報としている。ＰフレームやＢフレームの予測情報には、動きベクトルを用いて差分化してから量子化した情報と、動きベクトルを用いない情報の２つがある。ＢフレームＦ_Ｂ１及びＦ_Ｂ２の予測情報修正はＩフレームＦ_ＩあるいはＰフレームＦ_Ｐを捨てる時に必要になる。ＩフレームＦ_ＩやＰフレームＦ_Ｐには動きベクトルを求めた元データ（動きベクトルを用いない情報）があるので、これをＢフレームＦ_Ｂ１及びＦ_Ｂ２に埋め込む必要がある。これが、動きベクトルを用い差分化してから量子化した情報を、動きベクトルを用いない情報に修正する理由である。Ｐフレームに元データがあるとは限らず、最悪の場合、Ｉフレームまでさかのぼることも有り得る。このようにして、ＧＯＰ再構成部１１及び１２は、ＰフレームのＩフレーム化とＢフレームの予測情報修正を行っている。
【００２８】
そして、このＧＯＰ再構成部１１及び１２は、符号化順序が“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”であるようなＧＯＰのフレーム列を切り替え位置の違いによって図６及び７に示すように再構成する。なお、ここではＧＯＰ再構成部１１が上記既存画像を図６のように、ＧＯＰ再構成部１２が上記新画像を図７のように再構成する。また、例えば、ＧＯＰ再構成部１１及び１２は、Ｐフレームがなく、ＩフレームとＢフレームだけから構成されている“ＩＢＢＢＩＢＢＢＩＢＢＢＩＢＢＢ”であるようなＧＯＰのフレーム列を切り替え位置の違いによって図８及び９に示すように再構成する。なお、ここではＧＯＰ再構成部１１が上記既存画像を図８のように、ＧＯＰ再構成部１２が上記新画像を図９のように再構成する。
【００２９】
図６及び７に示したＧＯＰ再構成処理の例では、既存画像のＰフレームを捨て、Ｂフレームに後ろ向き予測情報を加える処理と、新画像のＰフレームをＩフレームにし、Ｂフレームに前向き予測情報を加える処理をする。上記既存画像の処理では、前のＩフレームから次のＰフレームをＩフレーム化し、これを順次繰り返し対象のＰフレームをＩフレーム化し、これを用いてＢフレームの予測情報を修正する。また、上記新画像の処理では、前のＩフレームから対象のＰフレームをＩフレーム化し、前のＩフレームの情報を用いＢフレームの予測情報を修正する。
【００３０】
また、図８及び９に示したＧＯＰ再構成処理の例では、Ｐフレームが存在しないので、ＰフレームからＩフレームを作る必要がないが、Ｂフレームの修正のためＰフレームからＩフレームを生成するパスでＩフレームをワークメモリ２４に持って来る。
これらの処理が施された処理フレームデータは、ワークメモリ２４から符号化器２６に供給されてハフマン符号とランレングス符号に変換されてから、ワークメモリ／出力側バッファメモリ２８に入る。ワークメモリ／出力側バッファメモリ２８には、入力側バッファメモリ１４の出力も供給される。この入力側バッファメモリ１４から直接供給されるデータは、ＧＯＰの再構成において、処理する必要のない未処理フレームデータである。ワークメモリ／出力側バッファメモリ２８の出力データは、ＧＯＰ組立回路２７に入る。このＧＯＰ組立回路２７は、上記処理フレームデータと上記未処理フレームデータを組合せ、新たなＧＯＰを作る。ここで、不要となったフレーム情報が捨てられる。あるいは入力側バッファメモリ１４の出力で選択的に捨てることもできる。
【００３１】
以下、ＧＯＰ再構成部１１及び１２が行う上記図６及び７、上記図８及び９の二つの例について詳しく説明する。
図６の（Ａ）は、上記既存画像のＧＯＰの入力順序フレーム列の後半部分ｆ，ｄ，ｈ，ｉ，ｇ，ｋ，ｌ，ｊ，ｎ，ｏ，ｍと、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８を示す。ここで、ｄ，ｇ，ｊ，ｍは、Ｐフレームであり、ｆ，ｈ，ｉ，ｋ，ｌ，ｎ，ｏはＢフレームである。また、各切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８での切り替えは、制御部７により指示される。図６の（Ｂ）乃至図６の（Ｉ）には、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８が指示された場合のＧＯＰ再構成部１１で行われる再構成処理の様子を示す。ここで、ＧＯＰの基本的な符号化順序は、Ｂフレームであるｈ，ｉを符号化するにはＰフレームであるｇフレームが既に分かっていなければならないので、ｈ，ｉよりもｇを早く符号化するため、Ｐフレームであるｇを前のＰフレームの位置に移動した順序となる。Ｐフレームのｊ，ｍも同様である。
【００３２】
制御部７からの指示により図６の（Ａ）のように切り替え位置Ｓ_１が示されると、ＧＯＰ再構成部１１では特に、上記基本的な符号化順序を変更することなく、図６の（Ｂ）に示すように、ＧＯＰ単位での切り替えを行う。
上記切り替え位置Ｓ_２が示されると、ＧＯＰ再構成部１１は図６の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｎ，ｏにＰフレームであるｍの後ろ向き予測情報を加え、修正ｎ’，ｏ’としてから該ｍを捨てる。後ろ向き予測情報を加えるのは、Ｂフレームのｎとｏに実際のブロック画像情報を加えることによって、ｎとｏからｍによって与えられたベクトル情報を削除するためである。Ｐフレームのブロック画像情報は、ＩフレームとＰフレームとの差分値を、あるいはＰフレームの値を離散的コサイン変換したものである。ＩフレームとＰフレームの差分値を離散的コサイン変換する場合は、ＧＯＰ内に以前のＩフレームとＰフレームから対象のＰフレームであるｍの画像を再構成する必要がある。つまり、ＧＯＰ内の前からＢフレームの予測情報付加に必要なＰフレームまでのすべてをＩフレームから一時的にＩフレーム化する。
【００３３】
上記切り替え位置Ｓ_３が示されると、ＧＯＰ再構成部１１は図６の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｎにＰフレームであるｍの後ろ向き予測情報を加え、ｎ’に修正してから、ｏ’とｍを捨てる。
上記切り替え位置Ｓ_４が示されると、ＧＯＰ再構成部１１は図６の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列の、ｎ，ｍ，ｏを捨てる。
【００３４】
上記切り替え位置Ｓ_５が示されると、ＧＯＰ再構成部１１は図６の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｋ，ｌにＰフレームであるｊの後向き予測を加え、修正ｋ’，ｌ’としてから、ｊ，ｎ，ｏ，ｍを捨てる。
上記切り替え位置Ｓ_６が示されると、ＧＯＰ再構成部１１は図６の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｋにＰフレームであるｊの後向き予測を加え、修正ｋ’としてから、ｌ，ｊ，ｎ，ｏ，ｍを捨てる。
【００３５】
上記切り替え位置Ｓ_７が示されると、ＧＯＰ再構成部１１は図６の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のｋ，ｌ，ｊ，ｎ，ｍ，ｏを捨てる。
上記切り替え位置Ｓ_８が示されると、ＧＯＰ再構成部１１は図６の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｈ，ｉにＰフレームであるｇの後向き予測情報を加え、修正ｈ’、ｉ’としてからｇ，ｋ，ｌ，ｊ，ｎ，ｍ，ｏを捨てる。
【００３６】
図７の（Ａ）は、上記新画像のＧＯＰの入力順序フレーム列の前半部分ｂ，ｃ，ａ，ｅ、ｆ，ｄ，ｈ，ｉ，ｇ，ｋと、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８を示す。ここで、ａはＩフレームであり、ｄ，ｇ，ｊはＰフレームであり、ｂ，ｃ，ｅ，ｆ，ｈ，ｉ，ｋはＢフレームである。また、各切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８での切り替えは、制御部７により指示される。図７の（Ｂ）乃至図７の（Ｉ）には、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８の場合のＧＯＰ再構成部１２で行われる再構成処理の様子を示す。また、ＧＯＰの基本的な符号化順序は、Ｉフレームであるａが先頭になるように、該ａとＰフレームであるｄ，ｇ，ｊを前のＩ又はＰフレームの位置に移動した順序となる。
【００３７】
制御部７からの指示により、図７の（Ａ）のように切り替え位置ｓ_１が示されると、ＧＯＰ再構成部１２では特に、上記符号化順序を変更することなく、ＧＯＰ単位での切り替えを行う。
上記切り替え位置ｓ_２が示されると、ＧＯＰ再構成部１２は図７の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂを捨てる。
【００３８】
上記切り替え位置ｓ_３が示されると、ＧＯＰ再構成部１２は図７の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂ，ｃを捨てる。
上記切り替え位置ｓ_４が示されると、ＧＯＰ再構成部１２は図７の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｄをＩフレーム化し、ＢフレームであるｅとｆにＩフレームであるａの前向き予測情報を加え、修正ｅ’，ｆ’としてから、ａ，ｂ，ｃを捨てる。前向き予測情報を加えるのは、Ｂフレームのｅとｆに実際のブロック画像情報を加えることによって、ｅとｆからａによって与えられたベクトル情報を削除するためである。
【００３９】
上記切り替え位置ｓ_５が示されると、ＧＯＰ再構成部１２は図７の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｄをＩフレーム化し、ＢフレームであるｆにＩフレームであるａの前向き予測情報を加え、修正ｆ’としてから、ａ，ｂ，ｃ，ｅを捨てる。
上記切り替え位置ｓ_６が示されると、ＧＯＰ再構成部１２は図７の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｄをＩフレーム化し、ａ，ｂ，ｃ，ｅ，ｆを捨てる。
【００４０】
上記切り替え位置ｓ_７が示されると、ＧＯＰ再構成部１２は図７の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｇをＩフレーム化し、ｈとｉにｄの前向き予測情報を加え、修正ｈ’，ｉ’としてから、ａ，ｂ，ｃ，ｄ，ｅ，ｆを捨てる。
上記切り替え位置ｓ_８が示されると、ＧＯＰ再構成部１２は図７の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のＰフレームであるｇをＩフレーム化し、ｉにｄの前向き予測情報を加え、修正ｉ’としてから、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｈを捨てる。
【００４１】
このように、ＧＯＰ再構成部１１及び１２は、既存画像及び新画像をそれぞれ独立に再構成する。そして、合成部１３は、それぞれの画像をＧＯＰ単位で接続し、一つの連続画像にする。
図８の（Ａ）は、上記既存画像のＧＯＰの入力順序フレーム列の後半部分ｈ，ｅ，ｊ，ｋ，ｌ，ｉ，ｏ，ｐ，ｑ，ｍと、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８を示す。ここで、ｅ，ｉ，ｍはＩフレームであり、ｈ，ｊ，ｋ，ｌ，ｏ，ｐ，ｑはＢフレームである。また、各切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８での切り替えは、制御部７の指示により示される。図８の（Ｂ）乃至図８の（Ｉ）には、切り替え位置Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４，Ｓ_５，Ｓ_６，Ｓ_７，Ｓ_８の場合のＧＯＰ再構成部１１で行われるＧＯＰ再構成の様子を示す。ここで、ＧＯＰの基本的な符号化順序は、Ｉフレームであるｅ，ｉ，ｍを前のＩフレームの位置に移動した順序となる。
【００４２】
制御部７の指示により図８の（Ａ）のように切り替え位置Ｓ_１が示されると、ＧＯＰ再構成部１１では特に、上記基本的な符号化順序を変更することなく、図８の（Ｂ）に示すように、ＧＯＰ単位での切り替えを行う。
上記切り替え位置Ｓ_２が示されると、ＧＯＰ再構成部１１は、図８の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｏ，ｐ，ｑにＩフレームであるｍの後ろ向き予測情報を加え、修正ｏ’，ｐ’，ｑ’としてからｍを捨てる。
【００４３】
上記切り替え位置Ｓ_３が示されると、ＧＯＰ再構成部１１は、図８の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｏ，ｐにＩフレームであるｍの後ろ向き予測情報を加え、修正ｏ’，ｐ’としてからｍ，ｑを捨てる。
上記切り替え位置Ｓ_４が示されると、ＧＯＰ再構成部１１は、図８の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｏにＩフレームであるｍの後ろ向き予測情報を加え、修正ｏ’としてからｍ、ｐ，ｑを捨てる。
【００４４】
上記切り替え位置Ｓ_５が示されると、ＧＯＰ再構成部１１は、図８の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のｏ，ｐ，ｑ，ｍを捨てる。
上記切り替え位置Ｓ_６が示されると、ＧＯＰ再構成部１１は、図８の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｊ，ｋ，ｌにＩフレームであるｉの後ろ向き予測情報を加え、修正ｊ’，ｋ’，ｌ’としてから、ｉ，ｏ，ｐ，ｑ，ｍを捨てる。
【００４５】
上記切り替え位置Ｓ_７が示されると、ＧＯＰ再構成部１１は、図８の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｊ，ｋ，にＩフレームであるｉの後ろ向き予測情報を加え、修正ｊ’，ｋ’としてから、ｌ，ｉ，ｏ，ｐ，ｑ，ｍを捨てる。
上記切り替え位置Ｓ_８が示されると、ＧＯＰ再構成部１１は、図８の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｊにＩフレームであるｉの後ろ向き予測情報を加え、修正ｊとしてから、ｋ，ｌ，ｉ，ｏ，ｐ，ｑ，ｍを捨てる。
図９の（Ａ）は、上記新画像のＧＯＰの入力順序フレーム列の前半部分ｂ，ｃ，ｄ，ａ，ｆ，ｇ，ｈ，ｅ，ｊ，ｋと、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８を示す。ここで、ａ，ｅはＩフレームであり、ｂ，ｃ，ｄ，ｆ，ｇ，ｈ，ｊ，ｋはＢフレームである。また、各切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８での切り替えは、制御部７により指示される。図９の（Ｂ）乃至図９の（Ｉ）には、切り替え位置ｓ_１，ｓ_２，ｓ_３，ｓ_４，ｓ_５，ｓ_６，ｓ_７，ｓ_８の場合のＧＯＰ再構成部１２で行われるＧＯＰ再構成処理の様子を示す。また、ＧＯＰの基本的な符号化順序は、Ｉフレームであるａ，ｅ，ｉを前のＩフレームの位置に移動した順序となる。
【００４６】
制御部７の指示により、図９の（Ａ）のように切り替え位置ｓ_１が示されると、ＧＯＰ再構成部１２では特に、上記符号化順序を変更することなく、ＧＯＰ単位での切り替えを行う。
上記切り替え位置ｓ_２が示されると、ＧＯＰ再構成部１２は図９の（Ｃ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂを捨てる。
【００４７】
上記切り替え位置ｓ_３が示されると、ＧＯＰ再構成部１２は図９の（Ｄ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂ，ｃを捨てる。
上記切り替え位置ｓ_４が示されると、ＧＯＰ再構成部１２は図９の（Ｅ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｂ，ｃ，ｄを捨てる。
【００４８】
上記切り替え位置ｓ_５が示されると、ＧＯＰ再構成部１２は図９の（Ｆ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｆ，ｇ，ｈにａの前向き予測情報を加え、修正ｆ’，ｇ’，ｈ’としてから、ｂ，ｃ，ｄ，ａを捨てる。
上記切り替え位置ｓ_６が示されると、ＧＯＰ再構成部１２は図９の（Ｇ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｇ，ｈにＩフレームであるａの前向き予測情報を加え、修正ｇ’，ｈ’としてから、ｂ，ｃ，ｄ，ａ，ｆを捨てる。
【００４９】
上記切り替え位置ｓ_７が示されると、ＧＯＰ再構成部１２は図９の（Ｈ）に示すように、上記基本的な符号化順序とされたフレーム列のＢフレームであるｈにＩフレームであるａの前向き予測情報を加え、修正ｈ’としてから、ｂ，ｃ，ｄ，ａ，ｆ，ｇを捨てる。
上記切り替え位置ｓ_８が示されると、ＧＯＰ再構成部１２は図９の（Ｉ）に示すように、上記基本的な符号化順序とされたフレーム列のｂ，ｃ，ｄ，ａ，ｆ，ｇ，ｈを捨てる。
【００５０】
このように、ＧＯＰ再構成部１１及び１２は、既存画像及び新画像をそれぞれ独立に再構成する。そして、合成部１３は、それぞれの画像をＧＯＰ単位で接続し、一つの連続画像にする。
ここで、ＧＯＰ再構成部１１及び１２で行われるＧＯＰ組替えに伴いＧＯＰの総データ量が予め決められたデータ総量である基準データ量を超える場合が生じる。この場合は、ＧＯＰ組立部２７は、上記処理フレームデータと上記未処理フレームデータからなる総データ量を基準データ量以内に収めるためのデータ圧縮処理を行う。このＧＯＰ組立部２７のデータ圧縮処理を図１０のフローチャートを参照しながら説明する。
【００５１】
先ず、ＧＯＰ組立部２７は、ステップＳＴ１に示すように、ワークメモリ／出力側バッファメモリ２８に格納されている処理対象のＧＯＰの総データ量を算出する。そして、算出したＧＯＰの総データ量が予め決められた基準データ量以下か否かをステップＳＴ２で判定する。ここで、基準データ量は、ＧＯＰを構成するフレーム数により変わる。上記ＧＯＰの総データ量が上記基準データ以下である場合、ＧＯＰ組立回路２７は、ステップＳＴ３に進み、上記ＧＯＰの総データをワークメモリ／出力側バッファメモリ２８から読み出して、後段の合成部１３に供給する。このステップＳＴ３の処理が完了すればＧＯＰ組立部２７のデータ圧縮処理は終了する。
【００５２】
しかし、ステップＳＴ２でＧＯＰの総データ量が基準データ量よりも大きいと判断すると、ＧＯＰ組立回路２７は、ステップＳＴ４に進み、ワークメモリ／出力側バッファメモリ２８からＧＯＰの総データを読み出した後、ステップＳＴ５に示すように、該読みだしたＧＯＰの総データを可変長符号復号器で復号化する。そして、ＧＯＰ組立回路２７は、復号化したＧＯＰの総データのデータ量が基準データ量以下になるように、ステップＳＴ６で再度量子化を行いデータ量を修正する。その後、ＧＯＰ組立回路２７は、上記データ量が修正されたＧＯＰデータをステップＳＴ７で符号化し、ワークメモリ／出力側バッファメモリ２８に戻してから、ステップＳＴ８に示すように、該再量子化されたＧＯＰデータをワークメモリ／出力側バッファメモリ２８から読み出す。
【００５３】
ステップＳＴ８で読み出されたＧＯＰデータは、ステップＳＴ１に戻り総データ量が算出される。その後は、ステップＳＴ２で該データ量が基準データ以下か否かの判断を受け、ＹＥＳが判断されれば、ステップＳＴ３で合成部１３に供給される。ＮＯが判断されれば、ステップＳＴ４からステップＳＴ８の処理を繰り返す。
【００５４】
ここで、ステップＳＴ６で行われる再量子化は、量子化器１９で用いた量子化テーブルの各係数に重み係数を掛けることにより、割当ビット数を減らす。この再量子化は、Ｉフレーム、Ｐフレーム及びＢフレームの全てに対して行う。上記重み係数は、基準データ量を総データ量で割り算した値に定数を掛けたものを用いる。定数は、符号化する際に基準データ量を超えないように定める。
【００５５】
ＧＯＰ総データ量を基準データ量以内に収めるには、さらに符号化器２６のハフマンテーブルの更新機能を用意し、符号化する際の基準データ超えが生じないようにする処置をとってもよい。
このようにして、マトリックススイッチャ１は、フレーム間圧縮処理をした圧縮画像の切り替えを、指定したフレームで正確に行える。また、切り替え後の圧縮画像は、伸張処理に影響を及ぼさない。また、切り替え後のＧＯＰのフレーム構成が同じである必要はない。また、切り替え画像のＧＯＰの位相は一致する必要はない。切り替え合成後の画像のＧＯＰ情報量の増加を抑えられる。また、画像の伸張を不要として、カット編集を行える。
【００５６】
次に、本実施例の画像情報処理装置は、上述したマトリックススイッチャ１によって上述したように接続された上記圧縮画像データを図１に示したデコーダ２により、元の画像に復元する。また、デコーダ２は、圧縮画像を元の画像に復元する機能の他、入力信号から画像信号と音声信号とそれらの属性情報を分離する機能と、制御部７との通信機能も備えている。
【００５７】
ここで、属性情報とは信号の性質や特徴を示す情報で、例えば画像信号の場合、圧縮／非圧縮状態識別情報、圧縮方式情報、水平・垂直方向の画素数に応じる画像サイズ情報、処理領域を指定する処理画面サイズ情報、例えばＮＴＳＣ、ＰＡＬ、ＲＧＢ等の画像方式情報、入出力信号レート情報等がある。この属性情報は、制御部７経由でデコーダ２に与えることもできる。
【００５８】
具体的に、デコーダ２は、制御部７の指示に従い伸張方法を換えながら外部入力装置からの圧縮画像信号を伸張する。属性情報の圧縮／非圧縮状態識別情報で非圧縮状態とされた伸張する必要のない画像には伸張処理を施さないで、バイパスする。このデコーダ２は、図１１に示すように、例えばハフマン復号化等の復号化を行う復号器３１と、ＩＤＣＴ回路３２と、逆ブロック化回路３３からなり、上記ＪＰＥＧで標準化された符号化方法によって圧縮された画像をデコードするＪＰＥＧ用デコーダ３０と、バッファメモリ４１と、可変長符号復号器４２と、逆量子化器４３と、ＩＤＣＴ回路４４と、加算器４５と、前向き補償回路４６と、前向き＋後向き補償回路４７と、後ろ向き補償回路４８と、フレームメモリ４９と、フレームメモリ５０とからなり、上記ＭＰＥＧで標準化された符号化方法で圧縮された画像をデコードするＭＰＥＧ用デコーダ４０とを有して構成される。
【００５９】
ＪＰＥＧ用デコーダ３０とＭＰＥＧ用デコーダ４０の入力側には、どちらのデコーダにデータを通すかを選択するデコーダ選択器３４が設けられている。また、このＪＰＥＧ用デコーダ３０とＭＰＥＧ用デコーダ４０の出力側には、出力選択器３５が設けられている。
ＪＰＥＧ用デコーダ３０の復号器３１は、例えばハフマン符号化されたデータを復号化する。ＩＤＣＴ回路３２は、上記復号化データに離散的コサイン逆変換処理を施す。逆ブロック化回路３３は、ブロック化されていたデータを元に戻し一枚の画像にする。
【００６０】
ＭＰＥＧ用デコーダ４０のバッファメモリ４１は、後段のデコード処理に必要なデータを一時的に蓄える。可変長符号復号器４２は、可変長で符号化されたデータを復号化する。逆量子化器４３は、可変長符号復号器４２の出力データに量子化数を掛け周波数領域の値に戻す。ＩＤＣＴ回路４４は、逆量子化器４３の出力データに離散的コサイン逆変換処理を施す。前向き補償回路４６は、フレームメモリ４９から時間の流れと同じ方向である前向き方向の画像情報を取り出して画像を再構成する。後ろ向き補償回路４８は、フレームメモリ５０から時間の流れと逆方向である後ろ向き方向の画像情報を取り出して画像を再構成する。前向き＋後ろ向き補償回路４７は、フレームメモリ４９とフレームメモリ５０から上記両方向の画像情報を取り出して画像を再構成する。加算器４５は、前向き補償回路４６、前向き＋後ろ向き補償回路４７及び後ろ向き補償回路４８から出力された再構成画像とＩＤＣＴ回路４４の処理結果の画像を加算する。このデコーダ２の伸張処理は、例えば８×８画素ブロック単位であるような任意の大きさの画像も受け入れられるようにパラメトリックになっており、属性情報の画像サイズ情報に従い指定された大きさの画像を伸張できる。例えば８×８画素ブロックで端数のでる画像の場合は、ダミーデータを付加し端数のでない大きさにして処理する。
【００６１】
次に、入力バッファメモリ部３は、上記画像信号を例えばコンポーネント信号に変換すると共に上記画像信号の転送レートを変換する機能の他、制御部７との通信機能も備える。入力バッファメモリ部３は、図１２に示すように、方式変換エンコーダ５１と、レート変換機能付バッファメモリ５２とから構成される。方式変換エンコーダ５１は、デコーダ２で伸張されたコンポジット信号や、Ｙ／Ｃ信号を本装置の内部処理で取り扱われるＹ、Ｒ−Ｙ、Ｇ−Ｙ又はＲ、Ｇ、Ｂ等のコンポーネント信号に変換する。この方式変換は、制御部７から与えられる属性情報の画像サイズ情報と画像方式情報に従い処理される。ただし、単なるフレームの切り換えの場合等には、コンポジット信号、Ｙ／Ｃ信号のままでもよいので、コンポーネント信号への変換は不要となる。
【００６２】
また、レート変換機能付バッファメモリ５２は、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持っている。レート変換機能付バッファメモリ５２への書き込みは、該バッファメモリ５２への入力のレートで行い、読み出しは内部の処理レートで行う。上記バッファメモリ５２への入力のレートは、方式変換エンコーダ５１の出力レートである。書き込みレートに対して読み出しレートが速い場合は、読み出しの途中で待ち状態が入る。レート変換機能付バッファメモリ５２は、２枚のメモリから成り、一方が書き込みメモリの時、もう一方は読み出しメモリになる。読み出し／書き込みの役割は交互に入れ替わる。すなわち、レート変換機能付バッファメモリ５２は、ダブルバッファメモリ構造をとる。二つのメモリのそれぞれは、独立に働くアドレス生成器を持つ。アドレス生成器は、制御部７から与えられる属性情報の画像入出力レート情報に従いアドレスを生成する。アドレス生成ブロックの大きさとブロックアドレスの間隔を調整することによりさまざまなレートの入力を処理系の内部レートに変換できる。なお、本実施例では、画像データをブロックで扱うので、上記レートは時間の平均レートである。
【００６３】
画像処理部４は、画像の生成や合成やペイントや特殊効果等の画像処理を行う機能の他、制御部７との通信機能も備えている。
この画像処理部４は、図１３に示すように、色変換回路５３と、可変タップ低域フィルタ５４と、画像メモリ５５と、補間フィルタ５６と、合成回路５７と、アドレス生成器５８と、画像処理制御部５９とから構成される。
【００６４】
色変換回路５３は、画像処理制御部５９の指示に従い画像の各画素の色を変える。一般に、各色はＲ、Ｇ、ＢあるいはＹ、Ｒ−Ｙ、Ｂ−Ｙの３色からなり、その混合比を変えることにより色変換される。可変タップ低域通過フィルタ５４は、縮小処理に先だってアンチエリアシング処理を行うための低域通過フィルタ機能を備える。この可変タップ低域通過フィルタ５４は、画像処理制御部５９の指示に従い、タップ係数を変えられるので、縮小の程度に応じ、作用する低域範囲を変えられる。また、上記低域通過フィルタ機能は、特殊効果の一つであるデフォーカスと呼ばれるぼかし処理にも用いられる。画像メモリ５５は、幾何学変換と呼ばれる座標変換を行うためのワーキングメモリである。変換のためのアドレスは、アドレス生成器５８で生成される。補間フィルタ５６は、座標変換により生じた空の画素を周囲の画素値を用い穴埋めするための補間機能を有する。合成回路５７は、複数の処理画像を合成する。アドレス生成器５８は、画像メモリ５５上の画像を幾何学変換するためのアドレスを生成する。画像処理制御部５９は、色変換回路５３、可変タップ低域通過フィルタ５４、アドレス生成器５８、補間フィルタ５６、合成回路５７に制御信号を出し処理を指示する。この画像処理制御部５９には、制御部７からの制御信号が供給されている。
【００６５】
ここで、画像の処理範囲や画像をメモリにしまう領域は、制御部７から伝えられる属性情報の処理画面サイズ情報と画像サイズ情報に従ったパラメータにより設定される。これにより任意のサイズの画像を任意の処理画面サイズで処理できる。
エンコーダ５は、上記画像信号を圧縮する機能の他、画像方式変換機能と、制御部７との通信機能も備えている。ここで、エンコーダ５は、制御部７の指示に従い圧縮方法を変えながら画像を圧縮するが、圧縮する必要のない画像はバイパスする。また、エンコーダ５は、上記画像方式変換機能により、上述したコンポーネントによる画像方式を制御部７から供給される属性情報の画像方式情報に従った出力画像方式に変換する。この変換も制御部７からの属性情報の画像サイズ情報に従い処理されるので任意の画像を扱うことができる。属性情報の伝達は、制御部７との通信機能を用いて行われる。
【００６６】
このエンコーダ５は、図１４に示すように、デコーダ２と同様に、ＪＰＥＧ用エンコーダ６０と、ＭＰＥＧ用エンコーダ７０の２系統から構成される。これら２系統は、エンコーダ選択器３６で分かれ、出力選択器３７で一緒になる。また、エンコーダ選択器３６の前には、上記画像方式変換機能を実行する方式変換デコーダ３８を備えている。
【００６７】
ＪＰＥＧ用エンコーダ６０は、ブロック化回路６１と、ＤＣＴ回路６２と、量子化器６３と、ハフマン符号化器６４と、ランレングス符号化器６５と、マルチプレックス回路６６とからなる。
一方、ＭＰＥＧ用エンコーダ７０は、バッファメモリ７１と、ＤＣＴ回路７２と、量子化器７３と、ハフマン符号化器７４と、バッファメモリ７５と、動きベクトル検出回路７６と、前向き予測回路７７と、後ろ向き予測回路７８と、フレームメモリ７９と、フレームメモリ８０と、逆量子化器８１と、ＩＤＣＴ回路８２とからなる。
【００６８】
これら２つのエンコーダ６０又は７０の選択は、エンコーダ選択器３６が制御部７から供給される属性情報の圧縮方式情報に従って行う。
ＪＰＥＧ用エンコーダ６０のブロック化回路６１は、一枚の画像を小さなブロック、例えば８×８画素からなるブロックに分割する。ＤＣＴ回路６２は、例えば８×８画素からなる各ブロックに離散的コサイン変換処理を施す。量子化器６３は、各ブロック毎の６４個の画素データのパワーを量子化係数で割り、量子化する。ハフマン符号化器６４は、量子化器６３の出力である例えば６４個のスペクトルの内の直流成分をハフマン符号にする。ランレングス符号化器６５は、量子化した残りの交流成分をランレングス符号にする。マルチプレックス回路６６は、ハフマン符号化されたデータとランレングス符号化されたデータを選択合成する。
【００６９】
ＭＰＥＧ用エンコーダ７０のバッファメモリ７１は、エンコード処理で必要とされるデータを一時的に蓄える。一般には、１ＧＯＰ分のデータを蓄える。ＤＣＴ回路７２は、上記ＤＣＴ回路６２と同様、離散的コサイン変換処理を行う。量子化器７３は、量子化数で各離散的コサイン変換値を割る処理をする。ハフマン符号化器７４は、量子化したデータをハフマン符号にする。バッファメモリ７５は、所定のまとまった結果が得られ、出力されるまで、処理結果データを蓄える。動きベクトル検出回路７６は、参照フレームと呼ばれる基準の画像のブロック（一般には１６×１６画素から成る）が、別の画像のどの位置に移動したか、すなわち移動ベクトルを求める。前向き予測回路７７は、フレームメモリ８０から時間的に以前の画像から求めたベクトルに対応するブロックを抜き出す。後ろ向き予測回路７８は、フレームメモリ７９から時間的に以後の画像から求めたベクトルに対応するブロックを抜き出す。逆量子化器８１は、ＢフレームやＰフレームに相当する符号化フレームを作るために、量子化器７３での量子化を解く。ＩＤＣＴ回路８２は、同じくＤＣＴ回路７２での離散的コサイン変換処理を解くため、離散的コサイン逆変換処理を行う。フレームメモリ７９とフレームメモリ８０は、逆量子化器８１とＩＤＣＴ回路８２で再生された画像を、それぞれ、前向き予測回路７７と後ろ向き予測回路７８で行われる予測処理のために蓄える。バッファメモリ７１とＤＣＴ回路７２の間に設けられた減算器８３には、切り換えスイッチ８４の選択片ａが接続されている。切り換えスイッチ８４の被選択端子ｂには“０”が供給され、被選択端子ｃには前向き予測回路７７の出力が供給され、被選択端子ｅには後ろ向き予測回路７８の出力が供給される。また、被選択端子ｄには前向き予測回路７７の出力と後ろ向き予測回路７８の出力を加算する加算器８５の加算出力が供給される。したがって、減算器８３は、バッファメモリ７１の出力から、切り換えスイッチ８４で切り換えられた上記被選択端子ｂ、ｃ、ｄ又はｅの出力を減算する。すなわち、減算器８３は、符号化されるフレームから、予測できなかった場合は“０”を、前向き予測のみの場合は前向き予測値（抜き出されたブロック値）を、前向きと後ろ向きの予測がある場合は２つの合成値を、後ろ向き予測値のみの場合は後ろ向き予測値を引く。加算器８５は、前向きと後ろ向きの予測値を加算合成する。加算器８６は、前後の予測フレームの平均で予測フレームを作り予測する方式の場合、選択片ａ、被選択端子ｂ及びｃを持つ切り換えスイッチ８７と共に用いられ、フレーム加算を行う。
【００７０】
出力バッファメモリ部６は、エンコーダ５からの送り出しデータの転送レートを変換する機能の他、制御部７との通信機能を備える。この出力バッファメモリ部６は、図１５に示すように、レート変換機能付バッファメモリ８９で構成される。レート変換機能付バッファメモリ８９は、圧縮した画像あるいは出力画像をレート調整のため一旦蓄える。このレート変換機能付バッファメモリ８９は、上記入力バッファメモリ部３のレート変換機能付バッファメモリ５２と同様に、上記画像信号の画像サイズとは無関係で、かつ十分な容量を持ち、ダブルバッファメモリ方式であり、それぞれのメモリは独立に動作するアドレス生成器を持つ。アドレス生成器は、制御部７から与えられる属性情報の画像サイズ情報と画像入出力レート情報に従いアドレスを生成する。アドレス生成ブロックの大きさとブロックアドレスの間隔を調整することにより処理系の内部レートをさまざまなレートの出力レートに変換できる。すなわち、この出力バッファメモリ部５でも任意のレート変換を行える。
【００７１】
制御部７は、マトリックススイッチャ１、デコーダ２、入力バッファメモリ部３、画像処理部４、エンコーダ５、出力バッファメモリ部６の各処理を制御する機能を有する。
以上のように構成された画像情報処理装置の動作を以下に説明する。
マトリックススイッチャ１で上述したように、取り込まれ、切り換え選択された圧縮画像信号は、データの先頭に、圧縮／非圧縮状態識別情報、圧縮方式情報、水平・垂直方向の画素数に応じる画像サイズ情報、処理領域を決定する処理画面サイズ情報、例えばＮＴＳＣ、ＰＡＬ、ＲＧＢ等の画像方式情報、入出力信号レート情報等の属性情報が入ったヘッダ情報を持つ。
【００７２】
デコーダ２は、上記ヘッダ情報を読み、制御部７に上記画像属性情報を送る。制御部７は、上記属性情報から、圧縮／非圧縮識別情報、圧縮方式情報、画像サイズ情報をデコーダ２に再び送る。デコーダ２は、制御部７から上記属性情報を受け取らないで、デコーダ２自身が読み取った上記属性情報をそのまま使うことも変更することもできる。また、上記属性情報は、キーボード８から与えることもできる。制御部７は、上記属性情報の画像サイズ情報、画像方式情報、画像入出力レート情報を入力バッファメモリ部３に供給する。また、制御部７は、上記属性情報の画像サイズ情報、処理画面サイズ情報を画像処理部４に供給する。また、制御部７は、上記属性情報の圧縮／非圧縮状態識別情報、圧縮方式情報、画像サイズ情報、画像方式情報をエンコーダ５に供給する。また、制御部７は、上記属性情報の画像サイズ情報、画像入出力レート情報を出力バッファメモリ部６に供給する。
【００７３】
上記制御部７から切り換えの指示がマトリックススイッチャ１に供給されると、マトリックススイッチャ１は、上述したように、ＧＯＰの単位で圧縮画像データを切り替える。
デコーダ２は、制御部７からの属性情報に従い、伸張処理が不要な信号をそのまま入力バッファメモリ部３に出力する一方、伸張処理が必要な信号には選択情報に従い選択した伸張処理を施す。伸張処理は、画像サイズ情報に従い処理する範囲を決める。これによりデコーダ２は、任意の大きさの画像を伸張できる。
【００７４】
入力バッファメモリ部３は、制御部７からの画像方式情報に従い方式変換エンコーダ５１を使って、コンポジット信号又はＹ／Ｃ信号の上記画像信号を内部処理に適したコンポーネント信号に方式変換する。この方式変換処理の際、制御部７からの画像サイズ情報に従い処理範囲を決める。これによりこの入力バッファメモリ部３での方式変換処理も、任意の大きさの画像に対して有効になる。コンポーネント信号は、内部処理レートに変換されるためレート変換機能付バッファメモリ５２に入力レートで書き込まれ、改めて内部レートで読み出される。このレート変換機能付バッファメモリ５２は、上述したように画像サイズとは無関係で、かつ十分な容量を持ち、ダブルバッファ構造とされ、それぞれ独立のアドレス生成器があり、異なるブロックレートで読み書きされる。アドレス生成器で生成するアドレス領域は制御部７からの画像サイズ情報に従い決定されるので、この入力バッファメモリ部３での転送レートの変換は、任意の大きさの画像に対しても有効となる。
【００７５】
画像処理部４は、制御部７からの画像サイズ情報に従い、任意の大きさの画像をしまう画像メモリ５５の領域を指定して確保したり読み書きするアドレス範囲を決める。これにより画像処理部４は、任意の大きさの画像に画像処理を施すことができる。また、制御部７からの処理画面サイズ情報に従い画像処理範囲を決める。これにより画像処理部４は、指定した範囲の処理だけに処理系リソースを使うことができ、従来結果に反映されなかった処理に使われた無駄な処理系リソースを他の処理に有効利用できるようになった。
【００７６】
ここで、この画像処理部４の画像処理について説明する。入力バッファメモリ部３の出力である画像信号は、画像処理部４に供給される。画像処理部４に入った上記画像信号には、制御部７の指示に従った各種画像処理が施される。画像処理部４には、図１３に示したように、この画像処理部４内の制御を行う画像処理制御部５９がある。画素や複数画素ブロック単位の色変換は、画像処理制御部５９の指示に従い色変換回路５３で行われる。色変換が必要ない場合、色変換回路５３は画像処理制御部５９の指示で上記画像信号をバイパスする。色変換回路５３を介した画像信号は、可変タップ低域フィルタ５４に供給され、後述する後段の回路で行われる変形や縮小に備えて、高域の信号が除去される。この高域の信号の除去処理は、変形や縮小処理に伴い周波数的に高域信号が低域信号にエリアシング等の悪影響を及ぼすのを防ぐために必要である。どの程度、高域信号を除去するかは、画像処理制御部５９が変形や縮小の程度に依存して、除去する高域幅を指示することによって行われる。帯域制限する必要がない場合、画像処理制御部５９の指示でこの処理機能は、バイパスされる。可変タップ低域フィルタ５４を介した画像信号は、画像メモリ５５に供給される。この画像メモリ５５は、２次元及び３次元幾何変換を行うためのワーキングメモリである。幾何変換を行うアドレス生成は、アドレス生成器５８で行われ、画像メモリ５５に供給される。アドレス生成器５８でどのようなアドレスを生成するかは、画像処理制御部５９が指示する。この指示は、モデリングデータと変換則データで行うのが一般的である。画像メモリ５５から読み出されたデータ群は、一般にラスターデータとしては不完全で画素の抜けがたくさん存在する。この抜けを周囲の画素を用い埋める補間処理を補間フィルタ５６で行う。画像処理制御部５９が補間の精度を指示する。補間方法には、最近傍法、線形補間法、３次補間法などがあり、後者ほど精度の高い補間値が得られる。抜けを補間で埋めたラスター信号は、合成回路５７に供給される。この合成回路５７は、複数の処理画像を２次元あるいは３次元的に合成する。合成の際の奥行き情報等の制御信号は、画像処理制御部５９が供給する。合成の最終段で画像は２次元画像にされ、モニター９に表示される。
【００７７】
また、上記２次元画像は、エンコーダ５に供給され、方式変換され圧縮される。コンポーネント信号からの方式変換は、制御部７から供給される属性情報の画像方式情報に従い決められる。圧縮するか否かや圧縮方式は制御部７から供給される属性情報の圧縮／非圧縮状態識別情報及び圧縮方式情報に従い決められる。方式変換処理と圧縮処理が必要でない場合は処理されないで出力バッファメモリ部６に送られる。方式変換処理と圧縮処理の際、制御部７からの画像サイズ情報に従い指定された画像範囲の処理が行われる。これによりエンコーダ５でも任意の大きさの画像を取り扱える。
【００７８】
エンコーダ５の出力は、出力バッファメモリ部６に入る。出力バッファメモリ部６は、入力バッファメモリ部３のレート変換機能付バッファメモリ５２と同様の、画像サイズとは無関係で、かつ十分な容量を持ち、ダブルバッファ構造とされ、それぞれ独立のアドレス生成器があり、異なるブロックレートで読み書きされるレート変換機能付バッファメモリ８９を備えているので、送り出しデータのレート変換を行える。アドレス生成器で生成するアドレス領域は制御部７からの画像サイズ情報に従い決定されるので、この出力バッファメモリ部６でも任意の大きさの画像のレートを変換することができる。
【００７９】
以上のように、本実施例の画像情報処理装置は、解像度、転送レート、画像サイズに依存しない画像の入出力や処理を可能とすると共に、フレーム間圧縮処理をしたような圧縮画像の切り替えをスムーズに正確に行える。特に、上述したマトリックススイッチャ１を備えることにより、切り替え後の圧縮画像は、伸張処理に影響を及ぼさない。また、切り替え後のＧＯＰのフレーム構成が同じである必要はない。また、切り替え画像のＧＯＰの位相は一致する必要はない。切り替え合成後の画像のＧＯＰ情報量の増加を抑えられる。また、画像の伸張を不要として、カット編集を行える。
【００８０】
次に、本発明に係る画像情報処理装置の実施例の変形例を図１６を参照しながら説明する。この変形例は、ハード処理部１００と、ソフト処理部１１０と、入出力制御部１２０と、データ記憶部１３０とから成る。
この変形例は、処理をハード処理部１００とソフト処理部１１０に分けることにより、装置の全体処理の柔軟性と拡張性を高めている。ハード処理部１００は、主としてフィルタ等機械的処理やソフト処理で負荷が大きい処理を行う。ソフト処理部１１０はインテリジェントな処理や拡張性に富む処理を行う。
【００８１】
ハード処理部１００は、上記図１を用いて説明した上記実施例の画像情報処理装置とほぼ同様の構成である。すなわち、二つの外部入力装置１０１及び１０２から供給される複数の圧縮画像は、マトリックススイッチャ１で切り換えられて、デコーダ２に供給され、該デコーダ２で伸張される。このデコーダ２で、伸張された画像信号は、入力バッファメモリ部３に供給される。入力バッファメモリ部３を介した信号は、色変換器５３、可変タップ低域フィルタ５４、フレームメモリ５５、補間フィルタ５６、合成回路５７及びアドレス生成器５８で構成される画像処理部４に供給される。これら各部は、ソフト処理の際、ハードの各機能を、ソフトから利用できるハードモジュールとしてできるように、ローカルバス１０３で接続されている。画像処理部４で画像処理された画像信号は、エンコーダ５、出力バッファメモリ部６を介して外部出力装置１０４に出力される。ここで、上記各部は、ハードモジュール制御部１０５で制御される。
【００８２】
ソフト処理部１１０は、ＣＰＵ１１１、キャッシュメモリ１１２、主メモリ１１３、ＣＰＵバス１１４、メモリバス制御部１１５から成る。メモリバス制御部１１５は、ローカルバス１０３と、ハードモジュール制御部１０５に接続されており、ローカルバス１０３に画像データを、ハードモジュール制御部１０５に制御信号を伝送している。メモリバス制御部１１５は、ペリフェラルバス１１６経由でグラフィックモニタ制御部１２１と、メディア制御部１２２と、スイッチャ制御部１２３と、スモールコンピュータシステムインターフェース（以下ＳＣＳＩという。）アダプタ１２４と、操作パネル１２５とに接続されている。グラフィックモニタ制御部１２１は、ビデオメモリを内蔵しており、グラフィックモニタ１２６の表示制御を該ビデオメモリを用いて行う。メディア制御部１２２は、例えばＶＴＲやデータレコーダのような外部入力装置１０１及び１０２や、例えばＶＴＲやデータレコーダのような外部出力装置１０４の画像情報入出力タイミングを制御する。スイッチャ制御部１２３は、マトリックススイッチャ７０を制御する。ＳＣＳＩアダプタ１２４は、ＳＣＳＩバス１２７で結ばれた光磁気ディスク（図中、ＭＯと記す。）装置１３１、ＣＤ−ＲＯＭ１３２、ハードディスク装置（図中、ＨＤＤと記す。）１３３等のデータ記憶装置のインターフェースである。操作パネル１２５は、画像情報の処理や入出力を指示するのに用いられる。
【００８３】
ソフトから利用できるハードモジュールを実現する方法は、ＣＰＵ１１１で実行中のプログラムからサブルーチンライブラリがコールされると、そのサブルーチンライブラリがソフトライブラリの場合は、リンク時に決定された対応するプログラムアドレスにジャンプし実行される。また、サブルーチンライブラリがハードライブラリの場合も、リンク時に決定されたハードモジュールに対応するアドレスにジャンプする。ハードモジュールに対応するアドレスには、ハードモジュールに必要なデータを送り、実行を起動し、実行終了を確認しソフトウェアのメインプログラムに実行を戻す手続きが格納されている。例えば、ハードモジュールとして可変タップ低域フィルタ３４がコールされた場合、ＣＰＵ１１１の指示で主メモリ１１３からデータがメモリバス制御部１１５とローカルバス１０３経由で可変タップ低域フィルタ３４に送られる。次に、ＣＰＵ１１１は、メモリバス制御部１１５とローカルバス１０３経由で可変タップ低域フィルタ３４に実行を指示する。ＣＰＵ１１１は、実行終了を確認し、処理済みデータを、ローカルバス１０３と、メモリバス制御部１１５経由え主メモリ１１３に回収する。そして、メインプログラムに戻り、次のステップの実行に移る。
【００８４】
以上のように、図１６に示した変形例である画像情報処理装置は、装置の全体処理の柔軟性と拡張性を高めながら、静止画像から動画像までの広範囲の画像や、解像度に依存しないフリーフォーマット画像や、転送レートや画像サイズの異なるスケーラブル・フォーマット画像に生成、色変換、合成、編集等の画像処理を施すことができる。また、フレーム間圧縮処理をしたような圧縮画像の切り替えをスムーズに正確に行える。
【００８５】
なお、他の変形例としては、ＣＰＵ１１１とキャッシュメモリ１１２からなるユニットを複数用いてＣＰＵバス１１４に接続するような装置が考えられる。このため、この他の変形例は、負荷が重いときに、並列処理を行うことにより、負荷を軽減できる。
【００８６】
【発明の効果】
以上の説明から明かなように、本発明に係る画像情報処理装置によれば、選択出力手段がフレーム間圧縮処理が施された複数の圧縮画像信号を取り込み、選択的に出力するとともに、複数の圧縮画像信号を切り替えることによって生成された圧縮画像信号を出力し、再構成手段が所定の切り替え点で複数の圧縮画像信号を切り替えるために、圧縮画像を再構成し、伸張手段が再構成された圧縮画像信号を伸張し、第１の入出力手段が伸張手段から出力された画像信号を一時的に記憶し、画像処理手段が第１の記憶部から出力された画像信号に種々の画像処理を施して画像処理信号を出力し、圧縮手段が画像処理信号を圧縮して圧縮画像処理信号を出力し、第２の入出力手段が圧縮画像処理信号を一時的に記憶し、制御手段が複数の圧縮画像信号を切り替えるために選択出力手段を制御するとともに、記伸張手段、第１及び第２の入出力手段、画像処理手段及び圧縮手段を制御する。この再構成手段は、切り替えによって捨てられる画像を予測のために用いるフレーム間順方向予測符号化画像及び双方向予測符号化画像を対象として、上記フレーム間順方向符号化画像をフレーム内符号化画像に変更し、かつ切り替えによって捨てられる画像の予測情報に基づいて上記双方向予測符号化画像の予測情報を変更するので、フレーム間圧縮処理が施されたような圧縮画像のスイッチングをスムーズに行える。また、静止画像から動画像までの広範囲の画像や、解像度に依存しないフリーフォーマット画像や、転送レートに依存しない画像や、画像サイズに依存しないスケーラブルフォーマット画像に色変換、合成、編集等の画像処理を施すことができる。
本発明に係る画像情報処理方法によれば、フレーム間圧縮処理が施されたような圧縮画像のスイッチングをスムーズに行える。また、静止画像から動画像までの広範囲の画像や、解像度に依存しないフリーフォーマット画像や、転送レートに依存しない画像や、画像サイズに依存しないスケーラブルフォーマット画像に色変換、合成、編集等の画像処理を施すことができる。
【図面の簡単な説明】
【図１】本発明の実施例の画像情報処理装置の概略的な構成を示すブロック図である。
【図２】図１に示した上記画像情報処理装置のマトリックススイッチャの詳細な構成を示すブロック図である。
【図３】図２に示したマトリックススイッチャのＧＯＰ再構成部の詳細な構成を示すブロック図である。
【図４】ＧＯＰの符号化順序と入力順序を示す図である。
【図５】図４に示したＧＯＰの入力順序の“ＩＢＢＰ”部分の拡大図である。
【図６】符号化順序が“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。
【図７】符号化順序が“ＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。
【図８】符号化順序が“ＩＢＢＢＩＢＢＢＩＢＢＢＩＢＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。
【図９】符号化順序が“ＩＢＢＢＩＢＢＢＩＢＢＢＩＢＢＢ”であるＧＯＰのフレーム列に対するマトリックススイッチャのＧＯＰ再構成部の動作を説明するための図である。
【図１０】ＧＯＰ再構成部のデータ圧縮処理を説明するための図である。
【図１１】図１に示した上記画像情報処理装置のデコーダの詳細な構成を示すブロック図である。
【図１２】図１に示した上記画像情報処理装置の入力バッファメモリの詳細な構成を示すブロック図である。
【図１３】図１に示した上記画像情報処理装置の画像処理部の詳細な構成を示すブロック図である。
【図１４】図１に示した上記画像情報処理装置のエンコーダの詳細な構成を示すブロック図である。
【図１５】図１に示した上記画像情報処理装置の出力バッファメモリの詳細な構成を示すブロック図である。
【図１６】本発明の他の実施例の画像情報処理装置の詳細な構成を示すブロック図である。
【図１７】従来の画像情報処理装置の構成を示すブロック図である。
【符号の説明】
１マトリックススイッチャ
２デコーダ
３入力バッファメモリ部
４画像処理部
５エンコーダ
６出力バッファメモリ部
７制御部[0001]
[Industrial applications]
The present invention relates to an image information processing apparatus that performs processing such as synthesis, deformation, and color conversion of a video signal.
[0002]
[Prior art]
The image information processing apparatus performs image processing such as image synthesis, color conversion, and geometric conversion while selecting a plurality of image signals from a large number of input image signals. For example, the image information processing apparatus combines two image signals while switching the image signals in a specified frame by using a switcher as a switching unit.
[0003]
As shown in FIG. 17, the image information processing apparatus includes a composite signal (hereinafter, referred to as a composite, which is referred to as Composite in the drawing), a Y / C signal, and a component (Component in the drawing), which are image signals in a standard format. The signal is received via the switcher 141. In this image information processing apparatus, the image processing is performed on the component signal. Therefore, it is necessary to convert the Y / C signal and the composite signal which are not the component signals into the component signals in the switcher 141 and thereafter.
[0004]
First, the composite signal is separated into Y and C signals by a Y / C separation circuit 142 and then converted by a decoder 143 into Y, RY, and BY signals, which are component signals. The Y / C signal is converted by a decoder 143 into a component signal. The component signal output from the decoder 143 is supplied to the A / D conversion circuit 144. The A / D conversion circuit 144 converts the component signal into a digital signal based on the clock of the write clock generation circuit 145. This digital component signal is supplied to the frame synchronizer 146.
[0005]
The frame synchronizer 146 writes the digital component signal into an internal frame memory and reads the digital component signal based on an external clock (referred to as an EXT key in the figure) signal generated by the switcher 141 from the video signal in the standard format. Then, in order to make the signal suitable for digital multi-effect (DME) processing described later, the frame position and the phase of the color subcarrier are adjusted. The digital component signal output from the frame synchronizer 146 is supplied to the switcher 147.
[0006]
The Y / C separation circuit 148, the decoder 149, the A / D conversion circuit 150, the write clock generation circuit 151, and the frame synchronizer 152 also perform the same processing as described above on the other system standard format video signal via the switcher 141. Apply. The digital component signal output from the frame synchronizer 152 is also supplied to the switcher 147. The switcher 147 is also supplied with Y, RY, and BY digital component signals from a test pattern signal generation circuit 153 that generates test pattern signals such as a color background signal, a color bar signal, and a grid signal.
[0007]
The digital component signal via the switcher 147 is supplied to a two-dimensional variable low-pass filter (LPF) 154. The two-dimensional variable LPF 154 removes a high-frequency component of the digital component signal so as not to cause aliasing in the digital component signal. The digital component signal from which the high frequency component has been removed is supplied to the field memory 155. The write and read addresses are supplied from the system controller 157 to the field memory 155 via the DME processing unit 158. The DME processing unit 158 performs image processing such as image synthesis, color conversion, and geometric conversion on the digital component signal in accordance with an instruction from the system controller 157. Therefore, the system controller 157 supplies the DME processing unit 158 with data required for a desired DME process.
[0008]
Then, the DME processing unit 158 performs the above-described image information processing on the digital component signal via the two-dimensional variable LPF 154 using the field memory 155 according to the address and data supplied from the system controller 157.
Here, when the digital component signal is subjected to, for example, a deformation process, a pixel read out from the field memory 155 has a missing pixel. Therefore, the signal read from the field memory 155 is supplied to the interpolation processing circuit 156, and is subjected to a predetermined interpolation processing. The DME processing signal output from the interpolation processing circuit 156 is supplied to the data mixing circuit 159. The same address and data as those supplied to the DME processing circuit 158 are also supplied from the system controller 157 to the data mixing circuit 159, and are mixed with the DME processing signal. The mixed output signal which is the output signal of the data mixing circuit 159 is supplied to the synthesizing circuit 161. The digital component signal delayed by the field delay circuit 160 is also supplied to the synthesizing circuit 161 and is synthesized with the mixed output signal. The synthesized output of the synthesizing circuit 161 is a signal subjected to image information processing, is converted into an analog signal by the D / A conversion circuit 162, and is output in the form of an analog composite signal, a Y / C signal and a component signal. .
[0009]
[Problems to be solved by the invention]
By the way, the conventional image information processing apparatus as shown in FIG. 17 limits input / output signals to standard composite signals, Y / C signals, and component signals. Images with different resolutions, images with different transfer rates, and images with different image sizes, which deviate from the standard video signal, cannot be handled. In addition, even if the same image signal is used in a different system such as the HDTV system and the NTSC system, the same device cannot process the same image signal. That is, in a conventional image information processing apparatus, a so-called free format image signal that does not depend on a resolution, an image signal that does not depend on a transfer rate, a so-called scalable format image signal that does not depend on an image size, However, image signals of different systems cannot be handled. In addition, since compressed images could not be handled, switching of compressed images as in the case of inter-frame compression processing could not be performed smoothly.
[0010]
The present invention has been made in view of the above circumstances, and is a so-called free format image signal that does not depend on resolution, an image signal that does not depend on a transfer rate, and a so-called scalable format that does not depend on image size. It is an object of the present invention to provide an image information processing apparatus capable of performing various image processing on an image signal of a different type or an image signal of a different system, and capable of smoothly switching a compressed image having undergone inter-frame compression processing. I do.
[0011]
[Means for Solving the Problems]
An image information processing apparatus according to the present invention, in an image information processing apparatus that processes a plurality of compressed images subjected to inter-frame compression processing, captures a plurality of compressed image signals subjected to inter-frame compression processing and selectively Outputting and outputting a compressed image signal generated by switching the plurality of compressed image signals, and reconstructing the compressed image to switch the plurality of compressed image signals at a predetermined switching point. And a first input unit having a first storage unit that temporarily stores the image signal output from the decompression means, a decompression means for decompressing the compressed image signal reconstructed by the reconfiguration means. Output means, image processing means for performing various image processing on the image signal output from the first storage unit and outputting an image processing signal, and compressing the image processing signal Compression means for outputting a compressed image processing signal; second input / output means having a second storage unit for temporarily storing the compressed image processing signal; and the selective output for switching the plurality of compressed image signals Control means for controlling the expansion means, the first and second input / output means, the image processing means and the compression means, wherein the reconstructing means comprises an image discarded by switching. -Frame forward predictive coded image and bidirectional predictive coded image using image for predictionTargetBy changing the inter-frame forward coded image to an intra-frame coded image, and by changing the prediction information of the bidirectional prediction coded image based on prediction information of an image discarded by switching, the Solve the problem.
[0013]
An image information processing method according to the present invention is an image information processing method for processing a plurality of compressed images subjected to inter-frame compression processing, wherein the plurality of compressed image signals subjected to inter-frame compression processing are selectively output. Reconstructing the compressed image to switch the plurality of compressed image signals at a predetermined switching point, outputting a reconstructed compressed image signal by switching the plurality of compressed image signals, The compressed image signal is decompressed, the decompressed image signal is temporarily stored in a first storage unit, and various image processes are performed on the image signal output from the first storage unit to obtain an image processing signal. Output, compressing the image processing signal, outputting a compressed image processing signal, temporarily storing the compressed image processing signal in the second storage unit, and discarding by switching during the reconstruction. Inter-frame forward predictive coded picture and bidirectional predictive coded picture using an image for predictionTargetThe inter-frame forward coded image is changed to an intra-frame coded image, and the prediction information of the bidirectional predicted coded image is changed based on prediction information of an image discarded by switching. Solve.
[0015]
[Action]
The image information processing apparatus according to the present invention is characterized in that the selection output means captures a plurality of compressed image signals subjected to the inter-frame compression processing, selectively outputs the compressed image signals, and switches the plurality of compressed image signals to generate a compressed image signal. An image signal is output, and the reconstructing means reconstructs the compressed image so that the plurality of compressed image signals are switched at a predetermined switching point. The decompressing means decompresses the reconstructed compressed image signal, and outputs the first input signal. The output means temporarily stores the image signal output from the decompression means, the image processing means performs various types of image processing on the image signal output from the first storage unit and outputs an image processing signal, and the compression means Outputs the compressed image processing signal by compressing the image processing signal, the second input / output means temporarily stores the compressed image processing signal, and the control means switches the selection output means to switch the plurality of compressed image signals. With Gosuru, serial expansion means, first and second input means, for controlling the image processing means and compression means. The reconstructing means includes an inter-frame forward prediction coded image and a bidirectional prediction coded image using an image discarded by switching for prediction.TargetThen, the inter-frame forward coded image is changed to the intra-frame coded image, and the prediction information of the bidirectionally predicted coded image is changed based on the prediction information of the image discarded by the switching.
[0016]
【Example】
Hereinafter, embodiments of an image information processing apparatus according to the present invention will be described with reference to the drawings. This embodiment is an image information processing apparatus that performs image information processing such as generation, color conversion, combination, and editing of a wide range of images from a still image to a moving image. For example, a compressed image signal subjected to an inter-frame compression process Can be handled. As the image subjected to the inter-frame compression processing, there is an image compressed by an encoding method standardized by MPEG (Moving Picture Coding Experts Group, a study organization of moving image encoding for storage). The image information processing apparatus can also handle images compressed by an encoding method standardized by JPEG (Joint Photographic Coding Experts Group, a study organization for color still image encoding).
[0017]
First, before describing the configuration of the present embodiment, an image compression process standardized by MPEG will be described. The image compressed by this image compression processing includes an I (Intra) picture which is a frame coded image, a P (Predictive) picture which is an inter-frame forward prediction coded image, and a B (Bid) which is a bidirectional prediction coded image. (Bidirectional Predictive) pictures. Hereinafter, for simplification of description, these I picture, P picture and B picture will be described as I frame, P frame and B frame. That is, the I frame is a frame that has been compressed in a frame, the P frame is a frame that has been compressed using the prediction information of the previous I frame, and the B frame has been compressed using the prediction information of the preceding and succeeding I and P frames. It is a frame. The compressed image is composed of a compression unit called a Group of Pictures (hereinafter referred to as a GOP) composed of a set of these frames. The GOP has one I frame, and is composed of 15 frames, for example, “IBBPBBPBBPBBPBB”.
[0018]
Then, as shown in FIG. 1, the image information processing apparatus selectively captures a plurality of compressed images supplied from a plurality of external input devices such as a VTR and a data recorder, and stores a plurality of compressed images in the GOP. A matrix switcher 1 for converting a frame into an I frame and changing prediction data of a B frame; a decoder 2 for expanding the compressed image so as to restore the original image; and an image signal expanded by the decoder 2 for Y, An input buffer memory unit 3 having a function of converting the image signal into a RY, GY or R, G, B component signal and converting the transfer rate of the image signal, and an output signal of the input buffer memory unit 3. An image processing unit 4 having a function of performing various image information processing such as color conversion, deformation, reduction, and geometric conversion on an image signal, and an image as an output signal of the image processing unit 4 Encoder 5 having a function of compressing a logical signal, an output buffer memory unit 6 having a function of converting a transfer rate of sending data which is a compressed image processing signal of the encoder 5, a matrix switcher 1, a decoder 2, an input buffer memory unit 3, an image processing unit 4, an encoder 5, and a control unit 7 for controlling each processing of the output buffer memory unit 6. The image information processing apparatus is connected to a keyboard 8 as means for externally providing processing parameters and processing control data, and a monitor 9 for displaying processing results and input images.
[0019]
As shown in FIG. 2, the matrix switcher 1 includes a cross point switch 10, GOP reconstructing units 11 and 12, and a combining unit 13. The cross point switch 10 inputs a plurality of compressed images from the plurality of external input devices, and selects, for example, two systems among them according to an instruction from the control unit 7. For example, the GOP reconstructing units 11 and 12 cut one continuous image in the middle of a certain GOP, and when connecting to the other image, reconstruct an incomplete GOP of one image cut in the middle into a complete GOP. Constitute. The combining unit 13 connects the two GOP images reconstructed by the GOP reconstructing units 11 and 12.
[0020]
As shown in FIG. 3, the GOP reconstruction units 11 and 12 include an input-side buffer memory 14, a variable-length code decoder 15, an inverse quantizer 16, an adder 17, a buffer memory 18, , A forward compensating circuit 20, a backward compensating circuit 21, a frame memory 22, a frame memory 23, a work memory 24, a prediction data correcting circuit 25, an encoder 26, a GOP assembling circuit 27, A work memory / output buffer memory 28.
[0021]
The input buffer memory 14 temporarily stores the data of the compressed image necessary for the subsequent processing. The variable length code decoder 15 decodes the compressed image data that has been subjected to the variable length coding. The inverse quantizer 16 multiplies the image data decoded by the variable-length code decoder 15 by a reciprocal of a quantization table to return to a value in the frequency domain. The forward compensation circuit 20 takes out the inversely quantized image data in the forward direction, which is the same direction as the flow of time, from the frame memory 22 and reconstructs the image. The backward compensation circuit 21 retrieves the inversely quantized image data in the backward direction opposite to the flow of time from the frame memory 23 to reconstruct the image. The adder 17 adds the reconstructed image data output from the forward compensation circuit 20 and the backward compensation circuit 23 to the image data that is the processing result of the inverse quantizer 16. The buffer memory 18 temporarily stores, for example, one GOP worth of data required in subsequent processing. The quantizer 19 performs a process of multiplying the added image data retrieved from the buffer memory 18 by each discrete cosine transform value by a coefficient of a quantization table, and determines a final GOP total data amount in advance. Processing for keeping the data within a certain value (reference data amount) is also performed. The prediction data correction circuit 25 corrects B-frame compressed image data by adding / deleting forward / backward prediction data. The work memory 24 is a work memory for performing a correction process on the B frame compressed image data predicted by the prediction data correction circuit 25. The encoder 26 converts the quantized data into a Huffman code and a run-length code. The GOP assembling circuit 27 has functions such as determination of exceeding the reference data amount, decoding, requantization, updating of the Huffman table, encoding, and the like. Reconstruct and assemble a new GOP from other data without the data. The work memory / output buffer memory 28 has a function of a work area for performing an assembling process of the GOP assembling circuit 27 and a function of a memory for storing processing result data until a certain result is obtained and output.
[0022]
Next, the operation of the matrix switcher 1 configured as described above will be described. The cross point switch 10 shown in FIG. 2 selects, for example, two pieces of compressed image data from a plurality of pieces of compressed image data supplied from a plurality of external input devices in accordance with an instruction from the control unit 7. When handling the compressed image data subjected to the inter-frame compression, the cross point switch 10 switches the selection at the end of the GOP including the switching frame. Accurate frame switching is performed by the GOP reconstruction units 11 and 12 at the subsequent stage. Here, when two images are switched to form one continuous image, an already selected image is referred to as an existing image, and a newly selected image is referred to as a new image. The existing image passes through the GOP reconstruction unit 11 or 12, passes through the synthesis unit 13, and is output. Before the switching, the GOP reconstruction processing and the synthesis processing are not required, and the existing image simply passes through these.
[0023]
When the switching instruction is received, the new image is input to the GOP reconstructing unit 11 or 12 to which the existing image is not supplied, and the existing image is changed to a new GOP ending with the specified frame so as to be switched at the specified frame. , And the new image is reconstructed into a new GOP starting at the designated frame. The combining unit 13 connects the images in GOP units to form one continuous image.
[0024]
Here, the details of the operation of the GOP reconstructing units 11 and 12 will be described with reference to FIGS.
In FIG. 3, a system including an input-side buffer memory 14, a variable-length code decoder 15, an inverse quantizer 16, an adder 17, a buffer memory 18, and a quantizer 19, an adder 17 forming a closed loop, and a frame memory The system including the frame memory 23, the frame memory 22, the forward compensation circuit 20, and the backward compensation circuit 21 is a path for generating an I frame from a P frame. As will be described later, only a forward compensation circuit 20 is used to newly create an I frame, and a forward compensation circuit 20 and a backward compensation circuit 21 are used to convert a P frame into an I frame in order to correct prediction information of a B frame. Use both.
[0025]
In order to generate an I frame from a P frame, the P frame may be converted into an I frame using the previous I frame. The conversion of the P frame to the I frame and the correction of the prediction information of the B frame described later will be described.
As described above, one GOP has one I frame and is composed of 15 frames, for example, “IBBPBBPBBPBBPBB”. The encoding sequence of the GOP frame sequence is as shown in FIG. 4A, and the input sequence is as shown in FIG. 4B. The input order is “BIBBBPBBPBBPBBP”, but the encoding order is “IBBPBBPBBPBBPBB” by shifting I and P forward so that I comes first.
[0026]
The GOP of the compressed image data input to the matrix switcher 1 is decoded by the variable-length code decoder 15 into an encoding order as shown in FIG. 4A, and the input as shown in FIG. It is in order. FIG. 5 shows the "IBBP" portion of the GOP in this input order. Of course, each frame is a spectrum value in the frequency domain, which is arranged in the input order from the left and is uncoded.
[0027]
I frame F_IOf the P frame F having the prediction vector_PIs added to the spectral value of the block. Here, the block is composed of 8 × 8 spectral values for 64 pixels. The predicted motion vector is an I frame F_IBlock with a P frame F_PShows the correspondence between a certain block and the same within a certain error._IFrom the corresponding P frame F_PBlocks can be played. When this operation is performed for all blocks, a P frame can be converted into an I frame. The system composed of the variable-length code decoder 15, the work memory 24, and the prediction data correction circuit 25 performs B frame F encoding such as embedding of forward prediction information or embedding of backward prediction information._B1And F_B2Make corrections. When there is both forward and backward prediction information, only one of them is used. This operation is performed by the prediction data correction circuit 25. B frame F_B1And F_B2Of the frame F after the above-mentioned I-frame conversion_P’. This is an I-framed frame F_P'Before discarding the information necessary for B-frame reproduction._B1And F_B2Needed to transfer to Specifically, a frame F converted into an I frame based on vector information_P′ To remove the inter-frame dependency. Thus, the P frame F_PI-framing has two purposes. One is B frame F_B1And F_B2P frame F discarded to correct prediction information_PInto an I frame, and the other is an I frame F_IP frame F to discard_PFrom new I frame F_P’. Also, I frame F_ITo B frame F_B1And F_B2Is supplied with the spectral value of the prediction block during the decompression operation. Here, the compression information of the frame is used as the prediction information. The prediction information of the P frame and the B frame includes two types of information, namely, information that is differentiated using a motion vector and then quantized, and information that does not use a motion vector. B frame F_B1And F_B2Correction of prediction information of I frame F_IOr P frame F_PIt is necessary when throwing away. I frame F_IAnd P frame F_PContains the original data (information not using a motion vector) from which the motion vector was obtained, and_B1And F_B2Need to be embedded in This is the reason why the information quantized after being differentiated using the motion vector is corrected to the information not using the motion vector. The original data is not always contained in the P frame, and in the worst case, it is possible to go back to the I frame. In this way, the GOP reconstruction units 11 and 12 convert the P frame into the I frame and correct the prediction information of the B frame.
[0028]
Then, the GOP reconstructing units 11 and 12 reconstruct a GOP frame sequence whose encoding order is “IBBPBBPBBPBBPBB” as shown in FIGS. Here, the GOP reconstructing unit 11 reconstructs the existing image as shown in FIG. 6, and the GOP reconstructing unit 12 reconstructs the new image as shown in FIG. Further, for example, the GOP reconstructing units 11 and 12 switch the GOP frame sequence such as “IBBBIBBBIBBBBIBBB”, which has no P frame and is composed of only the I frame and the B frame, according to the difference in the switching position. Reconstruct as shown in Here, the GOP reconstructing unit 11 reconstructs the existing image as shown in FIG. 8, and the GOP reconstructing unit 12 reconstructs the new image as shown in FIG.
[0029]
In the example of the GOP reconstruction processing shown in FIGS. 6 and 7, the P frame of the existing image is discarded, the backward prediction information is added to the B frame, the P frame of the new image is changed to the I frame, and the forward prediction information is changed to the B frame. Is added. In the processing of the existing image, the next P frame from the previous I frame is converted into an I frame, and this is sequentially repeated to convert the target P frame into an I frame, and the prediction information of the B frame is corrected using this. In the processing of the new image, the target P frame is converted into an I frame from the previous I frame, and the prediction information of the B frame is corrected using the information of the previous I frame.
[0030]
Also, in the example of the GOP reconstruction processing shown in FIGS. 8 and 9, since there is no P frame, there is no need to create an I frame from the P frame, but an I frame is generated from the P frame to correct the B frame. The I frame is brought to the work memory 24 by the pass.
The processed frame data subjected to these processes is supplied from the work memory 24 to the encoder 26, converted into Huffman codes and run-length codes, and then enters the work memory / output buffer memory 28. The output of the input buffer memory 14 is also supplied to the work memory / output buffer memory 28. The data directly supplied from the input buffer memory 14 is unprocessed frame data that does not need to be processed in the reconstruction of the GOP. The output data from the work memory / output buffer memory 28 enters the GOP assembly circuit 27. The GOP assembling circuit 27 combines the processed frame data and the unprocessed frame data to create a new GOP. Here, unnecessary frame information is discarded. Alternatively, it can be selectively discarded at the output of the input side buffer memory 14.
[0031]
Hereinafter, the two examples of FIGS. 6 and 7 and FIGS. 8 and 9 performed by the GOP reconstruction units 11 and 12 will be described in detail.
FIG. 6A shows the latter half f, d, h, i, g, k, l, j, n, o, and m of the input sequence frame sequence of the GOP of the existing image and the switching position S.₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is shown. Here, d, g, j, and m are P frames, and f, h, i, k, 1, n, and o are B frames. In addition, each switching position S₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is switched by the control unit 7. 6B to 6I show the switching position S₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈7 shows the state of the reconstruction processing performed by the GOP reconstruction unit 11 when is instructed. Here, the basic encoding order of the GOP is that g is encoded earlier than h and i because the g frame which is a P frame must be already known in order to encode h and i which are B frames. Therefore, the order in which g, which is a P frame, has been moved to the position of the previous P frame. The same applies to j and m of the P frame.
[0032]
The switching position S as shown in FIG.₁Is displayed, the GOP reconstructing unit 11 performs switching in GOP units without changing the basic encoding order, as shown in FIG. 6B.
Switching position S₂Is shown, the GOP reconstructing unit 11 places backwards of m, which is a P frame, in n, o, which are B frames in the frame sequence in the basic encoding order, as shown in FIG. 6C. The prediction information is added, and m is discarded after the correction n ', o'. The reason why the backward prediction information is added is to delete the vector information given by m from n and o by adding actual block image information to n and o of the B frame. The block image information of the P frame is obtained by subjecting the difference value between the I frame and the P frame or the value of the P frame to discrete cosine transform. In the case of performing a discrete cosine transform of a difference value between an I frame and a P frame, it is necessary to reconstruct the image of the target P frame m from the previous I frame and the P frame in the GOP. That is, everything from the front of the GOP to the P frame required for adding the prediction information of the B frame is temporarily converted from the I frame to the I frame.
[0033]
Switching position S₃As shown in FIG. 6D, the GOP reconstructing unit 11 adds backward prediction information of m, which is a P frame, to n, which is a B frame of a frame sequence in the basic encoding order, as shown in FIG. And correct to n ', then discard o' and m.
Switching position S₄Is displayed, the GOP reconstructing unit 11 discards n, m, and o of the frame sequence in the basic encoding order as shown in FIG.
[0034]
Switching position S₅As shown in FIG. 6F, the GOP reconstructing unit 11 sets the backward direction of the frame sequence in the basic encoding order to k, l, which is the B frame, and sets the backward direction of the j frame, which is the P frame. The prediction is added, j, n, o, and m are discarded after the correction k ', l'.
Switching position S₆, The GOP reconstructing unit 11 performs the backward prediction of the P-frame j to the B-frame k of the frame sequence in the basic encoding order, as shown in FIG. In addition, l, j, n, o, and m are discarded after the correction k '.
[0035]
Switching position S₇Is indicated, the GOP reconstructing unit 11 discards k, l, j, n, m, and o of the frame sequence in the basic encoding order as shown in FIG.
Switching position S₈As shown in FIG. 6 (I), the GOP reconstructing unit 11 adds the backward direction of the G frame, which is a P frame, to h, i, which is the B frame of the frame sequence in the basic encoding order. The prediction information is added, and g, k, l, j, n, m, and o are discarded after the correction h 'and i'.
[0036]
FIG. 7A shows the first half b, c, a, e, f, d, h, i, g, k of the input sequence frame sequence of the GOP of the new image and the switching position s.₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is shown. Here, a is an I frame, d, g, and j are P frames, and b, c, e, f, h, i, and k are B frames. Also, each switching position s₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is switched by the control unit 7. FIGS. 7B to 7I show the switching position s₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈2 shows a state of the reconstruction processing performed by the GOP reconstruction unit 12 in the case of (1). The basic encoding order of a GOP is the order in which a and P frames d, g, and j are moved to the position of the previous I or P frame such that a, which is an I frame, is first. Become.
[0037]
The switching position s as shown in FIG.₁Is displayed, the GOP reconstructing unit 12 performs switching in GOP units without changing the encoding order.
Switching position s₂Is displayed, the GOP reconstructing unit 12 discards b, which is the B frame of the frame sequence in the basic encoding order, as shown in FIG. 7C.
[0038]
Switching position s₃Is displayed, the GOP reconstructing unit 12 discards b and c, which are the B frames of the frame sequence in the basic encoding order, as shown in FIG. 7D.
Switching position s₄As shown in FIG. 7E, the GOP reconstructing unit 12 converts d, which is a P frame of the frame sequence in the basic encoding order, into an I frame, and e as a B frame, as shown in FIG. And f, the forward prediction information of the I-frame a is added, and after correction e ′, f ′, a, b, and c are discarded. The reason why the forward prediction information is added is to delete the vector information given by a from e and f by adding actual block image information to e and f of the B frame.
[0039]
Switching position s₅, The GOP reconstructing unit 12 converts the P frame d in the frame sequence in the basic encoding order into an I frame and the B frame f as shown in (F) of FIG. , The forward prediction information of the I-frame a is added, and a, b, c, and e are discarded after the correction f ′.
Switching position s₆Is shown, the GOP reconstructing unit 12 converts the P frame d in the frame sequence in the basic encoding order into an I frame, and a, b, c as shown in FIG. , E, f are discarded.
[0040]
Switching position s₇Is shown, the GOP reconstructing unit 12 converts the P frame g of the frame sequence in the basic encoding order into an I frame as shown in FIG. , And a, b, c, d, e, and f are discarded after correction h ′, i ′.
Switching position s₈Is shown, the GOP reconstructing unit 12 converts the P frame g of the frame sequence in the basic encoding order into an I frame, as shown in FIG. The prediction information is added, and a, b, c, d, e, f, and h are discarded after the correction i ′.
[0041]
As described above, the GOP reconstructing units 11 and 12 independently reconstruct the existing image and the new image, respectively. Then, the synthesizing unit 13 connects the respective images on a GOP basis to form one continuous image.
FIG. 8A shows the latter half h, e, j, k, l, i, o, p, q, m of the input sequence frame sequence of the GOP of the existing image and the switching position S₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is shown. Here, e, i, and m are I frames, and h, j, k, 1, o, p, and q are B frames. In addition, each switching position S₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is indicated by an instruction from the control unit 7. FIGS. 8B to 8I show the switching position S₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈2 shows a state of GOP reconstruction performed by the GOP reconstruction unit 11 in the case of. Here, the basic encoding order of the GOP is the order in which the I-frames e, i, and m are moved to the position of the previous I-frame.
[0042]
The switching position S as shown in FIG.₁Is displayed, the GOP reconstructing unit 11 performs switching in GOP units without changing the basic encoding order, as shown in FIG. 8B.
Switching position S₂Is indicated, the GOP reconstructing unit 11 has I frames in o, p, and q, which are B frames of the frame sequence in the basic encoding order, as shown in FIG. 8C. The backward prediction information of m is added, and m is discarded after correction o ', p', q '.
[0043]
Switching position S₃As shown in FIG. 8D, the GOP reconstructing unit 11 assigns the I-frame m to the o- and p-frames in the frame sequence in the basic encoding order as shown in (D) of FIG. The backward prediction information is added, and m and q are discarded after being modified o 'and p'.
Switching position S₄As shown in FIG. 8E, the GOP reconstructing unit 11 performs backward prediction of m, which is an I frame, to o, which is a B frame of the frame sequence in the basic encoding order, as shown in FIG. Information is added, m, p, and q are discarded after the correction o '.
[0044]
Switching position S₅Is displayed, the GOP reconstructing unit 11 discards o, p, q, and m of the frame sequence in the basic encoding order as shown in (F) of FIG.
Switching position S₆Is indicated, the GOP reconstructing unit 11 is an I-frame in j, k, l, which are B-frames of the frame sequence in the basic encoding order, as shown in (G) of FIG. i, o, p, q, and m are discarded after adding the backward prediction information of i and making corrections j ', k', and l '.
[0045]
Switching position S₇As shown in FIG. 8H, the GOP reconstructing unit 11 assigns i, which is an I frame to j, k, which is a B frame of the frame sequence in the basic encoding order, as shown in (H) of FIG. , And the modified j ′, k ′, and then l, i, o, p, q, m are discarded.
Switching position S₈, The GOP reconstructing unit 11 performs the backward prediction of the I-frame i to the B-frame j of the frame sequence in the basic encoding order, as shown in (I) of FIG. Information is added, k, l, i, o, p, q, and m are discarded after correction j.
FIG. 9A shows the first half b, c, d, a, f, g, h, e, j, and k of the input order frame sequence of the GOP of the new image and the switching position s.₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is shown. Here, a and e are I frames, and b, c, d, f, g, h, j, and k are B frames. Also, each switching position s₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈Is switched by the control unit 7. 9B to 9I show the switching position s₁, S₂, S₃, S₄, S₅, S₆, S₇, S₈7 shows a state of the GOP reconstructing process performed by the GOP reconstructing unit 12 in the case of (1). The basic encoding order of the GOP is the order in which the I frames a, e, and i are moved to the position of the previous I frame.
[0046]
The switching position s as shown in FIG.₁Is displayed, the GOP reconstructing unit 12 performs switching in GOP units without changing the encoding order.
Switching position s₂Is displayed, the GOP reconstructing unit 12 discards b, which is the B frame of the frame sequence in the basic encoding order, as shown in FIG. 9C.
[0047]
Switching position s₃Is displayed, the GOP reconstructing unit 12 discards b and c, which are the B frames of the frame sequence in the basic encoding order, as shown in FIG. 9D.
Switching position s₄Is displayed, the GOP reconstructing unit 12 discards b, c, and d, which are the B frames of the frame sequence in the basic encoding order, as shown in (E) of FIG.
[0048]
Switching position s₅As shown in FIG. 9F, the GOP reconstructing unit 12 adds the forward prediction information of a to f, g, and h, which are the B frames of the frame sequence in the basic encoding order. Is added, and b, c, d, and a are discarded after correction f ', g', h '.
Switching position s₆As shown in FIG. 9G, the GOP reconstructing unit 12 forwards the I-frame a to the B-frames g and h of the frame sequence in the basic encoding order as shown in FIG. The prediction information is added, and b, c, d, a, and f are discarded after correction g ', h'.
[0049]
Switching position s₇As shown in FIG. 9H, the GOP reconstructing unit 12 adds the forward prediction information of the I-frame a to the B-frame h of the frame sequence in the basic encoding order. Is added, and after correction h ′, b, c, d, a, f, and g are discarded.
Switching position s₈Is indicated, the GOP reconstructing unit 12 discards b, c, d, a, f, g, and h of the frame sequence in the basic encoding order as shown in (I) of FIG. .
[0050]
As described above, the GOP reconstructing units 11 and 12 independently reconstruct the existing image and the new image, respectively. Then, the synthesizing unit 13 connects the respective images on a GOP basis to form one continuous image.
Here, the GOP rearrangement performed by the GOP reconstructing units 11 and 12 may cause the total data amount of the GOP to exceed a reference data amount, which is a predetermined total data amount. In this case, the GOP assembling unit 27 performs a data compression process for keeping the total data amount including the processed frame data and the unprocessed frame data within the reference data amount. The data compression processing of the GOP assembling unit 27 will be described with reference to the flowchart of FIG.
[0051]
First, as shown in step ST1, the GOP assembling unit 27 calculates the total data amount of the GOP to be processed stored in the work memory / output side buffer memory 28. Then, it is determined in step ST2 whether the calculated total data amount of the GOP is equal to or smaller than a predetermined reference data amount. Here, the reference data amount changes depending on the number of frames forming the GOP. When the total data amount of the GOP is equal to or smaller than the reference data, the GOP assembling circuit 27 proceeds to step ST3, reads the total data of the GOP from the work memory / output side buffer memory 28, and sends the read data to the synthesis unit 13 in the subsequent stage. Supply. When the process of step ST3 is completed, the data compression process of the GOP assembling unit 27 ends.
[0052]
However, if it is determined in step ST2 that the total data amount of the GOP is larger than the reference data amount, the GOP assembling circuit 27 proceeds to step ST4, and after reading the total data of the GOP from the work memory / output side buffer memory 28, As shown in step ST5, the read total data of the GOP is decoded by the variable length code decoder. Then, the GOP assembling circuit 27 performs quantization again in step ST6 to correct the data amount so that the total data amount of the decoded GOP is equal to or smaller than the reference data amount. Thereafter, the GOP assembling circuit 27 encodes the GOP data whose data amount has been corrected in step ST7, returns the GOP data to the work memory / output side buffer memory 28, and then performs the requantization as shown in step ST8. The GOP data is read from the work memory / output side buffer memory 28.
[0053]
The GOP data read in step ST8 returns to step ST1 to calculate the total data amount. Thereafter, it is determined in step ST2 whether or not the data amount is equal to or smaller than the reference data. If YES is determined, the data amount is supplied to the combining unit 13 in step ST3. If NO is determined, the processes from step ST4 to step ST8 are repeated.
[0054]
Here, in the requantization performed in step ST6, the number of allocated bits is reduced by multiplying each coefficient of the quantization table used in the quantizer 19 by a weighting coefficient. This requantization is performed for all of the I frame, the P frame, and the B frame. As the weighting coefficient, a value obtained by multiplying a value obtained by dividing the reference data amount by the total data amount by a constant is used. The constant is determined so as not to exceed the reference data amount when encoding.
[0055]
In order to keep the total GOP data amount within the reference data amount, a function of updating the Huffman table of the encoder 26 may be further provided to take measures to prevent the reference data from being exceeded when encoding.
In this manner, the matrix switcher 1 can accurately switch the compressed image that has been subjected to the inter-frame compression processing in the designated frame. Further, the compressed image after switching does not affect the decompression process. It is not necessary that the frame configuration of the GOP after switching be the same. Further, the phases of the GOPs of the switching images do not need to match. It is possible to suppress an increase in the amount of GOP information of the image after the switching and combining. In addition, cut editing can be performed without the need for image expansion.
[0056]
Next, the image information processing apparatus of the present embodiment restores the compressed image data connected as described above by the matrix switcher 1 to the original image by the decoder 2 shown in FIG. In addition, the decoder 2 has a function of separating an image signal, an audio signal, and their attribute information from an input signal, and a function of communicating with the control unit 7 in addition to a function of restoring a compressed image to an original image.
[0057]
Here, the attribute information is information indicating the properties and characteristics of the signal. For example, in the case of an image signal, compression / non-compression state identification information, compression method information, image size information according to the number of pixels in the horizontal and vertical directions, processing area For example, there are image format information such as NTSC, PAL, RGB, and input / output signal rate information. This attribute information can be given to the decoder 2 via the control unit 7.
[0058]
Specifically, the decoder 2 expands the compressed image signal from the external input device while changing the expansion method according to the instruction of the control unit 7. For images that do not need to be decompressed and that have been uncompressed by the compressed / uncompressed state identification information in the attribute information,ExtensionBypass without processing. As shown in FIG. 11, the decoder 2 includes a decoder 31 that performs decoding such as Huffman decoding, an IDCT circuit 32, and a deblocking circuit 33, and uses the encoding method standardized by JPEG. A JPEG decoder 30 for decoding the compressed image, a buffer memory 41, a variable-length code decoder 42, an inverse quantizer 43, an IDCT circuit 44, an adder 45, a forward compensation circuit 46, + MPEG decoder 40, which comprises a backward compensation circuit 47, a backward compensation circuit 48, a frame memory 49, and a frame memory 50, and decodes an image compressed by the encoding method standardized by MPEG. It is composed.
[0059]
On the input side of the JPEG decoder 30 and the MPEG decoder 40, a decoder selector 34 for selecting which decoder to pass data to is provided. On the output side of the JPEG decoder 30 and the MPEG decoder 40, an output selector 35 is provided.
The decoder 31 of the JPEG decoder 30 decodes, for example, Huffman-coded data. The IDCT circuit 32 performs an inverse discrete cosine transform process on the decoded data. The deblocking circuit 33 restores the blocked data to a single image.
[0060]
The buffer memory 41 of the MPEG decoder 40 temporarily stores data necessary for the subsequent decoding processing. The variable length code decoder 42 decodes data encoded with a variable length. The inverse quantizer 43 multiplies the output data of the variable length code decoder 42 by the number of quantization and returns the value to a value in the frequency domain. The IDCT circuit 44 performs an inverse discrete cosine transform process on the output data of the inverse quantizer 43. The forward compensation circuit 46 retrieves image information in the forward direction, which is the same direction as the flow of time, from the frame memory 49 and reconstructs an image. The backward compensation circuit 48 extracts image information in the backward direction opposite to the flow of time from the frame memory 50 to reconstruct an image. The forward + backward compensation circuit 47 takes out the image information in both directions from the frame memory 49 and the frame memory 50 and reconstructs the image. The adder 45 adds the reconstructed image output from the forward compensation circuit 46, the forward + backward compensation circuit 47, and the backward compensation circuit 48 to the image of the processing result of the IDCT circuit 44. The expansion processing of the decoder 2 is parametric so that an image of an arbitrary size, for example, in units of 8 × 8 pixel blocks, is accepted, and an image of a size specified according to the image size information of the attribute information. Can be extended. For example, in the case of an image having a fraction of 8 × 8 pixel blocks, dummy data is added to make the size nonfractional.
[0061]
Next, the input buffer memory unit 3 converts the image signal into, for example, a component signal and converts the transfer rate of the image signal.7It also has a communication function with. As shown in FIG. 12, the input buffer memory unit 3 includes a format conversion encoder 51 and a buffer memory 52 with a rate conversion function. The format conversion encoder 51 converts a composite signal or a Y / C signal expanded by the decoder 2 into a component signal such as Y, RY, GY or R, G, B or the like handled in the internal processing of the apparatus. I do. This system conversion is performed in accordance with the image size information and the image system information of the attribute information provided from the control unit 7. However, in the case of simple frame switching, for example, the composite signal or the Y / C signal may be used, so that the conversion to the component signal is unnecessary.
[0062]
Further, the buffer memory with rate conversion function 52 has a sufficient capacity irrespective of the image size of the image signal. Writing to the buffer memory with rate conversion function 52 is performed at the rate of input to the buffer memory 52, and reading is performed at the internal processing rate. The rate of input to the buffer memory 52 is the output rate of the format conversion encoder 51. If the reading rate is higher than the writing rate, a waiting state is entered during reading. The buffer memory with rate conversion function 52 is composed of two memories, one of which is a write memory and the other is a read memory. The roles of read / write alternate. That is, the buffer memory with rate conversion function 52 has a double buffer memory structure. Each of the two memories has an address generator that works independently.The address generator isAccording to the image input / output rate information of the attribute information provided from the control unit 7,NoGenerate a dress. By adjusting the size of the address generation block and the interval between the block addresses, inputs at various rates can be converted into internal rates of the processing system. In this embodiment, since the image data is handled in blocks, the above-mentioned rate is an average rate over time.
[0063]
The image processing unit 4 has a function of communicating with the control unit 7 in addition to a function of performing image processing such as generation, synthesis, painting, and special effects of images.
The image processing unit 4 includes, as shown in FIG. 13, a color conversion circuit 53, a variable tap low-pass filter 54, an image memory 55, an interpolation filter 56, a synthesis circuit 57, an address generator 58, And a processing control unit 59.
[0064]
The color conversion circuit 53 changes the color of each pixel of the image according to the instruction of the image processing control section 59. In general, each color is composed of three colors of R, G, B or Y, RY, BY, and is converted by changing the mixture ratio. The variable tap low-pass filter 54 has a low-pass filter function for performing anti-aliasing processing prior to reduction processing. Since the tap coefficient of the variable tap low-pass filter 54 can be changed according to the instruction of the image processing control section 59, the low-pass range that operates can be changed according to the degree of reduction. The low-pass filter function is also used for a blurring process called defocus, which is one of the special effects. The image memory 55 is a working memory for performing coordinate transformation called geometric transformation. The address for translation is generated by the address generator 58. The interpolation filter 56 has an interpolation function for filling a blank pixel generated by the coordinate transformation using surrounding pixel values. The combining circuit 57 combines a plurality of processed images. The address generator 58 generates an address for geometrically transforming the image on the image memory 55. The image processing control section 59 outputs a control signal to the color conversion circuit 53, the variable tap low-pass filter 54, the address generator 58, the interpolation filter 56, and the synthesis circuit 57 to instruct the processing. A control signal from the control unit 7 is supplied to the image processing control unit 59.
[0065]
Here, the processing range of the image and the area for storing the image in the memory are set by parameters according to the processing screen size information and the image size information of the attribute information transmitted from the control unit 7. Thus, an image of an arbitrary size can be processed at an arbitrary processing screen size.
The encoder 5 has an image format conversion function and a communication function with the control unit 7 in addition to the function of compressing the image signal. Here, the encoder 5 compresses the image while changing the compression method according to the instruction of the control unit 7, but bypasses the image that does not need to be compressed. Further, the encoder 5 converts the above-described image system based on the component into an output image system according to the image system information of the attribute information supplied from the control unit 7 by the image system conversion function. Since this conversion is also performed according to the image size information of the attribute information from the control unit 7, an arbitrary image can be handled. The transmission of the attribute information is performed using a communication function with the control unit 7.
[0066]
As shown in FIG. 14, the encoder 5 includes two systems, that is, a JPEG encoder 60 and an MPEG encoder 70, like the decoder 2. These two systems are separated by an encoder selector 36 and are combined by an output selector 37. In addition, before the encoder selector 36, a system conversion decoder 38 for executing the image system conversion function is provided.
[0067]
The JPEG encoder 60 includes a blocking circuit 61, a DCT circuit 62, a quantizer 63, a Huffman encoder 64, a run-length encoder 65, and a multiplex circuit 66.
On the other hand, the MPEG encoder 70 includes a buffer memory 71, a DCT circuit 72, a quantizer 73, a Huffman encoder 74, a buffer memory 75, a motion vector detection circuit 76, a forward prediction circuit 77, and a backward It comprises a prediction circuit 78, a frame memory 79, a frame memory 80, an inverse quantizer 81, and an IDCT circuit 82.
[0068]
The selection of these two encoders 60 or 70 is performed by the encoder selector 36 according to the compression method information of the attribute information supplied from the control unit 7.
The blocking circuit 61 of the JPEG encoder 60 divides one image into small blocks, for example, blocks composed of 8 × 8 pixels. The DCT circuit 62 performs a discrete cosine transform process on each block composed of, for example, 8 × 8 pixels. The quantizer 63 divides the power of 64 pixel data for each block by a quantization coefficient and quantizes the data. The Huffman encoder 64 converts a DC component of, for example, 64 spectra output from the quantizer 63 into a Huffman code. The run-length encoder 65 converts the remaining quantized AC component into a run-length code. The multiplex circuit 66 selectively combines Huffman-coded data and run-length-coded data.
[0069]
The buffer memory 71 of the MPEG encoder 70 temporarily stores data required for the encoding process. Generally, one GOP worth of data is stored. The DCT circuit 72 performs a discrete cosine transform process similarly to the DCT circuit 62. The quantizer 73 performs a process of dividing each discrete cosine transform value by the quantization number. The Huffman encoder 74 converts the quantized data into a Huffman code. The buffer memory 75 stores processing result data until a predetermined set of results is obtained and output. The motion vector detection circuit 76 determines the position of a reference image block (generally composed of 16 × 16 pixels) called a reference frame that has moved to another image, that is, a motion vector. The forward prediction circuit 77 extracts a block corresponding to a vector obtained from a temporally previous image from the frame memory 80. The backward prediction circuit 78 extracts a block corresponding to a vector obtained from a temporally subsequent image from the frame memory 79. The inverse quantizer 81 dequantizes the quantizer 73 to generate an encoded frame corresponding to a B frame or a P frame. The IDCT circuit 82 performs a discrete cosine inverse transform process to solve the discrete cosine transform process in the DCT circuit 72. The frame memory 79 and the frame memory 80 store images reproduced by the inverse quantizer 81 and the IDCT circuit 82 for prediction processing performed by the forward prediction circuit 77 and the backward prediction circuit 78, respectively. A selection piece a of a changeover switch 84 is connected to a subtracter 83 provided between the buffer memory 71 and the DCT circuit 72. "0" is supplied to the selected terminal b of the changeover switch 84, the output of the forward prediction circuit 77 is supplied to the selected terminal c, and the output of the backward prediction circuit 78 is supplied to the selected terminal e. Further, an addition output of an adder 85 that adds the output of the forward prediction circuit 77 and the output of the backward prediction circuit 78 is supplied to the selected terminal d. Therefore, the subtracter 83 subtracts the output of the selected terminal b, c, d or e switched by the changeover switch 84 from the output of the buffer memory 71. That is, the subtractor 83 outputs “0” from the frame to be encoded if the prediction is not successful, the forward prediction value (extracted block value) if only forward prediction is performed, and the forward and backward prediction In some cases, two combined values are subtracted, and in the case of only backward predicted values, the backward predicted value is subtracted. The adder 85 adds and combines the forward and backward predicted values. The adder 86 is used together with the changeover switch 87 having the selection piece a and the selected terminals b and c to perform frame addition in the case of a method of making a prediction frame by averaging the previous and next prediction frames.
[0070]
The output buffer memory unit 6 has a function of converting the transfer rate of data sent from the encoder 5 and a function of communicating with the control unit 7. As shown in FIG. 15, the output buffer memory unit 6 includes a buffer memory 89 with a rate conversion function. The buffer memory 89 with the rate conversion function temporarily stores the compressed image or the output image for rate adjustment. The buffer memory 89 with a rate conversion function, similar to the buffer memory 52 with a rate conversion function of the input buffer memory unit 3, has a sufficient capacity regardless of the image size of the image signal and has a double buffer memory system. And each memory has an address generator that operates independently.The address generator isAccording to the image size information and the image input / output rate information of the attribute information given from the control unit 7,NoGenerate a dress. By adjusting the size of the address generation block and the interval between block addresses, the internal rate of the processing system can be converted to various output rates. That is, the output buffer memory unit 5 can perform any rate conversion.
[0071]
The control unit 7 has a function of controlling each processing of the matrix switcher 1, the decoder 2, the input buffer memory unit 3, the image processing unit 4, the encoder 5, and the output buffer memory unit 6.
The operation of the image information processing apparatus configured as described above will be described below.
As described above in the matrix switcher 1, the compressed image signal taken in and selected for switching includes, at the beginning of the data, compression / non-compression state identification information, compression method information, and image size information corresponding to the number of pixels in the horizontal and vertical directions. And processing information for determining a processing area, for example, image information such as NTSC, PAL, and RGB, and header information including attribute information such as input / output signal rate information.
[0072]
The decoder 2 reads the header information and sends the image attribute information to the control unit 7. The control unit 7 sends the compression / non-compression identification information, compression method information, and image size information to the decoder 2 again from the attribute information. The decoder 2 can use or change the attribute information read by the decoder 2 itself without receiving the attribute information from the control unit 7. Further, the attribute information can be given from the keyboard 8. The control unit 7 supplies the image size information, the image format information, and the image input / output rate information of the attribute information to the input buffer memory unit 3. Further, the control unit 7 supplies the image processing unit 4 with the image size information and the processing screen size information of the attribute information. Further, the control unit 7 supplies the compression / non-compression state identification information, the compression method information, the image size information, and the image method information of the attribute information to the encoder 5. Further, the control section 7 supplies the image buffer information and the image input / output rate information of the attribute information to the output buffer memory section 6.
[0073]
When the switching instruction is supplied from the control unit 7 to the matrix switcher 1, the matrix switcher 1 switches the compressed image data in GOP units as described above.
In accordance with the attribute information from the control unit 7, the decoder 2 outputs a signal that does not require expansion processing to the input buffer memory unit 3 as it is, and performs a selected expansion processing on the signal that requires expansion processing in accordance with the selection information. The expansion process determines a processing range according to the image size information. Thereby, the decoder 2 can expand an image of an arbitrary size.
[0074]
The input buffer memory unit 3 uses the format conversion encoder 51 to convert the format of the composite signal or the Y / C signal into a component signal suitable for internal processing, using the format conversion encoder 51 in accordance with the image format information from the control unit 7. At the time of this system conversion processing, the processing range is determined according to the image size information from the control unit 7. As a result, the system conversion processing in the input buffer memory unit 3 is also effective for an image of an arbitrary size. Since the component signal is converted into the internal processing rate, it is written into the buffer memory with rate conversion function 52 at the input rate, and is read out again at the internal rate. As described above, the buffer memory 52 with a rate conversion function is independent of the image size, has a sufficient capacity, has a double buffer structure, has independent address generators, and reads and writes at different block rates. . Since the address area generated by the address generator is determined according to the image size information from the control unit 7, the conversion of the transfer rate in the input buffer memory unit 3 is effective for an image of any size. .
[0075]
The image processing unit 4 specifies an area of the image memory 55 for storing an image of an arbitrary size and determines an address range for securing and reading / writing according to the image size information from the control unit 7. Thus, the image processing unit 4 can perform image processing on an image of an arbitrary size. Further, the image processing range is determined according to the processing screen size information from the control unit 7. As a result, the image processing unit 4 can use the processing resources only for the processing in the designated range, and can effectively use the wasteful processing resources used for the processing not reflected in the conventional result for other processing. Became.
[0076]
Here, the image processing of the image processing unit 4 will be described. The image signal output from the input buffer memory unit 3 is supplied to the image processing unit 4. The image signal input to the image processing unit 4 is subjected to various types of image processing according to an instruction from the control unit 7. As shown in FIG. 13, the image processing unit 4 includes an image processing control unit 59 that controls the inside of the image processing unit 4. Color conversion in units of pixels or a plurality of pixel blocks is performed by the color conversion circuit 53 in accordance with an instruction from the image processing control unit 59. When the color conversion is not required, the color conversion circuit 53 bypasses the image signal under the instruction of the image processing control unit 59. The image signal that has passed through the color conversion circuit 53 is supplied to a variable tap low-pass filter 54, and a high-frequency signal is removed in preparation for deformation or reduction performed in a later-stage circuit described later. The high-frequency signal removal processing is necessary to prevent the high-frequency signal from adversely affecting the low-frequency signal, such as aliasing, due to the deformation and reduction processing. The degree to which the high-frequency signal is removed is determined by the image processing control unit 59 instructing the high-frequency width to be removed depending on the degree of deformation or reduction. If there is no need to limit the band, this processing function is bypassed by an instruction from the image processing control unit 59. The image signal passed through the variable tap low-pass filter 54 is supplied to an image memory 55. This image memory 55 is a working memory for performing two-dimensional and three-dimensional geometric transformation. The address generation for performing the geometric transformation is performed by the address generator 58 and supplied to the image memory 55. The image processing control unit 59 instructs what address is to be generated by the address generator 58. This instruction is generally performed using modeling data and conversion rule data. The data group read from the image memory 55 is generally incomplete as raster data and has many missing pixels. An interpolation process for filling in the missing using surrounding pixels is performed by the interpolation filter 56. The image processing controller 59 indicates the accuracy of the interpolation. As the interpolation method, there are a nearest neighbor method, a linear interpolation method, a cubic interpolation method, and the like, and an interpolation value with higher accuracy is obtained as the latter method. The raster signal in which the omission is filled by interpolation is supplied to the synthesizing circuit 57. This combining circuit 57 combines a plurality of processed images two-dimensionally or three-dimensionally. A control signal such as depth information at the time of synthesis is supplied by the image processing control unit 59. At the final stage of the synthesis, the image is converted into a two-dimensional image and displayed on the monitor 9.
[0077]
The two-dimensional image is supplied to the encoder 5, where the two-dimensional image is subjected to format conversion and compressed. The system conversion from the component signal is determined according to the image system information of the attribute information supplied from the control unit 7. Whether or not to perform compression and the compression method are determined according to the compression / non-compression state identification information of the attribute information supplied from the control unit 7 and the compression method information. If the system conversion process and the compression process are not required, they are sent to the output buffer memory unit 6 without being processed. At the time of the system conversion processing and the compression processing, the processing of the designated image range is performed according to the image size information from the control unit 7. Thus, the encoder 5 can handle an image of an arbitrary size.
[0078]
The output of the encoder 5 enters the output buffer memory 6. The output buffer memory unit 6 has the same capacity as the buffer memory 52 with a rate conversion function of the input buffer memory unit 3 regardless of the image size, has a sufficient capacity, has a double buffer structure, and has an independent address generator. And a buffer memory 89 with a rate conversion function for reading and writing at different block rates is provided, so that the rate conversion of outgoing data can be performed. Since the address area generated by the address generator is determined according to the image size information from the control unit 7, the output buffer memory unit 6 can also convert the rate of an image of an arbitrary size.
[0079]
As described above, the image information processing apparatus according to the present embodiment enables input / output and processing of an image independent of resolution, transfer rate, and image size, and performs switching of a compressed image as if inter-frame compression processing was performed. Smooth and accurate. In particular, by providing the matrix switcher 1 described above, the compressed image after switching does not affect the decompression processing. It is not necessary that the frame configuration of the GOP after switching be the same. Further, the phases of the GOPs of the switching images do not need to match. It is possible to suppress an increase in the amount of GOP information of the image after the switching and combining. In addition, cut editing can be performed without the need for image expansion.
[0080]
Next, a modification of the embodiment of the image information processing apparatus according to the present invention will be described with reference to FIG. This modification includes a hardware processing unit 100, a software processing unit 110, an input / output control unit 120, and a data storage unit 130.
In this modified example, the processing is divided into a hardware processing unit 100 and a software processing unit 110, thereby increasing the flexibility and expandability of the entire processing of the apparatus. The hardware processing unit 100 mainly performs a process with a large load by mechanical processing such as a filter or software processing. The software processing unit 110 performs intelligent processing and processing with rich expandability.
[0081]
The hardware processing unit 100 has substantially the same configuration as that of the image information processing apparatus of the embodiment described with reference to FIG. That is, a plurality of compressed images supplied from the two external input devices 101 and 102 are switched by the matrix switcher 1, supplied to the decoder 2, and decompressed by the decoder 2. The image signal expanded by the decoder 2 is supplied to an input buffer memory unit 3. The signal via the input buffer memory unit 3 is supplied to an image processing unit 4 including a color converter 53, a variable tap low-pass filter 54, a frame memory 55, an interpolation filter 56, a synthesis circuit 57, and an address generator 58. You. These units are connected by a local bus 103 so that each function of hardware can be used as a hardware module that can be used by software during software processing. The image signal processed by the image processing unit 4 is output to the external output device 104 via the encoder 5 and the output buffer memory unit 6. Here, each of the above units is controlled by the hardware module control unit 105.
[0082]
The software processing unit 110 includes a CPU 111, a cache memory 112, a main memory 113, a CPU bus 114, and a memory bus control unit 115. The memory bus control unit 115 is connected to the local bus 103 and the hard module control unit 105, and transmits image data to the local bus 103 and control signals to the hard module control unit 105. The memory bus control unit 115 is connected to the graphic monitor control unit 121, the media control unit 122, the switcher control unit 123, the small computer system interface (hereinafter, referred to as SCSI) adapter 124, and the operation panel 125 via the peripheral bus 116. It is connected. The graphic monitor control unit 121 has a built-in video memory, and performs display control of the graphic monitor 126 using the video memory. The media control unit 122 controls image information input / output timing of the external input devices 101 and 102 such as a VTR and a data recorder and the external output device 104 such as a VTR and a data recorder. The switcher control unit 123 controls the matrix switcher 70. The SCSI adapter 124 is an interface of a data storage device such as a magneto-optical disk (denoted by MO in the drawing) 131, a CD-ROM 132, a hard disk drive (denoted by HDD in the drawing) 133 connected by a SCSI bus 127. It is. The operation panel 125 is used to instruct image processing and input / output.
[0083]
A method of realizing a hardware module that can be used from software is that when a subroutine library is called from a program being executed by the CPU 111, if the subroutine library is a software library, the program jumps to the corresponding program address determined at the time of linking and executes. Is done. Also, when the subroutine library is a hard library, jump to an address corresponding to the hard module determined at the time of linking. The address corresponding to the hardware module stores a procedure for sending necessary data to the hardware module, starting the execution, confirming the end of the execution, and returning the execution to the main program of the software. For example, when the variable tap low-pass filter 34 is called as a hardware module, data is sent from the main memory 113 to the variable tap low-pass filter 34 via the memory bus control unit 115 and the local bus 103 under the instruction of the CPU 111. Next, the CPU 111 instructs the variable tap low-pass filter 34 to execute via the memory bus control unit 115 and the local bus 103. The CPU 111 confirms the completion of the execution, and collects the processed data in the main memory 113 via the local bus 103 and the memory bus control unit 115. Then, the process returns to the main program and proceeds to the next step.
[0084]
As described above, the image information processing apparatus according to the modification illustrated in FIG. 16 does not depend on a wide range of images from a still image to a moving image and resolution while increasing flexibility and expandability of the entire processing of the apparatus. Image processing such as generation, color conversion, synthesis, and editing can be performed on free format images and scalable format images having different transfer rates and image sizes. Further, it is possible to smoothly and accurately switch the compressed image as if the inter-frame compression processing was performed.
[0085]
As another modified example, an apparatus in which a plurality of units each including the CPU 111 and the cache memory 112 are used and connected to the CPU bus 114 can be considered. For this reason, in this other modified example, when the load is heavy, the load can be reduced by performing the parallel processing.
[0086]
【The invention's effect】
As is apparent from the above description, according to the image information processing apparatus of the present invention, the selection output means captures a plurality of compressed image signals subjected to the inter-frame compression processing, selectively outputs the plurality of compressed image signals, and outputs the plurality of compressed image signals. A compressed image signal generated by switching the compressed image signal is output, and the reconstructing unit reconstructs the compressed image so that the plurality of compressed image signals are switched at predetermined switching points. The compressed image signal is expanded, the first input / output unit temporarily stores the image signal output from the expansion unit, and the image processing unit performs various image processing on the image signal output from the first storage unit. The second input / output means temporarily stores the compressed image processing signal, and the control means controls the plurality of image processing signals to output the compressed image processing signal. Compressed image signal Controls the selective output means in order to switch, serial expansion means, first and second input means, for controlling the image processing means and compression means. The reconstructing means includes an inter-frame forward prediction coded image and a bidirectional prediction coded image using an image discarded by switching for prediction.TargetThen, the inter-frame forward coded image is changed to an intra-frame coded image, and the prediction information of the bidirectionally predicted coded image is changed based on the prediction information of an image discarded by switching. Switching of a compressed image as if compression processing has been performed can be performed smoothly. In addition, image processing such as color conversion, synthesis, and editing into a wide range of images from still images to moving images, free format images independent of resolution, images independent of transfer rate, and scalable format images independent of image size Can be applied.
ADVANTAGE OF THE INVENTION According to the image information processing method concerning this invention, switching of the compressed image which performed the compression processing between frames can be performed smoothly. In addition, image processing such as color conversion, synthesis, and editing into a wide range of images from still images to moving images, free format images independent of resolution, images independent of transfer rate, and scalable format images independent of image size Can be applied.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an image information processing apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a detailed configuration of a matrix switcher of the image information processing apparatus shown in FIG.
FIG. 3 is a block diagram showing a detailed configuration of a GOP reconstructing unit of the matrix switcher shown in FIG.
FIG. 4 is a diagram showing a GOP encoding order and an input order.
FIG. 5 is an enlarged view of an “IBBP” portion of the input order of the GOP shown in FIG. 4;
FIG. 6 is a diagram for explaining an operation of a GOP reconstructing unit of a matrix switcher for a frame sequence of a GOP whose encoding order is “IBBPBBPBBPBBPBB”.
FIG. 7 is a diagram for explaining the operation of the GOP reconstructing unit of the matrix switcher for a GOP frame sequence whose encoding order is “IBBPBBPBBPBBPBB”.
FIG. 8 is a diagram for explaining an operation of a GOP reconstructing unit of a matrix switcher for a frame sequence of a GOP whose encoding order is “IBBBIBBBIBBBBBBB”.
FIG. 9 is a diagram for explaining an operation of a GOP reconstructing unit of a matrix switcher for a frame sequence of a GOP whose encoding order is “IBBBIBBBIBBBIBBBB”.
FIG. 10 is a diagram illustrating a data compression process of a GOP reconstructing unit.
FIG. 11 is a block diagram showing a detailed configuration of a decoder of the image information processing apparatus shown in FIG.
FIG. 12 is a block diagram showing a detailed configuration of an input buffer memory of the image information processing apparatus shown in FIG.
FIG. 13 is a block diagram illustrating a detailed configuration of an image processing unit of the image information processing apparatus illustrated in FIG. 1;
FIG. 14 is a block diagram showing a detailed configuration of an encoder of the image information processing apparatus shown in FIG.
FIG. 15 is a block diagram showing a detailed configuration of an output buffer memory of the image information processing apparatus shown in FIG.
FIG. 16 is a block diagram illustrating a detailed configuration of an image information processing apparatus according to another embodiment of the present invention.
FIG. 17 is a block diagram illustrating a configuration of a conventional image information processing apparatus.
[Explanation of symbols]
1 Matrix switcher
2 Decoder
3 Input buffer memory
4 Image processing unit
5 Encoder
6 Output buffer memory
7 control section

Claims

In an image information processing apparatus that processes a plurality of compressed images subjected to inter-frame compression processing,
A plurality of compressed image signals subjected to the inter-frame compression process, and selectively output, and selectively output means for outputting a compressed image signal generated by switching the plurality of compressed image signals;
Reconstructing means for reconstructing the compressed image, for switching the plurality of compressed image signals at a predetermined switching point,
Expansion means for expanding the compressed image signal reconstructed by the reconstruction means,
A first input / output unit having a first storage unit for temporarily storing an image signal output from the decompression unit;
Image processing means for performing various image processing on the image signal output from the first storage unit and outputting an image processing signal;
Compression means for compressing the image processing signal and outputting a compressed image processing signal;
A second input / output unit having a second storage unit for temporarily storing the compressed image processing signal,
Control means for controlling the selection output means for switching the plurality of compressed image signals, and for controlling the decompression means, the first and second input / output means, the image processing means and the compression means. ,
It said reconstruction means, intended for inter-frame forward predictive coded picture and bidirectional predictive coded picture used for prediction images are discarded by the switching, intraframe a forward coded image between the frames An image information processing apparatus, wherein the information is changed to a coded image, and the prediction information of the bidirectionally coded image is changed based on prediction information of an image discarded by switching.

2. The image information processing apparatus according to claim 1, wherein said reconstructing means performs the reconstruction so that the total data amount of the reconstructed compressed image signal is equal to or less than a reference data amount.

Said first input-output means, the upper Symbol of based on the image format information according to claim 1, wherein the obtaining further Bei a mode conversion unit for converting the mode of the image signal to other systems from the control means Image information processing device.

2. The image information processing apparatus according to claim 1, wherein the compression unit further includes a format conversion unit that converts a format of the image signal into another format based on image format information from the control unit.

In an image information processing method for processing a plurality of compressed images subjected to an inter-frame compression process,
Selectively outputting a plurality of compressed image signals subjected to inter-frame compression processing,
Reconstructing the compressed image to switch the plurality of compressed image signals at a predetermined switching point,
Outputting a compressed image signal reconstructed by switching the plurality of compressed image signals,
Decompressing the reconstructed compressed image signal,
Temporarily storing the decompressed image signal in a first storage unit;
Performing various image processing on the image signal output from the first storage unit to output an image processing signal;
Compressing the image processing signal and outputting a compressed image processing signal;
The compressed image processing signal is temporarily stored in a second storage unit,
During the reconstruction, intended for inter-frame forward predictive coded picture and bidirectional predictive coded picture used for prediction images are discarded by the switching intraframe coding a forward coded image between the frames An image information processing method, wherein the image information is changed to an image, and the prediction information of the bidirectionally coded image is changed based on the prediction information of the image discarded by switching.