JP2006041648A - 動画像処理ユニット - Google Patents

Abstract

【課題】 高性能で半導体集積回路に適した動画像処理ユニットを提供する。
【解決手段】 時系列的に隣り合う画素信号を受けて差分信号を第１差分演算回路で形成し、その出力信号を累積加算回路で累積加算し、所定範囲の画素信号に対応した上記累積加算回路の累積加算値を保持部で保持し、１フレーム遅れて形成された上記累積加算回路の上記累積加算値とを比較部で比較して変化量が所定量を超えたときにシーンチェンジ信号を形成する。
【選択図】 図１

Description

本発明は、動画像処理ユニットに関し、例えば動画圧縮回路を備えて半導体集積回路装置に構成されるものに利用して有効な技術に関するものである。

ＭＰＥＧ−４やＨ．２６４等のような動画像圧縮技術においては、Ｉピクチャと呼ばれるフレーム内符号化とＰピクチャと呼ばれるフレーム間符号化がある。上記Ｐピクチャではフレーム間の差分をとり画像データ圧縮するため連続したシーンでは圧縮効率が良いが、シーンが変わった場合には符号化効率が悪くなる。シーンチェンジのときの画像では、上記Ｉピクチャの方が圧縮効率が良くなる。シーンチェンジ検出方法に関しては、特開２０００−３２４４９９公報があり、動きベクトル検出方法に関しては特開２００２−３５４４８３公報がある。
特開２０００−３２４４９９公報 特開２００２−３５４４８３公報

上記特許文献１の技術では、現フレームとフレームメモリに記憶された１つ前のフレームの画像信号の差分の絶対値を累積加算するものであり、１フレーム分の画像信号を保持するフレームメモリが必要になる。特許文献２では、入力映像信号と１フレーム遅延回路により遅延させた信号との差分の絶対値を累積加算するものであり、１フレーム分に対応した遅延回路が必要になり、半導体集積回路により構成しようとすると回路規模が大きくなってしまうという問題がある。

この発明の目的は、高性能で半導体集積回路に適した動画像処理ユニットを提供することにある。この発明の前記ならびにそのほかの目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、下記の通りである。時系列的に隣り合う画素信号を受けて差分信号を第１差分演算回路で形成し、その出力信号を累積加算回路で累積加算し、所定範囲の画素信号に対応した上記累積加算回路の累積加算値を保持部で保持、１フレーム遅れて形成された上記累積加算回路の上記累積加算値とを比較部で比較して変化量が所定量を超えたときにシーンチェンジ信号を形成する。

簡単な構成で符号化効率を高くした動画像処理ユニットを得ることができる。

図１には、この発明に係る動画像処理ユニットの一実施例のブロック図が示されている。この実施例の動画像処理ユニットは、キャプチャブロック部１００、画像メモリ１１４及び動画像圧縮回路１１３から構成される。本実施例の特徴は、キャプチャブロック部１００にシーンチェンジ検出部として画素の差分演算回路１１０と累積加算演算回路１１１を備えた点である。ここで、キャプチャブロック部１００は、本来のキャプチャ回路と上記差分演算回路と累積加算回路により構成される。

カメラＤＳＰ（デジタル・シグナル・プロセッサ）１１５は、図示しないＣＣＤ等の撮像素子により形成され映像信号を受けて、所定の信号処理を行って撮像画面の左上から横方向に順番の画像データを形成してキャプチャ回路１１２に送る。キャプチャ回路１１２はカメラＤＳＰ１１５から送られてくる画像データをキャプチャし、つまりは１画面（フレーム）分のデジタル画像データを取り出して画像メモリ１１４に格納する。この実施例では、上記キャプチャ回路１１２でキャプチャしたデジタル画素データは、上記画像メモリ１１４に格納する一方で、同時に信号線１２０を通して差分演算回路１１０に送られる。差分演算回路１１０では、上記キャプチャによって時系列的に隣接する画素データ同士の差分を形成する。この差分データは、信号線１２１を通して累積加算回路１１１に入力される。累積加算回路１１１では、１画面分の累積加算値を形成し、信号線１２２を通して動画像圧縮回路１１３に送る。

図２には、図１の差分演算回路１１０の一実施例のブロック図が示されている。差分演算回路１１０は上記キャプチャ回路１１２から送られてくる画素を保持する画素保持部２００、画素保持部２００からの画素を保持する画素保持部２０１、時間的に隣接する、つまりは撮像画面では横方向に隣接する画素ごとの輝度成分の差分演算を行う差分演算部２０２で構成される。差分演算回路１１０では、上記信号線１２０で送られてきた画素データをまず画素保持部２００に保持する。次の画素データが送られてきた際に、その画素データを画素保持部２００に保持するのと同時にそれまで画素保持部２００に保持していた画素データを画素保持部２０１に渡す。つまり、上記画素保持部２００と２０１とは、シフトレジスタ等で構成される。

上記画素保持部２００と２０１は、１つの画素データが複数ビットからなるときには、各ビットに対応した複数の記憶回路（ラッチ）を備え、パラレルに送られた複数ビット分の画素データを上記のように転送するというシフトレジスタとしての動作を行う。そして、差分演算部２０２で上記２つの画素保持部２００と２０１に保持された２つの画素データの差分演算及びその差分演算の結果の絶対値を求める演算を行い、その差分値の絶対値が信号線１２１を通して累積加算回路１１１に送られる。

図３には、累積加算回路１１１の一実施例のブロック図が示されている。累積加算回路１１１は、加算演算部３００、累積加算値保持部３０１とで構成される。信号線１２１を通して送られてくる差分値の絶対値に対し、それまでの累積加算値との間で加算演算を行う。演算結果は再び累積加算値保持部３０１に格納される。これを１フレーム分繰り返し、１フレーム分の累積加算値を求める。累積加算値は信号線１２２により図１に示した動画像圧縮部１１３に送られる。

図３において、上記動画像圧縮部１１３に設けられるシーンチェンジ検出回路も例示的に示されている。この実施例のシーンチェンジ検出回路は、保持部３０２と比較部３０３からなり、保持部３０２は、１つ前のフレームの累積加算値が保持されている。比較部３０３は、この１フレーム前の累積加算値と上記累積加算回路１１１で形成された当該フレームの累積加算値とを比較し、その差分が所定量を超えるか否かの判定を行い。もしも、予め決められて所定量を超えたときにはシーンチェンジ検出信号を一方のレベルにし、上記所定量を超えないときにはシーンチェンジ検出信号を他方のレベルにするという動作を行う。

図４には、この発明に係る動画像処理ユニットを備えたビデオカメラ部の一実施例の要部ブロック図が示されている。カメラＤＳＰは、ＣＤＤ等のような撮像素子及びその駆動回路及び撮像素子から出力される信号処理を行うＤＳＰ（デジタル・シグナル・プロセッサ）から構成される。キャプチャブロックは、前記図１のキャプチャブロック部１００に対応し、動画像圧縮部は前記図１の動画像圧縮回路１１３に対応し、内部メモリは一時的なデータの保持に用いられる。そして、前記図１に示した回路以外に、画像処理ブロック及びＣＰＵ（中央処理ユニット）コア、外部メモリとのインターフェイス回路としてのバスステートコントラーラが設けられて１つのシステム（System) ＬＳＩに内蔵される。ＳＤＲＡＭは、システムＬＳＩの外部メモリであり、動画像圧縮処理に用いられる前記図１の画像メモリ１１４を構成する。上記動画圧縮処理で形成された画像データは、特に制限されないが、ハードディスクメモリ又はＤＶＤ等のような記録媒体に記録される。

前記キャプチャブロック部１１２に設けられた差分演算回路１１０、累積加算回路１１１及びシーンチェンジ検出回路は、時系列的に入力された画素データをリアルタイムで処理して前記のようなシーンチェンジ検出信号を形成するものであり、それに用いられるデータ保持部も極小さな記憶容量のレジスタ又はメモリ回路で構成でき、前記特許公報１や２のような１フレーム分のメモリ回路や遅延回路等に比べて小さな回路規模で実現することができる。それ故に、上記動画像処理ユニットを構成するシステムＬＳＩに搭載してもかかるシステムＬＳＩの回路規模を大きくしないで済む。

図５には、前記図１の差分演算回路１１０及び累積加算回路１１１の動作を説明するための模式図が示されている。撮像画面の左上から順番に時系列的に送られてくる画素同士の差分値を逐一取り、その差分値を１フレーム分全て加算する。この加算値が動画像圧縮部１１３に送られる。つまり、同図において○で示した画素は、１番目と２番目、２番目と３番目、３番目と４番目……のように隣接するもの同士が引き算（−）され、それぞれの引き算値が順次に１フレームにわたって加算されて１フレーム分の累積加算値が求められる。

図６には、前記図１の動画圧縮部１１３でのシーンチェンジ検出動作と符号化動作を説明するための模式図が示されている。動画像圧縮部１１３では、上記差分演算回路１１０及び累積加算回路１１１で形成された累積加算値に対し、フレームごとの変化量を計算し、変化量が多い場合にはシーンチェンジと判定し、Ｉピクチャによる符号化を行う。つまり、同図に示すように、黒丸で示したフレーム毎の累積加算値の変化量を見て、変化量が少ない場合は連続した画像と判定しＰピクチャで符号化を行い、変化量が多い場合にはシーンチェンジと判定し、Ｉピクチャで符号化を行う。

図７には、この発明に係るシーンチェンジ情報検出及び符号化ピクチャ決定動作を説明するためのフローチャート図が示されている。ステップ（１）では、画像データをキャプチャする。ステップ（２）では、上記キャプチャの過程で形成される時系列的な画像データを用いて隣接画素間で差分演算を行う。ステップ（３）では、上記差分値を累積加算する。そして、ステップ（４）で１フレームの終了かを判定し、未終了（ｎｏ）なら次の画像データとの差分及びその累積演算を繰り返す。上記ステップ（４）において、１フレームの終了（ｙｅｓ）と判定されたなら、ステップ（５）において、累積加算値の変化が予め決められた変化量と比較され、変化量が大きい（ｙｅｓ）と判定されたなら、ステップ（６）によりシーンチェンジと判定し、上記画像メモリにキャプチャされた画像データをＩピクチャで符号化する。上記ステップ（５）において、変化量が小さい（ｎｏ）と判定されたなら、ステップ（７）により連続した画像であると判定し、上記画像メモリにキャプチャされた画像データをＰピクチャで符号化する。このようにシーンチェンジ時にＩピクチャを挿入できるため、Ｐピクチャで符号化する場合と比較し、圧縮効率を高めることが出来る。

例えば、従来のＭＥＰＧ等の画像圧縮では、１５フレームに１回Ｉピクチャで符号化し、それ以外はＰピクチャで符号化するなどある決められた仕様に従い一定間隔でＩピクチャを挿入するものである。この場合、動画像のシーンの内容に関係なくＩピクチャが挿入されるため、シーンチェンジの場合にもＰピクチャで符号化してしまい、圧縮効率を下げてしまうことがある。これに対して、本願発明の動画像処理ユニットでは、圧縮の対象となる動画像をキャプチャする際に画素の横方向（時系列）の差分値を累積加算し、その累積加算値のフレームごとの変化量をもとにシーンチェンジを決定し、Ｉピクチャの挿入タイミングを決定するものである。

この実施例のように時系列的な画素の差分値の累積加算値は画像の複雑さに大きく関係し、シーンチェンジの場合など画像の内容が大きく変わった場合には、その累積加算値も大きく変化する。そのため、この累積加算値の変化量によりシーンチェンジの有無を検出することがきる。この実施例では、横方向つまりは時系列的な画素の差分演算、および累積加算演算を行うものであるので、キャプチャ動作と同時にシーンチェンジ情報が検出でき、シーンチェンジ情報のために前記特許文献１のように１フレーム分もの画像データの書き込みや画像の読み出しといった余計なメモリアクセスが必要なくなり、小さな回路規模でシーンチェンジ検出を実現できるとともに、上記のような効率的な動画像圧縮の効率化を図ることができる。又、この実施例では時系列的な画素の差分値は輝度成分のみを取り、色差成分においては差分値を取り、その絶対値を累積加算するようなことは行わない。これにより演算量を削減する事ができる
図８には、この発明に用いられる差分演算回路の他の一実施例のブロック図が示されている。この実施例では、差分演算回路１１０の出力信号を同様な差分演算回路１１０’によって更に差分を求めるというものである。上記差分演算回路１１０は、前記図２と同様に上記キャプチャ回路１１２から送られてくる画素を保持する画素保持部２００、画素保持部２００からの画素を保持する画素保持部２０１、時間的に隣接する、つまりは撮像画面では横方向に隣接する画素ごとの輝度成分の差分演算及びその差分演算の結果の絶対値を求める演算を行う差分演算部２０２で構成される。差分演算回路１１０では、上記信号線１２０で送られてきた画素データをまず画素保持部２００に保持する。次の画素データが送られてきた際に、その画素データを画素保持部２００に保持するのと同時にそれまで画素保持部２００に保持していた画素データを画素保持部２０１に渡す。つまり、上記画素保持部２００と２０１とは、シフトレジスタ等で構成される。

上記差分演算回路１１０’においても、上記信号線１２１で送られてきた差分データをまず差分保持部２００’に保持する。上記差分演算回路１１０から次の差分データが送られてきた際に、その差分データを差分保持部２００’に保持するのと同時にそれまで差分保持部２００’に保持していた差分データを差分保持部２０１’に渡す。つまり、上記差分保持部２００’と２０１’とは、前記同様にシフトレジスタ等で構成される。そして、差分演算部２０２’で上記２つの差分保持部２００’と２０１’に保持された２つの差分データの更に差分演算を行い、２回差分値の絶対値、言い換えるならば２回微分の絶対値の和を累積加算回路１１１に送る。このようにして演算されたフレーム毎の累積加算値の変化量を判定して前記同様にしてシーンチェンジ検出の有無を行うことができる。このようにシーンチェンジを検出することにより、１回差分値の絶対値を累積加算するよりも精度を高くシーンチェンジを検出可能となる。

以上本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。上記シーンチェンジ検出は、図３に示したような回路を動画像圧縮回路に設けるようにしたハードウェアにより実現するもの他、図４に示したシステムＬＳＩにおいては、内部メモリを前記画素保持部２００、２０１、累積加算値保持部３０１、保持部３０２として用い、ＣＰＵを差分演算回路２０２や加算演算部３００として用い、内部メモリに書き込まれたプログラムによってソフトウェアにより前記シーンチェンジ検出のための信号処理を行うようにするものであってもよい。また、画像データは、カメラＤＳＰから受けるもの他、テレビジョン放送あるいはＶＴＲ等から読み出されたアナログ映像信号を受けるものであってもよい。この場合には、まずアナログ映像信号はキャプチャ回路においてデジタル信号に変換される。この発明は、動画像処理ユニットとして広く利用することができる。

この発明に係る動画像処理ユニットの一実施例を示すブロック図である。 図１の差分演算回路１１０の一実施例を示すブロック図である。 図１の累積加算回路１１１の一実施例を示すブロック図である。 この発明に係る動画像処理ユニットを備えたビデオカメラ部の一実施例を示す要部ブロック図である。 図１の差分演算回路１１０及び累積加算回路１１１の動作を説明するための模式図である。 図１の動画圧縮部１１３でのシーンチェンジ検出動作と符号化動作を説明するための模式図である。 この発明に係るシーンチェンジ情報検出及び符号化ピクチャ決定動作を説明するフローチャート図である。 この発明に用いられる差分演算回路の他の一実施例を示すブロック図である。

符号の説明

１００…キャプチャブロック部、１１０，１１０’…差分演算回路、１１１…累積加算回路、１１２…キャプチャ回路、１１３…動画像圧縮回路、１１４…画像メモリ、１１５…カメラＤＳＰ、１２０〜１２２…信号線、２００，２０１…画素保持部、２００’，２０１’…差分保持部、２０２，２０２’…差分演算部、３００…加算演算部、３０１…累積加算値保持部、３０２…保持部、３０３…比較部。

Claims (8)

1. 時系列的に隣り合う画素信号を受けて差分信号を形成する第１差分演算回路と、
   上記第１差分演算回路の出力信号を受ける累積加算回路と、
   所定範囲の画素信号に対応した上記累積加算回路の累積加算値を保持する保持部と、
   上記保持部の累積加算値と１フレーム遅れて形成された上記累積加算回路の上記累積加算値とを比較する比較部とを備え、
   上記比較部の出力信号が所定量を超えたときにシーンチェンジ信号を形成してなることを特徴とする動画像処理ユニット。
2. 請求項１において、
   時系列的な画素信号を受けるキャプチャ回路及び動画像圧縮部を備え、
   上記第１差分演算回路、累積加算回路は、上記キャプチャ回路とともにキャプチャブロック部に設けられ、
   上記動画像圧縮部は、上記シーンチェンジ信号が形成されないフレームではＰピクチャによる符号化を行い、上記シーンチェンジ信号が形成されたフレームではＩピクチャによる符号化を行うものであることを特徴とする動画像処理ユニット。
3. 請求項２において、
   上記所定範囲の画素信号は１フレーム分の画素信号であることを特徴とする動画像処理ユニット。
4. 請求項３において、
   上記第１差分演算回路と累積加算回路とは、上記キャプチャ回路による画素信号の画像メモリへの画素データの書き込みと同期して上記時系列的な画素信号の差分と上記累積加算値を求めることを特徴とする動画像処理ユニット。
5. 請求項３において、
   更に、第２差分演算回路を備え、
   上記第１差分演算回路の出力信号は、上記第２差分演算回路に入力されて時系列的に隣接する差分信号の更に差分信号が形成されて、上記累積加算回路に伝えられるものであることを特徴とする動画像処理ユニット。
6. 請求項３において、
   上記キャプチャブロック部に入力される時系列的な画像信号は、カメラ回路により形成されるものであることを特徴とする動画像処理ユニット。
7. 請求項３において、
   上記動画像処理ユニットは、ＣＰＵコア、画像処理ブロック及外部インターフェイス回路を更に備えて、１チップの半導体集積回路装置で構成されてなることを特徴とする動画像処理ユニット。
8. 請求項３において、
   上記第１差分演算回路は上記差分信号の絶対値を求めることを特徴とする動画像処理ユニット。
   

Images