JP2019106708A - 符号器を用いた効率的なブレンディング - Google Patents

Abstract

【課題】第１の画像と第２の画像とが互いにオーバーラップするオーバーラップエリアのブレンディング又はヒュージングを可能にするために１セットの画像の符号化を制御するコントローラ及び方法を提供する。【解決手段】コントローラは、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第１の画像内の非オーバーラップエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加する。コントローラは、１セットの第１のＱＰ値を用いて、第１の画像内のオーバーラップエリアのマクロブロックを符号化し、修正された第１のＱＰ値のセットを各マクロブロックのヘッダに追加する。コントローラは、１セットの第２のＱＰ値を用いて、第２の画像内のオーバーラップエリアのマクロブロックを符号化し、修正された第２のＱＰ値のセットを各マクロブロックのヘッダに追加する。【選択図】図１

Description

本明細書における実施形態は、画像の符号化を制御するための装置及びその方法に関する。特に、本実施形態は、カメラと符号器とを備えるアセンブリにおいてオーバーラップエリア（overlapping area）のブレンディングを可能にするために１セットの画像の符号化を制御することに関する。

ネットワークカメラ監視システムなどのデジタルビデオシステムにおいては、ビデオシーケンスは、様々なビデオ符号化方法を用いて伝送前に圧縮される。多くのデジタルビデオ符号化システムにおいては、一連のビデオフレームを圧縮するために、イントラモード及びインターモードという主に２つのモードが用いられる。イントラモードにおいては、輝度（luminance）及びクロミナンスチャネルは、予測、変換、及びエントロピー符号化を通じて、単一のフレームの所与のチャネル内の画素の空間的冗長性を活用することによって符号化される。符号化されたフレームは、イントラフレームと呼ばれ、Ｉフレームと呼ばれることがある。インターモードは、その代わりに、個別のフレーム間の時間的冗長性を活用し、選択された画素のブロックについて１つのフレームから別のフレームに対する画素内の動きを符号化することによって、１つ以上の前のフレームからフレームの一部を予測する動き補償予測技術に依存する。符号化されたフレームは、インターフレームと呼ばれ、復号順序で前のフレームを参照することができるＰフレーム（順方向予測フレーム）又は２つ以上の前に復号されたフレームを参照することができ且つ予測に用いられるフレームの任意の表示順序関係を有することができるＢフレーム（双方向予測フレーム）と称されることがある。さらに、符号化されたフレームは、各ピクチャー群がＩフレームで開始されるピクチャー群（ＧＯＰｓ：groups of pictures）内に配列され、後続のフレームは、Ｐフレーム又はＢフレームである。ピクチャー群内のフレームの数は、概して、ＧＯＰ長と称される。ＧＯＰ長は、ピクチャー群内にイントラフレームだけがあり且つインターフレームがないということを意味する１から、例えば、ピクチャー群内に１つのイントラフレームがあり且つその後に３６個のインターフレームがあるということを意味する３７まで、変化し得る。符号化されたビデオシーケンスの受信サイト（reception site）において、符号化されたフレームが復号される。

ビデオ符号化にとって、レート制御及び量子化パラメータ（ＱＰ：quantization parameter）は、重要な問題である。レート制御アルゴリズムは、目標ビットレートを実現するために符号器パラメータを動的に調節する。各ピクチャー群及び／又はビデオシーケンス内の個々のピクチャーに対して、ビットバジェット（budget of bits）を割り当てる。量子化パラメータＱＰは、どのくらいの情報が、例えば空間的及び時間的な情報が、保存されるかを調整する。ＱＰが非常に小さい場合、ほとんどすべての情報が保持される。ＱＰが増加するにつれて、ビットレートが低下し、その結果、ある程度の品質の損失という代償を払って、その情報の一部が集約される。

マルチセンサカメラは、細部に優れかつ広範囲の監視範囲を劇的に向上することができるので、昨今の監視市場において漸増的に普及している。マルチセンサカメラは、ビューア（viewers）を仮想的にシーン内に引き込むパノラマビューを供給するために、シームレスに繋ぎ合わされ得る優れた品質の画像を提供する。マルチセンサカメラは、オーバーラップするエリア又はゾーンをもつ複数の写真画像又はマルチセンサビューを生成する。画像の繋ぎ合わせ又は写真の繋ぎ合わせは、セグメント化されたパノラマ又は高精細画像を生成するために、複数の写真画像をオーバーラップする視野に組み合わせるプロセスである。

マルチセンサビュー又は画像を成功裏に繋ぎ合わせるためには、何らかの形式のブレンディングが、画像間のオーバーラップゾーンにおいて必要となる。ブレンディングの一般的な形式は、オーバーラップ領域の一因となる各ソースからの画素値を組み合わせること、例えばアルファブレンディングである。ここで、（ブレンドされた画素）＝（重みソース１）×（画素ソース１）＋（重みソース２）×（画素ソース２）である。また、重みは輝度レベルが維持されるために１になる。重みは、通常、平滑な遷移領域を生成するために選択され、例えば、１０画素幅の水平ブレンディング・オーバーラップエリア（ten pixel wide horizontal blending overlapping area）について、ソース１の重みを、０．９５、０．８５、０．７５、０．６５、０．５５、０．４５、０．３５、０．２５、０．１５、０．０５として選択し得る。そして、ソース２の重みは、合計が１に等しくなるように、すなわち、０．０５、０．１５などに、適合させる。３つ以上のソースがある場合、重みが適宜調節されることになる。

ブレンディングに関する問題は、オーバーラップする領域内の画素の手動的処理が計算上非常に高価である、ということである。通常、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field-Programmable Gate Array ）などの特別なハードウェアを必要とし、オーバーラップ領域内の各々の画素毎の２つの値である、非常に大きな重みマスクを必要とすることがある。この問題は、マルチセンサカメラが多くの場合非常に高い分解能を有するという事実によって顕著になる。

上記を鑑みて、本明細書における実施形態の目的は、画像ブレンディングのための改善された方法及び装置を提供することである。

本明細書における実施形態の第１の態様によれば、本目的は、第１の画像と第２の画像とが互いにオーバーラップするオーバーラップエリアのブレンディングを可能にするために１セットの画像の符号化を制御するための方法によって実現される。本方法は、カメラと符号器とを備えるアセンブリ内のコントローラにおいて実行される。

コントローラは、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第１の画像内の第１のエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加する。

コントローラは、１セットの第１のＱＰ値を用いて、第１の画像内の第２のエリアのマクロブロックを符号化し、修正された第１のＱＰ値のセットを各マクロブロックのヘッダに追加する。

コントローラは、１セットの第２のＱＰ値を用いて、第２の画像内の第１のエリアのマクロブロックを符号化し、修正された第２のＱＰ値のセットを各マクロブロックのヘッダに追加する。

コントローラは、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第２の画像内の第２のエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加する。

本明細書における実施形態の第２の態様によれば、本目的は、第１の画像と第２の画像とが互いにオーバーラップするオーバーラップエリアのブレンディングを可能にするために１セットの画像の符号化を制御するための、カメラと符号器とを備えるアセンブリ内のコントローラによって実現される。

コントローラは、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第１の画像内の第１のエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加するように構成される。

コントローラは、１セットの第１のＱＰ値を用いて、第１の画像内の第２のエリアのマクロブロックを符号化し、修正された第１のＱＰ値のセットを各マクロブロックのヘッダに追加するようにさらに構成される。

コントローラは、１セットの第２のＱＰ値を用いて、第２の画像内の第１のエリアのマクロブロックを符号化し、修正された第２のＱＰ値のセットを各マクロブロックのヘッダに追加するようにさらに構成される。

コントローラは、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第２の画像内の第２のエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加するようにさらに構成される。

本明細書における実施形態によれば、画像内の異なるエリアのマクロブロックは、異なるＱＰ値のセットで符号化され、異なるＱＰ値のセットは、対応するマクロブロックのヘッダに追加される。このように、第１の画像と第２の画像とが互いにオーバーラップするオーバーラップエリアのブレンディングが、符号化されたフレームが受信サイトの復号器内で復号される際に、符号化されたビデオシーケンスの受信サイトにおいて可能になる。

本明細書における実施形態は、マルチセンサ画像のブレンディングを実現するためのアプローチが１セットの画像の符号化の制御によって完全に符号器の内部に存在するので、付加的なハードウェアサポートを追加する必要なく、このマルチセンサ画像のブレンディングを実現する。それは、符号化されたビデオ内で送信するよりも高いＱＰ値でオーバーラップエリアのマクロブロックを圧縮するように、符号器を操ることである。通常、符号化されたビデオにおいて、実質的には、画素値は、可能な重み行列を提供する係数によって修正される。本明細書における実施形態はこれを用いて、画像内の非オーバーラップエリアと比較して異なるように画素値を修正することによって、異なるソースからの画素値を同じマクロブロックにブレンドする。

このように、本明細書における実施形態は、画像ブレンディングのための改善された方法及び装置を提供する。

以下の添付の図面を参照して、実施形態の例が、より詳細に記載されることになる。

本明細書における実施形態を実装することができる、カメラと符号器とを備えるアセンブリを示すブロック図である。 本明細書における実施形態による、１セットの画像を符号化する方法を示すフローチャートである。 本明細書における実施形態による、１セットの画像を符号化する例を示す図である。 本明細書における実施形態による、１セットの画像を符号化する別の例を示す図である。 本明細書における実施形態による、１セットの画像を符号化するさらに別の例を示す図である。 本明細書における実施形態を実装することができる電子装置を示すブロック図である。

図１は、本明細書における実施形態を実装することができる、カメラと符号器とを備えるアセンブリ１００を示すブロック図である。

アセンブリ１００は、カメラ１１０と、画像信号処理装置１２０と、符号器１３０と、コントローラ１４０とを備える。カメラ１１０は、マルチセンサカメラであり、例えば、第１の画像、第２の画像、第３の画像、第４の画像などの一連の画像を生成し、ここで、各画像は、その前又はその後に、画像とオーバーラップするエリアを有する。各画像は、ある程度の数のマクロブロックに分割されてもよい。各マクロブロックは、画素の配列を含んでもよい。画像信号処理１２０は、例えば、色補正、デワーピング、変換などの当業者に既知の方式で、受信画像データを処理するように構成される。符号器１３０は、伝送のために画像データをフレームに符号化するように構成される。コントローラ１４０は、符号器１３０と画像信号処理１２０とを制御するように構成される。その後、符号化された画像フレームは、無線通信システム又はケーブルを通じてネットワーク１５０に対して送信される。

図１は、また、受信された画像フレームを復号するための受信サイト内の復号器１６０を示す。

図２は、本明細書における実施形態による、符号化する方法を示すフローチャートである。本方法は、図１に示すようなカメラと符号器とを備えるアセンブリ１００内のコントローラにおいて実行される。コントローラ１４０は、第１の画像と第２の画像とが互いにオーバーラップするオーバーラップエリアのブレンディング又はヒュージングを可能にするために１セットの画像の符号化を制御する。第１の画像は、第１のエリアと第２のエリアとを備えてもよく、第２の画像は、第１のエリアと第２のエリアとを備えてもよい。第１の画像は、第２の画像に完全にオーバーラップしてもよい。すなわち、第１の画像の第１のエリア及び第２のエリアが、それぞれ、第２の画像の第１のエリア及び第２のエリアにオーバーラップしてもよい。第１の画像は、第２の画像に部分的にオーバーラップしてもよい。すなわち、第１の画像の第２のエリアが第２の画像の第１のエリアにオーバーラップしてもよい。本方法は、任意の適切な順序で実行されてもよい、以下の動作を備える。

動作２１０

画像内の非オーバーラップエリアについては、特別の処理は必要なく、そのため、普通に、つまり、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、符号化されることになる。つまり、コントローラは、１セットの基本ＱＰ値を用いて、第１の画像内の第１のエリア又は非オーバーラップエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加する。各マクロブロックは、そのマクロブロックについて符号化されたＱＰ値を含むヘッダを有する。

動作２２０

画像内のオーバーラップエリアについては、圧縮が必要であり、異なる態様で符号化されることになる。符号器において、マクロブロック値が空間領域から周波数領域に転送され、各結果の値は、係数２（ＱＰ／６）で除算される。ここで、ＱＰは基本ＱＰ値である。したがって、復号する場合は、結果の値を同じ係数２（ＱＰ／６）で乗算する。但し、修正されたＱＰ値のセットを各マクロブロックのヘッダに追加することによって、ストリームは、符号化されたＱＰ値とは異なるＱＰ値を用いて復号されることになり、その結果、マクロブロックの値は「スケーリングされる（scaled）」ことになる。この「スケーリング（scaling）」の詳細は、下記で詳述されることになる。したがって、要約すれば、コントローラは、１セットの第１のＱＰ値を用いて、第１の画像内の第２のエリア又はオーバーラップエリアのマクロブロックを符号化し、修正された第１のＱＰ値のセットを各マクロブロックのヘッダに追加する。

動作２３０

上記と同じ理由から、コントローラは、１セットの第２のＱＰ値を用いて、第２の画像内の第１のエリア又はオーバーラップエリアのマクロブロックを符号化し、修正された第２のＱＰ値のセットを各マクロブロックのヘッダに追加する。

動作２４０

第２の画像内の非オーバーラップエリアについては、第１の画像内の非オーバーラップエリアとして普通に符号化されることになる。そのため、コントローラは、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第２の画像内の第２のエリア又は非オーバーラップエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加する。

本明細書における１つの実施形態によれば、マクロブロックのヘッダに追加された、修正されたＱＰ値の第１及び第２のセットは、ＱＰ値の第１及び第２のセットよりも低く、修正されたＱＰ値の第１及び第２のセットのバランスを取ることによって、ブレンディングが達成されてもよい。すなわち、マクロブロックヘッダに対して追加され、且つ復号化の際に用いられる各修正されたＱＰ値は、符号化のために用いられるＱＰ値よりも低くなければならない。１つ以上の画像のオーバーラップエリアが組み合わされる場合、２つの画像ソースに対するＱＰ重みの合計、すなわち、

は、非オーバーラップエリアとして同じ照度を維持するためには１でなければならない。ここで、ＱＰｅｎｃｏｄｅは、第１／第２のセットのＱＰ値であり、ＱＰｈｅａｄｅｒは、修正されたＱＰ値の第１／第２のセットである。

例えば、単純化された場合には、修正されたセットの第１／第２のＱＰ値が２８、すなわちＱＰｈｅａｄｅｒ＝２８に設定されると考える。オーバーラップエリアの現在のマクロブロックが、第１の画像からの第１のソースＳ１と第２の画像からの第２のソースＳ２との間の比率２：１、すなわち、６７％：３３％で分割される場合、ＱＰ＝３１（〜７０％）（すなわちＱＰｅｎｃｏｄｅ＝３１）を有するＳ１データを用いる場合で、且つＱＰ＝３８（〜３１％）（すなわちＱＰｅｎｃｏｄｅ＝３８）を有するＳ２データを用いる場合には、マクロブロックを圧縮してもよい。これは、２．２：１のブレンディングの場合の比率を示すようになる。ＱＰｅｎｃｏｄｅ＝３２（〜６３％）及びＱＰｅｎｃｏｄｅ＝３７（〜３５％）をそれぞれ用いる対応するケースの場合、結果は１．８：１の比率になり得る。ＱＰｅｎｃｏｄｅ＝３１及びＱＰｅｎｃｏｄｅ＝３７は、それぞれ比率２：１を示すようになるが、但し、許容の可否に関わらず、照度が数パーセント増加し得る。照度の増加は、次式のように計算又は推測することができ、

すなわち、６％の照度の増加がある。この輝度差を最小にすることが望ましいが、人間の目にはおそらく見えないので、わずかな差は、概して、完全に許容できる。符号化ＱＰ値及びヘッダＱＰ値を選択する際には大きな自由度がある、すなわち、２つの画像から画像データをブレンドする場合にカスタマイズする４つの異なるＱＰ値があるということに留意されたい。

本明細書におけるいくつかの実施形態によれば、コントローラは、非表示の指標（indication of no-display）により第１のフレームを符号化する。ここで、第１のフレームは、２つのタイルを備え、第１のタイルは符号化された第１の画像を含み、第２のタイルは、符号化された第２の画像の非オーバーラップエリアを含む。

コントローラは、２つのタイルを備えるインターフレームとして後続フレームを符号化する。ここで、第１のタイルは、符号化された第１の画像の非オーバーラップエリアを含み、第２のタイルは、符号化された第２の画像を含む。

ＧＯＰ内の第１のフレームは、イントラフレーム又はＩフレームとなり、後続フレームは、インターフレーム又はＰフレームとなる。これは、ＧＯＰの第１のフレームに該当する。第３のフレームはＰフレームとなり、第４のフレームは同様となり、新たなＧＯＰがＩフレームにて開始されるまで同様となる。

この符号化アプローチを用いて、２つのソースから水平に繋ぎ合わせられたビデオは、それぞれのソース画像から第２のフレーム毎にオーバーラップエリアデータをとってもよい。これは、図３に示す例において例示される。ここで、図に示されるように、各々が２つのオーバーラップするマクロブロックによる６×１のマクロブロックの解像度を有する２つのソース画像Ｓ１及びＳ２を用いて、シーンが画像化される。ソース画像Ｓ１及びＳ２は、オーバーラップをより適切に例示するように垂直オフセットで示される。ソース画像は、上記の符号化アプローチに従って、１０×１のマクロブロックの解像度でブレンドされたストリームを形成することになる。

各ＧＯＰ内の第１のフレームの構造は、図３の「フレームｎ」によって示され、後続フレームは、図３の「フレームｎ＋１」によって示される。

３つのエリアａ１、ａ２、ａ３を含む１０×１のマクロブロックの解像度でブレンドされたストリーム又はフレームである、受信側の復号器における結果フレームも、また、図３に示される。

フレームレートＦＰＳ（Ｓ１、Ｓ２）＝３０Ｈｚについては、その後、それぞれのソースＳ１及びＳ２から完全に取られたエリアａ１及びａ３の実効フレームレートは、３０Ｈｚになり、その一方で、オーバーラップエリアａ２は、３０Ｈｚにて部分的なアップデートを提供することになるが、完全なアップデートのためには１５Ｈｚが必要となり得る。

本実施形態においては、Ｐフレームの２倍のフレームが生成される。但し、適正なＰフレームが再生されることになる。この符号化方法は、すべての復号器によってサポートされるべきであるが、実際には、必ずしもすべての復号器がサポートするとは限らない。但し、必要に応じてかなり容易にサポートを追加することができる。

本明細書におけるいくつかの実施形態によれば、前の実施形態のような「非表示フレーム（non-display frames）」を用いる必要はない。但し、コントローラは、Ｐフレームの２倍のフレームを符号化して送信することになり、そのため、オーバーラップエリアの断続的なアップデートの結果として、フレームレートＦＰＳは２倍ということになる。この符号化方法は、市販されている復号器の１００％によってサポートされる。

そのため、いくつかの実施形態によれば、コントローラは、符号化された第１の画像非オーバーラップエリアと、符号化された第１の画像オーバーラップエリアと、符号化された第２の画像非オーバーラップエリアとを含む第１のフレームを符号化し、符号化された第２の画像オーバーラップエリアを含む後続フレームを符号化してもよい。

本実施形態におけるフレームの構造を、図４に示す。ここで、第１のフレームは「フレームｎ」によって示され（indicted）、後続フレームは「フレームｎ＋１」によって示される。後続フレーム「フレームｎ＋１」については、ハッチングエリアは、単にフレームの構造の理解を援助するために示されているだけであって、符号化動作を表現してはいない。

１つの実施形態によれば、第１のフレームは、イントラフレームとして符号化される。

１つの実施形態によれば、後続フレームは、インターフレームとして符号化される。

このように、発明に関する方法は、本実施形態によれば、ＧＯＰの連続画像に加えてＧＯＰの先頭の双方に適用することができる。

本実施形態は、あらゆるＧＯＰ長を網羅することができる。ＧＯＰ長は、静的であってもよく、すなわち、例えば３０、６０などの常に同じ長さであってもよく、又は、例えばシーンによって変動するような動的であってもよい。ここで、典型的には、多くの動きを含むシーンは、静的なシーンよりも短いＧＯＰ長という結果になる。

オーバーラップエリア内の動きに対処する改善は、ソースの１つからのデータのみを用いるように動的に選択すること、又は、そのフレームレートをソース画像のフレームレートにまで上げるためにオーバーラップ領域内の変化のみによる余分なフレームを生成することであってもよい。

本明細書におけるいくつかの実施形態によれば、図３に示した例とはわずかに異なる状況が、図５に示される。図５において、第１及び第２のセンサが、どのようにして同一の画像処理パイプラインに関連づけられているのか、が例示される。通常、画像は異なるカメラから来るため、それらが同じハードウェアを用いる場合であっても、図３及び図４で記載され示されたフレームの符号化のために、２つの画像パイプライン又は少なくとも２つの仮想画像パイプラインが必要である。但し、図５に示すように、２つのソースからの画像が最初に組み合わされ、そのため、その結果として本発明の第２の実施形態がもたらされる、全く同一の画像処理パイプラインが必要となる。セットアップは、本質的には標準入力に対応してもよく、シーンを画像化する場合、各センサからの１つの画像が生成されることになる。

図５のチャートを概説すると、第１及び第２の画像センサ５１０、５２０があり、両者は、完全に又は部分的にオーバーラップする画像情報を提供する。画像は、マージされた画像５３０を生成するマージステップにおいて最初に組み合わされる。このマージステップにおいて、カメラプロセッサは、判定の際に、後続の符号器５４０のためのフレームを生成する際にどのエリアを組み合わせるのかを、自由に選択してもよい。符号器５４０は、好ましくは、このような参照フレームが有効な場合に、ＤＥＬＴＡ（差分器）５４１として示された受信フレームと参照フレーム５４２との間の差が判定される標準的な符号器であってもよい。すなわち、フレームは、ｈ．２６４、ｈ．２６５などの既知のビデオコーデックを用いて符号化される。マージステップからの結果として生じるフレーム、すなわちマージされた画像５３０は、画像処理パイプライン内で符号化されて転送され、処理されたフレームは、最終的に、クライアント側に送信される。符号化された画像は、また、参照フレームの生成のために、内部復号器５４３の使用によって、符号器５４０内で再構築される。

理解を容易にするために、第１の画像が２つのエリアを有するということを想像することができ、１つはユニーク（非オーバーラップ）であり、もう１つは第２の画像にオーバーラップする。同様に、第２の画像は２つのエリアを有し、１つは第１の画像にオーバーラップし、もう１つは非オーバーラップである。単純化されたセットアップにおいて、画素応答は、同じセンサの各エリアにおいて一定であり、究極の目標は、符号器／復号器を用いて、予測可能なブレンディングを達成することである。

図５のクライアント側を参照すると、すべては、標準的なセットアップとすることができる。復号器５５０は、符号化されたフレームを順に受信し、それらを復号し、受信した命令に従ってそれらを表示する。カメラ側では、目標は、２つの画像を繋ぎ合わせてブレンドすること、又は、それらが完全にオーバーラップした場合にそれらを融合させること、及び、クライアント側で単一の画像を表示することである。

この第２の実施形態において、２つの画像を繋ぎ合わせてブレンドすること、又はそれらを融合させることは、オーバーラップエリアがあればオーバーラップエリアを非オーバーラップエリアとは別々に取り扱うことによって解決される。符号化の目的のために各画素が個別のマクロブロックに対応する、ということを考慮されたい。コントローラは、図４に示したフレームの構造と同様に且つ以下に記載されるように、フレームを符号化する。

最初の２つのフレーム：
第１及び第２の画像は、第１の画像のみからのオーバーラップエリアからオーバーラップエリアが構成される単一の画像にマージされる。したがって、第２の画像のオーバーラップエリアの画素値は、この段階では無視される。

結果として生じる符号化されたフレームがＧＯＰの第１のフレームであれば、マージされた画像は、Ｉフレームとして符号化されることになる。マージされた画像内の非オーバーラップエリア及びオーバーラップエリアは、動作２１０及び動作２２０で記載した方法に従って符号化される。それは、１セットの基本ＱＰ値を用いて、第１のマージされた画像内の第１の又は非オーバーラップエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加し、ＱＰ値の第１のセットを用いてオーバーラップエリアを符号化し、修正されたＱＰ値のセットを各マクロブロックのヘッダに追加することである。特に、ヘッダ内のＱＰ値は、好ましくは、フレームのために当初は用いられたＱＰ値を単純に調節することによって、符号器に続く段階で追加される。このアプローチは、本明細書における実施形態による解決手段を具体化する場合に任意の符号器を用いることができる、という１つの長所を有する。フレームがＧＯＰの第１のフレーム、したがってＩフレームである場合、復号器がフレームを復号するものの表示するためにそれを転送しない、ということを意味する「非表示（no-display）」フラグも備える。

第２のフレームを符号化する場合に、マージされた画像がもう１回用いられる。第２のフレームは、第２の画像のみのオーバーラップエリアの画素値に対応し、非オーバーラップエリアは無視される。この第２のフレームは、ＱＰ値の第２のセットを用いてゼロ基準でＰフレームとして符号化され、ＱＰ値の第２のセットは、再び調節されてマクロブロックのヘッダに追加される。

クライアント側では、第２のフレームが復号されて表示され、それはＰフレームであるので、表示された際に、参照フレームからの情報を組み込み、本実施形態の目的のために、参照フレームが第１のフレームに設定される。オーバーラップエリアについては精巧にバランスのとれたＱＰ値のおかげで、結果の表示画像は、第１及び第２のフレームからの情報を備える、ブレンドされた画像になる。

第２ペアのフレーム及び後続フレーム：
２つの第１のフレームに続いて、新たなセンサ入力が、第１及び第２の画像の形式で提供されることになり、処理が繰り返されることになる。クライアント側では、用いられる参照フレームは、もちろん、漸増的に更新されることになる。違いは、第３のフレームがＩフレームではなくＰフレームになり、結果的に、参照フレームが用いられる、ということである。参照フレームは、符号器５４０の復号器５４３によって提供され、特に、符号器５４０の復号器５４３によって復号されたフレームは、調整又は修正されたＱＰ値よりむしろ、ヘッダ内の「真（true）」のＱＰ値を含んでもよい。この第３のフレームについて、使用される参照フレームは、第１のフレームに対応することになる。再び、符号化された情報は、第１及び第２の画像の非オーバーラップエリア及び第１の画像のオーバーラップエリアである。

クライアント側では、第３のフレームは表示されないことになる。第４のフレームは、第２の画像のオーバーラップエリアからの情報を含み且つ第２のフレームに対応する参照フレームを用いるＰフレームとして符号化される。第４のフレームの送信に続いて、調整されたＱＰ値により、組み合わされた画像がクライアント側に表示されることになる。それでも、結果は、組み合わされブレンドされた画像の表示になる。

第３及び第４のフレームを参照して記載した処理は、新たなＧＯＰにとって正しい時間になるまで繰り返されることになり、その時点で、全処理が、フレームの第１のペアについて記載したようにＩフレームで再開されることになる。第１の実施形態と同様、本技術は、処理性能の高いカメラを必要としないブレンディングを可能にする。

代替的な符号化アプローチは、オーバーラップエリア内のすべての画素に対して画像信号処理ＩＳＰ１２０における利得低減を適用することができ、その後、符号器内で「通常のように（as normal）」それを符号化することができるが、現在符号化されているソース画像からのデータのみにより、オーバーラップエリア内の符号器参照バッファを満たすことができる。結果的に、データは、本質的には間違っていることになるが、但し、復号器によって表示された場合、正しいことになる。

そのため、本明細書におけるいくつかの実施形態によれば、コントローラは、第１及び第２の画像のオーバーラップエリア内のすべての画素に対して画像信号処理ユニット１２０における利得低減を適用することができる。その結果、セット内の第１及び第２のＱＰ値を、セット内の基本ＱＰ値以下にすることができる。セット内の第１及び第２のＱＰ値が、セット内の基本ＱＰ値に等しい場合、その後、オーバーラップエリアは、通常のように符号化される。上記の例においては、第１及び第２の画像のオーバーラップエリア内の画素値は、すべて、半分、すなわち０．５の利得低減、に低減される。

ＱＰ値の第１のセットと修正されたＱＰ値の第１のセットと、及びＱＰ値の第２のセットと修正されたＱＰ値の第２のセットとの関係、並びにＱＰ値と修正されたＱＰ値との更なる組み合わせは、オーバーラップエリアの明暗度（intensity）が、非オーバーラップエリアと略同じであるようにバランスを取られる。

いくつかの実施形態によれば、明暗度におけるいかなる既存の不一致も、画像処理装置１２０における利得を調節するフィードバックループの作動によって補償されることができる。

いくつかの実施形態によれば、第１の及び／又は第２の画像は、マルチプロセッシングを可能にする目的のために、タイル又はスライスに分割されてもよい。例えば、本明細書における実施形態は、２つ以上のチップを有するカメラ又は２つ以上のカメラなどにおいて、チップ間のデータを共有する必要なくブレンディングを実行することができる。タイルは、データを共有せず、個々に符号化され得るので、ここでは重要である。

いくつかの実施形態によれば、第１及び／又は第２のセットのＱＰ値は、マクロブロック又はフレーム毎に異なる。このように、スマート符号器やレートコントローラなどを実装することが可能である。

いくつかの実施形態によれば、符号器は、オーバーラップエリアを特別のタイル又はスライスに分割して、異なるデブロッキングフィルタセッティングを第１及び／又は第２の画像に対して適用するために、様々なデブロッキングツールを用いてもよい。これは、ブレンディングの余分な動的平滑化を復号器に実行させることである。すなわち、オーバーラップ領域に対して特別のタイル／スライスを用い、この領域に対して異なるデブロッキングフィルタセッティングを選択することさえもできる。

上記の例示的な実施形態においては、２つの画像のみからのオーバーラップエリアを組み合わせているが、オーバーラップエリアのブレンディングを可能にするための方法及び装置は、３以上の画像が組み合わされる場所に対して適用されてもよい。さらに、オーバーラップエリアのブレンディングを可能にするための方法及び装置は、２つ又は３つ以上の互いに完全にオーバーラップする画像に対して適用されてもよく、つまり、２つ又は３つ以上の画像のヒュージングを可能にする。

本明細書における実施形態による、１セットの画像フレーム、例えば第１及び第２の画像の符号化を制御する方法は、カメラと符号器とを備えるアセンブリ１００内に備えられたコントローラ１５０において実行されてもよい。第１の画像は、第１のエリアと第２のエリアとを備えてもよく、第２の画像は、第１のエリアと第２のエリアとを備えてもよい。第１の画像は、第２の画像に完全にオーバーラップしてもよい。すなわち、第１の画像の第１のエリア及び第２のエリアが、それぞれ、第２の画像の第１のエリア及び第２のエリアにオーバーラップしてもよい。第１の画像は、第２の画像に部分的にオーバーラップしてもよい。すなわち、第１の画像の第２のエリアが第２の画像の第１のエリアにオーバーラップしてもよい。

コントローラ１５０は、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第１の画像内の第１のエリア又は非オーバーラップエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加するように構成される。

コントローラ１５０は、１セットの第１のＱＰ値を用いて、第１の画像内の第２のエリア又はオーバーラップエリアのマクロブロックを符号化し、修正された第１のＱＰ値のセットを各マクロブロックのヘッダに追加するようにさらに構成される。

コントローラ１５０は、１セットの第２のＱＰ値を用いて、第２の画像内の第１のエリア又はオーバーラップエリアのマクロブロックを符号化し、修正された第２のＱＰ値のセットを各マクロブロックのヘッダに追加するようにさらに構成される。

コントローラ１５０は、１セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、第２の画像内の第１のエリア又は非オーバーラップエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加するようにさらに構成される。

ＱＰ値の第１のセットと修正されたＱＰ値の第１のセットと、及びＱＰ値の第２のセットと修正されたＱＰ値の第２のセットとの関係、並びにＱＰ値と修正されたＱＰ値との更なる組み合わせは、オーバーラップエリアの明暗度が、非オーバーラップエリアとして略同じであるようにバランスを取られてもよい。明暗度におけるいかなる既存の不一致も、画像処理装置における利得を調節するフィードバックループの作動によって補償されることができる。

いくつかの実施形態によれば、コントローラ１５０は、符号化された第１の画像を含む第１のタイルと符号化された第２の画像の第２のエリア又は非オーバーラップエリアを含む第２のタイルとの２つのタイルを備える第１のフレームを、非表示の指標により符号化し、符号化された第１の画像の第１のエリア又は非オーバーラップエリアを含む第１のタイルと符号化された第２の画像を含む第２のタイルとの２つのタイルを備えるインターフレームとして後続フレームを符号化するようにさらに構成される。

いくつかの実施形態によれば、コントローラ１５０は、符号化された第１の画像と符号化された第２の画像の第２のエリア又は非オーバーラップエリアとを備える第１のフレームを符号化し、符号化された第２の画像の第１のエリア又はオーバーラップエリアを備える後続フレームを符号化するようにさらに構成される。

いくつかの実施形態によれば、コントローラ１５０は、第１及び第２の画像のオーバーラップエリア内のすべての画素に対して画像信号処理ユニットにおける利得低減を適用するようにさらに構成され、ここで、セット内の第１及び第２のＱＰ値は、セット内の基本ＱＰ値以上である。

いくつかの実施形態によれば、コントローラ１５０は、オーバーラップエリアを特別のタイル又はスライスに分割して、異なるデブロッキングフィルタセッティングを第１及び／又は第２の画像に対して適用するようにさらに構成される。

本明細書における実施形態による１セットの画像を符号化するためのコントローラ及び方法は、カメラシステムなどの画像ブレンディングが必要な何らかの電子装置に適している。図６は、本明細書における実施形態によるコントローラ及び方法を実装することができる電子装置６００を示す。電子装置６００は、カメラと符号器とを備えるアセンブリ１００、情報記憶及び信号処理のための処理装置６２０、ネットワークに対して又は他の装置に対して画像データを送信するための送信器６３０、画像データ、構成、実行時に本明細書における符号化方法を実行するプログラムコードを記憶するためのメモリ６４０などを備える。アセンブリ１００内のＩＳＰ１２０、符号器、１３０及びコントローラ１５０は、処理装置６２０内に配置されるか、又は処理装置６２０に組み合わされてもよい。電子装置６００は、カメラシステム、ネットワークビデオレコーダ、監視カメラ、すなわち撮像装置と処理装置と符号器とを備える通常のネットワークカメラ、又は撮像装置及びいくつかの処理が含まれる「カメラヘッド（camera head）」を有するネットワークカメラのうちのいずれか１つであってもよく、その一方で、さらに、画像処理及び符号化は、カメラヘッドがケーブルを通じて接続される個別の装置内で実行されてもよい。

要約すると、本明細書における実施形態による１セットの画像を符号化することを制御するためのコントローラ及び方法のいくつかの効果は、以下のものを含む。

第１の画像と第２の画像とが互いにオーバーラップするオーバーラップエリアのブレンディングを、符号化されたフレームが受信サイトの復号器内で復号される際に、受信サイトにおいて可能にする。これは、画像内の異なるエリアのマクロブロックを、異なるＱＰ値のセットで符号化することにより実現され、異なるＱＰ値のセットは、対応するマクロブロックのヘッダに追加される。

マルチセンサ画像のブレンディングを実現するためのアプローチが１セットの画像の符号化の制御によって完全に符号器の内部に存在するので、付加的なハードウェアサポートを追加する必要なく、このマルチセンサ画像のブレンディングを実現する。これは、符号化されたビデオ内で送信するよりも高いＱＰ値でオーバーラップエリアのマクロブロックを圧縮するように、符号器を操ることにより実現される。受信サイトでは、非オーバーラップエリアのＱＰ値と比較して異なる修正ＱＰ値でオーバーラップエリアを復号する際に、２つ以上の画像からのオーバーラップエリアのブレンディングが実現される。

このように、本明細書における実施形態は、画像ブレンディングのための改善された方法及び装置を提供する。

「備える、含む（comprise）」又は「備える、含む（comprising）」という用語を用いる場合、それは、非限定的に、すなわち「少なくとも〜から構成される」ことを意味すると解釈されるものとする。

本明細書における実施形態は、上記の好ましい実施形態に限定されない。様々な代替案、改良、及び等価物が用いられてもよい。そのため、上記の実施形態は、添付の特許請求の範囲によって定義される本発明の範囲を限定するものとしてみなされるべきでない。

Claims (15)

1. 第１の画像と第２の画像とが互いにオーバーラップするオーバーラップエリアのブレンディング又はヒュージングを可能にするために、カメラと符号器とを備えるアセンブリ内で、１セットの画像の符号化を制御するための方法であって、
   １セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、前記第１の画像内の第１のエリアのマクロブロックを符号化し（２１０）、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加することと、
   １セットの第１のＱＰ値を用いて、前記第１の画像内の第２のエリアのマクロブロックを符号化し（２２０）、修正された前記第１のＱＰ値のセットを各マクロブロックのヘッダに追加することと、
   １セットの第２のＱＰ値を用いて、前記第２の画像内の第１のエリアのマクロブロックを符号化し（２３０）、修正された前記第２のＱＰ値のセットを各マクロブロックのヘッダに追加することと、
   １セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、前記第２の画像内の第２のエリアのマクロブロックを符号化し（２４０）、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加することと
   を備える方法。
2. 前記マクロブロックヘッダに対して追加された修正されたＱＰ値の第１及び第２のセットは、前記ＱＰ値の第１及び第２のセットよりも低い請求項１に記載の方法。
3. 前記符号化された第１の画像を含む第１のタイルと前記符号化された前記第２の画像の前記第２のエリアを含む第２のタイルとの２つのタイルを備える第１のフレームを、非表示の指標により符号化することと、
   前記符号化された前記第１の画像の前記第１のエリアを含む第１のタイルと前記符号化された前記第２の画像を含む第２のタイルとの２つのタイルを備えるインターフレームとして後続フレームを符号化することと
   をさらに備える請求項１又は２に記載の方法。
4. 前記符号化された第１の画像と前記符号化された第２の画像の前記第２のエリアを備える第１のフレームを符号化することと、
   前記符号化された前記第２の画像の前記第１のエリアを備える後続フレームを符号化することと
   をさらに備える請求項１又は２に記載の方法。
5. 前記第１のフレームはイントラフレームとして符号化され、前記後続フレームはインターフレームとして符号化される、請求項３又は４に記載の方法。
6. 前記第１及び第２の画像の前記オーバーラップエリア内のすべての画素に対して画像信号処理ユニットにおける利得低減を適用することをさらに備え、前記セット内の前記第１及び第２のＱＰ値は、前記セット内の前記基本ＱＰ値以上である、請求項１〜５のいずれか１項に記載の方法。
7. 前記ＱＰ値の第１のセットと前記修正されたＱＰ値の第１のセットと、及び前記ＱＰ値の第２のセットと前記修正されたＱＰ値の第２のセットとの関係、並びにＱＰ値と修正されたＱＰ値との更なる組み合わせは、前記オーバーラップエリアの明暗度が、前記非オーバーラップエリアと略同じであるようにバランスを取られる、請求項１〜６のいずれか１項に記載の方法。
8. カメラと符号器とを備えるアセンブリにおいて第１の画像フレームと第２の画像フレームとが互いにオーバーラップするオーバーラップエリアのブレンディングを可能にするために１セットの画像フレームの符号化を制御するためのコントローラ（１４０）であって、
   １セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、前記第１の画像内の第１のエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加し、
   １セットの第１のＱＰ値を用いて、前記第１の画像内の第２のエリアのマクロブロックを符号化し、修正された前記第１のＱＰ値のセットを各マクロブロックのヘッダに追加し、
   １セットの第２のＱＰ値を用いて、前記第２の画像内の第１のエリアのマクロブロックを符号化し、修正された前記第２のＱＰ値のセットを各マクロブロックのヘッダに追加し、
   １セットの基本量子化パラメータ値、すなわちＱＰ値を用いて、前記第２の画像内の第２のエリアのマクロブロックを符号化し、同じ基本ＱＰ値のセットを各マクロブロックのヘッダに追加する
   ように構成されたコントローラ。
9. 前記マクロブロックヘッダに対して追加された修正されたＱＰ値の第１及び第２のセットは、ＱＰ値の前記第１及び第２のセットよりも低い、請求項８に記載のコントローラ（１４０）。
10. 前記符号化された第１の画像を含む第１のタイルと前記符号化された前記第２の画像の前記第２のエリアを含む第２のタイルとの２つのタイルを備える第１のフレームを、非表示の指標により符号化し、
    前記符号化された前記第１の画像の前記第１のエリアを含む第１のタイルと前記符号化された前記第２の画像を含む第２のタイルとの２つのタイルを備えるインターフレームとして後続フレームを符号化する
    ようにさらに構成される、請求項８又は９に記載のコントローラ（１４０）。
11. 前記符号化された第１の画像と前記符号化された第２の画像の前記第２のエリアを備える第１のフレームを符号化し、
    前記符号化された前記第２の画像の前記第１のエリアを備える後続フレームを符号化する
    ようにさらに構成される、請求項８又は９に記載のコントローラ（１４０）。
12. 前記第１のフレームはイントラフレームとして符号化され、前記後続フレームはインターフレームとして符号化される、請求項１０又は１１に記載のコントローラ（１４０）。
13. 前記第１及び第２の画像の前記オーバーラップエリア内のすべての画素に対して画像信号処理ユニットにおける利得低減を適用するようにさらに構成され、前記セット内の前記第１及び第２のＱＰ値は、前記セット内の前記基本ＱＰ値以上である、請求項８〜１２のいずれか１項に記載のコントローラ（１４０）。
14. 請求項８〜１３のいずれか１項に記載のコントローラ（１４０）を備えるカメラシステム（６００）。
15. 請求項８〜１３のいずれか１項に記載のコントローラ（１４０）を備える電子装置（６００）。

Images