JP2020098412A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】複数の視点からの撮像に基づく複数の画像データから生成された合成画像データにおいて、合成画像データの画質の低下を抑制することができる情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】複数の視点から被写体を撮像して取得された複数の画像データに基づいて合成画像データを生成する情報処理装置は、画像補正部４０２を有する。画像補正部４０２は、複数の視点のうち、対象視点の画像データの撮像特性を補正するための補正パラメータを、近傍視点の画像データの撮像特性に基づいて決定する補正パラメータ決定部５０７と、補正パラメータに基づき、対象視点の画像データの画素値を補正する画素値補正部５０８とを有する。また、情報処理装置は、画像合成部をさらに有し、画素値が補正された画像データに基づいて合成画像データを生成する。【選択図】図５

Description

本発明は、複数の視点から被写体を撮像して取得した複数の画像データから、合成画像データを生成する技術に関する。

被写体を複数の撮像装置（複数の視点）で撮像して取得した複数の画像データから、任意の仮想視点から被写体をみた場合に得られる仮想視点画像データを合成する技術が知られている。例えば、特許文献１には、以下の方法が開示されている。まず、複数の撮像装置により撮像された被写体の画像データと、撮像装置の位置情報とを用いて、被写体形状を推定する。次に、推定した被写体形状に対して、撮像した画像データをテクスチャ画像データとしてマッピングして、仮想視点画像データを合成する。

また、周囲の風景を撮像して取得した複数の画像データから、パノラマ画像データを合成する技術が知られている。特許文献２には、撮像方向を変えて撮像した複数の視点の画像データをつなぎ合わせて、パノラマ画像データを合成する技術が開示されている。

特開２０１０−２０４８７号公報 特開２００７−３３４５５８号公報 特開２００１−３０７０７３号公報

上述したように、複数の視点からの撮像に基づく複数の画像データから、仮想視点画像データやパノラマ画像データなどの合成画像データを生成する場合、画像データ間で明るさや色合いに違いがあることがある。そうすると、合成画像データ中にも明るさや色合いの変化が生じ、画質が低下してしまう。特許文献１では、仮想視点の近傍から撮像された画像データを用いてテクスチャ画像データを合成することで、このような画質の低下を抑制している。また、特許文献２では、画像データ間の明るさの違いが小さくなるように画像データを補正することで、このような画質の低下を抑制している。しかしながら、特許文献１及び２に記載の技術を用いても、合成画像データにおける画質の低下を十分に抑制することができなかった。

本発明の目的は、複数の視点からの撮像に基づく複数の画像データから生成された合成画像データにおいて、合成画像データの画質の低下を抑制することにある。

本発明の一実施形態において、複数の視点から被写体を撮像して取得された複数の画像データに基づいて合成画像データを生成する情報処理装置は、前記複数の視点のうち、対象視点の画像データの撮像特性を補正するための補正パラメータを、近傍視点の画像データの撮像特性に基づいて決定する決定手段と、前記補正パラメータに基づき、前記対象視点の画像データの画素値を補正する補正手段と、前記画素値が補正された画像データに基づいて前記合成画像データを生成する生成手段とを有する。

本発明によると、複数の視点からの撮像に基づく複数の画像データから生成された合成画像データにおいて、合成画像データの画質の低下を抑制することができる。

第一の実施形態における撮像システムの構成の一例を表す模式図である。 従来の方法によって生成された合成画像データの例を表す図である。 複数の視点と輝度の代表値または補正量との関係を表すグラフである。 第一の実施形態における画像処理装置の機能構成の一例を表す図である。 第一の実施形態における画像補正部の機能構成の一例を表す図である。 第一の実施形態の画像補正部による画像補正処理のフローチャートである。 第二の実施形態における画像処理装置の機能構成の一例を表す図である。 第二の実施形態の撮像パラメータ決定部の機能構成の一例を表す図である。 第二の実施形態の撮像パラメータ決定部による撮像パラメータ決定処理のフローチャートである。 第一及び第二の実施形態における画像処理装置のハードウェア構成の一例を示す図である。

以下、図面を参照して、本発明の実施形態について詳細に説明する。なお、以下の実施形態は本発明を限定するものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

（第一の実施形態）
図１は、本実施形態における撮像システムの構成の一例を表す模式図である。本実施形態における撮像システムは、複数の撮像装置１０１、画像処理装置１０２、表示装置１０３、及び入力装置１０４、１０５を有する。

図１（ａ）は、被写体１０６を囲むように配置された複数の撮像装置１０１により撮像を行って画像データを取得し、画像処理装置１０２で任意の仮想視点から撮像したかのような仮想視点画像データを生成する撮像システムの例を示す。図１（ａ）の撮像システムでは、特許文献３に開示されている視体積交差法などの手法を用いて、撮像した画像データから被写体の３次元形状を推定する。さらに、特許文献１に開示されているような手法を用いて、撮像した画像データをテクスチャとして被写体の形状に貼り付けて、仮想視点画像データを生成する。

図１（ｂ）は、全周を撮像するように配置された複数の撮像装置１０１により被写体１０６を撮像して画像データを取得し、画像処理装置１０２で全周のパノラマ画像データを生成する撮像システムの例を示す。図１（ｂ）の撮像システムでは、特許文献２に開示されているような手法を用いて、取得した画像データを円筒上に投影し、つなぎ合わせることで、全周のパノラマ画像データを合成する。

画像処理装置１０２には、表示装置１０３及び入力装置１０４、１０５が接続されている。利用者は、入力装置１０４、１０５を操作して撮像条件を設定したり、表示装置１０３で画像データの処理結果を確認したりすることができる。

なお、図示された撮像装置１０１の数や配置は一例であり、複数の視点から被写体を撮像して取得した画像データから合成画像データを生成する撮像システムであれば、任意の構成でよい。また、合成画像データを生成する方法も、複数の視点から被写体を撮像して取得した画像データを組み合わせて合成画像データを生成する方法であれば、任意の方法でよい。

図２は、従来の方法によって生成された合成画像データの例を表す。

図２（ａ）は、図１（ａ）のように配置された複数の撮像装置により被写体を撮像して生成された仮想視点画像データの例を示す。仮想視点画像データは、撮像した画像データから推定された被写体の形状データに、撮像した画像データをテクスチャとして貼り付けることで生成される。撮像した画像データの貼り付けにおいて、被写体間の遮蔽や個々の撮像装置の視野の制約により、領域によって異なる撮像装置の画像データが貼り付けられる。仮想視点画像データの領域２０１には、撮像装置Ａにより撮像された画像データが貼り付けられ、領域２０２には、撮像装置Ｂにより撮像された画像データが貼り付けられている。撮像装置Ａによって撮像された画像データの明るさと撮像装置Ｂによって撮像された画像データの明るさが、露出の違いや撮像装置の個体差によって異なる場合、領域２０１の明るさと、領域２０２の明るさが異なるものになる。そのため、領域２０１と領域２０２の境界において不自然な明るさの変化が生じてしまう。このように、従来の方法によると、仮想視点画像データの画質が低下してしまう。

図２（ｂ）は、図１（ｂ）のように配置された撮像装置により被写体を撮像して生成されたパノラマ画像データの例を示す。パノラマ画像データは、画像データを無限遠にある円筒または球面に貼り付けることで生成される。パノラマ画像データの領域２０３には、撮像装置Ａにより撮像された画像データが貼り付けられ、領域２０４には、撮像装置Ｂにより撮像された画像データが貼り付けられている。撮像装置Ａによって撮像された画像データの明るさと撮像装置Ｂによって撮像された画像データの明るさが、露出の違いや撮像装置の個体差によって異なる場合、領域２０３の明るさと、領域２０４の明るさが異なるものになる。そのため、仮想視点画像データの場合と同様に、領域２０３と領域２０４の境界において不自然な明るさの変化が生じ、パノラマ画像データの画質は低下してしまう。

上述したような画質の低下は、合成画像データの生成に用いる複数の画像データの明るさが異なることによって生じる。この課題に対する最も単純な解決策は、全ての画像データの明るさが同じになるように明るさを揃えることであるが、そのような方法では被写体の明るさの範囲が大きく異なる場合に、白とびや黒潰れが生じてしまうことがある。また、既に撮像された画像データが入力となる場合は、正確な明るさの算出や調整が難しい。図１（ａ）及び図１（ｂ）のように配置された撮像装置（視点）から取得した画像データに基づいて合成された仮想視点画像データやパノラマ画像データでは、隣り合う視点の画像データが隣接する領域に貼られことになる。本実施形態では、隣接する視点の画像データ間の明るさの変動が滑らかになるように画像データを補正することで、合成画像データの画質の低下を抑制する。

次に、本実施形態における画像データの補正処理について説明する。図３は、複数の視点と輝度の代表値または補正量との関係を表すグラフを示す。

図３（ａ）は、一例として、３０視点の各画像データの輝度の代表値を、視点番号順にプロットしたグラフを示す。ここで、輝度とは、撮像時の露出あるいは画像データから算出された画像データの明るさを示す。また、視点（すなわち、撮像装置）は、任意の位置にある視点から順序付けられ、視点番号が割り当てられている。図３（ａ）によると、隣接視点間で輝度がばらついているため、合成画像データの画質の低下が生じてしまう。本実施形態では、各画像データの輝度の代表値に対して視点系列のローパスフィルターを適用することで、輝度の代表値を補正する。図３（ａ）のように、横軸を視点番号とし、縦軸を輝度の代表値としてプロットした場合、これを１次元の信号とみなすことができる。このような信号のことを、視点系列という。

図３（ｂ）は、図３（ａ）に示した各画像データに対して、ローパスフィルターを適用した後の輝度の代表値を、視点番号順にプロットしたグラフを示す。輝度の変動が各画素の画素値に対して定数を乗じるような形態のものであるとすると、ローパスフィルターを適用して得られた補正後の輝度の代表値を、補正前の輝度の代表値で割ることで、補正量（補正係数）が得られる。ｎ番目の視点の補正前の輝度の代表値をＹ_nとし、ローパスフィルターをＦとすると、ｎ番目の視点の補正量Ｃ_nは、式（１）により算出される。

ここで、*は巡回畳み込みを表す。また、ローパスフィルターＦは、１次元のガウシアンフィルターや平均値フィルターとすることができる。

図３（ｃ）は、図３（ａ）に示した３０視点の各画像データの輝度の代表値に対して算出した補正量Ｃ_nを、視点番号順にプロットしたグラフを示す。このようにして算出された補正量Ｃ_nを、各画像データの各画素の画素値に乗じて補正することで、画像データ間の輝度の変化が平滑化され、合成画像データにおける画質の低下が抑制される。

図４は、本実施形態における画像処理装置１０２の機能構成の一例を示すブロック図である。画像処理装置１０２は、撮像部４０１、画像補正部４０２、及び画像合成部４０３を有する。

撮像部４０１は、複数の撮像装置１０１によって被写体を撮像し、複数の画像データを取得する。複数の撮像装置１０１は、図１（ａ）や図１（ｂ）のように順序付けられて配置されている。複数の撮像装置１０１は、複数の視点を意味する。

画像補正部４０２は、画像データ間の撮像特性のばらつきを補正し、補正画像データを生成する。撮像特性とは、画像データの輝度の代表値を意味する。画像データの輝度の代表値は、例えば、画像データに含まれる各画素の輝度値から算出された画像データ中の輝度値の中間値である。画像補正部４０２のより詳細な処理と構成は後述する。

画像合成部４０３は、複数の補正画像データに基づき、仮想視点画像データやパノラマ画像データなどの合成画像データを生成する。合成画像データの生成処理は、撮像システムの構成の説明において前述した方法を用いる。

このように、本実施形態における画像処理装置１０２は、上記構成要素によって、複数の視点から被写体を撮像して取得した複数の画像データを用いて合成画像データを生成する情報処理方法を実行する。すなわち、本実施形態における画像処理装置１０２は、複数の視点から被写体を撮像して取得した複数の画像データを用いて合成画像データを生成する情報処理装置である。

図５は、本実施形態における画像補正部４０２の機能構成の一例を表すブロック図である。画像補正部４０２は、画像取得部５０１、撮像特性取得部５０２、視点情報取得部５０３、近傍視点特性取得部５０４、近傍視点距離取得部５０５、フィルター処理部５０６、補正パラメータ決定部５０７、及び画素値補正部５０８を有する。各機能部による処理は、後述のフローチャートを参照して詳細に説明する。

図６は、本実施形態の画像補正部４０２による画像補正処理のフローチャートを表す。フローチャートに示される一連の処理は、画像処理装置１０２のＣＰＵがＲＯＭに記憶されているプログラムコードをＲＡＭに展開し、実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。なお、各処理の説明における記号「Ｓ」は、当該フローチャートにおけるステップを意味する。後述するその他のフローチャートについても同様である。

まず、Ｓ６０１において、画像取得部５０１が、撮像部４０１より新たな視点の画像データを取得する。

Ｓ６０２において、撮像特性取得部５０２が、Ｓ６０１で取得した画像データの撮像特性を取得する。撮像特性とは、画像データの輝度の代表値であって、ここでは、画像データに含まれる各画素の輝度値から算出された画像データ中の輝度値の中間値である。

Ｓ６０３において、視点情報取得部５０３が、Ｓ６０１で取得した画像データの視点情報を取得する。視点情報とは、各画像データの視点の配置に関する情報であり、ここでは、循環するように配置された視点の並び順序（すなわち、視点番号）を表す。視点番号は、任意の位置にある視点から順番に割り当てられ、各画像データに対応付けて記憶されている。また、循環するような配置とは、図１（ａ）や図１（ｂ）に示されたように、複数の撮像装置が被写体の全周にわたって配置されていることを意味する。

Ｓ６０４において、画像取得部５０１が、全ての画像データを処理したか判定する。全ての画像データの処理が終わっていなければＳ６０１に戻って、新たな視点の画像データについて処理を繰り返す。全ての画像データの処理が終わっていればＳ６０５へ進む。すなわち、全ての画像データと、各画像データの撮像特性及び視点情報を取得するまで、Ｓ６０１からＳ６０３までの処理を繰り返す。

Ｓ６０５において、近傍視点特性取得部５０４が、取得した全ての画像データから、視点情報に従って補正対象となる画像データを選択する。近傍視点特性取得部５０４は、視点番号が１番の画像データから順番に、補正対象となる画像データ（すなわち、処理対象である対象視点の画像データ）を選択する。

Ｓ６０６において、近傍視点特性取得部５０４が、選択した補正対象となる画像データの視点情報に基づき、近傍視点の撮像特性を取得する。ここでは、近傍視点とは、選択した画像データの視点との距離が閾値よりも小さい視点のことをいう。つまり、近傍視点特性取得部５０４は、近傍視点の撮像特性として、選択した画像データの視点と距離が近い視点の画像データの撮像特性を取得する。距離とは、視点番号の差分を意味する。例えば、視点番号１と視点番号２の差分は、｜２−１｜＝１であり、これが距離となる。また、視点番号の最大値が１０である場合、視点番号１０と視点番号１との距離は１で与えられる。これは、視点が周上で隣接しているためである。

Ｓ６０７において、近傍視点距離取得部５０５が、選択した補正対象となる画像データの視点（補正対象の視点）から近傍視点までの距離を取得する。ここで、距離とは、上述したように視点番号の差分を意味する。

Ｓ６０８において、フィルター処理部５０６が、補正対象の視点から近傍視点までの距離に基づき、近傍視点の撮像特性を用いて、補正対象の視点の撮像特性に対して視点系列のローパスフィルターを適用する。すなわち、フィルター処理部５０６は、対象視点の画像データの撮像特性を、近傍視点の画像データの撮像特性との間で平滑化する平滑化処理を行なう。ローパスフィルターには、補正対象の視点から近傍視点までの距離によって重み（係数）が決まるガウシアンフィルターを用いる。ガウシアンフィルターの重みｗは、距離ｄを用いて以下の式（２）によって算出される。
ｗ＝Ｃ_exp（−ｄ²／２σ²） （２）

ここで、Ｃ_expは、ガウシアンフィルターの総和が１になるように規格化するための定数であり、σは任意のパラメータである（例えば、σ＝１）。

Ｓ６０９において、補正パラメータ決定部５０７が、ローパスフィルターを適用した後の撮像特性と、適用前の撮像特性とに基づき、補正パラメータを決定する。補正パラメータ決定部５０７は、式（１）のように補正パラメータ（補正量）を算出することができる。すなわち、補正パラメータ決定部５０７は、補正パラメータ算出手段として機能する。

Ｓ６１０において、画素値補正部５０８が、補正パラメータに基づき、補正対象の画像データの各画素の画素値を補正する。すなわち、補正パラメータを画像データの各画素の画素値に対して乗じる。

Ｓ６１１において、近傍視点特性取得部５０４が、全ての画像データを処理したか判定する。全ての画像データの処理が終わっていなければＳ６０５に戻って、新たな補正対象となる画像データについて処理を繰り返す。全ての画像データの処理が終わっていれば、画像補正処理を終了する。

なお、本実施形態では、撮像特性として画像データの輝度の代表値を用いたが、画像データ毎の補正可能な特性であれば、どのようなものを対象としてもよい。例えば、輝度の代わりに、カラー画像のチャネル毎の画素値の代表値を用いてもよい。また、ホワイトバランスを補正する基準となる白色の画素値や、色温度を撮像特性として用いてもよい。

また、本実施形態では、画像データの各画素の輝度の中間値を代表値としたが、例えば、最頻値や平均値を代表値として用いてもよい。また、画像データを撮像した際の露出などのパラメータが取得可能であれば、それを用いてもよい。

また、本実施形態では、ローパスフィルターとしてガウシアンフィルターを用いたが、細かい撮像特性の変化を抑える作用があるものであれば、どのようなフィルターを用いてもよい。例えば、平均値フィルターや、低周波の基底の線形和に対するフィッティングを用いてもよい。また、フィルターの重みを決定するための距離には、視点番号ではなく視点の位置や向きの距離を用いてもよい。例えば、距離（異なる度合い）は、視点の向きであるベクトルを用いて、ベクトル同士の内積に基づいて定義することができる。内積をｐとした場合、「距離」を（１−ｐ）＊０．５と定義すれば、同じ方向を向いている視点間の「距離」は０になり、正反対を向いている視点間の「距離」は１となる。

また、本実施形態の補正量は、画像データに乗ずる係数（すなわち、補正係数）として算出したが、加算するバイアスや、複数のパラメータを用いた線形または非線形の変換として算出してもよい。「加算するバイアス」とは、画素値に数値を加算して補正することを意味する。「非線形の変換」とは、例えば、ガンマ補正である。

以上説明したように、本実施形態によれば、複数の視点から被写体を撮像した複数の画像データにおいて、画像データ間の撮像特性（すなわち、明るさや色合い）のばらつきを抑え、平滑化することができる。そうすることで、複数の視点からの撮像に基づく複数の画像データから生成された合成画像データにおいて、画質の低下を抑制することができる。

（第二の実施形態）
第一の実施形態では、撮像された画像データを画像補正処理により補正する構成について述べた。本実施形態では、撮像された画像データに基づき撮像装置の撮像パラメータを補正する構成ついて述べる。撮像パラメータは、撮像装置の露出やホワイトバランスを決定するパラメータを意味する。本実施形態では、撮像装置の撮像パラメータを補正した後にあらためて画像データを取得することで、合成画像データの画質の低下を抑制する。

図７は、本実施形態における画像処理装置１０２の機能構成の一例を示すブロック図である。本実施形態の画像処理装置１０２は、第一の実施形態における画像補正部４０２の代わりに、撮像パラメータ決定部７０１を有する。

撮像パラメータ決定部７０１は、第一の実施形態と同様の方法により補正量を算出し、補正量に基づき撮像パラメータを決定する。例えば、撮像パラメータがホワイトバランスに関するものである場合、Ｒ、Ｇ、Ｂそれぞれのチャネルに対して同様に撮像パラメータを決定する。以下、撮像パラメータ決定部７０１が決定した撮像パラメータを、補正後の撮像パラメータともいう。撮像パラメータ決定部７０１は、補正後の撮像パラメータを撮像部４０１に送る。撮像部４０１は、補正後の撮像パラメータを用いて、視点毎の撮像特性の変化が抑えられた画像データを取得する。画像合成部４０３は、補正後の撮像パラメータに基づいて撮像された画像データを用いて合成画像を生成する。

このように、本実施形態における画像処理装置１０２も、上記構成要素によって、複数の視点から被写体を撮像して取得した複数の画像データを用いて合成画像データを生成する情報処理方法を実行する。すなわち、本実施形態における画像処理装置１０２も、複数の視点から被写体を撮像して取得した複数の画像データを用いて合成画像データを生成する情報処理装置である。

図８は、本実施形態における撮像パラメータ決定部７０１の機能構成の一例を表すブロック図である。ここでは、第一の実施形態における画像補正部４０２との差異について述べる。

撮像パラメータ決定部７０１は、第一の実施形態の画像補正部４０２と比較して、画像データの画素値を補正する画素値補正部５０８の代わりに、画像データの撮像に用いられた撮像パラメータを補正する撮像パラメータ補正部８０１を有する。撮像パラメータ補正部８０１は、補正パラメータ決定部５０７で決定された補正量に基づき、次の撮像で画像データ間の画素値のばらつきが抑制されるように撮像パラメータを補正する。補正量が乗算により輝度を補正する係数である場合、露出が補正量の分だけ変化するよう、撮像パラメータを修正する。例えば、補正量Ｃ_nが式（１）のように算出される場合、撮像パラメータが表す露出Ｅ_n対して補正後の撮像パラメータＥ’_nは、式（３）により算出される。
Ｅ’_n＝Ｅ_n・Ｃ_n （３）

図９は、本実施形態の撮像パラメータ決定部７０１による撮像パラメータ決定処理のフローチャートを表す。本実施形態における撮像パラメータ決定処理は、第一の実施形態における画像補正処理に対応し、ここでは、第一の実施形態における図６のフローチャートとの差異について述べる。

本実施形態における撮像パラメータ決定処理は、第一の実施形態の画像補正処理におけるＳ６１０の代わりに、Ｓ９０１を含む。

Ｓ９０１において、撮像パラメータ補正部８０１が、Ｓ６０９で決定した補正パラメータ（補正量）に基づき、Ｓ６０５で選択した画像データの撮像パラメータを補正する。撮像パラメータは、画像データに対応付けて記憶されている。撮像パラメータの補正は、式（３）を参照して前述したように行われる。補正後の撮像パラメータは、撮像部４０１に送られる。撮像部４０１は、補正後の撮像パラメータを用いて撮像装置１０１により被写体を撮像し、画像データを取得する。こうすることにより、画像データ間の画素値のばらつきが抑制された画像データを取得することができる。

以上説明したように、本実施形態によれば、画像データに基づき撮像パラメータを補正して、複数の画像データに基づく合成画像データの生成に好適な撮像パラメータを決定することができる。したがって、画素値のばらつきが抑えられた画像データを取得することができ、合成画像データにおいて画質の低下を抑制することができる。

図１０は、上述した第１及び第２の実施形態における画像処理装置のハードウェア構成例を示す。

画像処理装置１０００は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、及びネットワークＩ／Ｆ（インターフェース）１００７を有する。各構成要素は、バス１００９を介して相互に通信可能に接続されている。また、画像処理装置１０００には、出力装置１００５及び入力装置１００６が接続されている。

ＣＰＵ１００１は、ＲＯＭ１００２又は記憶装置１００４に格納されたプログラムを実行して、画像処理装置１０００を統括的に制御する。ＲＯＭ１００２は、画像処理装置１０００の制御プログラムを格納する。ＲＡＭ１００３は、ＣＰＵ１００１がプログラムを実行する際のメインメモリとして機能し、一時記憶領域として用いられる。記憶装置１００４は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの記憶媒体であり、画像データや各種プログラムなどを記憶する。

出力装置１００５は、液晶ディスプレイなどの表示装置であって、各種設定情報や画像データ等を表示する。入力装置１００６は、マウスやキーボード、タッチパネル等であり、ユーザーから各種設定情報の入力や、操作指示を受け付ける。ネットワークＩ／Ｆ１００７は、ネットワークを介して外部装置と通信を行なうためのインターフェースである。

なお、画像処理装置１０００がＣＰＵ１００１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有してもよい。その場合、ＣＰＵ１００１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、及びＤＳＰ（デジタルシグナルプロセッサ）等がある。

以上、第１及び第２の実施形態における画像処理装置１０００のハードウェア構成を説明したが、上述した構成には限定されない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

４０２ 画像補正部
５０７ 補正パラメータ決定部
５０８ 画素値補正部

Claims (25)

1. 複数の視点から被写体を撮像して取得された複数の画像データに基づいて合成画像データを生成する情報処理装置であって、
   前記複数の視点のうち、対象視点の画像データの撮像特性を補正するための補正パラメータを、近傍視点の画像データの撮像特性に基づいて決定する決定手段と、
   前記補正パラメータに基づき、前記対象視点の画像データの画素値を補正する補正手段と、
   前記画素値が補正された画像データに基づいて前記合成画像データを生成する生成手段と
   を有することを特徴とする情報処理装置。
2. 複数の視点から被写体を撮像して取得された複数の画像データに基づいて合成画像データを生成する情報処理装置であって、
   前記複数の視点のうち、対象視点の画像データの撮像特性を補正するための補正パラメータを、近傍視点の画像データの撮像特性に基づいて決定する決定手段と、
   前記補正パラメータに基づき、前記対象視点から前記被写体を撮像するための撮像パラメータを補正する補正手段と、
   前記補正された撮像パラメータに基づいて撮像された画像データに基づいて前記合成画像データを生成する生成手段と
   を有することを特徴とする情報処理装置。
3. 前記近傍視点は、前記複数の視点の視点情報に基づいて算出された前記対象視点との距離に基づいて選択されることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記近傍視点は、前記対象視点との距離が閾値よりも小さい視点であることを特徴とする請求項３に記載の情報処理装置。
5. 前記決定手段は、前記対象視点の画像データの撮像特性と前記近傍視点の画像データの撮像特性とに基づいて処理して、前記補正パラメータを決定することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記処理は、平滑化処理を含むことを特徴とする請求項５に記載の情報処理装置。
7. 前記決定手段は、
   前記近傍視点の画像データの撮像特性を用いて、前記対象視点の画像データの撮像特性に視点系列のローパスフィルターを適用する処理手段と、
   前記ローパスフィルターが適用された後の撮像特性と、前記ローパスフィルターが適用される前の撮像特性から、前記補正パラメータを算出する算出手段と
   を有することを特徴とする請求項６に記載の情報処理装置。
8. 前記処理手段は、視点間の距離に基づき、前記ローパスフィルターの係数を決定することを特徴とする請求項７に記載の情報処理装置。
9. 前記視点間の距離は、前記複数の視点に割り当てられた視点番号に基づいて算出されることを特徴とする請求項８に記載の情報処理装置。
10. 前記算出手段が、前記ローパスフィルターが適用された後の撮像特性と前記ローパスフィルターが適用される前の撮像特性との比を前記補正パラメータとして算出することを特徴とする請求項７から９のいずれか１項に記載の情報処理装置。
11. 前記撮像特性が、前記画像データの輝度の代表値であることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
12. 前記代表値は、中間値、最頻値、または平均値であることを特徴とする請求項１１に記載の情報処理装置。
13. 前記撮像特性が、前記画像データの白色の画素値、または色温度であることを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
14. コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
15. 複数の視点から被写体を撮像して取得された複数の画像データに基づいて合成画像データを生成する情報処理方法であって、
    前記複数の視点のうち、対象視点の画像データの撮像特性を補正するための補正パラメータを、近傍視点の画像データの撮像特性に基づいて決定する決定工程と、
    前記補正パラメータに基づき、前記対象視点の画像データの画素値を補正する補正工程と、
    前記画素値が補正された画像データに基づいて前記合成画像データを生成する生成工程と
    を含むことを特徴とする情報処理方法。
16. 複数の視点から被写体を撮像して取得された複数の画像データに基づいて合成画像データを生成する情報処理方法であって、
    前記複数の視点のうち、対象視点の画像データの撮像特性を補正するための補正パラメータを、近傍視点の画像データの撮像特性に基づいて決定する決定工程と、
    前記補正パラメータに基づき、前記対象視点から前記被写体を撮像するための撮像パラメータを補正する補正工程と、
    前記補正された撮像パラメータに基づいて撮像された画像データに基づいて前記合成画像データを生成する生成工程と
    を含むことを特徴とする情報処理方法。
17. 前記決定工程は、前記対象視点の画像データの撮像特性と前記近傍視点の画像データの撮像特性とに基づいて処理して、前記補正パラメータを決定することを特徴とする請求項１５または１６に記載の情報処理方法。
18. 前記処理は、平滑化処理を含むことを特徴とする請求項１７に記載の情報処理方法。
19. 前記決定工程は、
    前記近傍視点の画像データの撮像特性を用いて、前記対象視点の画像データの撮像特性に視点系列のローパスフィルターを適用する処理工程と、
    前記ローパスフィルターが適用された後の撮像特性と、前記ローパスフィルターが適用される前の撮像特性から、前記補正パラメータを算出する算出工程と
    を含むことを特徴とする請求項１８に記載の情報処理方法。
20. 前記処理工程は、視点間の距離に基づき、前記ローパスフィルターの係数を決定することを特徴とする請求項１９に記載の情報処理方法。
21. 前記視点間の距離は、前記複数の視点に割り当てられた視点番号に基づいて算出されることを特徴とする請求項２０に記載の情報処理方法。
22. 前記算出工程が、前記ローパスフィルターが適用された後の撮像特性と前記ローパスフィルターが適用される前の撮像特性との比を前記補正パラメータとして算出することを特徴とする請求項１９から２１のいずれか１項に記載の情報処理方法。
23. 前記撮像特性が、前記画像データの輝度の代表値であることを特徴とする請求項１５から２２のいずれか１項に記載の情報処理方法。
24. 前記代表値は、中間値、最頻値、または平均値であることを特徴とする請求項２３に記載の情報処理方法。
25. 前記撮像特性が、前記画像データの白色の画素値、または色温度であることを特徴とする請求項１５から２２のいずれか１項に記載の情報処理方法。

Images