JP2022133133A - 生成装置、生成方法、システム、およびプログラム - Google Patents

Abstract

【課題】透明部を含む３次元モデルの生成の負荷を低減する。【解決手段】生成装置は、複数の撮像装置による撮像により得られた画像を取得し、該画像において、透明部を含むオブジェクトを識別し、該オブジェクトの３次元モデルを生成し、該透明部の透明部モデルを導出し、該３次元モデルから該透明部モデルを削除することにより、該３次元モデルを補正する。【選択図】図２

Description

本開示は、オブジェクトの３次元形状データの生成技術に関する。

昨今、複数のカメラを異なる位置に設置して複数視点で同期撮影し、当該撮影により得られた複数の画像を用いて、任意の仮想カメラ（仮想視点）からの画像（仮想視点画像）を生成する技術が注目されている。このような技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴することが可能となり、通常の映像コンテンツと比較してユーザに高臨場感を与えることが可能となる。

仮想視点画像を生成するために、オブジェクトの３次元形状データ（以下、３Ｄモデル）を用いる場合がある。この３Ｄモデルの生成対象であるオブジェクトが眼鏡をかけた人物を想定すると、眼鏡のレンズ（透明部）を含める形で３Ｄモデルが作成されうる。眼鏡をかけた人物の３Ｄモデルに基づく仮想視点画像の例を図１７に示す。図１７に示すように、視体積交差法による仮想視点画像では、顔ではなく、眼鏡のレンズ部分に目のテクスチャが貼られる。そのため、目が顔から飛び出しているよう画像が作成され、違和感が生じるという課題がある。

一方、特許文献１には、眼鏡フレーム部分の画素値を除去する眼鏡除去部と、裸眼の顔の３Ｄモデルを生成する裸眼の顔モデル生成部と、眼鏡の３Ｄモデルを生成する眼鏡モデル生成部と、裸眼の顔の３Ｄモデルと眼鏡の３Ｄモデルを統合するモデル統合部を備える技術が開示されている。

特開２０１０－０７２９１０号公報

しかし、特許文献１の技術では、眼鏡フレームに配置した特徴点の追跡処理を行って眼鏡の３Ｄモデルを生成する必要があり、生成負荷が大きくなる。

本開示は上記課題に鑑みてなされたものであり、透明部を含む３次元モデルの生成の負荷を低減することを目的とする。

上記目的を達成するための一手段として、本開示の画像処理装置は以下の構成を有する。すなわち、複数の撮像装置による撮像により得られた画像を取得する取得手段と、前記画像において、透明部を含むオブジェクトを識別する識別手段と、前記オブジェクトの３次元モデルを生成する生成手段と、前記透明部の透明部モデルを導出する導出手段と、前記３次元モデルから前記透明部モデルを削除することにより、前記３次元モデルを補正する補正手段と、を有する。

透明部を含む３次元モデルの生成の負荷を低減することが可能となる。

画像処理システムの構成の一例を示す図である。 第１実施形態による画像処理装置の機能構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 ３Ｄモデル生成部により実行される処理のフローチャートである。 （ａ）は前景画像の例を示す図であり、（ｂ）はシルエット画像の例を示す図である。 視体積交差法による、３Ｄモデルの生成の模式図である。 視体積交差法による、眼鏡をかけた人物の頭部の３Ｄモデルの生成を説明するための図である。 透明部特定部により実行される処理のフローチャートである。 ３Ｄ空間座標の算出を説明するための図である。 ３Ｄモデル補正処理を説明するための図である。 第１実施形態によるレンダリング部により実行される処理のフローチャートである。 第１実施形態による仮想視点画像の例を示す図である。 第２実施形態による画像処理装置の機能構成例を示す図である。 第３実施形態によるレンダリング部により実行される処理のフローチャートである。 第３実施形態によるレンダリング部により実行される処理を説明するための図である。 第３実施形態によるレンダリング部により実行される処理を説明するための図である。 従来の仮想視点画像の例を示す図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は本開示を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１実施形態］
（画像処理システムの構成）
図１は、本実施形態における画像処理システムの構成の一例を示す図である。画像処理システム１０は、複数の撮像装置による撮像により得られた複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムである。本実施形態における仮想視点画像は、自由視点映像とも呼ばれるものであるが、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では、仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、本実施形態では、仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

本実施形態では、複数の撮像装置としての複数のカメラ１１０ａ～１１０ｍが、撮影対象領域であるスタジオ１００内を取り囲むように、配置される。なお、カメラの数、配置についてはこれに限定されない。カメラ１１０ａ～１１０ｍは、ネットワーク１２０によって画像処理装置１３０と接続されている。画像処理装置１３０には、仮想視点を与えるための入力装置１４０と、生成（作成）された仮想視点画像を表示する表示装置１５０が接続されている。被写体１６０は、撮影対象の一例である人物を表す。

（画像処理装置１３０の構成）
図２と図３に、本実施形態による画像処理装置１３０の（ソフトウェア）機能構成とハードウェア構成の一例をそれぞれ示す。まず、本実施形態における画像処理装置１３０の機能構成について図２を用いて説明する。画像取得部２１０は、複数のカメラ１１０ａ～１１０ｍによる撮像により得られた画像（撮像画像／カメラ画像）を取得する。パラメータ取得部２２０は、複数のカメラ１１０ａ～１１０ｍによる画像のデータから、特徴点のマッチングを取ることによりキャリブレーションを行い、複数のカメラ１１０ａ～１１０ｍそれぞれの位置、姿勢と画角を表すパラメータを導出（取得）する。このパラメータを、以降、カメラパラメータと称する。３Ｄモデル（３次元モデル）生成部２３０は、複数のカメラ１１０ａ～１１０ｍによる画像のデータと、カメラパラメータを基に、３Ｄモデル（３次元形状データ）の生成を行う。３Ｄモデルの生成については詳細を後述する。

透明部特定部２４０は、複数のカメラ１１０ａ～１１０ｍによる画像上の、眼鏡のレンズなどの透明な部分（透明部）を認識し、透明部を含むオブジェクトを特定（識別）する。透明部は、少なくとも可視光に対して透明なものである。また、透明部特定部２４０は、カメラパラメータを基に、透明部の空間座標を算出する。３Ｄモデル補正部２５０は、透明部特定部２４０で算出された透明部の空間座標を基に、３Ｄモデル上の当該座標にある透明な部分の３Ｄモデル（以下、透明部モデルと称する）を削除することにより補正を行う。仮想視点設定部２６０は、入力装置１４０から入力される仮想視点を取得し、レンダリング部２７０に設定する。入力装置１４０からの仮想視点の入力は、入力装置１４０に対するユーザ操作などによって行われる。入力される仮想視点は、仮想視点の位置及び仮想視点からの視線方向を特定する仮想視点情報として入力される。

レンダリング部２７０は、３Ｄモデル補正部２５０で補正された３Ｄモデルと、複数の撮像装置のうち仮想視点情報に基づいて選択された１つ以上の撮像装置により得られた画像と、に基づいて、該仮想視点からの見えを表す仮想視点画像を生成する画像生成手段として機能する。具体的には、レンダリング部２７０は、３Ｄモデル補正部２５０で補正された３Ｄモデルに対し、画像取得部２１０で取得された画像を適用して、レンダリング（色決め、色付け／テクスチャ貼り付け）を行う。レンダリング処理は、仮想視点設定部２６０で取得した仮想視点に基づいて行われ、その結果、仮想視点画像が出力される。

次に、画像処理装置１３０のハードウェア構成について、図３を用いて説明する。画像処理装置１３０は、ＣＰＵ（Central Processing Unit）３１１、ＲＯＭ（Read Only Memory）３１２、ＲＡＭ（Random Access Memory）３１３、補助記憶部３１４、表示インタフェース３１５、入力インタフェース３１６、通信部３１７、およびバス３１８を有する。

ＣＰＵ３１１は、ＲＯＭ３１２やＲＡＭ３１３に格納されているコンピュータプログラムやデータを用いて画像処理装置１３０の全体を制御することで図２に示す画像処理装置１３０の各機能を実現する。なお、画像処理装置１３０がＣＰＵ３１１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３１１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（Field Programmable Gate Array）、およびＤＳＰ（Digital Signal Processor）などがある。ＲＯＭ３１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ３１３は、補助記憶部３１４から供給されるプログラムやデータ、及び通信部３１７を介して外部から供給されるデータなどを一時記憶する。補助記憶部３１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

表示インタフェース（Ｉ／Ｆ）３１５は、例えば液晶ディスプレイやＬＥＤためのインタフェースであり、ユーザが操作するためのＧＵＩ（Graphic User Interface）や、仮想視点画像などを表示する。入力インタフェース３１６は、例えばキーボードやマウス、ジョイスティック、タッチパネル等ユーザによる操作を入力する機器や、仮想視点情報を入力するために機器を接続する。

通信部３１７は、画像処理装置１３０の外部の装置との通信に用いられる。例えば、画像処理装置１３０が外部の装置と有線で接続される場合には、通信用のケーブルが通信部３１７に接続される。画像処理装置１３０が外部の装置と無線通信する機能を有する場合には、通信部３１７はアンテナを備える。本実施形態では入力装置１４０が入力インタフェース３１６に、表示装置１５０が表示インタフェース３１５に接続されている。入力装置１４０からは仮想視点を入力し、表示装置１５０には生成された仮想視点画像を出力する。バス３１８は、画像処理装置１３０の各部をつないで情報を伝達する。

本実施形態では、入力装置１４０と表示装置１５０が、画像処理装置１３０の外部に存在するものとするが、入力装置１４０と表示装置１５０との少なくとも一方が入力部／表示部として画像処理装置１３０の内部に存在していてもよい。

（３Ｄモデル生成処理）
続いて、本実施形態における３Ｄモデル生成処理について、図４～図７を参照して説明する。図４は、３Ｄモデル生成部２３０により実行される処理のフローチャートである。図４に示すフローチャートは、画像処理装置１３０のＣＰＵ３１１がＲＯＭ３１２等に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現されうる。

ステップＳ４０１において、３Ｄモデル生成部２３０は、複数のカメラ１１０ａ～１１０ｍによる撮像により得られた画像のデータを、画像取得部２１０から取得する。ステップＳ４０２において、３Ｄモデル生成部２３０は、取得した複数カメラの画像から、オブジェクトが撮影されている部分画像を前景画像として抽出する。ここでオブジェクトとは、例えば、人物や、小物や動物等の被写体を指す。抽出した前景画像の例を、図５（ａ）に示す。

ステップＳ４０３において、３Ｄモデル生成部２３０は、抽出した前景画像を基に当該オブジェクトのシルエット画像を生成する。シルエット画像とは、オブジェクトを黒、その他の領域を白で表した画像である。図５（ｂ）に、シルエット画像の例を示す。シルエット画像の生成方法については特に限定しないが、周知の背景差分法等を用いることができる。

ステップＳ４０４において、３Ｄモデル生成部２３０は、生成したシルエット画像と、パラメータ取得部２２０から取得したカメラパラメータを基に、３Ｄモデルの生成を行う。本実施形態では、３Ｄモデルの非限定的な生成方法として、視体積交差法（ｓｈａｐｅ ｆｒｏｍ ｓｉｌｈｏｕｅｔｔｅ法）を用いるものとする。３Ｄモデルの生成方法について、図６と図７を参照して説明する。

図６は、カメラ数が２つの場合の視体積交差法による３Ｄモデル生成の模式図である。図６において、Ｃ１、Ｃ２はカメラ中心、Ｐ１、Ｐ２は各カメラの画像平面、Ｒ１、Ｒ２はオブジェクトのシルエット輪郭を通る光線、ＯＢはオブジェクト、ＶＨ１はＰ１、Ｐ２のシルエットを投影して得られる３Ｄモデルをそれぞれ表す。図６では、２台のカメラによる場合について説明したが、この手法により、カメラの台数を増やし、様々な方向から撮影することにより、３ＤモデルＶＨ１の形状をオブジェクトＯＢの形状に近づけることができる。

さらに、オブジェクトが眼鏡をかけた人物である場合の頭部の３Ｄモデルの生成について図７を参照して説明する。なお、以下の説明において、眼鏡といった透明部を含むアイテムを、透明オブジェクトとも称する。図７は、視体積交差法による、眼鏡をかけた人物の頭部の３Ｄモデルの生成を説明するための図である。図７（ａ）は、眼鏡をかけた人物の頭部の模式図である。図７（ｂ）は、眼鏡をかけた人物の頭部を、頭部の上からＺ軸の負方向に見た図である。視体積交差法によって３Ｄモデルを生成する場合、図６を参照して説明したように、眼鏡を含んだ形状の輪郭がシルエットとして抽出される。すなわち、結果として、頭部の上からＺ軸の負方向に見た場合に、図７（ｃ）のような３Ｄモデルが生成される。正面斜めから見ると、図７（ｄ）のように水泳のゴーグルを掛けたような３Ｄモデルとなる。

（透明部の特定処理）
本実施形態における透明部の特定処理について、図８～図９を参照して説明する。図８は、透明部特定部２４０により実行される処理のフローチャートである。図８に示すフローチャートは、画像処理装置１３０のＣＰＵ３１１がＲＯＭ３１２等に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現されうる。

ステップＳ８０１において、透明部特定部２４０は、複数のカメラ１１０ａ～１１０ｍによる撮像により得られた画像のデータを、画像取得部２１０から取得する。ステップＳ８０２において、透明部特定部２４０は、取得した複数カメラの画像から、人物の顔を認識する。認識の方法については特に限定されない。例えば、人物の顔の画像を用いて学習された学習済みモデルをにより顔認識してもよい。

ステップＳ８０３において、透明部特定部２４０は、認識した顔が、眼鏡をかけているか否かを判定する。眼鏡をかけていると判定すれば（Ｓ８０３でＹｅｓ）、処理はステップＳ８０４に進み、眼鏡をかけていないと判定すれば（Ｓ８０３でＮｏ）、処理を終了する。

ステップＳ８０４において、透明部特定部２４０は、眼鏡フレームを推定し、眼鏡のレンズ部分を特定する。レンズ部分を特定するためには、次のようにしてもよい。すなわち、複数の画像から、複数の眼鏡フレーム外周特徴点と複数のレンズ側特徴点を特定し、それらの特徴点に基づいて、眼鏡フレームの３次元形状情報を推定／算出し、当該眼鏡フレームに囲まれた部分をレンズ部分と特定してもよい。なお、レンズ部分（透明部）を特定する方法はこれに限られない。

ステップＳ８０５において、透明部特定部２４０は、ステップＳ８０４で特定したレンズ部分が透明か否かを判定する。すなわち、透明部特定部２４０は、人物の顔（オブジェクト）が透明部を含むかを識別する。レンズ部分が透明であると判定すれば（Ｓ８０５でＹｅｓ）、処理はステップＳ８０６に進み、透明でないと判定すれば（Ｓ８０５でＮｏ）、処理を終了する。ここで、レンズ部分が透明か否かは、例えば、レンズ部分に目の画像が映っているか否かで判定されうる。すなわち、透明部特定部２４０は、レンズ部分に目の画像（の少なくとも一部）が映っていれば、レンズ部分は透明であると判定し、目の画像が映っていなければレンズ部分は透明でないと判定することができる。他、機械学習を用いて当該判定（識別）を行うことができる。

ステップＳ８０６において、透明部特定部２４０は、それぞれの画像データ上の眼鏡フレームの特徴点の位置と、パラメータ取得部２２０から取得したカメラパラメータを基に、眼鏡のレンズ部分の３Ｄ空間座標を算出する。例えば、透明部特定部２４０は、ステップＳ８０４で眼鏡フレームの推定に用いた特徴点の中から、複数カメラの撮影画像上で一致する複数の特徴点を抽出し、当該抽出した複数の特徴点とカメラパラメータから、レンズ部分の３Ｄ空間座標を算出することができる。

図９を参照してステップＳ８０６の処理の具体例を説明する。図９は、レンズ部分の３Ｄ空間座標の算出を説明するための図である。図９において、例えば、カメラ１１０ｂによる画像データにおける特徴点９０１～９０８と、カメラ１１０ｃによる画像データにおける特徴点９０１～９０８と、各カメラのカメラパラメータから、レンズ部分の３Ｄ空間座標を算出することができる。なお、図９では８点の特徴点を抽出しているが、抽出する点の数はこれに限らない。また図９では片側のレンズ部分周辺の眼鏡フレームの特徴点が示されているが、もう片側のレンズ部分についても、同様な特徴点に関する処理により、レンズ部分の３Ｄ空間座標を算出することができる。

（３Ｄモデル補正処理）
本実施形態における３Ｄモデル補正処理について、図１０を参照して説明する。図１０は、３Ｄモデル補正部２５０による３Ｄモデル補正処理を説明するための図である。３Ｄモデル補正部２５０は、３Ｄモデル生成部２３０で生成された３Ｄモデルに対して、透明部特定部２４０で算出した３Ｄ空間座標を含んで構成される透明部モデルを削除することによる補正を行う。

図１０（ａ）の３Ｄモデル１００１は、３Ｄモデル生成部２３０で生成された３Ｄモデルの模式図であり、図１０（ｂ）の透明部モデル１００２は、透明部特定部２４０で算出したレンズ部分の３Ｄ空間座標領域を含んで構成される３Ｄモデルの模式図である。ここで、透明部モデル１００２のＹ軸成分（厚さ）は、レンズ部分の厚さと、レンズから人物の顔までの距離を含んで構成される。レンズ部分の厚さと、人物の顔までの距離は、あらかじめ計測などしておく他、眼鏡の外の顔の領域のデータから補間する方法、機械学習により認識する方法等を利用して取得することができる。図１０（ｃ）の３Ｄモデル１００３は、３Ｄモデル１００１から透明部モデル１００２を削除することによって得られた、補正後の３Ｄモデルの模式図である。

（レンダリング処理）
本実施形態におけるレンダリング（色決め、色付け／テクスチャ貼り付け）処理について、図１１～図１２を参照して説明する。図１１は、本実施形態によるレンダリング部２７０により実行される処理のフローチャートである。図１１に示すフローチャートは、画像処理装置１３０のＣＰＵ３１１がＲＯＭ３１２等に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現されうる。

ステップＳ１１０１において、レンダリング部２７０は、３Ｄモデル補正部２５０から、補正後の３Ｄモデルを取得する。ステップＳ１１０２において、レンダリング部２７０は、複数のカメラ１１０ａ～１１０ｍによる撮像により得られた画像のデータを、画像取得部２１０から取得する。ステップＳ１１０３において、レンダリング部２７０は、パラメータ取得部２２０から、カメラ１１０ａ～１１０ｍのカメラパラメータ（カメラ位置・姿勢・画角）を取得する。ステップＳ１１０４において、レンダリング部２７０は、仮想視点設定部２６０から、仮想視点を取得する。

ステップＳ１１０５において、レンダリング部２７０は、仮想視点設定部２６０から取得した仮想視点を視点とし、３Ｄモデル補正部２５０から取得した補正後の３Ｄモデルを２Ｄ（２次元）に射影する。ステップＳ１１０６において、レンダリング部２７０は、パラメータ取得部２２０から取得したカメラパラメータを基に、カメラ１１０ａ～１１０ｍから仮想視点に近い１台以上のカメラによる撮像画像を選択し、当該画像を用いて、２Ｄに射影した３Ｄモデルに対して、色付け／テクスチャ貼り付けを行う。当該１台以上のカメラは、例えば仮想視点に近い順に選択される。

図１２に、レンダリング部２７０によるレンダリング後に得られた仮想視点画像（３Ｄモデル）の例を示す。図１７に示した従来技術による仮想視点画像と異なり、図１２に示す画像では、目のテクスチャ画像が、眼鏡の中の顔の面に近いところに貼られている。このように、眼鏡をかけた人物に対しても、違和感のない仮想視点画像を生成することが可能となる。

以上のように、本実施形態によれば、透明部モデル（透明部分）を削除してレンダリング（色決め、色付け／テクスチャ貼り付け）するため、眼鏡フレームなど、透明部を含むアイテム（透明オブジェクト）の３Ｄモデルを別途生成する必要がなく、違和感の少ない仮想視点画像を生成することができる。さらに、本実施形態では、透明部モデルを削除してレンダリングすることから、フェースシールド等、眼願以外の透明オブジェクトを付けた人物に対する仮想視点画像の生成にも、本実施形態を適用可能である。

［第２実施形態］
第１実施形態では、複数の方向から被写体を撮影した画像を元に３Ｄモデルを生成する方法を用いたが、距離センサーや３Ｄスキャナーを用いて３Ｄモデルを生成することも可能である。本実施形態では、距離センサーを使って、３Ｄモデルを生成する方法について説明する。なお、第１実施形態と共通の部分については説明を省略する。

図１３に、本実施形態による画像処理装置１３１０の機能構成を示す。画像処理装置１３１０は、外部の距離センサー１３２０から、距離情報を取得するための距離情報取得部１３３０と、取得した距離情報を基に３Ｄモデルを生成するための３Ｄモデル生成部１３４０を有している。

距離センサー１３２０は、例えば、レーザや赤外線を照射し、反射を取得して、（距離センサー１３２０から）オブジェクトまでの距離を測定し、距離情報（距離データ）を生成する。距離情報取得部１３３０は、距離センサー１３２０からオブジェクトまでの距離を示す距離情報を複数取得し、これらの情報から、オブジェクトの３Ｄモデルを構成（算出）することができる。なお、３Ｄモデル生成部１３４０は、第１実施形態において説明した図７（ｄ）と同等の３Ｄモデルを生成することができる。

本実施形態は、３Ｄモデルの生成に使用する情報が、距離センサー１３２０から取得した距離情報であることが、第１実施形態と異なる。図８～図１２を参照して説明した処理は第１実施形態と同様であるため、説明を省略する。

以上のように、本実施形態によれば、距離センサー１３２０から取得した距離情報から生成された３Ｄモデルと複数のカメラによる撮像画像とから、第１実施形態と同様に透明部モデルを削除する。これにより、違和感のない仮想視点画像を生成することができる。

［第３実施形態］
第１、第２実施形態では、レンダリング対象の部分が、３Ｄモデル補正部２５０で補正された部分（例えば、削除された透明部モデルに接する部分）か否かに関わらず、および、出力する仮想視点画像が２Ｄか３Ｄかに関わらず、一律のレンダリング処理を行う場合について説明した。本実施形態では、これらの点を考慮してレンダリングを行う場合の処理について説明する。なお、本実施形態によるレンダリング部２７０の処理以外の説明については、第１、第２実施形態と同様である。

本実施形態におけるレンダリング（色決め、色付け／テクスチャ貼り付け）処理について、図１４～図１６を参照して説明する。図１４は、本実施形態によるレンダリング部２７０により実行される処理のフローチャートである。図１４に示すフローチャートは、画像処理装置１３０のＣＰＵ３１１がＲＯＭ３１２等に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現されうる。

ステップＳ１４０１において、レンダリング部２７０は、出力する仮想視点画像が２Ｄか３Ｄか、すなわち、２Ｄレンダリングを行うか３Ｄレンダリングを行うかを判定する。ここで、２Ｄレンダリングとは、３Ｄモデルを平面に２Ｄ射影し、仮想視点に応じてレンダリングに使用する撮像画像を決定するレンダリング方法である（第１実施形態と同様である）。３Ｄレンダリングとは、仮想視点に依存せず、３Ｄモデルそのものに対してレンダリングする方法である。ステップＳ１４０１における当該判定は、入力装置１４０を介したユーザによる操作に基づいて行われてもよく、また、システムにおいて予め２Ｄレンダリング／３Ｄレンダリングが決められていてもよい。２Ｄレンダリングを行う場合は、処理はステップＳ１４０２に進み、３Ｄレンダリングを行う場合は、処理はステップＳ１４０６に進む。

ステップＳ１４０２において、レンダリング部２７０は、仮想視点設定部２６０から仮想視点を取得する。ステップＳ１４０３において、レンダリング部２７０は、レンダリング対象の部分（レンダリング対象点、要素とも称する）が、３Ｄモデル補正部２５０で補正された部分（例えば、削除された透明部モデルに接する部分）に含まれるか否かを判定する。レンダリング対象点が補正された部分に含まれれば（Ｓ１４０３でＹｅｓ）、処理はステップＳ１４０４に進み、それ以外の場合は（Ｓ１４０３でＮｏ）、処理はステップＳ１４０５に進む。

ステップＳ１４０４において、レンダリング部２７０は、レンダリング対象点（要素）を含む面の法線に近いカメラによる撮像画像を優先して使用して（例えば、法線に近い順に選択した１台以上のカメラによる撮像画像を使用して）、レンダリングを行う。ステップＳ１４０５において、レンダリング部２７０は、仮想視点に近いカメラによる撮像画像を優先して使用して（例えば、仮想視点に近い順に選択した１台以上のカメラによる撮像画像を使用して）、レンダリングを行う。

３Ｄレンダリングを行う場合、ステップＳ１４０６において、レンダリング部２７０は、レンダリング対象点が、３Ｄモデル補正部２５０で補正された部分に含まれるか否かを判定する。レンダリング対象点が補正された部分に含まれれば（Ｓ１４０６でＹｅｓ）、処理はステップＳ１４０７に進み、それ以外の場合は（Ｓ１４０６でＮｏ）、処理はステップＳ１４０８に進む。

ステップＳ１４０７において、レンダリング部２７０は、レンダリング対象点を含む面の法線に最も近い１台のカメラによる撮像画像を使用して、レンダリングを行う。１台のカメラによる撮像画像のみ用いる理由は、レンズ部分を含む部分といった透明部モデルを削除した補正後の形状は、凹形状になることが多いためである。

ステップＳ１４０８において、レンダリング部２７０は、レンダリング対象点を含む面の法線に近いカメラを含む複数のカメラによる撮像画像を使用して（例えば、法線に近い順に選択した複数のカメラによる撮像画像を使用して）、レンダリングを行う。複数のカメラによる複数の撮像画像を用いる理由は、補正前の形状は凸形状であるため、色が急峻に変化しないよう複数のカメラによる撮像画像を合成して色付けを行うためである。

続いて、図１５と図１６を参照して、本実施形態によるレンダリング処理について説明する。図１５は、眼鏡をかけた人物の頭部の３Ｄモデルを上からＺ軸の負方向に見た場合の図を示す。図１５（ａ）は、補正する（透明部モデルを削除する）前の３Ｄモデル１５０１を示し、図１５（ｂ）は補正後の３Ｄモデル１５０２を示す。３Ｄモデル１５０２は、３Ｄモデル１５０１に対して、透明部モデル（眼鏡のレンズ部分及びレンズと顔の空間のデータ）が削除された３Ｄモデルとなっている。

図１６は、３Ｄモデル１５０２（補正後の３Ｄモデル）に対するレンダリング処理を説明するための図である。図１６では、３Ｄモデル１５０２を前面から囲む形で、カメラ１１０ａ～１１０ｅが配置され、仮想視点１６０１から見た点Ａ、点Ｂ（レンダリング対象点）を２Ｄレンダリングする場合を想定する。３Ｄモデル１５０２上の点Ａは、眼願のレンズの奥に位置する点であり、補正された部分に含まれる（削除された透明部モデルに接する）。一方、点Ｂは、眼鏡のフレーム上に位置する点であり、補正された部分に含まれない。

点Ａは、補正された部分に含まれるため（図１４のステップＳ１４０３でＹｅｓ）、レンダリング部２７０は、点Ａ含む面の法線に近いカメラ１１０ｂによる撮像画像を優先して使用して、レンダリングを行う。一方、点Ｂは、補正された部分に含まれないため、レンダリング部２７０は、仮想視点１５０１に近いカメラ１１０ｃによる撮像画像を優先して使用して、レンダリングを行う。これにより、仮想視点からの見た目を優先しつつ、オブジェクト本来の色も考慮した色付けが可能となる。

以上説明したように、本実施形態によれば、レンダリング対象の３Ｄモデル内の部分が、３Ｄ補正部で補正された部分か否かによって、並びに、出力する仮想視点画像が２Ｄか３Ｄかによって、レンダリング処理を変える。これにより、例えば、３Ｄモデルに対して、本来の色に近い色付けが可能となる。また出力する仮想視点画像の種類／形態によって、レンダリングに用いる画像を選択する方法を異ならせてレンダリングすることにより、出力に応じて、好適な仮想視点画像を生成することができる。なお、本実施形態では２Ｄレンダリングか３Ｄレンダリングかを選択できるようにしたが、いずれか一方の実装のみでも構わない。

このように、上記に説明した実施形態によれば、オブジェクトが眼鏡など透明部を含むアイテムを含む場合、に、当該アイテムの３Ｄモデルを別途生成する必要なく、違和感の少ない仮想視点画像を生成することができる。

＜その他の実施形態＞
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

開示は上記実施形態に制限されるものではなく、本開示の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。

１１０ カメラ、１２０ ネットワーク、１３０ 画像処理装置、１４０ 入力装置、１５０ 表示装置、２１０ 画像取得部、２２０ パラメータ取得部、２３０ ３Ｄモデル生成部、２４０ 透明部判定部、２５０ ３Ｄモデル補正部、２６０ 仮想視点設定部、２７０ レンダリング部

Claims (11)

1. 複数の撮像装置による撮像により得られた画像を取得する取得手段と、
   前記画像において、透明部を含むオブジェクトを識別する識別手段と、
   前記オブジェクトの３次元モデルを生成する生成手段と、
   前記透明部の透明部モデルを導出する導出手段と、
   前記３次元モデルから前記透明部モデルを削除することにより、前記３次元モデルを補正する補正手段と、
   を有することを特徴とする生成装置。
2. 前記生成手段は、前記画像に基づいて、前記３次元モデルを生成することを特徴とする請求項１に記載の生成装置。
3. 前記オブジェクトまでの距離の情報を取得する取得手段を更に有し、
   前記生成手段は、前記距離の情報に基づいて前記３次元モデルを生成することを特徴とする請求項１に記載の生成装置。
4. 前記導出手段は、前記透明部モデルを、機械学習を用いて導出することを特徴とする請求項１から３のいずれか１項に記載の生成装置。
5. 前記オブジェクトは人物の頭部を含み、前記透明部は眼鏡のレンズ部分を含むことを特徴とする請求項１から４のいずれか１項に記載の生成装置。
6. 前記オブジェクトは人物の頭部を含み、前記透明部はフェースシールドを含むことを特徴とする請求項１から４のいずれか１項に記載の生成装置。
7. 請求項１から６のいずれか１項に記載の生成装置と、
   仮想視点の位置と前記仮想視点からの視線方向を特定するための仮想視点情報を設定する設定手段と、
   補正された３次元モデルと、前記複数の撮像装置のうち前記仮想視点情報に基づいて選択された１つ以上の撮像装置により得られた画像と、に基づいて、前記仮想視点からの見えを表す仮想視点画像を生成する画像生成手段と、
   を有することを特徴とするシステム。
8. 前記画像生成手段は、補正された３次元モデルにおいて補正された部分に含まれる要素に対しては、前記複数の撮像装置のうち当該要素を含む補正された３次元モデルにおける面の法線に近い順に選択された１つ以上の撮像装置により得られた画像に基づいて、色を決定することを特徴とする請求項７に記載のシステム。
9. 前記画像生成手段は、
   補正された３次元モデルにおいて補正された部分に含まれる要素に対しては、前記複数の撮像装置のうち当該要素を含む補正された３次元モデルにおける面の法線に近い順に選択された１つの撮像装置により得られた画像に基づいて、色を決定し、
   補正された３次元モデルにおいて補正された部分に含まれない要素に対しては、前記法線に近い順に選択された複数の撮像装置により得られた画像に基づいて、色を決定することを含むことを特徴とする請求項７または８に記載のシステム。
10. 複数の撮像装置による撮像により得られた画像を取得する取得工程と、
    前記画像において、透明部を含むオブジェクトを識別する識別工程と、
    前記オブジェクトの３次元モデルを生成する生成工程と、
    前記透明部の透明部モデルを導出する導出工程と、
    前記３次元モデルから前記透明部モデルを削除することにより、前記３次元モデルを補正する補正工程と、
    を有することを特徴とする生成方法。
11. コンピュータを、請求項１から６のいずれか１項に記載の生成装置として機能させるためのプログラム。

Images