JP7197211B2 - 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム - Google Patents

Description

本発明は、三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システムに関する。

従来、複数の撮像画像に基づいて物体の三次元モデルを生成する画像処理方法が知られている（例えば、特許文献１を参照）。

特許第４６８７４４９号公報

従来の画像処理方法においては、撮像画像に含まれる物体の表面の角度に基づいて分割した多角形の領域それぞれにテクスチャを貼り付けることにより、三次元モデルが作成される。この場合、例えば人の頬のように画素値の変化が少ない画像領域においては、テクスチャを貼り付ける複数の多角形それぞれの大きさを十分に小さくすることができない。その結果、高精細な三次元モデルを作成することができないという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、三次元モデルの精細度を向上させることを目的とする。

本発明の第１の態様に係る三次元グラフィックスデータ作成方法は、それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を被写体に投影している間に、複数の異なる位置に設けられた複数の撮像装置により前記被写体を撮影することにより複数の特徴撮像画像データを作成するステップと、前記複数の特徴撮像画像データに共通に含まれる、１つの前記サブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、前記被写体における前記複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定するステップと、特定した前記複数の位置のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成するステップと、前記特徴画像を前記被写体に投影していない状態で前記複数の撮像装置により被写体を撮影することにより複数の被写体撮像画像データを作成するステップと、前記複数の被写体撮像画像データにおける前記複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出すステップと、前記複数のメッシュそれぞれに、対応する前記テクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成するステップと、を有する。

前記三次元空間における座標を特定するステップにおいて、（１）前記複数の特徴撮像画像データのうち第１特徴撮像画像データに含まれる第１マッチング領域の前記第１特徴撮像画像データにおける位置と、前記第１マッチング領域における前記複数のサブ画像領域のパターンと一致するパターンの前記複数のサブ画像領域を含む、前記第１特徴撮像画像データと異なる第２特徴撮像画像データに含まれる第２マッチング領域の前記第２特徴撮像画像データにおける位置との関係と、（２）前記複数の撮像装置の位置関係と、に基づいて、前記複数のマッチング領域の三次元空間における座標を特定してもよい。

前記三次元空間における座標を特定するステップの前に、前記複数の特徴撮像画像データにおいて隣接する画素の画素値の差が閾値以上である複数の画素に囲まれた複数の同等画素値領域の前記複数の特徴撮像画像データそれぞれにおける位置を特定することにより、前記複数の撮像装置の前記三次元空間における位置及び姿勢を特定するステップをさらに有し、前記三次元空間における座標を特定するステップにおいて、特定した前記複数の撮像装置の位置又は姿勢の少なくともいずれかにさらに基づいて、前記複数のマッチング領域の三次元空間における座標を特定してもよい。

前記特徴画像は、それぞれ複数の前記サブ画像領域により構成される複数の図形であって、隣接する他の図形と画素値が前記閾値以上変化する複数の図形を含み、前記複数の撮像装置の位置及び姿勢を特定するステップにおいて、前記複数の図形に対応する前記複数の同等画素値領域の輪郭線上の少なくとも一部の画素の前記複数の特徴撮像画像データそれぞれにおける位置を特定することにより、前記複数の撮像装置の位置及び姿勢を特定してもよい。

前記特徴撮像画像データを作成するステップの前に、前記複数のメッシュの大きさの設定を受け付けるステップをさらに有し、前記特徴撮像画像データを作成するステップにおいて、設定された前記メッシュの大きさに応じた前記特徴パターンを有する前記特徴画像を前記被写体に投影してもよい。

前記特徴撮像画像データを作成するステップにおいて、複数の方向から前記特徴画像を前記被写体に投影してもよい。

前記特徴撮像画像データを作成するステップの前に、前記被写体の位置を検出するステップをさらに有し、前記特徴撮像画像データを作成するステップにおいて、検出した前記被写体の位置に基づいて前記特徴画像を投影してもよい。

前記特徴撮像画像データを作成するステップの前に、前記被写体の位置の設定を受け付けるステップをさらに有し、前記特徴撮像画像データを作成するステップにおいて、設定された前記被写体の位置に基づいて前記特徴画像を投影してもよい。

本発明の第２の態様に係るプログラムは、コンピュータに、それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を被写体に投影している間に、複数の異なる位置に設けられた複数の撮像装置により前記被写体を撮影することにより作成した複数の特徴撮像画像データを取得するステップと、前記複数の特徴撮像画像データに共通に含まれる、１つの前記サブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、前記被写体における前記複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定するステップと、特定した前記複数の位置のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成するステップと、前記特徴画像を前記被写体に投影していない状態で前記複数の撮像装置により被写体を撮影することにより作成した複数の被写体撮像画像データを取得するステップと、前記複数の被写体撮像画像データにおける前記複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出すステップと、前記複数のメッシュそれぞれに、対応する前記テクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成するステップと、を実行させる。

本発明の第３の態様に係る三次元グラフィックスデータ作成システムは、それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を被写体に投影する投影装置と、前記被写体を撮影する複数の撮像装置と、前記複数の撮像装置が前記被写体を撮影することにより生成した複数の特徴撮像画像データに基づいて三次元グラフィックスデータを作成する三次元グラフィックスデータ作成装置と、を備え、前記投影装置は、前記被写体に前記特徴画像を投影する投影部を有し、前記複数の撮像装置それぞれは、前記特徴画像が投影された前記被写体を撮影した特徴撮像画像データ、及び前記特徴画像が投影されていない前記被写体を撮影した被写体撮像画像データを生成する画像生成部と、前記特徴撮像画像データ及び前記被写体撮像画像データを前記三次元グラフィックスデータ作成装置に送信する送信制御部と、を有し、前記三次元グラフィックスデータ作成装置は、前記特徴撮像画像データ及び前記被写体撮像画像データを取得する画像取得部と、前記複数の特徴撮像画像データに共通に含まれる、１つの前記サブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、前記被写体における前記複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定し、特定した前記複数の位置のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成するメッシュ作成部と、複数の前記被写体撮像画像データにおける前記複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出す切出部と、前記複数のメッシュそれぞれに、対応する前記テクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成する作成部と、を有する。

本発明によれば、三次元モデルの精細度を向上させるという効果を奏する。

三次元グラフィックスデータ作成システムＳの構成を示す図である。 三次元グラフィックスデータ作成方法のフローチャートである。 投影装置１が被写体に投影する特徴画像を説明するための図である。 三次元グラフィックスデータ作成方法により作成したリンゴＡの三次元モデルを説明するための図である。 図４（ｃ）に示す複数のメッシュを拡大した図である。 図４（ｄ）に示す画像を拡大した図である。 投影装置１の構成を示す図である。 撮像装置２の構成を示す図である。 三次元グラフィックスデータ作成装置３の構成を示す図である。 三次元グラフィックスデータ作成システムＳの動作の一例を示すフローチャートである。

［三次元グラフィックスデータ作成システムＳの概要］
図１は、三次元グラフィックスデータ作成システムＳの構成を示す図である。三次元グラフィックスデータ作成システムＳは、複数の投影装置１（１ａ、１ｂ）と、複数の撮像装置２（２ａ～２ｄ）と、三次元グラフィックスデータ作成装置３と、を備える。三次元グラフィックスデータ作成装置３は、例えばＨＤＭＩ（High Definition Multimedia Interface）（登録商標）ケーブル又はＵＳＢ（Universal Serial Bus）ケーブルを介して撮像装置２と接続されている。三次元グラフィックスデータ作成装置３は、例えば有線ＬＡＮ（Local Area Network）又は無線ＬＡＮ等のネットワークを介して撮像装置２と接続されていてもよい。

三次元グラフィックスデータ作成システムＳは、物体の三次元グラフィックスデータ（以下、「三次元モデルデータ」という場合がある。）を作成するためのシステムである。物体は、人又は動物等の生物を含む。以下の説明においては、三次元グラフィックスデータ作成システムＳが、リンゴＡの三次元モデルデータを作成する場合を例示する。

投影装置１は、例えばプロジェクタである。図１に示すように、投影装置１は、特徴画像をリンゴＡに投影する。特徴画像は、それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する画像である。特徴画像は、例えば複数の異なる形状のサブ画像領域を含む。特徴画像が有するそれぞれのサブ画像領域の形状若しくは面積、又は特徴画像が有するサブ画像領域の数の少なくともいずれかは、作成する三次元モデルデータにおいて求められるメッシュの大きさに基づいて決定されている。サブ画像領域及び特徴パターンの詳細は後述する。複数の投影装置１は、例えばリンゴＡを中心として左右方向３６０度、上方向９０度の範囲に特徴画像を投影する。

撮像装置２は、例えばＲＧＢカメラである。図１に示すように、撮像装置２は、被写体であるリンゴＡを撮影する。複数の撮像装置２は、例えばリンゴＡを中心として左右方向３６０度、上方向９０度の範囲を撮影する。複数の撮像装置２それぞれは、投影装置１が特徴画像をリンゴＡに投影した状態においてリンゴＡを撮影した特徴撮像画像データと、投影装置１が特徴画像をリンゴＡに投影していない状態においてリンゴＡを撮影した被写体撮像画像データとを生成する。複数の撮像装置２それぞれは、特徴撮像画像データ及び被写体撮像画像データを三次元グラフィックスデータ作成装置３に送信する。

三次元グラフィックスデータ作成装置３は、例えばコンピュータである。三次元グラフィックスデータ作成装置３は、単一のコンピュータでもよいし、例えばクラウド型サーバのように複数のコンピュータで構成されていてもよい。三次元グラフィックスデータ作成装置３は、撮像装置２が撮影した撮像画像に基づいて三次元モデルデータを作成する。以下、三次元グラフィックスデータ作成装置３が実行する三次元グラフィックスデータ作成方法の概要を説明する。

［三次元グラフィックスデータ作成方法のフローチャート］
図２は、三次元グラフィックスデータ作成方法のフローチャートである。図３は、投影装置１が被写体に投影する特徴画像を説明するための図である。図４は、三次元グラフィックスデータ作成方法により作成したリンゴＡの三次元モデルを説明するための図である。

図３（ａ）は、特徴画像に含まれるサブ画像領域の例を示す図である。図３（ａ）においてはサブ画像領域が正方形である場合を例示しているが、サブ画像領域の形状は任意である。サブ画像領域は、投影装置１が投影する画像の１画素の領域であってもよく、複数の画素に相当する領域であってもよい。

図３（ｂ）は、特徴画像の一例を示す図であり、特徴画像が有する特徴パターンを説明するための図である。図３（ｃ）は、図３（ｂ）に示す特徴画像の一部の領域である領域Ｃ２を拡大した図である。

図４（ａ）は、被写体であるリンゴＡに特徴画像を投影した図である。図４（ｂ）は、特徴画像を投影していないリンゴＡの図である。図４（ｃ）は、三次元グラフィックスデータ作成方法により作成したリンゴＡのメッシュを示す図である。図４（ｄ）は、図４（ｃ）に示すメッシュにテクスチャを割り当てた図である。

以下、図２に示すフローチャートに沿って、三次元グラフィックスデータ作成方法の手順を説明する。Ｓ１１において、投影装置１は、特徴画像を被写体に投影する。特徴画像は、それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する画像である。特徴パターンは、複数のサブ画像領域の組み合わせにより定まる模様である。サブ画像領域は、１つの画素又は画素値が同じ若しくは一定の範囲にある複数の画素により構成された領域である。

サブ画像領域は、例えば図３（ａ）に示す複数の領域Ｂ（Ｂ１～Ｂ３）それぞれである。図３（ａ）は、黒色の画素で構成されたサブ画像領域である領域Ｂ１、濃い灰色の画素で構成されたサブ画像領域である領域Ｂ２及び薄い灰色の画素で構成されたサブ画像領域である領域Ｂ３を示している。複数のサブ画像領域それぞれの形状は、図３（ａ）に示す領域Ｂの形状と異なっていてもよい。

特徴パターンは、例えば図３（ｂ）に示す特徴画像のように、複数の領域Ｂの組み合わせにより定まる模様である。例えば、特徴画像の一部の領域である領域Ｃ１は、複数の領域Ｂ３を組み合わせた領域である。

特徴画像は、例えば、特徴画像を利用して作成される複数のメッシュそれぞれが所定の大きさ以下になるような特徴パターンを有してもよい。所定の大きさは、例えば被写体の領域のうち、画素値の組み合わせの変化が多い領域におけるメッシュの大きさ、又は作成するべき三次元グラフィックスデータの要求仕様において設定された大きさである。画素値の組み合わせの変化が多い領域は、例えば図４（ａ）に示す領域Ｒ１である。

投影装置１は、例えば図４（ａ）に示す領域Ｐ１及び領域Ｐ２のように、被写体の撮像画像における被写体の面積に対して、作成する三次元モデルデータのメッシュの大きさに基づいて定められた面積（例えば被写体の面積の１０分の１以下の面積）の複数のマッチング領域により構成される特徴画像を被写体であるリンゴＡに投影する。マッチング領域は、サブ画像領域よりも広い領域であり、同じ画素値又は一定の範囲にある画素値の複数のサブ画像領域により構成された領域である。特徴画像におけるマッチング領域は、例えば図３（ｂ）に示す領域Ｃ２である。

投影装置１は、例えば図４（ａ）に示す領域Ｒ２のように画素値の組み合わせの変化が少ない領域であっても、領域Ｒ１におけるメッシュの大きさ以下のメッシュを作成するために複数のマッチング領域を有する特徴画像を投影する。複数の投影装置１は、例えば図１に示すように、複数の方向から特徴画像を被写体に投影する。複数の投影装置１それぞれが投影する特徴画像は、同じ特徴パターンを有する特徴画像でもよいし異なる特徴パターンを有する特徴画像でもよい。

Ｓ１２においては、それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を投影装置１が被写体に投影している間に、複数の異なる位置に設けられた複数の撮像装置２により被写体を撮影することにより複数の特徴撮像画像データを作成する。特徴撮像画像データは、例えば図４（ａ）に示す画像である。複数の撮像装置２は、例えば図１に示すように、複数の方向から被写体を撮影する。複数の撮像装置２は、複数の特徴撮像画像データを三次元グラフィックスデータ作成装置３に送信する。

Ｓ１３においては、特徴画像を被写体に投影していない状態で複数の撮像装置２により被写体を撮影することにより複数の被写体撮像画像データを作成する。Ｓ１３において、投影装置１は、特徴画像の投影を停止する。続いて、複数の撮像装置２は、特徴画像が投影されていない状態である被写体を撮影する。複数の撮像装置２は、被写体を撮影して生成した被写体撮像画像データを三次元グラフィックスデータ作成装置３に送信する。このように、特徴撮像画像データを作成する動作と被写体撮像画像データを作成する動作とを連続して実行することで、撮像装置２は、例えば人又は動物のように動きがある被写体であっても特徴撮像画像データに対応する被写体撮像画像データを作成することができる。

Ｓ１４において、三次元グラフィックスデータ作成装置３は、複数の特徴撮像画像データに共通に含まれる、１つのサブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、被写体における複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定する。

三次元グラフィックスデータ作成装置３は、例えば（１）複数の特徴撮像画像データのうち第１特徴撮像画像データに含まれる第１マッチング領域の第１特徴撮像画像データにおける位置と、第１マッチング領域における複数のサブ画像領域のパターンと一致するパターンの複数のサブ画像領域を含む、第１特徴撮像画像データと異なる第２特徴撮像画像データに含まれる第２マッチング領域の第２特徴撮像画像データにおける位置との関係と、（２）複数の撮像装置の位置関係と、に基づいて、複数のマッチング領域の三次元空間における座標を特定する。複数の撮像装置の位置関係は、複数の撮像装置それぞれの姿勢の関係（すなわち撮像する際の光軸の向きの関係）を含んでいてもよい。姿勢の関係は、例えば１台の撮像装置２の光軸の向きを基準とする、光軸の向きにより表される。

具体的には、三次元グラフィックスデータ作成装置３は、撮像装置２ａが撮像した第１特徴撮像画像データに含まれる領域Ｐ１（第１マッチング領域）の位置と、撮像装置２ｂが撮像した第２特徴撮像画像データに含まれる領域Ｐ１（第２マッチング領域）の位置と、撮像装置２ａ及び撮像装置２ｂの位置関係と、に基づいて、三次元空間における領域Ｐ１の座標を特定する。このように三次元グラフィックスデータ作成装置３が動作することで、三次元グラフィックスデータ作成装置３は、被写体に含まれる複数の領域それぞれの位置を高い精度で特定することができる。

三次元グラフィックスデータ作成装置３は、Ｓ１４の動作の前に、複数の特徴撮像画像データにおいて隣接する画素の画素値の差が閾値以上である複数の画素に囲まれた複数の同等画素値領域の複数の特徴撮像画像データそれぞれにおける位置を特定することにより、複数の撮像装置２の三次元空間における位置及び姿勢を特定してもよい。同等画素値領域は、例えば図３（ｃ）に示す正方形の領域Ｃ３である。閾値は、例えば色相、明度、彩度のうち少なくとも１つが異なるが、同じ色と判定しても差し支えない範囲の最大値である。

投影装置１が被写体に照射した特徴画像は、被写体の色、被写体を撮影する部屋の照明、及び投影装置１の色再現性等により、同じ画素値で構成した領域であっても画素値のばらつきが発生する場合がある。例えば図３（ｃ）に示す領域Ｃ３のように、図３（ａ）に示す領域Ｂ２と同じ画素値の画素と、領域Ｂ２に含まれる画素よりも濃い灰色の画素とが含まれる場合がある。

これに対して、三次元グラフィックスデータ作成装置３は、領域Ｃ３に含まれる複数の画素それぞれの画素値の差が閾値未満であると判定することにより、領域Ｃ３が複数の画素値の複数の画素で構成された領域であっても、同等画素値領域であると特定する。一方、三次元グラフィックスデータ作成装置３は、領域Ｃ３の外側の画素の画素値と領域Ｃ３の画素の画素値との差が閾値以上であると判定することにより、領域Ｃ３の外側の領域は、同等画素値領域ではないと特定する。このように三次元グラフィックスデータ作成装置３が動作することで、三次元グラフィックスデータ作成装置３は、同じ画素値で構成した領域を高い精度で特定できるため、撮像装置の位置又は姿勢を高い精度で特定することができる。

三次元グラフィックスデータ作成装置３は、特徴画像がそれぞれ複数のサブ画像領域により構成される複数の図形であって、隣接する他の図形と画素値が閾値以上変化する複数の図形を含むことに基づいて、複数の図形に対応する複数の同等画素値領域の輪郭線上の少なくとも一部の画素の複数の特徴撮像画像データそれぞれにおける位置を特定することにより、複数の撮像装置の位置及び姿勢を特定してもよい。

三次元グラフィックスデータ作成装置３は、例えば複数の撮像装置２が撮像した複数の特徴撮像画像データそれぞれにおいて、領域Ｃ３を示す破線の一部である画素Ｃ４の位置を特定することにより、複数の撮像装置２の位置及び姿勢を特定してもよい。三次元グラフィックスデータ作成装置３は、特定した複数の撮像装置２の位置又は姿勢の少なくともいずれかにさらに基づいて、複数のマッチング領域の三次元空間における座標を特定する。

このように三次元グラフィックスデータ作成装置３が動作することで、三次元グラフィックスデータ作成装置３は、図形の形状の特徴に基づいて特定する位置を容易に決定できるとともに、図形の形状の特徴に基づいた位置を高い精度で特定することができる。

Ｓ１５において、三次元グラフィックスデータ作成装置３は、特定した複数の位置である特徴点のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成する。特徴点は、例えばメッシュの頂点を導出するために用いられる。特徴点は、例えば複数の特徴撮像画像データにおいて、特徴画像に含まれる３つ以上のサブ画像領域が接続されている点、又はサブ画像領域それぞれの頂点である。三次元グラフィックスデータ作成装置３は、特定した複数の特徴点に基づいて複数のメッシュを作成する。

具体的には、三次元グラフィックスデータ作成装置３は、特徴撮像画像データにおいて、図４（ａ）に示す領域Ｐ１又は領域Ｐ２のような複数のマッチング領域の位置を検出する。三次元グラフィックスデータ作成装置３は、特定した複数の特徴点に基づいて導出した頂点を直線で接続することにより、例えば図４（ｃ）に示すような三角形の複数のメッシュを作成する。

三次元グラフィックスデータ作成装置３は、例えば複数の特徴撮像画像データにおいて複数の特徴撮像画像データそれぞれに含まれる複数のマッチング領域それぞれが投影されている位置を検出する。三次元グラフィックスデータ作成装置３は、複数の特徴撮像画像データにおいて、同じマッチング領域の位置を検出したと判定した場合、当該マッチング領域の頂点が同一の特徴点に対応すると特定する。三次元グラフィックスデータ作成装置３は、複数の特徴撮像画像データに基づいて、被写体において三次元モデルデータを作成するべき領域の全ての面に対応する複数のメッシュを作成する。

図５は、図４（ｃ）に示す複数のメッシュを拡大した図である。図５に示すように、リンゴＡの表面の画素値の組み合わせの変化が少ない領域（例えば図４（ａ）に示す領域Ｒ２に対応する領域）においても、十分に細かいメッシュが作成されていることを確認できる。

このように三次元グラフィックスデータ作成装置３が特徴画像を被写体に投射した状態で撮影した特徴撮像画像データを用いてメッシュを作成することで、三次元グラフィックスデータ作成装置３は、例えばリンゴＡのように表面の傾斜角度の変化が少ない被写体であってもメッシュの大きさを十分に小さくすることができる。その結果、高精細な三次元モデルを生成するための所定の大きさ以下の複数のメッシュを作成することができる。

Ｓ１６において、三次元グラフィックスデータ作成装置３は、複数の被写体撮像画像データにおける複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出す。被写体撮像画像データは、例えば図４（ｂ）に示す画像である。三次元グラフィックスデータ作成装置３は、例えば図４（ｃ）に示す複数のメッシュそれぞれの位置に対応するテクスチャデータを、図４（ｂ）に示すような複数の被写体撮像画像データから切り出すことにより作成する。

Ｓ１７において、三次元グラフィックスデータ作成装置３は、複数のメッシュそれぞれに、対応するテクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成する。複数のメッシュそれぞれに、対応するテクスチャデータが示すテクスチャを割り当てた画像は、例えば図４（ｄ）に示す画像である。三次元グラフィックスデータ作成装置３は、複数のメッシュそれぞれの位置に対応するテクスチャデータを割り当てた後に複数のメッシュそれぞれの境界線を非表示にすることにより、三次元モデルデータを作成する。

図６は、図３（ｄ）に示す画像を拡大した図である。図６に示すように、三次元グラフィックスデータ作成装置３が作成した三次元モデルデータは、画素値の組み合わせの変化が少ない位置（例えば図４（ａ）に示す領域Ｒ１に対応する領域）であってもリンゴＡの立体感を表現する。そして、特徴画像を投影していない状態で撮影した被写体撮像画像データに基づいてテクスチャデータを作成することで、三次元グラフィックスデータ作成装置３は、特徴画像が写っていない被写体の三次元モデルデータを作成する。

このように三次元グラフィックスデータ作成装置３が複数の特徴撮像画像データを用いて作成した複数のメッシュに、複数の被写体撮像画像データを用いて作成した複数のテクスチャを割り当てることで、三次元グラフィックスデータ作成装置３は、例えばリンゴＡのように、表面の特徴となる模様が少ないことにより画素値の組み合わせの変化が少ない被写体であっても高精細な三次元モデルを作成できる。

なお、三次元グラフィックスデータ作成システムＳは、Ｓ１１における投影装置１が特徴画像を投影する動作、及びＳ１２における撮像装置２が特徴撮像画像データを作成する動作と、Ｓ１３における撮像装置２が被写体撮像画像データを作成する動作とを入れ替えて実行してもよい。すなわち、三次元グラフィックスデータ作成システムＳは、被写体撮像画像データを作成した後に特徴撮像画像データを作成してもよい。

［投影装置１の構成］
図７は、投影装置１の構成を示す図である。投影装置１は、記憶部１１と、操作部１２と、設定部１３と、投影部１４と、を有する。記憶部１１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＳＳＤ（Solid State Drive）等の記憶媒体を有する。記憶部１１は、投影装置１が被写体に投影するための複数の特徴画像を記憶している。複数の特徴画像は、それぞれ異なる特徴パターンを有する。複数の特徴画像は、例えばサブ画像領域の数、又は複数の特徴画像それぞれが有する複数のサブ画像領域それぞれの形状若しくは大きさが、それぞれ異なる。

操作部１２は、例えばユーザから入力操作を受け付けるためのタッチパネル又は複数の釦である。操作部１２は、例えば投影装置１を起動又は停止するための操作、特徴画像を投影する領域を設定するための操作、及びメッシュの大きさを設定するための操作を受け付ける。

設定部１３は、操作部１２が受け付けたユーザの操作に基づいて投影部１４に特徴画像を投影するための設定をする。設定部１３は、例えばユーザが設定したメッシュの大きさに対応する特徴パターンを有する特徴画像を投影部１４が投影するように投影部１４に設定する。設定部１３は、例えばユーザが設定した特徴画像を投影する領域に投影部１４が特徴画像を投影するように投影部１４に設定する。

投影部１４は、被写体に特徴画像を投影する。投影部１４は、例えば設定部１３が設定したメッシュの大きさに対応する特徴パターンを有する特徴画像を記憶部１１から取得する。投影部１４は、設定部１３が設定した特徴画像を投影する領域に記憶部１１から取得した特徴画像を投影する。

［撮像装置２の構成］
図８は、撮像装置２の構成を示す図である。撮像装置２は、撮像部２１と、通信部２２と、記憶部２３と、制御部２４と、を有する。制御部２４は、画像生成部２４１と、送信制御部２４２と、を有する。

撮像部２１は、被写体を撮影する撮像素子を含む。撮像部２１は、被写体を撮影した撮像画像を画像生成部２４１に送信する。通信部２２は、例えば撮影して生成した撮像画像データを三次元グラフィックスデータ作成装置３に出力するための送信デバイスを含む。通信部２２は、例えばＨＤＭＩトランスミッタ又はＵＳＢコントローラである。通信部２２は、例えばＬＡＮコントローラ又は無線ＬＡＮコントローラであってもよい。

記憶部２３は、ＲＯＭ、ＲＡＭ、及びＳＳＤ等の記憶媒体を有する。記憶部２３は、制御部２４が実行するプログラムを記憶している。制御部２４は、例えばＣＰＵ（Central Processing Unit）である。制御部２４は、記憶部２３に記憶されているプログラムを実行することにより、画像生成部２４１及び送信制御部２４２として機能する。

画像生成部２４１は、撮像部２１が撮影した撮像画像により撮像画像データを生成する。画像生成部２４１は、特徴画像が投影された被写体を撮影した特徴撮像画像データ、及び特徴画像が投影されていない被写体を撮影した被写体撮像画像データを生成する。送信制御部２４２は、特徴撮像画像データ及び被写体撮像画像データを三次元グラフィックスデータ作成装置に送信する。

［三次元グラフィックスデータ作成装置３の構成］
図９は、三次元グラフィックスデータ作成装置３の構成を示す図である。三次元グラフィックスデータ作成装置３は、通信部３１と、表示制御部３２と、記憶部３３と、制御部３４と、を有する。制御部３４は、画像取得部３４１と、メッシュ作成部３４２と、切出部３４３と、作成部３４４と、を有する。図９においては、三次元グラフィックスデータ作成装置３が作成した三次元モデルデータを表示するための表示装置４も示されている。

通信部３１は、例えば撮像装置２が出力した特徴撮像画像データ及び被写体撮像画像データを取得するための受信デバイスを含む。通信部３１は、例えばＨＤＭＩレシーバ又はＵＳＢコントローラである。通信部３１は、例えばＬＡＮコントローラ又は無線ＬＡＮコントローラであってもよい。表示制御部３２は、作成部３４４が作成した三次元モデルデータが示す三次元モデルを表示装置４に表示させる。表示制御部３２は、例えば特徴撮像画像データ、被写体撮像画像データ、テクスチャデータが示すテクスチャ、又はメッシュの少なくともいずれかを表示装置４に表示させてもよい。

記憶部３３は、ＲＯＭ、ＲＡＭ、及びＳＳＤ等の記憶媒体を有する。記憶部３３は、制御部３４が実行するプログラムを記憶している。制御部３４は、例えばＣＰＵである。制御部３４は、記憶部３３に記憶されているプログラムを実行することにより、画像取得部３４１、メッシュ作成部３４２、切出部３４３及び作成部３４４として機能する。

画像取得部３４１は、撮像装置２が生成した特徴撮像画像データ及び被写体撮像画像データを取得する。メッシュ作成部３４２は、特定した複数の位置である特徴点のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成する。メッシュ作成部３４２は、例えば複数の特徴撮像画像データに共通に含まれる、１つのサブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、被写体における複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定し、特定した複数の位置うち少なくともいずれかの座標に関連付けられた複数のメッシュを作成する。

切出部３４３は、テクスチャデータを生成する。切出部３４３は、複数の被写体撮像画像データにおける複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出す。作成部３４４は、被写体の三次元グラフィックスデータを作成する。作成部３４４は、複数のメッシュそれぞれに、対応するテクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成する。

［三次元グラフィックスデータ作成システムＳのフローチャート］
図１０は、三次元グラフィックスデータ作成システムＳの動作の一例を示すフローチャートである。図１０に示すフローチャートは、特徴画像を投影する被写体の位置とメッシュの大きさとを決定した後に被写体を撮影することにより被写体の三次元モデルデータを生成する動作の一例を示している。

最初に、三次元グラフィックスデータ作成システムＳは、被写体の位置を特定する（Ｓ２１）。三次元グラフィックスデータ作成システムＳは、例えば撮像装置２が被写体を撮影して被写体の位置を検出することにより被写体の位置を特定する。特定した被写体の位置は、投影装置１に設定される。特定した被写体の位置は、例えばＬＡＮ等のネットワーク（不図示）を介して撮像装置２から投影装置１に設定される。特定した被写体の位置は、例えばユーザが、投影装置１が有する操作部１２を操作することにより設定した被写体の位置の設定を受け付けることにより設定されてもよい。

投影装置１は、複数のメッシュの大きさの設定を受け付ける（Ｓ２２）。投影装置１が有する設定部１３は、記憶部１１に記憶されている複数の特徴画像のうち、ユーザが操作部１２を操作することにより設定したメッシュの大きさの設定に対応する特徴画像を特定し、投影装置１が有する投影部１４に通知する。

投影装置１は、特徴画像を投影する（Ｓ２３）。投影装置１は、Ｓ２１において撮像装置２が検出した被写体の位置に基づいて特徴画像を投影する。投影装置１は、Ｓ２１においてユーザに設定された被写体の位置に基づいて特徴画像を投影してもよい。投影装置１は、Ｓ２２において設定されたメッシュの大きさに応じた特徴パターンを有する特徴画像を被写体に投影する。投影装置１が有する投影部１４は、Ｓ２２において設定部１３が特定した特徴画像を投影する。

撮像装置２は、特徴画像を投影された被写体を撮影することにより特徴撮像画像データを作成する（Ｓ２４）。撮像装置２は、作成した特徴撮像画像データを三次元グラフィックスデータ作成装置３に送信する。三次元グラフィックスデータ作成装置３が有する画像取得部３４１は、複数の撮像装置２が出力した複数の特徴撮像画像データを取得する。

投影装置１は、特徴画像の投影を停止する。撮像装置２は、投影装置１が特徴画像の投影を停止した後に被写体を撮影することにより被写体撮像画像データを作成する（Ｓ２５）。撮像装置２は、作成した被写体撮像画像データを三次元グラフィックスデータ作成装置３に送信する。画像取得部３４１は、複数の撮像装置２が出力した複数の被写体撮像画像データを取得する。

三次元グラフィックスデータ作成装置３が有するメッシュ作成部３４２は、複数の特徴撮像画像データに基づいて三次元空間における座標を特定する（Ｓ２６）。メッシュ作成部３４２は、例えば複数の特徴撮像画像データに共通に含まれる、１つのサブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、被写体における複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定する。

メッシュ作成部３４２は、特定した複数の位置である複数の特徴点の座標に関連付けられた複数のメッシュを作成する（Ｓ２７）。

三次元グラフィックスデータ作成装置３が有する切出部３４３は、Ｓ２７においてメッシュ作成部３４２が作成した複数のメッシュと、Ｓ２５において画像取得部３４１が取得した複数の被写体撮像画像データとに基づいてテクスチャデータを生成する。切出部３４３は、複数の被写体撮像画像データにおける複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出す（Ｓ２８）。

三次元グラフィックスデータ作成装置３が有する作成部３４４は、テクスチャデータが示すテクスチャを複数のメッシュそれぞれに割り当てることにより、三次元グラフィックスデータを作成する（Ｓ２９）。なお、三次元グラフィックスデータ作成システムＳは、被写体撮像画像データを作成する処理（Ｓ２５）を、特徴画像を投影する処理（Ｓ２３）の前に実行してもよい。

［三次元グラフィックスデータ作成方法の効果］
以上説明したとおり、三次元グラフィックスデータ作成方法は、それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を被写体に投影している間に、複数の異なる位置に設けられた複数の撮像装置２により被写体を撮影することにより複数の特徴撮像画像データを作成するステップと、複数の特徴撮像画像データに共通に含まれる、１つのサブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、被写体における複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定するステップと、特定した複数の位置のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成するステップと、特徴画像を被写体に投影していない状態で複数の撮像装置２により被写体を撮影することにより複数の被写体撮像画像データを作成するステップと、複数の被写体撮像画像データにおける複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出すステップと、複数のメッシュそれぞれに、対応するテクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成するステップと、を有する。

このような手順で三次元グラフィックスデータを作成することで、被写体の表面の模様が少ないことにより画素値の組み合わせの変化が少ない領域であってもメッシュの大きさを十分に小さくすることができるため、三次元グラフィックスデータの精細度を向上させることができる。そして、特徴画像を投影しない被写体を撮影した被写体撮像画像データを用いてテクスチャを作成することにより、特徴画像が写っていない三次元グラフィックスデータを作成することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 投影装置
２ 撮像装置
３ 三次元グラフィックスデータ作成装置
１１ 記憶部
１２ 操作部
１３ 設定部
１４ 投影部
２１ 撮像部
２２ 通信部
２３ 記憶部
２４ 制御部
３１ 通信部
３２ 表示制御部
３３ 記憶部
３４ 制御部
２４１ 画像生成部
２４２ 送信制御部
３４１ 画像取得部
３４２ メッシュ作成部
３４３ 切出部
３４４ 作成部

Claims (9)

1. それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を被写体に投影している間に、複数の異なる位置に設けられた複数の撮像装置により前記被写体を撮影することにより複数の特徴撮像画像データを作成するステップと、
   前記複数の特徴撮像画像データに共通に含まれる、１つの前記サブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、前記被写体における前記複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定するステップと、
   特定した前記複数の位置のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成するステップと、
   前記特徴画像を前記被写体に投影していない状態で前記複数の撮像装置により被写体を撮影することにより複数の被写体撮像画像データを作成するステップと、
   前記複数の被写体撮像画像データにおける前記複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出すステップと、
   前記複数のメッシュそれぞれに、対応する前記テクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成するステップと、
   前記特徴撮像画像データを作成するステップの前に、前記複数のメッシュの大きさの設定を受け付けるステップと、
   を有し、
   前記特徴撮像画像データを作成するステップにおいて、設定された前記メッシュの大きさに応じた前記特徴パターンを有する前記特徴画像を前記被写体に投影する、
   三次元グラフィックスデータ作成方法。
2. 前記三次元空間における座標を特定するステップにおいて、（１）前記複数の特徴撮像画像データのうち第１特徴撮像画像データに含まれる第１マッチング領域の前記第１特徴撮像画像データにおける位置と、前記第１マッチング領域における前記複数のサブ画像領域のパターンと一致するパターンの前記複数のサブ画像領域を含む、前記第１特徴撮像画像データと異なる第２特徴撮像画像データに含まれる第２マッチング領域の前記第２特徴撮像画像データにおける位置との関係と、（２）前記複数の撮像装置の位置関係と、に基づいて、前記複数のマッチング領域の三次元空間における座標を特定する、
   請求項１に記載の三次元グラフィックスデータ作成方法。
3. 前記三次元空間における座標を特定するステップの前に、前記複数の特徴撮像画像データにおいて隣接する画素の画素値の差が閾値以上である複数の画素に囲まれた複数の同等画素値領域の前記複数の特徴撮像画像データそれぞれにおける位置を特定することにより、前記複数の撮像装置の前記三次元空間における位置及び姿勢を特定するステップをさらに有し、
   前記三次元空間における座標を特定するステップにおいて、特定した前記複数の撮像装置の位置又は姿勢の少なくともいずれかにさらに基づいて、前記複数のマッチング領域の三次元空間における座標を特定する、
   請求項１又は２に記載の三次元グラフィックスデータ作成方法。
4. 前記特徴画像は、それぞれ複数の前記サブ画像領域により構成される複数の図形であって、隣接する他の図形と画素値が前記閾値以上変化する複数の図形を含み、
   前記複数の撮像装置の位置及び姿勢を特定するステップにおいて、前記複数の図形に対応する前記複数の同等画素値領域の輪郭線上の少なくとも一部の画素の前記複数の特徴撮像画像データそれぞれにおける位置を特定することにより、前記複数の撮像装置の位置及び姿勢を特定する、
   請求項３に記載の三次元グラフィックスデータ作成方法。
5. 前記特徴撮像画像データを作成するステップにおいて、複数の方向から前記特徴画像を前記被写体に投影する、
   請求項１から４のいずれか一項に記載の三次元グラフィックスデータ作成方法。
6. 前記特徴撮像画像データを作成するステップの前に、前記被写体の位置を検出するステップをさらに有し、
   前記特徴撮像画像データを作成するステップにおいて、検出した前記被写体の位置に基づいて前記特徴画像を投影する、
   請求項１から５のいずれか一項に記載の三次元グラフィックスデータ作成方法。
7. 前記特徴撮像画像データを作成するステップの前に、前記被写体の位置の設定を受け付けるステップをさらに有し、
   前記特徴撮像画像データを作成するステップにおいて、設定された前記被写体の位置に基づいて前記特徴画像を投影する、
   請求項１から５のいずれか一項に記載の三次元グラフィックスデータ作成方法。
8. コンピュータに、
   それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を被写体に投影している間に、複数の異なる位置に設けられた複数の撮像装置により前記被写体を撮影することにより作成した複数の特徴撮像画像データを取得するステップと、
   前記複数の特徴撮像画像データに共通に含まれる、１つの前記サブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、前記被写体における前記複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定するステップと、
   特定した前記複数の位置のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成するステップと、
   前記特徴画像を前記被写体に投影していない状態で前記複数の撮像装置により被写体を撮影することにより作成した複数の被写体撮像画像データを取得するステップと、
   前記複数の被写体撮像画像データにおける前記複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出すステップと、
   前記複数のメッシュそれぞれに、対応する前記テクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成するステップと、
   前記特徴撮像画像データを取得するステップの前に、前記複数のメッシュの大きさの設定を受け付けるステップと、
   を実行させ、
   前記特徴撮像画像データを取得するステップにおいて、設定された前記メッシュの大きさに応じた前記特徴パターンを有する前記特徴画像を前記被写体に投影する、
   プログラム。
9. それぞれ画素値が異なる複数のサブ画像領域を有する特徴パターンを有する特徴画像を被写体に投影する投影装置と、前記被写体を撮影する複数の撮像装置と、前記複数の撮像装置が前記被写体を撮影することにより生成した複数の特徴撮像画像データに基づいて三次元グラフィックスデータを作成する三次元グラフィックスデータ作成装置と、を備え、
   前記投影装置は、
   メッシュの大きさを設定するための操作を受け付ける操作部と、
   前記被写体に、前記メッシュの大きさに対応する前記特徴パターンを有する前記特徴画像を投影する投影部と、を有し、
   前記複数の撮像装置それぞれは、
   前記特徴画像が投影された前記被写体を撮影した特徴撮像画像データ、及び前記特徴画像が投影されていない前記被写体を撮影した被写体撮像画像データを生成する画像生成部と、
   前記特徴撮像画像データ及び前記被写体撮像画像データを前記三次元グラフィックスデータ作成装置に送信する送信制御部と、
   を有し、
   前記三次元グラフィックスデータ作成装置は、
   前記特徴撮像画像データ及び前記被写体撮像画像データを取得する画像取得部と、
   前記複数の特徴撮像画像データに共通に含まれる、１つの前記サブ画像領域よりも広い複数のマッチング領域の位置の関係に基づいて、前記被写体における前記複数のマッチング領域に対応する複数の位置の三次元空間における座標を特定し、特定した前記複数の位置のうち少なくともいずれかの座標に関連付けられた複数のメッシュを作成するメッシュ作成部と、
   複数の前記被写体撮像画像データにおける前記複数のメッシュそれぞれの位置に対応する複数の領域の画像データを複数のテクスチャデータとして切り出す切出部と、
   前記複数のメッシュそれぞれに、対応する前記テクスチャデータが示すテクスチャを割り当てることにより三次元グラフィックスデータを作成する作成部と、
   を有する三次元グラフィックスデータ作成システム。

Images