JP4335589B2 - How to model a 3D object - Google Patents

Description

【００５２】
値Ｃは、それぞれのカメラピクセルにおいて記録されるカラー値であり、Ｅは、方向ω_ｉからの環境照明であり、Ｗは、環境から前景オブジェクト１５０を通じてカメラ１３０へ光伝達を行うすべての手段を備える重み関数である。積分は、半球Ωの全体にわたって、およびそれぞれの波長に対して実行される。以下、この波長依存性を反映するために、すべての方程式は、Ｒ、ＧおよびＢのカラーチャネルについて別々に評価される。
【００５３】
あるピクセルにおいて測定されたカメラ強度Ｃおよび環境Ｅを考慮して、我々は、そのピクセルを通り抜ける光線に対応するオブジェクト表面点の関数Ｗの近似値を求めたい。
【００５４】
我々の読み取りシステム１００は、環境用に複数の照明フィールドを提供する。図５ａに示すように、第１の照明は、プラズマモニタ１２０〜１２１にカラーパターンを表示することによって、バックライト群により生成される高解像度２Ｄテクスチャマップと一体になっている。第２の照明は、図５ｂに示すように、残りの半球上のまばらな組の方向からのオーバヘッドライト配列１１０によるものである。
【００５５】
我々は、高解像度テクスチャマップより覆われる環境半球のセクタをΩ_ｈと呼び、ライト配列Ω_ｌにより覆われる残りのセクタをΩ_ｌと呼ぶ。さらに、我々は、セクタΩ_ｈにおける光伝達が２つの成分によって記述できるという簡易化した仮定を置く。
【００５６】
図５ａに示すように、我々は、オブジェクトを通り抜ける光の複雑になり得る経路を、光線表面交差から背景モニタへの２つの直線光束によって近似している。他方で、セクタΩ_ｌの１つまたは２つ以上の指向性光源Ｌ（ω_ｉ）からの光は、ピクセルＣ５００に到達する前にオブジェクトによって屈折および反射される。ここで、我々は、セクタΩ_ｌの入射ライトフィールド（incident light field）が、オブジェクトの背後からの高解像度モニタ１２０〜１２１から直接到来するセクタΩ_ｈの光よりも実質的に低い解像度でサンプリング可能であると仮定する。
【００５７】
したがって、上記式は、次のようになる。
【００５８】
【数２】

【００５９】
我々は、Ｗ_ｈ（ｘ）を記述するためにガウシアンの和を使用している。後述するように、ｋ最近傍補間の間、適合するガウシアンを見出すために、我々は、表面点ごとに２つのガウス関数の最大値に自身を制限する。したがって、
【００６０】
【数３】

【００６１】
ここで、Ｇ_１およびＧ_２は、楕円指向型２Ｄユニットガウシアン（elliptical, oriented 2D unit-Gaussian）である。ａ_１およびａ_２は、それぞれそれらの振幅である。ｘは、カメラピクセルの座標である。Ｃ_ｉは、それぞれのガウシアンの中心である。σ_ｉは、それらの標準偏差であり、θ_ｉは、それらの方向である。より詳細については、Chuang等著「Environment Matting Extensions: Towards Higher Accuracy and Real-Time Capture」Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 121-130, 2000を参照されたい。
【００６２】
我々は、ｎ個の光源Ｌ（ω_ｉ）１１０の離散的な組によりセクタΩ_ｌを照射しているので、重み関数Ｗ_ｈ（ｘ）を以下のように書き換えることができる。
【００６３】
【数４】

【００６４】
我々は、我々の発明によりレンダリングする間、この式を使用してBSSRDFをモデル化する。
【００６５】
環境マッティング（environment matting）および反射フィールド（reflectance field）を使用して、我々は、観測データＣ、すなわち複数の視点からの画像１６１〜１６６のピクセルの値を用いてパラメータａおよびＧを推定する。それぞれの視点について、推定されたパラメータは、（ａ_１，Ｇ_１，ａ_２，Ｇ_２）として環境マットに記憶され、ｎ個の反射画像は、Ｒ（ω_ｉ）として記憶される。
【００６６】
後述するように、我々が、このモデルに従ってレンダリングするとき、我々は、オブジェクト１５０の再構築される形状Ｓ上の可視表面点を決定する。それぞれの可視表面点は、ｋ最近傍環境マットおよび反射画像からパラメータａ、ＧおよびＲを調べるために再び投影される。我々は、非構造化ルミグラフ補間または視点依存型テクスチャマッピングを使用して、任意の新しい視点にパラメータを補間する。その結果、パラメータは、上記方程式を使用して結合され、ピクセルＣ_ｎの色彩が決定される。
【００６７】
この式は、Chuangによって記述されたように、高品質環境マッティングと、我々の３Ｄ取得システム１００との間の折衷案である。理想的な状況では、我々は、オブジェクトを高解像度モニタで取り囲み、複数のモニタ上に分布した任意の個数の重み関数Ｗのパラメータを取得する。
【００６８】
あるいは、そうせずに、実際的な理由のため、我々は、ピクセルに到達する屈折光線および反射光線のほとんどが、オブジェクト背後の入射ライトフィールドから発せられていると仮定する。これは、大部分はかすめ角の強い反射成分および強い屈折成分を有するほとんどのオブジェクトにとって真である。このことは、水晶のシャンデリアといった大規模な内部構造または表面に切子面を有する透明なオブジェクトには必ずしも正しくない。しかしながら、実際には、このアプローチは、合理的にうまく機能する。
【００６９】
視野方向に高解像度環境テクスチャを使用することは、ライト配列のみを使用して入射照明を提供することよりも優れている。例えば、通常のガラス張りの窓を通してまっすぐに見ると、その最大解像度で背景が見える。他方で、高解像度照明環境を使用することは、環境マッティングによってのみ実現可能である。他の手段は、それぞれの視点について非常に多くの反射画像を記憶することであるが、これは非現実的である。環境マットは、本質的に、高解像度表面反射フィールドのための非常にコンパクトな表現である。
【００７０】
表面反射フィールドという用語にもかかわらず、我々は、屈折、拡散、サブサーフェス散乱、および非均一な材質変化を含む、より一層幅広い配列の効果を捕らえることに留意することは重要である。通常、まねることが高価であるか、または、不可能であるこれらの効果は、妥当な時間で我々のモデルからレンダリングすることができる。
【００７１】
表面反射フィールドは、ＢＳＳＲＤＦとほとんど等価である。主な相違は、我々が、光線表面交差の正確な物理的位置を知らないこと、および光の入射方向が、表面のいずれの点でも同じであるということである。
【００７２】
我々のモデルは、モニタから入射する光線束の数を２つに限定する点、およびChuangにおける前景カラーＦを表面反射関数Ｆ_ｉにわたる和で置き換える点で、Chuang等のものと異なる。オブジェクトでの反射および屈折によって、視野の光線が、背景に当たる２つの別個の光線束に分離するならば（図５ａ参照）、第１の仮定は妥当である。第２の仮定は、結果として、セクタΩ_ｌからの照明が、オブジェクトの前景カラーにどのように影響するかについてのより正確な推定になる。複数のモニタを使用することにより、我々は、部分的なピクセルカバレージ（α）および透明性の効果を正確に分離することができる。
【００７３】
高解像度および低解像度の表面反射画像を取得することにより、我々は、高頻度の環境マップを取り扱うことができる。環境マットの使用、改良された補間方式、およびアルファマット取得の改良により、我々は、高い透明性を有するオブジェクトを取得し、レンダリングすることが可能となる。
【００７４】
（不透明ハルの構築）
この上で、我々は不透明ハルをパラメータ化する、画像ベースの表面ハルを構築するために、我々は、さまざまな視点からシルエット画像を抽出する。従来技術の方法は、通常、白熱または蛍光の「白色」光を使用して、シルエットの視界を取得する。これについては、Matusik等著「Image-Based Visual Hulls」Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 369-374, 2000を参照されたい。背景照明は、市販の２次元マシンビジョンシステムで多く使用される共通のセグメンテーション手法（segmentation approach）である。バックライトは、露光されたエリアの画像センサを飽和させる。次に、シルエット画像は、閾値処理され、オブジェクトの２値セグメンテーション（binary segmentation）が行われる。しかしながら、２値の閾値処理は、我々がモデル化したい毛髪といった小さなシルエット特徴を有するオブジェクトにとって十分正確ではない。また、２値の閾値処理は、オブジェクトのモデルの現実的なシーンへのサブピクセルアキュレート合成（sub-pixel accurate compositing）を可能にしない。
【００７５】
別の問題として、カラースピル（color spill）がある。これについては、Smith等著「Blue Screen Matting」Computer Graphics, Vol. 30 of SIGGRAPH 96 Proceedings, pp. 259-268, 1996を参照されたい。カラースピルは、前景オブジェクト１５０におけるバックライトの反射が原因である。フレネル効果が、かすめ角付近で、材質のセキュラリティ（secularity）を増加させるので、カラースピルは、通常、オブジェクトのシルエットのエッジ付近で起こる。単一カラーのアクティブバックライトにより、スピルは、光沢のある金属またはセラミックといった高い反射率の表面に特に顕著である。
【００７６】
（マルチカラー背景マッティング）
図３に示すように、我々は、マルチカラーの背景マッティング技法を使用して、それぞれ視点からオブジェクト１５０のアルファマット３１０を取得することによるこれら問題を解決する。オブジェクトの正確はアルファマットは、異なるカラーを有する２つの背景を背にしてオブジェクトを画像化することにより得ることができる。したがって、我々は、カラーモニタ１２０〜１２１を使用する。背景は、それぞれのピクセルのカラーが異なる。
【００７７】
我々は、以下の正弦曲線のカラーパターンを使用する。
【００７８】
【数５】

【００７９】
ここで、Ｃ_ｉ（ｘ，ｙ，ｎ）は、ピクセル位置（ｘ，ｙ）におけるカラーチャネルｉ＝０，１，２の強度である。ｎは、位相差である。λは、ストライプの幅である。２つの背景間のピクセルあたりの差を最大にするために、パターンは、１８０度だけ位相シフトされる（ｎ＝−１または＋１）。ユーザは、正弦曲線のストライプの幅をパラメータλで定義する。このパターンは、実質的にグレーの照明を提供することにより、スピル効果を最小にする。
【００８０】
ピクセルあたりのアルファα_０は、以下の式に示すように、すべてのカラーチャネル上、我々の場合にはＲＧＢ上での加算結合を使用して決定される（３０５）。
【００８１】
【数６】

【００８２】
ここで、Ｏ_ｎ３０１およびＯ_チルダｎ３０２は、オブジェクト画像１６３のピクセルあたりの前景カラーであり、Ｒ_ｎ３０３およびＲ_チルダｎ３０４は、参照画像１６２のピクセルあたりの背景カラーである。
【００８３】
我々が、それぞれの背景に対して、オブジェクトがあるピクセルおよびオブジェクトがないピクセルの双方で同じカラーを測定するならば、方程式（２）は、ゼロに等しくなる。これは、背景からカメラへまっすぐ通過してマッピングするピクセルに対応する。方程式（１）のカラーチャネルの位相シフトは、方程式（２）の分母が決してゼロでないことを保証する。正弦曲線パターンは、スピルが原因で観測されるピクセルカラーが、参照画像のピクセルカラーに一致する機会を低減する。それにもかかわらず、まだ、高い反射率の鏡面オブジェクトに対してスピルエラーを観測することができる。
【００８４】
これらのエラーを低減するために、我々は、背景パターンの波長を変えるごとに、同じ手順を複数回適用する。最終的なアルファマットを得るために、我々は、すべての中間的なマットから最大のアルファを記憶する。画像を追加して取り込むオーバヘッドは小さく、我々は、最終的なアルファマットのみを記憶する必要がある。この方法は、鏡面材質および毛羽立った材質を含む多種多様なオブジェクトに対して非常によく機能する。
【００８５】
（２値閾値処理）
次に、我々は、さまざまな視点からのアルファマット３１０を使用することにより、表面ハル３４０を構築する。まず、我々は、２値閾値処理３２０をアルファマットに使用して、２値シルエット画像３１１を得る。理論上、α＞０であるそれぞれのピクセル、すなわち透明でないそれぞれのピクセルは、オブジェクト１５０に関連する。実際には、システムの雑音、残存するスピル問題、および僅かなキャリブレーションの誤りのために、我々は、僅かに高い閾値を使用する。
【００８６】
我々の高ダイナミックレンジ画像に対して、我々は、α＞０．０５の閾値が、オブジェクトのすべておよび背景の一部を覆うセグメンテーションを与えることを見出している。また、不透明値（opacity value）がこの閾値未満である場合に、オブジェクトは正確にモデル化されないので、この閾値は、我々のシステムの上限も与える。
【００８７】
しかしながら、我々は、非常に透明なオブジェクトによって１つの特定の問題に直面した。光が、オブジェクト、例えば非常に薄いガラスによって十分に屈折されないならば、オブジェクト内部のピクセルは、背景のピクセルにまっすぐ通過してマッピングされる。これらのピクセルは、オブジェクトのシルエット内に含まれるにもかかわらず、ゼロのアルファ値を割り当てられる。これは、２値シルエット画像の穴の原因となる。
【００８８】
この問題を訂正するために、我々は、穴を満たす簡易で貪欲な手順を使用する。ピクセルは、そのアルファ値が閾値ｔ_ａ未満であると、空とみなされる。つながった空のピクセルの個数が、ユーザ定義の閾値ｎ_ａ未満であると、我々は、空のピクセルの領域を満たす。通常のオブジェクトに対して、ｎ_ａは、５から１００の範囲内の値とすることができる。シルエット内部のピクセルは、アルファ値１を割り当てられる。
【００８９】
我々は、最初に測定されたアルファ値を、２値シルエットのエッジに沿ったピクセルに割り当てる。再び、我々は、簡易で貪欲な手順を使用する。ある小さな近傍においてピクセルを取り囲む空のピクセルが存在しないならば、それらピクセルは、２値シルエットの内部とみなされる。我々は、４つのピクセル近傍で良好な結果を達成している。他のすべてのピクセルは、シルエットのエッジの近くであるとみなされ、測定されたアルファ値を割り当てられる。
【００９０】
次に、２値シルエットは、画像ベースの表面ハル３４０を構築するために使用される（３３０）。不適切に分類された前景領域が、他のすべての領域と一貫性を有しないならば、このプロセスは、当該領域の除去も行う。我々は、後述するように、高密度の組の表面点にＩＢＶＨをサンプリングし直す。
【００９１】
（不透明ハルの構築）
次に、アルファマット３１０は、表面ハル３４０に投影され（３５０）、不透明ハル３６０を構築する。自己遮蔽を最小にするために、それぞれの表面点のそれぞれの画像への可視性が、エピポーラ幾何学を使用して決定される。不透明ハル３６０は、それぞれの表面点の不透明値を記憶する。
【００９２】
（アルファスフィア（alphasphere））
不透明ハルは、それぞれの表面点のアルファスフィアＡを記憶する。ｗが、表面点ｐにおいて外部を向く方向であるならば、Ａ（ｐ，ｗ）は、方向ｗから見た不透明値α_ｐである。アルファスフィアＡを定義する関数は、球全体で連続であるべきであることに留意すべきである。しかしながら、どの物理システムも、離散的なサンプルのまばらな組のみを取得することができる。我々は、それぞれのアルファスフィアＡを定義するパラメトリック関数を推定することができる。しかしながら、アルファスフィアをパラメトリック関数で近似することは、多くの場合、非常に困難である。
【００９３】
その結果、後述するように、我々は、ｋ最近傍補間を使用して、任意の視点からの不透明ハルをレンダリングする。不透明ハルが、視点依存型表現であることに留意することは重要である。不透明ハルは、背景に関して前景オブジェクトの視点依存型の部分的占有を取り込む。
【００９４】
これは、直感的には、オブジェクトの部分的占有がそれぞれの視点で異なるという観測に対応する。視点依存型の特徴は、ボリュームグラフィックスで頻繁に使用されるｖｏｘｅｌシェルを除いて、不透明ハルを設定する。これについては、Udupa等著「Shell Rendering」IEEE Computer Graphics & Applications, 13(6):58-67, 1993を参照されたい。Ｖｏｘｅｌ ｓｈｅｌｌは、品質のよいシルエットの特徴を正確に表すことができないが、このことは、我々の不透明ハルの利点である。
【００９５】
従来技術では、同心の半透明できめのあるシェルが、毛髪および毛皮のようなオブジェクトをレンダリングするために使用されてきた。これについては、Lengyel等著「Real-Time Fur over Arbitrary Surface」Symposium on Interactive 3D Graphics, pp. 227-232, 2001を参照されたい。彼らは、テクスチャードフィン（textured fin）と呼ばれる幾何学図形を使用して、オブジェクトのシルエットの外観を改良していた。フィンテクスチャの単一のインスタンスは、オブジェクトのすべてのエッジに使用される。
【００９６】
対照的に、不透明ハルは、オブジェクトのすべての表面点に対して視点依存型の不透明値を有するテクスチャとして見ることができる。視点依存型の不透明性は、取得可能であり、オブジェクトを完全に囲む任意の表面幾何学図形（表面ハル）に歪ませることができる。すなわち、表面は、「防水」であると言われる。例えば、表面ハルは、レーザレンジ読み込みから取得された正確な幾何学図形から構築することもできるし、または、バウンディングボックスの幾何学図形を構築することによって取得することもできる。不透明ハルと、不透明ハルが投影（３５０）されるオブジェクトの表面ハル３４０を構築するために使用される特定の方法との相違は重要ではない。
【００９７】
我々の幾何学図形によると、不透明ハルを、高い複雑さのシルエットをレンダリングするために使用することができる。
【００９８】
不透明ハルを構築するのと同様に、我々は、取得された放射輝度画像１６４を、ＩＢＶＨ上の表面点から放射される光線に再パラメータ化する。この表現は、我々の表面反射フィールド２５１に使用される。
【００９９】
表面ライトフィールドは、Miller等著「Lazy Decompression of Surface Light Field for Precomputed Global Illumination」Proceedings of the 9th Eurographics Workshop on Rendering, pp. 281-292, 1998およびWood等著「Surface Light Fields for 3D Photography」Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 287-296, 2000によって記述されていた。それらの表面ライトフィールドは、読み取られた３次元のメッシュから生成された。これと対照的に、我々の表面放射輝度フィールド（surface radiance field）は、不透明ハル上に生成される。我々のシステムは、幾何学図形および放射輝度のための複数の読み取りを、同じ視点を使用して形状および放射輝度画像の組を取得する自動化されたプロセスに取り替える。
【０１００】
表面放射輝度画像１６４は、固定された照明の下で、モデル１８０をレンダリングするために使用することができる。我々は、表面反射モデルではなく一定の外部に向かう放射輝度関数によりモデルを生成するので、このことは、応用範囲にいくつかの制限を加える。
【０１０１】
この制限に対処するために、我々は、反射画像１６５をも取得する。不透明ハルを構築するのと同様に、我々は、取得された反射画像１６５を、不透明ハルの表面点から放射された光線に再パラメータ化する。Debevec等は、表面反射フィールドを記載した。しかしながら、彼等は、表面反射フィールドを単一視点から取得し、レンダリングする。かれらのシステムと対照的に、我々は、オブジェクト１５０の回りの複数の視点の反射フィールドを取得する。
【０１０２】
直接照明の下では、表面反射フィールド２５１は、６次元関数Ｒである。それぞれの表面点Ｐ_ｒに対して、関数Ｒは、入来する光の方向ｗ_ｉを、反射方向ｗ_ｒに沿って反射されたカラー値にマッピングする。したがって、Ｒ＝Ｒ（Ｐ_ｒ，ｗ_ｉ，ｗ_ｒ）となる。反射方向ｗ_ｒでピクセル（ｘ，ｙ）を通過するそれぞれの光線に対して、我々は、入来する光の方向ｗ_ｉから照射されるオブジェクトの反射関数Ｒ_ｘｙ（ｗ_ｉ，ｗ_ｒ）を観測する。取得の間、我々は、４次元関数Ｒ_ｘｙを一組の視点ｗ_ｒ（ｋ）および一組の光の方向ｗ_ｉ（ｌ）からサンプリングする。
【０１０３】
従来技術の反射フィールド技術では、光の方向のサンプリングは、密度が高く、例えばｌ＝６４×３２であり、視点については、単一の視点のみ、すなわちｋ＝１である。代わって、我々は、反射フィールドを多くの方向から、例えばｋ＝６×３６でサンプリングする。我々が取得し、記憶するデータ量を制限するために、我々のシステムは、ｌ＝４×１５の光の方向のまばらなサンプリングを使用することができる。
【０１０４】
我々は、後述するように、Ｒ_ｘｙ（ｋ，ｌ）のデータサンプルを記憶する。入来する方向オーババーｗ_ｉからの新たな照明により新たな視野方向オーババーｗ_ｒからの画像を再構築する処理は、２つの通過プロセスとなる。まず、我々は、新たな照明の下で、すべてのオリジナルの視野方向ｗ_ｒ（ｋ）についての画像を補間する。オリジナルの視野方向ｗ_ｒのそれぞれからの、位置（ｘ，ｙ）におけるピクセルのサンプルは、以下のように、光源Ｌ（ｗ_ｉ）の加重結合として決定することができる。
【０１０５】
【数７】

【０１０６】
ここで、ｄＡは、オリジナルの照明方向のそれぞれによって覆われる立体角であり、我々の場合、ｄＡ＝sinφである。
【０１０７】
我々は、新しい照明の下で、すべてのオリジナルな視点について画像Ｌ（ｗ_ｒ（ｋ））を構築した後、ｋ最近傍補間を使用して、画像データを新たな視点に補間する。これについては後に詳述する。
【０１０８】
代わりのアプローチは、反射用のパラメトリック関数またはＢＲＤＦを、取得されたデータに適合させることである。これは、特定用途にうまく機能する。例えば、人間の顔の表面反射フィールドを取得することができ、パラメトリック関数を、測定された反射フィールドに適合させることができる。パラメトリック反射関数を任意の材質に適合させることができる。
【０１０９】
後述するように、高い反射率の鏡面エリア、透明エリア、または自己遮蔽エリアの点についての反射関数は、非常に複雑であり、滑らかな基底関数を使用しても容易に近似することができない。我々は、我々が画像化する材質の反射特性について仮定を置かない。
【０１１０】
透明な材質を異なる屈折率で正確にレンダリングするために、我々は、屈折画像、すなわち「環境マット」をも取得する。後述するように、我々は、取得した屈折画像１６６を、不透明ハルの表面点からオブジェクト１５０の回りの複数の視点に向けて放射された光線に再パラメータ化する。
【０１１１】
（ポイントサンプリングされたデータの構造）
モデルを構築するために、我々は、レイヤデプスキューブ（ＬＤＣ）（layered depth cube）ツリーに基づく拡張された点表現を我々の形状モデルとして使用し、この形状モデルにおいて、我々は、視点依存型の外観データをパラメータ化する。これについては、Pfister等著「Surfels: Surface Elements as Rendering Primitives」Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 335-342, 2000、および、本願に引用して援用される、２００２年５月２８日にPfister等に発行された「Method for modeling graphical objects represented as surface elements」という発明の名称の米国特許第６，３９６，４９６号を参照されたい。
【０１１２】
前置処理ステップにおいて、我々は、３つの直交正投影を使用して、不透明ハルからｏｃｔｒｅｅベースのＬＤＣツリーを構築する。この３つのツリー直交不透明ハル（tree orthogonal opacity hull）は、レイヤデプス画像（layered depth image）にサンプリングされる。サンプリング密度は、モデルの複雑さに依存し、ユーザ指定される。次に、レイヤデプス画像は、単一のｏｃｔｒｅｅモデルに融合される。我々の不透明ハルは、仮想的な正投影視点から生成されるので、それらの位置合わせは、正確である。この融合によっても、モデルが均等にサンプリングされることが保証される。
【０１１３】
（可視性ベクトル）
図４に示すように、ＬＤＣツリーのそれぞれの表面要素（surfel（surface element））４００は、位置４０１、表面正常値４０２、およびカメラ可視性ビットベクトル４０３を記憶する。表面要素が画像空間解像度を有するならば、奥行き（depth）値のみを記憶する必要がある。可視性ベクトルは、表面要素が見えるそれぞれのカメラ位置に対して１の値、すなわち画像１６１〜１６６の組を記憶する。ビットベクトル４０３は、エピポーラ幾何学を使用して不透明ハルを構築中に計算することができる。
【０１１４】
それぞれのカメラ位置に対して、我々は、その視点に関連した放射輝度画像、反射画像、および屈折画像を記憶する。そして、ビットベクトルが使用され、特定の表面要素が、ある特定の視点について記憶画像を使用してレンダリングされるべきかどうかが決定される。我々は、必要に応じて、ｋ最近傍補間により、記憶画像から直接レンダリングする。
【０１１５】
ポイントサンプルは、３Ｄモデルの用途にとっていくつかの利点を有する。モデル化の観点からすると、点群表現により、トポロジーまたは接続性を確立する必要性が取り除かれる。これは、複数のソースからのデータの融合を容易にする。
【０１１６】
また、ポイントサンプルは、テクスチャマッピングのための表面の一貫したパラメータ化を計算する困難なタスクも回避する。我々は、ポイントサンプリングされたモデルが、盆栽の木または羽毛といった複雑な有機体の形状を、ポリゴンメッシュよりも簡単に表現できることを見出している。特に、ポリゴンモデルおよびテクスチャマッピングを使用して、視点依存型不透明値を不透明ハルのそれぞれの点に表現することは困難である。
【０１１７】
表面反射フィールドの圧縮およびレンダリング
生の反射画像データ１６５は、約８０ＧＢの記憶容量を必要とする。オブジェクトシルエット内のピクセルブロックを記憶するだけでも、オブジェクトのサイズに応じて２０〜３０ＧＢを必要とする。大きなサイズは、アプリケーションが、実時間レンダリング速度を達成することを妨げる。他方で、グラフィックス処理ユニット（ＧＰＵ（graphics processing unit））を有する今日のグラフィックスハードウェアは、実時間フレーム速度でポリゴンデータをレンダリングすることができる。したがって、上述したように、我々は、我々の反射フィールド方法を拡張し、データの圧縮、および、今日のＧＰＵハードウェアを使用した、圧縮された表現からの直接レンダリングを取り入れる。
【０１１８】
Wei-Chao Chen等は、ACM SIGGRAPH 2002 Conference Proceedings, July, 2002に掲載予定の「Light Field Mapping: Efficient Representation and Hardware Rendering of Surface Light Fields」において、ライトフィールドデータの圧縮およびレンダリングの方法を記載している。ライトフィールドは、Chen等によって使用されるように、固定された照明の下で、オブジェクトの表面から外に向かう放射輝度のみに関係している。これは、極度に単純化した照明モデルである。Chenは、モデル化されるオブジェクトの数百個の画像を１つのハンドヘルドカメラで取得する。照明は、オブジェクトに対して固定された位置にある１つのプロジェクタによって行われる。Chen等は、構造化照明システムを使用して、オブジェクトの幾何学図形を再生する。これは、走査中に、白色ペイントでオブジェクトを上塗りして、表面特性を隠すことを必要とする。白色ペイントは、暗いオブジェクト、高い反射率の鏡面オブジェクト、または半透明のオブジェクトを覆う。これらのオブジェクトは、彼らがモデル化できないものであり、もちろん、上述したように、我々にとって興味のある、まさに困難なタイプのオブジェクトである。
【０１１９】
Chen等と対照的に、我々は、それぞれの視点から４×１５個のライト方向を使用して反射画像を取得し、合計６×３６×（４×（４×１５）＋６）＝５３１３６個の画像を取得する。我々の画像は、複数の視点、複数の照明条件について、複数のカメラによって取得される。我々のカメラは、定位置にあり、ハンドヘルドカメラによって可能なデータよりも正確なデータを与える。また、最も重要なこととして、我々は、Chenのような従来のスキャナでは取り扱うことが難しい高い反射率の鏡面材質、暗い材質、透明な材質、または毛皮および羽毛といった毛羽立った材質の画像を取得する。我々は、表面反射フィールドを取得するので、どのような新しい環境にもオブジェクトを置くことができる。これは、Chen等を上回る明らかに有利な点である。
【０１２０】
表面反射フィールドのモデル
次の関数によって表面反射フィールドを記述する。
f(u, v, θ_view, φ_view, θ_light, φ_light)
ここで、ｕ、ｖは、オブジェクト座標（ｕ，ｖ）の表面の点をパラメータ化したものである。θ_viewおよびφ_viewは、表面の点（ｕ，ｖ）にローカルな球面座標における視野方向である。θ_lightおよびφ_lightは、無限遠における入射光の方向である。すなわち、光線は、平行であると仮定される。
【０１２１】
今日のＧＰＵ上でオブジェクトをレンダリングするために、図８に示すように、ポリゴンによって表面を表す。ポリゴンモデル８００のそれぞれの頂点Ｖ８０１について、以下のデータ構造、表面マップ８１０、ビューマップ８２０、およびライトマップ８３０を有する。表面の点のモデルといった他のモデルも使用できることは理解されるべきである。
【０１２２】
表面マップ８１０は、ポリゴンのそれぞれの頂点Ｖ８０１の周りのオブジェクトの表面近傍をパラメータ化したものである。それぞれの頂点Ｖについて、１つの表面マップを有する。表面マップｓ８１０は、以下の２つのパラメータを有する。
ｓ（ｕ，ｖ）
ここで、（ｕ，ｖ）は、オブジェクト表面の頂点Ｖにおけるローカル座標系である。
【０１２３】
ビューマップ８２０は、表面の頂点Ｖにおける接平面に投影される視野方向をパラメータ化したものである。それぞれの頂点Ｖについて、異なるビューマップｖを有する。ビューマップｖ８２０は、以下の２つのパラメータを有する。
ｖ（ｓ，ｔ）
ここで、（ｓ，ｔ）は、頂点Ｖにおけるローカルな接平面に投影される単位視野方向ベクトルの座標である。
【０１２４】
ライトマップは、表面の頂点Ｖにおける接平面に投影される光の方向をパラメータ化したものである。それぞれの頂点Ｖについて、２つの異なるライトマップを有する。第１のマップは、Ｖの周りの接平面の上部の光の方向のためのものであり、第２のライトマップは、Ｖの周りの接平面の下部の光の方向のためのものである。それぞれのライトマップｌ８３０は、以下の２つのパラメータを有する。
ｌ（ｘ，ｙ）
ここで、（ｘ，ｙ）は、頂点Ｖにおけるローカルな接平面に投影される単位光方向ベクトルの座標である。
【０１２５】
したがって、表面反射フィールド関数ｆは、表面マップ、ビューマップ、およびライトマップのパラメータを使用して、以下のように再び式で示すことができる。
f´(u, v, s, t, x, y)
【０１２６】
それぞれの頂点Ｖについて、この関数ｆ´を以下の加算式によって近似している。
【０１２７】
【数８】

【０１２８】
ここで、ｋは、比較的小さな個数であり、以下を参照されたい。
【０１２９】
換言すると、ベクトルｓ_ｋ、ｖ_ｋ、およびｌ_ｋの積によって、６次元関数ｆ´を表すことができる。
【０１３０】
圧縮
図９に示すように、それぞれの視点ＶＰについて、かつ、それぞれの光方向ＬＤについて画像を取得し（９１０）、（ｕ，ｖ）によってパラメータ化されたそれぞれの頂点Ｖにローカルなテクスチャを得る。我々は、２Ｄパラメータ空間の画像データを１次元ベクトルｓ_Ｖに「展開」する。展開することは、２Ｄ画像データを線形形式にすることを意味する。所与の光の方向について、すべての可能な視野方向のベクトルｓ_Ｖのすべてを記憶する行列Ｓを有する。ベクトルｓ_Ｖは、行列Ｓの列ベクトルまたは行ベクトルである。それぞれ（Ｒ、Ｇ、Ｂ）のカラーチャネルについて別々にそれぞれの式の値を求めることもできるし、または、それぞれの変数が、Ｒ、ＧおよびＢのカラーを含むこともできる。
【０１３１】
それぞれの可能な光の方向についての行列Ｓを収集する。完備したデータの組は、行列Ｓ_ｌの集合として表すことができる。ここで、それぞれの行列Ｓ_ｌは、異なる光の方向に対応する。この行列の組を表面反射フィールドＲと呼ぶ。
【０１３２】
表面反射フィールドＲのデータ圧縮は、２つの部分を有する。まず、それぞれの行列Ｓ_ｌをベクトルｓ_Ｖに展開する。ここで、行列Ｒの組は、表面反射フィールドを表す、より大きな行列Ｍ_ｒとして記憶される（９２０）。行列Ｍ_ｒは、列ベクトルまたは行ベクトルｓ_Ｖからなる。
【０１３３】
次に、主成分分析（ＰＣＡ）または非負行列因子分解（ＮＭＦ（non-negative matrix factorization））のいずれかを使用して、行列Ｍ_ｒに第１の因子分解を実行する（９３０）。この結果は、次の近似式になる。
【０１３４】
【数９】

【０１３５】
ここで、ｐｃ_ｋは、因子分解の主成分ベクトルである。ｃｆ_ｋは、因子分解の係数である。当該技術分野で既知のように、ＰＣＡの目的は、少数のコンポーネントを求めることである。したがって、ｋは小さく、例えば５またはそれ未満であり、通常、３である。それぞれの主成分に対して１つの係数がある。ベクトルｃｆ_ｋは、図８のライトマップ８３０に対応する。
【０１３６】
第２に、主成分ベクトルｐｃ_ｋを圧縮する。行列Ｓ_ｌをベクトルｓ_Ｖに展開したのと逆の方法で、それぞれのベクトルｐｃ_ｋを行列Ｍ_ｐｃに変換する。
【０１３７】
次に、再びＰＣＡまたはＮＭＦにより、行列Ｍ_ｐｃに第２の因子分解を実行する（９４０）。この結果は、次の近似式になる。
【０１３８】
【数１０】

【０１３９】
ここで、ｐｃ_ｍｋは、第２の因子分解の主成分である。ｃｆ_ｍｋは、その係数である。この場合も、ｋは小さく、通常３である。
【０１４０】
したがって、図８および図９において、ベクトルｐｃ_ｍは、表面マップ８１０に対応し、ベクトルｃｆ_ｍは、ビューマップ８２０に対応し、ベクトルｃｆ_ｋは、それぞれの頂点Ｖについて記憶されたライトマップ８３０に対応する。すなわち、これらｐｃ_ｍ、ｃｆ_ｍ、およびｃｆ_ｋは、圧縮された表面反射フィールド９５０に対応する。１つの頂点につき２つのライトマップ８３０を有するので、この圧縮を、１つの頂点につき、接平面の上部の光につき１回、接平面の下部の光につき１回の２回実行する。
【０１４１】
非常に小さな個数ｋおよびｍ、例えば３つの対応するベクトルの記憶のみを必要とするので、この手順は、結果として、表面反射フィールドの高圧縮比になる。上述したような方法は、８０ＧＢの生の画像データを３〜５ＭＢに圧縮し、約４桁で圧縮する。これは、明らかに大きな利点であり、必要とされる記憶量および処理量を大幅に削減する。実際に、表面反射フィールドをＤＲＡＭに記憶することができ、標準的なポリゴンレンダリングエンジンによってこのデータをレンダリングすることができる。
【０１４２】
レンダリング
レンダリングは、逆の順序で進行する。主成分および係数が、（ベクトル乗算およびベクトル加算によって）結合され、任意の視点および照明についての新しい表面反射フィールド行列Ｍ_ｒの一部が構築される。レンダリングは、次のようにして進行する。
【０１４３】
任意の視点および任意の光の構成について、それぞれの可視ポリゴンのテクスチャ、すなわち外に向かう放射輝度を再構築しなければならない。それぞれのポリゴンのテクスチャは、それぞれの頂点Ｖを中心とする表面反射フィールド９５０の重み付き和である。重みの和が１となるような連続ブレンディング関数を使用する。例えば、重心座標は、ブレンディング関数の一例である。
【０１４４】
頂点Ｖを中心とする表面反射モデルを評価するために、以下の処理を実行する。
【０１４５】
まず、それぞれのポリゴンについて、表面マップ８１０における頂点Ｖの座標を求める（９６０）。次に、頂点Ｖ８２０についてのビューマップの座標フレームにおいて、ポリゴンの頂点についての新しい視野方向の座標Ｄ_１、Ｄ_２、Ｄ_３を求める（９７０）。
【０１４６】
ポリゴンＤ_１、Ｄ_２、Ｄ_３に含まれる、現在の視点に対応する主成分Ｍ_ｐｃの一部を再構築する（９８０）。これは、加算および乗算を使用して達成することができ、今日のＧＰＵ上で効率的に実行することができる。
【０１４７】
我々は、Ｍ_ｐｃの一部を主成分ｐｃ_ｋに展開する（９９０）。主成分ｐｃ_ｋの一部が与えられると、所与の視点に対応するＭ_ｒの一部を再構築する（９９５）。行列Ｍｒの列は、新しい光の構成ベクトルによって重み付けされ、共に加算される。
【０１４８】
この和は、任意の視点および任意の光の構成について求められたポリゴンの新しい表面反射フィールド９９７である。必要とされるすべての操作は、行列乗算および行列加算であり、これらの操作は、今日のＧＰＵ上で効率的に実行することができる。
【０１４９】
【発明の効果】
任意の材質から構成され、任意の照明により照射されるオブジェクトの高品質レンダリングの生成に最適化された３Ｄモデル化システムを説明してきた。本画像化アプローチの基本的前提は、正確な幾何学図形に頼るのではなく、大量の放射輝度情報を使用して、オブジェクトの正確なレンダリングを生成することである。従来技術のスキャナと異なり、本システムは、暗い表面、毛羽立った表面、透明な表面、半透明な表面、または高い反射率の表面を有するオブジェクトのモデルを確実に取得し、レンダリングする。
【０１５０】
圧縮された表面反射フィールドを使用して、本システムは、第１に、変化する照明下で任意の複雑度の形状および材質を有するオブジェクトを新しい視点からレンダリングする。さらに、圧縮された表面屈折フィールドの使用により、我々は、さまざまな屈折特性を有するオブジェクトの透明な部分を、標準的なポリゴンレンダリングエンジンを使用して正確にレンダリングすることができる。
【０１５１】
好ましい実施の形態を例にして本発明を説明してきたが、本発明の精神および範囲内で他のさまざまな適応および変更を行い得ることは理解されるであろう。したがって、併記の特許請求の範囲の目的は、このようなすべての変形および変更を、本発明の真の精神および範囲内に入るものとして包含することにある。
【図面の簡単な説明】
【図１】 本発明によるシステムの図である。
【図２】 本発明によって使用される画像を取得する方法の流れ図である。
【図３】 本発明による不透明ハル（opacity hull）を構築する方法の流れ図である。
【図４】 表面要素データ構造のブロック図である。
【図５ａ】 照明セクタの概略図である。
【図５ｂ】 照明セクタの概略図である。
【図６】 ガウシアン環境マットの再投影の概略図である。
【図７】 マッチングする反射ガウシアンおよび屈折ガウシアンの概略図である。
【図８】 本発明によるポリゴンモデルの概略図である。
【図９】 表面反射フィールドを圧縮及びレンダリングするための方法のフロー図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates generally to computer graphics, and more specifically, to 3D computer graphics that can acquire an image of a 3D physical object (3D object) and render it in a realistic scene. To generate a model of
[0002]
[Prior art]
Three-dimensional computer graphics models are used in many computer graphics applications. Generating a 3D model manually is a time consuming task and causes bottlenecks for many practical applications. In addition to the difficulty of modeling complex shapes, it is often impossible to replicate the geometry and appearance of complex objects using prior art parametric reflection models.
[0003]
Not surprisingly, the importance of systems that automatically generate 3D models by reading or imaging physical objects has greatly increased. An ideal system would automatically capture the shape and appearance of the object and build a detailed 3D model that can be placed in any realistic scene with any new lighting.
[0004]
Much work has been done recently towards this goal, but none of the previous systems meets all of these requirements. Many systems, including most commercial systems, focus on capturing the exact shape, but ignore obtaining an accurate appearance. Other methods capture the reflection properties of 3D objects and adapt these properties to a parametric bidirectional reflection distribution function (BRDF). However, these methods do not work for complex anisotropic BRDFs, and do not have significant appearance effects such as interreflection, self-shielding, translucency, sub-surface light scattering, or refraction. Do not model.
[0005]
There are also a number of image-based methods for acquiring and representing complex objects. But do they lack a 3D shape model, assume accurate 3D geometry, do not allow the rendering of objects under any new lighting, or are limited to a single viewpoint One of them. All of these systems involve considerable manual operation.
[0006]
There are many ways to obtain high-quality 3D shapes from physical objects, including contact digitizers, passive stereo depth-extraction, and active optical imaging systems. (Active light imaging system). Passive digitizers are powerless when the object being digitized does not have sufficient texture. Almost all passive methods assume that the BRDF is Lambertian or that the BRDF does not change across the surface.
[0007]
Magda et al., “Beyond Lambert: Re-constructing Surfaces with Arbitrary BRDFs” Proc. Of IEEE International Conference on Computer Vision ICCV, 2001, used Helmholtz reciprocity to map depth maps from objects with arbitrary BRDF. Describes the stereoscopic viewing method to be extracted. However, their method is not strong against smooth objects. Furthermore, their method does not take into account interreflection and self-shielding.
[0008]
Active light systems such as laser range scanners are very well known and have been used to acquire large models in this field. For this, Levoy et al., `` The Digital Michelangelo Project: 3D Scanning of Large Statues '' Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 131-144, 2000, and Rushmeier et al., `` Acquiring Input for Rendering at Appropriate Levels of Detail: Digitizing a See Piet'a, Proceedings of the 9th Eurographics Workshop on Rendering, pp. 81-92, 1998.
[0009]
Active light systems often require an alignment step that aligns the meshes acquired and read separately. In this regard, Curless et al., `` A Volumetric Method for Building Complex Models from Range Images '' Computer Graphics, SIGGRAPH 96 Proceedings, pp. 303-312, 1996, and Turk et al. `` Zippered Polygon Meshes from Range Images '' Computer Graphics, See SIGGRAPH 94 Proceedings, pp. 311-318, 1994. Alternatively, the read geometric figures are arranged in a line with the separately obtained texture images. For this, see Bernardini et al., “High-Quality Texture Reconstruction from Multiple Scans” IEEE Trans. On Vis. And Comp. Graph., 7 (4): 318-332, 2001.
[0010]
In addition, it is often necessary to fill gaps due to missing data. Systems have been constructed that use multiple lasers to obtain an estimate of the surface color along the line of sight of the imaging system. However, these systems are useless for capturing objects under realistic lighting. Material types that can be read by all active light systems, as detailed by Hawkins et al. In "A Photometric Approach to Digitizing Cultural Artifacts" 2nd International Symposium on Virtual Reality, Archeology, and Cultural Heritage, 2001 There are restrictions.
[0011]
Image-based rendering can be used to render objects composed of arbitrary materials. Image-based representation has the advantage of capturing and representing the object regardless of the complexity of the geometric shape and appearance of the object. Prior art image-based methods have made it possible to navigate within a scene using correspondence information. In this regard, Chen et al. "View Interpolation for Image Synthesis" Computer Graphics, SIGGRAPH 93 Proceedings, pp. 279-288, 1993 and McMillan et al. "Plenoptic Modeling: An Image-Based Rendering System" Computer Graphics, SIGGRAPH 95 Proceedings, pp. 39-46, 1995. This method is severely constrained because it does not build a 3D object model.
[0012]
The light field method does not use geometric information, but achieves similar results using an increased number of images. For this, see Gortler et al., “The Lumigraph,” Computer Graphics, SIGGRAPH 96 Proceedings, pp. 43-54, 1996 and Levoy et al., “Light Field Rendering”, Computer Graphics, SIGGRAPH 96 Proceedings, pp. 31-42, 1996. I want to be. As described by Gortler et al., The best of these methods include visual hull of the object for improved ray interpolation. However, those methods use stationary lighting and cannot accurately render objects in any new realistic scene.
[0013]
An intermediate method between pure model-based methods and pure image-based methods uses view-dependent texture mapping. For this, Debevec et al., “Modeling and Rendering Architecture from Photographs: A Hybrid Geometry- and Image-Based Approach”, Computer Graphics, SIGGRAPH 96 Proceedings, pp. 11-20, 1996, Debevec et al., “Efficient View-Dependent Image- Based Rendering with Projective Texture-Mapping '' Proceedings of the 9th Eurographics Workshop on Rendering, pp. 105-116, 1998, and Pulli et al., `` View-Based Rendering: Visualizing Real Objects from Scanned Range and Color Data''Eurographics Rendering Workshop 1997, pp. 23-34, 1997. They combine simple geometric figures and sparse texture data to accurately interpolate between images. Although these methods are effective despite their approximate 3D shape, they are constrained to high reflectivity mirrors due to the relatively small number of texture maps.
[0014]
A surface light field can be thought of as a more general and more efficient representation of a view-dependent texture map. For this, Nishino et al., `` Eigen-Texture Method: Appearance Compression based on 3D Model '' Proc. Of Computer Vision and Pattern Recognition, pp. 618-624, 1999, Miller et al., `` Lazy Decompression of Surface Light Fields for Precomputed Global Illumination ”Proceedings of the 9th Eurographics Workshop on Rendering, pp. 281-292, 1998, Nishino et al.“ Appearance Compression and Synthesis based on 3D Model for Mixed Reality ”Proceedings of IEEE ICCV '99, pp. 38-45, 1999, See "Acquisition and Visualization of Surface Light Fields" by Grzeszczuk, Course Notes, SIGGRAPH 2001, 2001, and "Surface Light Field for 3D Photography" by Wood et al. Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 287-296, 2000. Wood et al. Store accurate high density geometric surface light field data, while Nishino et al. Use a coarser triangular mesh for objects with low geometric complexity.
[0015]
The surface light field can reproduce important global lighting effects (global lighting effects) such as interreflection and self-shielding. The image generated by the surface light field typically shows the object under fixed lighting conditions. To overcome this limitation, an inverse rendering method estimates the surface BRDF from the object's image and geometry.
[0016]
In order to achieve a compact BRDF representation, most methods fit a parametric reflection model to the image data. For this, Lensch et al. `` Image-Based Reconstruction of Spatially Varying Materials '' Proceedings of the 12th Eurographics Workshop on Rendering, 2001, Sato et al. `` Object Shape and Reflectance Modeling from Observation '' Computer Graphics, SIGGRAPH 97 Proceedings, pp. 379 -387, 1997, and Yu et al., "Inverse Global Illumination: Recovering Reflectance Models of Real Scenes from Photographs," Computer Graphics, SIGGRAPH 99 Proceedings, pp. 215-224, 1994.
[0017]
Sato et al. And Yu et al. Assume that the specular portion of the BRDF is constant over a large area of the object while the diffuse component changes more rapidly. Lensch et al. Fit the Lafortune BRDF model to each point on the object surface. However, a simple parametric BRDF cannot represent the wide range of reflections found in real scenes. As described by Hawkings et al., Objects with glass, fur, hair, cloth, leaf, or feather characteristics are very difficult or impossible to express in this way.
[0018]
An alternative method uses an image-based and non-parametric representation for object reflection. For this, Marschner et al., “Image-based BRDF Measurement Including Human Skin” Proceedings of the 10 <sup>th</sup> See Eurographics Workshop on Rendering, pp. 139-152, 1999. They use a tabular BRDF representation and measure the reflective properties of convex objects with a digital camera. Their method is limited to objects with uniform BRDF, and they have fallen into problems related to geometric errors caused by 3D range scanners. Image-based relighting methods (relighting) can also be applied to real human faces by assuming that surface reflections are Lambertian. For this, see Georghiades et al., `` Illumination-Based Image Synthesis: Creating Novel Images of Human Faces under Differing Pose and Lighting '' IEEE Workshop on Multi-View Modeling and Analysis of Visual Scenes, pp. 47-54, 1999. .
[0019]
A more recent approach uses an image database to re-illuminate (re-light) a model of an object from a fixed viewpoint without obtaining a full BRDF. Debevec et al. `` Acquiring the Reflectance Field of a Human Face '' Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 145-156, 2000, Hawkins et al. `` A Photometric Approach to Digitizing Cultural Artifacts '' 2nd International Symposium on Virtual Reality , Archeology, and Cultural Heritage, 2001, Koudelka et al. `` Image-based Modeling and Rendering of Surfaces with Arbitrary BRDFs '' Proc. Of Computer Vision and Pattern Recognition, 2001, and Malzbender et al. `` Polynomial Texture Maps '' Computer Graphics, SIGGRAPH 2001 See Proceedings, pp. 519-528, 2001.
[0020]
They use a light stage with a fixed camera position and a rotating light source to obtain a reflection field of a human face or cultural relic. The polynomial texture map system described by Malzbender et al. Uses similar techniques for objects that have approximately planar geometric shapes and irregular reflection properties. Koudelka et al. Renders objects with arbitrary BRDFs using essentially the same method as Debevec et al. These reflective field approaches are limited to rendering from a single viewpoint. In Debevec et al., A parametric model of skin reflex fits the data and synthesizes a field of view from any direction. As described by Kaudelka et al., The approach is not generalized to complex materials.
[0021]
In the prior art, the surface reflectance field of an object is defined as the emitted light from the surface under all possible incident fields of illumination. It should be noted that despite the term reflection, the surface reflection field captures all possible surface and lighting effects, including surface texture or appearance, refraction, diffusion, subsurface scattering, and non-uniform material changes. is important.
[0022]
Zongker et al. Describe an environment matting technique that takes mirror-like and transparent objects and synthesizes them accurately on an arbitrary background. For this, see "Environment Matting and Compositing" by Zongker et al., Computer Graphics, SIGGRAPH 1999 Proceedings, pp. 205-214, August 1999. Their system can determine the direction and spread of reflected and refracted rays by illuminating a glossy or refractive object with a set of encoded light patterns. They parameterize surface reflections into a 2D environment matte. Environmental matting enhancements include more accurate capture methods and simplified, less accurate procedures for real-time capture of moving objects. However, these systems only capture the environment mat for a fixed viewpoint, and they do not reconstruct the 3D shape of the object.
[0023]
[Problems to be solved by the invention]
Therefore, automatically generate computer graphics models from objects made of any material under various lighting conditions so that the computer graphics model can be rendered in realistic scenes with arbitrary lighting Is desired.
[0024]
[Means for Solving the Problems]
The present invention provides a system and method for obtaining and rendering a high quality graphical model of a physical object. This physical object includes objects composed of highly reflective mirror materials, transparent materials, or fuzzy materials such as fur and feathers that are difficult to handle with conventional scanners. The system includes a turntable, an array of digital cameras, a rotating array of directional lights, and a multi-color backlight. The system uses the same set of acquired images to both build a model of the object and render the object for any lighting and viewpoint.
[0025]
The system uses a multi-background matting technique to obtain the alpha matte of a 3D object from multiple viewpoints by placing the object on a turntable. Alpha mattes are used to build opacity hulls. Opaque hull is a new shape model of an object's surface hull and has a view-dependent opacity parameterization function. Opaque hull allows complex object silhouette rendering and seamless blending of objects into any realistic scene.
[0026]
A computer graphics model according to the present invention is constructed by acquiring radiance, reflection, and refraction images. During rendering, the model can also be illuminated from any direction using a compressed surface reflection field derived from the acquired image. The system is unique in that the surface appearance can be acquired and rendered under varying lighting from any viewpoint, and the object can be accurately synthesized into an artificial scene.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
(System structure)
FIG. 1 illustrates a system 100 for modeling and rendering a 3D object 150 in accordance with the present invention. System 100 includes an array of directional overhead lights 110, multi-color backlight 120 and multi-color bottom light 121, camera 130, and turntable 140. The output of the camera 130, that is, the set of images 161 to 166 is connected to the processor 160. The processor 160 can be connected to the output device 170 to render the acquired model 180 into any realistic scene. It should be noted that either the camera 130 or the turntable 140 can be rotated to image the object from multiple viewpoints. The rotation provides the coherency of the sampled surface points.
[0028]
The array of overhead lights 110 can be rotated. These lights are arranged at approximately equal intervals along the elevation angle of the hemisphere. While the object is imaged, the overhead light can be fixed, can be rotated around the object to get a fixed viewpoint, or can be rotated with the object. The array of lights 110 can have four, six, or more directional light sources. Each light uses a 32 watt HMI halogen lamp and a light collimator to bring the directional light source closer to infinity. The overhead light is controlled by an electronic light switch and a dimmer. The dimmer is set so that the camera image sensor does not saturate with respect to the viewpoint where the overhead light is directly visible by the camera. These lights can be controlled individually.
[0029]
Multi-color backlights and bottom lights 120-121 are collectively referred to as "backlight groups" and take the form of a large screen high resolution plasma color monitor that can illuminate objects with light of any selected color. . These two plasma monitors have a resolution of 1024 × 768 pixels. We illuminate individual pixels in different colors, as described below.
[0030]
We use six QImaging QICAM cameras (QImaging QICAM cameras) with a color CCD image sensor of 1360 × 1036 pixels. The camera 130 can acquire an RGB image with the maximum resolution at 11 frames per second. These cameras are calibrated based on photometric measurements. For this, see US patent application Ser. No. 10 / 128,827 entitled “Calibration of Multiple Cameras for a Turntable-Based 3D Scanner” filed April 24, 2000 by Beardsley. This US patent application is incorporated herein by reference.
[0031]
The camera 130 is connected to the processor 160 via a fire wire link. The processor 160 is a 700 MHz Pentium III PC with 512 MB of RAM. Alternatively, we use a 15mm or 8mm C-mount lens, depending on the size of the object being acquired. The camera 130 is also arranged at equal intervals along the elevation angle of the hemisphere uniformly directed at the backlight group so that the object is in the foreground between the camera and the backlight group. In order to facilitate consistent backlighting, we roughly mount the camera on the same vertical plane that is directly opposite the backlight 120.
[0032]
The object 150 to be digitized, modeled and rendered is placed on the bottom light 121. The bottom light is placed on the turntable 140. The camera 130 is pointed at the object from various angles (viewpoints). To facilitate consistent backlighting, we roughly mount the camera on the same vertical plane as the backlight 120. The backlight 120 is placed on the opposite side of the camera, and irradiates the object almost from behind when viewed from the camera. The bottom light is placed under the object 150.
[0033]
(System operation)
As shown in FIG. 2, our 3D digital system 100 combines both active and passive imaging processes 200 in operation. The object 150 is rotated on the turntable while the set of images 161 to 166 is acquired. The rotation can be done in 10 degree steps to image the object from 6 × 36 different viewpoints. Alternatively, the position of the turntable can be designated by the user. The angular position of the turntable is reproducible so that all images are aligned with each other using the acquired calibration parameters 211.
[0034]
During operation of the system, the camera 130 receives up to six sets of images 161-166, ie, a calibration image 161, a reference image 162, an object image 163, a radiance image 164, a reflection image 165, and a refraction image 166, respectively. get. Image processing should be done in the order shown, but the order of acquisition is not important. Calibration only needs to be performed once in a pre-processing step for a particular arrangement of turntables and cameras. The acquisition and processing of the image after the object is placed on the turntable can be fully automated. In other words, the model 180 is acquired completely automatically.
[0035]
A set of calibration images 161 is acquired from a calibration object decorated with a known calibration pattern. The set of reference images 162 is acquired while the background pattern is displayed on the monitors 120 to 121 in a state where the foreground object 150 does not exist in the scene. A set of object images 163 is acquired while the object 150 is illuminated by the backlight and bottom light to build an alpha matt. A set of radiance image, reflection image, and refraction image 164-166 is used to construct the surface reflection field 251 as will be described in detail later. We use the conventional definition of the surface reflection field. This conventional definition models the emitted light from the object surface based on all possible incident fields of illumination.
[0036]
We acquire images with high dynamic range by acquiring four frames. For every object we get two object images for alpha matting from each viewpoint. We acquire one radiance image from each viewpoint and acquire a total of 6 × 36 × 4 × (2 + 1) = 2592 images. We acquire reflection images using 4 × 15 light directions from each viewpoint, for a total of 6 × 36 × 4 × (60 + 2) = 53568 images. Refraction images are acquired using 18 structured background images from each viewpoint, for a total of 6 × 36 × 4 × (18 + 2) = 17280 images. It should be noted that other numbers of images from various viewpoints can be used.
[0037]
An important difference from the prior art is that our system allows multicolor backlights and multicolor bottoms for alpha matte extraction for multiple viewpoints and for the construction of opacity hulls according to the present invention. Is to use the light. As described below, the availability of approximate geometric figures and view-dependent alpha mattes greatly expands the modeled objects into various types. Another important difference from the prior art is that our system uses a combination of overhead lights, backlights, and turntable rotation to obtain the object's surface reflection field from multiple viewpoints. .
[0038]
It should be noted that other equivalent systems can be constructed. For example, instead of using a turntable, the camera can be rotated around the object, multiple plasma monitors can be placed around the object, and alpha matte can be created using traditional passive computer vision technology. Can be acquired.
[0039]
(Image acquisition process)
(High dynamic range image)
Our images 161-162 are acquired using a high dynamic range (HDR) technique. Since the raw output from camera 130 is available, the relationship between exposure time and radiance value is linear over most of the operating range. For each viewpoint, we take four frames with exponentially increasing exposure times and determine this response line using a least squares line fit. Our HDR imager has 10-bit accuracy. Thus, when we use the term “image”, we mean an HDR image composed of four individual dynamic range frames.
[0040]
Due to the nonlinear saturation effect at the extremes of the scale, we use only intensity values in the range of 5 to 1000 for our least squares fit. We can ignore the DC offset due to camera CCD thermal noise and fixed pattern noise. This noise can be ignored for our camera 130. Therefore, we store only the slope of the response line as one floating point number per pixel. This image representation has the flexibility of specifying the desired exposure time of the image during viewing.
[0041]
(Calibration image)
The image acquisition sequence 200 starts by placing a calibration object on the turntable 140 and adjusting the position and aperture of the camera 130 as necessary. We obtain a set of known calibration objects, eg, cubic calibration images 161 having a known pattern (210). A 36 image sequence of the rotated calibration target is captured from each of the cameras. Specific camera parameters and incidental camera parameters 211 are determined using a calibration procedure for a turntable system having multiple cameras.
[0042]
(Reference image)
Next, we obtain a set of patterned background reference images 162 used for multi-color alpha matting (220). For each viewpoint, each patterned background is taken alone without the foreground object 150. The reference image needs to be acquired only once after calibration. These reference images are stored and used for subsequent object modeling.
[0043]
(Object image)
Subsequently, the object 150 is placed on the turntable 140, and a set of object images 163 is acquired while the plasma monitors 120-121 irradiate the object 150 with a patterned background from below and behind. (230) On the other hand, the turntable 140 completes the first rotation. The reference image 162 and the object image 163 are used to determine alpha matte and opaque hull, as will be described later. As described below, we obtain reference and object images using one or more different colored backgrounds in phase.
[0044]
(Radiance image)
A set of radiance images 164 is acquired using only the array of overhead directional lights 110 (240). Directional light 110 can be fixed or rotated with the object. By rotating together, viewpoint-dependent effects such as highlights remain at the same position on the surface, thus increasing the coherency of the radiance samples at each surface point. One or more lights can be used. We get the best results when ambient light is additionally used to avoid dark shadows and high contrast in the set of radiance images 164. We avoid specular reflection by covering all the devices in the scene with black non-reflective material, eg black felt drop-cloths. The radiance image is used to construct a surface reflection field 251 that can be used during rendering.
[0045]
(Reflection image)
If we want to arbitrarily illuminate the model generated from the object during rendering, we can obtain a set of reflection images 165 (250) and build the surface reflection field 251. To avoid specular reflection, we cover the display surface with black felt without disturbing the position of the object. As detailed with reference to FIG. 5b, we rotate only the light 110 to produce sector Ω. _l Cover. While the object is in place, the array of lights 110 rotates around the object 150. For each rotational position, each light along the elevation angle of the light array is sequentially turned on and an image is captured by each camera. We use 4 lights to acquire a total of 4 × 15 images for each camera position, usually increasing the rotation angle by 24 degrees. This procedure is repeated for all viewpoints. The reflected image 165 is used to construct a low resolution surface reflection field 251 as described below.
[0046]
(Refracted image)
We can also optionally obtain a set of refraction images 166 (260) to create a surface reflection field 251 with high resolution. This acquisition process includes capturing multiple images of the foreground object in front of the background with a 1D Gaussian profile that is swept in a predetermined time in the horizontal, vertical, and diagonal directions of the plasma monitor. . Subsequently, using a non-linear optimization technique, we solve for the parameters of a and 2D Gaussian G.
[0047]
To save memory and computation time for nonlinear parameter estimation, we identify and remove regions outside the silhouette of the object. An environment matte is subdivided into 8 × 8 pixel blocks. Each surface point on the opaque hull that can be seen from this field of view is projected into the image. Only those blocks that contain at least one back-projected surface point are stored and processed.
[0048]
For certain positions of the camera array, the periphery of the plasma monitor can be seen through a transparent object that makes much of the field of view unavailable. As a result, we use one camera at the bottom and two cameras at the top only for obtaining the environmental mat. The bottom camera is placed horizontally directly in front of the background monitor. The top two cameras are placed on the monitor on the turntable. Next, using our environment matte interpolation, we can render a plausible result for any viewpoint, as described below.
[0049]
(Bidirectional subsurface reflection distribution field of 3D model)
Using images 161-166, we determine the approximate bi-directional sub-surface reflectance field (BSSRDF) to determine how light scatters on the surface of object 150. distribution field) Create a model. Our model is not created from a single field of view by a single camera, but from multiple fields of view by multiple cameras 130 (see FIG. 1), so that the prior art BSSRDF model (below Different from Chuang). Other differences from the prior art BSSRDF are mentioned below.
[0050]
Using classical physics and assuming that incident light is emitted at infinity from the object surface, the light reaching each camera pixel can be described as follows:
[0051]
[Expression 1]

[0052]
The value C is the color value recorded at each camera pixel, and E is the direction ω _i , And W is a weighting function comprising all means for transmitting light from the environment through the foreground object 150 to the camera 130. Integration is performed over the entire hemisphere Ω and for each wavelength. In the following, all equations are evaluated separately for the R, G and B color channels to reflect this wavelength dependence.
[0053]
Considering the camera intensity C and environment E measured at a pixel, we want to approximate the function W of the object surface point that corresponds to the ray passing through that pixel.
[0054]
Our reading system 100 provides multiple illumination fields for the environment. As shown in FIG. 5a, the first illumination is integrated with the high resolution 2D texture map generated by the backlight group by displaying color patterns on the plasma monitors 120-121. The second illumination is due to the overhead light arrangement 110 from a sparse set of directions on the remaining hemisphere, as shown in FIG. 5b.
[0055]
We Ω the environment hemisphere sector covered by the high resolution texture map _h Light arrangement Ω _l The remaining sectors covered by Ω _l Call it. In addition, we _h A simplified assumption is made that the light transmission in can be described by two components.
[0056]
As shown in FIG. 5a, we approximate the potentially complicated path of light through the object by two linear light fluxes from the ray surface intersection to the background monitor. On the other hand, sector Ω _l One or more directional light sources L (ω _i ) Is refracted and reflected by the object before reaching the pixel C500. Where we are the sector Ω _l The incident light field of the sector Ω coming directly from the high resolution monitors 120-121 from behind the object _h Assume that sampling is possible at a resolution substantially lower than that of the light.
[0057]
Therefore, the above equation becomes as follows.
[0058]
[Expression 2]

[0059]
We are W _h A Gaussian sum is used to describe (x). As described below, to find a matching Gaussian during k nearest neighbor interpolation, we limit ourselves to a maximum of two Gaussian functions per surface point. Therefore,
[0060]
[Equation 3]

[0061]
Where G ₁ And G ₂ Is an elliptical, oriented 2D unit-Gaussian. a ₁ And a ₂ Are their amplitudes. x is the coordinates of the camera pixel. C _i Is the center of each Gaussian. σ _i Is their standard deviation, θ _i Are those directions. For more details, see Chuang et al. "Environment Matting Extensions: Towards Higher Accuracy and Real-Time Capture" Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 121-130, 2000.
[0062]
We have n light sources L (ω _i ) Sector Ω by 110 discrete sets _l The weight function W _h (X) can be rewritten as follows.
[0063]
[Expression 4]

[0064]
We use this equation to model BSSRDF while rendering according to our invention.
[0065]
Using environment matting and reflection fields, we estimate parameters a and G using observation data C, ie, the values of the pixels of images 161-166 from multiple viewpoints. . For each viewpoint, the estimated parameters are (a ₁ , G ₁ , A ₂ , G ₂ ) Is stored in the environment mat, and the n reflected images are represented by R (ω _i ) Is stored.
[0066]
As described below, when we render according to this model, we determine the visible surface points on the reconstructed shape S of the object 150. Each visible surface point is projected again to examine the parameters a, G and R from the k nearest environmental mat and the reflection image. We interpolate parameters to any new viewpoint using unstructured lumigraph interpolation or view-dependent texture mapping. As a result, the parameters are combined using the above equation and the pixel C _n The color of is determined.
[0067]
This equation is a compromise between high quality environment matting and our 3D acquisition system 100 as described by Chuang. In an ideal situation, we surround an object with a high resolution monitor and obtain an arbitrary number of weight function W parameters distributed over multiple monitors.
[0068]
Alternatively, for practical reasons we assume that most of the refracted and reflected rays that reach the pixel originate from the incident light field behind the object. This is mostly true for most objects that have a strong grazing angle reflection component and a strong refraction component. This is not necessarily true for large internal structures such as crystal chandeliers or transparent objects with facets on the surface. In practice, however, this approach works reasonably well.
[0069]
Using a high resolution environmental texture in the viewing direction is superior to providing incident illumination using only a light array. For example, looking straight through a normal glass window, the background is visible at its maximum resolution. On the other hand, using a high-resolution lighting environment can only be realized by environmental matting. Another means is to store a very large number of reflection images for each viewpoint, which is unrealistic. An environmental mat is essentially a very compact representation for a high resolution surface reflection field.
[0070]
Despite the term surface reflection field, it is important to note that we capture a wider array of effects, including refraction, diffusion, subsurface scattering, and non-uniform material changes. These effects, which are usually expensive or impossible to imitate, can be rendered from our model in a reasonable amount of time.
[0071]
The surface reflection field is almost equivalent to BSSRDF. The main difference is that we do not know the exact physical location of the ray surface intersection and that the direction of incidence of light is the same at any point on the surface.
[0072]
Our model limits the number of ray bundles incident from the monitor to two, and the foreground color F in Chuang is the surface reflection function F _i Is different from Chuang et al. The first assumption is reasonable if reflection and refraction at the object separates the rays in the field of view into two separate ray bundles that strike the background (see FIG. 5a). The second assumption results in the sector Ω _l Provides a more accurate estimate of how lighting from the light affects the foreground color of the object. By using multiple monitors, we can accurately separate partial pixel coverage (α) and transparency effects.
[0073]
By acquiring high and low resolution surface reflection images, we can handle high frequency environment maps. The use of environmental mattes, improved interpolation schemes, and improvements in alpha matte acquisition allow us to acquire and render objects with high transparency.
[0074]
(Construction of opaque hull)
On this basis, we extract silhouette images from various viewpoints in order to build an image-based surface hull that parameterizes the opaque hull. Prior art methods typically use incandescent or fluorescent “white” light to obtain a silhouette view. For this, see "Image-Based Visual Hulls" by Matusik et al., Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 369-374, 2000. Background lighting is a common segmentation approach that is often used in commercial two-dimensional machine vision systems. The backlight saturates the image sensor in the exposed area. Next, the silhouette image is subjected to threshold processing, and binary segmentation of the object is performed. However, binary thresholding is not accurate enough for objects with small silhouette features such as the hair we want to model. Also, binary thresholding does not allow sub-pixel accurate compositing of an object model into a realistic scene.
[0075]
Another problem is color spill. For this, see Smith et al., “Blue Screen Matting” Computer Graphics, Vol. 30 of SIGGRAPH 96 Proceedings, pp. 259-268, 1996. The color spill is caused by the reflection of the backlight in the foreground object 150. Since the Fresnel effect increases the material's secularity near the grazing angle, the color spill usually occurs near the edge of the object's silhouette. Due to the single color active backlight, the spill is particularly noticeable on highly reflective surfaces such as shiny metals or ceramics.
[0076]
(Multi-color background matting)
As shown in FIG. 3, we solve these problems by obtaining the alpha matte 310 of the object 150 from each viewpoint using a multi-color background matting technique. The exact alpha matte of an object can be obtained by imaging the object against two backgrounds with different colors. Therefore, we use color monitors 120-121. In the background, the color of each pixel is different.
[0077]
We use the following sinusoidal color pattern.
[0078]
[Equation 5]

[0079]
Where C _i (X, y, n) is the intensity of the color channel i = 0, 1, 2 at the pixel position (x, y). n is a phase difference. λ is the width of the stripe. In order to maximize the difference per pixel between the two backgrounds, the pattern is phase shifted by 180 degrees (n = -1 or +1). The user defines the width of the sinusoidal stripe with the parameter λ. This pattern minimizes the spill effect by providing substantially gray illumination.
[0080]
Alpha alpha per pixel ₀ Is determined (305) using additive combination on all color channels, in our case on RGB, as shown in the equation below.
[0081]
[Formula 6]

[0082]
Where O _n 301 and O _{Tilde n} 302 is the foreground color per pixel of the object image 163, and R _n 303 and R _{Tilde n} Reference numeral 304 denotes a background color per pixel of the reference image 162.
[0083]
If we measure the same color for both the pixel with and without the object for each background, equation (2) is equal to zero. This corresponds to a pixel that maps straight from the background to the camera. The phase shift of the color channel in equation (1) ensures that the denominator in equation (2) is never zero. The sinusoidal pattern reduces the chance that the pixel color observed due to spill matches the pixel color of the reference image. Nevertheless, spill errors can still be observed for specular objects with high reflectivity.
[0084]
To reduce these errors, we apply the same procedure multiple times each time we change the wavelength of the background pattern. To get the final alpha matte, we remember the maximum alpha from all intermediate mats. The overhead of adding and capturing images is small and we only need to remember the final alpha matte. This method works very well for a wide variety of objects including specular and fuzzy materials.
[0085]
(Binary threshold processing)
Next, we construct a surface hull 340 by using an alpha matte 310 from various viewpoints. First, we obtain a binary silhouette image 311 using binary threshold processing 320 for the alpha matte. In theory, each pixel with α> 0, ie, each pixel that is not transparent, is associated with the object 150. In practice, we use a slightly higher threshold because of system noise, residual spill problems, and slight calibration errors.
[0086]
For our high dynamic range images, we have found that a threshold of α> 0.05 gives a segmentation that covers all of the object and part of the background. This threshold also gives the upper limit of our system, as objects are not accurately modeled when the opacity value is below this threshold.
[0087]
However, we faced one particular problem with highly transparent objects. If the light is not refracted sufficiently by the object, eg very thin glass, the pixels inside the object are mapped straight through to the background pixels. These pixels are assigned an alpha value of zero even though they are contained within the silhouette of the object. This causes a hole in the binary silhouette image.
[0088]
To correct this problem, we use a simple and greedy procedure to fill the hole. A pixel has an alpha value that is a threshold t _a If it is less than, it is considered empty. The number of connected empty pixels is the user-defined threshold n _a If less, we fill the area of empty pixels. N for normal objects _a Can be a value in the range of 5 to 100. Pixels inside the silhouette are assigned an alpha value of 1.
[0089]
We assign the first measured alpha value to the pixels along the edge of the binary silhouette. Again, we use a simple and greedy procedure. If there are no empty pixels surrounding a pixel in a small neighborhood, those pixels are considered to be inside a binary silhouette. We have achieved good results near 4 pixels. All other pixels are considered to be near the edge of the silhouette and are assigned a measured alpha value.
[0090]
The binary silhouette is then used to construct an image-based surface hull 340 (330). If an improperly classified foreground region is not consistent with all other regions, the process also removes the region. We resample IBVH to a dense set of surface points, as described below.
[0091]
(Construction of opaque hull)
The alpha matte 310 is then projected 350 to the surface hull 340 to build an opaque hull 360. In order to minimize self-occlusion, the visibility of each surface point to each image is determined using epipolar geometry. The opacity hull 360 stores the opacity value for each surface point.
[0092]
(Alphasphere)
The opaque hull stores the alpha sphere A of each surface point. If w is the direction facing the outside at the surface point p, then A (p, w) is the opacity value α viewed from the direction w. _p It is. It should be noted that the function defining the alpha sphere A should be continuous throughout the sphere. However, any physical system can only acquire a sparse set of discrete samples. We can estimate the parametric function that defines each alpha sphere A. However, it is often very difficult to approximate the alpha sphere with a parametric function.
[0093]
As a result, as described below, we render an opaque hull from an arbitrary viewpoint using k-nearest neighbor interpolation. It is important to note that opaque hull is a view-dependent representation. Opaque hull captures a view-dependent partial occupancy of the foreground object with respect to the background.
[0094]
This intuitively corresponds to the observation that the partial occupancy of the object is different from each viewpoint. View-dependent features set opaque hulls, except for the voxel shell that is frequently used in volume graphics. For this, see Udupa et al., "Shell Rendering" IEEE Computer Graphics & Applications, 13 (6): 58-67, 1993. Voxel shell cannot accurately represent the characteristics of a good quality silhouette, which is an advantage of our opaque hull.
[0095]
In the prior art, concentric translucent textured shells have been used to render objects such as hair and fur. For this, see "Real-Time Fur over Arbitrary Surface" by Lengyel et al. Symposium on Interactive 3D Graphics, pp. 227-232, 2001. They used geometric shapes called textured fins to improve the appearance of object silhouettes. A single instance of the fin texture is used for all edges of the object.
[0096]
In contrast, an opacity hull can be viewed as a texture having a view-dependent opacity value for all surface points of the object. View-dependent opacity is acquirable and can be distorted to any surface geometric figure (surface hull) that completely surrounds the object. That is, the surface is said to be “waterproof”. For example, the surface hull can be constructed from the exact geometry obtained from the laser range reading, or it can be obtained by constructing the bounding box geometry. The difference between the opaque hull and the particular method used to construct the surface hull 340 of the object onto which the opaque hull is projected (350) is not significant.
[0097]
According to our geometry, opaque hulls can be used to render high complexity silhouettes.
[0098]
Similar to building an opaque hull, we reparameterize the acquired radiance image 164 into rays emitted from surface points on the IBVH. This representation is used for our surface reflection field 251.
[0099]
Surface light field is "Lazy Decompression of Surface Light Field for Precomputed Global Illumination" by Miller et al. Proceedings of the 9th Eurographics Workshop on Rendering, pp. 281-292, 1998 and Wood et al. "Surface Light Fields for 3D Photography" Computer Graphics , SIGGRAPH 2000 Proceedings, pp. 287-296, 2000. Those surface light fields were generated from the read 3D mesh. In contrast, our surface radiance field is generated on an opaque hull. Our system replaces multiple readings for geometry and radiance with an automated process that uses the same viewpoint to acquire a set of shape and radiance images.
[0100]
The surface radiance image 164 can be used to render the model 180 under fixed illumination. Since we generate the model with a constant outward radiance function rather than a surface reflection model, this places some limitations on the range of application.
[0101]
To address this limitation, we also obtain a reflection image 165. Similar to constructing an opaque hull, we reparameterize the acquired reflection image 165 to rays emitted from the surface points of the opaque hull. Debevec et al described a surface reflection field. However, they obtain and render the surface reflection field from a single viewpoint. In contrast to their system, we obtain multiple viewpoint reflection fields around the object 150.
[0102]
Under direct illumination, the surface reflection field 251 is a six-dimensional function R. Each surface point P _r On the other hand, the function R is the direction of incoming light w _i , Reflection direction w _r To the color values reflected along the. Therefore, R = R (P _r , W _i , W _r ) Reflection direction w _r For each ray that passes through pixel (x, y) at _i The reflection function R of the object irradiated from _xy (W _i , W _r ) Is observed. During acquisition, we have a four-dimensional function R _xy A set of perspectives _r (K) and a set of light directions w _i Sampling from (l).
[0103]
In the prior art reflective field technology, the sampling of the light direction is dense, for example l = 64 × 32, and for the viewpoint only a single viewpoint, ie k = 1. Instead, we sample the reflected field from many directions, for example, k = 6 × 36. In order to limit the amount of data we acquire and store, our system can use sparse sampling in the direction of l = 4 × 15 light.
[0104]
As we will see later, we _xy Store (k, l) data samples. Incoming direction overbar w _i New field of view overbar w due to new illumination from _r The process of reconstructing the image from is a two-pass process. First, we have all the original viewing directions w under new lighting _r Interpolate the image for (k). Original viewing direction w _r A sample of the pixel at location (x, y) from each of the light sources L (w _i ).
[0105]
[Expression 7]

[0106]
Here, dA is a solid angle covered by each of the original illumination directions, and in our case dA = sinφ.
[0107]
We have an image L (w for all original viewpoints under new lighting. _r After constructing (k)), the image data is interpolated to a new viewpoint using k nearest neighbor interpolation. This will be described in detail later.
[0108]
An alternative approach is to fit a parametric function for reflection or BRDF to the acquired data. This works well for specific applications. For example, the surface reflection field of a human face can be obtained and the parametric function can be adapted to the measured reflection field. The parametric reflection function can be adapted to any material.
[0109]
As will be described later, the reflection function for a highly reflective mirror area, transparent area, or self-shielding area point is very complex and cannot be easily approximated using a smooth basis function. We make no assumptions about the reflective properties of the materials that we image.
[0110]
In order to accurately render transparent materials with different refractive indices, we also obtain refraction images, or “environment mats”. As described below, we reparameterize the acquired refraction image 166 into rays emitted from the surface points of the opaque hull toward multiple viewpoints around the object 150.
[0111]
(Point-sampled data structure)
To build the model, we use an extended point representation based on a layered depth cube (LDC) tree as our shape model, in which we use a view-dependent Parameterize appearance data. Pfister et al., “Surfels: Surface Elements as Rendering Primitives” Computer Graphics, SIGGRAPH 2000 Proceedings, pp. 335-342, 2000, and Pfister on May 28, 2002, incorporated herein by reference. U.S. Pat. No. 6,396,496 entitled “Method for modeling graphical objects represented as surface elements”.
[0112]
In the preprocessing step, we construct an octree-based LDC tree from opaque hulls using three orthogonal orthographic projections. The three tree orthogonal opacity hulls are sampled into a layered depth image. The sampling density depends on the complexity of the model and is user specified. The layer depth image is then fused into a single octree model. Since our opaque hulls are generated from virtual orthographic viewpoints, their alignment is accurate. This fusion also ensures that the model is sampled evenly.
[0113]
(Visibility vector)
As shown in FIG. 4, each surface element (surfel (surface element)) 400 of the LDC tree stores a position 401, a surface normal value 402, and a camera visibility bit vector 403. If the surface element has image spatial resolution, only the depth value needs to be stored. The visibility vector stores a value of 1, ie, a set of images 161-166, for each camera position where a surface element is visible. The bit vector 403 can be computed during the construction of the opaque hull using epipolar geometry.
[0114]
For each camera position we store a radiance image, a reflection image, and a refraction image associated with that viewpoint. A bit vector is then used to determine whether a particular surface element should be rendered using the stored image for a particular viewpoint. We render directly from the stored image by k nearest neighbor interpolation if necessary.
[0115]
Point samples have several advantages for 3D model applications. From a modeling perspective, the point cloud representation removes the need to establish topology or connectivity. This facilitates the fusion of data from multiple sources.
[0116]
Point samples also avoid the difficult task of calculating a consistent parameterization of the surface for texture mapping. We have found that point-sampled models can more easily represent complex organic shapes such as bonsai trees or feathers than polygon meshes. In particular, it is difficult to represent a view-dependent opacity value at each point of an opacity hull using a polygon model and texture mapping.
[0117]
Compression and rendering of surface reflection fields
Raw reflection image data 165 requires a storage capacity of about 80 GB. Even storing pixel blocks within an object silhouette requires 20-30 GB depending on the size of the object. A large size prevents the application from achieving real-time rendering speed. On the other hand, today's graphics hardware with a graphics processing unit (GPU) can render polygon data at real-time frame rates. Thus, as described above, we extend our reflection field method to incorporate data compression and direct rendering from compressed representations using today's GPU hardware.
[0118]
Wei-Chao Chen et al. Described light field data compression and rendering methods in “Light Field Mapping: Efficient Representation and Hardware Rendering of Surface Light Fields” scheduled to be published in ACM SIGGRAPH 2002 Conference Proceedings, July, 2002. Yes. The light field, as used by Chen et al., Is concerned only with the radiance going outward from the surface of the object under fixed illumination. This is an extremely simplified lighting model. Chen acquires hundreds of images of the modeled object with a single handheld camera. Illumination is performed by one projector at a fixed position relative to the object. Chen et al. Uses a structured lighting system to reproduce the geometric shape of an object. This requires overcoating the object with white paint to hide the surface properties during scanning. White paint covers dark objects, highly reflective specular objects, or translucent objects. These objects are something that they cannot model and, of course, are just the difficult types of objects that are of interest to us, as described above.
[0119]
In contrast to Chen et al., We acquired reflection images using 4 × 15 light directions from each viewpoint, for a total of 6 × 36 × (4 × (4 × 15) +6) = 53136 Get an image. Our images are acquired by multiple cameras for multiple viewpoints and multiple lighting conditions. Our camera is in place and gives more accurate data than is possible with a handheld camera. Most importantly, we also get images of highly reflective specular materials, dark materials, transparent materials, or fuzzy materials such as fur and feathers that are difficult to handle with conventional scanners like Chen. . We get the surface reflection field so we can place the object in any new environment. This is a clear advantage over Chen et al.
[0120]
Surface reflection field model
The surface reflection field is described by the following function.
f (u, v, θ _view , φ _view , θ _light , φ _light )
Here, u and v are obtained by parameterizing points on the surface of the object coordinates (u, v). θ _view And φ _view Is the viewing direction in spherical coordinates local to the surface point (u, v). θ _light And φ _light Is the direction of incident light at infinity. That is, the rays are assumed to be parallel.
[0121]
In order to render an object on today's GPU, the surface is represented by polygons as shown in FIG. Each vertex V801 of the polygon model 800 has the following data structure: a surface map 810, a view map 820, and a light map 830. It should be understood that other models such as a surface point model can also be used.
[0122]
The surface map 810 is obtained by parameterizing the vicinity of the surface of the object around each vertex V801 of the polygon. Each vertex V has one surface map. The surface map s810 has the following two parameters.
s (u, v)
Here, (u, v) is a local coordinate system at the vertex V of the object surface.
[0123]
The view map 820 is a parameterized view direction projected on the tangent plane at the vertex V of the surface. Each vertex V has a different view map v. The view map v820 has the following two parameters.
v (s, t)
Here, (s, t) is the coordinates of the unit visual field direction vector projected onto the local tangent plane at the vertex V.
[0124]
The light map is a parameterization of the direction of light projected onto the tangent plane at the vertex V of the surface. For each vertex V, it has two different lightmaps. The first map is for the direction of light above the tangential plane around V, and the second light map is for the direction of light below the tangential plane around V. . Each light map l830 has the following two parameters.
l (x, y)
Here, (x, y) is the coordinates of the unit light direction vector projected onto the local tangent plane at the vertex V.
[0125]
Thus, the surface reflection field function f can be re-expressed using the surface map, view map, and light map parameters as follows:
f´ (u, v, s, t, x, y)
[0126]
For each vertex V, this function f ′ is approximated by the following addition formula.
[0127]
[Equation 8]

[0128]
Here, k is a relatively small number, see below.
[0129]
In other words, the vector s _k , V _k And l _k The six-dimensional function f ′ can be expressed by the product of
[0130]
compression
As shown in FIG. 9, images are acquired for each viewpoint VP and for each light direction LD (910), and a local texture is obtained for each vertex V parameterized by (u, v). We use 2D parameter space image data as a one-dimensional vector s. _V "Deploy" to. Expansion means making 2D image data into a linear form. A vector s of all possible viewing directions for a given light direction _V Has a matrix S for storing all of. Vector s _V Is a column vector or row vector of the matrix S. The value of each equation can be determined separately for each (R, G, B) color channel, or each variable can include R, G, and B colors.
[0131]
Collect a matrix S for each possible light direction. The complete data set is the matrix S _l Can be expressed as a set of Where each matrix S _l Correspond to different light directions. This set of matrices is called a surface reflection field R.
[0132]
The data compression of the surface reflection field R has two parts. First, each matrix S _l Vector s _V Expand to. Here, the set of matrices R is a larger matrix M representing the surface reflection field. _r (920). Matrix M _r Is a column vector or row vector s _V Consists of.
[0133]
The matrix M is then used using either principal component analysis (PCA) or non-negative matrix factorization (NMF). _r A first factorization is performed (930). The result is the following approximate expression:
[0134]
[Equation 9]

[0135]
Where pc _k Is a principal component vector of factorization. cf _k Is a factorization factor. As is known in the art, the purpose of PCA is to seek a small number of components. Thus, k is small, for example 5 or less, and is usually 3. There is one coefficient for each principal component. Vector cf _k Corresponds to the light map 830 of FIG.
[0136]
Second, the principal component vector pc _k Compress. Matrix S _l Vector s _V Each vector pc in the opposite way to _k The matrix M _pc Convert to
[0137]
Next, again with PCA or NMF, the matrix M _pc A second factorization is performed (940). The result is the following approximate expression:
[0138]
[Expression 10]

[0139]
Where pc _mk Is the main component of the second factorization. cf _mk Is the coefficient. Again, k is small and is usually 3.
[0140]
Therefore, in FIGS. 8 and 9, the vector pc _m Corresponds to the surface map 810 and the vector cf _m Corresponds to the view map 820 and the vector cf _k Corresponds to the light map 830 stored for each vertex V. That is, these pc _m , Cf _m , And cf _k Corresponds to the compressed surface reflection field 950. Since there are two lightmaps 830 per vertex, this compression is performed twice, once for the light above the tangent plane and once for the light below the tangential plane per vertex.
[0141]
This procedure results in a high compression ratio of the surface reflection field, since only a very small number k and m, for example three corresponding vectors, need to be stored. The method as described above compresses 80 GB of raw image data to 3 to 5 MB and compresses it by about 4 digits. This is clearly a great advantage and greatly reduces the amount of storage and processing required. In fact, the surface reflection field can be stored in DRAM and this data can be rendered by a standard polygon rendering engine.
[0142]
rendering
Rendering proceeds in the reverse order. The principal components and coefficients are combined (by vector multiplication and vector addition) and a new surface reflection field matrix M for any viewpoint and illumination. _r A part of is built. Rendering proceeds as follows.
[0143]
For any viewpoint and any light configuration, the texture of each visible polygon, ie the outward radiance, must be reconstructed. The texture of each polygon is a weighted sum of the surface reflection fields 950 centered on each vertex V. Use a continuous blending function such that the sum of the weights is 1. For example, the barycentric coordinate is an example of a blending function.
[0144]
In order to evaluate the surface reflection model centered on the vertex V, the following processing is executed.
[0145]
First, for each polygon, the coordinates of the vertex V in the surface map 810 are obtained (960). Next, in the view map coordinate frame for vertex V 820, a new field-of-view coordinate D for the vertex of the polygon ₁ , D ₂ , D ₃ (970).
[0146]
Polygon D ₁ , D ₂ , D ₃ The principal component M corresponding to the current viewpoint _pc Is reconstructed (980). This can be accomplished using addition and multiplication and can be performed efficiently on today's GPUs.
[0147]
We are M _pc A part of the main component pc _k (990). Principal component pc _k Given a part of, M corresponding to a given viewpoint _r Is reconstructed (995). The columns of the matrix Mr are weighted by the new light composition vector and added together.
[0148]
This sum is the new surface reflection field 997 of the polygon determined for any viewpoint and any light configuration. All the operations required are matrix multiplication and matrix addition, and these operations can be performed efficiently on today's GPUs.
[0149]
【The invention's effect】
A 3D modeling system has been described that is composed of arbitrary materials and optimized for the generation of high quality renderings of objects illuminated by arbitrary illumination. The basic premise of this imaging approach is to use a large amount of radiance information to generate an accurate rendering of the object, rather than relying on accurate geometric shapes. Unlike prior art scanners, the system reliably captures and renders models of objects with dark surfaces, fuzzy surfaces, transparent surfaces, translucent surfaces, or highly reflective surfaces.
[0150]
Using the compressed surface reflection field, the system first renders an object with arbitrarily complex shapes and materials from a new viewpoint under varying illumination. Furthermore, through the use of a compressed surface refraction field, we can accurately render transparent portions of objects with various refractive properties using a standard polygon rendering engine.
[0151]
While the invention has been described by way of examples of preferred embodiments, it is to be understood that various other adaptations and modifications can be made within the spirit and scope of the invention. Accordingly, it is the object of the appended claims to cover all such variations and modifications as fall within the true spirit and scope of the invention.
[Brief description of the drawings]
FIG. 1 is a diagram of a system according to the invention.
FIG. 2 is a flow diagram of a method for acquiring an image used by the present invention.
FIG. 3 is a flow diagram of a method for constructing an opacity hull according to the present invention.
FIG. 4 is a block diagram of a surface element data structure.
FIG. 5a is a schematic diagram of an illumination sector.
FIG. 5b is a schematic diagram of the illumination sector.
FIG. 6 is a schematic diagram of reprojection of a Gaussian environmental mat.
FIG. 7 is a schematic diagram of matching reflective and refractive Gaussians.
FIG. 8 is a schematic diagram of a polygon model according to the present invention.
FIG. 9 is a flow diagram of a method for compressing and rendering a surface reflection field.

Claims (6)

The three-dimensional object placed on the turntable is irradiated with light from an overhead light and a backlight arranged around the three-dimensional object, and the three-dimensional object is brought into the foreground with the backlight. A method of modeling a three-dimensional object by a processor that acquires images from a plurality of cameras arranged to be ,
By the processor,
Obtaining a plurality of sets of images of the object with a plurality of cameras, each of a plurality of viewpoints having a different illumination for each of the plurality of sets of images for each viewpoint;
Storing the plurality of images as a matrix _Mr representing a surface reflection field of the three-dimensional object;
Factorizing the matrix _Mr into principal components pc _k and coefficients cf _k ;
Storing the principal component pc _k in a matrix M _pc ;
Factorizing the matrix M _pc into principal components pc _m and coefficients cf _k ;
Corresponding values of principal component pc _m , coefficient cf _k , and coefficient cf _k representing the compression of the surface map, view map, and light map, respectively, that combine the compressed surface reflection fields at vertex V, are stored in the 3D Storing for each said vertex V of the model.   The light map includes a first light map for light direction above the tangent plane around the vertex V and a second light direction for light direction below the tangential plane around the vertex V. The method of claim 1, comprising: The model is composed of polygons,
Determining the coordinates of each vertex V for any viewpoint;
Reconstructing a part of the matrix M _pc corresponding to the arbitrary viewpoint;
Expanding a portion of the M _{pc into} a portion of the principal component pc _k ;
The method of claim 1, further comprising: reconstructing a portion of _Mr corresponding to the arbitrary viewpoint and arbitrary illumination to determine a new surface reflection field for the vertex V. Summing the new surface reflection field for a plurality of the vertices V of the polygon to obtain a texture of the polygon;
The method of claim 3, further comprising: rendering the texture determined for the arbitrary viewpoint and arbitrary light configuration.   The method of claim 4, wherein the sum is weighted.   The method of claim 5, wherein the weighting is by a blending function.

Images