JPH1079029A

JPH1079029A - 立体情報検出方法及びその装置

Info

Publication number: JPH1079029A
Application number: JP8248523A
Authority: JP
Inventors: Motohiro Ishikawa; 基博石川; Masakazu Matsugi; 優和真継; Masayoshi Sekine; 正慶関根
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-09-02
Filing date: 1996-09-02
Publication date: 1998-03-24

Abstract

(57)【要約】（修正有）【課題】複数の画像データから被写体の立体形状情報
及び被写体のテクスチャ情報を含む立体情報を検出する
ことができる立体情報検出方法を提供する。【解決手段】カメラ３ａ，３ｂ，３ｃから入力された
映像信号は、映像信号部５において立体情報検出部８が
扱いやすい画像フォーマットへ変換される。その結果は
ＣＰＵ９により各視点毎に１枚分の画像データとしてメ
モリ６へ書き込まれる。また、ＣＰＵ９により、予め記
憶部７内に記憶されていた被写体位置情報、カメラ３
ａ，３ｂ，３ｃそれぞれの視点位置情報、焦点距離や画
角等の情報を含むカメラパラメータ、及び、光源２の位
置や特性に関する情報が、画像データと共にメモリ６へ
書き込まれる。立体情報検出部８では、被写体１の立体
形状情報及び被写体表面の特性（テクスチァ情報）から
なる立体情報を検出するための処理が行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を撮影する
ことにより得られる画像信号から、当該被写体の立体形
状情報及び表面反射率等のテクスチャ情報とからなる立
体情報を検出する立体情報検出方法及びその装置に関す
る。

【０００２】

【従来の技術】従来、任意の被写体の立体形状情報を検
出する手法の一つに、被写体を複数の異なる視点から撮
影して画像データを取得し、撮影時の相対的な視点位置
関係と画像データ中の被写体位置とから、三角測量の原
理を用いて被写体までの距離を検出し、これを統合して
被写体の立体形状情報を検出する手法がある。

【０００３】図８は、上記従来の手法の原理を示す説明
図である。同図において、被写体の一の点Ａを二つのカ
メラ３ａ、３ｂ（視点位置ＯＬ、ＯＲ）により撮影した
場合、両視点位置の視差によって画像データ中の位置に
ずれ（ＰＲ−ＰＬ）が生じる。このずれの量を求めるこ
とにより、撮影時の光軸方向、焦点距離、及び二つのカ
メラ３ａ、３ｂの相対位置関係に基づいて、任意の空間
上での点Ａの位置を決定することができる。

【０００４】実際の処理は、以下のように行われる。ま
ず、複数の視点位置から被写体の撮影を行い、このとき
に各視点位置及び被写体位置の相対位置関係を記録す
る。次に、複数の視点位置から撮影された複数の画像デ
ータから、テンプレートマッチング法等の既知の手法を
用いて、複数の画像データ間の画素単位での対応関係を
求める。そして、求められた対応関係と撮影時に記録し
た視点位置とから視差を求め、三角測量の原理を用いて
任意の座標上で統合された被写体形状を求めることがで
きる。

【０００５】複数の画像データ間の対応関係を求める場
合、テンプレートマッチング法等では、画素の輝度レベ
ルでの対応関係が用いられる。撮影時の被写体表面での
光の反射は、被写体に光を照射する光源２と視点位置Ｏ
Ｌ、ＯＲとの位置関係が図９に示す関係にある場合は、
次式のモデルで表すことができる。

【０００６】Ｉ＝Ｉ０・Ｋａ・ｃｏｓθ＋Ｉ０・Ｋｂ・（ｃｏｓφ）^Kc＋Ｃ……（１）ここで、Ｋａは拡散反射係数、Ｋｂは鏡面反射係数、Ｋ
ｃは表面荒さによる鏡面反射の広がりを表す定数、Ｃは
環境光による寄与、Ｉ０は光源の輝度、Ｉは反射後検出
される輝度を示す。また、図９において、Ｎは表面法線
方向、θは光源方向と法線方向とがなす角、φは光源反
射方向と視点方向とがなす角である。

【０００７】上式より、拡散光は光源方向と被写体表面
とがなす角θによって決定され、視点と反射方向とがな
す角φにはよらない。従って、被写体表面が一様な拡散
反射面（Ｋｂ≒０）である場合、同一の光源に対して任
意の面の輝度レベルは視点位置に拘わらずほぼ等しいと
考えることができ、複数の画像データ間の対応関係を正
しく求めることができる。

【０００８】

【発明が解決しようとする課題】しかしながら、被写体
表面が拡散反射面以外の面を有するとき、つまり同じ面
の輝度が視点に対して大きく変化する場合は、画像デー
タの輝度レベルをそのまま用いる手法を用いて正しい対
応関係を求めることができなかった。すなわち、これま
での対応点抽出により被写体形状を求める手法において
は、その精度が被写体の面特性によって左右され、判定
可能な被写体が限定されていた。

【０００９】また、被写体の立体形状情報を使用する場
合、実際にはその被写体のテクスチャ情報が必要な場合
があり、その表面の色、反射率等が不明なままではデー
タとして不十分であった。

【００１０】本発明はこのような状況に鑑みてなされた
ものであり、複数の画像データから被写体の立体形状情
報及び被写体のテクスチャ情報を含む立体情報を検出す
ることができる立体情報検出方法及びその装置を提供す
ることを目的とする。

【００１１】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の立体情報検出方法は、光源により照明さ
れた被写体を複数の視点位置から撮影装置により撮影す
ることにより得られる画像データから前記被写体の立体
情報を検出する立体情報検出方法であって、前記得られ
た画像データを複数の小領域に分割し、前記複数の視点
位置毎に、前記光源に関する光源情報と前記複数の視点
位置それぞれにおける前記撮影装置の撮影姿勢情報とを
用いて、前記複数の小領域それぞれの立体情報を検出
し、前記複数の視点位置毎に検出された前記複数の小領
域それぞれの立体情報を任意の座標系上で統合すること
により前記被写体の立体情報を検出する事を特徴とす
る。

【００１２】請求項２の立体情報検出方法は、上記請求
項１に記載の立体情報検出方法において、前記立体情報
は前記被写体の立体形状情報と前記被写体の表面のテク
スチャ情報とからなり、前記立体情報検出方法は、前記
複数の視点位置における前記撮影装置の撮影姿勢情報と
前記得られた画像データに基づいて被写体の立体形状情
報を求め、前記被写体の立体形状情報及び前記光源に関
する光源情報とに基づいて、前記被写体の表面のテクス
チャ情報を求め、前記求められた立体形状情報及び前記
求められたテクスチャ情報を任意の座標系において立体
情報として統合することを特徴とする。

【００１３】請求項３の立体情報検出方法は、上記請求
項１又は２に記載の立体情報検出方法において、前記得
られた画像データに基づいて、前記各視点位置における
前記撮影装置の撮影姿勢情報を検出するステップを含む
ことを特徴とする。

【００１４】請求項４の立体情報検出方法は、上記請求
項３に記載の立体情報検出方法において、前記各視点位
置における前記撮影装置の撮影姿勢情報を検出するステ
ップは、表面に既知のパターンが描かれた試料を前記被
写体と共に撮影するステップを含むことを特徴とする。

【００１５】請求項５の立体情報検出方法は、上記請求
項１〜４のいずれか１項に記載の立体情報検出方法にお
いて、前記得られた画像データに基づいて前記光源の光
源情報を検出するステップを含むことを特徴とする。

【００１６】請求項６の立体情報検出方法は、上記請求
項５に記載の立体情報検出方法において、前記光源の光
源情報を検出するステップにおいて、前記光源情報は、
光学的特性が既知である複数の領域を有する試料を被写
体と共に撮影することにより得られる画像データに基づ
いて検出されることを特徴とする。

【００１７】請求項７の立体情報検出方法は、上記請求
項２に記載の立体情報検出方法において、前記テクスチ
ャ情報は前記被写体の表面の反射率を含み、前記立体情
報検出方法は、前記反射率を用いて前記求められた前記
被写体の立体形状情報を修正するステップを含むことを
特徴とする。

【００１８】請求項８の立体情報検出方法は、上記請求
項７に記載の立体情報検出方法において、前記修正され
た立体形状情報を用いて、前記反射率を修正するステッ
プを含むことを特徴とする。

【００１９】請求項９の立体情報検出装置は、光源によ
り照明された被写体を複数の視点位置に設けられた撮影
装置により撮影することにより得られた画像データが入
力される入力手段と、前記入力された画像データを複数
の小領域に分割し、前記複数の視点位置毎に、前記光源
に関する光源情報と前記複数の撮影装置の撮影姿勢情報
とを用いて、前記複数の小領域それぞれの立体情報を検
出し、前記複数の視点位置毎に検出された前記複数の小
領域それぞれの立体情報を任意の座標系上で統合するこ
とにより前記被写体の立体情報を検出する立体情報検出
手段とを備えることを特徴とする。

【００２０】請求項１０の立体情報検出装置は、上記請
求項９に記載の立体情報検出装置において、前記立体情
報は前記被写体の立体形状情報と前記被写体の表面のテ
クスチャ情報とを含み、前記立体情報検出手段は、前記
複数の視点位置における前記撮影装置の撮影姿勢情報と
前記入力された画像データに基づいて被写体の立体形状
情報を求め、前記被写体の立体形状情報及び前記光源に
関する光源情報とに基づいて前記被写体の表面のテクス
チャ情報を求め、前記求められた立体形状情報及び前記
求められたテクスチャ情報を任意の座標系において立体
情報として統合することにより前記立体情報を検出する
ように構成されることを特徴とする。

【００２１】請求項１１の立体情報検出装置は、上記請
求項９又は１０に記載の立体情報検出装置において、前
記撮影装置により得られた画像データに基づいて前記各
視点位置における前記撮影装置の撮影姿勢情報を検出す
る撮影姿勢情報検出手段を備えることを特徴とする。

【００２２】請求項１２の立体情報検出装置は、上記請
求項１１に記載の立体情報検出装置において、前記撮影
姿勢情報検出手段は、前記各視点位置における前記撮影
装置の撮影姿勢情報を、表面に既知のパターンが描かれ
た試料を前記被写体と共に撮影することにより検出する
ように構成されることを特徴とする。

【００２３】請求項１３の立体情報検出装置は、上記請
求項９〜１２のいずれか１項に記載の立体情報検出装置
において、前記撮影装置により得られた画像データに基
づいて前記光源の光源情報を検出する光源情報検出手段
を備えることを特徴とする。

【００２４】請求項１４の立体情報検出装置は、上記請
求項１３に記載の立体情報検出装置において、前記光源
情報検出手段は、前記光源情報を、光学的特性が既知で
ある複数の領域を有する試料を被写体と共に撮影するこ
とにより得られる画像データに基づいて検出するように
構成されることを特徴とする。

【００２５】請求項１５の立体情報検出装置は、上記請
求項１０に記載の立体情報検出装置において、前記テク
スチャ情報は前記被写体の表面の反射率を含み、前記立
体状情報検出装置は、前記反射率を用いて前記求められ
た前記被写体の立体形状情報を修正する立体形状情報修
正手段を備えることを特徴とする。

【００２６】請求項１６の立体情報検出装置は、上記請
求項１５に記載の立体情報検出装置において、前記修正
された立体形状情報を用いて、前記反射率を修正する反
射率修正手段を備えることを特徴とする。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態を、図
面を参照して説明する。

【００２８】（第１の実施の形態）まず最初に、本発明
の第１の実施の形態について、図１〜図３を参照して説
明する。

【００２９】図１は、本実施の形態にかかる立体情報検
出方法を採用する撮影システムの概略構成を示すブロッ
ク図である。

【００３０】同図において、三角錘形状を有する被写体
１は、十分離れた光源２によって一様に照明された状態
にあり、複数の視点位置におかれたカメラ３ａ、３ｂ、
３ｃによって撮影されている。カメラ３ａ、３ｂ、３ｃ
の複数視点位置からの映像信号は立体情報検出装置４へ
入力されて処理される。

【００３１】立体情報検出装置４は、カメラ３ａ、３
ｂ、３ｃから入力された映像信号を任意の画像フォーマ
ットへ変換する映像信号部５と、複数の画像データから
被写体の立体情報を検出する立体情報検出部８と、装置
内の各部を制御するためのＣＰＵ９と、画像データを記
憶するメモリ６と、検出された立体情報等の情報を記録
するための記録部７とから構成されている。

【００３２】カメラ３ａ、３ｂ、３ｃから入力された映
像信号は、映像信号部５において立体情報検出部８が扱
いやすい画像フォーマット、例えば１０ｂｉｔグレイス
ケールのビットマップデータへ変換される。この変換
は、カメラ３ａ、３ｂ、３ｃからのＲＧＢ信号を１：
２：１の割合で加算することにより行われ、その結果は
ＣＰＵ９により各視点毎に１枚分の画像データとしてメ
モリ６へ書き込まれる。また、ＣＰＵ９により、予め記
録部７内に記録されていた被写体位置情報、カメラ３
ａ、３ｂ、３ｃそれぞれの視点位置情報、焦点距離や画
角等の情報を含むカメラパラメータ、及び、光源２の位
置や特性に関する情報が、画像データと共にメモリ６へ
書き込まれる。メモリ６に書き込まれた画像データ及び
各情報は、後述する処理に用いられる。

【００３３】立体情報検出部８では、被写体１の立体形
状情報及び被写体表面の特性（テクスチャ情報）からな
る立体情報を検出するための処理が行われる。

【００３４】図２は、立体情報検出部８において行われ
る、被写体１の立体形状情報及び被写体表面の特性等の
テクスチャ情報を含む立体情報を検出する立体情報検出
処理手順を示すフローチャートである。なお、本フロー
チャートを実行するためのプログラムは図示しないメモ
リに記憶され、ＣＰＵ９により実行される。

【００３５】まず、ステップＳ１において、全ての画像
データに対して処理が終了したか否かが判別される。最
初はこの答が否定（ＮＯ）であるので、ステップＳ２に
進み、任意の二つの視点ＯＬ（ＸＬ，ＹＬ，ＺＬ）、Ｏ
Ｒ（ＸＲ，ＹＲ，ＺＲ）が選択され、一方の視点位置か
ら撮影された画像データと、他方の視点位置から撮影さ
れた画像データとの対応点を抽出する対応点抽出処理が
行われる。

【００３６】ある程度の被写体の大きさを想定した場
合、ステップＳ２において選択された二つの視点位置は
既知であるので、２枚の画像データ中の被写体領域の重
複部分が、カメラパラメータ及び被写体・視点位置情報
に基づいて幾何学的に算出可能である。処理の負担を軽
減するため、対応点抽出処理は、この重複領域に対して
のみ行われる。本実施の形態では、対応点抽出処理方法
としてテンプレートマッチング法が用いられるものとす
る。

【００３７】図３は、テンプレートマッチング法を説明
するための説明図であり、（Ａ）は左側の視点位置から
撮影された被写体１の画像データであり、（Ｂ）は右側
の視点位置から撮影された被写体１の画像データであ
る。同図に示すように、テンプレートマッチング法は、
一方の画像データ中に目的とする画像が含まれる任意の
大きさの領域（テンプレート）を設定し、このテンプレ
ートに含まれる画像（以下、テンプレート画像という）
１１が他方の画像データ中のどこに位置するかをサーチ
し、最も一致度の高い領域を対応点とする方法である。

【００３８】対応点抽出処理に用いられる画像データ
は、撮影時の輝度データがそのまま用いられる場合や、
エッジ検出のためのフィルタ処理等が施された画像デー
タが用いられる場合があるが、いずれの場合も輝度の分
布を利用しているため、被写体１の表面状態により上記
（１）式における鏡面反射の影響を受け、それが大きな
誤差の原因となる。被写体１の表面状態を考慮した処理
を行うことは困難であるので、ステップＳ２における対
応点抽出処理においては、被写体表面は一様な拡散反射
を行うものとし、鏡面反射成分による誤差を含んだ対応
点が求められる。

【００３９】対応点抽出処理が終了すると、ステップＳ
３に進み、対応点抽出処理の結果と、各視点位置の相対
関係と、撮影時のカメラパラメータとに基づいて、三角
測量の原理を用いて被写体の立体形状情報が求められ
る。求められた立体形状情報は、後述する立体情報の統
一のため、予め定められた座標系上へ移動される。

【００４０】更に、ステップＳ３では、求められた立体
形状情報を任意の大きさの小領域（面）に分割する処理
が行われる。上述したように、ここでは被写体の表面は
拡散反射成分のみをもつものとして対応点抽出処理が行
われている。（１）式から判るように、鏡面反射成分は
視点位置が光線の反射方向からずれるに従って急激に減
少するため、一つの視野位置から被写体を見た場合、特
定の法線方向をもった面以外は鏡面反射成分が小さく、
無視してもその誤差は小さい。従って、拡散反射のみを
考慮した場合、（１）式は以下のように近似することが
できる。

【００４１】Ｉ＝Ｉ０・Ｋａ・ｃｏｓθ＋Ｃ……（２）領域内の材質が変わらない場合、Ｉは面の法線方向と光
源方向とがなす角θのみに依存する。従って、輝度の変
化が一定値以内の条件で小領域分割を行うことにより、
小領域内はそこに含まれる面の法線方向がほぼ等しい一
つの面として取り扱うことができ、一つの小領域に一つ
の拡散反射率を対応させることができる。実際の分割方
法としては、先に求めてある立体形状情報を考慮した上
で、Ｉを１画像データ中で規格化し、その変動が所定値
以下、または面積が所定値以下になるように分割が行わ
れる。

【００４２】ステップＳ３の処理が終了すると、ステッ
プＳ４に進み、ステップＳ３で分割された小領域と光源
２との位置関係が求められる。上述したように光源方向
の情報は予め検出されてメモリ６に記憶されており、こ
れを上述した任意の座標系に置くことにより、光源２か
らの光線と小領域に含まれる面とにより作られる角θ及
びφを算出することができる。

【００４３】ステップＳ４における角θ及びφの算出
後、ステップＳ５では、入力された画像データ内におい
て輝度差が大きくなっている領域が検出される。この部
分は、鏡面反射成分による誤対応が生じていると考えら
れるからである。すなわち、（１）式より、鏡面反射成
分は（ｃｏｓφ）^Kcに依存するため、一つの視点からは
ｃｏｓφが１に近くなる特定の法線方向をもった領域の
みがその周囲の領域に比較して急激に高輝度となるの
で、画像データを任意の大きさの小領域にわけた場合、
隣接する領域との輝度差が大きな領域が、表面の色、材
質の違いによる拡散反射成分の差以外の、鏡面反射成分
による影響を受けた領域である可能性が高い。ステップ
Ｓ５ではそのような領域が検出される。この領域の大き
さをステップＳ３で設定された小領域よりも大きくとる
ことにより、後述する対応点抽出の結果との対応を図る
ことができる。

【００４４】ステップＳ６では、ステップＳ３からステ
ップＳ５までの結果を統合することにより、鏡面反射成
分が大きくかつ立体形状情報の変化量が大きくなってい
る誤り領域が取り出され、誤り領域を示すフラグが付加
される。（１）式より、任意の領域の鏡面反射成分は視
点によって大きく異なるため、同一の小領域に対して
は、対応点抽出で用いられた二つの画像データのうちの
一方のみが高輝度となる。このような領域に対して対応
点抽出を行うと、その領域はエラーとなってインパルス
状の凹又は凸の形状が示される。従って、ステップＳ３
で求められた立体形状情報において、その立体形状情報
の変化量が大きな領域は、鏡面反射による誤対応が生じ
ている可能性が高い。実際に凹又は凸の形状である場合
を除くため、ステップＳ３〜Ｓ５の結果が統合され、周
囲と比較して輝度の変化が大きく且つ形状変化の大きな
領域が検出される。

【００４５】また、ステップＳ６では、ステップＳ４に
おいて算出された角度φが設定された角度より小さい場
合は、その領域では鏡面反射成分が無視できないものと
して、その領域が誤り領域であるとされる。これによ
り、求められる被写体１の立体形状情報の精度を向上さ
せることができる。

【００４６】誤り領域を示すフラグ付加の後、ステップ
Ｓ７では、ステップＳ６でフラグが付加された領域を除
く領域について、ステップＳ３で分割された任意の大き
さの小領域毎に、（２）式及びステップＳ４で求められ
た角度θを用いて、面の拡散反射係数Ｋａが求められ
る。（２）式では、観測されるＩには環境光等の誤差が
含まれているが、小領域中ではＣは一定値を取るものと
して取り扱うことにより、（２）式中のＩ０・Ｋａを求
めることができる。この処理は、フラグが付加されてい
ない全ての小領域に対して行われる。

【００４７】ステップＳ８では、ステップＳ６において
フラグが付加された小領域に対する処理が行われる。す
なわち、（１）式から明らかなように、鏡面反射成分は
ある視点位置で急激に大きくなり、フラグが付加されて
いる領域の周囲には、鏡面反射成分の影響が小さい領域
であってステップＳ７において法線方向及び拡散反射係
数が既知となった領域が存在する。そこで、この周囲の
領域の結果を用いて、誤り領域の形状を補間することに
より、その小領域の拡散反射係数が求められる。ここで
は、正規化された輝度Ｉ及び光源２の輝度Ｉ０及び拡散
反射係数Ｋａが既知となっている。これに加えて、補間
により求められた面の法線方向を用いて角度θ及びφを
用いることにより、鏡面反射係数Ｋｂ及び定数Ｋｃが求
められる。一つの小領域内では環境光の影響は等しいも
のとし、且つ領域内に対応した画素間では角度φのみが
異なっているとすると、各画素間で（１）式の差分を取
った式に対して最小二乗法等の手法を用いることにより
当該小領域内の鏡面反射Ｋｂ及び定数Ｋｃを求めること
ができる。このような鏡面反射成分の大きな領域に対す
る処理によって、法線方向及びＫｂ、Ｋｃが決定され
る。

【００４８】ステップＳ９では、上述した処理により求
められた係数及び法線方向を用いて、対応点抽出により
求められた立体形状情報の補正が行われる。上記ステッ
プＳ３で対応点抽出により求められていた立体形状情報
は、被写体の表面が拡散反射のみを行うと仮定されてい
た。鏡面反射成分を考慮して求められた情報は、（１）
式におけるＫａ、Ｋｂ、Ｋｃの他、小領域に含まれる面
の法線方向が修正されている。この修正された法線方向
が被写体１の距離情報と矛盾なく一致するように、被写
体１の距離情報が修正される。また、各面での反射係数
を距離情報と共に扱うことができるように、被写体の距
離情報を示す点に、任意の座標上での当該小領域の位置
情報と反射係数とが追加される。

【００４９】ステップＳ２からステップＳ９までの処理
は異なる二つの視点から取り込まれた画像データに対し
て行われ、この処理により一つの被写体情報（立体情
報）が得られる。

【００５０】ステップＳ１０では、これまでに処理され
た任意の組合せの画像データから得られた被写体情報
と、今回得られた被写体情報との融合が行われる。すな
わち、異なる組合せ及び画像データから得られる同一領
域の被写体情報は、撮影時の差、外乱又は処理上の誤差
により完全には一致しないので、この重複領域が示す差
を用いて被写体情報全体の修正が行われ、任意の座標系
で一つの被写体情報が作成される。

【００５１】上述した画像処理が全ての画像データに対
して終了すると、ステップＳ１の答は肯定（ＹＥＳ）と
なり、これまでの処理によって構築された被写体１の立
体形状情報と反射率等のテクスチャ情報とを統合した被
写体情報（立体情報）が、任意の形式で記録部７へ記録
されて、本処理手順が終了する。

【００５２】以上説明したように、本実施の形態によれ
ば、複数の視点位置から撮影された画像データに基づい
て、任意の座標系上での、立体形状情報及び反射率等の
テクスチャ情報からなる立体情報を精度よく得ることが
できる。

【００５３】また、立体形状情報を反射率で修正するよ
うにしたので、被写体１の立体形状情報と反射率との間
に生じる誤差が少なくなり、更に精度よく立体情報を得
ることができる。

【００５４】なお、本実施の形態では、入力された画像
データをグレイスケールに変換したものを用いていた
が、立体情報が求められた後、立体形状情報と画像デー
タ中の画素との対応から、被写体表面の色情報を付加す
ることも可能である。この場合、最終的な立体情報は、
一つの点に対して任意の座標系での位置情報と、その点
での色、模様、反射率からなるテクスチャ情報から構成
されることになる。すなわち、各視点からの複数領域の
立体形状情報と色・反射率等のテクスチャ情報と任意の
座標系上で統合することにより、種々の形式の立体情報
を、統一した形式で効率よく作成できるとともに、その
立体情報を容易に取り扱うことが可能となる。

【００５５】（第２の実施の形態）次に、本発明の第２
の実施の形態について、図４〜図６を参照して説明す
る。本実施の形態では、光源２の位置情報等を含む光源
情報が未知の場合の立体情報検出処理について説明す
る。

【００５６】図４は、本実施の形態に係る立体情報検出
方法を採用する撮影システムの概略構成を示すブロック
図である。同図において、上述した第１の実施の形態の
図１に示した構成と同一の構成要素には同一符号を付し
てある。

【００５７】被写体１の近くには、その形状が既知のパ
ッド１２が配置されており、複数のカメラ３ａ、３ｂ、
３ｃと、パッド１２と被写体１との位置関係は既知とな
っている。また、撮影時のカメラパラメータも既知とな
っている。

【００５８】パッド１２上には、複数の場所に任意のパ
ターンが描かれており、このパターンは拡散反射成分の
みを有する領域と、拡散反射成分及び鏡面反射成分を有
する領域とに分かれている。各領域の拡散反射係数、鏡
面反射係数は、パッド１２上での位置によりそれぞれ異
なっており、それらのパターン位置と拡散反射係数、鏡
面反射係数との関係は既知となっている。光源２は被写
体１から十分離れた位置に配置され、被写体１を一様な
光で照明している。このような状況の下で、予め設定さ
れた複数の視点から撮影された画像データから、被写体
１の立体情報の検出が行われる。

【００５９】図５は、本実施の形態における立体情報検
出手順を示すフローチャートである。

【００６０】まず、ステップＳ２１において、全ての画
像データに対して処理が終了したか否かが判別される。
最初はこの答が否定（ＮＯ）であるので、ステップＳ２
２に進み、被写体１と共に撮影されたパッド１２の、画
像データ中に占める領域を検出するパッド領域検出処理
が行われる。撮影された画像データには被写体１以外に
パッド１２が含まれているが、被写体１の立体情報検出
処理ではパッド１２部分の画像データは必要なく、後述
する光源情報検出処理以外の処理にはパッド１２部分の
画像データが除かれた画像データを用いるためである。
被写体位置情報、パッド１２の位置情報、及び各画像デ
ータの視点位置は既知であるので、これらのパラメータ
を用いて画像データ中のパッド位置を算出することは可
能であるが、パッド１２上の既知となっているパターン
を用いて画像データ中からパッド領域を認識することが
できる。具体的には、パッド１２と視点位置との相対位
置関係は既知であるので、パッド１２の表面のパターン
に対して図に示すような視点方向からの見え方による変
更を加えた既知パターンをテンプレート画像としてマッ
チング処理を行うことにより、パッド１２部分の領域が
認識される。

【００６１】画像データ中のパッド領域検出処理が終了
すると、ステップＳ２３において、パッド１２上の既知
パターンをテンプレートとしてマッチング処理を行うこ
とにより、ステップＳ２２で認識されたパッド領域中か
ら拡散反射成分のみの領域と鏡面反射成分を含む領域と
が認識される。そして、ステップＳ２４において、光源
特性が算出される。具体的には、まず、拡散反射成分の
みの複数領域が取り出され、各領域内での反射光の相対
的な輝度差が求められる。そして、光源２及び環境光は
パッド１２上で一様であるとして、上述した（２）式を
用いて算出される各領域の値の差分が求められ、これら
の最小二乗法の手法によりパッド１２の法線方向と光源
方向とがなす角ｃｏｓθ及び光源２の輝度Ｉ０が算出さ
れる。

【００６２】更に、光源方向の特定のために、角φの決
定にはパッド１２上の鏡面反射成分を有する領域からの
情報が用いられる。これは、ｃｏｓθを算出したときと
同様に、複数領域の相対的な輝度差から求めることがで
きる。しかし、一つの視点位置から得られる画像データ
のみを用いて光源方向を求める場合には、鏡面反射成分
の影響が少ない場合、例えば光源方向と任意の視点位置
が図６のようにパッド１２から見て同じ方向にある場合
では、光源方向を特定することが困難となる。従って、
ステップＳ２４における、パッド１２を用いた光源方向
の特定においては、複数の視点位置から求められた結果
を比較し、最も鏡面反射成分が大きくなる視点位置にお
けるデータが採用される。

【００６３】このようにして求められた光源２の特性と
して光源方向及び光源２の輝度の算出が終了すると、ス
テップＳ２５に進む。以下、ステップＳ２５からステッ
プＳ３４の処理手順は、上述した第１の実施の形態の図
２に示したステップＳ２からステップＳ１１の処理手順
と同様である。

【００６４】以上説明したように、本実施の形態によれ
ば、既知のパターンが描かれており、予め光学的な特性
が判っているパッド１２を用いることにより、光源２の
特性が既知でない場合であっても、被写体１の立体形状
情報及び被写体１の表面のテクスチャ情報からなる立体
情報を得ることができる。

【００６５】なお、光源２の位置が被写体１に近く、被
写体に一様な光線が当たっていない場合は以下のように
対応することができる。すなわち、（２）式より、光源
２が近い場合は、パッド１２上の拡散反射成分を有する
複数の領域では、パッド１２への入射角θが異なるため
反射光の輝度が異なる。従って、異なる領域では異なる
光源方向θが算出される。従って、光源２からの複数の
光線がパッド１２と交差する点及びその点における光線
の角度が判るので、幾何学的に光線の交点、つまり光源
２の方向及び位置を求めることができる。

【００６６】また、上述したように、本実施の形態で
は、光源情報を得るために表面のパターンが既知である
パッド１２を用いたが、これを被写体１中の法線方向の
異なる、同じ拡散反射係数を有する複数の拡散反射面
（領域）で代用することも可能である。この場合、画像
データ中での光源情報取得のための領域を指定する必要
があるが、撮影方向の自由度が大きいという利点があ
る。

【００６７】（第３の実施の形態）次に、本発明の第３
の実施の形態について、図７を参照して説明する。本実
施の形態では、不特定の視点位置から撮影された複数の
画像データに基づいて立体情報を検出する手法について
説明する。

【００６８】図７は、本実施の形態に係る立体情報検出
方法を採用する撮影システムの概略構成を示すブロック
図である。同図において、上述した第１の実施の形態の
図１に示した構成と同一の構成要素には同一符号を付し
てある。

【００６９】被写体１は、視点位置及び光源情報を得る
ためのその形状が既知のパッド１２の上に配置されてお
り、一台の複眼カメラ３ｄによりパッド１２を含む被写
体１が撮影されている。複眼カメラ３ｄの焦点距離、鏡
筒間の相対的な位置関係、及び光軸方向等のカメラパラ
メータは既知である。また、パッド１２上の表面には、
上述した第２の実施の形態と同様に、形状及び光学的特
性が既知の任意のパターンが描かれている。光源２は被
写体１から十分に離れた位置に配置されており、被写体
１を一様な光で照明している。この状況の下で、カメラ
３ｄを移動させることにより、複数の視点から被写体１
２が撮影され、その画像データから視点位置情報、立体
形状情報や反射率等の立体情報が検出される。

【００７０】なお、本実施の形態において、被写体１の
立体形状情報検出処理及び光源情報検出処理は、上述し
た第１及び第２の実施の形態と同様であるので、ここで
は、画像データからの視点位置検出手順について説明す
る。

【００７１】左右鏡筒の相対位置関係が既知であるカメ
ラ３ｄで被写体１を撮影した場合、第１の実施の形態で
説明した対応点抽出手順を用いて、カメラ３ｄにより撮
影された二つの画像データの画素間の対応関係を得るこ
とができれば、任意の座標上において、三角測量の原理
を用いて、画素に対応した被写体の位置と一つの視点位
置との相対位置関係を求めることができる。ここでは、
両視点間の相対位置関係を関連づけるために、画像デー
タ中のパッド情報が用いられる。第２の実施の形態で光
源方向を求めたときと同様に、パッド上に描かれた既知
パターンは視点位置により変化するので、このパターン
の変化を検出することにより、その画像データがパッド
１２に対してどの角度から見た場合の画像データである
か、即ち視点位置と被写体位置との相対位置関係を検出
することができる。

【００７２】本実施の形態で用いたパッド１２上には、
拡散反射成分のみを有する領域があるので、この領域に
対して対応点抽出及び視点位置検出を行えば、光源２の
位置に左右されずに安定した視点位置検出を行うことが
できる。

【００７３】このようにして検出された視点位置に基づ
いて、上述した手法により、被写体の立体形状情報及び
反射率情報等のテクスチャ情報を含む立体情報を得るこ
とができる。

【００７４】以上説明したように、本実施の形態によれ
ば、パッド１２及び複眼カメラ３ｄを用いることによ
り、撮影時に視点位置を固定することなく、任意の視点
位置から撮影された画像データから被写体の立体形状情
報及びテクスチャ情報からなる立体情報を検出すること
ができる。

【００７５】

【発明の効果】以上説明したように、請求項１の立体情
報検出方法又は請求項９の立体情報検出装置によれば、
前記得られた画像データを複数の小領域に分割し、前記
複数の視点位置毎に、前記光源に関する光源情報と前記
複数の視点位置それぞれにおける前記撮影装置の撮影姿
勢情報とを用いて、前記複数の小領域それぞれの立体情
報を検出し、前記複数の視点位置毎に検出された前記複
数の小領域それぞれの立体情報を任意の座標系上で統合
することにより前記被写体の立体情報を検出するように
したので、任意の座標形状での被写体の立体情報を精度
良く得ることができるという効果が得られる。

【００７６】請求項２の立体情報検出方法又は請求項１
０の立体情報検出装置によれば、前記立体情報は前記被
写体の立体形状情報と前記被写体の表面のテクスチャ情
報とから構成し、前記複数の視点位置における前記撮影
装置の撮影姿勢情報と前記得られた画像データに基づい
て被写体の立体形状情報を求め、前記被写体の立体形状
情報及び前記光源に関する光源情報とに基づいて、前記
被写体の表面のテクスチャ情報を求め、前記求められた
立体形状情報及び前記求められたテクスチャ情報を任意
の座標系において立体情報として統合するようにしたの
で、任意の座標系での、立体形状情報及びテクスチャ情
報からなる立体情報を精度良く得ることができるという
効果が得られる。

【００７７】請求項３の立体情報検出方法又は請求項１
１の立体情報検出装置によれば、得られた画像データに
基づいて、前記各視点位置における前記撮影装置の撮影
姿勢情報を検出するようにしたので、撮影時に始点位置
を固定することなく、任意の視点位置から撮影された画
像データから被写体の立体形状情報及びテクスチャ情報
からなる立体情報を得ることができるという効果が得ら
れる。

【００７８】請求項４の立体情報検出方法又は請求項１
２の立体情報検出装置によれば、各視点位置における前
記撮影装置の撮影姿勢情報を、表面に既知のパターンが
描かれた試料を前記被写体と共に撮影することにより検
出するようにしたので、撮影時に始点位置を固定するこ
となく、しかも簡単な構成で、任意の視点位置から撮影
された画像データから被写体の立体形状情報及びテクス
チャ情報からなる立体情報を得ることができるという効
果が得られる。

【００７９】請求項５の立体情報検出方法又は請求項１
３の立体情報検出装置によれば、得られた画像データに
基づいて前記光源の光源情報を検出するようにしたの
で、光源の特性が既知ではない場合であっても、被写体
の立体形状情報及びテクスチャ情報からなる立体情報を
得ることができるという効果が得られる。

【００８０】請求項６の立体情報検出方法又は請求項１
４の立体情報検出装置によれば、光源情報を、光学的特
性が既知である複数の領域を有する試料を被写体と共に
撮影することにより得られる画像データに基づいて検出
するようにしたので、光源の特性が既知ではない場合で
あっても、簡単な構成で、被写体の立体形状情報及びテ
クスチャ情報からなる立体情報を得ることができるとい
う効果が得られる。

【００８１】請求項７の立体情報検出方法又は請求項１
５の立体情報検出装置によれば、テクスチャ情報に含ま
れる反射率を用いて、求められた被写体の立体形状情報
を修正するようにしたので、被写体の形状と反射率との
間に生じる誤差が少なくなり、精度よく立体情報を得る
ことができるという効果が得られる。

【００８２】請求項８の立体情報検出方法又は請求項１
６の立体情報検出装置によれば、修正された立体形状情
報を用いて、反射率を修正するようにしたので、被写体
の形状と反射率との間に生じる誤差が少なくなり、精度
よく立体情報を得ることができるという効果が得られ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態にかかる立体情報検
出方法を採用する撮影システムの概略構成を示すブロッ
ク図である。

【図２】同実施の形態における、被写体の立体形状情報
及び被写体表面の特性等のテクスチャ情報を含む立体情
報を検出する立体情報検出処理手順を示すフローチャー
トである。

【図３】テンプレートマッチング法を説明するための説
明図である。

【図４】本発明の第２の実施の形態に係る立体情報検出
方法を採用する撮影システムの概略構成を示すブロック
図である。

【図５】同実施の形態における立体情報検出手順を示す
フローチャートである。

【図６】鏡面反射成分の影響が少ない場合に光源方向を
特定する手法を説明するための説明図である。

【図７】本発明の第３の実施の形態に係る立体情報検出
方法を採用する撮影システムの概略構成を示すブロック
図である。

【図８】従来の立体情報検出方法を説明するための説明
図である。

【図９】被写体表面での光線の反射状態を示す説明図で
ある。

【符号の説明】

１被写体２光源３カメラ７記録部８立体情報抽出部１２パッド

Claims

【特許請求の範囲】

【請求項１】光源により照明された被写体を複数の視
点位置から撮影装置により撮影することにより得られる
画像データから前記被写体の立体情報を検出する立体情
報検出方法であって、前記得られた画像データを複数の小領域に分割し、前記複数の視点位置毎に、前記光源に関する光源情報と
前記複数の視点位置それぞれにおける前記撮影装置の撮
影姿勢情報とを用いて、前記複数の小領域それぞれの立
体情報を検出し、前記複数の視点位置毎に検出された前記複数の小領域そ
れぞれの立体情報を任意の座標系上で統合することによ
り前記被写体の立体情報を検出する事を特徴とする立体
情報検出方法。
【請求項２】前記立体情報は前記被写体の立体形状情
報と前記被写体の表面のテクスチャ情報とからなり、前
記立体情報検出方法は、前記複数の視点位置における前記撮影装置の撮影姿勢情
報と前記得られた画像データに基づいて被写体の立体形
状情報を求め、前記被写体の立体形状情報及び前記光源に関する光源情
報とに基づいて、前記被写体の表面のテクスチャ情報を
求め、前記求められた立体形状情報及び前記求められたテクス
チャ情報を任意の座標系において立体情報として統合す
ることを特徴とする請求項１に記載の立体情報検出方
法。
【請求項３】前記得られた画像データに基づいて、前
記各視点位置における前記撮影装置の撮影姿勢情報を検
出するステップを含むことを特徴とする請求項１又は２
に記載の立体情報検出方法。
【請求項４】前記各視点位置における前記撮影装置の
撮影姿勢情報を検出するステップは、表面に既知のパタ
ーンが描かれた試料を前記被写体と共に撮影するステッ
プを含むことを特徴とする請求項３に記載の立体情報検
出方法。
【請求項５】前記得られた画像データに基づいて前記
光源の光源情報を検出するステップを含むことを特徴と
する請求項１〜４のいずれか１項に記載の立体情報検出
方法。
【請求項６】前記光源の光源情報を検出するステップ
において、前記光源情報は、光学的特性が既知である複
数の領域を有する試料を被写体と共に撮影することによ
り得られる画像データに基づいて検出されることを特徴
とする請求項５に記載の立体情報検出方法。
【請求項７】前記テクスチャ情報は前記被写体の表面
の反射率を含み、前記立体情報検出方法は、前記反射率
を用いて前記求められた前記被写体の立体形状情報を修
正するステップを含むことを特徴とする請求項２に記載
の立体情報検出方法。
【請求項８】前記修正された立体形状情報を用いて、
前記反射率を修正するステップを含むことを特徴とする
請求項７に記載の立体情報検出方法。
【請求項９】光源により照明された被写体を複数の視
点位置に設けられた撮影装置により撮影することにより
得られた画像データが入力される入力手段と、前記入力された画像データを複数の小領域に分割し、前
記複数の視点位置毎に、前記光源に関する光源情報と前
記複数の撮影装置の撮影姿勢情報とを用いて、前記複数
の小領域それぞれの立体情報を検出し、前記複数の視点
位置毎に検出された前記複数の小領域それぞれの立体情
報を任意の座標系上で統合することにより前記被写体の
立体情報を検出する立体情報検出手段とを備えることを
特徴とする立体情報検出装置。
【請求項１０】前記立体情報は前記被写体の立体形状
情報と前記被写体の表面のテクスチャ情報とを含み、前記立体情報検出手段は、前記複数の視点位置における
前記撮影装置の撮影姿勢情報と前記入力された画像デー
タに基づいて被写体の立体形状情報を求め、前記被写体
の立体形状情報及び前記光源に関する光源情報とに基づ
いて前記被写体の表面のテクスチャ情報を求め、前記求
められた立体形状情報及び前記求められたテクスチャ情
報を任意の座標系において立体情報として統合すること
により前記立体情報を検出するように構成されることを
特徴とする請求項９に記載の立体情報検出装置。
【請求項１１】前記撮影装置により得られた画像デー
タに基づいて前記各視点位置における前記撮影装置の撮
影姿勢情報を検出する撮影姿勢情報検出手段を備えるこ
とを特徴とする請求項９又は１０に記載の立体情報検出
装置。
【請求項１２】前記撮影姿勢情報検出手段は、前記各
視点位置における前記撮影装置の撮影姿勢情報を、表面
に既知のパターンが描かれた試料を前記被写体と共に撮
影することにより検出するように構成されることを特徴
とする請求項１１に記載の立体情報検出装置。
【請求項１３】前記撮影装置により得られた画像デー
タに基づいて前記光源の光源情報を検出する光源情報検
出手段を備えることを特徴とする請求項９〜１２のいず
れか１項に記載の立体情報検出装置。
【請求項１４】前記光源情報検出手段は、前記光源情
報を、光学的特性が既知である複数の領域を有する試料
を被写体と共に撮影することにより得られる画像データ
に基づいて検出するように構成されることを特徴とする
請求項１３に記載の立体情報検出装置。
【請求項１５】前記テクスチャ情報は前記被写体の表
面の反射率を含み、前記立体状情報検出装置は、前記反
射率を用いて前記求められた前記被写体の立体形状情報
を修正する立体形状情報修正手段を備えることを特徴と
する請求項１０に記載の立体情報検出装置。
【請求項１６】前記修正された立体形状情報を用い
て、前記反射率を修正する反射率修正手段を備えること
を特徴とする請求項１５に記載の立体情報検出装置。