JP5819564B2 - 画像判定装置、撮像装置、３次元計測装置、画像判定方法、及びプログラム - Google Patents

Description

本発明は、３次元計測に関する技術であり、特に複数の撮影画像から３次元計測に使用する画像ペアを判定する技術に関する。

測定対象物に対して相対的に撮影位置を移動させて、複数の撮影画像を撮像装置により取得し、複数の撮影画像より画像ペアを作り、３次元測定を行う方法がある（移動ステレオ法）。移動ステレオ法において、測定対象物が大きい場合は、一つの画像ペアだけでは、３次元測定を行うことが難しい場合がある。このように、大きい測定対象物を３次元計測する方法としては、複数の画像ペアを作成し、各々の画像ペアから作成される３次元データを合成して、一つの大きな３次元データを作成することにより、３次元計測を行う方法がある。

複数の撮影画像から複数の画像ペアを作成する場合、人間が画像ペアの把握をし、人間が把握した画像ペアの情報をソフトウェアで処理を行っていては、作業が煩雑であり、画像ペアの選択を誤る可能性が高くなる。

特許文献１には、複数のフレームからなる撮影画像について、撮影画像内の撮影対象物（本願の測定対象物と対応するものと考えられる）の特徴点を追跡し、特徴点の縦視差に基づいてステレオペア（本願の画像ペアと対応するものと考えられる）の正誤を判断する技術が記載されている。

又、特許文献２には、複数のフレームからなる撮影画像について、撮影画像内の撮影対象物の特徴点を追跡し、特徴点に対応する対応点の正誤判断をし、ステレオペアを選択する技術が記載されている。

又、特許文献３には、２画像間の光軸方位や水平方向の姿勢状態が相対的にずれないように、方位センサ、加速度センサから得た方位情報やカメラの姿勢情報を液晶パネルに表示してユーザの撮影を補助しつつ、ＣＰＵなどを介して撮像制御して、一対の画像を取得する技術が記載されている。

又、特許文献４には、被計測物を撮影するための撮像手段と、撮像手段によって被計測物が撮影された画像上の特徴点を指定するための第１の特徴点指定手段と、特徴点指定手段によって指定された被計測物上の特徴点までの距離を測距するための測距手段と、第１の撮影位置において被計測物が撮影された画像上の特徴点に対応する被計測物上の点を、撮像手段によって第２の撮影位置においてこの被計測物が撮影された画像上の特徴点として指定するための第２の特徴点指定手段と、第１の撮影位置及び第２の撮影位置において被計測物が撮影された画像上の各特徴点と測距手段によって各撮影位置において測距された各特徴点までの距離とから、第１の撮影位置と第２の撮影位置との相対的な位置と角度を求める演算手段と、を備えている３次元計測装置に関する技術が開示されている。

特開２００９−０１４６２９号公報 特開２００９−０１４６２８号公報 特開２０１２−１２４５５４号公報 特開２００１−３１７９１５号公報

しかしながら、特許文献１及び２に記載されている技術では、複数の撮影画像内の撮影対象物の特徴点に基づいてステレオペアを選択する為、撮影対象物の特徴点の判断を誤ると、ステレオペアを誤判断するという問題がある。例えば、測定対象物が建築物の場合、窓等の同じ形状が連続すると、特徴点に対応する対応点の判断を誤る場合がある。

又、特許文献３及び４に記載されている技術では、複数の撮影画像内から一対の画像を選択することに関しては記載されてない。

本発明はこのような事情に鑑みてなされたもので、複数の撮影画像から、３次元計測に使用する画像ペアを的確に迅速に判定することができる画像判定装置、撮像装置、３次元計測装置、画像ペア判定方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の一の態様に係る画像判定装置は、複数の撮影画像から３次元計測に使用する画像ペアを判定する画像判定装置であって、複数の撮影画像から第１撮影画像を選択する第１撮影画像選択手段と、選択した第１撮影画像の撮影位置及び撮影方向を取得する第１撮影画像情報取得手段と、第１撮影画像の撮影位置である第１撮影位置から第１撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得手段と、第１撮影画像の撮影における光軸上の位置であって、第１撮影位置から測定対象距離だけ離れた３次元空間上の測定対象位置を算出する測定対象位置算出手段と、複数の撮影画像から第２撮影画像を選択する第２撮影画像選択手段と、選択した第２撮影画像の撮影位置である第２撮影位置、撮影方向及び画角を取得する第２撮影画像情報取得手段と、取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、第２撮影画像に対応する撮影範囲を算出する撮影範囲算出手段と、算出した撮影範囲内に算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、第１撮影画像と第２撮影画像を画像ペアと判定する判定手段と、を備える。

これにより、複数の撮影画像から、３次元計測に使用する画像ペアを的確に及び迅速に判定することが可能である。

画像判定装置において、好ましくは、判定手段は、さらに、第１撮影位置での撮像装置と第２撮影位置での撮像装置との基線長Ｌを含む、下記［数１］で表される分解能ΔＺの値が閾値以下の場合は、第１撮影画像と第２撮影画像とを画像ペアと判定する。

ΔＺ ：分解能
Ｚ ：測定対象距離
ｆ ：焦点距離
ｐ ：撮影画像を取得した撮像装置における撮像素子の画素ピッチ
Ｌ ：第１撮影位置での撮像装置と第２撮影位置での撮像装置との基線長
これにより、より３次元計測に適した分解能が高い画像ペアの判定を行うことができ、３次元計測の精度が増す。

画像判定装置において、好ましくは、判定手段は、さらに、第１撮影位置での撮像装置の光軸と、第１撮影位置の撮像装置と第２撮影位置での撮像装置とを結ぶ直線Ｃとが成す角度αと、第２撮影位置での撮像装置の光軸と直線Ｃとが成す角度βの各々が、４５°以上１３５°以内の場合は、第１撮影画像と第２撮影画像とを画像ペアと判定する。

これにより、第１撮影画像を撮影した撮像装置と第２撮影画像を撮影した撮像装置の配置が３次元計測を行う上で適切であり、より３次元計測に適した画像ペアを選択することができる。

画像判定装置において、好ましくは、判定手段は、さらに、測定対象位置と第２撮影画像の撮影位置における撮像装置の光軸との距離Ｓが閾値以下の場合は、第１撮影画像と第２撮影画像とを画像ペアと判定する。

これにより、より第１撮影画像と第２撮影画像の重なりが大きい画像ペアを選択することが可能となり、より３次元計測に適した画像ペアを選択することができる。

画像判定装置において、好ましくは、第２撮影画像選択手段は、第１撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長Ｌｘを含む、下記［数２］で表せる分解能ΔＺの値が閾値以下である撮影画像を第２撮影画像として選択する。

ΔＺ ：分解能
Ｚ ：測定対象距離
ｆ ：焦点距離
ｐ ：撮影画像を取得した撮像装置における撮像素子の画素ピッチ
Ｌｘ ：第１撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長
これにより、より３次元計測に適した分解能が高い画像ペアの判定を行うことができ、３次元計測の精度が増す。又、第２撮影画像選択部１１０が分解能ΔＺの値が閾値以下の撮影画像を選択する為、第２撮影画像が選択された後の余分な計算が軽減される。

画像判定装置において、好ましくは、第２撮影画像選択手段は、さらに、第１撮影位置での撮像装置の光軸と、第１撮影位置の撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置とを結ぶ直線とが成す角度αと、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸と直線が成す角度βの各々が４５°以上１３５°以内である撮影画像を第２撮影画像として選択する。

これにより、第１撮影画像を撮影した撮像装置と第２撮影画像を撮影した撮像装置の配置が３次元計測を行う上で適切であり、より３次元計測に適した画像ペアを選択することができる。又、第２撮影画像選択部１１０が角度α及び角度βの値を考慮して撮影画像を選択する為、第２撮影画像が選択された後の余分な計算が軽減される。

画像判定装置において、好ましくは、第２撮影画像選択手段は、さらに、測定対象位置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸との距離Ｓが閾値以下となる撮影画像を第２撮影画像として選択する。

これにより、より第１撮影画像と第２撮影画像の重なりが大きい画像ペアを選択することが可能となり、より３次元計測に適した画像ペアを選択することができる。又、第２撮影画像選択部１１０が角度α及び角度βの値を考慮して撮影画像を選択する為、第２撮影画像が選択された後の余分な計算が軽減される。

画像判定装置において、好ましくは、第１撮影画像選択手段は、複数の撮影画像のうちの任意の撮影画像を第１撮影画像として選択し、第２撮影画像選択手段は、複数の撮影画像から第１撮影画像以外の撮影画像のうちの任意の撮影画像を第２撮影画像として選択する。

これにより、複数の撮影画像において漏れなく画像ペアの判定を行うことができ、より多くの画像ペアを生成することが可能となり、より精度の高い３次元計測を行うことができる。

画像判定装置において、好ましくは、判定手段により判定された複数の画像ペアを記憶する記憶手段と、記憶手段に記憶された複数の画像ペアにおいて、画像ペアのうち第１撮影画像又は第２撮影画像が同一であるペア群の中から、最も分解能ΔＺが高いペアを分解能最適ペアと判定する分解能最適ペア判定手段と、をさらに備える。

これにより、最も分解能ΔＺが高い画像ペアを選択することができ、より精度の高い３次元計測を行うことができる。

画像判定装置において、好ましくは、判定手段により判定された複数の画像ペアを記憶する記憶手段と、記憶手段に記憶された複数の画像ペアにおいて、画像ペアのうち第１撮影画像又は第２撮影画像が同一であるペア群の中から、最も距離Ｓが短いペアを距離Ｓ最適ペアと判定する距離Ｓ最適ペア判定手段と、をさらに備える。

これにより、最も距離Ｓが短いペアを選択することができ、より精度の高い３次元計測を行うことができる。

画像判定装置において、好ましくは、記憶手段は、判定手段により判定された画像ペアを１つのファイルとして記憶する。

画像判定装置において、好ましくは、撮影範囲算出手段は、取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、第２撮影画像に対応する四角錐状の撮影範囲を算出する。

上記目的を達成するために、本発明の他の態様に係る撮像装置は、上述した画像判定装置を有する。

上記目的を達成するために、本発明の他の態様に係る３次元計測装置は、上述した画像判定装置により判定された画像ペアを使用する。

上記目的を達成するために、本発明の他の態様に係る画像判定装置は、複数の撮影画像から３次元計測に使用する画像ペアを判定する画像判定方法であって、複数の撮影画像から第１撮影画像を選択する第１撮影画像選択ステップと、選択した第１撮影画像の撮影位置及び撮影方向を取得する第１撮影画像情報取得ステップと、第１撮影画像の撮影位置である第１撮影位置から第１撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、第１撮影画像の撮影における光軸上の位置であって、第１撮影位置から測定対象距離だけ離れた３次元空間上の測定対象位置を算出する測定対象位置算出ステップと、複数の撮影画像から第２撮影画像を選択する第２撮影画像選択ステップと、選択した第２撮影画像の撮影位置である第２撮影位置、撮影方向及び画角を取得する第２撮影画像情報取得ステップと、取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、第２撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、算出した撮影範囲内に算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、第１撮影画像と第２撮影画像とは画像ペアと判定する判定ステップと、を含む。

上記目的を達成するために、本発明の他の態様に係るプログラムは、複数の撮影画像から３次元計測に使用する画像ペアを判定するプログラムであって、複数の撮影画像から第１撮影画像を選択する第１撮影画像選択ステップと、選択した第１撮影画像の撮影位置及び撮影方向を取得する第１撮影画像情報取得ステップと、第１撮影画像の撮影位置である第１撮影位置から第１撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、第１撮影画像の撮影における光軸上の位置であって、第１撮影位置から測定対象距離だけ離れた３次元空間上の測定対象位置を算出する測定対象位置算出ステップと、複数の撮影画像から第２撮影画像を選択する第２撮影画像選択ステップと、選択した第２撮影画像の撮影位置である第２撮影位置、撮影方向及び画角を取得する第２撮影画像情報取得ステップと、取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、第２撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、算出した撮影範囲内に算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、第１撮影画像と第２撮影画像とは画像ペアと判定する判定ステップと、をコンピュータに実行させる。

本発明によれば、複数の撮影画像から選択した第１撮影画像内の３次元空間上の測定対象位置が、複数の撮影画像から選択した第２撮影画像の撮影範囲に入っているか否かにより、第１撮影画像と第２撮影画像とが３次元計測に使用する画像ペアか否か判定するため、３次元計測に使用する画像ペアを的確に及び迅速に判定することができる。

図１はステレオ法による３次元計測を説明する図である。 図２は画像判定装置の機能ブロック図である。 図３は測定対象位置Ｅを説明する概念図である。 図４は第２撮影画像に対応する撮影範囲を説明する図である。 図５は画像判定装置の動作フローを説明する図である。 図６は複数の撮影画像を撮影する撮像装置の機能ブロック図である。 図７は画像判定装置の変形例１に関する動作フローを説明する図である。 図８は画像判定装置の変形例２に関する動作フローを説明する図である。 図９は角度α及び角度βに関して説明する図である。 図１０は画像判定装置の変形例３に関する動作フローを説明する図である。 図１１は画像判定装置の変形例４に関する動作フローを説明する図である。 図１２は距離Ｓに関して説明する図である。 図１３は画像判定装置の変形例５に関する動作フローを説明する図である。 図１４は画像判定装置の変形例６に関する動作フローを説明する図である。 図１５は画像判定装置の変形例７に関する動作フローを説明する図である。 図１６は画像判定装置の変形例８に関する動作フローを説明する図である。 図１７は複数の撮影画像を撮影する撮像装置の他の態様を示す図である。 図１８は図１７に示す撮像装置の構成を示すブロック図である。

以下、本発明の例を、図面を用いて説明する。尚、本願では「手段」という言葉と「部」という言葉は、同じ意味として使用している。

図１は、３次元計測における、移動ステレオ法を説明する図である。図１には、測定対象物１、位置１における撮像装置５、位置２における撮像装置７、位置３における撮像装置９、位置４における撮像装置１１、位置５における撮像装置１３、位置６における撮像装置１５、位置７における撮像装置１７、位置８における撮像装置１９、位置９における撮像装置２１、位置１０における撮像装置２３、位置１１における撮像装置２５、位置１２における撮像装置２７が示されている。

移動ステレオ法による３次元計測では、先ず、図１に示されるように単数又は複数の撮像装置により、測定対象物１に対して相対的に移動して複数の撮影画像が取得される。そして、図１に示されるペア１〜６のような位置関係にある撮像装置（例えば撮像装置５と７）で撮影された複数の撮影画像から、画像ペア（ステレオ画像ペア）を選択し、その画像ペアを基に３Ｄデータを作成し、測定対象物１の３次元計測が行われる。測定対象物１が大きい場合には、１対の画像ペアだけでは足りず、図１のように複数の画像ペアを取得して、各々の画像ペアから３次元（３Ｄ）データを合成して１つの大きな３次元データを作成し、測定対象物１の３次元計測を行う。

尚、測定対象物１に対する撮像装置の相対的な移動は、図１のように測定対象物１の回りを撮像装置が周状に移動する場合もあるし、測定対象物１に対して、直線的に移動する場合もある。又、単数の撮像装置により、複数の撮影画像を取得する場合もあるし、複数の撮像装置により、複数の撮影画像を取得する場合もある。

［判定装置の実施形態］
図２は本発明に係る画像判定装置１００のブロック図である。画像判定装置１００は、第１撮影画像選択部１０１、第１撮影画像情報取得部１０５、測定対象距離取得部１２０、測定対象位置算出部１２５、第２撮影画像選択部１１０、第２撮影画像情報取得部１１５、撮影範囲算出部１３０、及び判定部１３５を有している。尚、第１撮影画像情報取得部１０５と第１撮影画像情報取得手段とは同じ意味であり、第２撮影画像情報取得部１１５と第２撮影画像情報取得手段とは同じ意味である。

図２に示された第１撮影画像選択部１０１は、撮影画像記憶部１４０に記憶された複数の撮影画像から１枚の撮影画像を選択し、その撮影画像を第１撮影画像とする。複数の撮影画像から第１撮影画像を選択する方法は、特に定められることはない。例えば、無作為に、複数の撮影画像から第１撮影画像を選択してもよいし、撮影された日時によって順番を決めて、複数の撮影画像から第１撮影画像を選択してもよい。尚、図２においては、撮影画像記憶部１４０は画像判定装置１００外に設置されていが、これに限定されることはない。例えば、画像判定装置１００が撮影画像記憶部１４０を有していてもよい。

図２に示された第２撮影画像選択部１１０は、撮影画像記憶部１４０に記憶された複数の撮影画像から１枚の撮影画像を選択し、その撮影画像を第２撮影画像とする。第１撮影画像選択部１０１と同様に、複数の撮影画像から第２撮影画像を選択する方法は、特に限定されることはない。又、第１撮影画像選択部１０１と同様に様々な選択方法を採用することができる。尚、第１撮影画像として選択された撮影画像を、同時に第２撮影画像として選択することはできない。しかし、一度、第１撮影画像又は第２撮影画像に選択された画像であっても、改めて第２撮影画像として選択することができる。すなわち、第１撮影画像選択部１０１は、複数の撮影画像のうちの任意の撮影画像を第１撮影画像として選択し、第２撮影画像選択部１１０は、複数の撮影画像から第１撮影画像以外の撮影画像のうちの任意の撮影画像を第２撮影画像として選択することができる。

図２に示された第１撮影画像情報取得部１０５は、第１撮影画像の撮影位置及び撮影方向に関する情報を取得する。ここで、第１撮影画像の撮影位置とは、第１撮影画像が撮影における、第１撮影画像を撮影した撮像装置の位置のことをいう。第１撮影画像の３次元空間上の撮影位置は、主にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）により測位される緯度、経度、高度に基づいて取得することができる。又、第１撮影画像の撮影方向とは、第１撮影画像を撮影した際の撮像装置の向いている方向を指し、主に光軸の向きを意味する。第１撮影画像の撮影方向（撮像装置の光軸）の向きは、電子コンパス及びジャイロセンサで特定することがきる。電子コンパスは、3次元空間でのＸＹ平面の方向（パン方向）を特定することでき、ジャイロセンサは、Ｚ軸方向の傾き（チルト方向）を特定することができる。尚、電子コンパス及びジャイロセンサと同様の機能を有するものであれば、他の測定機器を使用することができる。

図２に示された第１撮影画像情報取得部１０５は、様々な態様により、第１撮影画像の撮影位置及び撮影方向に関する情報を取得することができる。一つの例として、第１撮影画像に第１撮影画像の撮影位置及び撮影方向に関する情報が添付されており、第１撮影画像情報取得部１０５は、第１撮影画像に添付されている第１撮影画像の撮影位置及び撮影方向に関する情報を取得する態様が挙げられる。又、他の例として、第１撮影画像情報取得部１０５は、第１撮影画像と紐付けされている第１撮影画像の撮影位置及び撮影方向に関する情報を、第１撮影画像とは別に取得してもよく、例えば画像判定装置の外部から、第１撮影画像の撮影位置及び撮影方向に関する情報を取得してもよい。

図２に示された第２撮影画像情報取得部１１５は、第１撮影画像情報取得部１０５と同様の態様で、第２撮影画像の撮影位置である第２撮影位置及び第２撮影画像の撮像装置の撮影方向に関する情報を取得する。さらに、第２撮影画像情報取得部１１５は、第２撮影画像を撮影した際の画角の情報を取得する。

図２に示された第２撮影画像情報取得部１１５は、様々な態様により、第２撮影画像を撮影した際の第２撮影位置、撮影方向、及び画角の情報を取得する。一つの例として、第２撮影画像に第２撮影画像を撮影した際の第２撮影位置、撮影方向、及びの画角の情報が添付されており、第２撮影画像情報取得部１１５は、第２撮影画像に添付されている第２撮影画像を撮影した際の第２撮影位置、撮影方向、及び画角の情報を取得する態様が挙げられる。又、他の例として、第２撮影画像情報取得部１１５は、第２撮影画像と紐付けされている第２撮影画像を撮影した際の第２撮影位置、撮影方向、及び画角の情報を、第２撮影画像とは別に取得してもよく、例えば画像判定装置の外部から、第２撮影画像を撮影した際の画角の情報を取得してもよい。尚、図２の説明では、第１撮影画像選択部１０１、第２撮影画像選択部１１０、第１撮影画像情報取得部１０５、第２撮影画像情報取得部１１５に関して別々に説明を行ったが、１つの処理回路により順次各部での処理を行うようにしてもよい。

図２に示された測定対象距離取得部１２０は、第１撮影画像の撮影位置から第１撮影画像内の測定対象物１までの測定対象距離を取得する。ここでいう、測定対象距離とは、第１撮影画像の撮影位置である第１撮影位置から撮影位置測定対象の概算的な距離をいう。測定対象距離は、様々の方法により求めることができる。例えば、レーザー照射によるレンジファインダー等により、測定対象距離を求めることもできるし、マニュアルフォーカス（ＭＦ）やオートフォーカス（ＡＦ）により測定対象距離を求めることができる。又、予め第１撮影位置から測定対象物１との距離が既知の場合は、その値を測定対象距離として使用することが可能である。

図２に示された測定対象位置算出部１２５は、第１撮影画像の撮影における光軸上の位置であって、第１撮影画像の撮影位置である第１撮影位置から取得した測定対象距離だけ離れた３次元空間上の測定対象位置Ｅを算出する。図３において、測定対象位置Ｅを算出の仕方に関して詳しく説明する。

図３では、第１撮影画像を撮影する第１撮影位置における撮像装置３１が示されている。又、第２撮影画像を撮影する第２撮影位置における撮像装置３３が示されている。撮像装置３１の撮影における光軸が直線Ａで、及び撮像装置３３の撮影における光軸が直線Ｂで示されている。撮像装置３１と撮像装置３３とを結ぶ直線が直線Ｃで表されている。又、第２撮影画像を撮影する第２撮影位置における撮像装置３３の撮影画角（撮影範囲）が、点線で示されている。そして、測定対象位置算出部１２５は、撮像装置３１の撮影における光軸である直線Ａ上であって、測定対象距離分だけ第１撮影位置から離れた位置Ｅ（符号３５）を測定対象位置Ｅとして算出する。測定対象位置Ｅ（符号３５）は、３次元空間上の位置として特定され、ＸＹＺの座標として特定されてもよい。

図２に示された撮影範囲算出部１３０は、第２撮影画像情報取得部１１５により取得した第２撮影画像の撮影位置、撮影方向、画角（焦点距離と撮像素子の大きさによって算出される）に基づいて、第２撮影画像に対応する撮影範囲を算出する。図４において、詳しく撮影範囲算出部１３０の第２撮影画像に対応する撮影範囲の算出の仕方を説明する。

図４では、第２撮影画像を撮影した撮像装置３３と、第２撮影画像３９と、第２撮影画像３９に対応する四角錐状の撮影範囲３７とが示されている。撮影範囲３７は、知られている様々な計算方法により求めることができる。例えば、第２撮影画像３９を撮影における第２撮影位置における撮像装置３３の光軸（図３中の直線Ｂ）、第２撮影画像３９を撮影における画角から求めることができる。尚、算出される撮影範囲３７は、四角錐状に限定されることはなく様々な形状であってもよい。

図２に示された判定部１３５は、算出した撮影範囲３７内に算出した測定対象位置Ｅが入っているか否かを判別し、判別した結果に基づいて、第１撮影画像と第２撮影画像が画像ペアであるか否かを判定する。具体的には、先ず、図３で説明を行った測定対象位置Ｅが、図４で説明を行った第２撮影画像３９に対応する撮影範囲３７内に入っているか（存在するか）を判別する。そして、測定対象位置Ｅが第２撮影画像３９に対応する撮影範囲３７内に入っている場合には、第１撮影画像と第２撮影画像とは、３次元計測に使用する画像ペアであると判定する。一方、測定対象位置Ｅが第２撮影画像３９に対応する撮影範囲３７内に入っていない場合には、第１撮影画像と第２撮影画像とは、３次元計測に使用する画像ペアでないと判定する。図３にて説明を行ったように、測定対象位置Ｅは、３次元空間の位置（例えば、ＸＹＺの空間座標）で特定される。又、図４で説明を行ったように第２撮影画像３９に対応する撮影範囲３７の空間領域を求めることができる。したがって、判定部１３５は、測定対象位置Ｅが第２撮影画像３９に対応する撮影範囲３７に入っているか否かを判別することができる。

図５には、画像判定装置１００の動作フロー図である。画像判定装置１００の動作を図５に沿って説明する。先ず、第１撮影画像選択部１０１により、撮影画像記憶部１４０に記憶されている複数の撮影画像から第１撮影画像が選択され（第１撮影画像選択ステップ）、第２撮影画像選択部１１０により、撮影画像記憶部１４０に記憶されている複数の撮影画像から第２撮影画像が選択される（第２撮影画像選択ステップ）（ステップＳ１０）。

そして、第１撮影画像情報取得部１０５により、第１撮影画像の第１撮影位置及び撮影方向が取得され（第１撮影画像情報取得ステップ）、第２撮影画像情報取得部１１５により、第２撮影画像の第２撮影位置、撮影方向、及び画角が取得される（第２撮影画像情報取得ステップ）（ステップＳ１５）。さらに、測定対象距離取得部１２０により、第１撮影位置と測定対象物１との距離である測定対象距離が取得される（測定対象距離取得ステップ）（ステップＳ２５）。

次に、第１撮影画像の撮影における光軸上の位置であって、第１撮影位置から測定対象距離だけ離れた３次元空間上の測定対象位置Ｅが取得（算出）される（測定対象位置算出ステップ）（ステップＳ３０）。そして、撮影範囲算出部１３０により、第２撮影画像の撮影位置、撮影方向、画角に基づいて、撮影範囲が取得（算出）される（撮影範囲算出ステップ）（ステップＳ３５）。

次に、判定部１３５により、算出された撮影範囲内に算出された測定対象位置Ｅが入っているか否かを判別する（判定ステップ）（ステップＳ４０）。判定部１３５により、撮影範囲に測定対象位置Ｅが入っていると判別された場合は、第１撮影画像と第２撮影画像とは画像ペアであると判定され（ステップＳ４５）、画像判定装置１００の一つの動作フローは終了となる。一方、撮影範囲に測定対象位置Ｅが入っていないと判断された場合には、第１撮影画像又は第２撮影画像を別の撮影画像に変更されるように、第１撮影画像選択部１０１又は第２撮影画像選択部１１０が制御される（ステップＳ５０）。

本発明の画像判定装置の態様を採用することにより、測定対象位置Ｅが第２撮影画像に対応する撮影範囲に入っているかを検証する為、３次元計測に使用する画像ペアを的確に及び迅速に判定することが可能である。

［撮影画像を取得する撮像装置］
画像判定装置１００における第１撮影画像選択部１０１及び第２撮影画像選択部１１０により、複数の撮影画像から、第１撮影画像及び第２撮影画像が選択される。複数の撮影画像は、様々な撮像装置によって取得することが可能である。本発明の画像判定装置１００により、３次元計測を行うことが可能であれば、どのような撮像装置で取得された撮影画像であっても使用可能である。

図６には、本発明の画像判定装置１００に使用可能な撮影画像を取得することができる撮像装置の例を示す。

図６に示された撮像装置２１０は、撮像した画像を内部メモリ（メモリ部２２６）、又は外部の記録メディア（図示せず）に記録するデジタルカメラであり、装置全体の動作は、中央処理装置（ＣＰＵ）２１２によって統括制御される。

撮像装置２１０には、シャッタボタン（シャッタースイッチ）、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部２１４が設けられている。この操作部２１４からの信号はＣＰＵ２１２に入力され、ＣＰＵ２１２は入力信号に基づいて撮像装置２１０の各回路を制御する。例えば、ＣＰＵ２１２はデバイス制御部２１６を介してレンズ部２１８、シャッタ２２０、撮像素子２２２を制御するとともに、撮影動作（露光開始から露光完了まで）制御、画像処理制御、画像データの記録／再生制御、表示部２２５の表示制御などを行う。

レンズ部２１８は、フォーカスレンズ、ズームレンズ、絞り等を含み、レンズ部２１８及びシャッタ２２０を通過した光束は、撮像素子２２２の受光面に結像される。

撮像素子２２２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型、ＸＹアドレス型、又はＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のカラーイメージセンサであり、多数の受光素子（フォトダイオード）が２次元配列されている。各受光素子の受光面に結像された被写体像は、その入射光量に応じた信号電圧（又は電荷）に変換される。

撮像素子２２２に蓄積された信号電荷は、デバイス制御部２１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２２から読み出された電圧信号は、Ａ／Ｄ変換器２２４に加えられ、ここで、順次カラーフィルタ配列に対応するデジタルのＲ、Ｇ、Ｂ信号に変換され、一旦、メモリ部２２６に保存される。

メモリ部２２６は、揮発性メモリであるＳＤＲＡＭや、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ等を含み、ＳＤＲＡＭは、ＣＰＵ２１２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、本発明に係る画像処理プログラムを含むカメラ制御プログラム、撮像素子２２２の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。

画像処理部２２８は、メモリ部２２６に一旦格納されたデジタルの画像信号に対して、本発明に係るキズ補正処理、ホワイトバランス補正、ガンマ補正処理、デモザイキング処理、ＹＣ処理等の所定の信号処理を行う。尚、撮像素子２２２の欠陥画素（キズ画素）に対するキズ補正処理の詳細については後述する。

画像処理部２２８で処理された画像データは、エンコーダ２３０において画像表示用のデータにエンコーディングされ、ドライバ２３２を介してカメラ背面に設けられている表示部２２５に出力される。これにより、被写体像が連続的に表示部２２５の表示画面上に表示される。

操作部２１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ２１２は、ＡＦ動作及びＡＥ動作を開始させ、デバイス制御部２１６を介してレンズ部２１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＣＰＵ２１２は、シャッタボタンの半押し時にＡ／Ｄ変換器２２４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、決定した露出条件により絞り、シャッタ２２０及び撮像素子２２２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子２２２から読み出され、Ａ／Ｄ変換器２２４によりＡ／Ｄ変換されたＲＧＢのモザイク画像の画像データは、メモリ部２２６一時的に記憶される。

メモリ部２２６に一時的に記憶された画像データは、画像処理部２２８により適宜読み出され、ここでキズ補正処理、ホワイトバランス補正、ガンマ補正処理、デモザイキング処理、ＹＣ処理等を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ方式）に従って圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆファイル）形式で内部メモリや外部メモリに記録される。

撮像装置２１０は、ＧＰＳ２４２を有する。ＧＰＳ２４２は、ＣＰＵ２１２により制御され、撮像装置２１０の位置（撮影位置）を得ることができる。具体的には、撮像装置２１０が測定対象物１の撮影における撮影位置に関する情報をＧＰＳ２４２により得ることができる。又、撮影位置に関する情報を取得することができれば、撮像装置２１０がＧＰＳを有することには限定されない。

撮像装置２１０は、ジャイロセンサ２４４（ジャイロスコープ）を有する。ジャイロセンサ２４４は、ＣＰＵ２１２により制御され、撮像装置２１０の撮影方向（チルト方向）を特定する。尚、撮像装置２１０の撮影方向（チルト方向）に関する情報を取得することができれば、撮像装置２１０がジャイロセンサを有することには限定されない。

撮像装置２１０は、電子コンパス２４６を有する。電子コンパス２４６は、ＣＰＵ２１２により制御され、撮像装置２１０の撮影方向（パン方向）の向きを特定する。尚、撮像装置２１０の撮影方向（パン方向）の向きを特定することができれば、撮像装置２１０が電子コンパス２４６を有することに限定はされない。

図６では、本発明の画像判定装置１００に使用可能な撮影画像を取得する撮像装置として説明をしてきが、撮像装置が本発明の画像判定装置１００を有する実施形態もある。すなわち、他の実施形態として、画像判定装置１００を有する撮像装置が挙げられる。又、画像判定装置１００はコンピュータに備えられ、撮像装置で撮影された複数の撮影画像がコンピュータに取り込まれて、コンピュータ内にある画像判定装置１００が画像判定の処理を行ってもよい。

［画像判定装置の変形例１］
画像判定装置１００は、判定部１３５において、さらに、第１撮影位置での撮像装置と第２撮影位置での撮像装置との基線長Ｌを含む、下記［数１］で表される分解能ΔＺの値が閾値以下の場合は、第１撮影画像と第２撮影画像とを画像ペアと判定してもよい。

ここで、ΔＺとは分解能を表し、Ｚは測定対象距離取得部１２０に取得される第１撮影位置と測定対象物１との距離である。ｆは焦点距離である。ｐは、第１撮影画像を取得した撮像装置の撮像素子の画素ピッチである。Ｌは、第１撮影位置での撮像装置と第２撮影位置での撮像装置との基線長をあらわす。焦点距離ｆや撮像素子の画素ピッチｐの取得方法は特に限定されない。すなわち、第１撮影画像に焦点距離ｆや撮像素子の画素ピッチｐに関する情報が付されおり、判定部１３５はその情報を取得してもよいし、別途画像判定装置１００に焦点距離ｆや画素ピッチｐの値を入力してもよい。尚、本説明では第１撮影位置での撮像装置と第２撮影位置での撮像装置との間の距離を、基線長として設定するが、これに限定されるものではなく、第１撮影位置での撮像装置と第２撮影位置での撮像装置との間の距離を示す情報であれば様々な形態の情報を採用することができる。

図７は、画像判定装置１００の変形例１に関する動作フロー図である。図５の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図７に記載された動作フロー図と図５に記載された動作フロー図を比較すると、図７に記載された動作フロー図では、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っている否かの判断（ステップＳ４０）が行われた後に、分解能ΔＺが取得される（ステップＳ４２）及び分解能ΔＺは閾値以下であるか否かの判断がおこなわれている（ステップＳ４３）点で異なる。

図７で示されたフロー図では、判定部１３５によって、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っているか否かが判断され（ステップＳ４０）、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っていると判断された場合には、次に第１撮影画像と第２撮影画像との分解能ΔＺが取得される（ステップＳ４２）。そして、判定部１３５により、取得された分解能ΔＺが閾値以下であるか否かの判定が行われる（ステップＳ４３）。尚、閾値は撮影環境や、３次元計測に関する影響によって決定されればよく、特に限定されるものではない。測定対象距離に対して１％程度の分解能ΔＺであれば３次元形状としてほぼ問題のないレベルで生成できることが確認されている。したがって、１０ｍ先にある対象物であれば、必要な分解能は０．１ｍ程度となる。

そして、判定部１３５により第1撮影画像と第２撮影画像との分解能が閾値以下と判断されると、判定部１３５は第１撮影画像と第２撮影画像を画像ペアとして判定する。

画像判定装置１００の変形例１の態様を採用することにより、画像ペアの判定する基準に分解能が追加され、より正確な３次元計測を行うことができる画像ペアが選択される。

尚、分解能ΔＺの取得（ステップＳ４２）及び分解能ΔＺが閾値よりも大きいか否かの判断（ステップＳ４３）は、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っているか否かの判断（ステップＳ４０）の前に行われてもよい。

［画像判定装置の変形例２］
画像判定装置１００において、第２撮影画像選択部１１０は、第１撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長Ｌｘを含む、下記［数２］で表せる分解能ΔＺの値が閾値以下である撮影画像を第２撮影画像として選択してもよい。

ここで、ΔＺとは分解能を表し、Ｚは測定対象距離取得部１２０に取得される第１撮影位置と測定対象物１との距離である。ｆは焦点距離である。ｐは、第１撮影画像を取得した撮像装置の撮像素子の画素ピッチである。Ｌｘは、第１撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長をあらわす。焦点距離ｆや撮像素子の画素ピッチｐの取得方法は特に限定されない。すなわち、第１撮影画像に焦点距離ｆや撮像素子の画素ピッチｐに関する情報が付されおり、判定部１３５はその情報を取得してもよいし、別途、画像判定装置１００に焦点距離ｆや画素ピッチｐの値を入力してもよい。尚、本説明では第１撮影位置での撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との間の距離を、基線長として設定するが、これに限定されるものではなく、第１撮影位置での撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との間の距離を示す情報であれば様々な形態の情報を採用することができる。

図８は、画像判定装置１００の変形例２に関する動作フロー図である。図５の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図８に記載された動作フロー図と図５に記載された動作フロー図を比較すると、図５に記載された動作フロー図では、分解能ΔＺが取得される（ステップＳ４２）、分解能ΔＺは閾値以下であるかの判断がおこなわれている（ステップＳ４３）、及び分解能ΔＺが閾値以下でないと判断された場合に１つの撮影が別の撮影画像に変更される（ステップＳ５１）点で異なる。又、画像判定装置１００の変形例２では、第２撮影画像選択部１１０は、分解能ΔＺが閾値以下であると判断した（ステップＳ２８）後に、第２撮影画像を決定する点で、図２で示された画像判定装置１００とは異なる。すなわち、画像判定装置１００の変形例２では、第２撮影画像選択部１１０は、測定対象距離部から測定対象距離の情報を取得し、分解能ΔＺを算出し、分解能ΔＺが閾値以下であるかを判断して、選択した１つの撮影画像が第２撮影画像であると決定する。

図８で示されるフロー図では、測定対象距離が取得された（ステップＳ２６）後に、第２撮影画像選択部１１０により、分解能ΔＺが取得される（ステップＳ２７）。そして、第２撮影画像選択部１１０により、分解能ΔＺが閾値以下であるか否かの判定が行われる（ステップＳ２８）。分解能ΔＺが閾値以下であると判断された場合は、第２画像選択部は、選択した１つの撮影画像を第２撮影画像と判断する。そして、測定対象位置取得部により、測定対象位置Ｅが取得される（ステップＳ３０）。一方、第２撮影画像部により、分解能ΔＺが閾値以下でないと判断された場合には、１つの撮影画像が別の撮影画像に変更される（ステップＳ５１）。尚、閾値は撮影環境や、３次元計測に関する影響によって決定されればよく、特に限定されるものではない。測定対象距離に対して１％程度の分解能であれば３次元形状としてほぼ問題のないレベルで生成できることが確認されている。したがって、１０ｍ先にある対象物であれば、必要な分解能は０．１ｍ程度となる。

画像判定装置１００の変形例２の態様を採用することにより、画像ペアの判定する基準に分解能が追加され、より正確な３次元計測を行うことができる画像ペアが選択される。又、第２撮影画像選択部１１０が分解能ΔＺの値が閾値以下の撮影画像を選択する為、第２撮影画像が選択された後の余分な計算が軽減される。

［画像判定装置の変形例３］
画像判定装置１００において、判定部１３５は、さらに、第１撮影位置での撮像装置の光軸と、第１撮影位置の撮像装置と第２撮影位置での撮像装置とを結ぶ直線Ｃとが成す角度αと、第２撮影位置での撮像装置の光軸と直線Ｃとが成す角度βの各々が、４５°以上１３５°以内の場合は、第１撮影画像と第２撮影画像とを画像ペアと判定してもよい。

図９において、角度α及び角度βについて説明する。図９では、第１撮影画像を撮影する第１撮影位置における撮像装置３１、第２撮影画像を撮影する第２撮影位置における撮像装置３３が示されている。又、撮像装置３１の撮影における光軸が直線Ａで、及び撮像装置３３の撮影における光軸が直線Ｂで示されている。撮像装置３１と撮像装置３３とを結ぶ直線が直線Ｃで表されている。そして、直線Ａと直線Ｃとが成す角をα、直線Ｂと直線Ｃとが成す角をβとして表されている。

図９の（Ａ）部分では、適切な撮像装置３１と撮像装置３３の位置関係を示している。すなわち、角度α及び角度βが４５°以上１３５°以内の範囲にあり、撮像装置３１で撮影した撮影画像と撮像装置３３で撮影した撮影画像は、３次元計測を行う上で適した画像ペアとなる。尚、角度αと角度βの範囲は、３次元計測を行う上で適した画像ペアを取得することができればよく、特に限定されない。例えば、角度αと角度βは、６０°以上１２０°以内の範囲にあってもよい。

図９の（Ｂ）部分及び（Ｃ）部分では、不適切な撮像装置３１と撮像装置３３の位置関係を示している。図９の（Ｂ）部分では、角度α及び角度βが４５°以下であり、撮像装置３１と撮像装置３３は不適切な位置関係である。又、図９の（Ｃ）部分では、角度αは１３５°よりも大きく、角度βは４５°よりも小さく、撮像装置３１と撮像装置３３は、不適切な位置関係である。撮像装置３１と撮像装置３３が不適切な位置にある場合、撮像装置３１と撮像装置３３で取得された撮影画像により画像ペアを作成し、３次元計測を行おうとすると正確な３次元計測が行えない場合がある。

図１０は、画像判定装置１００の変形例３に関する動作フロー図である。図５の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図１０に記載された動作フロー図と図５に記載された動作フロー図を比較すると、図１０に記載された動作フロー図では、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っている否かの判断（ステップＳ４０）が行われた後に、直線Ａと直線Ｃとの成す角度αと直線Ｂと直線Ｃとの成す角度βが算出される点（ステップＳ５２）、及び角度α及び角度βが４５°以上１３５°以内であるか否かの判断を行っている（ステップＳ５３）点において異なる。

図１０に示されたフロー図では、判定部１３５によって、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っているか否かが判断され（ステップＳ４０）、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っていると判断された場合、直線Ａと直線Ｃとの成す角度αと直線Ｂと直線Ｃとの成す角度βが算出される（ステップＳ５２）。そして、判定部１３５により、角度α及び角度βが４５°以上１３５°以内であるか否かの判断（ステップＳ５３）が行われる。角度α及び角度βが４５°以上１３５°以内である場合には、第１撮影画像と第２撮影画像とは画像ペアであると、判定部１３５により判定される（ステップＳ４５）。一方、角度α及び角度βが４５°以上１３５°以内でない場合には、第１又は第２撮影画像が別の撮影画像に変更される（ステップＳ５０）。尚、直線Ａと直線Ｃとの成す角度αと直線Ｂと直線Ｃとの成す角度βの算出（ステップＳ５２）及び角度α及び角度βが４５°以上１３５°以内であるか否かの判断（ステップＳ５３）は、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っているか否かの判断（ステップＳ４０）の前に行われてもよい。

画像判定装置１００の変形例３の態様を採用することにより、画像ペアの判定する基準に角度α及び角度βが追加され、より正確な３次元計測を行うことができる画像ペアが選択される。

［画像判定装置の変形例４］
画像判定装置１００において、第２撮影画像選択部１１０は、さらに、第１撮影位置での撮像装置の光軸と、第１撮影位置の撮像装置と複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置とを結ぶ直線とが成す角度αと、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸と直線が成す角度βの各々が４５°以上１３５°以内である撮影画像を第２撮影画像として選択してもよい。

すなわち、画像判定装置１００の変形例４における第２撮影画像選択部１１０は、１つの撮影画像を選択し、第１撮影画像と１つの撮影画像とに関する角度αと角度βを取得し、角度αと角度βが４５°以上１３５°以内である場合に、１つの撮影画像を第２撮影画像と決定する。尚、画像判定装置１００の変形例４の場合は、図９の説明で撮像装置３３は、１つの撮影画像を撮影する撮像装置と考える。

図１１は、画像判定装置１００の変形例４に関する動作フロー図である。図５の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図１１に記載された動作フロー図と図５に記載された動作フロー図を比較すると、図１１に記載された動作フロー図では、直線Ａと直線Ｃとの成す角度αと直線Ｂと直線Ｃとの成す角度βの算出（ステップＳ５２）及び角度α及び角度βが４５°以上１３５°以内であるか否かの判断（ステップＳ５３）、及び角度α及び角度βが４５°以上１３５°以内でない場合に１つの撮影が別の撮影画像に変更される（ステップＳ５１）点で異なる。又、画像判定装置１００の変形例４では、第２撮影画像選択部１１０は、角度α及び角度βが４５°以上１３５°以内であるか否かを判断（ステップＳ５３）した後に、第２撮影画像を決定する点で、図２に示された画像判定装置１００とは異なる。

図１１は、画像判定装置１００の変形例４の動作フロー図である。図５の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図１１に記載された動作フロー図と図５に記載された動作フロー図を比較すると、図１１に記載された動作フロー図では、直線Ａと直線Ｃとの成す角度αと直線Ｂと直線Ｃとの成す角度βが算出される点（ステップＳ５５）、角度α及び角度βが４５°以上１３５°以内であるか否かの判断を行っている（ステップＳ５６）点において異なる。又、角度α及び角度βが４５°以上１３５°以内でない場合は、１つの撮影画像が別の撮影画像に変更される（ステップＳ５１）点も図５に記載された動作フロー図とは異なる。

画像判定装置１００の変形例４では、第２撮影画像選択部１１０は、角度α及び角度βが４５°以上１３５°以内であると判断した（ステップＳ５６）後に、第２撮影画像を決定する点で、図２に示された画像判定装置１００とは異なる。すなわち、画像判定装置１００の変形例４では、第２撮影画像選択部１１０は、測定対象距離取得部１２０から第１撮影画像に関する情報を取得し、角度α及び角度βを算出し、角度α及び角度βが４５°以上１３５°以内であると判断して、選択した１つの撮影画像が第２撮影画像であると決定する。

図１１で示されるフロー図では、第２撮影画像選択部１１０により、直線Ａと直線Ｂとが成す角度αと直線Ｂと直線Ｃとが成す角度βとが算出される（ステップＳ５５）。そして、第２撮影画像選択部１１０により、角度α及び角度βが４５°以上１３５°以内であるか否かが判断される。角度α及び角度βが４５°以上１３５°以内であると判断された場合は、第２画像選択部は、選択した１つの撮影画像を第２撮影画像と判断する。そして、測定対象位置算出部１２５により、測定対象位置Ｅが取得される（ステップＳ３０）。一方、第２撮影画像選択部１１０により、角度α及び角度βが４５°以上１３５°以内でないと判断された場合は、１つの撮影画像が別の撮影画像に変更される（ステップＳ５１）。

画像判定装置１００の変形例４の態様を採用することにより、画像ペアの判定する基準に角度αと角度βが追加され、より正確な３次元計測を行うことができる画像ペアが選択される。又、第２撮影画像選択部１１０が角度α及び角度βを考慮して第２撮影画像を選択する為、第２撮影画像が選択された後の余分な計算が軽減される。

［画像判定装置の変形例５］
画像判定装置１００において、判定部１３５は、さらに、測定対象位置Ｅと第２撮影画像の撮影位置における撮像装置の光軸との距離Ｓが閾値以下の場合は、第１撮影画像と第２撮影画像とを画像ペアと判定してもよい。図１２において、距離Ｓについて説明する。

図１２の（Ａ）部分では、第１撮影画像を撮影する第１撮影位置における撮像装置３１が示されている。又、第２撮影画像を撮影する第２撮影位置における撮像装置３３が示されている。撮像装置３１の撮影における光軸が直線Ａで、及び撮像装置３３の撮影における光軸が直線Ｂで示されている。撮像装置３１と撮像装置３３とを結ぶ直線が直線Ｃで表されている。又、測定対象位置はＥで表されている。

図１２の（Ｂ）部分では、図１２の（Ａ）部分の点線部分の拡大図を示している。又、直線Ｂと測定対象位置Ｅとの距離Ｓを示している。距離Ｓが短いほど、第１撮影画像と第２撮影画像の重なりが大きくなり、３次元計測における画像ペアとして適したものとなる。距離Ｓの閾値としては、特に限定されるものではなく、測定対象物の大きさや、撮影画像を取得する撮像装置の性能、３次元計測における精度等によって様々な値を採用することができる。例えば、距離Ｓが５ｍ以下、好ましくは３ｍ以下、さらに好ましくは１ｍ以下であれば、測定対象物が建築物等の大きなものであっても良好な精度の３次元計測を行える画像ペアを選択することができる。又、距離Ｓが１００ｃｍ以下、好ましくは８０ｃｍ以下、さらに好ましくは５０ｃｍ以下であれば、高い精度が求められた３次元計測を行える画像ペアを選択することができる。

図１３は、画像判定装置１００の変形例５に関する動作フロー図である。図５の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図１３に記載された動作フロー図と図５に記載された動作フロー図を比較すると、図１３に記載された動作フロー図では、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っている否かの判断（ステップＳ４０）が行われた後に、測定対象位置Ｅと直線Ｂとの距離Ｓが算出される（ステップＳ６０）と、距離Ｓが閾値以下であるか否かの判断（ステップＳ６１）が行われている点で異なる。

図１３に示されたフロー図では、判定部１３５によって、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っているか否かが判断され（ステップＳ４０）、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っていると判断された場合、測定対象位置Ｅと直線Ｂとの距離Ｓが算出される（ステップＳ６０）。そして、判定部１３５により、距離Ｓが閾値以下であるか否かの判断（ステップＳ６１）が行われる。距離Ｓが閾値以下である場合には、第１撮影画像と第２撮影画像とは画像ペアであると、判定部１３５により判定される（ステップＳ４５）。一方、距離Ｓが閾値以下である場合には、第１又は第２撮影画像が別の撮影画像に変更される（ステップＳ５０）。尚、測定対象位置Ｅと直線Ｂとの距離Ｓの算出（ステップＳ６０）及び距離Ｓが閾値以下であるか否かの判断（ステップＳ６１）は、第２撮影画像に対応する撮影範囲に測定対象位置Ｅが入っているか否かの判断（ステップＳ４０）の前に行われてもよい。

画像判定装置１００の変形例５の態様を採用することにより、画像ペアの判定する基準に距離Ｓが追加され、より正確な３次元計測を行うことができる画像ペアが選択される。

［画像判定装置の変形例６］
画像判定装置１００において、第２撮影画像選択部１１０は、さらに、測定対象位置Ｅと複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸との距離Ｓが閾値以下となる撮影画像を第２撮影画像として選択してもよい。

すなわち、画像判定装置１００の変形例６における第２撮影画像選択部１１０は、測定対象位置Ｅと直線Ｂとの距離Ｓを算出し、距離Ｓが閾値以下である場合に、１つの撮影画像を第２撮影画像と決定する。尚、画像判定装置１００の変形例６の場合は、図１２の説明で撮像装置３３は、１つの撮影画像を撮影する撮像装置と考える。

図１４は、画像判定装置１００の変形例６に関する動作フロー図である。図５の動作フロー図と同様である箇所は、同じ符号を付し説明は省略する。図１４に記載された動作フロー図と図５に記載された動作フロー図を比較すると、図１４に記載された動作フロー図では、測定対象位置Ｅと直線Ｂとの距離Ｓが算出される（ステップＳ６３）、距離Ｓが閾値以下であるか否かの判断（ステップＳ６４）が行われる、及び距離Ｓが閾値より大きい場合に１つの撮影が別の撮影画像に変更される（ステップＳ５１）点で異なる。又距離Ｓが閾値以下であるか否かの判断（ステップＳ６４）した後に、第２撮影画像を決定する点で、図２に示された画像判定装置１００とは異なる。

画像判定装置１００の変形例６では、第２撮影画像選択部１１０は、距離Ｓが閾値以下である否かを判断（ステップＳ６４）した後に、第２撮影画像を決定する点で、図２に示された画像判定装置１００とは異なる。すなわち、画像判定装置１００の変形例６では、第２撮影画像選択部１１０は、測定対象位置Ｅに関する情報を測定対象位置算出部１２５から取得し、距離Ｓは閾値以下であると判断して、選択した１つの撮影画像が第２撮影画像であると決定する。

図１４で示されるフロー図では、測定対象位置Ｅが取得された（ステップＳ３０）後に、第２撮影画像選択部１１０により、測定対象位置Ｅと直線Ｂとの距離Ｓが算出される（ステップＳ６３）。そして、第２撮影画像選択部１１０により、距離Ｓが閾値以下であるか否かが判断（ステップＳ６４）される。距離Ｓが閾値以下であると判断された場合は、第２画像選択部は、選択した１つの撮影画像を第２撮影画像と判断する。そして、撮影範囲算出部１３０により、第２撮影画像に対応する撮影範囲が取得される。一方、第２撮影画像部により、距離Ｓが閾値以下であると判断された場合は、１つの撮影画像が別の撮影画像に変更される（ステップＳ５１）。

画像判定装置１００の変形例６の態様を採用することにより、画像ペアの判定する基準に距離Ｓが追加され、より正確な３次元計測を行うことができる画像ペアが選択される。又、第２撮影画像選択部１１０が距離Ｓを考慮して第２撮影画像を選択する為、第２撮影画像が選択された後の余分な計算が軽減される。

［画像判定装置の変形例７］
画像判定装置１００において、判定部１３５により判定された複数の画像ペアを記憶する記憶部が備えられてもよい。さらに、記憶部に記憶された複数の画像ペアにおいて、画像ペアのうち第１撮影画像又は第２撮影画像が同一であるペア群の中から、最も分解能ΔＺが高いペアを分解能最適ペアと判定する分解能最適ペア判定部を備えていてもよい。

図１５には、図７に記載された画像判定装置１００の動作フローと同様にして画像ペアを選択し、その後に、画像ペアが記憶部（画像ペア記憶部）に記憶され（ステップＳ１０１）、第１撮影画像が同一であるペア群の中から分解能ΔＺが最も高い画像ペアが選択されている（ステップＳ１０５）。

画像ペアが記憶される記憶部は、画像判定装置１００内に備えられている。しかし、これに限定されるものでは無く、記憶部は、画像判定装置１００外に備えられていてもよい。又、記憶部は、判定部１３５により判定された画像ペアを１つのファイルとして記憶することが好ましい。例えば、マルチピクチャフォーマットとして記録することが好ましいが、これに限られるものではない。又、画像ペアと共に、測定対象距離や第１撮影画像及び第２撮影画像を撮影した撮像装置の向き、基線長等の画像ペアに関する情報を記録することが好ましい。尚、画像ペアの記憶部や、画像ペアの記憶の方法等は、画像判定装置１００の変形例７における態様に限定されるものではなく、他の画像判定装置１００の態様でも同様である。

記憶部に記憶された画像ペアにおいて、第１撮影画像又は第２撮影画像が同一である画像ペア群として、その画像ペア群の中から、分解能ΔＺが最も高い画像ペアが分解能最適ペア判定部により選択される。

画像判定装置の変形例７の態様を採用することにより、最も分解能ΔＺが高い画像ペアを選択することが可能となり、より精度の高い３次元計測を行うことができる。

［画像判定装置の変形例８］
画像判定装置１００において、判定部１３５により判定された複数の画像ペアを記憶する記憶部と、記憶部に記憶された複数の画像ペアにおいて、画像ペアのうち第１撮影画像又は第２撮影画像が同一であるペア群の中から、最も距離Ｓが短いペアを距離Ｓ最適ペアと判定する距離Ｓ最適ペア判定部と、をさらに備えてもよい。

図１６には、図８及び図１４に記載された画像判定装置１００の動作フローにより画像ペアが選択されている。すなわち、測定対象位置Ｅが取得される（ステップＳ３０）までの動作フローは図８に記載されているものと同様である。その後の、画像ペアとして判定する（ステップＳ４５）までは、図１４に記載された画像判定装置１００の動作フローと同様である。

その後に、画像ペアが記憶部（画像ペア記憶部）に記憶され（ステップＳ１０１）、距離Ｓ最適ペア判定部により、第１撮影画像又は第２撮影画像が同一であるペア群の中から距離Ｓが最も短い画像ペアが選択されている（ステップＳ１０５）。

画像判定装置の変形例８の態様を採用することにより、最も距離Ｓの短い画像ペアを選択することができ、より精度の高い３次元計測を行うことができる。

本発明の目的は、上述した画像判定装置を備える３次元計測装置でも達成することができる。画像判定装置により判定された画像ペアを３次元計測装置に使用することにより、より正確に及びより迅速に３次元計測を行うことができる。

本発明の目的は、上述した実施形態で示したフローの手順を実現するプログラムコード（プログラム）を記憶した記憶媒体から、システムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が、そのプログラムコードを読出し実行することによっても達成される。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う場合も含まれる。

さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。

又、前述した実施形態のフローの各ステップは、ソフトウェア（コンピュータ）を用いて実現するものに限るものではなく、ハードウェア（電子回路）を用いて実現してもよい。

［撮像装置の変形例］
本発明の画像判定装置１００を含む撮像装置、又は本発明の画像判定装置１００に供給される複数の撮影画像を撮影する撮像装置の実施形態として、図６ではデジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の撮影装置としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。

本発明の撮影装置の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。以下、スマートフォン（多機能携帯電話）を例に挙げ、図面を参照しつつ、詳細に説明する。

図１７は、本発明の撮影装置の一実施形態であるスマートフォン３０１の外観を示すものである。図１７に示すスマートフォン３０１は、平板状の筐体３０２を有し、筐体３０２の一方の面に表示部としての表示パネル３２１と、入力部としての操作パネル３２２とが一体となった表示入力部３２０を備えている。又、かかる筐体３０２は、スピーカ３３１と、マイクロホン３３２、操作部３４０と、カメラ部３４１とを備えている。尚、筐体３０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１８は、図１７に示すスマートフォン３０１の構成を示すブロック図である。図１８に示すように、スマートフォンの主たる構成要素として、無線通信部３１０と、表示入力部３２０と、通話部３３０と、操作部３４０と、カメラ部３４１と、記憶部３５０と、外部入出力部３６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部３７０と、電子コンパス３７１、ジャイロセンサ３７２、モーションセンサ部３８０と、電源部３９０と、主制御部４００とを備える。又、スマートフォン３０１の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部３１０は、主制御部４００の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。かかる無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部３２０は、主制御部４００の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル３２１と、操作パネル３２２とを備える。

表示パネル３２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いたものである。操作パネル３２２は、表示パネル３２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。かかるデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部４００に出力する。次いで、主制御部４００は、受信した検出信号に基づいて、表示パネル３２１上の操作位置（座標）を検出する。

図１７に示すように、本発明の撮影装置の一実施形態として例示しているスマートフォン３０１の表示パネル３２１と操作パネル３２２とは一体となって表示入力部３２０を構成しているが、操作パネル３２２が表示パネル３２１を完全に覆うような配置となっている。かかる配置を採用した場合、操作パネル３２２は、表示パネル３２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル３２２は、表示パネル３２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル３２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル３２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。又、操作パネル３２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体３０２の大きさなどに応じて適宜設計されるものである。更に又、操作パネル３２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部３３０は、スピーカ３３１やマイクロホン３３２を備え、マイクロホン３３２を通じて入力されたユーザの音声を主制御部４００にて処理可能な音声データに変換して主制御部４００に出力したり、無線通信部３１０あるいは外部入出力部３６０により受信された音声データを復号してスピーカ３３１から出力するものである。又、図１７に示すように、例えば、スピーカ３３１を表示入力部３２０が設けられた面と同じ面に搭載し、マイクロホン３３２を筐体３０２の側面に搭載することができる。

操作部３４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１７に示すように、操作部３４０は、スマートフォン３０１の筐体３０２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部３５０は、主制御部４００の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、又ストリーミングデータなどを一時的に記憶するものである。又、記憶部３５０は、スマートフォン内蔵の内部記憶部３５１と着脱自在な外部メモリスロットを有する外部記憶部３５２により構成される。尚、記憶部３５０を構成するそれぞれの内部記憶部３５１と外部記憶部３５２は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部３６０は、スマートフォン３０１に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）、ジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン３０１に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部３６０は、このような外部機器から伝送を受けたデータをスマートフォン３０１の内部の各構成要素に伝達することや、スマートフォン３０１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部３７０は、主制御部４００の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン３０１の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部３７０は、無線通信部３１０や外部入出力部３６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部３８０は、例えば、３軸の加速度センサなどを備え、主制御部４００の指示にしたがって、スマートフォン３０１の物理的な動きを検出する。スマートフォン３０１の物理的な動きを検出することにより、スマートフォン３０１の動く方向や加速度が検出される。かかる検出結果は、主制御部４００に出力されるものである。

電源部３９０は、主制御部４００の指示にしたがって、スマートフォン３０１の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部４００は、マイクロプロセッサを備え、記憶部３５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン３０１の各部を統括して制御するものである。又、主制御部４００は、無線通信部３１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部３５０が記憶するアプリケーションソフトウェアにしたがって主制御部４００が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部３６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。

又、主制御部４００は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部３２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部４００が、上記画像データを復号し、かかる復号結果に画像処理を施して、画像を表示入力部３２０に表示する機能のことをいう。

更に、主制御部４００は、表示パネル３２１に対する表示制御と、操作部３４０、操作パネル３２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部４００は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル３２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

又、操作検出制御の実行により、主制御部４００は、操作部３４０を通じたユーザ操作を検出したり、操作パネル３２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部４００は、操作パネル３２２に対する操作位置が、表示パネル３２１に重なる重畳部分（表示領域）か、それ以外の表示パネル３２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル３２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

又、主制御部４００は、操作パネル３２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部３４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。又、カメラ部３４１は、主制御部４００の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部３５０に記録したり、外部入出力部３６０や無線通信部３１０を通じて出力することができる。図１７に示すにスマートフォン３０１において、カメラ部３４１は表示入力部３２０と同じ面に搭載されているが、カメラ部３４１の搭載位置はこれに限らず、表示入力部３２０の背面に搭載されてもよいし、あるいは、複数のカメラ部３４１が搭載されてもよい。尚、複数のカメラ部３４１が搭載されている場合には、撮影に供するカメラ部３４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部３４１を同時に使用して撮影することもできる。

又、カメラ部３４１はスマートフォン３０１の各種機能に利用することができる。例えば、表示パネル３２１にカメラ部３４１で取得した画像を表示することや、操作パネル３２２の操作入力のひとつとして、カメラ部３４１の画像を利用することができる。又、ＧＰＳ受信部３７０が位置を検出する際に、カメラ部３４１からの画像を参照して位置を検出することもできる。更には、カメラ部３４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン３０１のカメラ部３４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部３４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部３７０により取得した位置情報、マイクロホン３３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部３８０により取得した姿勢情報等などを付加して記憶部３５０に記録したり、外部入出力部３６０や無線通信部３１０を通じて出力することもできる。

又、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１…測定対象物、１００…画像判定装置、１０１…第１撮影画像選択部、１０５…第１撮影画像情報取得部、１１０…第２撮影画像選択部、１１５…第２撮影画像情報取得部、１２０…測定対象距離取得部、１２５…測定対象位置算出部、１３０…撮影範囲算出部、１３５…判定部、２１２…ＣＰＵ、２１４…操作部、２１６…デバイス制御部、２１８…レンズ部、２２０…シャッタ、２２２…撮像素子、２２４…Ａ／Ｄ変換器、２２５…表示部、２２６…メモリ部、２２８…画像処理部、２３０…エンコーダ、２３２…ドライバ、２４２…ＧＰＳ、２４４…ジャイロセンサ、２４６…電子コンパス、３０１…スマートフォン

Claims (16)

1. 複数の撮影画像から３次元計測に使用する画像ペアを判定する画像判定装置であって、
   前記複数の撮影画像から第１撮影画像を選択する第１撮影画像選択手段と、
   前記選択した第１撮影画像の撮影位置及び撮影方向を取得する第１撮影画像情報取得手段と、
   前記第１撮影画像の撮影位置である第１撮影位置から前記第１撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得手段と、
   前記第１撮影画像の撮影における光軸上の位置であって、前記第１撮影位置から前記測定対象距離だけ離れた３次元空間上の測定対象位置を算出する測定対象位置算出手段と、
   前記複数の撮影画像から第２撮影画像を選択する第２撮影画像選択手段と、
   前記選択した第２撮影画像の撮影位置である第２撮影位置、撮影方向及び画角を取得する第２撮影画像情報取得手段と、
   前記取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第２撮影画像に対応する撮影範囲を算出する撮影範囲算出手段と、
   前記算出した撮影範囲内に前記算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、前記第１撮影画像と前記第２撮影画像を画像ペアと判定する判定手段と、
   を備えた画像判定装置。
2. 前記判定手段は、さらに、前記第１撮影位置での撮像装置と前記第２撮影位置での撮像装置との基線長Ｌを含む、下記［数１］で表される分解能ΔＺの値が閾値以下の場合は、前記第１撮影画像と前記第２撮影画像とを画像ペアと判定する請求項１に記載の画像判定装置。
   
   ΔＺ ：分解能
   Ｚ ：測定対象距離
   ｆ ：焦点距離
   ｐ ：撮影画像を取得した撮像装置における撮像素子の画素ピッチ
   Ｌ ：第１撮影位置での撮像装置と第２撮影位置での撮像装置との基線長
3. 前記判定手段は、さらに、前記第１撮影位置での撮像装置の光軸と、前記第１撮影位置の撮像装置と前記第２撮影位置での撮像装置とを結ぶ直線Ｃとが成す角度αと、前記第２撮影位置での前記撮像装置の光軸と前記直線Ｃとが成す角度βの各々が、４５°以上１３５°以内の場合は、前記第１撮影画像と前記第２撮影画像とを画像ペアと判定する請求項１又は２に記載の画像判定装置。
4. 前記判定手段は、さらに、前記測定対象位置と前記第２撮影画像の撮影位置における撮像装置の光軸との距離Ｓが閾値以下の場合は、前記第１撮影画像と前記第２撮影画像とを画像ペアと判定する請求項１から３のいずれか１項に記載の画像判定装置。
5. 前記第２撮影画像選択手段は、前記第１撮影位置での撮像装置と、前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長Ｌｘを含む、下記［数２］で表せる分解能ΔＺの値が閾値以下である撮影画像を前記第２撮影画像として選択する請求項１に記載の画像判定装置。
   
   ΔＺ ：分解能
   Ｚ ：測定対象距離
   ｆ ：焦点距離
   ｐ ：撮影画像を取得した撮像装置における撮像素子の画素ピッチ
   Ｌｘ ：第１撮影位置での撮像装置と、複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置との基線長の長さ
6. 前記第２撮影画像選択手段は、さらに、前記第１撮影位置での撮像装置の光軸と、前記第１撮影位置の撮像装置と前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置とを結ぶ直線とが成す角度αと、前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸と前記直線が成す角度βの各々が４５°以上１３５°以内である前記撮影画像を前記第２撮影画像として選択する請求項１又は５に記載の画像判定装置。
7. 前記第２撮影画像選択手段は、さらに、前記測定対象位置と前記複数の撮影画像のうちの一つの撮影画像の撮影位置における撮像装置の光軸との距離Ｓが閾値以下となる前記撮影画像を前記第２撮影画像として選択する請求項１、５、及び６のいずれか１項に記載の画像判定装置。
8. 前記第１撮影画像選択手段は、前記複数の撮影画像のうちの任意の撮影画像を第１撮影画像として選択し、
   前記第２撮影画像選択手段は、前記複数の撮影画像から前記第１撮影画像以外の撮影画像のうちの任意の撮影画像を第２撮影画像として選択する請求項１から７のいずれか１項に記載の画像判定装置。
9. 前記判定手段により判定された複数の前記画像ペアを記憶する記憶手段と、
   前記記憶手段に記憶された複数の前記画像ペアにおいて、前記画像ペアのうち第１撮影画像又は第２撮影画像が同一であるペア群の中から、最も前記分解能ΔＺが高いペアを分解能最適ペアと判定する分解能最適ペア判定手段と、をさらに備える請求項２又は５に記載の画像判定装置。
10. 前記判定手段により判定された複数の前記画像ペアを記憶する記憶手段と、
    前記記憶手段に記憶された複数の前記画像ペアにおいて、前記画像ペアのうち第１撮影画像又は第２撮影画像が同一であるペア群の中から、最も前記距離Ｓが短いペアを距離Ｓ最適ペアと判定する距離Ｓ最適ペア判定手段と、をさらに備える請求項４又は７のいずれかに記載の画像判定装置。
11. 前記記憶手段は、前記判定手段により判定された前記画像ペアを１つのファイルとして記憶する請求項９又は１０に記載の画像判定装置。
12. 前記撮影範囲算出手段は、前記取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第２撮影画像に対応する四角錐状の撮影範囲を算出する請求項１から１１のいずれか１項に記載の画像判定装置。
13. 請求項１から１２のいずれか１項に記載の画像判定装置を有する撮像装置。
14. 請求項１から１２のいずれか１項に記載の画像判定装置により判定された前記画像ペアを使用して３次元計測を行う３次元計測装置。
15. 複数の撮影画像から３次元計測に使用する画像ペアを判定する画像判定方法であって、
    前記複数の撮影画像から第１撮影画像を選択する第１撮影画像選択ステップと、
    前記選択した第１撮影画像の撮影位置及び撮影方向を取得する第１撮影画像情報取得ステップと、
    前記第１撮影画像の撮影位置である第１撮影位置から前記第１撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、
    前記第１撮影画像の撮影における光軸上の位置であって、前記第１撮影位置から前記測定対象距離だけ離れた３次元空間上の測定対象位置を算出する測定対象位置算出ステップと、
    前記複数の撮影画像から第２撮影画像を選択する第２撮影画像選択ステップと、
    前記選択した第２撮影画像の撮影位置である第２撮影位置、撮影方向及び画角を取得する第２撮影画像情報取得ステップと、
    前記取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第２撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、
    前記算出した撮影範囲内に前記算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、前記第１撮影画像と前記第２撮影画像とは画像ペアと判定する判定ステップと、
    を含む画像判定方法。
16. 複数の撮影画像から３次元計測に使用する画像ペアを判定するプログラムであって、
    前記複数の撮影画像から第１撮影画像を選択する第１撮影画像選択ステップと、
    前記選択した第１撮影画像の撮影位置及び撮影方向を取得する第１撮影画像情報取得ステップと、
    前記第１撮影画像の撮影位置である第１撮影位置から前記第１撮影画像内の測定対象物までの測定対象距離を取得する測定対象距離取得ステップと、
    前記第１撮影画像の撮影における光軸上の位置であって、前記第１撮影位置から前記測定対象距離だけ離れた３次元空間上の測定対象位置を算出する測定対象位置算出ステップと、
    前記複数の撮影画像から第２撮影画像を選択する第２撮影画像選択ステップと、
    前記選択した第２撮影画像の撮影位置である第２撮影位置、撮影方向及び画角を取得する第２撮影画像情報取得ステップと、
    前記取得した第２撮影画像の撮影位置、撮影方向及び画角に基づいて、前記第２撮影画像に対応する四角錐状の撮影範囲を算出する撮影範囲算出ステップと、
    前記算出した撮影範囲内に前記算出した測定対象位置が入っているか否かを判別し、入っていると判別すると、前記第１撮影画像と前記第２撮影画像とは画像ペアと判定する判定ステップと、
    をコンピュータに実行させる為のプログラム。