JPH11514434A

JPH11514434A - Method and apparatus for determining camera position and orientation using image data

Info

Publication number: JPH11514434A
Application number: JP8535977A
Authority: JP
Inventors: エスパームチャールズ
Original assignee: シンソニクスインコーポレーテッド
Priority date: 1996-03-28
Filing date: 1996-03-28
Publication date: 1999-12-07
Also published as: EP0892911A1; AU5406796A; WO1997036147A1

Abstract

(57)【要約】１つ以上のカメラで得られた画像データと、画像が得られた後に測定することができるか、又は画像取得時に情景に配置された較正ターゲットを含むことができるかのいずれかである情景からの３点のデータを使用する、情景における物体の物理的位置を正確に測量し、かつ決定する方法及び装置が開示されている。物体は、３点に対して規定された３次元座標系に対して位置決めされている。方法及び装置は、簡単な装置及び簡単な画像処理を使用して正確な位置データを急速に設定しかつ取得できる。各情景を得るために使用されたカメラの正確な位置及び配向は画像データ、３点の位置及びカメラの光軸パラメータから決定される。 (57) Abstract: Image data obtained with one or more cameras and whether they can be measured after the image has been acquired or can include a calibration target placed in the scene at the time of image acquisition A method and apparatus for accurately measuring and determining the physical position of an object in a scene using three points of data from any scene is disclosed. The object is positioned with respect to a three-dimensional coordinate system defined for three points. The method and apparatus can quickly set and obtain accurate position data using simple devices and simple image processing. The exact position and orientation of the camera used to obtain each scene is determined from the image data, the positions of the three points and the optical axis parameters of the camera.

Description

【発明の詳細な説明】イメージデータを用いてカメラの位置及び配向を決定する方法と装置技術分野本発明は、画像処理の分野、特に、カメラで得られた画像からカメラの位置及び配向を決定する方法及び装置並びにこのような方法及び装置を使用して測量を正確に行う技術に関するものである。背景技術 1847年のステレオスコープの発明以来、発明家は、自然界で見られる３次元（３Ｄ）情景を再現しようと試みた。２次元画像は立体感がないためにリアリティに欠けている。成功の度合いは様々であるが、３Ｄ画像を生成するため多数の技術が提案された。単一のカメラ本体及び通常は両眼間の距離に対応する一定距離だけ離れた２つの対物レンズを使用する立体的な写真用カメラは公知である。他のこのようなカメラは、カメラの像平面上に置かれたフィルム上に２つの画像領域を形成する単一の対物レンズ装置及び外部装置を使用する。更に他の装置は、写真に撮られた情景の左右の視野に対応する画像を形成するように一定距離だけ離れた２つの別個のカメラを使用する。従来技術の立体的な写真撮影の画像が現像されると、この画像は、しばしば別個のアイピース、即ち、左右の眼に対してそれぞれ１つのアイピースを通して見られる。各アイピースは、現像された画像の中の、ユーザの眼が情景を直接見たならばそれぞれの眼が見たであろう画像を網膜に投影する。立体的な画像を見るとき、奥行きははっきりと認識できる。３次元画像を生成するための従来技術に関していくつかの問題点がある。まず第一に、カメラ又は対物レンズを一定の距離離して固定する必要があることはカメラの設計の自由度を制限する。２つの対物レンズ又は２つのカメラは、立体的な画像を得るために特別な装置を必要とする。従来技術に関する他の問題点は、複雑なレンズ配置が立体的な画像を見るために必要であるということである。更に、従来技術の立体的な写真方式では、奥行きは容易に定量化できない。奥行きの計算は、写真に撮られた情景と向かい合う異なる位置から得られた画像を使用する場合、困難な作業である。何故ならば、２次元プレーン上に３次元情景を投影することから生じる２次元関係は、異なる画像プレーン上に投影された同一点に対して線形変換又はマッピングを行なわないためである。一方の地点から見た情景の中の幾つかの異なった部分は、同じ情景を他の地点から見たときとは異なった関連で見られる。情景のいくつかの部分は、見る地点が変わると隠れて見えなくなるる。通常、１つの画面で見られた２次元面は、斜めに見た場合、面積が減少する。従来技術では、小さな区画内の重要な物件などの位置を識別するために土地の小区画を測量する方法及び装置は公知である。一般的には、測量技師のグループがその区画に赴き、測量技師用の携帯式経緯儀及び距離測定用の較正済基準尺を使用して距離及び角度の物理的測定を行う。これらの技術を使用する測量は、一般的には測量里程標の全国グリッドに対して基礎を置いている。この技術は、計器を読み取り、計算を実行する際にいろいろな種類のエラーを生じ易い。航空測量も公知である。画像は、測量される領域の上を移動する、最新航空技術によってその位置が正確に知られている飛行機又は他の飛行体によって得られる。次に、重要な地上の地形の位置は、しばしばスーパーコンピュータを必要とする高性能な画像処理技術を使用して計算することができる。航空測量技術は、測量される領域内の地上に人員を配置する必要なく達成できる長所を有する。近づきにくい地形をもこの方法で測量できる。然しながら、高価な画像取得装置が必要であり、非常に優れた光学装置及び画像処理の場合でも、解像度は、必ずしも好ましいというわけではない。同様に、航空機技術を使用しても垂直方向の正確な測定は行うことは困難である。犯罪現場又は考古学上の発掘現場での調査のような論争の的となる調査においては、空間関係の記録が非常に重要である。このような調査は、しばしば、ある程度の緊急性又は公共性のため短時間内に調査現場から撤退しなければならないという厳しい条件下で行われる。高速道路がラッシュアワーの間、調査のために閉鎖されるならば、交通の流れを確保することは政治的に必要不可欠な要請となる。犯罪現場の分析では、詳細が直ちに観察され、記録されなければ、貴重な証拠が失われる可能性がある。このような状況において、念入りの手作業調査するには時間がなく、航空技術は、一般的に要求される解像度を欠くか又は警察の調査手段として一般的に採用するにはあまりにも高価である。製造環境では、検査目的又はかなりの確度を有する文書化のいずれかのためにしばしば“作られた状態”の製品の物理的な詳細を測定することが求められる。製造時に、コンピュータ支援設計又はコンピュータ支援製造（ＣＡＤ／ＣＡＭ）で使用するためにワイヤフレームのような３次元（３Ｄ）表示を形成する目的で複雑な物体の物理的寸法を得ることがしばしば要求される。又、娯楽においても、３Ｄ物体の位置の変化を生じるアニメーションの作成又は３Ｄ物体の透視図を得るためにこのような３Ｄ表示を使用することが望まれる。従って、便利で、経済的であり、高性能計算装置を必要としない方法で、物体及び情景についての３Ｄ情報を正確に得る必要がある。物理的調査が困難な垂直方向の物体の物理的寸法を正確に得る必要もある。写真、ビデオフレーム又は実際の透視図にせよ、又は他の記録画像の形式にせよ、あらゆる記録画像は、記録情景に関して記録機構の配向を正確に記述する視覚位置及び視覚角度と関連している。カメラを使用して得られた画像に基づいて距離計算を行う場合、写真が撮られた時点でのカメラの位置を知ること又は写真が撮られた時点でのカメラレンズ又はレンズの系の正面から見た主点をより正確に知ることが必要である。距離を正確に計算するために、カメラから生じるようなレンズ又はレンズ系の光軸の方位、仰角及び光軸の周りの傾角を知ることも望ましいことである。従来技術では、カメラ位置は、測量技術を使用して写真が撮られた位置を決めることによって推測されるか、又は演繹的に知られるかのいずれかである。一般的には、カメラの傾角は０（左右水平）であると仮定され、仰角及び方位は、精度を変えて測定されるか、又は推測されるかのいずれかであった。明かに、このような測量及び測定によって、分析のための画像を得るのに必要なセットアップ時間は、未制御状態の下で得られる画像から収集できる定性情報と引き換えに、正確な測定の望みを放棄せざるを得ない程長く掛かる。正確な視野パラメータの必要性は、エンジニアリング測定応用からマーケティング及び販売のプレゼンテーションまで広範囲の目的でディジタル画像及びアナログ画像を使用するコンピュータユーザの人口がますます増加することによって示されている。例えば、立体写真は、事故又は犯罪の現場を調査し、文書化するためにしばしば使用されている。文書化の正確度は、写真が撮られた時点でカメラの視野パラメータを正確に知ることによって高精度で決められる。コンピュータによるレンダリングは、なお計画中であり見直し段階中の全建設プロジェクトの画像を示すため、実際の写真としばしば合成される。コンピュータレンダリングを可視的に説得力のあるように写真と合体させ、適応させるためには、コンピュータレンダリングの視野パラメータと写真を撮るカメラの視野パラメータとは、全く同一であることが要求される。一般的には、ある確立された座標系に対してカメラ位置が物理的に測定された場合でさえ、任意の所与の記録画像のための視野パラメータは未知であり、高い確度で決定することことは困難である。障害は、カメラレンズの主点が通常レンズ構造の内部にあり、従って直接測定の目的のためにアクセスできないという事実から生じる。見る角度の測定は、測量用の三脚、水準器、経緯儀を使用しないで得ることは非常に困難である。写真測量法は、写真から測定値を得るための技術である。一般に、写真測量技師は、視野パラメータを決定するのに役立つように写真上に基準マークを発生する特別のカメラ装置を使用する。然しながら、非写真測量カメラはいくつかの分析で使用することができ、関連技術は、一般に、記録シーンで識別できる多数（５点以上）の修正点の位置を知る必要がある。一般に、視野パラメータを決定するために、５点以上の修正点の３次元位置が、ある種の直交基準座標系により既知である必要がある。直接線形変換（ＤＬＴ）は、写真測量技師によって時々使用される５点の較正手順である。通常、これらの点の位置を確定することは困難であり、費用がかかり、確かに、それは、非熟練者に視野パラメータを決定する試みを思いとどまらせるのに十分な程複雑である。写真を撮る以前にきちんと制御された修正座標系を確定しなければ、ユーザが５点間で最低９つの線形寸法を知る必要がある。この要件はこの技術の使用をかなり制限する。いくつかの特殊化されたケース、例えば所定の航空測量応用では従来の写真測量法を用いて、３較正点法と同じくらい少ない較正点を使用してカメラパラメータを決定することができる。特に、チャーチリセクションモデルは、空中カメラレンズの光軸が地形上で４°又は５°の下向きの範囲内にある場合、使用することができる。垂直からの２、３度以上の角変位は、超越三角関数に関連した顕著な数学的非線型を生じる。これらの条件の下では、チャーチ後方交会法モデルは、もはや有効でなく、３点較正手順はもはや適用されない。前述の較正技術の全ては下記の多数の欠点をもつ。（ａ）この技術は、較正カメラ装置を必要とした。（ｂ）この技術は、あまりにも多数の点から成る較正ターゲットを必要としているので、非熟練者が日常の用途に常時使用するのに適していない。（ｃ）３点較正ターゲットを使用する技術は、通常のカメラの視角から離れた非常に限られた範囲においてのみ有効である。（ｄ）視野パラメータを解決する前述の方法の全ては、全ての点データに基づいて同時に操作するマトリックス演算を使用し、従って、確実に規定されていない測定パラメータは、パラメータ漏話効果によって、訳が分からず際限のないエラーを引き起こす可能性がある。発明の要約従来の技術の問題点は、本発明に従って画像内容に基づいてカメラ位置及び配向を自動的に識別することにより解決される。これは、カメラの視野内に較正ターゲットを配置するか又は予め得られた画像の情景に３つの相対的な固定点の間の距離を測定するかのいずれかによって行うことができる。これらの点のデータを使用して、各写真毎にその写真が撮られた時のカメラの位置及び配向を正確に決定することができる。カメラの位置及び配向が、２つ以上の写真の各々に対して正確に知られると、正確な３Ｄ位置情報は画像に関する全ての他の識別可能な点に対して計算することができ、従って情景又は物体の正確な調査ができる。画像は、単一のカメラで得ることができ、次に、立体画像又は立体ワイヤフレームを発生するために使用される。従って、前述の簡単な３点修正ターゲットのもつ長所以外に、本発明の他の目的及び長所は、（ａ）方位項、仰角項及びティルト項がＸ項、Ｙ項、及びＺ項の精度に影響を及ぼさないようにエラー項のデカップリングを提供すること、（ｂ）非熟練者によって効果的に利用される簡単な手順を提供すること、（ｃ）小数点以下12位又はピクセル化エラー限界の何れをも上回る精度が得られるような、全ての視野パラメータの反復相の解を提供すること、（ｄ）最少のエラーを有する解を選択する以前に、全ての可能な解を求めること、（ｅ）直角より大きな角度で３Ｄ情報を得ることができる測量方式を提供すること、にある。本発明の前記及び他の目的及び利点は、画像データを使用して相互の距離が知られている３つの点、Ａ、Ｂ及びＣを使用して規定された座標系に関して図１の点Ｄのような点の絶対三次元位置を測定する方法によって得られる。画像データは、点Ａ、Ｂ、Ｃ及びＤを含む情景の２つの画像を得るために焦点距離の知られたカメラを１つ以上使用することによって得られる。前記画像の各々が得られた時点でのカメラの位置及び配向は、前記画像から得られた情報、既知の焦点距離及び既知の距離を使用することによって前記座標系に対して決定される。従って、画像が得られた時点でのカメラの位置は、点Ｄのような点の位置を決定するために他の画像データと併用される。画像を得る時点でのカメラの位置を使用して画像データから前記点Ｄの位置を決定するステップは、カメラの位置を結ぶラインの上に原点を有する補助座標系を規定し、各画像の中心点をＸ′、Ｙ′及びＺ′方向にそれぞれ示す画像基準軸のセットの原点として規定し、第１の画像のある点及び第２の画像の対応する点のＸ′及びＹ′の方向の中の少なくとも１つのオフセットを測定し、点Ｄに結合するライン、対物レンズの焦点と画像の各々に対するＸ′プレーン又はＹ′プレーンの中の１つの点Ｄの画像との間に形成された角度を決定し、測定されたオフセット、焦点距離及び角度を使用して前記距離ｈを決定し、補助座標系における点ＤのＸ′座標及びＹ′座標を決定し、更に、補助座標系における座標（Ｘ′、Ｙ′、ｈ）を前記の３点、Ａ、Ｂ及びＣを使用して規定された前記座標系における表示に変換することを含んでいる。前記画像を画像データ、既知焦点距離及び前記既知距離を使用して前記座標系に対して得た時点での前記１つ以上のカメラの位置及び配向を決定するステップは、点Ａ、Ｂ及びＣとカメラＯの焦点との間の距離を視野ピラミッドとして示し、ピラミッドの表示を結合された３つの三角形の平面表示に変換し、前記平面表示の第１の三角形の１つの内部面に対して低い推定値Ｏｂ¹を選択し、画像データ、既知の焦点距離及び前記既知の距離を使用して第１の三角形の解を求め、特に推定値Ｏｂ¹を与え、長さＯＡに対する第１の計算値を得、得られた結果を使用して第２の三角形の解を求め、得られた結果を使用して第３の三角形の解を求め、中でも、長さＯＡに対する第２の計算値を得て、長さＯＡに対する第１の計算値から長さＯＡに対する第２の計算値を減じて差を求め、その差の値を推定値Ｏｂ¹に加えることによって推定値Ｏｂ¹の修正推定値を得、前記差の値が所望の精度よりも小さくなるまで修正推定値を使用して引き続き演算を反復し、距離ＯＡ、ＯＢ及びＯＣを使用してカメラの位置に対する値を得ることを含んでいる。距離ＯＡ、ＯＢ及びＯＣを使用してカメラの位置に対する値を得る方法は、点Ａ、Ｂ、Ｃに中心があり、ＯＡ、ＯＢ、ＯＣのそれぞれの半径を有する球体に対する式を同時に解くことを含んでいる。１つ以上のカメラの配向を計算する場合、カメラを点Ａの位置に向けるのに必要な方位及び仰角の調整を決定し、カメラが点Ａに向くと、点Ｂを整列するのに必要な光軸の周りの回転量を計算する。この計算は、整列の度合いが所望の精度内に達するまで対話式で行われる。本発明は、特に垂直方向の２点間の距離を測定し、画像において見ることができる物体の物理的位置を正確に決め、３次元のワイヤフレーム表示を作成し、物体の“作られた状態”の条件を文書化するために使用することができる。本発明は、カメラを使用して、点Ａ、Ｂ、及びＣを含む情景の画像を得ることによって画像データを使用して既知の距離だけ離れた３点、即ち点Ａ、Ｂ及びＣを使用して規定された座標系に関してカメラの絶対３次元位置Ｏを測定し、前記カメラの焦点距離を決定するか又は演繹的に推測し、前記画像が得られた時点での前記カメラの位置を前記画像から得られた情報、既知の焦点距離及び前記既知の距離を使用して前記座標系に対して、決定する方法にも向けられている。本発明は、前述の技術を使用して画像データを使用して既知の距離だけ離れている３点、Ａ、Ｂ及びＣを使用して規定された座標系に対して点Ｄ、Ｅ、及びＦの絶対３次元位置を測定し、点Ｄ、Ｅ及びＦ間の距離を決定し、及び前記点Ｄ、Ｅ及びＦの位置並びに画像が得られた時点でのカメラの位置を使用して他の点の位置を決定することによって垂直の高さを含む距離を測定する方法にも向けられている。他の点は、点Ｄ、Ｅ及びＦの位置を決定するために使用される画像と異なる任意の画像の上にあってもよい。本発明は、点Ａ、Ｂ、Ｃ及びＤを含む情景の画像を得る１つ以上のカメラと、カメラとインタフェースされ、カメラによって得られた画像を記憶するメモリと、前記画像から得られた情報、既知の焦点距離及び前記既知の距離を使用して、前記画像の各々が得られた時点でのカメラの位置及び配向を前記座標系に対して決定するために記憶画像を処理し、かつ画像が得られた時点での前記１つ以上のカメラ位置を使用して画像データに基づいて前記点Ｄの位置を決定するコンピュータとを含み、画像データを使用して既知の距離離れている３つの点Ａ、Ｂ及びＣを使用して規定された座標系に対して点Ｄの絶対３次元位置を測定する装置にも向けられている。位置情報は、異なる目的で使用することができるデータベースに記憶することができる。例えば、それは、３次元ワイヤフレーム表現又は測量される点の位置を記憶するために使用することができる。本発明の更に他の目的及び長所は、下記の詳細な説明から当業者には直ちに明かになる。この詳細な説明においては、本発明を実施するために意図された最良モードのみが本発明の好ましい実施例として図示され、説明されている。当然のことながら、本発明は他の実施例及び異なる実施例が可能であり、その細部については、本発明の範囲を逸脱しない範囲で自明な修正が可能である。従って、図面及び説明は、本発明の本質を説明するためのものに過ぎず、本発明を限定するものではない。図面の簡単な説明図１は、本発明に係る、ビルディングを含む情景の２つの画像の撮影図である。図２は、カメラの焦点を通って投影される３つの較正点の視線ピラミッドの説明図である。図３は、カメラの距離の計算のために使用される平面ピラミッドを示す説明図である。図４は、カメラの距離の計算で使用される視角決定図である。図５は、近・中・遠の不確定性を示す説明図である。図６は、近・中・遠の不確定性の解を求める方法を示す説明図である。図７は、方位及び仰角補正方法ヲ説明する説明図である。図８は、カメラの距離及び配向を決定するために使用されたアルゴリズムのフローチャートである。図９は、カメラの位置を計算するために使用されたアルゴリズムのフローチャートである。図１０は、２つのカメラの主点を結ぶラインからのある点の距離の計算方法を示す説明図である。図１１は、Ｘ方向のある点の位置の計算方法を示す説明図である。図１２は、Ｙ方向のある点の位置の計算方法を示す説明図である。図１３は、２つの画像が得られた時点で、一般に与えられた点位置の計算方法と、カメラの位置及び配向の決定方法を示す説明図である。図１４は、本発明を実施する際使用されるハードウェアの構成を示すブロックダイアグラムである。発明の詳細な開示図１は、その前に建主の広場１１０のような較正ターゲットがあるビルディング１００を示している。ビルディングの写真は２つの位置から撮られる。第１の写真は点ｆ₁から撮影され、第２のそれはｆ₂から撮られたものである。ｆ₁は、カメラのレンズ又はレンズ系の主点の位置であり、この点を通して投影される画像は、画像プレーン上のＦＰ₁に位置する。情景の第２の画像は位置ｆ₂から得られ、主点ｆ₂を通る画像は画像プレーンＦＰ₂に向けられる。カメラの位置決めは任意である。ある種の状況では、同じカメラを使用して２つの位置から画像を得ることが推奨される。但し、他の状況では異なるカメラを使用して画像を得ることが望ましいこともある。一般的には、カメラは、観察フレーム内の関心物体を中央に据えるように向けられている。示された写真では、両方のカメラは、中心点Ｔに向けられているが、この点Ｔは建主広場内の点Ａ、Ｂ及びＣの画像が画像の中心でないことを意味する。画像が分析のために視覚可能な形式で利用可能であり、カメラの主点及び画像プレーンとの間の距離（主点距離）及び再生画像上の点の物理的位置関係が判ると、角度が実情景内で測定されるとしても、又は焦点の画像プレーン側で測定されるとしても、主点に向きあっている一対の点が張る角度は同一であるために、角度Ａｆ₁Ｂ、Ｂｆ₁Ｃ、及びＣｆ₁Ａを計算できる。本発明の実施に関しては、実世界座標系は、Ａ、Ｂ及びＣのプレーンにおける点Ａ及びＢを通って延びるＹ軸及び点Ａを通るＹ軸に垂直に規定されたＸ軸で規定されるので、点Ａで原点Ｏを形成する。Ｚ軸は、ＸＹプレーンに垂直に規定され、点Ａを通って延びる。規則によって、＋Ｙ方向は、原点Ａから点Ｂに及び、＋Ｘ方向は、原点において＋Ｙ方向に向かって右側に延び、＋Ｚ方向は、ＸＹプレーンに垂直で、原点から＋Ｘ方向のベクトルと＋Ｙ方向のベクトルとの乗積によって示された方向に向いている。この座標系が与えられると、カメラの位置、すなわち、画像が得られたカメラの主点の位置を計算することが望ましい。従って、主点ｆ₁は、（Ｘ₁、Ｙ₁、Ｚ₁ ）にある。同様に主点ｆ₂は、（Ｘ₂、Ｙ₂、Ｚ₂）にある。この座標系に関しては、目標点Ｔに向けられたカメラが、座標系を利用して指定することができる方位及び仰角の両方を有することが判る。更に、カメラは、２つの写真が撮られるときと違ってカメラの光軸の周りに回転することができる。要するに、写真が撮られたときカメラがＸＹ平面に水平にあることの保証はなく、画像の配向は処理前に補正を要することがある。図２は、原点Ｏ（カメラの主点）に面している３つの点Ａ、Ｂ及びＣによって形成される視線ピラミッドを示している。視線ピラミッドは、各面が三角形、即ち、三角形ＡＯＢ、ＢＯＣ及びＣＯＡに対応する３つの面を有するように見える。図２に示されたピラミッドを、中空で、紙で作られたものとし、これを一本の稜線ＯＡに沿って切開して得られたパターンを平に展開すると、図３に示されたような平面ピラミッドが得られる。図３は、カメラの位置が本発明により決定される処理を説明するために利用される。距離０Ａは、座標系の原点にある点Ａからレンズの主点にある点Ｏまでの距離を示している。先ず始めに、主点と画像プレーンとの間の距離及び画像プレーン上の２つの点の間の距離を知ることにより、角度ＡＯＢ、ＡＯＣ及びＢＯＣに対する値を求める。図４は、如何にしてこれが行われるかを示す。図４において、ＸＹプレーンはカメラの画像プレーンを構成する。Ｆ₀はレンズの主点である。点Ａ及びＢのイメージは、そこからの入射光が主点を通過した後、画像プレーン上のＸＹプレーン上に示された位置Ａ及びＢに形成される。点Ａ及びＢからの入来光線は、図４の４００及び４１０にそれぞれ示されている。画像プレーン分析の目的で、画像プレーン原点ＦＰ₀が規定され、Ｘ軸は画像アスペクト比の最も大きい寸法に平行するものとして規定される。Ｙ軸はそれに垂直に形成され、原点ＦＰ₀は主点の真下にある。点Ａ及びＢから光線は、焦点を通過するとき角度α（∠α）を形成する。焦点を越えるこれらの光線の放射は∠αで発散する。∠αは図３の∠ＡＯＢに対応する。画像記録媒体（例えば、写真フィルム、ディジタルアレイ等）から念入りに測定を行うことによって、距離ＡＦＰ₀及びＢＦＰ₀を決定できる。既知の距離Ｆ₀ＦＰ₀（主点と合焦面との間の距離）及び測定距離ＡＦＰ₀及びＢＦＰ₀を使用するピタゴラスの定理を使用して距離ＡＦ₀及びＢＦ₀を計算すると、下記のようなコサインの公式を使用して角度αを計算できる。ＡＢ²＝（Ｆ₀Ａ）²＋（Ｆ₀Ｂ）² −２（Ｆ₀Ａ）（Ｆ₀Ｂ）ｃｏｓα (1) 従って、合焦面における点を分析することによって、点Ａ、Ｂ及びＣの間の角度は、今述べたように決定することができる。点Ａ、Ｂ及びＣの間の距離は、投影されている情景に大工のかね尺のような修正ターゲットを配置するか又は画像が形成された後、予め得られた情景の中の３つの相対的な固定点間の距離を測定するかのいずれかによっても知られる。図３では、距離ＯＡは、カメラの主点（Ｏ）からカメラ位置を規定するために使用される座標系の原点である点Ａまでの距離を示す。これは、最初に、距離Ｏｂ¹のような、距離ＯＢに対して非常に小さい推定値を最初に仮定することによって行われ、この仮定により、三角形ＡＯＢの値が求められる。“三角形の解を求めることは”は、各辺の長さ及び三角形の内部の各角度に対する値を確定する（計算する）ことを意味する。仮定された距離Ｏｂ¹に関して、第１の三角形は、仮定された又は計算された既知の値を使用して解かれる。この処理で、距離ＯＡに対する値が計算される。推定値Ｏｂ¹を使用して、第２の三角形ＢＯＣの解が求められ、更に、得られた距離ＯＣは、第３の三角形ＣＯＡの解を求めるために使用される。第３の三角形の値が求められると、第３の三角形のＯＡに対する計算値は、第１の三角形のＯＡの計算値と比較される。推定値Ｏｂ¹は、第３の三角形からのＯＡに対する値と第１の三角形からのＯＡに対する値との差を推定値Ｏｂ¹に加えることによって修正され、以下前記の処理が繰り返される。連続繰り返しによって、ＯＡの計算値の差がεよりも小さい値に減少するまで、推定値Ｏｂ¹が増加せしめられる。εが必要とされる精度に対して十分小さくなったとき、繰り返しが中止され、ＯＡの真の値は、第１及び第３の三角形に対して計算されたＯＡの値の間にあると推定される。以下に、前記の繰り返し計算が如何に行われたかを詳細に示す。サインの公式から、下記式(3)が得られる。距離Ｏｂ¹は、最初に、短く設定されるＯＢの長さの推定値である。修正ターゲットの寸法は既知であるか、又は画像が得られた後、距離ＡＢが測定されたために、距離ＡＢは既知である。∠ＡＯＢに対する値は、図４に示されるように、又、式１〜７に関して述べたような画像プレーンからの測定に基づいて計算される。従って、∠ＯＡＢは下記のように計算することができる。 ∠ＯＡＢの第１の推定値が既知であると、∠ＯＢＡの第１の推定値は下記のとおりに計算することができる。 ∠ＯＢＡ＝ 180°−∠ＡＯＢ−∠ＯＡＢ (5) この点で、図３の第１の三角形の３つの全ての角度が分かり、第１の三角形のＯＡに対する値を計算できることになる。再度、サインの公式を使用して、ＯＡを下記のように決定することができることになる。この点で、第１の三角形は、距離Ｏｂ¹が長さＯＢの実際の値であるという仮定の下で全て値が求められる。第２の三角形に話を変える。距離ＯＢをＯｂ¹であると仮定する。距離ＢＣはターゲット寸法又は測定から既知であり、角度ＢＯＣは画像プレーンからの測定に基づいて既知である。従って、下記の式(8)〜(12)図に示されるように第２の三角形の値を完全に求めるのに十分な情報が揃う。 ∠ＯＢＣ＝ 180°−∠ＢＣＯ−∠ＢＯＣ (10) 式(12)に示されるように計算された距離ＯＣに関しては、同じ情報が第３の三角形に関して利用可能であり、第３の三角形は第２の三角形を解くに当たって最初に利用できる。従って、第３の三角形は、第３の三角形の対応する長さ及び角度を式(8)〜(12)に代入して第２の三角形の解法と全く同様に解を求めることができる。第３の三角形を解いて得られた１つの結果は、上述のように計算された距離ＯＡである。この第３の三角形から得た距離ＯＡの値は、前記の計算に基づいて第１、第２及び第３の三角形から得られる。然しながら、第３の三角形から得られた距離ＯＡの値と、第１の三角形から得られた距離ＯＡの値は、仮定値Ｏｂ¹が実際の長さＯＢに実際等しいならば、同じはずであることに注目すべきである。Ｏｂ¹は非常に低小さい値あると最初に仮定されるので、一般的には第１の三角形からのＯＡの値と、第３の三角形からのＯＡの値とは差がある。２つの計算された長さの差は、最初の推定値Ｏｂ¹に加えられ、第２の繰り返し用の推定値Ｏｂ²を形成する。Ｏｂ²であると仮定された距離に関しては、第１、第２及び第３の三角形の解法に対して前述された計算が繰り返され、第１及び第３の三角形からのＯＡに対して生じる値がもう一度比較され、推定値Ｏｂ²に対する調整が前述のように距離ＯＡの計算値の間の差に基づいて行われる。連続繰り返しによって、距離ＯＡに対する推定値は、第１の三角形からのＯＡの値と、第３の三角形からのＯＡの値との差が許容レベルεに減少するまで繰り返し処理を続けることによって所望の分解能程度までの精度で求められる。即ち、繰り返し処理から生じる距離ＯＡの値は、図３のＯに示されたカメラの主点からこの測定のセットに対して規定された座標系の原点である点Ａまでの距離に等しくなる。第１及び第３の三角形からのＯＡに対する値がεの範囲内で一致するならば、三角形の全ての値が求められるので、全視線ピラミッドの値が求められる。次に、図５を参照する。カメラの主点から点Ａ、Ｂ及びＣを見ただけでは、点Ａ、Ｂ及びＣの中でどれがカメラに最も近く、どれがその次に近いかを決定できるとは限らない。例えば、図５では、点Ｂ₁がカメラに最も近いとすると、点Ａがより近く、点Ｃがより遠いか、又はそれとは別に、点Ｃがより近く、点Ａがより遠いかのいずれかが可能である。これらの差は、三角形Ａ₂Ｂ₁Ｃ₂と三角形Ａ₁ Ｂ₁Ｃ₁を比較すれば判明する。図５に示された表は、点Ａ、Ｂ及びＣの関係が一般に６つの異なる順列を生じる可能性があることを示している。解を求めて作業を行う場合、近、中及び遠のこれらの組合せを常に考慮しなければならない。然しながら、開始時には、どの点がカメラに最も近く、どの点が最も遠く、どの点が中間点であるかが分からない。不正確な答えを避けるために全ての組合せを試みることが望ましい。組合せの各々に関して、どの組合せであるかを知り、次に計算を試みるものと仮定する。計算が可能性のある解に収斂するならば、更なる分析のためにこの解を記録、保存する。組合せが特定の三角形のプレーンに近いならば、辺の長さ及び視線ピラミッドの頂角に同じ関係を与える三角形の５つもの可能性のある解又は配向が有り得る。近、中、遠の特定の組合せが得られなけば、計算は、収斂せず、処理が際限なく繰り返され、そして通常は数学的エラー、一般的には三角関数で終了する。然しながら、計算が正常に進むならば、可能性のある解が得られ、可能性のある解は全て、更なる調査のために保存される。図５において、２つ以上の点が焦点から丁度同じ距離にあるとき、縮重が時々生じ得ることが明らかである。このことは可能性のある異なる解の数を減少させる。繰り返しの処理中、前記に示された例では、第１及び第３の三角形のＯＡ間の差は、推定値Ｏｂ¹に加えられ、次の繰り返しで利用される推定値を決定する。もちろん、１対１以外の係数を利用し、第１及び第２の三角形に対するＯＡの値の差の分数又は倍数で推定値を調整できる。然しながら、好ましい調整は１対１である。様な直角修正ターゲットを使用することが望ましい。点Ａ、Ｂ、Ｃに対する近、中、遠の６つの可能性のある配置は、ピラミッドを平面にする異なる方法と見ることができる。３種の異なった平面ピラミッドが、 “開かれる”辺として各稜線ＯＡ、ＯＢ及びＯＣを使用することによって形成される（例えば、ピラミッドを紙を折つてピラミッドの形にして形成し、１つの稜線に沿って切り開き、ピラミッドを広げて図３に示されたようなパターンにするとき、各々を異なる稜線で切断すると３つの異なった平面ピラミッドが形成される）。各ピラミッドは三角形が生じ得る２つの配列順序に対応して２つのメンバーを有する。図３に示されるように、例えば、三角形は１−２−３の順序で値を求められる。この順序付けは２つのメンバーの中の１つを示している。他の一方のメンバーは、その面の上に平面ピラミッドをひっくり返すことによって形成されるものであり、図３に示さた三角形３は三角形１と入れ替わる。この組のメンバーは、表示されるように３−２−１の順序で値を求められる。平面ピラミッドの三角形を解く際に１−２−３と順序付けることは、左（及び右）の外辺（図のＯＡ）が最も長く、次の辺（ＯＢ）が中間（ｍｉｄ）であり、ＯＣが最も短いと暗黙的に仮定することである。近、中、遠の能な配列の各々に対する解を探すとき、アルゴリズムは“存在可能な”解に対してのみ収斂する。通常、６つの組合せの中の１つだけが可能である。然しながら、２（又は３）の点が正確に同じ距離だけ離れている場合、縮重が生じることがある。このような場合、多重解が可能であるが、得られる結果は同じである。このように、収斂性の解は、前述のように点Ａ、Ｂ及びＣによって規定された座標系においてカメラのＸ、Ｙ及びＺ位置を一義的に規定する。ここに記載された技術は、修正ターゲットなしで写真を撮られた画像に適用可能である。画像上の３つの便宜的な点を選択し、画像が得られた後に、３つの便宜的な点間の距離を物理的に測定することによって、画像が得られた時点で修正ターゲットを使用して得られたのと同じ効果を得ることができる。図６に示されるように、近、中、遠の不確定性の解を見い出すために、カメラの主点が、既知の長さのＯＡ、ＯＢ及びＯＣの点Ｏで一致する場所にあるだろうことに注目する。従って、点Ｏの位置に対して可能な解の各々に関しては、点Ａの周り、点Ｂの周り、次に、点Ｃの周りの球体に対する式を記述できる。球体の交差は、合わされる２つの石けんの泡を思い描くことによって理解できる。球体が徐々に近づくと、球体は１つの点で接触し、次に、一方が他方に食い込み、２つの球体に共通である点の軌跡である円を発生する。球体が全く同じサイズでない限り、一方の泡が他方の泡の内部に侵入し、それが内部に進むとき、最悪の場合、１つの点で再び接触する。一方が他方の側の外方に進むと、ある点で再接触し、円を形成し、次に、一方が離れるとき、直径方向反対側の点で接触する。点Ａ、Ｂ及びＣに中心があり、それぞれ長さＯＡ、ＯＢ及びＯＣの半径を有する球体に対する式を記述することによって、３つの未知数を含む３つの方程式を得る（直角座標系を仮定して）。近、中、遠の不確定性に対する可能な解の各々を用いて、球体のセットが発生する交差の共通点の解を求める。図６を見ると、＋Ｚ側の空間における３つの球体の点０での交差に加えて、−Ｚ側の空間において得られる対称的な解がある。規則によって、ＸＹプレーンによって確立された水平制御グリッドがＸＹプレーン上を見下ろす＋Ｚ方向から見られると仮定する。この規則によって、唯一つの解が残る。即ち、解は＋Ｚ空間側のもののみとなり、−Ｚ空間の解は除去される。従って、これによりカメラの主点のＸＹＺ位置が決定される。カメラ位置が決定されると、カメラに対して選択、指定すべき３種の可能な配向がある。それらは、（１）方位回転、（２）仰角回転、及び（３）光軸の周りの傾斜である。図７は、如何にして方位補正及び仰角補正が決定されるかを示している。又、図７は画像プレーンを示している。点ＡＢＣは、座標系を規定し、この座標系でカメラの距離を計算するために使用される同じ点ＡＢＣである。点Ａ、Ｂ及びＣは、画像プレーンで示された画像の一部として示されている。プレーンの中心（すなわち、画像の中心）は、一般的には関心ある物体上にあるので、関心ある物体は画像の中心に表示される。座標系を確定するために使用される修正ターゲット、すなわち３点Ａ、Ｂ及びＣは、一般的には写真の中心にはない。方位補正は、本質的には外部世界座標系の原点の画像を点Ａに変位させるのに必要な補正であるので、外部世界座標系の原点の画像は、画像プレーンの座標系の軸７１０の右側に示された点Ａの写真位置の真上に来る。仰角補正は、画像プレーン座標系７００の横座標の下に示された点Ａの写真位置の真上に点Ａの画像を配置する必要がある仰角又は俯角である。要するに、方位補正及び仰角補正は、カメラに適用されるならば、点Ａ、すなわち実世界座標系の原点が点Ａ、すなわち写真上に得られたような原点と一致するように決定されることとなる。数学的には、実世界座標系の原点の画像を画像プレーンにおける点Ａ上に正確に配置する微分オフセット角は下記のように計算される。 θ_A＝ｔａｎ^-1（△Ａ/ｆ） (13) θ_E＝ｔａｎ^-1（△Ｅ/ｆ） (14) 点Ａを相互に整列させるか又は重ね合わせるのに必要な補正は図７に示されている。図７では、Ａが正しく配置されているならば、点Ｂ及び点Ｃは正しく配置されているものと仮定している。然しながら、光軸の周りのカメラの傾斜があるためにこれは一般的に真ではない。点Ａが重ね合わされると、軸定義によって、点Ｂが実世界座標系においてどこにあるはずかが判明する。実世界座標系の原点がＡに置かれ、画像プレーン座標系の原点が図７に関して適用された方位補正及び仰角補正に基づいて現在もＡに中心が置かれているならば、画像プレーン上の点Ｂは、実世界座標系における点Ｂが置かれている場所に置かれる筈である。但し、これは写真が撮られた時にカメラが完全に水平であればという話である。然しながら傾斜があると、Ｂは軸を外れて変位せしめられる。画像プレーン上で、ラインＡＢが画像プレーンからの測定によって画像プレーンのＸ軸に対して形成する実際の角度が判る。３次元画像を２次元面上に投影する場合に普通に行われるように、視線ピラミッドを撮り、それを投影プレーン上に投影することによって、どのような角度ＢＡＣが画像プレーン上にある筈かを決定できる。カメラ傾斜を補正するために、画像プレーンを光軸の周りに回転しなければならない。然しながら、このようなことを行うことは、点Ａ、Ｂ及びＣの位置を変化させる可能性があり、点が任意の誤差量ε₁に収斂するまで点Ａが重ね合わされた後、傾斜量を計算する別の補正の繰り返しを行うことが必要である。これらの技術を使用して、収斂性は、通常10^-14の精度まで達成することができる。１つ以上の収斂性の解の候補があるならば、Ｂ点の残差及びＣ点の残差は弁別器として利用される。図８は、カメラの画像から位置及び配向を詳細に決定するために使用されるプロセスを示している。ステップ８００で、修正点Ａ、Ｂ及びＣの位置を決定し、次いでこれらの間の距離を知るか又は測定する（８１０）。ＸＹＺ座標におけるカメラ位置は図９に示された技術を使用して決定される。ＸＹＺカメラ位置が決定されると、方位及び仰角の補正がなされ（８３０）、次いで傾斜のための補正（８４０）が行われる。方位補正及び傾斜補正が行われる場合、これらの点が所望の精度ε内で正しい位置にあるかどうかを決定する。若しそうであるならば、カメラの位置及び配向が詳細に決定され（８６０）、工程が終了する。そうでないならば、ステップ８３０及び８４０の別の繰り返しが開始されて、所望の精度内で位置が決定される。図９は、図８に示されたブロック８２０の詳細を示している。カメラの主点距離が判ると、画像プレーンから３つの角度ＡＯＢ、ＢＯＣ及びＣＯＡを測定する（９００）。視線ピラミッドは最長の寸法と仮定される距離ＯＡで切開される（９０５）。ピラミッドは平らにされ、短いことが既知であるラインセグメントＯＢに対してある値が推定される（９１０）。ＯＢに対する推定値を使用して、第１の三角形の解が求められる（９１５）。次に、第２及び第３の三角形が、前の計算の結果を使用して逐次的に解かれる（９２０及び９２５）。第１の三角形に関して計算されたＯＡに対する値の差が、第３の三角形から計算されるＯＡに対する値（９３０）とεよりも大きい量だけ異なるならば（９４０）、その差△ＯＡは、前のＯＢの推定値に加えられ、新しい推定値が形成され、ステップ９１５、９２０、９２５、９３０及び９４０の新しい繰り返しが行われる。△ＯＡ＜εであるならば（９４０）、視線ピラミッドの解が求められ（９５０）、カメラの位置及び配向を全て決定する（９７０）前に、近、中、遠の不確定性を解くこと（９６０）が必要である。画像が図１０に示されたように配置された２つのカメラで得られるならば、点Ｘ₁、Ｙ₁、Ｚ₁の位置が下記のように計算される。原点０を有する軸のセット、図１０に示されるようなＸ軸とＺ軸、及びそのページのプレーンに垂直であるＹ軸を仮定する。画像は、図１０の点Ｃにある対物レンズ及び点Ｆにある対物レンズで得られると仮定する。ＣとＦとの距離は（ｄ₁＋ｄ₂）である。画像を得るカメラは既知の焦点距離Ｆを有し、画像が得られる点の各々に対応する画像プレーンはＸ軸上に太いラインで示されている。カメラ（Ｃ＆Ｆ）の焦点を結ぶラインからＤと示された点までの距離は下記のように計算することができる。三角形ＡＢＣ及びＣＥＤは、幾何学的に相似形であり、三角形ＤＥＦ及びＦＨＧも相似形である。これらは相似形であるために、ｈ／ｆ＝ｄ₁₂／△Ｘ_L (15) ｈ／ｆ＝（ｄ₂＋ｄ₁₁）／△Ｘ_R (16) ｄ₁＝ｄ₁₁＋ｄ₁₂ (17) ｈ／ｆ＝ｄ₁₂／△Ｘ_L＝（ｄ₂＋ｄ₁₁）／△Ｘ_R (18) 式(18)に示すように、式(15)と(16)を等しいと置き、両辺から右辺を減算し整理すると、下記のようになる。式(19)が正しいとすると、分子は０でなければならない。 ∴ ｄ₁₂△Ｘ_R−（ｄ₂＋ｄ₁₁）△Ｘ_L＝０ (20) 式(17)をｄ₁₁に就いて解き、式(20)に代入して整理すると、ｄ₁₂△Ｘ_R＝（ｄ₂＋ｄ₁−ｄ₁₂）△Ｘ_L (21) ∴ ｄ₁₂（△Ｘ_R＋△Ｘ_L）＝（ｄ₂＋ｄ₁）△Ｘ_L (22) ｈが知られると、原点０の座標Ｘ₀及びＹ₀は、下記によってカメラの光軸に対して規定することができる。図１１及び１２を参照。 α_x＝ｔａｎ^-1（ｆ／△Ｘ） (26) α_y＝ｔａｎ^-1（ｆ／△Ｙ） (27) Ｘ₀＝−ｈ・ｃｏｔα_X (28) Ｙ₀＝−ｈ・ｃｏｔａ_Y (29) 視野条件の下で画像を得る際に、カメラの位置が、図１０に示されるようにきれいに規定されることは稀である。図１３は、典型的な実世界状況を示している。図１３では、点Ａ、Ｂ及びＣは、画像を得た後に測定された較正ターゲット又は較正点を示している。座標系Ｘ、Ｙ及びＺは、前述の規則に従って原点Ａに対して定められる。その主点Ｏ₁及びＯ₂のそれぞれによってのみ示されるカメラ位置１及び２、並びにその画像プレーンＩＰ₁及びＩＰ₂は、それぞれ、Ｏ₁及びＯ₂にあるその主点と、画像プレーン上の視野の中心点Ｔに向けられたその光軸によって位置決めされている。任意の点Ｐの座標（Ｘ₁、Ｙ₁、Ｚ₁）を得ることが望まれている。これは、２段階変換によって解くことができる。焦点Ｏ₁と焦点Ｏ₂とを結ぷ直線を引き、この直線の中点をＯ_M（Ｘ_m、Ｙ_m）とし、次に方位回転を実行する。焦点Ｏ₂の周りに同じ種類の回転がカメラ２に適用されると、カメラは図１０に示されるように配向され、点Ｐに対する座標は前記のように式15〜19を使用して計算される。然しながら、計算された座標は、図１３の点Ｏ_Mに対応する図１０の点Ｏを基準とするものである。従って、測定のために規定された世界座標系に関する点Ｐの座標を得るには、Ｏ_Mに原点を置いた座標系から点Ａに原点を置いた座標系への簡単な座標変換が必要である。図１４は、本発明のある態様を実施するために使用されるハードウェアを示している。カメラ１４００は、本発明により分析されるべき画像を得るために使用される。カメラ１４００は、ディジタルスチールカメラ又はフレームグラッパーを有するビデオカメラでよい。カメラからの画像は、カメラインタフェース１４１０を使用してコンピュータ１４２０上にロードされる。通常、インタフェース１４１０を通してロードされる画像は、ハードドライブ１４２３上に記憶され、ビデオＲＡＭ１４３０で処理するために後に検索される。然しながら、画像データは、要すればビデオＲＡＭに直接にロードし得る。ビデオＲＡＭ１４３０は、カメラからの２つの画像を同時処理するのに十分な画像メモリを含むことが望ましい。好ましくは、ビデオディスプレイ１４４０は、陰極線管のような高解像度ビデオディスプレイ又は半導体技術で構成される類似のディスプレイである。ディスプレイ１４４０は、インタフェース１４２４でディスプレイを通してコンピュータバスにインタフェースされ、個別画像又は両方の画像を同時に又は本発明により作成された３次元ワイヤフレームを表示するために使用される。キーボード１４５０は、通常のようにキーボードインタフェースを介してバスにインタフェースされる。図１４に見られるように、コンピュータインプリメンテーションを利用する場合、距離測定は、垂直方向及び水平方向のディスプレイの解像度が知られれば、ディスプレイスクリーン上の線形測定に変換することができる垂直方向及び水平方向のピクセルの数で便宜的に測定することができる。ピクセルの数は、対象とする点を指し、クリックすることにより、カーソルのアドレスからクリックされたピクセルのアドレスを得て容易に決定される。従って、撮影の後に分析される画像から決定されるように、カメラ又は他の画像取得装置の位置及び配向を知ることにより、点Ａに中心を置くシステムにおけるＸＹＺの実世界座標によって、これらの点の正確な位置を計算できるので、実世界座標系に対するこれらの点の位置を高い精度で特定することができる。ここに記載された技術は、ビルディング又は建設現場の正確な測量と同様に、論争の的となるような事故又は犯罪の現場の調査を、特にこれまで実際には不可能であった垂直方向で可能とする。この開示では、本発明の好ましい実施例だけが示されているが、前述のように、本発明は、いろいろな他の組合せ及び環境で使用することができ、ここに示されるような発明の概念の範囲内で変更又は修正できることを理解すべきである。DETAILED DESCRIPTION OF THE INVENTION Camera position and orientation using image data Method and apparatus for determining Technical field The present invention relates to the field of image processing, in particular, the position of a camera and the And apparatus for determining orientation and orientation, and surveying using such methods and apparatus. It is about the technology to do it accurately. Background art Since the invention of the stereoscope in 1847, the inventor has been working with three-dimensional ( 3D) Attempted to reproduce the scene. Reality because 2D images have no stereoscopic effect Lacking. Although the degree of success varies, a number of techniques have been used to generate 3D images. The art was suggested. A single camera body and two separated by a certain distance, usually corresponding to the distance between the eyes A three-dimensional photographic camera using an objective lens is well known. Other such mosquitoes A camera simply forms two image areas on a film placed in the camera image plane. One objective lens device and an external device are used. Still other devices were photographed Two separate objects separated by a certain distance to form images corresponding to the left and right visual fields of the scene Use multiple cameras. When a prior art stereoscopic photographed image is developed, this image is often separated. Eyepieces, one for each of the left and right eyes Can be Each eyepiece shows the scene directly from the user's eyes in the developed image Then, the image which each eye would see is projected on the retina. See a three-dimensional image Sometimes the depth is clearly recognizable You. There are several problems with the prior art for generating three-dimensional images. First First, the need to fix the camera or objective lens a certain distance Limit the degree of freedom of Mera's design. Two objectives or two cameras are stereoscopic Special equipment is required to obtain a proper image. Another problem with the prior art is that complicated lens arrangements cause stereoscopic images to be seen. It is necessary to: Furthermore, in the prior art stereoscopic photography method, the depth Cannot be easily quantified. Depth calculations are based on images taken from different locations facing the scene in the photo. Using images is a difficult task. Because 3D on 2D plane The two-dimensional relationships resulting from projecting the scene are projected onto different image planes. This is because linear conversion or mapping is not performed on the same point. One point Some different parts of the scene viewed from the same scene when viewed from another point Seen in a different association to Some parts of the scene are hidden when the viewing point changes. And disappear. Normally, a two-dimensional plane viewed on one screen is viewed diagonally , Area is reduced. In the prior art, land is used to identify the location of important properties, etc. in a small parcel. Methods and apparatus for surveying small parcels are known. Generally, a group of surveyors Goes to the plot and sets up a portable theodolite for the surveyor and a calibrated scale for distance measurement. Used to make physical measurements of distance and angle. Surveying using these techniques is one In general, it is based on a national grid of surveying landmarks. This technology is Various kinds of errors are likely to occur when reading the instrument and performing calculations. Aeronautical surveying is also known. The image shows the latest aeronautical technology moving over the area being surveyed. Airplane or other flight whose position is accurately known by the art Obtained by the body. Second, the location of important ground terrain is often It can be calculated using sophisticated image processing techniques that require a computer. Aeronautical surveying technology can be achieved without the need for staffing on the ground in the area being surveyed Has advantages. Even inaccessible terrain can be surveyed in this way. However, expensive It is necessary to have a good image acquisition device, and even in the case of an excellent optical device and image processing, Resolution is not always preferred. Similarly, using aircraft technology However, it is difficult to make accurate measurements in the vertical direction. In controversial investigations, such as investigations at crime scenes or archaeological excavations Therefore, recording of spatial relationships is very important. Such surveys are often Must withdraw from the survey site within a short time due to the degree of urgency or public nature It is performed under severe conditions. Highway during rush hour for investigation If closed, ensuring traffic flow is a politically imperative requirement. You. Crime scene analysis reveals valuable evidence if details are not immediately observed and recorded. Liability may be lost. In such a situation, conduct a careful manual investigation Aviation technology lacks the resolution generally required or police It is too expensive to be generally adopted as a survey tool. In a manufacturing environment, either for inspection purposes or for documentation with considerable accuracy Often, it is required to measure the physical details of a product "as made". During manufacture, computer-aided design or computer-aided manufacturing (CAD / CAM) The purpose of forming a three-dimensional (3D) display such as a wireframe for use in It is often required to obtain the physical dimensions of complex objects. Also in entertainment Also create animations that cause changes in the position of 3D objects or perspective views of 3D objects In order to obtain such a 3D display It is desired to use. Thus, objects can be stored in a convenient, economical and in a manner that does not require sophisticated computing equipment. And it is necessary to accurately obtain 3D information about the scene. Vertical difficult to investigate physically It is also necessary to obtain the physical dimensions of the object in the direction exactly. Photo, video frame or real Any recorded image, whether in perspective or in other recorded image formats, In relation to visual position and visual angle that accurately describe the orientation of the recording mechanism with respect to the scene I have. When performing distance calculations based on images obtained using a camera, Know the position of the camera at the time the camera lens or It is necessary to know more accurately the principal point viewed from the front of the lens system. Positive distance Orientation of the optical axis of the lens or lens system as it comes from the camera, for accurate calculations It is also desirable to know the elevation angle and the tilt angle about the optical axis. In the prior art, the camera position uses surveying techniques to determine the position where the photo was taken. Is either inferred by doing or known a priori. General Typically, the camera tilt is assumed to be 0 (horizontal left and right), and the elevation and azimuth It was either measured to varying degrees or estimated. Obviously, this Setup required to obtain images for analysis by such surveying and measuring Time is exchanged for qualitative information that can be collected from images obtained under uncontrolled conditions. It takes a long time to abandon the desire for accurate measurement. The need for accurate visual field parameters is an Digital imaging and analysis for a wide range of purposes, from With the growing population of computer users using log images It is shown. For example, stereo photography may be used to investigate and document the scene of an accident or crime. Often used for. The accuracy of documentation is determined by the camera at the time the photo is taken. Knowing the viewing parameters accurately can be determined with high accuracy. Computer rendering is still planned and under construction. Often combined with actual photos to show project images. Computer To combine and adapt the visual rendering to a visually convincing photo Include the computer rendering field of view and the camera's field of view. The parameters are required to be exactly the same. In general, the camera position is physically measured relative to some established coordinate system Even when the field of view parameters for any given recorded image are unknown and high It is difficult to determine with accuracy. Obstacles are usually caused by the camera lens Inside the structure, and therefore not accessible for direct measurement purposes Arising from the fruit. Do not use a surveying tripod, level, or theodolite to measure the viewing angle It is very difficult to get in. Photogrammetry is a technique for obtaining measurements from photographs. Generally, photogrammetric techniques The physician generates fiducial marks on the pictures to help determine the viewing parameters Use special camera equipment. However, non-photogrammetric cameras can Associated techniques can be used in the analysis, and generally a large number ( (5 or more points). In general, determine the viewing parameters Therefore, the three-dimensional positions of the five or more correction points are already determined by a certain kind of orthogonal reference coordinate system. You need to be knowledgeable. Direct linear transformation (DLT) is sometimes used by photogrammetric technologists. 5 is a 5-point calibration procedure used. It is usually difficult to determine the location of these points And is expensive, and indeed, it determines the viewing parameters to the unskilled Complex enough to discourage attempts. take a picture Unless a previously well-controlled modified coordinate system has been established, the user must It is necessary to know nine linear dimensions. This requirement significantly limits the use of this technology . In some specialized cases, such as traditional photogrammetry for certain aerial survey applications, Camera method using the calibration method with as few calibration points as the three calibration point method. Data can be determined. In particular, the Churchill section model has an aerial camera Use if the optical axis of the lens is within 4 ° or 5 ° downward on the terrain. Can be. Angular displacements of more than a few degrees from vertical are noticeable associated with transcendental trigonometric functions Results in mathematical non-linearity. Under these conditions, the church resection model is Is no longer valid and the three-point calibration procedure is no longer applied. All of the aforementioned calibration techniques have a number of disadvantages: (A) This technique required a calibration camera device. (B) This technique requires a calibration target consisting of too many points Therefore, it is not suitable for the unskilled person to always use for daily use. (C) The technique using a three-point calibration target is far from the normal camera viewing angle It is effective only in a very limited area. (D) All of the above methods of resolving field parameters are based on all point data. Use matrix operations that operate simultaneously and therefore are not reliably specified. Measurement parameters are indeterminate and infinite due to parameter crosstalk effects. Can cause Summary of the Invention The problem of the prior art is that the position and arrangement of the camera based on the image content according to the present invention are different. The problem is solved by automatically identifying the direction. This is a camera Place the calibration target in the field of view of the This can be done either by measuring the distance between opposite fixed points. This Using these point data, for each photo, the position of the camera at the time the photo was taken And orientation can be accurately determined. If the position and orientation of the camera When accurately known for each of the photos, accurate 3D location information is all about the image Can be calculated for other identifiable points of the scene or object. Can investigate. Images can be obtained with a single camera and then stereo images or vertical Used to generate body wireframes. Therefore, in addition to the advantages of the simple three-point correction target described above, other objects of the present invention Targets and advantages (A) The azimuth, elevation, and tilt terms affect the accuracy of the X, Y, and Z terms Providing decoupling of error terms so as not to affect; (B) providing simple procedures that are effectively used by unskilled personnel; (C) Accuracy above either the 12th decimal place or the pixelation error limit is obtained Providing an iterative phase solution of all visual field parameters such that (D) Find all possible solutions before choosing the solution with the least error. When, (E) To provide a surveying method capable of obtaining 3D information at an angle larger than a right angle. That is in. The above and other objects and advantages of the present invention are directed to the use of image data to determine the distance between each other. 1 with respect to a coordinate system defined using three points, A, B and C, A method for measuring the absolute three-dimensional position of a point such as point D Is obtained. The image data obtains two images of the scene including points A, B, C and D. By using one or more cameras with known focal lengths. The position and orientation of the camera at the time each of the images was obtained can be obtained from the images. Information, a known focal length and a known distance to the coordinate system. Is determined. Therefore, the position of the camera at the time when the image is obtained is It is used together with other image data to determine the position of such a point. The position of the point D is obtained from the image data using the position of the camera at the time when the image is obtained. The step of determining includes an auxiliary coordinate system having an origin on a line connecting the positions of the cameras. And an image reference axis indicating the center point of each image in the X ', Y', and Z 'directions, respectively. , Defined as the origin of a set of points, a point in the first image and a corresponding point in the second image Measure at least one offset in the X ′ and Y ′ directions of X 'plane or Y' plane for each line, objective lens focus and image The angle formed between the image of one point D in the image and the measured off Determine the distance h using the set, focal length and angle, and in the auxiliary coordinate system The X 'and Y' coordinates of the point D are determined, and the coordinates (X ', Y ′, h) in the coordinate system defined using the three points, A, B and C, Including converting to a different display. Using the image data, a known focal length and the known distance to represent the image in the coordinate system Determining the position and orientation of the one or more cameras at the time obtained for Indicates the distance between points A, B and C and the focus of camera O as a field of view pyramid. , Convert the representation of the pyramid into a plane representation of the three triangles combined, Low estimate Ob for one interior surface of the first triangle shown¹Select the image data Solve for the first triangle using the known focal length and the known distance, To the estimated value Ob¹To Given a first calculated value for the length OA, and using the result obtained a second triangle Find a solution to the shape and use the result to find a solution to the third triangle, Obtain a second calculated value for OA and calculate the length OA from the first calculated value for length OA. Is subtracted to obtain a difference, and the value of the difference is calculated as the estimated value Ob.¹Add to And the estimated value Ob¹And the difference value is less than the desired accuracy. The operation is then repeated using the modified estimates until the distances OA, OB and O And using C to obtain values for the position of the camera. A method for obtaining values for the position of the camera using the distances OA, OB and OC is A sphere with centers at A, B, and C and radii of OA, OB, and OC respectively This involves solving the equations at the same time. When calculating the orientation of one or more cameras, it is necessary to point the camera at the location of point A. Decide the necessary azimuth and elevation adjustments, and when the camera turns to point A, align point B Calculate the required amount of rotation about the optical axis. This calculation is based on the degree of alignment desired accuracy It takes place interactively until you reach The invention measures the distance between two points, especially in the vertical direction, and can be seen in the image. Precisely determine the physical position of the object to be cut, create a three-dimensional wireframe display, It can be used to document the condition of the "built state" of the body. The present invention uses a camera to obtain an image of a scene including points A, B, and C. Three points separated by a known distance using the image data, namely points A, B and C Measuring the absolute three-dimensional position O of the camera with respect to the coordinate system defined by using Determine or a priori guess the focal length of the camera and at the time the image is obtained Information obtained from the image, the known focal length and the known position of the camera. And a method for determining the coordinate system using the distance. The present invention uses image data using the techniques described above to Points D, E, and F with respect to a coordinate system defined using the three points A, B, and C , Determine the distance between points D, E and F, and Using the positions of E and F and the position of the camera at the time the image was obtained, It is also directed to methods of measuring distances, including vertical height, by determining location ing. Other points differ from the images used to determine the location of points D, E and F. May be on an arbitrary image. The present invention relates to one or more cameras for obtaining an image of a scene including points A, B, C and D; A memory that is interfaced with the camera and stores an image obtained by the camera; Using information obtained from the image, a known focal length and the known distance, The position and orientation of the camera at the time each of the images was obtained with respect to the coordinate system Processing the stored image to determine and the one or more at the time the image was obtained A computer that determines a position of the point D based on image data using a camera position; And three points A, B and 3 at known distances using the image data. For measuring the absolute three-dimensional position of point D with respect to a coordinate system defined using C Is also aimed at. Location information is a database that can be used for different purposes. Can be memorized. For example, it can be a three-dimensional wireframe representation or measurement. It can be used to store the location of the point being quantified. Still other objects and advantages of the present invention will be readily apparent to those skilled in the art from the following detailed description. It will be. In this detailed description, the best intentions to carry out the invention are set forth. Only modes are shown and described as preferred embodiments of the invention. Natural However, the present invention is capable of other and different embodiments and its several details are capable of modification. Therefore, the scope of the present invention does not deviate from the scope of the present invention. A trivial correction is possible in the box. Accordingly, the drawings and description illustrate the nature of the invention. It is merely for the purpose of limiting the present invention. BRIEF DESCRIPTION OF THE FIGURES FIG. 1 is a photograph of two images of a scene including a building according to the present invention. . Figure 2 shows the view gaze pyramid of three calibration points projected through the camera focus. FIG. FIG. 3 is an explanatory diagram showing a plane pyramid used for calculating a camera distance. It is. FIG. 4 is a view angle determination diagram used in calculating the camera distance. FIG. 5 is an explanatory diagram showing near / middle / far uncertainties. FIG. 6 is an explanatory diagram showing a method for obtaining a solution of uncertainty of near, middle, and far. FIG. 7 is an explanatory diagram for explaining the azimuth and elevation angle correction method. FIG. 8 shows the algorithm used to determine the camera distance and orientation. It is a low chart. FIG. 9 shows a flow chart of the algorithm used to calculate the position of the camera. It is. FIG. 10 shows a method of calculating the distance of a point from a line connecting the principal points of two cameras. FIG. FIG. 11 is an explanatory diagram illustrating a method of calculating the position of a certain point in the X direction. FIG. 12 is an explanatory diagram showing a method of calculating the position of a certain point in the Y direction. FIG. 13 shows a method of calculating a generally given point position when two images are obtained. FIG. 4 is an explanatory diagram showing a method for determining the position and orientation of a camera. FIG. 14 is a block diagram showing the configuration of hardware used when implementing the present invention. It is a diagram. Detailed Disclosure of the Invention FIG. 1 shows a building that is preceded by a calibration target, such as the owner's square 110. FIG. Photos of the building are taken from two locations. First The picture is point f₁And the second one is f_TwoIt was taken from. f₁Is The position of the principal point of the camera lens or lens system, through which the image projected Image is FP on image plane₁Located in. The second image of the scene is at position f_TwoObtained from The principal point f_TwoThe image passing through is an image plane FP_TwoTurned to Camera positioning Optional. In certain situations, using the same camera to obtain images from two locations Is recommended. However, in other situations it may not be possible to obtain images using a different camera. Is sometimes desirable. In general, the camera should aim at the center of interest in the observation frame. Have been. In the picture shown, both cameras are pointed at the center point T, , This point T means that the images of points A, B and C in the landlord square are not the center of the image I do. The images are available in a visual form for analysis, the camera principal points and the images The distance from the plane (principal point distance) and the physical positional relationship of points on the reproduced image can be determined. Angle is measured in the actual scene or on the image plane side of focus. Even if it is, the angle formed by a pair of points facing the principal point is the same, Angle Af₁B, Bf₁C and Cf₁A can be calculated. For the implementation of the present invention, the real world coordinate system is in the A, B and C planes. Defined by the Y axis extending through points A and B and the X axis defined perpendicular to the Y axis passing through point A. Therefore, an origin O is formed at the point A. The Z axis is defined perpendicular to the XY plane. And extends through point A. By convention, the + Y direction extends from origin A to point B, + X direction is + Y direction at the origin And the + Z direction is perpendicular to the XY plane and + X direction from the origin. And the vector in the + Y direction. Given this coordinate system, the position of the camera, ie, the camera from which the image was obtained It is desirable to calculate the position of the principal point of. Therefore, the principal point f₁Is (X₁, Y₁, Z₁ )It is in. Similarly, the principal point f_TwoIs (X_Two, Y_Two, Z_Two)It is in. With respect to this coordinate system, the camera pointed at the target point T uses the coordinate system to perform finger pointing. It can be seen that it has both azimuth and elevation that can be determined. In addition, the camera Can rotate around the optical axis of the camera unlike when two pictures are taken . In short, there is no guarantee that the camera will be horizontal in the XY plane when the picture is taken. In addition, the orientation of the image may need to be corrected before processing. FIG. 2 shows three points A, B and C facing the origin O (principal point of the camera). Figure 6 shows a line-of-sight pyramid formed. The line of sight pyramid is a triangle It appears to have three faces corresponding to triangles AOB, BOC and COA . The pyramid shown in FIG. 2 is hollow, made of paper, and When the pattern obtained by cutting along the ridge line OA is developed flat, it is shown in FIG. Such a plane pyramid is obtained. FIG. 3 is used to explain the process in which the position of the camera is determined according to the present invention. It is. The distance 0A is a distance from the point A at the origin of the coordinate system to the point O at the principal point of the lens. Shows the distance. First, the distance between the principal point and the image plane and the two points on the image plane Find the values for angles AOB, AOC and BOC by knowing the distance between You. FIG. 4 shows how this is done. In FIG. 4, the XY plane is Configure the camera image plane. F₀Is the main point of the lens. Points A and B After the incident light from there passes through the principal point, the XY play on the image plane Formed at positions A and B shown above. The incoming rays from points A and B are shown in FIG. At 400 and 410, respectively. For the purpose of image plane analysis, Plane origin FP₀Is defined, and the X axis is flat to the dimension with the largest image aspect ratio. Stipulated. The Y axis is formed perpendicular to it, and the origin FP₀Is the main point Directly below. The rays from points A and B form an angle α (∠α) when passing through the focal point. To achieve. The radiation of these rays beyond the focal point diverges at ∠α. ∠α is ∠A in FIG. Corresponds to OB. Thorough measurement from image recording media (eg, photographic film, digital arrays, etc.) By setting the distance AFP₀And BFP₀Can be determined. Known distance F₀FP₀(Distance between principal point and focal plane) and measured distance AFP₀as well as BFP₀AF using Pythagorean theorem using₀And BF₀Calculate And the angle α can be calculated using the cosine formula as follows: AB^Two= (F₀A)^Two+ (F₀B)^Two -2 (F₀A) (F₀B) cosα (1) Therefore, by analyzing the points in the focal plane, the angle between points A, B and C The degree can be determined as just described. The distance between points A, B and C should be similar to the carpenter's scale in the projected scene. After placing the main target or forming the image, By measuring the distance between the three relative fixed points in the isolated scene Also known. In FIG. 3, the distance OA is used to define the camera position from the principal point (O) of the camera. Shows the distance to point A, which is the origin of the coordinate system used. This is, first, the distance O b¹By first assuming a very small estimate for the distance OB, such as According to this assumption, the value of the triangle AOB is obtained. “Triangle solution Finding "determines the value for each side length and each angle inside the triangle (Calculate). Assumed distance Ob¹, The first triangle is , Solved using assumed or calculated known values. In this process, the distance O The value for A is calculated. Estimated value Ob¹To solve the second triangle BOC Is obtained, and the obtained distance OC is used to obtain the solution of the third triangle COA. Used for Once the value of the third triangle is determined, the third triangle OA The calculated value is compared with the calculated value of the OA of the first triangle. Estimated value Ob¹Is the third Estimate the difference between the value for OA from the triangle and the value for OA from the first triangle Value Ob¹And the above processing is repeated. Continuous Iterative estimation until the difference between the calculated OA values decreases to a value smaller than ε by iteration. Value Ob¹Is increased. ε is small enough for required accuracy At this point, the iteration is stopped and the true value of OA is calculated for the first and third triangles. It is estimated to be between the calculated OA values. The following details how the iterative calculation was performed. From the signature formula, the following equation (3) is obtained. Distance Ob¹Is initially an estimate of the length of the OB set short. The distance AB is measured after the dimensions of the correction target are known or after the image is obtained Therefore, the distance AB is known. The values for ∠AOB are shown in FIG. And also based on measurements from image planes as described with respect to equations 1-7 Is calculated. Therefore, ∠OAB can be calculated as follows: If the first estimate of OAB is known, then the first estimate of OBA is Can be calculated. ∠OBA = 180 ° -∠AOB-∠OAB (5) At this point, all three angles of the first triangle in FIG. The value for OA can be calculated. Again, using the sign formula, OA Can be determined as follows. At this point, the first triangle is the distance Ob¹Is the actual value of the length OB All values are determined under certain conditions. Change to the second triangle. Distance OB to Ob¹Suppose that The distance BC is Known from target dimensions or measurements, angle BOC is measured from image plane It is known on the basis of Therefore, as shown in the following equations (8) to (12), the second You have enough information to completely determine the value of the triangle. ∠OBC = 180 ° -∠BCO-∠BOC (10) With respect to the distance OC calculated as shown in equation (12), the same information is Available for polygons, the third triangle is the most useful for solving the second triangle. First available. Thus, the third triangle is the corresponding length and corner of the third triangle. By substituting the degrees into the equations (8) to (12), a solution can be obtained in exactly the same way as the second triangle. it can. One result obtained by solving the third triangle is the distance O calculated as described above. A. The value of the distance OA obtained from the third triangle is calculated based on the above calculation. Obtained from the first, second and third triangles. However, from the third triangle, The value of the distance OA obtained from the first triangle and the value of the distance OA obtained from the first triangle¹But It should be noted that if in fact it is equal to the actual length OB, it should be the same. Ob¹Is generally assumed to be very low and small, so in general the first triangle There is a difference between the value of OA from the shape and the value of OA from the third triangle. Two calculated The difference in lengths obtained is the initial estimate Ob¹And an estimate O for the second iteration b^TwoTo form Ob^TwoFor the distance assumed to be the solution of the first, second and third triangles The calculations described above for the modulus are repeated to account for OA from the first and third triangles. The resulting values are again compared and the estimated value Ob^TwoIs adjusted as described above. It is based on the difference between the calculated values of the separation OA. With successive iterations, the estimate for the distance OA is OA from the first triangle. And the value of OA from the third triangle is reduced to an acceptable level ε. By continuing the return processing, it can be obtained with an accuracy up to a desired resolution. That is , The value of the distance OA resulting from the repetition processing is the principal point of the camera shown in O in FIG. The distance to point A, which is the origin of the coordinate system specified for this set of measurements. It becomes difficult. If the values for OA from the first and third triangles match within ε, Since all the values of the triangle are determined, the values of the entire line of sight pyramid are determined. Next, reference is made to FIG. Just looking at points A, B and C from the principal point of the camera, Determine which of A, B and C is closest to the camera and which is next Not necessarily. For example, in FIG.₁Is closest to the camera, point A Is closer and point C is farther, or alternatively, point C is closer and point A is better. Either far or far is possible. These differences are represented by the triangle A_TwoB₁C_TwoAnd triangle A₁ B₁C₁Can be found by comparing. In the table shown in FIG. 5, the relationship between points A, B and C is one. It generally indicates that six different permutations can occur. Work for a solution In doing so, one must always consider these combinations of near, medium and far. Naturally However, at the start, which points are closest to the camera, which points are furthest, I do not know if is a midpoint. It is desirable to try all combinations to avoid incorrect answers. Combination For each, find out which combination is, then try to calculate Suppose If the calculation converges to a possible solution, for further analysis Record and save this solution. If the combination is close to a particular triangular plane, There are five possible triangles that give the same relationship to length and vertex angle of the line-of-sight pyramid. There are possible solutions or orientations. If a specific combination of near, medium, and distant is not obtained, the calculation will not converge and the processing will be limited. Repeated, and usually terminates with a mathematical error, typically a trigonometric function. Naturally However, if the calculation proceeds normally, a possible solution is obtained and a possible solution Are all saved for further investigation. In FIG. 5, when two or more points are at exactly the same distance from the focal point, degeneracy sometimes It is clear that this can happen. This reduces the number of different possible solutions You. During the iterative process, in the example shown above, between the OA of the first and third triangles The difference is the estimated value Ob¹To determine an estimate to be used in the next iteration. Of course, using coefficients other than one-to-one, the value of OA for the first and second triangles The estimate can be adjusted in fractions or multiples of the difference. However, the preferred adjustment is one-to-one It is. It is desirable to use such a right angle correction target. Six possible locations near, medium, and far to points A, B, and C form a pyramid. It can be seen as a different way to make a plane. Three different planar pyramids, Formed by using each ridge OA, OB and OC as the "open" side (For example, a pyramid is formed by folding paper into a pyramid shape, Cut open along the line and spread the pyramid into the pattern shown in Figure 3. Sometimes cutting each with different ridges creates three different planar pyramids ). Each pyramid has two members, corresponding to the two possible order of the triangle Have You. As shown in FIG. 3, for example, a triangle is determined in the order of 1-2-3. You. This ordering indicates one of the two members. One other member Is formed by turning a plane pyramid over its surface Thus, the triangle 3 shown in FIG. Members of this group Values are determined in the order of 3-2-1 as displayed. The ordering 1-2-3 in solving the triangles of the plane pyramid is to the left (and The outer side (OA in the figure) of the right) is the longest, the next side (OB) is the middle (mid), An implicit assumption is that OC is the shortest. When searching for a solution for each of the near, medium, and distant arrays, the algorithm "exists Converges only for “workable” solutions. Usually only one of the six combinations is possible You. However, if the two (or three) points are exactly the same distance apart, degenerate May occur. In such a case, multiple solutions are possible, but the result obtained is Is the same. Thus, the convergence solution is defined by points A, B and C as described above. The X, Y and Z positions of the camera are uniquely defined in the coordinate system. The techniques described here can be applied to images taken without modification targets Noh. Select three convenient points on the image, and after the image is obtained, Correct when the image is obtained by physically measuring the distance between the appropriate points The same effect as obtained by using the target can be obtained. As shown in FIG. 6, a camera is used to find solutions for near, medium, and far uncertainties. Will be at a point where OA, OB and OC of known length coincide at point O Note that Thus, for each possible solution for the location of point O, point A , Around point B, and then the sphere around point C. Spherical Intersection is two soap bubbles combined Can be understood by envisioning As the sphere gradually approaches, the sphere is at one point Touch, then one bites into the other, the trajectory of a point that is common to the two spheres Generate a circle. Unless the spheres are exactly the same size, one bubble will be inside the other In the worst case, when it penetrates and goes inside, it makes contact again at one point. One is Proceed outward on the other side, re-contact at some point, forming a circle, then one leaves At this time, they come into contact at a point on the opposite side in the diameter direction. Centered at points A, B and C, each having a radius of length OA, OB and OC By writing the equations for a sphere, we can calculate three equations involving three unknowns (Assuming a rectangular coordinate system). Generate a set of spheres using each of the possible solutions for near, medium, and far uncertainties Find the solution of the common point of the intersection. Looking at FIG. 6, three spheres in the space on the + Z side In addition to the intersection at point 0 of the body, there is a symmetric solution obtained in the space on the -Z side. By convention, the horizontal control grid established by the XY plane It is assumed that the image is viewed from the + Z direction looking down on the image. By this rule, only one The solution remains. That is, the solution is only on the + Z space side, and the solution in the -Z space is removed. . Therefore, this determines the XYZ position of the camera's principal point. Once the camera position is determined, there are three possible locations to select and specify for the camera. There is a direction. They are (1) azimuth rotation, (2) elevation rotation, and (3) around the optical axis. Is the inclination. FIG. 7 shows how the azimuth and elevation corrections are determined. ing. FIG. 7 shows an image plane. Point ABC defines a coordinate system, The same point ABC used to calculate the camera distance in this coordinate system. point A, B and C are shown as part of the image shown in the image plane. Pre The center of the image (ie, the center of the image) is generally on the object of interest, I'm interested Object is displayed at the center of the image. Correction term used to determine the coordinate system The get, i.e. the three points A, B and C, are generally not at the center of the picture. Compass Positive is essentially the complement required to displace the image at the origin of the external world coordinate system to point A. Since it is positive, the image of the origin of the external world coordinate system is the axis 71 of the image plane coordinate system. It is right above the photograph position of point A shown on the right side of 0. Elevation correction, image plane The image of the point A is arranged just above the photograph position of the point A shown below the abscissa of the reference frame 700. The elevation or depression angle that needs to be adjusted. In short, azimuth correction and elevation correction If applied to point A, the origin of the real world coordinate system is point A, It will be determined to match the origin as obtained above. Mathematically, the image of the origin of the real world coordinate system is accurately placed on point A in the image plane. Is calculated as follows. θ_A= Tan^-1(△ A / f) (13) θ_E= Tan^-1(△ E / f) (14) The correction required to align or superimpose points A on each other is shown in FIG. I have. In FIG. 7, if A is correctly positioned, points B and C are correctly positioned. It is assumed that However, because of the camera ’s tilt around the optical axis, This is generally not true. When the point A is superimposed, the point B Is found in the real world coordinate system. The origin of the real world coordinate system is A Azimuth correction and elevation applied with respect to FIG. If still centered on A based on the corner correction, point B on the image plane Should be located where point B in the real world coordinate system is located. However, This is if the camera was perfectly level when the picture was taken. But If there is a tilt, B is displaced off-axis. On the image plane Then, the line AB is measured with respect to the X-axis of the image plane by the measurement from the image plane. The actual angle to form is known. When projecting a 3D image onto a 2D surface, To take a gaze pyramid and project it on the projection plane Therefore, it is possible to determine what angle BAC should be on the image plane. turtle The image plane must be rotated around the optical axis to compensate for the tilt . However, doing this would change the position of points A, B and C And the point is arbitrary error ε₁After point A is superimposed until convergence It is necessary to repeat another correction for calculating the amount of tilt. Using these techniques, astringency is typically 10^-14Accuracy up to Wear. If there is more than one candidate convergent solution, the residual at point B and the residual at point C are Used as a discriminator. FIG. 8 shows the process used to determine the position and orientation in detail from the image of the camera. Shows Roses. At step 800, the positions of the correction points A, B and C are determined, The distance between them is then known or measured (810). In XYZ coordinates The camera position is determined using the technique shown in FIG. XYZ camera position determined Once set, azimuth and elevation corrections are made (830), then corrections for tilt (840) is performed. When azimuth correction and tilt correction are performed, these points Determine if it is in the correct position within the desired accuracy ε. If you seem to be The position and orientation of the camera are determined in detail (860) and the process ends. That's right If not, another repetition of steps 830 and 840 is initiated to obtain the desired accuracy The position is determined within. FIG. 9 shows details of the block 820 shown in FIG. Camera main distance Once separated, measure three angles AOB, BOC and COA from the image plane (900). Gaze pyramid is assumed to be the longest dimension An incision is made at a distance OA (905). Pyramid flattened and known to be short A certain value is estimated for the line segment OB (910). For OB A solution for the first triangle is determined using the estimated value (915). Next, the second And the third triangle are solved sequentially using the results of the previous calculation (920 and 925). The difference between the values for OA calculated for the first triangle is the third triangle. If the value (930) for the OA calculated from the shape differs by an amount greater than ε If (940), the difference △ OA is added to the previous OB estimate and the new estimate is A new iteration of steps 915, 920, 925, 930 and 940 formed Is performed. If OA <ε (940), a solution to the line-of-sight pyramid is found Close (950) before determining all camera positions and orientations (970). , Distant uncertainty needs to be solved (960). If the image is obtained with two cameras arranged as shown in FIG. X₁, Y₁, Z₁Is calculated as follows: A set of axes with origin 0, the X and Z axes as shown in FIG. Assume a Y axis that is perpendicular to the page plane. Images are obtained with the objective lens at point C and the objective lens at point F in FIG. Assume that The distance between C and F is (d₁+ D_Two). Cameras that obtain images are known An image plane having a focal length F and corresponding to each of the points at which an image is obtained is located on the X-axis. Indicated by thick lines. Shows D from the line that focuses the camera (C & F) The distance to a given point can be calculated as follows: The triangles ABC and CED are geometrically similar, and the triangles DEF and FH G is also similar. Because these are similar, h / f = d₁₂/ △ X_L (15) h / f = (d_Two+ D₁₁) / △ X_R (16) d₁= D₁₁+ D₁₂ (17) h / f = d₁₂/ △ X_L= (D_Two+ D₁₁) / △ X_R (18) As shown in Equation (18), Equations (15) and (16) are set equal, and the right side is subtracted from both sides to correct. This is as follows. If equation (19) is correct, the numerator must be zero. ∴ d₁₂△ X_R− (D_Two+ D₁₁) △ X_L= 0 (20) Equation (17) is d₁₁Solving for, substituting into equation (20) and rearranging, d₁₂△ X_R= (D_Two+ D₁-D₁₂) △ X_L (twenty one) ∴ d₁₂(△ X_R+ △ X_L) = (D_Two+ D₁) △ X_L (twenty two) If h is known, the coordinate X of the origin 0₀And Y₀Is aligned with the optical axis of the camera by Can be specified. See FIGS. α_x= Tan^-1(F / △ X) (26) α_y= Tan^-1(F / △ Y) (27) X₀= -H · cotα_X (28) Y₀= -H · cota_Y (29) When acquiring an image under viewing conditions, the position of the camera is shown in FIG. It is rare to be defined as well. FIG. 13 shows a typical real world situation. In FIG. 13, points A, B and C are , A calibration target or point measured after obtaining the image. Coordinate system X , Y and Z are defined relative to the origin A according to the rules described above. The main point O₁Passing And O_TwoCamera positions 1 and 2 indicated only by Lane IP₁And IP_TwoIs O₁And O_TwoThe main points in It is positioned by its optical axis directed to the center point T of the field of view on the screen. Any Coordinates of the point P (X₁, Y₁, Z₁) Is desired. This can be solved by a two-stage transformation. Focus O₁And focus O_TwoDirectly Draw a line and set the midpoint of this line to O_M(X_m, Y_m), And then execute azimuth rotation. Focus O_TwoWhen the same kind of rotation around is applied to camera 2, the camera Oriented as shown, the coordinates for point P are calculated using equations 15-19 as described above. Is calculated. However, the calculated coordinates correspond to point O in FIG._MFIG. 10 corresponding to At the point O. Therefore, the world coordinate system defined for the measurement To obtain the coordinates of the point P_MPlace the origin at point A from the coordinate system with the origin at A simple coordinate transformation to a coordinate system is required. FIG. 14 illustrates the hardware used to implement certain aspects of the present invention. ing. Camera 1400 used to obtain images to be analyzed according to the present invention Is done. Camera 1400 is a digital still camera or frame grapper A video camera having Images from the camera are transferred to the camera interface 14 10 is loaded on the computer 1420. Usually an interface Images loaded through 1410 are stored on hard drive 1423, Retrieved later for processing in video RAM 1430. However, the image data The key is Then it can be loaded directly into the video RAM. Video RAM 1430 is a camera It is desirable to include enough image memory to process these two images simultaneously. Good Preferably, the video display 1440 is a high-resolution video display such as a cathode ray tube. A display or similar display constructed of semiconductor technology. Display A 1440 is connected to the computer To create individual images or both images simultaneously or in accordance with the present invention. Used to display the resulting three-dimensional wireframe. Keyboard 145 0 is interfaced to the bus via the keyboard interface as usual. It is. As can be seen in FIG. If the distance measurement is known, the resolution of the vertical and horizontal display is known. Vertical and horizontal that can be converted to linear measurements on the display screen It can be conveniently measured by the number of pixels in the direction. The number of pixels depends on the target Point and click on it to click from the cursor address. Obtained pixel address is easily determined. Therefore, a camera or other image as determined from the image analyzed after capture Knowing the position and orientation of the image acquisition device allows for a system centered on point A The exact locations of these points can be calculated using the real world coordinates of XYZ The positions of these points with respect to the world coordinate system can be specified with high accuracy. The technology described here, as well as accurate surveying of buildings or construction sites, Investigating the controversial scene of an accident or crime, particularly where It is possible in the vertical direction that was possible. In this disclosure, only the preferred embodiment of the present invention is shown, but As such, the present invention can be used in various other combinations and environments. It should be understood that it can be changed or modified within the scope of the inventive concept as shown here. It is.

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ)，ＵＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ────────────────────────────────────────────────── ─── Continuation of front page (81) Designated countries EP (AT, BE, CH, DE, DK, ES, FI, FR, GB, GR, IE, IT, L U, MC, NL, PT, SE), OA (BF, BJ, CF) , CG, CI, CM, GA, GN, ML, MR, NE, SN, TD, TG), AP (KE, LS, MW, SD, S Z, UG), UA (AM, AZ, BY, KG, KZ, MD , RU, TJ, TM), AL, AM, AT, AU, AZ , BB, BG, BR, BY, CA, CH, CN, CZ, DE, DK, EE, ES, FI, GB, GE, HU, I S, JP, KE, KG, KP, KR, KZ, LK, LR , LS, LT, LU, LV, MD, MG, MK, MN, MW, MX, NO, NZ, PL, PT, RO, RU, S D, SE, SG, SI, SK, TJ, TM, TR, TT , UA, UG, UZ, VN

Claims

[Claims] 1. A method for measuring the absolute three-dimensional position of a point D with respect to a defined coordinate system using three points A, B and C separated by a known distance using image data, comprising: a. Using the known principal point distances of one or more cameras to obtain two scene images including points A, B, C and D; b. Determining the position and orientation of the one or more cameras at the time each of the images was obtained with respect to the coordinate system using information obtained from the images, principal point distances and the known distances, c. Determining the position of said point D from image data using the position of one or more cameras at the time the image was obtained. 2. Determining the position of the point D from image data using one or more camera positions at the time the image was obtained, comprising: a. Defining an auxiliary coordinate system having an origin on the connection line with the camera position; b. Defining the center point of each image as the origin of a set of image reference axes pointing in the directions of X ', Y' and Z ', respectively; c. Measuring at least one offset in the X 'and Y' directions of a point on the first image and a corresponding point on the second image; d. Determining the angle formed between the point D, the principal point of the objective lens, and the image of point D one above in the X 'or Y' plane for each of the images; e. Determining the distance h using the measured offset, focal length and angle; f. Determining the X 'and Y' coordinates of point D in the auxiliary coordinate system; g. 2. The method according to claim 1, comprising converting the coordinates (X ', Y', h) of the auxiliary coordinate system into a representation in the coordinate system defined using the three points A, B and C. 3. Determining the position and orientation of the one or more cameras at the time the image was obtained using the image data, principal point distance and the known distance with respect to the coordinate system, comprising: a. Showing the distances between points A, B and C and the principal point of camera O as a line-of-sight pyramid; b. Transform the line-of-sight pyramid representation into a planar pyramid representation consisting of three triangles; c. Selecting a low estimate Ob ¹ for one interior edge of the first triangle of the planar pyramid representation; d. Image data, computes the solution to a principal point distance and the known distance the first using a triangle, in particular, to obtain a first calculated value of length for the estimate Ob ¹ given of OA, e. Use the results obtained to solve for a second triangle; f. Using the results obtained to solve a third triangle, in particular to obtain a second calculated value for the length OA; g. Subtracting the second calculated value for the length OA from the first calculated value for the length OA to determine a difference; h. Correct the value of the estimated value Ob ¹ by adding a value of said difference, to give a new corrected estimate, i. Repeat steps d through h using the modified estimate until the difference value reaches the desired accuracy, j. The method of claim 1, comprising: obtaining a value for a camera position using a set of one or more values for distances OA, OB, and OC. 4. Obtaining a value for the camera position using the set of one or more values for the distances OA, OB, and OC has a radius of OA, OB, and OC, respectively, centered at points A, B, and C 4. The method according to claim 3, comprising simultaneously solving equations for the sphere. 5. Further, k. 4. The method of claim 3, comprising determining an orientation of one or more of the cameras by calculating an azimuth and elevation adjustment required to point the camera at the location of point A. 5. 6. Further, l. 6. The method of claim 5, including determining the orientation of one or more of the cameras by calculating the amount of rotation about the optical axis required to align point B once the camera is pointed at point A. the method of. 7. 6. The method of claim 5, comprising repeating steps k and l until the degree of alignment is within a desired degree of accuracy. 8. The method of claim 1 used to measure a distance between two points. 9. 2. The method according to claim 1, wherein the method is used to measure vertical distance. 10. 2. The method of claim 1, wherein the method is used to accurately determine the physical location of an object visible in the image. 11. The method of claim 1 used to form a three-dimensional wireframe representation or three-dimensional surface model including three or four vertices surface elements. 12. The method of claim 1 used to document conditions during formation of the object. 13. A method for measuring an absolute three-dimensional position O of a camera with respect to a coordinate system defined using three points A, B and C separated by a known distance using image data, comprising: a. Using a camera to obtain an image of the scene including points A, B and C; b. Determining a principal point distance of the camera; c. Determining the position of the camera at the time the image was obtained relative to the coordinate system using information from the image, principal point distance and the known distance. 14． A method for measuring an absolute three-dimensional position O of a camera with respect to a coordinate system defined using three points A, B and C separated by a known distance using image data, comprising: a. Using a camera with a known principal point distance to obtain an image of the scene containing points A, B and C; b. The method comprising determining the position of the camera at the time the image was obtained with respect to the coordinate system using information from the image, principal point distance and the known distance. 15. A method for measuring a distance, including a vertical height, comprising: a. Absolute three-dimensional positions of points D, E, and F with respect to a coordinate system defined using A, B, and C with respect to three points separated by a known distance using image data according to Measuring and a1.1 obtaining two images of the scene including points A, B, C, D, E and F using a camera with more than one principal point distance a2. Determining the position and orientation of the one or more cameras at the time each of the images was obtained using the information from the images, principal point distance and the known distance with respect to the coordinate system; a3. Using the position of the one or more cameras at the time the image was obtained to determine the position of the points D, E and F from image data; b. Determine the distance between points D, E and F; c. The method as described above, comprising using the positions of the points D, E and F and the position of the one or more cameras at the time the image was obtained to determine another position. 16. The position of points D, E and F is determined using image data obtained from an image different from the image used to determine the positions of points D, E and F; 16. The method of claim 15, comprising using the method. 17． An apparatus for measuring an absolute three-dimensional position of a point D with respect to a coordinate system defined using three points A, B, and C separated by a known distance using image data, a. One or more cameras for obtaining an image of the scene including points A, B, C and D; b. Means for storing images obtained by said one or more cameras; c. To determine the position and orientation of the one or more cameras at the time each of the images was obtained using the information from the images, principal point distances and the known distances with respect to the coordinate system. Means for processing the stored image; d. Means for using the position of the one or more cameras at the time the image was obtained to determine the position of the point D from image data. 18. 18. The apparatus of claim 17, wherein the position of point D is stored in a database used to store a three-dimensional wireframe representation. 19. 19. The apparatus according to claim 18, wherein the position of point D is stored in a database of surveyed point positions.