JP2009042162A - キャリブレーション装置及びその方法 - Google Patents

Abstract

【課題】狭い空間であっても、簡単で高精度なカメラカメラキャリブレーションを行なうことができるキャリブレーション装置を提供する。
【解決手段】カメラ１６の視野内に配置され、３次元基準座標系において３次元位置が確定した１台のモニタ１２と、モニタ１２に設けられ、３次元基準座標系において３次元位置が確定した基本四角形と、カメラ１６によって基本四角形を含むモニタ１２の画面を撮影することによって、モニタ１２の画面にカメラ１６で撮影したカメラ画像を再帰構造で表示し、基本四角形の３次元位置と、モニタ１２に再帰構造で表示されたカメラ画像中の基本四角形の２次元画像位置のそれぞれと、カメラ１６の焦点距離に基づいて、カメラ１６の姿勢行列を求める計算部１４とを有する。
【選択図】 図１

Description

本発明は、カメラのキャリブレーション装置及びその方法に関する。

対象物体の位置や距離等を画像を用いて計測する画像計測技術は、ロボットや自動車の自律走行等に適用可能な技術であり、国内外を問わず盛んに研究開発が行なわれている。例えば、画像を用いて周囲の障害物の正確な位置等が計測できれば、ロボットの安全な移動を実現する上で極めて有用である。

高精度な画像計測を行なうためには、基準となる座標系に対するカメラの位置や姿勢を予め計測しておく必要がある。この作業を「カメラキャリブレーション」と呼ぶ。カメラキャリブレーションは、複数のカメラの幾何学的な関係を拘束条件として利用するステレオ視においても不可欠である。

従来、カメラキャリブレーションは、形状既知物体等を用いて３次元位置が既知な複数のサンプル点を撮影し、各サンプル点の画像上の投影位置を求め、これらのデータからカメラの位置、向き、及び、必要ならば焦点距離等の内部パラメータを算出するという手順で行なう。

高精度なキャリブレーションのためには、空間的な広がりのある複数のサンプル点が必要である。このため、これらのサンプル点を含むような広い空間を確保しなければならないという問題点があった。

そこで、上記問題点を解決するために特許文献１では、狭いスペースでの高精度なキャリブレーションの実現を意図している。この特許文献１は、２枚の鏡を互いの映像が映るように正対させる、いわゆる「合わせ鏡」を用いて生成した多数のパターンを利用する方法が開示されている。２枚の鏡によって広い空間を擬似的に作り出すこの方法では、合わせ鏡を置くスペースがあれは良いため、従来よりも狭い空間でキャリブレーション可能である。しかしながら、この特許文献１の方法では、２枚の鏡を極めて正確に対向させなければならないという問題点がある。
特開２００４−１９１３５４公報

上記のように従来のキャリブレーション方法の多くは広い空間が必要とし、例えば自動車にカメラシステムを搭載する場合には、工場の製造ラインにてカメラを取り付けた後、屋外に移動してキャリブレーション用の画像を撮影するといった煩雑な作業が必要となる問題点があった。

また、特許文献１の方法では、２枚の鏡の向きを正確に合わせる必要があり、その条件が非常に厳しく現実的でないという問題点があった。

そこで、本発明は上記問題点に鑑み、狭い空間であっても、簡単で高精度なカメラカメラキャリブレーションを行なうことができるキャリブレーション装置及びその方法を提供することを目的とする。

本発明は、モニタと、キャリブレーション対象のカメラで撮影されるターゲットと、前記モニタの画面及び前記ターゲットを視野に含むようにキャリブレーション対象のカメラで撮影されたリアルタイムのカメラ画像を入力する入力部と、３次元基準座標系での前記モニタの３次元位置、前記３次元基準座標系での前記ターゲットの３次元位置、及び、前記カメラの焦点距離を記憶する記憶部と、前記カメラ画像を前記モニタの画面に表示することにより、前記ターゲットにそれぞれ対応する複数のターゲット領域を再帰的に含む再帰的カメラ画像を求める表示制御部と、前記モニタの３次元位置と、前記ターゲットの３次元位置と、前記再帰的カメラ画像中の前記複数のターゲット領域のそれぞれの２次元画像位置と、前記カメラの焦点距離に基づいて、前記カメラの姿勢を求める計算部と、を有するキャリブレーション装置である。

本発明によれば、狭い空間であっても、簡単で高精度なカメラキャリブレーションが可能となる。

本発明の一実施形態のキャリブレーション装置１０について図１〜図９に基づいて説明する。

（１）キャリブレーション装置１０の構成
キャリブレーション装置１０の概略構成を図１に示す。

キャリブレーション装置１０は、図１のように、モニタ１２と計算部１４とを備えている。

キャリブレーション装置１０によるカメラキャリブレーションの手順を図２のフローチャートに示し、以下各ステップについて説明する。

（２）カメラ１６の設置
カメラキャリブレーションの対象となるカメラ１６は、モニタ１２の前方に設置し、カメラ１６の向きはモニタ１２の画像を表示する画面と正対させる。そして、カメラ１６の視野の大部分をモニタ１２が占めるようにカメラ１６とモニタ１２間の距離を調節する。

本実施形態では図３に示すように、カメラ１６をモニタ１２の十分近くに設置し、カメラ１６の視野（ＦＯＶ）全体をモニタ１２の画面が占めているものとする。また、カメラ１６の光軸が、モニタ１２の画面の法線方向とできるだけ一致するように置く。すなわち、カメラ１６の撮像面とモニタ１２の画面が平行になるように設置する。

なお、カメラ１６の位置、姿勢を正確に算出するのがキャリブレーション装置１０の目的であり、この時点での調整は厳密に行なう必要はなく、目視で十分である。

図１に示すように、カメラ１６とモニタ１２は、計算部１４を介して接続されており、カメラ１６で撮影したカメラ画像をモニタ１２に表示する。

また、モニタ１２の画面中のカメラ画像の外側にはカメラキャリブレーションに用いる目印（ターゲット）を表示する。

本実施形態では、図３に示すように、カメラ画像（Ｃａｍｅｒａ ｖｉｅｗ）の外側に矩形（Ｒｅｃｔａｎｇｌｅ．４つの内角が全て９０度の四角形）を表示している。以下ではこの矩形を「基本四角形」と呼ぶ。そして、この基本四角形の４個の頂点が、ターゲットに対応する。

モニタ１２の画面上に表示された基本四角形の４つの頂点の３次元基準座標系に対する位置は既知とする。３次元基準座標系については後から説明する。

なお、基本四角形の各辺には、後に説明する画像処理が容易となるように適当な色を付けても良いし、コントラストが明確になるように背景色を工夫しても良い。

（３）カメラ画像の取得
カメラ１６を上記のように配置した後に、モニタ１２の画面に表示されたカメラ画像を、そのカメラ１６自身で撮影する。撮影されるカメラ画像の一例を図４に示す。

カメラ１６とモニタ１２が互いに向き合った状態において、(a) カメラ１６でモニタ１２の画面を撮影、(b) その撮影したカメラ画像をモニタ１２の画面で表示、(c) カメラ１６でモニタ１２の画面を撮影、(d) その撮影したカメラ画像をモニタ１２の画面で表示、・・・、という無限ループが発生するため、図４のような四角形の繰り返しパターンが撮影される。以下、この繰り返しパターンを、本明細書では「再帰構造」という。

カメラ１６の撮像面とモニタ１２の画面が厳密に平行であれは互いに相似な基本四角形が観測されるが、カメラ１６の位置と姿勢は目視により調節されており、これら２つの平面を人手を介して厳密に平行することは事実上不可能であるため、カメラ１６の撮像面上の基本四角形には歪みが生じる。この歪みは外側から内側に向かうにしたがって大きくなる。カメラ１６の位置と姿勢によって、繰り返しパターンが異なって発生する。

他の繰り返しパターンの３つの例を図７に示す。

第１の例は、図７の中央図の示すように、カメラ１６の撮像面とモニタ１２の画面が厳密に平行であり、かつ、両者の水平、垂直方向も完全に一致し、さらに、モニタ１２上の画面の中心と、カメラ１６の中心からモニタ１２の画面に下ろした垂線の足が一致する理想な場合に観測される画像である。

第２の例は、図７の右下図に示すように、カメラ１６の位置がモニタ１２の画面の中央からずれている画像であり、カメラ１６の位置がモニタ１２の画面の中央からずれている場合に観測される。

第３の例は、図７の左下図に示すように、カメラ１６の光軸回りの回転によって発生するパターンである。

このように、モニタ１２に対するカメラ１６の位置や姿勢によって異なる繰り返しパターンが発生することを利用し、繰り返しパターンの形状を用いてカメラ１６の位置と姿勢を求めるのが本実施形態の特徴である。

なお、本実施形態では、カメラ１６のレンズの焦点距離ｆ等の内部パラメータは既知であり、カメラキャリブレーションで求めるカメラパラメータは、外部パラメータ、すなわち３次元基準座標系に対するカメラ１６の３次元位置と、３本の単位ベクトルで定義される姿勢であるとする。

（４）画像処理
図４に示すように、基本四角形の再帰構造を表示する入力画像を処理して複数の四角形を抽出する。

モニタ１２の画面で表示されたこれらの再帰構造の四角形は、外側から内側に進むにつれてサイズが小さくなり、画像処理による抽出が困難となるので、ある一定のサイズを持つ四角形をＫ個を外側から取り出す。各四角形は、入力画像からエッジを検出後、直線当てはめを各辺について行なうことにより抽出する。

Ｋ個の四角形の抽出方法は任意であるが、以下のような手順で処理を行なうと効率的である。

まず、モニタ１２の画面にカメラ画像を表示しない状態で、その画面をカメラ１６で撮影する。この時点で撮影した画像上に存在する四角形はモニタ１２の画面に表示した基本四角形のみであり、その抽出は容易である。後に詳細に説明するが、モニタ１２の画面からカメラ１６で撮影した画像への変換は２次元射影変換で表され、４つの点の対応関係から、一意に決まる。そこで、上記で抽出した四角形を用いて、この２次元射影変換を求めておく。

次に、モニタ１２の画面にカメラ画像を表示した状態で、その画面をカメラ１６で撮影すると、上記で説明した基本四角形の再帰構造が観測される。１番外側の四角形は既に抽出されているので、２番目以降の四角形が抽出対象となる。隣合う２つの四角形間の変換はいずれも同一であり、上記のモニタ１２の画面からカメラ１６で撮影した画像への射影変換と、撮影した画像からモニタ１２の画面へのスケール変換から構成される。ここで、射影変換は上記で既に求めているため、スケール変換のみ考慮して四角形を抽出すればよい。

（５）パラメータの算出
モニタ１２の画面に表示した基本四角形と、基本四角形の画像上の投影像（画像処理により抽出したＫ個の四角形）からカメラ１６の位置と姿勢のパラメータを算出する。

（５−１）定義
図５に３次元基準座標系の定義を示す。３次元基準座標系の設定方法は任意であるが、本実施形態では３次元基準座標系の原点をモニタ１２の左上端とし、モニタ１２の画面をＸＹ平面、モニタ１２の画面の法線方向をＺ軸とする。

また、この３次元基準座標系において、基本四角形Ｘ^（１）の４個の頂点のそれぞれの３次元位置が上記したように既知である。

カメラ１６の位置をｔ＝（ｔ_Ｘ，ｔ_Ｙ，ｔ_Ｚ）^Ｔとする。但し、Ｔは転置記号である。

カメラ１６の姿勢を正規直交基底ｉ，ｊ，ｋとする。

これら３本のベクトルからなる行列Ｍ＝（ｉ^Ｔ _，ｊ^Ｔ,ｋ^Ｔ）^Ｔを定義する。行列Ｍはカメラ１６の姿勢を表すことから「姿勢行列」と呼ぶ。

そして、カメラ１６の位置ｔと姿勢行列Ｍが求めるカメラパラメータである。

（５−２）３次元上の位置と画像上の２次元画像位置との関係
３次元空間中の点Ｘ＝（Ｘ，Ｙ，Ｚ）^Ｔの画像への投影点ｘ＝（ｘ，ｙ）^Ｔは、式（１）（２）により与えられる。なお、計算を簡単にするために既知のレンズの焦点距離をｆ＝１とする。

モニタ１２上の平面はＸＹ平面と一致するのでＺ＝０である。つまり、モニタ１２上の点（Ｘ，Ｙ，０）^Ｔの投影点（ｘ，ｙ）^Ｔは、式（３）で与えられる。

以下では表現の簡略化のため同次座標表現を用いる。すなわちモニタ１２上の点（Ｘ，Ｙ）、画像上の点（ｘ，ｙ）を各々Ｘ＝（Ｘ，Ｙ，１）^Ｔ、ｘ＝（ｘ，ｙ，１）^Ｔによって表す。これを用いると式（３）は、

と表現できる。ここで、

である。モニタ１２上の点Ｘ＝（Ｘ，Ｙ，１）^Ｔは、式（４）が示す２次元射影変換を受け、画像の点ｘ＝（ｘ，ｙ，１）^Ｔに投影される。

（５−３）カメラの撮像面上の四角形とモニタ１２の画面上の四角形との関係
図６が示すように、カメラの撮像面上の一番外側の四角形の点をｘ^（１）とし、以下、２番目、３番目の四角形の点をｘ^（２），ｘ^（３）のように、外側からｋ番目の四角形をｘ^（ｋ）と表す。そして、カメラの撮像面、すなわち、カメラ画像中のｘ^（１）、ｘ^（２）、ｘ^（３）、・・・ｘ^（Ｋ）の位置は、上記したように画像処理において検出しておく。

一方、モニタ１２の画面上の四角形も外側からＸ^（１），Ｘ^（２），Ｘ^（３）と表現する。Ｘ^（１）はモニタ１２上のカメラ画像の外側に表示した基本四角形であり、Ｘ^（２），Ｘ^（３），・・・はモニタ１２上のカメラ画像内に表示された四角形である。なお、上記したように、基本四角形Ｘ^（１）の４個の頂点のそれぞれの３次元位置は既知である。

モニタ１２の画面上において、外側からｋ番目の四角形のＸ^（ｋ）のカメラ画像への投影がｘ^（ｋ）なので、式（４）より、

となる。

また、モニタ１２の画面上で２番目外側の四角形Ｘ^（２）は、カメラの撮像面上で一番外側の四角形の点のｘ^（１）を、モニタ１２上で拡大表示したものである。

一般化すると、モニタ１２の画面上でｋ番目の外側の四角形Ｘ^（ｋ）は、カメラ１６の撮像面上で（ｋ−１）番目の外側の四角形ｘ^{（ｋ−１）}を投影したものなので、

となる。但し、Ｓは拡大を表す行列であり、係数ｓを用いて次式により表現される。

但し、（ｃｘ，ｃｙ，１）^Ｔは画像中心のモニタ画像上への投影点を表す。式（８）、（９）から式（１１）を得る。

である。Ｐ’もＰと同様に２次元射影変換を表す。

（５−３）カメラ１６の姿勢行列Ｍの算出
上記の式（１１）と、上記の画像処理によって抽出したＫ個の四角形ｘ^（ｋ）（但し、ｋ＝１，２・・・，Ｋである）からカメラ１６の姿勢行列Ｍを求める。

ｋ番目の四角形の４つの頂点をｘ_１ ^（ｋ），ｘ_２ ^（ｋ），ｘ_３ ^（ｋ），ｘ_４ ^（ｋ）と表す。なお、カメラ画像中のｘ_１ ^（ｋ），ｘ_２ ^（ｋ），ｘ_３ ^（ｋ），ｘ_４ ^（ｋ）の２次元画像位置を上記したように予め画像処理で検出しておく。

ｋ番目の四角形とその一つ内側にある（ｋ−１）番目の四角形の各頂点の対応関係と式（１１）から、

を得る。各頂点の対応関係から上記２本の方程式が得られ、それが４頂点あるので１対の四角形から８つの方程式を得る。

さらに、Ｋ個の四角形の中には互いに隣接する四角形の組は（Ｋ−１）通りあるので、合計８×（Ｋ−１）本の方程式を得る。

これらの方程式を連立させて射影変換Ｐ’を求める。但し、Ｐ’は射影変換であり、その要素には定数倍の不定性がある。すなわち、例えば、ｗ＝ｔ_３’として、

とおいたときのｈ_１１〜ｈ_３２が一意に決まる。

姿勢行列Ｍの第１列（ｒ_１１，ｒ_２１，ｒ_３１）は単位ベクトルだから、

式（１５）（１６）と式（１４）とから、

（ｒ_１１，ｒ_２１，ｒ_３１）＝ｗ’（ｈ_１１，ｈ_２１，ｈ_３１），

（ｒ_１２，ｒ_２２，ｒ_３２）＝ｗ’（ｈ_１２，ｈ_２２，ｈ_３２） （１７）

として姿勢行列Ｍの第１列と第２列の要素を求める。但し、ｗ’＝ｗ／ｓである。

姿勢行列Ｍの第３列（ｒ_１３，ｒ_２３，ｒ_３３）は、

（ｒ_１３，ｒ_２３，ｒ_３３）＝（ｒ_１１，ｒ_２１，ｒ_３１）×（ｒ_１２，ｒ_２２，ｒ_３２）

（１８）

という関係式から求める。なお、式（１８）の×はベクトルの外積を表す。

以上によって、カメラ画像中のｘ^（１）、ｘ^（２）、ｘ^（３）、・・・ｘ^（Ｋ）の２次元画像位置を画像処理で検出し、焦点距離ｆと基本四角形Ｘ^（１）の４個の頂点のそれぞれの３次元位置に基づいて、姿勢行列Ｍの各要素が全て求まる。

ｗ’の符号によって２つの姿勢行列Ｍが算出されることになるが、物理的な意味から妥当な方を選択する。例えば、カメラ１６の撮像面の横方向を表すｉ＝（ｒ_１１，ｒ_１２，ｒ_１３）はＸ軸方向にほぼ一致することからｗ’の符号を一意に定めることができる。

（５−４）カメラ１６の位置ｔの算出
カメラ１６の位置ｔ＝（ｔ_Ｘ，ｔ_Ｙ，ｔ_Ｚ）は式（４）を用いて算出する。モニタ１２上の基本四角形の頂点Ｘ_ｉ ^（１）とその投影点ｘ_ｉ ^（１）を式（４）に代入すると、

式（１９）は２つの方程式を表す。４つの頂点を用いると８本の方程式を得る。カメラ１６の姿勢Ｍは既に求めているのでこれも用いて８本の連立方程式をｔ＝（ｔ_Ｘ，ｔ_Ｙ，ｔ_Ｚ）^Ｔについて解いてカメラ１６の位置を求める。

上記の手順により、本実施形態の目的であるカメラキャリブレーション、すなわち、モニタ１２に対するカメラ１６の位置と姿勢の算出が可能となる。

（６）評価方法
算出したカメラパラメータの妥当性を以下の方法により評価することも可能である。

まず、モニタ１２の画面上の画面分の中心が算出したカメラ１６の位置ｔからモニタ１２平面に下ろした垂線の足と一致するように、基本四角形Ｘ^（１）と共に画面分を移動させ、さらに、Ｘ^（１）を下記のように変換する。

表現の簡略化のため、上付き数字「（１）」は省略している。Ｘ’の画像への投影は式（２１）で与えられる。

一方、３つの姿勢ベクトルが３次元基準座標系のＸ，Ｙ，Ｚ軸に一致する理想的なカメラ１６（以下で、「理想カメラ１６」と呼ぶ）の姿勢行列Ｍは式（２２）のようになる。

これと式（４）から基本四角形を理想カメラ１６で撮影したときの投影点ｘ”は式（２３）のようになる。

式（２１）と式（２３）からｘ’とｘ”は一致する。つまり、基本四角形を式（２０）により変換すると、変換後の四角形の投影図は、理想カメラ１６で基本四角形を撮影した場合の投影像と同一となり、繰り返しパターンは図７中央上のようになる。つまり、観測された繰り返しパターンの相似性や各辺の方向の不変性から、算出したカメラパラメータの妥当性を評価することができる。

（７）再計算方法
このような理想的な繰り返しパターンが観測されるまで再計算を行なって精度を改善することも可能である。図８に再計算を含む場合のキャリブレーションの手順を示す。

パラメータ算出後、その前回から更新量の大きさ等で終了判定を行ない、再計算の必要があると判定された場合には、基本四角形の形状を式（２０）により変形し、変形後の四角形を用いて計算を行なう。

このような手順によると、繰り返しパターンが理想的な形状に近付いていくため、四角形の各辺が水平線、または垂直線となり、画像処理による直線抽出が容易となり、かつ、抽出精度が高くなる。

（８）変更例１
キャリブレーション装置１０は複数のカメラ１６のキャリブレーションも可能である。

図９にステレオのカメラ１６のキャリブレーションの外観を示す。キャリブレーションはカメラ１６毎に独立に実施する。

左のカメラ１６のキャリブレーションを行なうときには、モニタ１２左画像を表示する。右のカメラ１６のキャリブレーションを行なうときには、右画像を表示する。各カメラ１６に関する処理の手順は、単一のカメラ１６の場合と同一である。

（９）変更例２
本実施形態では、モニタ１２の内部に画面を設定し、画面の外側に描画した四角形をキャリブレーションのターゲットとして用いたが、画像をモニタ１２全体に表示し、モニタ１２の外枠をターゲットとしても良い。

（１０）変更例３
上記実施形態では、基本四角形の各頂点をターゲットとしたが、このターゲットは３点以上であればよく、また、四角形に限らず、三角形、多角形でもよい。

（１１）変更例３
本実施形態では自動的にカメラ１６の位置と姿勢を算出する方法について説明したが、カメラ１６とモニタ１２が作り出すこのような無限の繰り返しパターンを用いて、人手によりカメラ１６のモニタ１２に対する姿勢を調整することもできる。

例えば、複数のカメラ１６の向きを揃えたい場合は、通常、遠方の物体を目標を用いる必要があるため、広い空間が必要となるが、繰り返しパターンを観測しながら向きを調節すれば、狭い空間でも比較的正確に向きを揃えることができる。

また、上記で計算されたカメラ１６の姿勢に基づいて、カメラ移動装置、または、人がカメラ１６の位置を調節してもよい。

（１２）他の変更例
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。

また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

その他、本発明の要旨を逸脱しない範囲で変形を実施できる。

（１３）応用例
キャリブレーション装置１０の応用例としては、例えば、車両にステレオ視の２台のカメラが搭載されている場合に、このキャリブレーション装置１０を用いることができる。

具体的には、車両の前にモニタ１２を上記条件が満たされるように配置して、カメラキャリブレーションを求める。

本発明の一実施形態のキャリブレーション装置の説明図である。 キャリブレーション装置によるカメラキャリブレーションの処理の手順のフローチャートである。 カメラの視野、矩形ターゲット、画面分の位置関係を示す説明図である。 キャリブレーション装置により撮影されるカメラ画像を説明図である。 キャリブレーション装置で使用する３次元基準座標系を説明するための図である。 モニタの画面上とカメラ画像上の繰り返しパターンの幾何学的関係を説明するための図である。 計算部における処理を説明するための図である。 キャリブレーション装置によるキャリブレーションの処理の手順のフローチャートである。 ステレオカメラのカメラキャリブレーションを説明するための図である。

符号の説明

１０ キャリブレーション装置
１２ モニタ
１４ 計算部
１６ カメラ

Claims (10)

1. モニタと、
   キャリブレーション対象のカメラで撮影されるターゲットと、
   前記モニタの画面及び前記ターゲットを視野に含むようにキャリブレーション対象のカメラで撮影されたリアルタイムのカメラ画像を入力する入力部と、
   ３次元基準座標系での前記モニタの３次元位置、前記３次元基準座標系での前記ターゲットの３次元位置、及び、前記カメラの焦点距離を記憶する記憶部と、
   前記カメラ画像を前記モニタの画面に表示することにより、前記ターゲットにそれぞれ対応する複数のターゲット領域を再帰的に含む再帰的カメラ画像を求める表示制御部と、
   前記モニタの３次元位置と、前記ターゲットの３次元位置と、前記再帰的カメラ画像中の前記複数のターゲット領域のそれぞれの２次元画像位置と、前記カメラの焦点距離に基づいて、前記カメラの姿勢を求める計算部と、
   を有するキャリブレーション装置。
2. 前記計算部は、
   前記再帰的カメラ画像中の前記複数のターゲット領域について、外側からＫ番目までの前記複数のターゲット領域の２次元画像位置を検出する検出部と、
   ｋ番目（但し、ｋ＝１，２，・・・Ｋである）の前記複数のターゲット領域の２次元画像位置と、（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置とに基づいて、前記ｋ番目の前記複数のターゲット領域の２次元画像位置から前記（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置への射影行列を求める射影行列計算部と、
   前記モニタの３次元位置と、前記複数のターゲットの３次元位置と、前記射影行列とに基づいて前記カメラの姿勢を表す姿勢行列を求める姿勢行列計算部と、
   を有する請求項１記載のキャリブレーション装置。
3. 前記計算部は、前記カメラの姿勢と前記ターゲットの３次元位置とから前記カメラの３次元位置を求める、
   請求項１記載のキャリブレーション装置。
4. 前記ターゲットが、前記モニタの画面上に表示された四角形の各頂点である、
   請求項１記載のキャリブレーション装置。
5. 前記姿勢と前記位置に基づいて、前記カメラの姿勢と位置とを再調節する再調節部を、
   有する請求項１記載のキャリブレーション装置。
6. モニタの画面及びキャリブレーション対象のカメラで撮影されるターゲットを視野に含むようにキャリブレーション対象のカメラで撮影されたリアルタイムのカメラ画像を入力する入力ステップと、
   ３次元基準座標系での前記モニタの３次元位置、前記３次元基準座標系での前記ターゲットの３次元位置、及び、前記カメラの焦点距離を記憶する記憶ステップと、
   前記カメラ画像を前記モニタの画面に表示することにより、前記ターゲットにそれぞれ対応する複数のターゲット領域を再帰的に含む再帰的カメラ画像を求める表示制御ステップと、
   前記モニタの３次元位置と、前記ターゲットの３次元位置と、前記再帰的カメラ画像中の前記複数のターゲット領域のそれぞれの２次元画像位置と、前記カメラの焦点距離に基づいて、前記カメラの姿勢を求める計算ステップと、
   を有するキャリブレーション方法。
7. 前記計算ステップは、
   前記再帰的カメラ画像中の前記複数のターゲット領域について、外側からＫ番目までの前記複数のターゲット領域の２次元画像位置を検出する検出ステップと、
   ｋ番目（但し、ｋ＝１，２，・・・Ｋである）の前記複数のターゲット領域の２次元画像位置と、（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置とに基づいて、前記ｋ番目の前記複数のターゲット領域の２次元画像位置から前記（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置への射影行列を求める射影行列計算ステップと、
   前記モニタの３次元位置と、前記複数のターゲットの３次元位置と、前記射影行列とに基づいて前記カメラの姿勢を表す姿勢行列を求める姿勢行列計算ステップと、
   を有する請求項６記載のキャリブレーション方法。
8. 前記計算ステップは、前記カメラの姿勢と前記ターゲットの３次元位置とから前記カメラの３次元位置を求める、
   請求項６記載のキャリブレーション方法。
9. 前記ターゲットが、前記モニタの画面上に表示された四角形の各頂点である、
   請求項６記載のキャリブレーション方法。
10. 前記姿勢と前記位置に基づいて、前記カメラの姿勢と位置とを再調節する再調節ステップを、
    有する請求項６記載のキャリブレーション方法。

Images