JP3696336B2

JP3696336B2 - カメラのキャリブレーション方法

Info

Publication number: JP3696336B2
Application number: JP15122296A
Authority: JP
Inventors: 伸夫高地; 仁志大谷; 新一中村; 益護千田; 孝幸野間
Original assignee: Topcon Corp
Current assignee: Topcon Corp
Priority date: 1996-06-12
Filing date: 1996-06-12
Publication date: 2005-09-14
Anticipated expiration: 2016-06-12
Also published as: JPH09329418A

Description

【０００１】
【産業上の利用分野】
本発明は、基準対象物の各基準点を異なる位置から複数枚撮影し、その撮影された複数枚の画像に基づき、カメラの内部定位（主点位置、画面距離、レンズの歪み量）を求めるときのカメラのキャリブレーション方法に関する。
【０００２】
【従来の技術】
従来から、撮影された２枚の画像に基づき計測対象物の三次元形状の計測を行なう場合、例えば、図１に示すステレオ法の原理に基づき計測対象物の計測点を求めている。その図１において、１は計測対象物、２、３は各撮像カメラの撮像レンズ、４、５はその各撮像カメラの撮像面（ＣＣＤ受像素子）である。この各カメラには説明の便宜のため同一のものが使用され、各撮像レンズ２、３は計測対象物１に向けられてその光軸Ｏ１、Ｏ２が平行にセットされている。その撮像レンズ２、３の主点から撮像面４、５までの画面距離ａも説明の便宜のため互いに等しく、各撮像面４、５は光軸Ｏ１、Ｏ２に対して垂直に置かれているものとする。また、光軸Ｏ１、Ｏ２の光軸間距離（以下、基線長という）をｌとする。このとき、計測対象物１の計測点Ｐ（ｘ，ｙ，ｚ）の座標値と各撮像面４、５の各対応点Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）の座標値との間には以下に記載する関係式が成り立つ。
【０００３】
【数１】

但し、全体の座標系（ｘ，ｙ，ｚ）の原点は、撮像レンズ２の主点とする。従って、基線長ｌが既知であれば、（３）式により座標値Ｚを求め、（１）、（２）式から座標値（ｘ，ｙ）が求められる。
【０００４】
これは三次元形状の計測の基本原理図を説明するためのものであり、原理的に計測対象物１の計測点の座標値（ｘ，ｙ，ｚ）を求めることができる。
【０００５】
これらの計測対象物１の各画像の計測点Ｐを求める場合、撮影された複数枚の画像の各計測点の対応づけ及び重心位置検出を行い、計測対象物１の計測点の座標値（ｘ，ｙ，ｚ）をコンピュータを用いて求めるものである。
【０００６】
ところで、これらの３次元計測を行うには、あらかじめカメラのキャリブレーションをする必要、すなわち、カメラの内部定位（レンズ歪み量、焦点距離、主点位置）を求める必要がある。このカメラの内部定位を求める場合、あらかじめ測定されている基準対象物を異なる複数の方向から複数枚撮影し、各画像間の基準点の対応づけを行い、この基準点の対応づけとあらかじめ測定されている結果とからカメラの内部定位を求めることが従来から行われている。
【０００７】
このカメラのキャリブレーションには、各種の方法があるが、ここではＣＣＤカメラのキャリブレーションとして、写真測量分野で使用される「セルフキャリブレーション付きバンドル調整法」を説明する。
【０００８】
バンドル調整法とは、被写体、レンズ、ＣＣＤ撮像面を結ぶ光束は同一直線上になければならないという共線条件に基づき、各画像の光束の１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）、対象点座標を同時調整する方法であり、セルフキャリブレーション付きとは、カメラの内部定位（レンズの歪み量、焦点距離、主点）を求める方法である。
【０００９】
このセルフキャリブレーション付きバンドル調整法の共線条件基本式は、下記の（４）、（５）式で表わされ、内部定位の補正モデル式は例えば下記の（６）、（７）式で表わされる。
【００１０】
【数２】

【００１１】
【発明が解決しようとする課題】
ところで、カメラによって計測対象物１の計測を行なう場合には、ことにカメラの内部定位を求めることが重要で、このカメラの内部定位の精度が低いと、ひいては計測対象物１の計測精度の向上を図り難い。従来、これらの基準点の対応づけ及び基準点の重心位置計測は目視によって行なっていた。
【００１２】
このカメラのキャリブレーションを行なう場合、基準点の数及び撮影された画像の枚数が多ければ多いほど、キャリブレーションの精度が向上し、このため、相当の数に渡って、各画像間における基準点の対応づけ、及び、重心位置を求めることが必要である。例えば、キャリブレーションの精度を上げるためには、少なくとも６枚以上の画像について５０点以上の基準点を必要とするが、この場合には少なくとも３００個以上の基準点の対応づけ及び重心位置計測を行なわなければならず、目視による計測点の対応づけ、重心位置の決定による方法はスピードが遅いうえに精度の向上を期待できないという不具合がある。
【００１３】
更に、カメラのキャリブレーションの精度をより一層向上させるためには、計測対象物としての基準対象物１を撮影するときに、カメラ本体を意図的に傾けて撮影する、回転させながら撮影する手法が採用され、写し込まれた各画像６、６´、６´´には図２に示すようにずれ、回転があり、かつ基準点の個数が相当な数であり、例えば、各画像の左上隅を基準にしてその基準位置からｎ番目の位置にある基準点は互いに対応しているというような機械的決定を行なうことができないため、単純に写し込まれた画像同士を比較して基準点を対応づけるのは困難であり、基準点の個数が多ければ多いほどその対応づけが難しい。更に、重心位置の計測精度が人によって異なり、同一人でも測定のたびに計測値が変動し、何度も計測作業を行なわなければならず、労力がかかわるわりには安定した精度を得られないという不都合がある。また、基準点の数が相当な数であるため、大変な労力がかかることになる。加えて、各基準が三次元的に分布し、撮影位置によって基準点の形状が変化するため、目視による場合には重心位置の決定が益々困難である。
【００１４】
本発明は、上記の事情に鑑みて為されたもので、個人差による誤差を除去してキャリブレーション精度の向上、迅速化、容易化、自動化を図ることのできるキャリブレーション方法を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の請求項１に記載のカメラのキャリブレーション方法は、相対的な位置関係が既知の多数の基準球体が点在された基準対象物を異なる方向から複数枚撮影し、前記基準球体は、大きさの違う大型の球体と小型の球体との２種類の球体からなり、複数枚撮影した画像のそれぞれにおいて、大型の基準球体の概略位置に基づき画像を切り出し、この切り出した画像において小型の基準球体を計測点とみなして、複数枚の画像での各計測点の対応づけを自動的に行うことを特徴とする。
本発明の請求項２に記載のカメラのキャリブレーション方法は、請求項１に記載のものにおいて、前記大型の球体は、小型の球体より撮影する方向に突出して設けてなることを特徴とする。
本発明の請求項３に記載のカメラのキャリブレーション方法は、前記撮影された画像を圧縮し、この圧縮画像から前記大型の基準球体の概略位置を検出して、この概略位置に基づき前記画像を切り出すことを特徴とする。
【００２０】
【発明の実施の形態】
図３は本発明に係わるキャリブレーション方法の説明図であって、１２は撮像用のＣＣＤカメラ、１４は基準対象物である。基準対象物１４には基準マークとしての大型の球体Ｋ０、Ｋ１、Ｋ２と小型の球体ＳＫとが点在される。球体ＳＫは基準点を求めるために用いられ、この球体ＳＫは図４（Ａ）に示すように等間隔で計測対象物１４に点在されるのが望ましい。球体Ｋ０、Ｋ１、Ｋ２は画像切り出しに用いられる。この球体Ｋ０、Ｋ１、Ｋ２は球体ＳＫよりも大きく設定されている。また、大型の球体Ｋ０、Ｋ１、Ｋ２は、斜めから撮影した場合に小型の球体ＳＫにより遮られないように、小型の球体ＳＫに対して撮影方向に突出させて配置することが望ましい。球体Ｋ０、Ｋ１、Ｋ２の位置関係は、図４（Ａ）に示すものに限られず、図４（Ｂ）に示す位置関係のものであってもよい。この球体Ｋ０、Ｋ１、Ｋ２、ＳＫの相対的位置は例えば接触式三次元測定機等の手段によってあらかじめ精密に求めておく。
【００２１】
まず、基準対象物１４に点在された球体Ｋ０、Ｋ１、Ｋ２、ＳＫをＣＣＤカメラ１２により異なる方向から複数回撮影して複数枚の画像を得る（図５のＳ１参照）。ＣＣＤカメラ１２の各撮像面上には、球体Ｋ０、Ｋ１、Ｋ２、ＳＫがいずれの方向から撮影しても円として投影される。
【００２２】
球体Ｋ０、Ｋ１、Ｋ２、ＳＫは全て写し込まれるものとする。次に画像処理により圧縮画像を作成する（図５のＳ２参照）。この圧縮画像の作成技法には各種の方法が用いられ、単純に画素を間引いて画像の圧縮を行なう技法であっても良い。この圧縮画像処理により、球体ＳＫを無視できる程度の大きさとすると共に球体Ｋ０、Ｋ１、Ｋ２を点として認識できる程度の大きさとする。これにより、球体ＳＫは実質的に無視できる程度の点とされるか消滅される。その圧縮比は球体ＳＫの大きさにより決定する。
【００２３】
次に、球体Ｋ０、Ｋ１、Ｋ２をテンプレートマッチング方法によって検出する（図５のＳ３参照）。このテンプレートマッチング方法には、正規相関方法、残差逐次検定方法（ＳＳＤＡ法）のいずれを用いても良い。圧縮画像上でテンプレートマッチングを行なうので、球体ＳＫを球体Ｋ０、Ｋ１、Ｋ２として誤認識するのを防止でき、残差逐次検定方法を用いれば、検出処理の高速化を図ることができる。
【００２４】
ここでは、残差逐次検定方法に基づき説明を行なう。
【００２５】
図６は残差逐次検定方法のテンプレートマッチングの原理を説明するための図であって、図６（Ａ）は圧縮画像１５を示し、
図６（Ｂ）はテンプレートマッチングをするための基準画像となるテンプレート画像１６を示すもので、このテンプレート画像１６はそれぞれ各球体Ｋ０、Ｋ１、Ｋ２に対応してあらかじめ準備されている。球体Ｋ０は原点球体として用いるために、ここでは黒色とする。図６において、テンプレート画像１６を矢印方向Ｘ方向、Ｙ方向に移動させ、下記の（８）式に示す演算式に基づいて、残差Ｒ（ａ，ｂ）が最小となる点（ａ，ｂ）を求める。球体Ｋ０、Ｋ１、Ｋ２の検出処理の高速化を図るため、（８）式の演算において、残差Ｒ（ａ，ｂ）の値が過去の残差の最小値を越えた場合、加算処理を中止し、次の点（ａ，ｂ）に移行して演算処理を行なう。
【００２６】
【数３】

この球体Ｋ０、Ｋ１、Ｋ２の検出処理終了後、球体Ｋ０、Ｋ１、Ｋ２の近傍に存在する球体ＳＫを検出するための画像切り出しを行う。この画像切り出しは下記の式（９）、（１０）に基づいて行う。この式（９）、（１０）は投影中心、ＣＣＤ上での画像、及び基準対象物１４が一直線上に存在するという共線条件式であり、３点以上の既知点があれば、共線条件式の各パラメータを算出でき、以下に説明する理由により画像の切り出し領域を決定できる。
【００２７】
【数４】

まず、球体Ｋ０、Ｋ１、Ｋ２の画像上の座標により、各パラメータを算出する。球体ＳＫの精密位置は三次元測定機により既知である。従って、（９）、（１０）式に球体ＳＫの計測対象物１４上での精密位置を代入し、各球体ＳＫの画像上での座標位置を算出する。この算出された各球体ＳＫの概略の座標位置から切り出し領域を設定する（図５のＳ４参照）。次に、圧縮画像法に基づき切り出し領域内の画像を切り出す。そして、テンプレートマッチング法により各球体ＳＫの画像上での概略位置を求める（図５のＳ５参照）。次に、球体ＳＫの画像上での概略位置に基づきテンプレート球体よりも少し大きめの大きさの等倍画像を読み込む。次に、この等倍画像の下記の式（１１）で示される一次元のラプラシアンガウシアンフィルタをＸ方向に施す。
【００２８】
【数５】

この（１１）式で示される関数のゼロ交差点をエッジとし、ラプラシアンガウシアンフィルタ処理をＸ方向の各ライン毎に行う。図７はこのラプラシアンガウシアンフィルタ処理を説明するための図であって、球体ＳＫのエッジＳＫｅを（１１）式に基づき図７（Ａ）に示すように各Ｘ方向ラインｌｍ毎に求める。球体ＳＫのＸ方向の各ラインｌｍにラプラシアンガウシアンフィルタ処理を施すと、Ｘ方向の各ラインｌｍ毎に図７（Ｂ）に示すようにゼロ交差点ｌｍ０が求められる。このゼロ交差点ｌｍ０を球体ＳＫのＸ方向のラインｌｍのエッジであるとして、Ｘ方向の各ラインｌｍの中心点ｌｏを求め、この各中心点ｌｏに最小二乗法を適用してＹ方向の直線Ｖを求める。次にＹ方向の各ラインについても同様の処理を行って、Ｘ方向の直線Ｈを求める。この直線Ｖと直線Ｈとの交点により、画像上での球体ＳＫの重心位置Ｇ（ｘ，ｙ）を精密に求める。この重心位置Ｇ（ｘ，ｙ）各球体ＳＫについて求める（図５のＳ６参照）。
【００２９】
そして、この精密に測定された各球体ＳＫの重心位置（ｘ，ｙ）と、あらかじめ計測されている各球体の位置データに基づき、前述した公知の数式（４）、（５）によりカメラのキャリブレーションを行う（図５のＳ７参照）。）
以上実施例について説明したが、重心位置の詳細検出はこれに限られるものではなく、例えばテンプレートマッチング法と高次関数当てはめ法との組み合せ、モーメント法と高次関数当てはめ法との組み合せを用いても良い。
【００３０】
この発明の実施の形態によれば、球体を用いて計測を行っているので、いずれの方向、位置から基準対象物を撮影しても、円を撮像面に投影でき、従って、撮像位置が異なることに基づく変形、回転の影響を除去でき、基準点の対応づけ、重心位置検出を迅速に行うことができる。
【００３２】
【発明の効果】
本発明に係るキャリブレーション方法は、以上説明したように構成したので、個人差による誤差を除去してキャリブレーション精度の向上、迅速化、容易化、自動化を図ることができる。特に、画像圧縮により、余分な点は削除されテンプレートマッチングにより基準点を正確にかつ高速に検出することが可能となり、基準点の対応づけ、高精度の重心位置の計測が可能である。
【図面の簡単な説明】
【図１】ステレオ画像法の原理の説明図である。
【図２】画像の回転、ずれを説明するための図である。
【図３】基準対象物に点在された球体の撮影を説明するための図である。
【図４】基準対象物に点在される球体の相対位置関係を説明するための説明図であって、（Ａ）は大型の球体に対して基準点としての小型の球体を規則的に配列させた状態を示し、（Ｂ）は大型の球体に対して基準点としての小型の球体を不規則的に配列させた状態を示す。
【図５】カメラキャリブレーションの手順を示すフロー図である。
【図６】テンプレートマッチング法の原理を説明するための図であって、（Ａ）は撮像されかつ圧縮された画像に対してテンプレート画像を移動させる状態を示し、（Ｂ）はテンプレート画像を示す。
【図７】球体ＳＫの重心位置を求めるための説明図であって、（Ａ）はＸ方向の各ライン毎に中心点を求める状態を示し、（Ｂ）はＸ方向のあるラインにおける０交差点を示す。
【符号の説明】
１４…基準対象物
Ｋ０、Ｋ１、Ｋ２…大型の球体（基準マーク）
ＳＫ…小型の球体（基準マーク）

Claims

相対的な位置関係が既知の多数の基準球体が点在された基準対象物を異なる方向から複数枚撮影し、前記基準球体は、大きさの違う大型の球体と小型の球体との２種類の球体からなり、複数枚撮影した画像のそれぞれにおいて、大型の基準球体の概略位置に基づき画像を切り出し、この切り出した画像において小型の基準球体を計測点とみなして、複数枚の画像での各計測点の対応づけを自動的に行うことを特徴とするカメラのキャリブレーション方法。
前記大型の球体は、小型の球体より撮影する方向に突出して設けてなる請求項１に記載のカメラのキャリブレーション方法。
前記撮影された画像を圧縮し、この圧縮画像から前記大型の基準球体の概略位置を検出して、この概略位置に基づき前記画像を切り出すことを特徴とする請求項１に記載のカメラのキャリブレーション方法。