JPH10122819A - キャリブレーション方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 測定空間の大きさにかかわらず、キャリブレ
ーションを簡単に実施する。 【解決手段】 焦点距離が等しく、かつ光軸が平行に配
備された２台のカメラ１ａ，１ｂからの画像を用いてキ
ャリブレーション処理を実行する。カメラ１ａ，１ｂか
らの画像はそれぞれ画像メモリ４ａ，４ｂに格納される
とともに、第２のカメラ１ｂの画像がモニタ９に表示さ
れる。オペレータがこの表示画像上で空間座標が既知の
物点の像点を、複数点指定すると、対応付け処理部６
は、カメラ１ａからの入力画像上でこれら指定点に対応
する点を抽出する。キャリブレーション処理部８は、こ
の対応付け結果と各カメラ１ａ，１ｂの位置関係とを用
いて各物点のステレオ座標を算出した後、その算出結果
と前記既知の空間座標とを用いてステレオ座標系と空間
座標系との位置関係を表すパラメータを算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、２台以上の撮像手段
により所定の観測位置を撮像して得られた画像により３
次元計測を行う装置に対し、計測処理に必要なパラメー
タを算出するキャリブレーション方法およびその装置に
関連する。

【０００２】

【従来の技術】２台以上のテレビカメラ（以下単に「カ
メラ」という）による３次元計測を行う場合、あらかじ
め実際の空間において所定の空間位置を原点とする空間
座標系を設定しておき、この空間座標系における対象物
の位置情報を出力するようにしている。

【０００３】この位置情報は、具体的には、各カメラか
らの画像より対象物の物点を示す特徴点を抽出した後、
これら特徴点を画像間で対応づけし、対応づけられた各
特徴点の２次元座標と、カメラの結像面におけるカメラ
座標系と前記空間座標系との関係を表すパラメータ（一
般に「カメラパラメータ」と呼ばれている）とを用いて
算出される空間座標により表されるもので、計測処理に
先立ち、前記カメラパラメータを決定するためのキャリ
ブレーションを実施する必要がある。

【０００４】いま空間座標が（Ｘ，Ｙ，Ｚ）となる物点
Ｐについて、いずれかのカメラにより撮像して得られた
像点Ｐ´が画像上の（Ｘ´，Ｙ´）の位置に結像したも
のとすると、これら座標値Ｘ，Ｙ，Ｚ，Ｘ´，Ｙ´には
つぎの（１）（２）式のような関係が成立する。

【０００５】

【数１】

【０００６】

【数２】

【０００７】上記（１）（２）式中のｃ₁ 〜ｃ₁₂は、前
記したカメラパラメータであって、これらパラメータを
求めるためには、空間座標が既知となる複数個の物点を
サンプル点として設定しておき、各カメラにより撮像し
て得られた画像毎に、画像上のサンプル点の像点の座標
と前記既知の空間座標とを前記（１）（２）式に代入す
る必要がある。この場合、１２個の未知のパラメータを
求めるためには、前記サンプル点として、空間座標が既
知でありかつ同一平面上に位置しない点を、少なくとも
６点設定する必要がある。

【０００８】前記サンプル点の設定は、一般に、立方体
など形状や大きさの定まったワークの表面に格子やドッ
トなどの規則的なマークを描いたキャリブレーションワ
ークを用いて行われるもので、画像上で前記の各マーク
の重心点などが抽出され、サンプル点の２次元座標とし
て用いている。

【０００９】

【発明が解決しようとする課題】しかしながら上記のキ
ャリブレーション方法では、少なくとも６点のサンプル
点を用意する必要がある上、カメラ毎にパラメータを算
出する必要があるため、キャリブレーションに多大の時
間がかかるという問題がある。またこのキャリブレーシ
ョン方法は、測定空間を数cm〜数ｍ四方の狭い範囲に限
ったものであるため、１０cm〜１ｍ程度の大きさのワー
クを用いてキャリブレーションを行うことが可能である
が、道路上の車輌の位置の計測など、広い測定空間が必
要となる場合、この程度の大きさのワークでは、サンプ
ル点となる各マークを画像上で識別することが困難とな
り、パラメータを正確に算出できなくなるという問題が
生じる。

【００１０】一方、測定空間の大きさに応じた大型のワ
ークを設定してキャリブレーションを行うことは理論上
は可能であるが、ワークの作成や設置に多大な労力を要
する。また各パラメータを精度良く求めるためには、多
数のサンプル点を設定する必要があるが、この場合、各
カメラ毎にサンプル点の結像点の抽出やカメラパラメー
タの算出処理を行わなければならず、計測条件が整うま
でに多大な時間がかかるという問題がある。さらに危険
区域など計測領域への立ち入りが不可能な場合には、上
記のキャリブレーション方法を用いることは不可能にな
る。

【００１１】この発明は上記問題点に着目してなされた
もので、２台以上の撮像手段についてあらかじめその相
対位置関係を求めておき、いずれか画像上で複数個の物
点の像点を指定し、これらの指定点と他方の画像上の物
点との対応関係に基づき、ステレオ座標を算出して、実
際の空間位置を示すための空間座標系とステレオ座標と
の位置関係を求めることにより、測定空間の大きさにか
かわらず、簡単にキャリブレーションを実施することを
第１の技術課題とする。

【００１２】またこの発明は、いずれか撮像手段による
画像上で、同一平面上に位置する物点の像点を少なくと
も３点指定し、各物点のステレオ座標を算出するととも
に、前記平面を基準とする空間座標系を設定してステレ
オ座標系との位置関係を求めることにより、測定空間内
でサンプル点の位置測定を行わなくともキャリブレーシ
ョンを実施可能にすることを第２の技術課題とする。

【００１３】

【課題を解決するための手段】請求項１〜３の発明は、
２台以上の撮像手段により所定の観測位置を撮像して３
次元計測を行う装置に対し、キャリブレーションを行う
方法であって、請求項１の発明では、前記撮像手段の相
対位置関係を記憶する第１のステップと、各撮像手段に
より撮像して得られた画像のうちいずれかの画像上で、
所定の空間位置を原点とする空間座標系における位置が
既知の物点の像点を、複数個指定する第２のステップ
と、他の撮像手段により得られた画像上で、前記各指定
点の対応点をそれぞれ抽出し、これら指定点の対応関係
と前記撮像手段の相対位置関係とに基づき、撮像位置を
原点とするステレオ座標系における各物点の空間座標を
算出する第３のステップと、各物点の算出されたステレ
オ座標と前記既知の空間座標とを用いて、前記空間座標
系とステレオ座標系との位置関係を求める第４のステッ
プとを一連に実施することを特徴としている。

【００１４】請求項２の発明では、前記第２のステップ
において、前記画像上で空間座標が既知の物点の像点が
少なくとも３個指定される。

【００１５】請求項３の発明にかかるキャリブレーショ
ン方法は、前記撮像手段の相対位置関係を記憶する第１
のステップと、各撮像手段により撮像して得られた画像
のうちいずれかの画像上で、同一平面上に位置する少な
くとも３個の物点の像点を指定する第２のステップと、
他の撮像手段により得られた画像上で、前記各指定点の
対応点をそれぞれ抽出し、これら指定点の対応関係と前
記撮像手段の相対位置関係とに基づき、撮像位置を原点
とするステレオ座標系における各物点の空間座標を算出
する第３のステップと、各物点の位置する平面を基準と
して空間座標系を設定するとともに、各物点の算出され
たステレオ座標を用いて前記空間座標系とステレオ座標
系との位置関係を求める第４のステップとを一連に実施
することを特徴とする。

【００１６】請求項４〜１０の発明は、２台以上の撮像
手段により所定の観測位置を撮像して３次元計測を行う
装置に対し、キャリブレーションを行う装置に関する。
まず請求項４のキャリブレーション装置は、前記各撮像
手段からの画像を入力する画像入力手段と、前記各撮像
手段の相対位置関係を記憶する記憶手段と、いずれかの
入力画像上で、所定の空間位置を原点とする空間座標系
における位置が既知の物点の像点を複数個指定する指定
手段と、他の入力画像上で、前記指定手段により指定さ
れた各点の対応点をそれぞれ抽出し、その対応関係と各
撮像手段の記憶された相対位置関係とに基づき、撮像位
置を原点とするステレオ座標系における各物点の空間座
標を算出する算出手段と、各物点の算出されたステレオ
座標と前記既知の空間座標とを用いて、前記空間座標系
とステレオ座標系との位置関係を表すパラメータを算出
するパラメータ算出手段とを備えている。

【００１７】請求項５の発明では、前記指定手段は、前
記入力画像上で、空間座標が既知の物点の像点を、少な
くとも３個指定する。

【００１８】請求項６の発明にかかるキャリブレーショ
ン装置は、前記と同様の画像入力手段および記憶手段
と、いずれかの入力画像上で、同一平面上に位置する物
点の像点を少なくとも３個指定する指定手段と、他の入
力画像上で、前記指定手段により指定された各点の対応
点をそれぞれ抽出し、その対応関係と各撮像手段の記憶
された相対位置関係とに基づき、撮像位置を原点とする
ステレオ座標系における各物点の空間座標を算出する算
出手段と、各物点の位置する平面を基準として空間座標
系を設定する設定手段と、各物点の算出されたステレオ
座標を用いて、前記設定手段により設定された空間座標
系とステレオ座標系との位置関係を表すパラメータを算
出するパラメータ算出手段とを備えている。

【００１９】請求項７の発明では、前記設定手段は、前
記各物点の位置する平面上にいずれか２軸が含まれるよ
うに空間座標系を設定する。

【００２０】請求項８の発明では、前記指定手段は、前
記いずれかの入力画像上で、同一平面上に位置する１線
分と１物点との画像をそれぞれ指定し、前記設定手段
は、前記線分の方向にいずれか１軸が位置し、前記平面
上でこの軸に垂直となる方向に他の１軸が位置するよう
に、空間座標系を設定する。

【００２１】請求項９の発明では、前記指定手段は、前
記画像上で同一平面上に位置する複数の線分の画像を指
定し、前記設定手段は、いずれかの線分の方向にいずれ
か１軸が位置し、前記平面上でこの軸に垂直となる方向
に他の１軸が位置するように、空間座標系を設定する。

【００２２】請求項１０の発明では、前記指定手段は、
前記入力画像上から線分を示す特徴を抽出する特徴抽出
手段を含み、この抽出結果より前記指定する線分の画像
を決定するように構成される。

【００２３】

【作用】請求項１および４の発明では、あらかじめ相対
位置関係が判明している２台以上の撮像手段により観測
位置を撮像し、いずれか１つの撮像手段からの画像上
で、空間座標が判明している物点の像点を複数個指定す
るとともに、他の撮像手段からの画像上でこれら指定点
の対応点を抽出する。ついでその対応関係と前記各撮像
手段の相対位置関係とにより、各物点のステレオ座標
（すなわち撮像位置から見た物点の空間位置）が算出さ
れた後、各物点の既知の空間座標と算出されたステレオ
座標との関係から、空間座標系とステレオ座標系との位
置関係が求められる。これにより各カメラ毎にパラメー
タを算出する必要がなくなり、キャリブレーションに要
する時間は大幅に削減される。

【００２４】請求項２および５の発明では、前記指定点
として、空間座標が既知の点の像点を少なくとも３個指
定するので、キャリブレーションのために少なくとも６
個の点を指定する必要があったた従来の方法と比べる
と、キャリブレーションに要する労力は大幅に削減され
る。

【００２５】請求項３および６の発明では、いずれかの
撮像手段からの画像上で、同一平面上にある物点の像点
を少なくとも３個指定して、それぞれステレオ座標を算
出するとともに、これら物点の位置する平面を基準とし
て空間座標系を設定し、算出されたステレオ座標を用い
て空間座標系とステレオ座標系との位置関係を求めるの
で、空間座標が既知の点を用いなくともキャリブレーシ
ョンを実施することが可能となる。

【００２６】請求項７の発明では、各指定点の位置する
平面上に２軸が含まれるよう実空間座標系を設定するこ
とにより、座標系の設定処理が簡易化される。

【００２７】請求項８，９の発明では、所定の線分の画
像を指定するとともに、空間座標系の１軸をこの線分の
方向に設定し、平面上で線分に垂直となる方向に他の１
軸を設定するようにしたので、空間座標系の設定処理を
さらに簡易化できる。また線分を基準として空間座標系
を設定することにより、実際の空間において対象物の位
置が認識しやすくなる。

【００２８】請求項１０の発明では、入力画像上から線
分を示す特徴を抽出し、その抽出結果により指定する線
分の画像を決定するようにしたので、指定する線分の選
択を簡単に行って、高精度のキャリブレーションを実行
できる。

【００２９】

【発明の実施の形態】図１にこの発明にかかるキャリブ
レーション装置の好適な態様を示し、以下、図２〜９に
より請求項１，２，４，５にかかる実施態様を、図１０
により請求項３，６，７にかかる実施態様を、図１１、
１２により請求項８，９にかかる実施態様をそれぞれ説
明する。さらに図１３〜１８により請求項１０の発明に
かかるキャリブレーション装置の具体例を説明する。

【００３０】

【実施例】図１は、この発明にかかるキャリブレーショ
ン装置の一構成例を示す。このキャリブレーション装置
２は、２台のカメラ１ａ，１ｂから成る撮像部１を用い
て３次元計測処理を実施する計測装置（図示せず）に対
し、計測に必要なキャリブレーションを実施するための
もので、前記各カメラ１ａ，１ｂからの画像を処理する
Ａ／Ｄ変換部３ａ，３ｂ，ディジタル変換された入力画
像データを格納するための画像メモリ４ａ，４ｂのほ
か、入力処理部５，対応付け処理部６，キャリブレーシ
ョンデータメモリ７，キャリブレーション処理部８，モ
ニタ９などを構成として含んでいる。

【００３１】各カメラ１ａ，１ｂは、焦点距離を同じく
するレンズを有するもので、所定の間隔を隔てて各光軸
を平行にした状態で配備される。図２（１）（２）は、
撮像部１の具体的な構成例を示すもので、各カメラ１
ａ，１ｂをハウジング１０内や支持板１１上に固定配備
してユニット化することにより、各カメラ１ａ，１ｂの
相対位置関係が保持されている。

【００３２】図３は、前記カメラ１ａ，１ｂの位置関係
により決定される空間座標系（以後これを「ステレオ座
標系」という）と各カメラ１ａ，１ｂのカメラ座標系と
の関係を示す。図中、Ｏ′は、各カメラ１ａ，１ｂの投
影中心点Ｃ_L ，Ｃ_R を結ぶ基線の中心点であって、この
点Ｏ′を原点とし、前記基線の方向をＸ′軸，高さ方向
をＹ′軸，奥行き方向をＺ′軸とするステレオ座標系が
設定される。また前記したように各カメラ１ａ，１ｂの
光軸は平行に設定されているから、この場合、各投影中
心点Ｃ_L ，Ｃ_R を原点とする各カメラ座標系Ｘ_L ，
Ｙ_L ，Ｚ_L およびＸ_R ，Ｙ_R，Ｚ_R は、ともに前記ステ
レオ座標系の各軸Ｘ′，Ｙ′，Ｚ′に平行となる。

【００３３】なお図中、１２ａ，１２ｂは、各カメラ１
ａ，１ｂによる結像面を示すもので、ここでは説明を簡
単にするために、各結像面１２ａ，１２ｂを実際の結像
位置と反対側に示し、第１のカメラ１ａの結像面１２ａ
における２次元座標系をｘ_l，ｙ_l の各軸により、第２
のカメラ１ｂの結像面１２ｂにおける２次元座標を
ｘ_r ，ｙ_r の各軸により、それぞれ表している。

【００３４】いま各投影中心点Ｃ_L ，Ｃ_R のステレオ座
標を、それぞれ（−Ｂ，０，０），（Ｂ，０，０），各
カメラ１ａ，１ｂの焦点距離をｆとし、結像面１２ａ，
１２ｂそれぞれの２次元座標系の原点ｏ_l ，ｏ_r をステ
レオ座標を用いて表すと、各原点ｏ_l ，ｏ_r はそれぞれ
（−Ｂ，ｆ，０），（Ｂ，ｆ，０）の点に位置するもの
として表される。なおこの図示例は、カメラ１ａ，１ｂ
が理想的な状態に配置されたことを前提としたもので、
実際には誤差が取り除かれるように、各カメラ１ａ，１
ｂの位置関係に対するキャリブレーションを実施する必
要がある。

【００３５】このような状態にある撮像部１を、実際の
空間の所定位置に配備して観測位置を撮像することによ
り、観測位置における各物点の空間位置を、前記ステレ
オ座標系における空間座標（以下これを「ステレオ座
標」という）により表すことが可能となる。

【００３６】図１に戻って、前記カメラ１ａ，１ｂから
の画像データのうちの一方（図示例ではカメラ２ｂから
の画像）は、モニタ９にも出力される。入力処理部５
は、マウスなどのポインティングデバイスを用いてモニ
タ９に表示された入力画像上の所定の像点を指定する。
これらの指定点は、あらかじめ空間内の所定位置を原点
として定められた空間座標系において、空間座標が判明
している点の像点であって、指定された点の座標は、前
記入力画像とともにモニタ９に表示されるほか、対応付
け処理部６へと出力される。

【００３７】対応付け処理部６は、前記の各指定点につ
き、他方の入力画像における対応点を抽出するためのも
ので、その対応付け結果は、キャリブレーション処理部
８へと出力される。

【００３８】キャリブレーションデータメモリ７には、
前記各カメラ１ａ，１ｂについての相対位置関係を示す
データとして、各カメラ間の距離２Ｂ，焦点距離ｆなど
のパラメータ（以下これを「観測系パラメータ」とい
う）が記憶されている。前記キャリブレーション処理部
８は、これら観測系パラメータと前記対応付け処理部６
により得られた各指定点の対応付け結果とを用いて、前
記空間座標系とステレオ座標系との位置関係を表すパラ
メータ（以下これを「座標系パラメータ」という）を算
出する。この算出結果は、前記観測系パラメータととも
にファイル化されてキャリブレーションデータメモリ７
内に記憶される。

【００３９】図４は、上記キャリブレーション装置２に
おける一連の手順を示すもので、以下図５〜９の各図を
参照しつつ、図４の流れに沿って、キャリブレーション
の処理手順を説明する。

【００４０】まず最初のステップ１（図中、各ステップ
は「ＳＴ」で示す）で、各カメラ１ａ，１ｂからの画像
が装置内に取り込まれると、Ａ／Ｄ変換部３ａ，３ｂは
このアナログ量の画像データをディジタル変換し、画像
メモリ４ａ，４ｂへと出力する。

【００４１】図５（１）（２）は、カメラ１ａを左方向
に、カメラ１ｂを右方向にそれぞれ配備した場合の各入
力画像１３ａ，１３ｂを示すもので、いずれの画像上に
も、立体形状の対象物の画像１４ａ，１４ｂと、その対
象物の支持面を示す画像１５ａ，１５ｂのほか、支持面
上に記されたマークの画像１６ａ，１６ｂ，１７ａ，１
７ｂが現れている。このときモニタ９にはカメラ２ｂか
らの入力画像１３ｂが表示されており（以下この画像を
「基準画像」という）、つぎのステップ２で、オペレー
タは、この基準画像を参照しながら、空間座標が既知の
物点の像点を３点以上指定する。

【００４２】図６は、モニタ９の表示画面の一例を示す
もので、オペレータが基準画像１３ｂ上で前記マークの
所定の頂点の位置にウィンドウＷ_RA，Ｗ_RB，Ｗ_RCを設定
すると、入力処理部５はこれらウィンドウＷ_RA，Ｗ_RB，
Ｗ_RC内からそれぞれマークの頂点を示す像点ａ_R ，
ｂ_R ，ｃ_R を抽出し、これを指定点として特定する。な
おここでは、同一平面上にある物点の像点を指定してい
るが、物点の空間座標が既知であれば空間のどの位置の
物点を指定対象としてもかまわない。また離散的な点を
指定する代わりに、少なくとも１本の線分の画像といず
れか空間上の物点の像点とを指定したり、２本以上の線
分の画像を指定するようにしてもよい。

【００４３】つぎに対応付け処理部６は、カメラ１ａか
らの入力画像１３ａ（以下この画像を「対応画像」とい
う）上で、各指定点に対応する像点を抽出する（ステッ
プ３）。図７は、前記図６に示した各指定点ａ_R ，
ｂ_R ，ｃ_R のうち、点ａ_R に対応する点ａ_L を抽出する
例を示す。まず対応付け処理部６は、対応画像１３ｂ上
に、前記指定点ａ_R のエピポーララインＥＰを設定す
る。この場合、各カメラ１ａ，１ｂは、光軸を平行にか
つ横並びに配備されているので、エピポーララインＥＰ
は、点ａ_R のｙ座標に対応する位置でｘ_l 軸に平行に設
定される。

【００４４】さらに対応付け処理部６は、前記ウィンド
ウＷ_RAと同じ大きさを有するウィンドウＷ_LAを、このエ
ピポーララインＥＰ上に走査させながら、各走査位置に
おけるウィンドウＷ_LA内の画像データと前記ウィンドウ
Ｗ_RA内の画像データとを用いてつぎの（３）式を実行
し、各ウィンドウ間の相違度Ｄを算出する。なお次式に
おいて、ｇ_ri，ｇ_liは、それぞれウィンドウＷ_RA，Ｗ_LA
内のｉ番目の画素の輝度値を、ｎは各ウィンドウ内の画
素数を、それぞれ示す。

【００４５】

【数３】

【００４６】図８は各走査位置における相違度Ｄの算出
値を、ウィンドウＷ_LAの中心点のｘ座標に対応させて示
したもので、相違度Ｄが最小となる時点でのウィンドウ
Ｗ_LAの中心点（図中ｘ座標がｘ_LAとなる点）が、前記指
定点ａ_R への対応点ａ_L であると考えられる。エピポー
ララインＥＰ上におけるウィンドウＷ_LAの走査が終了す
ると，対応付け処理部６は、上記原理に基づき各走査位
置における相違度Ｄをチェックし、前記指定点ａ_R への
対応点ａ_L を特定する。

【００４７】指定されたすべての点について、上記の対
応付け処理が行われると、キャリブレーション処理部８
は、これら対応づけられた点の２次元座標を用いて、各
指定点に対応する物点のステレオ座標を算出し、さらに
その算出されたステレオ座標と前記既知の空間座標とを
用いて、座標系パラメータを算出する（ステップ４，
５）。

【００４８】いま第１，第２の各入力画像において、前
記像点ａ_R ，ａ_L の座標をそれぞれ（ｘ_RA，ｙ_RA）（ｘ
_LA，ｙ_LA）とすると、これら像点に対応する物点Ａのス
テレオ座標（Ｘ_A ´，Ｙ_A ´，Ｚ_A ´）は、つぎの
（４）式により与えられる。

【００４９】

【数４】

【００５０】図９は、前記図５〜７に示した計測処理に
おいて、空間座標系（Ｘ，Ｙ，Ｚ軸により表される）と
ステレオ座標系との関係を示すもので、ステレオ座標系
の各軸Ｘ´，Ｙ´，Ｚ´は、空間座標系の各軸Ｘ，Ｙ，
Ｚに対し、それぞれ所定量だけ位置ずれ、回転ずれした
位置に設定されている。なおこの場合の空間座標系は、
あらかじめ支持面上の所定位置を原点として設定されて
いる。また図中の点Ａ，Ｂ，Ｃは、前記指定点ａ_R ，ｂ
_R ，ｃ_R に該当する物点であって、この場合、各物点
Ａ，Ｂ，Ｃは、ＸＺ平面上に位置している。

【００５１】いまステレオ座標系の各軸Ｘ´，Ｙ´，Ｚ
´が空間座標系の各軸Ｘ，Ｙ，Ｚに対し、それぞれα，
β，γだけ回転ずれし、またＨｘ，Ｈｙ，Ｈｚだけ位置
ずれしているものとすると、空間中の任意の一点につい
てのステレオ座標（Ｘ´，Ｙ´，Ｚ´）と空間座標
（Ｘ，Ｙ，Ｚ）との間には、つぎの関係式が成立する。

【００５２】

【数５】

【００５３】この（５）式中の未知の９個のパラメータ
ｓｉｎα，ｓｉｎβ，ｓｉｎγ，ｃｏｓα，ｃｏｓβ，
ｃｏｓγ，Ｈｘ，Ｈｙ，Ｈｚを求めるためには、空間座
標とステレオ座標とがともに判明している点が、少なく
とも３点必要となる。したがって、前記のように、空間
座標が既知の３点Ａ，Ｂ，Ｃについて、モニタに表示さ
れた基準画像上の各像点ａ_R ，ｂ_R ，ｃ_R を指定した
後、これら指定点ａ_R ，ｂ_R ，ｃ_R の座標と対応画像上
の対応点ａ_L ，ｂ_L ，ｃ_L の座標とにより各点Ａ，Ｂ，
Ｃのステレオ座標を求め、この算出結果と前記既知の空
間座標とを（５）式に代入することにより、各パラメー
タを算出することが可能となるのである。なお、パラメ
ータの算出精度を向上させるために、基準画像上で、空
間座標が既知の点の像点を４点以上指定し、これらの点
のステレオ座標と空間座標とを（５）式に代入して最小
自乗法を実行するようにしてもよい。

【００５４】図４に戻って、上記（５）式により求めら
れる回転ずれ量α，β，γおよび位置ずれ量Ｈｘ，Ｈ
ｙ，Ｈｚは、前記した座標系パラメータとしてキャリブ
レーションデータメモリ７に出力され、前記観測系パラ
メータとともに保存される（ステップ６）。このファイ
ルは、必要に応じて取り出され、計測装置のメモリなど
に記憶される。

【００５５】上記のキャリブレーション処理は、空間座
標が既知の物点を用いたものであるが、観測位置におけ
る空間座標の計測や空間座標系の設定が困難である場合
には、対象物の支持面を基準として空間座標系を設定
し、この支持面上の少なくとも３個の物点のステレオ座
標を用いて座標系パラメータを算出することが可能であ
る。

【００５６】図１０は、空間座標系の設定の具体例を示
す。図中のＡ，Ｂ，Ｃは、前記実施例と同様、第２のカ
メラ２ｂによる基準画像上で指定された点ａ_R ，ｂ_R ，
ｃ_R に対応する物点であり、これら物点Ａ，Ｂ，Ｃが位
置する平面（以下「基準面」という）上にＸＺ平面が位
置するものとする。つぎにステレオ座標系の原点Ｏ´か
ら前記基準面上に下ろした垂線ＶＬを空間座標系のＹ軸
として、またこの垂線ＶＬと基準面との交点を原点Ｏと
してそれぞれ設定するとともに、基準面において、ステ
レオ座標系のＺ´軸が投影される方向にＺ軸を、このＺ
軸と垂直になる方向にＸ軸を、それぞれ設定する。

【００５７】図示例の空間座標系とステレオ座標系との
間では、ｙ軸方向の回転ずれ量βやｘ，ｚ各軸方向にお
ける位置ずれ量Ｈｘ，Ｈｚがいずれも０となるから、ｘ
軸方向における回転ずれ量α，ｚ軸方向における回転ず
れ量γ，およびｙ軸方向における位置ずれ量Ｈｙが判明
すれば、前記（５）式のすべてのパラメータが算出され
ることになる。

【００５８】前記基準面はステレオ座標系の原点を通ら
ない位置に存在するものとすると、この基準面は、ステ
レオ座標系において、つぎの（６）式により表される。

【００５９】

【数６】

【００６０】ここで前記物点Ａ，Ｂ，Ｃの算出されたス
テレオ座標をこの（６）式に代入することにより、
（６）式中の各定数ｕ，ｖ，ｗが算出され、さらにその
算出結果を（７）〜（９）式に代入することにより、前
記α，γ，Ｈｙが算出される。

【００６１】

【数７】

【００６２】

【数８】

【００６３】

【数９】

【００６４】なお座標系パラメータの算出に最低必要な
３個の指定点のうち、２点は、基準面の所定の直線上に
位置する点の像点であってもよい。この場合、この直線
上に空間座標系のいずれか１軸が位置するように空間座
標を設定すれば、測定者に空間座標系を簡単に認識させ
ることができる。

【００６５】図１１は、モニタ９に表示された基準画像
１３ｂ上で、対象物の支持面の輪郭線に当たる線分の画
像と支持面上の物点Ａの像点ａ_R とを指定した例を示
す。なおここでは線分の抽出誤差を少なくするために、
線分上に複数個のウィンドウＷ_R1〜Ｗ_R5を設定して、各
ウィンドウＷ_R1〜Ｗ_R5に含まれる線分の中心点を指定点
として抽出するようにしている。

【００６６】指定された各点の座標は、前記実施例と同
様、対応付け処理部６へと出力され、それぞれ対応画像
１３ａ上での対応点が抽出された後、キャリブレーショ
ン処理部８において、対応付けされた各点毎に対応する
物点のステレオ座標が算出される。さらにキャリブレー
ション処理部８は、前記直線の構成点について得られた
各ステレオ座標をそれぞれつぎの（１０）式に代入して
最小自乗法を実行し、実際の線分を含む直線を特定する
ためのパラメータとして、ｘ，ｙ，ｚ各軸方向の切片φ
ｘ，φｙ，φｚ、および傾きψｘ，ψｙ，ψｚを算出す
る。

【００６７】

【数１０】

【００６８】図１２は、特定された直線と基準面とを基
準とする空間座標系の設定例を示すもので、基準画像１
３ｂ上で指定された線分に対応する直線Ｌ１の方向にＺ
軸が設定されている。またステレオ座標系の原点Ｏ´か
ら基準面上に下ろした垂線と基準面との交点Ｏ″を通
り、Ｚ軸に垂直となる方向にＸ軸が設定される。さらに
これらＸ，Ｚ軸により決定される原点Ｏの位置におい
て、基準面に垂直になる方向にＹ軸が設定される。

【００６９】一方、線分以外に指定された点ａ_R に対応
する点Ａについても、前記と同様、ステレオ座標が算出
されているので、このステレオ座標と前記直線の方程式
（１０）とから基準面を示す前記（６）式の各パラメー
タｕ，ｖ，ｗが算出される。さらにこれらパラメータを
前記（７）〜（９）式に代入することにより、α，γ，
Ｈｙの各パラメータが算出される。またｙ軸方向におけ
る回転ずれ量βは、前記直線の傾きを示すパラメータψ
ｘ，ψｙ，ψｚを用いたつぎの（１１）式により算出さ
れる。

【００７０】

【数１１】

【００７１】さらに、各座標系が図１２のような関係に
ある場合、ｘ，ｚの各軸方向におけるずれ量を示すパラ
メータＨｘ，Ｈｚは、それぞれＨｘ＝φｘ，Ｈｚ＝０と
なる。これにより空間座標の算出に必要なすべての座標
系パラメータが算出されるので、３次元計測処理のため
の条件を整えることができる。なお１本の線分と１個の
物点との画像を指定する代わりに、同一平面上の２本以
上の線分の画像を指定してもよい。

【００７２】このように、同一平面上に位置する３点以
上の点についてステレオ座標が算出されていれば、この
平面を基準とする空間座標系を設定して、前記座標系パ
ラメータを算出することができるので、屋外など広い測
定空間において計測を行う場合や、キャリブレーション
のための位置の測定が困難である場合にも、問題なくキ
ャリブレーションを実施することができる。この場合、
観測位置において支持面上のマークや線分などを指標と
して定めておき、入力画像上でこの指標に相当する特徴
を抽出するようにすれば、さらに簡単かつ精度良く、キ
ャリブレーションを実施できる。

【００７３】図１３は、前記指標を示す特徴を抽出する
機能を備えたキャリブレーション装置の構成例を示すも
ので、前記図１と同様の構成（ここでは各部に図１と同
様の符号を付してある）に加え、特徴抽出部１８を構成
として含んでいる。この特徴抽出部１８は、各カメラ１
ａ，１ｂからの入力画像のうち、基準画像として用いら
れるカメラ２ｂからの入力画像を取り込んで処理するも
ので、ここでは画像上の線分を示す特徴を抽出するよう
に構成されている。

【００７４】図１４（１）（２）は、道路上の所定位置
を観測対象とした場合の各カメラ１ａ，１ｂからの入力
画像１９ａ，１９ｂを示すもので、前記特徴抽出部１８
は、図１４（２）の基準画像１９ｂ上に、図１５に示す
ようなラプラシアンフィルタを走査して、画像上のエッ
ジ構成点を抽出する。図１６は、前記基準画像１９ｂに
対するエッジ抽出結果を示すもので、道路の境界線や道
路中央の車線の輪郭部分が抽出されている。

【００７５】さらに特徴抽出部１８は、このエッジ抽出
結果にハフ変換を施して、画像上での線分候補となる特
徴を抽出する。前記線分候補の抽出結果がモニタ９に表
示されると、オペレータは、この表示画面を見て、座標
系パラメータの算出に必要な線分を選択し、前記と同
様、入力処理部５を用いて指定処理を実行する。図１７
は、前記ハフ変換による特徴抽出結果を表示する画面
を、図１８はオペレータによる線分の指定結果を表示す
る画面を、それぞれ示すもので、オペレータに認識可能
なように、指定された線分ｍ１，ｍ２が太線に表示変更
されている。

【００７６】前記指定結果は、対応付け処理部６にも出
力され、各線分の構成点に対応する点が抽出された後、
さらにキャリブレーション処理部８により、指定された
実際の線分についての３次元データが求められる。以下
前記図１２の実施例と同様にして、いずれかの線分上に
Ｚ軸が位置するような空間座標系が設定された後、各線
分の構成点のステレオ座標を用いて座標系パラメータの
算出処理が行われる。

【００７７】図１９は、上記の各方法により生成された
キャリブレーションデータを用いて３次元計測を実施す
る観測装置の構成例を示すもので、前記撮像部１のほ
か、Ａ／Ｄ変換部２０ａ，２０ｂ，画像メモリ２１ａ，
２１ｂ，特徴抽出部２２，対応付け処理部２３，キャリ
ブレーションデータメモリ２４，３次元計測処理部２
５，出力部２６などを構成として含んでいる。

【００７８】各Ａ／Ｄ変換部２０ａ，２０ｂは、撮像部
１のカメラ１ａ，１ｂからの画像を取り込んでディジタ
ル変換するためのもので、各ディジタル画像は画像メモ
リ２１ａ，２１ｂに格納される。特徴抽出部２２は、各
画像メモリ２１ａ，２１ｂ内の入力画像からそれぞれエ
ッジ構成点を抽出するためのもので、その抽出結果は対
応付け処理部２３へと出力される。

【００７９】対応付け処理部２３は、抽出された各エッ
ジ構成点について、各画像間での対応付け処理を実行
し、その対応付け結果を３次元計測処理部２５へと出力
する。なお上記構成に代えて、前記図１３のキャリブレ
ーション装置と同様、いずれか一方の入力画像について
のみエッジ構成点を抽出し、他方の入力画像上で各エッ
ジ構成点に対応する点を抽出するように構成してもよ
い。

【００８０】キャリブレーションデータメモリ２４に
は、前記撮像部１の観測系パラメータと、前記各実施例
のいずれかにより算出された座標系パラメータとから成
るキャリブレーションデータファイルが記憶されてい
る。３次元計測処理部２５は、これらパラメータと前記
対応付け結果とを用いて、各エッジ構成点に対応する実
際の物点、すなわち対象物の輪郭構成点の空間座標を算
出する。

【００８１】出力部２６は、前記３次元計測処理部２５
により算出された各輪郭構成点の空間座標を出力するた
めのもので、モニタ，プリンタ，または他の装置への送
信装置などにより構成される。

【００８２】図２０は、上記観測装置による３次元計測
処理の一連の手順を示す。まず最初のステップ１で、撮
像部１からの画像が画像メモリ２１ａ，２１ｂに格納さ
れると、特徴抽出部２２は、各入力画像上から対象物の
輪郭に相当するエッジ構成点を抽出する。

【００８３】図２１は、前記特徴抽出部１８でエッジ構
成点を抽出するためのラプラシアンフィルタの一例を、
図２２は、このラプラシアンフィルタによる抽出結果を
それぞれ示す。なおこの図２２は、前記図５（２）に示
したのと同様の入力画像に対する抽出結果であって、前
記ラプラシアンフィルタにより画像上の垂直成分の構成
点が抽出されている。

【００８４】図２０に戻って、エッジ構成点が抽出され
ると、つぎのステップ３で、対応付け処理部２３により
各エッジ構成点の画像間での対応付け処理が行われる。
この対応付け処理は、具体的には、いずれか一方の入力
画像を基準画像としてその画像上の所定のエッジ構成点
に着目し、他方の画像上で前記着目点のエピポーラライ
ン上に位置するエッジ構成点のうち、近傍の画像データ
が基準画像上の着目点近傍の画像データに最も類似する
ものを対応点として選択することにより行われる。すべ
てのエッジ構成点についての対応づけが行われると、つ
ぎに３次元計測処理部２５による計測処理へと移行す
る。

【００８５】まず３次元計測処理部２５は、各入力画像
間で対応付けられたエッジ構成点の組毎に、その２次元
座標およびキャリブレーションデータメモリ２４に記憶
された観測系パラメータを用いて前記（４）式を実行
し、対象物の輪郭構成点のステレオ座標を算出する（ス
テップ４）。さらに３次元計測処理部２５は、キャリブ
レーションデータメモリ２４より座標系パラメータを読
み出して、これらパラメータと前記ステレオ座標とを前
記（５）式に代入し、各輪郭構成点の空間座標を算出す
る（ステップ５）。算出された各空間座標は、前記出力
部より外部へと出力され（ステップ６）、一連の手順が
終了する。

【００８６】なお上記の計測装置は、図１または図１３
に示したキャリブレーション装置２により生成されたキ
ャリブレーションデータを取り込んで計測処理を実行す
るものであるが、これに限らず、この計測処理装置内に
キャリブレーションにかかる機能を組み込むように構成
してもよい。

【００８７】

【発明の効果】請求項１および４の発明では、あらかじ
め相対位置関係が判明している２台以上の撮像手段によ
り観測位置を撮像し、複数個の物点の既知の空間座標
と、これら物点の各画像上における像点の対応関係から
算出されたステレオ座標とを用いて、空間座標系とステ
レオ座標系との位置関係を求めるようにしたから、各カ
メラ毎にパラメータを算出する必要がなくなり、キャリ
ブレーションに要する時間を大幅に削減できる。

【００８８】請求項２および５の発明では、空間座標が
既知の点を少なくとも３個用いて前記空間座標系とステ
レオ座標系との位置関係を求めるので、キャリブレーシ
ョンのために少なくとも６個の点を指定する必要があっ
た従来の方法に比べて、キャリブレーションに要する労
力を大幅に削減することができる。

【００８９】請求項３および６の発明では、同一平面上
にある物点について、それぞれ各画像上の像点の対応関
係に基づきステレオ座標を算出するとともに、これら物
点の位置する平面を基準として空間座標系を設定し、算
出されたステレオ座標を用いて空間座標系とステレオ座
標系との位置関係を求めるので、キャリブレーションの
ために空間座標が既知の物点を用意する必要がなくな
り、測定空間における実計測が困難な場合にもキャリブ
レーションを実施することが可能となる。

【００９０】請求項７の発明では、各物点の位置する平
面上に２軸が含まれるように空間座標系を設定するの
で、座標系の設定処理を簡易化できる。

【００９１】請求項８，９の発明では、平面上の所定の
線分の方向に空間座標系の１軸を設定し、平面上で線分
に垂直となる方向に他の１軸を設定するようにしたの
で、空間座標系の設定処理をさらに簡易化できる。また
線分を基準として空間座標系を設定することにより、実
際の空間において対象物の位置が認識しやすくなる。

【００９２】請求項１０の発明では、入力画像上から線
分を示す特徴を抽出し、その抽出結果によりキャリブレ
ーションのために指定する線分の画像を決定するように
したので、指定点の選択を簡単に行って、高精度のキャ
リブレーションを実行することが可能となる。

【図面の簡単な説明】

【図１】この発明の一実施例にかかるキャリブレーショ
ン装置の構成を示すブロック図である。

【図２】撮像部の具体的な構成を示す斜視図である。

【図３】ステレオ座標系とカメラ座標系との関係を示す
説明図である。

【図４】キャリブレーション処理の手順を示すフローチ
ャートである。

【図５】各カメラからの入力画像の一例を示す説明図で
ある。

【図６】表示画面上での像点の指定例を示す説明図であ
る。

【図７】指定点の対応点を抽出するための原理を示す説
明図である。

【図８】指定点の対応点を抽出するための原理を示す説
明図である。

【図９】ステレオ座標系を空間座標系との位置関係を示
す説明図である。

【図１０】空間座標系の設定方法を示す説明図である。

【図１１】モニタの表示画面上での像点の指定例を示す
説明図である。

【図１２】空間座標系の設定方法を示す説明図である。

【図１３】キャリブレーション装置の他の構成を示すブ
ロック図である。

【図１４】各カメラからの入力画像の一例を示す説明図
である。

【図１５】エッジ抽出のためのラプラシアンフィルタの
構成を示す説明図である。

【図１６】図１４（２）の入力画像に対するエッジ抽出
処理を示す説明図である。

【図１７】図１６のエッジ抽出結果に対し、ハフ変換を
行った結果を示す説明図である。

【図１８】線分の指定結果の表示例を示す説明図であ
る。

【図１９】計測装置の構成例を示すブロック図である。

【図２０】３次元計測処理の手順を示すフローチャート
である。

【図２１】エッジ抽出のためのラプラシアンフィルタの
構成を示す説明図である。

【図２２】エッジ抽出結果の一例を示す説明図である。

【符号の説明】

１ａ，１ｂ テレビカメラ ５ 入力処理部 ６ 対応付け処理部 ７ キャリブレーションデータメモリ ８ キャリブレーション処理部 １８ 特徴抽出部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 ２台以上の撮像手段により所定の観測位
   置を撮像して３次元計測を行う装置に対し、キャリブレ
   ーションを行う方法であって、 前記撮像手段の相対位置関係を記憶する第１のステップ
   と、 各撮像手段により撮像して得られた画像のうちいずれか
   の画像上で、所定の空間位置を原点とする空間座標系に
   おける位置が既知の物点の像点を、複数個指定する第２
   のステップと、 他の撮像手段により得られた画像上で、前記各指定点の
   対応点をそれぞれ抽出し、これら指定点の対応関係と前
   記撮像手段の相対位置関係とに基づき、撮像位置を原点
   とするステレオ座標系における各物点の空間座標を算出
   する第３のステップと、 各物点の算出されたステレオ座標と前記既知の空間座標
   とを用いて、前記空間座標系とステレオ座標系との位置
   関係を求める第４のステップとを一連に実施することを
   特徴とするキャリブレーション方法。
2. 【請求項２】 前記第２のステップは、前記画像上で空
   間座標が既知の物点の像点を少なくとも３個指定するス
   テップである請求項１に記載されたキャリブレーション
   方法。
3. 【請求項３】 ２台以上の撮像手段により所定の観測位
   置を撮像して３次元計測を行う装置に対し、キャリブレ
   ーションを行う方法であって、 前記撮像手段の相対位置関係を記憶する第１のステップ
   と、 各撮像手段により撮像して得られた画像のうちいずれか
   の画像上で、同一平面上に位置する少なくとも３個の物
   点の像点を指定する第２のステップと、 他の撮像手段により得られた画像上で、前記各指定点の
   対応点をそれぞれ抽出し、これら指定点の対応関係と前
   記撮像手段の相対位置関係とに基づき、撮像位置を原点
   とするステレオ座標系における各物点の空間座標を算出
   する第３のステップと、 各物点の位置する平面を基準として空間座標系を設定す
   るとともに、各物点の算出されたステレオ座標を用いて
   前記空間座標系とステレオ座標系との位置関係を求める
   第４のステップとを一連に実施することを特徴とする請
   求項１に記載されたキャリブレーション方法。
4. 【請求項４】 ２台以上の撮像手段により所定の観測位
   置を撮像して３次元計測を行う装置に対し、キャリブレ
   ーションを行う装置であって、 前記各撮像手段からの画像を入力する画像入力手段と、 前記各撮像手段の相対位置関係を記憶する記憶手段と、 いずれかの入力画像上で、所定の空間位置を原点とする
   空間座標系における位置が既知の物点の像点を複数個指
   定する指定手段と、 他の入力画像上で、前記指定手段により指定された各点
   の対応点をそれぞれ抽出し、その対応関係と各撮像手段
   の記憶された相対位置関係とに基づき、撮像位置を原点
   とするステレオ座標系における各物点の空間座標を算出
   する算出手段と、 各物点の算出されたステレオ座標と前記既知の空間座標
   とを用いて、前記空間座標系とステレオ座標系との位置
   関係を表すパラメータを算出するパラメータ算出手段と
   を備えて成るキャリブレーション装置。
5. 【請求項５】 前記指定手段は、前記入力画像上で、空
   間座標が既知の物点の像点を、少なくとも３個指定する
   請求項４に記載されたキャリブレーション装置。
6. 【請求項６】 ２台以上の撮像手段により所定の観測位
   置を撮像して３次元計測を行う装置に対し、キャリブレ
   ーションを行う装置であって、 前記各撮像手段からの画像を入力する画像入力手段と、 前記各撮像手段の相対位置関係を記憶する記憶手段と、 いずれかの入力画像上で、同一平面上に位置する物点の
   像点を少なくとも３個指定する指定手段と、 他の入力画像上で、前記指定手段により指定された各点
   の対応点をそれぞれ抽出し、その対応関係と各撮像手段
   の記憶された相対位置関係とに基づき、撮像位置を原点
   とするステレオ座標系における各物点の空間座標を算出
   する算出手段と、 各物点の位置する平面を基準として空間座標系を設定す
   る設定手段と、 各物点の算出されたステレオ座標を用いて、前記設定手
   段により設定された空間座標系とステレオ座標系との位
   置関係を表すパラメータを算出するパラメータ算出手段
   とを備えて成るキャリブレーション装置。
7. 【請求項７】 前記設定手段は、前記各物点の位置する
   平面上にいずれか２軸が含まれるように空間座標系を設
   定する請求項６に記載されたキャリブレーション装置。
8. 【請求項８】 前記指定手段は、前記いずれかの入力画
   像上で、同一平面上に位置する１線分と１物点との画像
   をそれぞれ指定し、 前記設定手段は、前記線分の方向にいずれか１軸が位置
   し、前記平面上でこの軸に垂直となる方向に他の１軸が
   位置するように、空間座標系を設定する請求項６に記載
   されたキャリブレーション装置。
9. 【請求項９】 前記指定手段は、前記画像上で同一平面
   上に位置する複数の線分の画像を指定し、 前記設定手段は、いずれかの線分の方向にいずれか１軸
   が位置し、前記平面上でこの軸に垂直となる方向に他の
   １軸が位置するように、空間座標系を設定する請求項６
   に記載されたキャリブレーション装置。
10. 【請求項１０】 前記指定手段は、前記入力画像上から
    線分を示す特徴を抽出する特徴抽出手段を含み、この抽
    出結果より前記指定する線分の画像を決定する請求項
    ６，８，９のいずれかに記載されたキャリブレーション
    装置。