JP2004271292A - Calibrator and stereo camera position/attitude calibration device - Google Patents

Calibrator and stereo camera position/attitude calibration device Download PDF

Info

Publication number
JP2004271292A
JP2004271292A JP2003060824A JP2003060824A JP2004271292A JP 2004271292 A JP2004271292 A JP 2004271292A JP 2003060824 A JP2003060824 A JP 2003060824A JP 2003060824 A JP2003060824 A JP 2003060824A JP 2004271292 A JP2004271292 A JP 2004271292A
Authority
JP
Japan
Prior art keywords
target
camera
data
calibrator
spherical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003060824A
Other languages
Japanese (ja)
Inventor
Nobuyuki Fujiwara
伸行 藤原
Makoto Niwakawa
誠 庭川
Toshikazu Onda
寿和 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP2003060824A priority Critical patent/JP2004271292A/en
Publication of JP2004271292A publication Critical patent/JP2004271292A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a calibrator and a stereo camera position/attitude calibration device for surely and easily finding the position and attitude of a stereo camera by means of image processing regardless of the direction of the stereo camera. <P>SOLUTION: This calibrator is: a round rack calibrator 5 made by fixing a plurality of round targets 3, each made by drawing a circle 2 on a plate 1, to a rack 4 assembled from poles 4a, 4b, and 4c; a spherical rack calibrator made by fixing a plurality of spherical targets to a rack assembled from poles; a round pole calibrator made by fixing a plurality of round targets to one pole; a spherical pole calibrator made by fixing a plurality of spherical targets to one pole; or a spherical lattice calibrator made by fixing a spherical target to each lattice point of a tower formed into a three-dimensional lattice-shape by together combining poles. The spherical targets are fixed to the poles in a skewered or stuck shape. The round portion of each round target or the center position of each spherical target is found by binarization processing and gravity center calculation or circle extraction. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明はステレオ画像による計測対象物体の三次元計測に関するものであり、特にステレオ画像を撮影するステレオカメラの位置姿勢校正に使用される校正器及びステレオカメラ位置姿勢校正装置に関するものである。
【０００２】
【従来の技術】
ステレオ画像を基にしたステレオ視によって計測対象物体の三次元位置計測を行う場合、前記計測対象物体のステレオ画像を撮影するための２台のカメラ（ステレオカメラ）の位置と姿勢が正確に分かっていなければならない。
【０００３】
しかしながら、実際にステレオカメラを設置する際には、カメラを設置する位置や姿勢が装置の設計値としては分かっていても、取り付けの際にカメラの位置や姿勢に微妙なズレが生じることが普通である。特にカメラの角度（姿勢）のズレに関しては、カメラ付近では小さなズレであっても、カメラから離れた計測対象物体の位置では大きなズレとなってしまう。このような状況において、ステレオ画像を撮影した際のステレオカメラの位置姿勢を正確に得る方法としては、カメラを機械的に精度よく設置する方法と、画像処理によってカメラの位置姿勢を求める方法とがある。
【０００４】
前者の機械的にカメラを精度よく設置する方法では、カメラを設置するカメラ台にカメラを移動するための移動機構や、カメラを計測対象物体へ向けるための回転機構を持ち、更にそれぞれのカメラの位置と角度を計測できる機能を持つ特別な装置を用いることで、カメラの位置姿勢を正確に得ることができる。
【０００５】
後者の画像処理によってカメラの位置姿勢を求める方法では、ステレオカメラを設置した後、校正テーブルと呼ばれる板に高さの異なる丸棒を複数本立てた校正用の対象物を、ステレオカメラ正面に設置した後、ステレオカメラで校正テーブルのステレオ画像を撮影して、前記丸棒の先端部の実際の三次元位置と画像上の位置との関係からカメラの位置姿勢を計算することにより、カメラの位置姿勢を正確に得ることができる（特許文献１参照）。
【０００６】
【特許文献１】
特開平１０−６２１４５号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、前者の機械的にカメラを精度よく設置する方法は、カメラ台を調整してカメラを設置することによりカメラの位置姿勢を得ることができるが、カメラを移動、回転する機構を必要とするため、この機能を持たない装置にカメラを設置する場合には適用できない。また、測量のように計測を行う都度にカメラの位置姿勢を変更するような用途には、カメラを移動、回転する機構を持つことが有利であるが、工場内の位置決め装置や建造物の監視用固定カメラのように一度設置してしまえばカメラの位置姿勢を変更しない用途では、カメラを移動、回転する機構を持つ必要がなく、逆にコスト高となってしまう。
【０００８】
後者の画像処理によってカメラの位置姿勢を求める方法では、校正テーブルを用いるため、その構造上から作業台のような水平な場所へ校正テーブルを設置しカメラが校正テーブルを上方から垂直下方へ見下ろすような場合には適用し易いが、車両の前方監視のようにカメラが水平方向に向いている場合には校正テーブルを立てる必要があり、校正テーブルの設置が容易ではない。カメラが水平方向へ向くように設置される用途は工場内での計測でも存在し、多少斜め上方からではあるが、建造物に設置される監視カメラの設置方法として水平方向付近に視線が向くようにカメラを設置する場合は多く存在する。
【０００９】
また、この校正テーブルを用いる方法では、板の上に丸棒をどのように立てるかは作業者の判断に任されているため、様々な丸棒の配置形態があり、校正テーブルを設置する場所の環境条件に柔軟に対応できる利点は持っているが、その反面、校正テーブル上の丸棒先端部の位置が校正の都度異なるため、校正を行う毎に丸棒先端部の位置データを変更しなければならないという煩雑性がある。
【００１０】
また、校正テーブルを用いる方法では、丸棒先端部の丸型部分の画像上の位置を画像の相関によって求めているため、画像上で自動的に丸棒先端部の位置を検出することができるが、これはカメラが校正テーブル正面付近から垂直に近い傾き角度で見下ろす場合に限られており、カメラの傾きが大きくなると画像上の丸形状が歪んでしまうため、実際には丸型形状を想定した相関計算によって丸棒先端部を検出することは困難になる。
【００１１】
従って、本発明は上記事情に鑑み、ステレオ画像を基に計測対象物体の三次元計測を行うためのステレオカメラの位置姿勢を、ステレオカメラの向きにかかわず、画像処理により確実且つ容易に求めることができる校正器及びステレオカメラ位置姿勢校正装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
上記課題を解決する第１発明の校正器は、ステレオカメラの位置姿勢校正に使用される校正器であって、板に丸を描いた丸型ターゲットを、棒で組み立てたラックに複数枚固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、前記丸型ターゲットの丸を水平方向に向けた状態で、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される丸型ラック校正器であることを特徴とする。
【００１３】
また、第２発明の校正器は、ステレオカメラの位置姿勢校正に使用される校正器であって、球型ターゲットを、棒で組み立てたラックに複数個固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される球型ラック校正器であることを特徴とする。
【００１４】
また、第３発明の校正器は、ステレオカメラの位置姿勢校正に使用される校正器であって、板に丸を描いた丸型ターゲットを、一本の棒に複数個固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、前記丸型ターゲットの丸を水平方向に向けた状態で、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される丸型ポール校正器であることを特徴とする。
【００１５】
また、第４発明の校正器は、ステレオカメラの位置姿勢校正に使用される校正器であって、球型ターゲットを、一本の棒に複数個固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される球型ポール校正器であることを特徴とする。
【００１６】
また、第５発明の校正器は、第２又は第４発明の校正器において、前記球型ターゲットを、前記棒に串刺し状に固定したことを特徴とする。
【００１７】
また、第６発明の校正器は、第２又は第４発明の校正器において、前記球型ターゲットを、前記棒に貼り付けるようにして固定することにより、前記球型ターゲット全体を前記ステレオカメラから見える方に露出させたことを特徴とする。
【００１８】
また、第７発明の校正器は、ステレオカメラの位置姿勢校正に使用される校正器であって、棒を組み合わせて立体の格子状に構成した櫓の各格子点に球型ターゲットを固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される球型格子校正器であることを特徴とする。
【００１９】
また、第８発明のステレオカメラ位置姿勢校正装置は、第１〜第７発明の何れかの校正器と、
前記ステレオカメラで撮影した前記丸型ターゲット又は球型ターゲットのステレオ画像を入力する画像入力手段と、
前記校正器の設置位置データ、又は、前記校正器及び前記設置台の設置位置データを入力する設置位置データ入力手段と、
前記校正器の設計データを入力する設計データ入力手段と、
前記ステレオカメラの基礎データを入力するカメラ基礎データ入力手段と、
前記ステレオカメラのカメラ設置位置データを入力するカメラ設置位置データ入力手段と、
前記ステレオカメラのカメラ設置姿勢データを入力するカメラ設置姿勢データ入力手段と、
前記設置位置データ及び前記設計データに基づいて、前記丸型ターゲット又は前記球型ターゲットの三次元位置であるターゲット三次元位置データを計算するターゲット三次元位置計算手段と、
前記ターゲット三次元位置データ、前記カメラ基礎データ、前記カメラ設置位置データ及び前記カメラ設置姿勢データに基づいて、前記ステレオ画像上での前記丸型ターゲット又は前記球型ターゲットの位置であるターゲット画像上位置データを計算するターゲット画像上位置計算手段と、
前記ターゲット画像上位置データと、予め設定した検索範囲の許容値データとに基づき、前記ステレオ画像上において前記丸型ターゲット又は前記球型ターゲットを探索する範囲であるターゲット探索範囲データを設定するターゲット探索範囲設定手段と、
前記ターゲット探索範囲の中で、前記ステレオ画像を画像処理することにより、前記丸型ターゲットの丸部分又は前記球型ターゲットの中心位置であるターゲット中心位置データを求めるターゲット中心位置計算手段と、
前記カメラ基礎データ、前記カメラ設置位置データ、前記カメラ設置姿勢データ、前記ターゲット三次元位置データ及び前記ターゲット中心位置データに基づいて、前記ステレオカメラの位置と姿勢であるカメラ位置姿勢データを計算するカメラ位置姿勢計算手段と、
前記設置位置データ、設計データ、カメラ基礎データ、カメラ設置位置データ、カメラ設置姿勢データ、前記ターゲット三次元位置データ、前記ターゲット画像上位置データ、前記ターゲット探索範囲データ、前記ターゲット中心位置データ及び前記カメラ位置姿勢データを記憶しておく記憶手段とを備えたことを特徴とする。
【００２０】
また、第９発明のステレオカメラ位置姿勢校正装置は、第８発明のステレオカメラ位置姿勢校正装置において、前記ターゲット中心位置計算手段では、前記ターゲット探索範囲の中で、二値化処理を行うことにより前記ステレオ画像上での前記丸型ターゲットの丸部分又は前記球型ターゲット部分を抽出し、更に前記ステレオ画像上の前記丸型ターゲットの丸部分又は前記球型ターゲット部分の重心計算をすることによって、前記ステレオ画像上における前記丸型ターゲットの丸部分又は前記球型ターゲットの中心位置であるターゲット中心位置データを求めることを特徴とする。
【００２１】
また、第１０発明のステレオカメラ位置姿勢校正装置は、第８発明のステレオカメラ位置姿勢校正装置において、前記ターゲット中心位置計算手段では、前記ターゲット探索範囲の中で、エッジ抽出により前記球型ターゲットの前記ステレオ画像上での輪郭線を抽出し、この輪郭線の円近似を行い、この近似した円の中心位置を前記球型ターゲットの中心位置であるターゲット中心位置データとすることを特徴とする。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態例を図面に基づき詳細に説明する。
【００２３】
＜実施の形態１＞
図１は本発明の実施の形態１に係る丸型ラック校正器の丸型ターゲットの構成例を示す図、図２は前記丸型ラック校正器の構成例を示す図、図３は本発明の実施の形態１に係るステレオカメラ位置姿勢校正装置の構成例を示すブロック図、図４は前記ステレオカメラ位置姿勢校正装置によるターゲット検索範囲の設定例を示す図、図５は前記ステレオカメラ位置姿勢校正装置によるステレオカメラ位置姿勢計算のフローチャートである。また、図６及び図７は前記ステレオカメラ位置姿勢校正装置をカメラ校正データ取得装置とカメラ位置姿勢計算装置とに分割した構成例を示すブロック図である。
【００２４】
ステレオカメラの位置姿勢計算のために必要な点（基準点）を示すターゲットとして図１に示すように矩形の板１の中央部に丸２を描いた構成の丸型ターゲット３を用いる。
【００２５】
そして、図２に示すように複数本の棒４ａ，４ｂ，４ｃで組み立てたラック状の構造物（以降、これをラックと称する）４に複数枚の丸型ターゲット３を固定することにより、校正器（以降、これを丸型ラック校正器という）５を構成している。詳述すると、図示例では、１本の水平な棒４ｃに複数本（図示例では３本）の水平な棒４ｂを直交させて固定し、これらの棒４ｂの両端に複数本（図示例では６本）の鉛直に延びた棒４ｃを固定してラック４を構成し、このラック４を構成する棒４ｃのそれぞれに複数枚（図示例では４枚）ずつ丸型ターゲット３を固定することにより、丸型ラック校正器５を構成している。
【００２６】
また、この丸型ラック校正器５を設置するための設置台７を用意する。設置台７としては、図示例のようなスタンド形状のものや三脚形状のものなど（図１１参照）、適宜の形状のものを用いることができる。
【００２７】
ステレオカメラの位置姿勢校正を行う際、屋外や工場内などのステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置（路面や床面などの所定位置）へ設置台７を置き、この設置台７の所定位置に丸型ラック校正器５を取り付ける。このとき丸型ラック校正器５は各丸型ターゲット３の丸２を水平方向に向けた状態となる。
【００２８】
図３に示すように、ステレオカメラ位置姿勢校正装置１０は、ステレオ画像入力を行う画像入力部１１と、各種データの入力を行うデータ入力部１２と、各種データの計算を行うデータ計算部１３と、各種データを記憶しておくメモリ部１４の大きく４つの部分で構成されている。
【００２９】
ステレオカメラである２台のＣＣＤカメラ１５Ｒ，１５Ｌは、屋外や工場内などのステレオカメラ１５Ｒ，１５Ｌで撮影するステレオ画像により計測対象物体の三次元計測画を行う場所の所定位置（撮影位置）に所定の姿勢で設置される。このときカメラ１５Ｒ，１５Ｌの向き（姿勢）は、水平方向に向けられる場合、斜め上方から見下ろす方向に向けられる場合、斜め下方から見上げる方向に向けられる場合などがある。
【００３０】
画像入力手段としての画像入力部１１では、このように設置されているカメラ１５Ｒ，１５Ｌのそれぞれによって撮影される丸型ターゲット３（丸２）のステレオ画像（図５参照）をカメラ１５Ｒ，１５Ｌから入力し、メモリ部１４へ出力する。
【００３１】
データ入力部１２には、設置位置データ入力手段としての設置位置データ入力部１６と、設計データ入力手段としての設計データ入力部１７と、カメラ基礎データ入力手段としてのカメラ基礎データ入力部１８と、カメラ設置位置データ入力出段としてのカメラ設置位置データ入力部１９と、カメラ設置姿勢データ入力手段としてのカメラ設置姿勢データ入力部２０とが設けられている。
【００３２】
設置位置データ入力部１６では、設置台７の設置位置データ及び丸型ラック校正器５の設置位置データを入力して、メモリ部１４へ出力する。設計データ入力部１７では、丸型ラック校正器５の設計データ（ラック４の寸法データや各丸型ターゲット３の固定位置データなど）を入力して、メモリ部１４へ出力する。カメラ基礎データ１８では、カメラ１５Ｒ，１５ＬのＣＣＤサイズやレンズ焦点距離などのカメラ基礎データを入力して、メモリ部１４へ出力する。カメラ設置位置データ入力部１９では、前記所定位置に設置されたカメラ１５Ｒ，１５Ｌの設置位置データを入力して、メモリ部１４へ出力する。カメラ設置姿勢データ入力部２０では、前記所定位置に前記所定の姿勢で設置されたカメラ１５Ｒ，１５Ｌの設置姿勢データを入力して、メモリ部１４へ出力する。
【００３３】
なお、上記の各入力部１６，１７，１８，１９，２０に対する上記の各種データの入力は、例えば作業者がキーボードなどを操作することによって行う。
【００３４】
記憶手段としてのメモリ部１４では、各入力部１６，１７，１８，１９，２０から出力された前記設置位置データ、前記設計データ、前記カメラ基礎データ、前記カメラ設置位置データ及び前記カメラ設置姿勢データを入力して記憶しておく。
【００３５】
また、データ計算部１３には、ターゲット三次元位置計算手段としてのターゲット三次元位置計算部２１と、ターゲット画像上位置計算手段としてのターゲット画像上位置計算部２２と、ターゲット探索範囲設定手段としてのターゲット探索範囲設定部２３と、ターゲット中心位置計算手段としてのターゲット中心位置計算部２４と、カメラ位置姿勢計算手段としてのカメラ位置姿勢計算部２５とが設けられている。
【００３６】
ターゲット三次元位置計算部２１では、メモリ部１４に記憶された前記設置データ及び前記設計データに基づいて、ラック４に固定された丸型ターゲット３の三次元位置（ターゲット三次元位置データ）を計算し、このターゲット三次元位置データをメモリ部１４へ出力する。メモリ部１４では、前記ターゲット三次元位置データを記憶する。
【００３７】
ターゲット画像上位置計算部２２では、メモリ部１４に記憶されている前記ターゲット三次元位置データ、前記カメラ基礎データ、前記カメラ設置位置データ及び前記カメラ位置姿勢データに基づいて、ステレオ画像上での丸型ターゲット３の位置（ターゲット画像上位置データ）を計算し、このターゲット画像上位置データをメモリ部１４に出力する。メモリ部１４では、前記ターゲット画像上位置データも記憶する。
【００３８】
ターゲット探索範囲設定部２３では、メモリ部１４に記憶されている前記ターゲット画像上位置データと、予め設定してメモリ部１４に記憶させておいた検索範囲の許容値データとに基づき、図５に例示すようなステレオ画像上、即ち、カメラ１５Ｌで撮影された左画像上と、カメラ１５Ｒで撮影された右画像上において、丸型ターゲット３（丸２）を探索する範囲（ターゲット探索範囲）２６を設定し、このターゲット探索範囲のデータをメモリ部１４に出力する。メモリ部１４では、前記ターゲット探索範囲のデータも記憶する。
【００３９】
ターゲット中心位置計算部２４では、メモリ部１４に記憶されている前記ターゲット探索範囲の中で、メモリ部１４に記憶されている前記ステレオ画像に対する画像処理として、二値化処理を行うことにより前記ステレオ画像上での前記丸型ターゲット３の丸２部分を抽出し、更に前記ステレオ画像上の前記丸型ターゲットの丸２部分の重心計算を行うことによって前記ステレオ画像上における前記丸２部分の中心位置（ターゲット中心位置データ）を求め、このターゲット中心位置データをメモリ部１４に出力する。メモリ部１４では、前記ターゲット中心位置データも記憶する。
【００４０】
そして、カメラ位置姿勢計算部２５では、メモリ部１４に記憶されている前記カメラ基礎データ、前記カメラ設置位置データ、前記カメラ設置姿勢データ、前記ターゲット三次元位置データ及び前記ターゲット中心位置データに基づいて、ステレオカメラ１５Ｒ，１５Ｌの位置と姿勢（カメラ位置姿勢データ）を計算し、このカメラ位置姿勢データをメモリ部１４に出力する。メモリ部１４では、前記カメラ位置姿勢データも記憶する。なお、このカメラ位置姿勢データの具体的な計算方法につては、後述する。
【００４１】
次に、このステレオカメラ位置姿勢校正装置１０によるステレオカメラ１５Ｒ，１５Ｌの位置姿勢計算の手順を、図５のフローチャートに基づいて説明する。
【００４２】
図５に示すように、まず、作業者が、設置台７を、ステレオカメラ１５Ｒ，１５Ｌで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置へ設置し（ステップＳ１）、この設置台７の所定位置に丸型ラック校正器５を取り付けることによって、丸型ラック校正器５を設置する（ステップＳ２）。丸型ラック校正器５を設置後、作業者は、ステレオカメラ１５Ｒ，１５Ｌを操作し、ステレオカメラ１５Ｒ，１５Ｌで丸型ラック校正器５のステレオ画像を撮影して、このステレオ画像中に丸型ラック校正器５の映像が入っているか否かを図示しないモニタで見て確認する（ステップＳ３）。その結果、丸型ラック校正器５の映像が前記ステレオ画像中に入っていなければ（ＯＮの場合）、再度、設置台７を設置し直して丸型ラック校正器５を設置し直した後、ステレオカメラ１５Ｒ，１５Ｌで丸型ラック校正器５のステレオ画像を撮影して、このステレオ画像中に丸型ラック校正器５の映像が入っているか否かをモニタで見て再度確認する（ステップＳ１，Ｓ２，Ｓ３）。
【００４３】
丸型ラック校正器５の映像が前記ステレオ画像中に入っていることを確認したら（ＯＫの場合）、当該ステレオ画像をステレオカメラ１５Ｒ，１５Ｌに保存する（ステップＳ４）。また、このとき、作業者は、設置台７の設置位置データと、丸型ラック校正器５の設置位置データとを記録する（ステップＳ５）。
【００４４】
次に、ステレオカメラ１５Ｒ，１５Ｌに保存されている前記ステレオ画像を、画像入力部１１によりステレオカメラ１５Ｒ，１５Ｌから読み込み（ステップＳ６）、メモリ部１４に記憶する。続いて、設置台７の設置位置データ及び丸型ラック校正器５の設置位置データ、丸型ラック校正器５の設計データ、ステレオカメラ１５Ｒ，１５Ｌのカメラ基礎データ、ステレオカメラ１５Ｒ，１５Ｌのカメラ設置位置データ、及び、ステレオカメラ１５Ｒ，１５Ｌのカメラ設置姿勢データを、設置位置データ入力部１６、設計データ入力部１７、カメラ基礎データ入力部１８、カメラ設置位置データ入力部１９、及び、カメラ設置姿勢データ２０により、それぞれ入力して（ステップＳ７，Ｓ８，Ｓ９，Ｓ１０，Ｓ１１）、メモリ部１４に記憶する。
【００４５】
その後、ターゲット三次元位置計算部２１において、前記設置位置データ及び前記設計データに基づき、ターゲット三次元位置データを算出し（ステップＳ１２）、ターゲット画像上位置計算部２２において、前記ターゲット三次元位置データ、前記カメラ基礎データ、前記カメラ設置位置データ及び前記カメラ設置姿勢データに基づき、ターゲット画像上位置データを計算する（ステップＳ１３）。また、ターゲット探索範囲設定部２３において、前記ターゲット画像上位置データ及び前記許容値データに基づき、ターゲット探索範囲データを設定し（ステップＳ１４）、ターゲット中心位置計算部２４において、前記ステレオ画像及び前記ターゲット探索範囲データに基づき、ターゲット中心位置データを計算する（ステップＳ１５）。そして、カメラ位置姿勢計算部２５において、前記カメラ基礎データ、前記カメラ設置位置データ、前記カメラ設置姿勢データ、前記ターゲット三次元位置データ及び前記ターゲット中心位置データに基づき、カメラ位置姿勢データを計算する（ステップＳ１６）。
【００４６】
なお、図３に示すステレオカメラ位置姿勢校正装置１０の各構成部は一体的に設けてもよく、適宜に分割してもよい。ステレオカメラ位置姿勢校正装置１０の分割例としては、例えば、主に丸型ターゲット３のステレオ画像や設置位置データを取得する機能を受け持つ図６のカメラ校正データ取得装置１０Ａと、主にカメラ位置姿勢を計算する機能を受け持つ図７のカメラ位置姿勢計算装置１０Ｂとに分割することができる。
【００４７】
図６に示すように、カメラ校正データ取得装置１０Ａは、画像入力部１１と、データ入力部のうちの設置位置データ入力部１６と、メモリ部１４Ａと、データ送信部２７とを備えている。画像入力部１１で入力したステレオ画像及び設置位置データ入力部１６で入力した設置位置データはメモリ部１４に記憶される。データ送信部２７では、これらの取得したステレオ画像及びデータ計算部をカメラ位置姿勢計算装置１０Ｂへ送信する。
【００４８】
図７に示すように、カメラ位置姿勢計算装置１０Ｂは、データ入力部のうちの設計データ入力部１７、カメラ基礎データ入力部１８、カメラ設置位置データ入力部１９及びカメラ設置位置データ入力部２０と、データ計算部のターゲット三次元位置計算部２１、ターゲット画像上位置計算部２２、ターゲット探索範囲設定部２３、ターゲット中心位置計算手段２４及びカメラ位置姿勢計算部２５と、メモリ部１４Ｂと、データ受信部２８とを備えている。データ受信部２８ではカメラ校正データ取得装置１０Ａのデータ送信部２７から送信された前記ステレオ画像及び設置位置データを受信し、メモリ部１０Ｂに出力して記憶させる。また、メモリ部１０Ｂでは、設計データ入力部１７で入力した設計データ、カメラ基礎データ入力部１８で入力したカメラ基礎データ、カメラ設置位置データ入力部１９で入力したカメラ設置位置データ、カメラ設置姿勢データ入力部２０で入力したカメラ設置姿勢データ、ターゲット三次元位置計算部２１で計算したターゲット三次元位置データ、ターゲット画像上位置計算部２２で計算したターゲット画像上位置データ、ターゲット探索範囲設定部２３で設定したターゲット探索範囲データ、ターゲット中心位置計算部２４で計算したターゲット中心位置データ、及び、カメラ位置姿勢計算部２５で計算したカメラ位置姿勢データも記憶する。
【００４９】
以上のように、本実施の形態１によれば、丸型ラック校正器５をステレオカメラ１５Ｒ，１５Ｌで撮影したステレオ画像に基づいてカメラ位置姿勢データを計算するため、従来の機械的な方法のように移動機構や回転機構によってステレオカメラ１５Ｒ，１５Ｌを精密に設置する必要がなく、また、ステレオカメラ１５Ｒ，１５Ｌを設置するために移動機構や回転機構などの装置を装備する必要もない。
【００５０】
また、本実施の形態１の丸型ラック校正器５は、ステレオカメラ１５Ｒ，１５Ｌが、図２に示す矢印Ａのように水平に向く場合、矢印Ｂのように斜め上方から見下ろす場合、矢印Ｃのように斜め下方から見上げる場合などの広範囲なカメラ設置状態に対応することができる。更に、丸型ラック校正器５はその形状やターゲット位置が丸型ラック校正器５を設計した時点で決まっているためターゲットの配置を自由に選ぶことができない反面、ターゲット配置が決まっていることでラック４上のターゲット位置を計算により求めることができ、実際には設置台７の設置位置及び丸型ラック校正器５の設置位置が分かれば、これらの設置位置データと丸型ラック校正器５の設計データとを合わせて、全ての丸型ターゲット３（丸２）の三次元位置を計算により自動的に求めることができる。
【００５１】
また、本実施の形態１では、丸型ラック校正器５に対してステレオカメラ１５Ｒ，１５Ｌが正面付近に設置されていない（例えば丸型ラック校正器５の斜め上方や斜め下方に設置されている）ために丸型ターゲット３の丸２部分の映像が楕円状に歪んでしまった場合でも、この丸２部分の中心位置を二値化処理と重心計算によって求めるため、問題なく丸２部分の中心位置データを得ることができる。更に、ステレオ画像や各種データを入力してしまえば、その後の丸型ターゲット３（丸２）をステレオ画像で検出してステレオカメラ１５Ｒ，１５Ｌの位置姿勢データを計算するまでの一連の処理を自動的に計算処理によって行うことができ、作業者の負担を軽減することができる。
【００５２】
＜実施の形態２＞
図８は本発明の実施の形態２に係る球型ラック校正器の構成例を一部省略して示す図、図９は本発明の実施の形態２に係る球型ラック校正器の他の構成例を一部省略して示す図である。
【００５３】
図８及び図９に示すように、本実施の形態２の球型ラック校正器３１は、実施の形態１の丸型ターゲット３に代わりに球形状の球型ターゲット３３を用い、この球型ターゲット３３を複数個ラック４に固定した構成となっている。図８及び図９では図示を一部省略しているが、ラック４は図２に示すラック４と同様の構成であり、このラック４を構成する鉛直な棒４ｃのそれぞれに複数個（図示例では４個）ずつ球型ターゲット３３を固定することにより、丸型ラック校正器３１を構成している。
【００５４】
丸型ターゲット３３のラック４への固定方法としては、図８に示すようにラック４を構成する棒４ｃに丸型ターゲット３３を串刺し状に固定するタイプと、図９に示すようにラック４を構成する棒４ｃに球型ターゲット３３を、例えば接着やネジ止めなどの固定手段によって、貼り付けるようにして固定することにより、球型ターゲット３３全体をステレオカメラ１５Ｒ，１５Ｌから見える方（図示例では棒４ｃの図中右側）に露出させるタイプとがある。
【００５５】
なお、校正器を丸型ラック校正器５から球型ラック校正器３１に代える他は、上記実施の形態１と同様の構成である（図３、図６、図７参照）。
【００５６】
即ち、画像入力部１１では、ステレオカメラ１５Ｒ，１５Ｌのそれぞれによって撮影される球型ターゲット３３のステレオ画像をカメラ１５Ｒ，１５Ｌから入力し、メモリ部１４（１４Ａ）へ出力する。設置位置データ入力部１６では、設置台７の設置位置データ及び球型ラック校正器３１の設置位置データを入力して、メモリ部１４（１４Ａ）へ出力する。設計データ入力部１７では、球型ラック校正器の設計データ（ラック４の寸法データや各球型ターゲット３３の固定位置データなど）を入力して、メモリ部１４（１４Ｂ）へ出力する。カメラ基礎データ１８では、カメラ１５Ｒ，１５ＬのＣＣＤサイズやレンズ焦点距離などのカメラ基礎データを入力して、メモリ部１４（１４Ｂ）へ出力する。カメラ設置位置データ入力部１９では、前記所定位置に設置されたカメラ１５Ｒ，１５Ｌの設置位置データを入力して、メモリ部１４（１４Ｂ）へ出力する。カメラ設置姿勢データ入力部２０では、前記所定位置に前記所定の姿勢で設置されたカメラ１５Ｒ，１５Ｌの設置姿勢データを入力して、メモリ部１４（１４Ｂ）へ出力する。
【００５７】
メモリ部１４（１４Ａ、１４Ｂ）では、各入力部１６，１７，１８，１９，２０から出力された前記設置位置データ、前記設計データ、前記カメラ基礎データ、前記カメラ設置位置データ及び前記カメラ設置姿勢データを入力して記憶しておく。
【００５８】
ターゲット三次元位置計算部２１では、メモリ部１４（１４Ｂ）に記憶された前記設置データ及び前記設計データに基づいて、ラック４に固定された球型ターゲット３３の三次元位置（ターゲット三次元位置データ）を計算し、このターゲット三次元位置データをメモリ部１４（１４Ｂ）へ出力する。メモリ部１４（１４Ｂ）では、前記ターゲット三次元位置データを記憶する。
【００５９】
ターゲット画像上位置計算部２２では、メモリ部１４（１４Ｂ）に記憶されている前記ターゲット三次元位置データ、前記カメラ基礎データ、前記カメラ設置位置データ及び前記カメラ位置姿勢データに基づいて、ステレオ画像上での球型ターゲット３３の位置（ターゲット画像上位置データ）を計算し、このターゲット画像上位置データをメモリ部１４（１４Ｂ）に出力する。メモリ部１４（１４Ｂ）では、前記ターゲット画像上位置データも記憶する。
【００６０】
ターゲット探索範囲設定部２３では、メモリ部１４（１４Ｂ）に記憶されている前記ターゲット画像上位置データと、予め設定してメモリ部１４（１４Ｂ）に記憶させておいた検索範囲の許容値データとに基づき、ステレオ画像上、即ち、カメラ１５Ｌで撮影された左画像上と、カメラ１５Ｒで撮影された右画像上において、球型ターゲット３３を探索する範囲（ターゲット探索範囲データ）２６を設定し、このターゲット探索範囲データをメモリ部１４（１４Ｂ）に出力する。メモリ部１４（１４Ｂ）では、前記ターゲット探索範囲データも記憶する。
【００６１】
ターゲット中心位置計算部２４では、メモリ部１４（１４Ｂ）に記憶されている前記ターゲット探索範囲の中で、前記ステレオ画像に対して二値化処理を行うことにより、前記ステレオ画像上での前記球型ターゲット３３部分を抽出し、更に前記ステレオ画像上の重心計算を行うことによって、前記ステレオ画像上における前記球型ターゲット３３部分の中心位置（ターゲット中心位置データ）を求め、このターゲット中心位置データをメモリ部１４（１４Ｂ）に出力する。メモリ部１４（１４Ｂ）では前記ターゲット中心位置データも記憶する。
【００６２】
或いは、どの方向から見ても円形状に見えるという球型ターゲット３３の性質を生かして、ターゲット中心位置計算部２４では上記のような二値化処理と重心計算による方法の代わりに円抽出による方法により、ターゲット中心位置データを求めてもよい。即ち、ターゲット中心位置計算部２４では、まず、前記ターゲット探索範囲の中で、エッジ抽出により球型ターゲット３３の前記ステレオ画像上での輪郭線を抽出する。そして、ターゲット中心位置計算部２４では、球型ターゲット３３はどの方向から見ても円形状にみえるという性質を利用し、前記輪郭線の円近似を行い、この近似した円の中心位置を球型ターゲット３３の中心位置（ターゲット中心位置データ）とする。
【００６３】
カメラ位置姿勢計算部２５では、メモリ部１４（１４Ｂ）に記憶されている前記カメラ基礎データ、前記カメラ設置位置データ、前記カメラ設置姿勢データ、前記ターゲット三次元位置データ及び前記ターゲット中心位置データに基づいて、ステレオカメラ１５Ｒ，１５Ｌの位置と姿勢（カメラ位置姿勢データ）を計算し、このカメラ位置姿勢データをメモリ部１４（１４Ｂ）に出力する。メモリ部１４（１４Ｂ）では、前記カメラ位置姿勢データも記憶する。
【００６４】
ステレオカメラ１５Ｒ，１５Ｌの位置姿勢計算の手順については、上記実施の形態２と同様であり、ここでの説明は省略する（図５参照）。
【００６５】
以上のように、本実施の形態２によれば、球型ラック校正器３１を使用しており、この球型ラック校正器３１の球型ターゲット３３はどの方向からみても円形状に見えるため、球型ラック校正器３１の正面付近にステレオカメラ１５Ｒ，１５Ｌが設置されていない場合（例えば球型ラック校正器３１の斜め上方や斜め下方に設置されている場合）でも、ステレオ画像上での球型ターゲット３３の形状が楕円状に歪むことなく円形状のままである。このため、ステレオ画像上での球型ターゲット３３の中心位置を二値化処理と重心計算によって、より精度よく求めることができる。
【００６６】
また、図８のように球型ターゲット３３を、ラック４を構成する棒４ｃに串刺し状に固定した場合には、構造的に頑丈であり、しかも、ラック４の棒４ｃが球型ターゲット３３の中心軸を通るように球型ターゲット３３を取り付けるため、球型ターゲット３３をラック４（棒４ｃ）に固定する際の球型ターゲット３３の１つ１つの位置のバラツキが少ない。
【００６７】
また、図９のように球型ターゲット３３を、ラック４を構成する棒４ｃに球型ターゲット３３を貼り付けるようにして固定することにより、球型ターゲット３３全体をステレオカメラ１５Ｒ，１５Ｌから見える方に露出させた場合には、球型ターゲット３３がある側にステレオカメラ１５Ｒ，１５Ｌを設置する限り、ステレオカメラ１５Ｒ，１５Ｌから見て、球型ターゲット３３の一部が球型ターゲット３３を固定しているラック４の棒４ｃに隠れることがなく、ステレオ画像上で常に球型ターゲット３３の円形状全体を得ることができるため、画像処理（二値化処理や重心計算、或いは、後述する円抽出など）により球型ターゲット３３の中心位置を求める場合にデータの欠落がなく、より精度よくターゲット中心位置データを求めることができる。
【００６８】
また、円抽出による方法で球型ターゲット３３の中心位置（ターゲット中心位置データ）を求める場合には、球型ターゲット３３の輪郭線をエッジ抽出と円近似により求めるため、背景ノイズに強く、様々な不要物体がステレオ画像内に入った場合でも球型ターゲット３３の中心位置を正確に求めることができるため、屋外や工場内のような煩雑な状況においても適用が可能である。
【００６９】
＜実施の形態３＞
上記実施の形態１，２では丸型ターゲット３もしくは球型ターゲット３３をラック４に固定した丸型ラック校正器５もしくは球型ラック校正器３１を使用し、これらの校正器５又は３１をステレオカメラで撮影したステレオ画像を基にステレオカメラの位置姿勢データを計算したが、かかる計算のために用いる校正器としては、ラックを使用するもの以外にも、例えば図１０、図１１及び図１２に示すような幾つかの構成のものが考えられる。
【００７０】
図１０の（ａ）及び（ｂ）は本発明の実施の形態３に係る丸型ポール校正器の構成例を示す図、図１１の（ａ）及び（ｂ）は本発明の実施の形態３に係る球型ポール校正器の構成例を示す図、図１２は本発明の実施の形態３に係る球型格子校正器の構成例を示す図である。
【００７１】
図１０（ａ）及び（ｂ）に示すように丸型ポール校正器４１は、丸型ターゲット３を、１本の鉛直に延びた棒（ポール）４２に複数枚（図示例では３枚）固定してなるものである。
【００７２】
ステレオカメラの位置姿勢校正を行うためにこの丸型ポール校正器４１を設置する際には、例えば図１０（ａ）示すような三脚形状の設置台４３又は図１０（ｂ）に示すようなスタンド形状の設置台４４を用意し、これらの設置台４３又は４４を、屋外や工場内などのステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置へ置く。そして、この設置台４３又は４４の所定位置に丸型ポール校正器４１を取り付け、この丸型ポール校正器４１をステレオカメラで撮影して校正用のステレオ画像を取得する。このとき丸型ポール校正器４１は各丸型ターゲット３の丸２を水平方向に向けた状態となる。なお、この場合も、各丸型ポール校正器４１の丸型ターゲット３の三次元位置データは、設置台４３又は４４の設置位置のデータ、設置台４３又は４４上に丸型ポール校正器４１を設置した位置のデータ、丸型ポール校正器４１の設計データ（棒４２の寸法データや各丸型ターゲット３の固定位置データなど）に基づいて計算することができる。
【００７３】
この丸型ポール校正器４１を用いる場合にも、校正器を丸型ラック校正器５から丸型ポール校正器４１に代える他は、上記実施の形態１と同様であり（図３、図５、図６、図７参照）、ここでの説明は省略する。
【００７４】
また、図１１（ａ）及び（ｂ）に示すように球型ポール校正器５１は、球型ターゲット３３を、１本の鉛直に延びた棒（ポール）４２に複数個（図示例では３個）固定してなるものである。この場合も、球型ターゲット３３の固定方法としては、上記実施の形態２と同様（図８、図９参照）、棒４２に丸型ターゲット３３を串刺し状に固定するタイプと、棒４２に球型ターゲット３３を貼り付けるようにして固定することにより、球型ターゲット３３全体をステレオカメラから見える方に露出させるタイプとがある。
【００７５】
ステレオカメラの位置姿勢校正を行うためにこの球型ポール校正器５１を設置する際には、例えば図１１（ａ）示すような三脚形状の設置台４３又は図１１（ｂ）に示すようなスタンド形状の設置台４４を用意し、これらの設置台４３又は４４を、屋外や工場内などのステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置へ置く。そして、この設置台４３又は４４の所定位置に球型ポール校正器５１を取り付け、この球型ポール校正器５１をステレオカメラで撮影して校正用のステレオ画像を取得する。なお、この場合も、各丸型ポール校正器５１の球型ターゲット３３の三次元位置データは、設置台４３又は４４の設置位置のデータ、設置台４３又は４４上に球型ラック校正器１を設置した位置のデータ、球型ラック校正器５１の設計データ（棒４２の寸法データや球型ターゲット３３の固定位置データなど）に基づいて計算することができる。
【００７６】
この球型ポール校正器５１を用いる場合にも、校正器を球型ラック校正器３１５から球型ポール校正器５１に代える他は、上記実施の形態２と同様であり（図３、図５、図６、図７参照）、ここでの説明は省略する。
【００７７】
また、図１２に示すように、球型格子校正器６１は、複数の棒６２ａを組み合わせて立体（図示例では立方体）の格子状に構成した立体格子である櫓６２の各格子点に球型ターゲット３３を固定してなるものである。
【００７８】
ステレオカメラの位置姿勢校正を行うためにこの球型格子校正器６１を設置する際には、例えば図示のようなスタンド形状の設置台４４を、屋外や工場内などのステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置へ置き、この設置台４４の所定位置に球型格子校正器６１を取り付け、この球型格子校正器６１をステレオカメラで撮影して校正用のステレオ画像を取得する。なお、この場合も、球型ラック校正器６１の球型ターゲット３３の三次元位置データは、設置台４４の設置位置のデータ、設置台４４上に球型格子校正器６１を設置した位置のデータ、球型格子校正器６１の設計データ（立体格子６２の寸法データや球型ターゲット３３の固定位置データなど）に基づいて計算することができる。
【００７９】
この球型格子校正器６１を用いる場合にも、校正器を球型ラック校正器３１から球型格子校正器６１に代える他は、上記実施の形態２と同様であり（図３、図５、図５、図６、図７参照）、ここでの説明は省略する。
【００８０】
本実施の形態３によれば、丸型ポール校正器４１を用いる場合には、丸型ポール校正器４１を複数個使用して適宜に設置することができるため、丸型ラック校正器に比べてターゲットの配置形態に自由度がある。
【００８１】
また、球型ラック校正器５１を用いる場合には、上記のような丸型ポール校正器４１の持つ効果に加えて、ステレオカメラの設置場所が球型ポール校正器５１の正面付近でなくてもステレオ画像上の球型ターゲット３３の形状が円形状のまま変化しないため、球型ターゲット３３のステレオ画像上の位置をより精度よく検出することができるという効果がある。
【００８２】
また、球型格子校正器６１を用いる場合には、球型格子校正器６１を設置した路面や床面などからの撮影以外は、どの方向からでも球型ターゲット３３を撮影することができるため、様々なステレオカメラの設置状況に対応できる。
【００８３】
ところで、上記では丸型ラック校正器５、球型ラック校正器３１、丸型ポール校正器４１、球型ポール校正器５１、球型格子校正器６１を、設置台７，４３，４４を介して路面や床面などに設置しているが、これに限定するものではなく、校正器に路面や床面などに設置可能な部分（例えば脚部など）を一体的に形成することなどにより、校正器を直接路面や床面などに設置してもよい。この場合には、設置位置データとして、校正器の設置位置データを入力すればよい。特に、図１２の球型格子校正器６１は設置台４４を用いずにそのまま路面や床面に直接設置することもでき、この場合には設置位置データとして球型ラック校正器６１の設置位置データを入力すればよい。
【００８４】
なお、ここでカメラ位置姿勢データの具体的な計算方法について説明する。
【００８５】
図１３に示すように、カメラをｘ軸まわりにω、ｙ軸まわりにφ、ｚ軸まわりにχ回転させたとする。ここでχ，φ，ωの順に回転させると、カメラの姿勢は次のように表される。
【００８６】
【数１】

Figure 2004271292
【００８７】
図１４に示すように、カメラ位置（Ｘ０，Ｙ０，Ｚ０）とレンズ焦点距離ｃより、三次元空間上の点（Ｘ，Ｙ，Ｚ）はＣＣＤ上の点（Ｘｐ，Ｙｐ，Ｚｐ）へ写像される。
【００８８】
【数２】
Figure 2004271292
【００８９】
カメラ位置、ＣＣＤ上の点、三次元空間上の点は一直線上になければならないので共線条件が成立する。
【００９０】
【数３】
Figure 2004271292
【００９１】
これに上の式を代入すると、
【００９２】
【数４】
Figure 2004271292
【００９３】
ここまでは基準座標系で考えたが、次にこれをカメラ座標系で考える。カメラ座標における三次元空間上の点を（ｘｐ，ｙｐ，ｚｐ）とすると、
【００９４】
【数５】
Figure 2004271292
【００９５】
ここで回転行列Ｒは直交行列なので、その逆行列は転置行列Ｒｔと同じになる。
【００９６】
【数６】
Figure 2004271292
【００９７】
カメラ座標系におけるカメラ位置（０，０，０）、ＣＣＤ上の点（ｘ，ｙ，−ｃ）、三次元空間上の点（ｘｐ，ｙｐ，ｚｐ）の共線条件式は、
【００９８】
【数７】
Figure 2004271292
【００９９】
これに今までの式を代入すると、
【０１００】
【数８】
Figure 2004271292
【０１０１】
これは対象物の三次元空間上の点（Ｘ，Ｙ，Ｚ）がＣＣＤ上の点（ｘ，ｙ）へうつされる式で計測の基本式になる。この基本式についてカメラ姿勢の係数ａｉｊとカメラ位置（Ｘ０，Ｙ０，Ｚ０）を最小二乗法により求める。
【０１０２】
【発明の効果】
以上、発明の実施の形態とともに具体的に説明したように、第１発明の校正器によれば、板に丸を描いた丸型ターゲットを、棒で組み立てたラックに複数枚固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、前記丸型ターゲットの丸を水平方向に向けた状態で、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される丸型ラック校正器であるため、ステレオカメラが、水平に向く場合、斜め上方から見下ろす場合、斜め下方から見上げる場合などの広範囲なカメラ設置状態に対応することができる。更に、丸型ラック校正器はその形状やターゲット位置が丸型ラック校正器を設計した時点で決まっているためターゲットの配置を自由に選ぶことができない反面、ターゲット配置が決まっていることでラック４上のターゲット位置を計算により求めることができ、実際には丸型ラック校正器の設置位置、又は、丸型ラック校正器及び設置台の設置位置が分かれば、これらの設置位置データと丸型ラック校正器の設計データとを合わせて、全ての丸型ターゲット（丸）の三次元位置を計算により自動的に求めることができる。
【０１０３】
また、第２発明の校正器によれば、球型ターゲットを棒で組み立てたラックに複数個固定してなり球型ラック校正器であり、この球型ラック校正器の球型ターゲットはどの方向からみても円形状に見えるため、球型ラック校正器の正面付近にステレオカメラが設置されていない場合でも、ステレオ画像上での球型ターゲットの形状が楕円状に歪むことなく円形状のままである。このため、ステレオ画像上での球型ターゲットの中心位置を画像処理によって、より精度よく求めることができる。
【０１０４】
また、第３発明の校正器によれば、板に丸を描いた丸型ターゲットを一本の棒に複数個固定してなる丸型ポール校正器であり、これを複数個使用して適宜に設置することができるため、丸型ラック校正器に比べてターゲットの配置形態に自由度がある。
【０１０５】
また、第４発明の校正器によれば、球型ターゲットを一本の棒に複数個固定してなる球型ポール校正器であるため、上記のような丸型ポール校正器の持つ効果に加えて、ステレオカメラの設置場所が球型ポール校正器の正面付近でなくてもステレオ画像上の球型ターゲットの形状が円形状のまま変化しないため、球型ターゲットのステレオ画像上の位置をより精度よく検出することができるという効果がある。
【０１０６】
また、第５発明の校正器によれば、前記球型ターゲットを前記棒に串刺し状に固定したため、構造的に頑丈であり、しかも、棒が球型ターゲットの中心軸を通るように球型ターゲットを取り付けるため、球型ターゲットを棒に固定する際の球型ターゲットの１つ１つの位置のバラツキが少ない。
【０１０７】
また、第６発明の校正器によれば、球型ターゲットを、棒に球型ターゲットを貼り付けるようにして固定することにより、球型ターゲット全体をステレオカメラから見える方に露出させたため、球型ターゲットがある側にステレオカメラを設置する限り、ステレオカメラから見て、球型ターゲットの一部が球型ターゲットを固定している棒に隠れることがなく、ステレオ画像上で常に球型ターゲットの円形状全体を得ることができるため、画像処理により球型ターゲットの中心位置を求める場合にデータの欠落がなく、より精度よくターゲット中心位置データを求めることができる。
【０１０８】
また、第７発明の校正器によれば、棒を組み合わせて立体の格子状に構成した櫓の各格子点に球型ターゲットを固定してなる球型格子校正器であるため、球型格子校正器を設置した路面や床面などからの撮影以外は、どの方向からでも球型ターゲットを撮影することができ、様々なステレオカメラの設置状況に対応できる。
【０１０９】
また、第８発明のステレオカメラ位置姿勢校正装置によれば、丸型ラック校正器、球型ラック校正器、丸型ポール校正器、球型ポール校正器又は球型格子校正器をステレオカメラで撮影したステレオ画像に基づいてカメラ位置姿勢データを計算するため、従来の機械的な方法のように移動機構や回転機構によってステレオカメラを精密に設置する必要がなく、また、ステレオカメラを設置するために移動機構や回転機構などの装置を装備する必要もない。更に、ステレオ画像や各種データを入力してしまえば、その後の丸型ターゲット（丸）又は球型ターゲットをステレオ画像で検出してステレオカメラの位置姿勢データを計算するまでの一連の処理を自動的に計算処理によって行うことができ、作業者の負担を軽減することができる。
【０１１０】
また、第９発明のステレオカメラ位置姿勢校正装置によれば、丸型ラック校正器や丸型ポール校正器に対してステレオカメラが正面付近に設置されていないために丸型ターゲットの丸部分の映像が楕円状に歪んでしまった場合でも、この丸部分の中心位置を二値化処理と重心計算によって求めるため、問題なく丸部分の中心位置データを得ることができる。
【０１１１】
また、第１０発明のステレオカメラ位置姿勢校正装置によれば、円抽出による方法で球型ターゲットの中心位置（ターゲット中心位置データ）を求めるため、即ち、球型ターゲットの輪郭線をエッジ抽出と円近似により求めるため、背景ノイズに強く、様々な不要物体がステレオ画像内に入った場合でも球型ターゲットの中心位置を正確に求めることができるため、屋外や工場内のような煩雑な状況においても適用が可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る丸型ラック校正器の丸型ターゲットの構成例を示す図である。
【図２】前記丸型ラック校正器の構成例を示す図である。
【図３】本発明の実施の形態１に係るステレオカメラ位置姿勢校正装置の構成例を示すブロック図である。
【図４】前記ステレオカメラ位置姿勢校正装置によるターゲット検索範囲の設定例を示す図である。
【図５】前記ステレオカメラ位置姿勢校正装置によるステレオカメラ位置姿勢計算のフローチャートである。
【図６】カメラ校正データ取得装置の構成例を示すブロック図である。
【図７】カメラ位置姿勢計算装置の構成例を示すブロック図である。
【図８】本発明の実施の形態２に係る球型ラック校正器の構成例を一部省略して示す図である。
【図９】本発明の実施の形態２に係る球型ラック校正器の他の構成例を一部省略して示す図である。
【図１０】本発明の実施の形態３に係る丸型ポール校正器の構成例を示す図である。
【図１１】本発明の実施の形態３に係る球型ポール校正器の構成例を示す図である。
【図１２】本発明の実施の形態３に係る球型格子校正器の構成例を示す図である。
【図１３】カメラ位置姿勢データの計算方法を説明するための図である。
【図１４】カメラ位置姿勢データの計算方法を説明するための図である。
【符号の説明】
１ 板
２ 丸
３ 丸型ターゲット
４ ラック
４ａ，４ｂ，４ｃ 棒
５ 丸型ラック校正器
７ 設置台
１０ ステレオカメラ位置姿勢校正装置
１０Ａ カメラ校正データ取得装置
１０Ｂ カメラ位置姿勢計算装置
１１ 画像入力部
１２ データ入力部
１３ データ計算部
１４，１４Ａ，１４Ｂ メモリ部
１５Ｌ，１５Ｒ ステレオカメラ
１６ 設置位置データ入力部
１７ 設計データ入力部
１８ カメラ基礎データ入力部
１９ カメラ設置位置データ入力部
２０ カメラ設置姿勢データ入力部
２１ ターゲット三次元位置計算部
２２ ターゲット画像上位置計算部
２３ ターゲット探索範囲設定部
２４ ターゲット中心位置計算部
２５ カメラ位置姿勢計算部
２６ ターゲット探索範囲
２７ データ送信部
２８ データ受信部
３１ 球型ラック校正器
３３ 球型ターゲット
４１ 丸型ポール校正器
４２ 棒
４３，４４ 設置台
６１ 球型格子校正器
６２ 櫓
６２ａ 棒[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to three-dimensional measurement of a measurement target object using stereo images, and more particularly to a calibrator and a stereo camera position and orientation calibration device used for position and orientation calibration of a stereo camera that captures stereo images.
[0002]
[Prior art]
When performing three-dimensional position measurement of a measurement target object by stereo vision based on a stereo image, the positions and orientations of two cameras (stereo cameras) for capturing a stereo image of the measurement target object are accurately known. There must be.
[0003]
However, when actually installing a stereo camera, even if the position and orientation of the camera are known as the design values of the device, there is usually a slight deviation in the position and orientation of the camera during installation. It is. In particular, regarding the deviation of the angle (posture) of the camera, even if the deviation is small in the vicinity of the camera, the deviation is large at the position of the measurement target object far from the camera. In such a situation, a method of accurately obtaining the position and orientation of the stereo camera when capturing a stereo image includes a method of mechanically installing the camera with high accuracy and a method of obtaining the position and orientation of the camera by image processing. is there.
[0004]
In the former method of mechanically installing a camera, a moving mechanism for moving the camera to a camera base on which the camera is installed, a rotating mechanism for directing the camera to an object to be measured, and a camera for each camera are further provided. By using a special device having a function of measuring the position and the angle, the position and orientation of the camera can be accurately obtained.
[0005]
In the latter method of obtaining the position and orientation of the camera by image processing, after installing a stereo camera, a calibration target in which a plurality of round bars with different heights are set up on a plate called a calibration table was installed in front of the stereo camera. After that, a stereo image of the calibration table is taken with a stereo camera, and the position and orientation of the camera are calculated from the relationship between the actual three-dimensional position of the tip of the round bar and the position on the image. Can be accurately obtained (see Patent Document 1).
[0006]
[Patent Document 1]
JP-A-10-62145
[0007]
[Problems to be solved by the invention]
However, the former method of mechanically installing a camera with high accuracy can obtain the position and orientation of the camera by adjusting the camera base and installing the camera, but requires a mechanism for moving and rotating the camera. Therefore, it cannot be applied to a case where a camera is installed in a device that does not have this function. For applications where the position and orientation of the camera is changed each time measurement is performed, such as surveying, it is advantageous to have a mechanism to move and rotate the camera. In applications that do not change the position and orientation of the camera once it is installed, such as a fixed camera, there is no need to have a mechanism to move and rotate the camera, which increases costs.
[0008]
In the latter method of obtaining the position and orientation of the camera by image processing, since the calibration table is used, the calibration table is set up on a horizontal place such as a work table from the structure, and the camera looks down the calibration table from above vertically downward. In such a case, it is easy to apply, but when the camera is oriented in the horizontal direction as in the case of monitoring the front of a vehicle, it is necessary to set up a calibration table, and it is not easy to install the calibration table. Applications where the camera is installed horizontally are also used for measurements in factories.Although slightly obliquely from above, as a method of installing a surveillance camera installed on a building, the gaze is directed near the horizontal direction. There are many cases where cameras are installed in
[0009]
In addition, in the method using the calibration table, since how to stand the round bar on the plate is left to the discretion of the operator, there are various arrangements of the round bar, and there are places where the calibration table is installed. Has the advantage of being able to flexibly cope with the environmental conditions described above, but on the other hand, since the position of the tip of the round bar on the calibration table differs each time calibration is performed, the position data of the tip of the round bar must be changed each time calibration is performed. There is complication that it does not become.
[0010]
Further, in the method using the calibration table, since the position of the round portion of the round bar tip on the image is obtained by correlation of the images, the position of the round bar tip can be automatically detected on the image. However, this is limited to the case where the camera looks down from the vicinity of the calibration table in front of the calibration table at an inclination angle close to the vertical, and if the camera inclination is large, the circular shape on the image will be distorted, so the correlation that actually assumes a circular shape It becomes difficult to detect the tip of the round bar by calculation.
[0011]
Therefore, in view of the above circumstances, the present invention is to reliably and easily obtain the position and orientation of a stereo camera for performing three-dimensional measurement of a measurement target object based on a stereo image by image processing regardless of the direction of the stereo camera. It is an object of the present invention to provide a calibrator and a stereo camera position and orientation calibrating device that can perform the above.
[0012]
[Means for Solving the Problems]
A calibrator according to a first aspect of the present invention for solving the above-mentioned problems is a calibrator used for position and orientation calibration of a stereo camera, wherein a plurality of round targets each having a circle drawn on a plate are fixed to a rack assembled with bars. When calibrating the position and orientation of the stereo camera, with the circle of the round target oriented in the horizontal direction, directly or through an installation table, a stereo image captured by the stereo camera is used to measure the object to be measured. It is a round rack calibrator installed at a predetermined position in a place where three-dimensional measurement is performed.
[0013]
A calibrator according to a second aspect of the present invention is a calibrator used for calibrating the position and orientation of a stereo camera, wherein a plurality of spherical targets are fixed to a rack assembled with rods, and the position and orientation of the stereo camera are adjusted. When performing the calibration, directly or through a mounting table, characterized in that it is a spherical rack calibrator that is installed at a predetermined position of a place where three-dimensional measurement of the measurement target object is performed by a stereo image captured by the stereo camera. I do.
[0014]
Further, the calibrator according to the third invention is a calibrator used for position and orientation calibration of a stereo camera, wherein a plurality of round targets each having a circle drawn on a plate are fixed to one rod, When calibrating the position and orientation of the stereo camera, in a state where the circle of the round target is oriented in the horizontal direction, directly or through an installation table, three-dimensional measurement of the measurement target object is performed by a stereo image captured by the stereo camera. It is characterized in that it is a round pole calibrator installed at a predetermined position of the place where the operation is performed.
[0015]
A calibrator according to a fourth aspect of the present invention is a calibrator for use in calibrating the position and orientation of a stereo camera, wherein a plurality of spherical targets are fixed to one rod, and the position and orientation of the stereo camera are calibrated. When performing, directly or through the installation table, it is a spherical pole calibrator that is installed at a predetermined position of the place where the three-dimensional measurement of the measurement target object is performed by a stereo image captured by the stereo camera .
[0016]
According to a fifth aspect of the present invention, in the calibrator according to the second or fourth aspect, the spherical target is fixed to the rod in a skewered manner.
[0017]
The calibrator according to a sixth aspect is the calibrator according to the second or fourth aspect, wherein the spherical target is fixed to the rod by sticking the spherical target on the rod, so that the entire spherical target is obtained from the stereo camera. It is characterized by being exposed to those who can see it.
[0018]
A calibrator according to a seventh aspect of the present invention is a calibrator used for calibrating the position and orientation of a stereo camera, wherein a spherical target is fixed to each grid point of a turret formed by combining rods to form a three-dimensional grid. When the position and orientation calibration of the stereo camera is performed, directly or through a mounting table, a spherical grid installed at a predetermined position of a place where a three-dimensional measurement of an object to be measured is performed by a stereo image captured by the stereo camera. It is characterized by being a calibrator.
[0019]
Further, a stereo camera position and orientation calibrating device according to an eighth aspect of the present invention includes the calibrator according to any one of the first to seventh aspects,
Image input means for inputting a stereo image of the round target or the spherical target captured by the stereo camera,
Installation position data of the calibrator, or installation position data input means for inputting the installation position data of the calibrator and the installation table,
Design data input means for inputting the design data of the calibrator,
Camera basic data input means for inputting basic data of the stereo camera,
Camera installation position data input means for inputting camera installation position data of the stereo camera,
Camera installation attitude data input means for inputting the camera installation attitude data of the stereo camera,
Based on the installation position data and the design data, target three-dimensional position calculation means for calculating target three-dimensional position data is a three-dimensional position of the round target or the spherical target,
Based on the target three-dimensional position data, the camera basic data, the camera installation position data, and the camera installation posture data, a position on the target image that is the position of the round target or the spherical target on the stereo image. Means for calculating position on the target image for calculating data,
Target search for setting target search range data that is a range for searching for the round target or the spherical target on the stereo image based on the position data on the target image and the preset allowable value data of the search range. Range setting means;
In the target search range, by performing image processing on the stereo image, target center position calculation means for obtaining target center position data that is the center position of the round part of the round target or the spherical target,
A camera that calculates camera position and orientation data that is the position and orientation of the stereo camera based on the camera basic data, the camera installation position data, the camera installation posture data, the target three-dimensional position data, and the target center position data. Position and orientation calculation means,
The installation position data, design data, camera basic data, camera installation position data, camera installation attitude data, the target three-dimensional position data, the target image position data, the target search range data, the target center position data, and the camera Storage means for storing position and orientation data.
[0020]
The stereo camera position and orientation calibration apparatus according to a ninth invention is the stereo camera position and orientation calibration apparatus according to the eighth invention, wherein the target center position calculation means performs a binarization process within the target search range. By extracting the round portion or the spherical target portion of the round target on the stereo image, and further calculating the center of gravity of the round portion or the spherical target portion of the round target on the stereo image, Target center position data which is a center position of the round portion of the round target or the center of the spherical target on the stereo image is obtained.
[0021]
The stereo camera position and orientation calibration apparatus according to a tenth aspect of the present invention is the stereo camera position and orientation calibration apparatus according to the eighth aspect, wherein the target center position calculation means extracts the spherical target by extracting edges in the target search range. A contour line on the stereo image is extracted, the contour line is approximated by a circle, and the center position of the approximated circle is set as target center position data which is the center position of the spherical target.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0023]
<Embodiment 1>
FIG. 1 is a diagram showing a configuration example of a round target of the round rack calibrator according to the first embodiment of the present invention, FIG. 2 is a diagram showing a configuration example of the round rack calibrator, and FIG. FIG. 4 is a block diagram showing a configuration example of the stereo camera position and orientation calibration apparatus according to Embodiment 1, FIG. 4 is a diagram showing an example of setting a target search range by the stereo camera position and orientation calibration apparatus, and FIG. 6 is a flowchart of a stereo camera position and orientation calculation by the device. FIGS. 6 and 7 are block diagrams showing a configuration example in which the stereo camera position and orientation calibration device is divided into a camera calibration data acquisition device and a camera position and orientation calculation device.
[0024]
As a target indicating a point (reference point) necessary for calculating the position and orientation of the stereo camera, a round target 3 having a configuration in which a circle 2 is drawn in the center of a rectangular plate 1 as shown in FIG. 1 is used.
[0025]
Then, as shown in FIG. 2, calibration is performed by fixing a plurality of round targets 3 to a rack-shaped structure (hereinafter referred to as a rack) 4 assembled by a plurality of rods 4a, 4b, 4c. (Hereinafter referred to as a round rack calibrator) 5. More specifically, in the illustrated example, a plurality of (three in the illustrated example) horizontal rods 4b are fixed to one horizontal bar 4c in an orthogonal manner, and a plurality of (in the illustrated example) are disposed at both ends of these bars 4b. The rack 4 is formed by fixing six (6) vertically extending rods 4c, and a plurality of (four in the illustrated example) round targets 3 are fixed to each of the rods 4c constituting the rack 4. , A round rack calibrator 5.
[0026]
In addition, an installation table 7 for installing the round rack calibrator 5 is prepared. The mounting table 7 may be of an appropriate shape such as a stand-shaped one as shown in the figure or a tripod-shaped one (see FIG. 11).
[0027]
When calibrating the position and orientation of a stereo camera, the installation base is placed at a predetermined position (predetermined position on the road surface, floor surface, etc.) where the three-dimensional measurement of the object to be measured is performed using stereo images taken by the stereo camera, such as outdoors or in a factory. 7, and the round rack calibrator 5 is attached to a predetermined position of the installation table 7. At this time, the round rack calibrator 5 turns the circle 2 of each round target 3 in the horizontal direction.
[0028]
As shown in FIG. 3, the stereo camera position and orientation correction device 10 includes an image input unit 11 for inputting a stereo image, a data input unit 12 for inputting various data, and a data calculation unit 13 for calculating various data. And a memory section 14 for storing various data.
[0029]
The two CCD cameras 15R and 15L, which are stereo cameras, are located at predetermined positions (photographing positions) where a three-dimensional measurement image of a measurement target object is to be taken with stereo images photographed by the stereo cameras 15R and 15L, such as outdoors or in a factory. It is installed in a predetermined posture. At this time, the directions (postures) of the cameras 15R and 15L may be directed in a horizontal direction, in a direction looking down from obliquely above, or in a direction looking up from obliquely below.
[0030]
The image input unit 11 as an image input unit converts a stereo image (see FIG. 5) of the round target 3 (circle 2) photographed by each of the cameras 15R and 15L installed in this way from the cameras 15R and 15L. Input and output to the memory unit 14.
[0031]
The data input unit 12 includes an installation position data input unit 16 as an installation position data input unit, a design data input unit 17 as a design data input unit, a camera basic data input unit 18 as a camera basic data input unit, A camera installation position data input unit 19 as a camera installation position data input output stage and a camera installation posture data input unit 20 as camera installation posture data input means are provided.
[0032]
The installation position data input unit 16 inputs the installation position data of the installation table 7 and the installation position data of the round rack calibrator 5 and outputs them to the memory unit 14. The design data input unit 17 inputs design data of the round rack calibrator 5 (dimension data of the rack 4 and fixed position data of each round target 3) and outputs them to the memory unit 14. In the camera basic data 18, camera basic data such as the CCD size and the lens focal length of the cameras 15 R and 15 L are input and output to the memory unit 14. The camera installation position data input unit 19 inputs the installation position data of the cameras 15R and 15L installed at the predetermined positions and outputs the data to the memory unit 14. The camera installation attitude data input unit 20 inputs the installation attitude data of the cameras 15R and 15L installed at the predetermined position in the predetermined attitude and outputs the data to the memory unit 14.
[0033]
The input of the various data to the input units 16, 17, 18, 19, and 20 is performed, for example, by an operator operating a keyboard or the like.
[0034]
In the memory unit 14 as storage means, the installation position data, the design data, the camera basic data, the camera installation position data, and the camera installation posture data output from the input units 16, 17, 18, 19, and 20 are stored. Is input and stored.
[0035]
The data calculator 13 includes a target three-dimensional position calculator 21 as a target three-dimensional position calculator, a target image position calculator 22 as a target image position calculator, and a target search range setting unit. A target search range setting unit 23, a target center position calculation unit 24 as a target center position calculation unit, and a camera position / posture calculation unit 25 as a camera position / posture calculation unit are provided.
[0036]
The target three-dimensional position calculation unit 21 calculates a three-dimensional position (target three-dimensional position data) of the round target 3 fixed to the rack 4 based on the installation data and the design data stored in the memory unit 14. Then, the target three-dimensional position data is output to the memory unit 14. The memory unit 14 stores the target three-dimensional position data.
[0037]
In the target image position calculation unit 22, based on the target three-dimensional position data, the camera basic data, the camera installation position data, and the camera position and orientation data stored in the memory unit 14, a circle on a stereo image is displayed. The position of the pattern target 3 (position data on the target image) is calculated, and the position data on the target image is output to the memory unit 14. The memory unit 14 also stores the position data on the target image.
[0038]
The target search range setting unit 23 uses FIG. 5 based on the target image position data stored in the memory unit 14 and the search range allowable value data set in advance and stored in the memory unit 14. A range (target search range) 26 for searching for the circular target 3 (circle 2) on a stereo image as shown in the example, that is, on the left image captured by the camera 15L and the right image captured by the camera 15R. Is set, and the data in the target search range is output to the memory unit 14. The memory unit 14 also stores the data of the target search range.
[0039]
The target center position calculation unit 24 performs a binarization process as an image process on the stereo image stored in the memory unit 14 within the target search range stored in the memory unit 14, thereby performing the stereo processing. By extracting the two round portions of the round target 3 on the image and calculating the center of gravity of the two round portions of the round target on the stereo image, the center position of the two round portions on the stereo image is obtained. (Target center position data) is obtained, and the target center position data is output to the memory unit 14. The memory unit 14 also stores the target center position data.
[0040]
Then, the camera position / posture calculation unit 25 calculates the camera basic data, the camera installation position data, the camera installation posture data, the target three-dimensional position data, and the target center position data stored in the memory unit 14. , And calculates the position and orientation (camera position and orientation data) of the stereo cameras 15R and 15L, and outputs the camera position and orientation data to the memory unit 14. The memory unit 14 also stores the camera position and orientation data. A specific calculation method of the camera position / posture data will be described later.
[0041]
Next, the procedure of calculating the position and orientation of the stereo cameras 15R and 15L by the stereo camera position and orientation calibration device 10 will be described with reference to the flowchart of FIG.
[0042]
As shown in FIG. 5, first, the operator installs the setting table 7 at a predetermined position in a place where three-dimensional measurement of an object to be measured is performed using stereo images captured by the stereo cameras 15R and 15L (step S1). By attaching the round rack calibrator 5 to a predetermined position of the installation table 7, the round rack calibrator 5 is installed (step S2). After installing the round rack calibrator 5, the operator operates the stereo cameras 15R and 15L, takes a stereo image of the round rack calibrator 5 with the stereo cameras 15R and 15L, and adds a round shape to the stereo image. It is confirmed whether or not the image of the rack calibrator 5 is present on a monitor (not shown) (step S3). As a result, if the image of the round rack calibrator 5 is not included in the stereo image (in the case of ON), after the mounting table 7 is installed again and the round rack calibrator 5 is installed again, The stereo cameras 15R and 15L take a stereo image of the round rack calibrator 5 and confirm again on the monitor whether or not an image of the round rack calibrator 5 is included in the stereo images (step S1). , S2, S3).
[0043]
If it is confirmed that the image of the round rack calibrator 5 is included in the stereo image (OK), the stereo image is stored in the stereo cameras 15R and 15L (step S4). At this time, the worker records the installation position data of the installation table 7 and the installation position data of the round rack calibrator 5 (step S5).
[0044]
Next, the stereo images stored in the stereo cameras 15R and 15L are read from the stereo cameras 15R and 15L by the image input unit 11 (step S6) and stored in the memory unit 14. Subsequently, the installation position data of the installation table 7, the installation position data of the round rack calibrator 5, the design data of the round rack calibrator 5, the camera basic data of the stereo cameras 15R and 15L, and the camera installation of the stereo cameras 15R and 15L. The position data and the camera installation posture data of the stereo cameras 15R and 15L are converted into the installation position data input unit 16, the design data input unit 17, the camera basic data input unit 18, the camera installation position data input unit 19, and the camera installation posture. Based on the data 20, they are respectively input (steps S7, S8, S9, S10, S11) and stored in the memory unit 14.
[0045]
Thereafter, the target three-dimensional position calculation unit 21 calculates target three-dimensional position data based on the installation position data and the design data (step S12). Based on the camera basic data, the camera installation position data, and the camera installation posture data, position data on the target image is calculated (step S13). The target search range setting unit 23 sets target search range data based on the position data on the target image and the permissible value data (step S14), and the target center position calculation unit 24 calculates the stereo image and the target. Target center position data is calculated based on the search range data (step S15). Then, the camera position / posture calculation unit 25 calculates camera position / posture data based on the camera basic data, the camera installation position data, the camera installation posture data, the target three-dimensional position data, and the target center position data ( Step S16).
[0046]
Each component of the stereo camera position and orientation calibration device 10 shown in FIG. 3 may be provided integrally or may be divided as appropriate. As an example of division of the stereo camera position / posture calibration device 10, for example, a camera calibration data acquisition device 10A of FIG. 6 mainly having a function of acquiring a stereo image and installation position data of the round target 3, and a camera position / posture mainly Can be divided into the camera position and orientation calculation device 10B of FIG.
[0047]
As shown in FIG. 6, the camera calibration data acquisition device 10A includes an image input unit 11, an installation position data input unit 16 of the data input units, a memory unit 14A, and a data transmission unit 27. The stereo image input by the image input unit 11 and the installation position data input by the installation position data input unit 16 are stored in the memory unit 14. The data transmission unit 27 transmits the obtained stereo image and the data calculation unit to the camera position and orientation calculation device 10B.
[0048]
As shown in FIG. 7, the camera position and orientation calculation device 10B includes a design data input unit 17, a camera basic data input unit 18, a camera installation position data input unit 19, and a camera installation position data input unit 20 among the data input units. A target three-dimensional position calculation unit 21, a target image position calculation unit 22, a target search range setting unit 23, a target center position calculation unit 24, a camera position / posture calculation unit 25 of the data calculation unit, a memory unit 14B, and data reception. And a portion 28. The data receiving unit 28 receives the stereo image and the installation position data transmitted from the data transmission unit 27 of the camera calibration data acquisition device 10A, and outputs and stores the data to the memory unit 10B. In the memory unit 10B, the design data input by the design data input unit 17, the camera basic data input by the camera basic data input unit 18, the camera installation position data and the camera installation posture data input by the camera installation position data input unit 19 The camera installation posture data input by the input unit 20, the target three-dimensional position data calculated by the target three-dimensional position calculation unit 21, the target image position data calculated by the target image position calculation unit 22, and the target search range setting unit 23 The set target search range data, the target center position data calculated by the target center position calculation unit 24, and the camera position / posture data calculated by the camera position / posture calculation unit 25 are also stored.
[0049]
As described above, according to the first embodiment, the round rack calibrator 5 calculates camera position and orientation data based on stereo images captured by the stereo cameras 15R and 15L. As described above, there is no need to precisely install the stereo cameras 15R and 15L by the moving mechanism and the rotating mechanism, and it is not necessary to equip the stereo cameras 15R and 15L with devices such as the moving mechanism and the rotating mechanism.
[0050]
In addition, the round rack calibrator 5 of the first embodiment uses the arrow C when the stereo cameras 15R and 15L face horizontally as shown by the arrow A shown in FIG. It is possible to cope with a wide range of camera installation states such as when looking up from obliquely below. Furthermore, since the shape and target position of the round rack calibrator 5 are determined at the time of designing the round rack calibrator 5, the target arrangement cannot be freely selected, but the target arrangement is fixed. The target position on the rack 4 can be obtained by calculation. In practice, if the installation position of the installation table 7 and the installation position of the round rack calibrator 5 are known, these installation position data and the round rack calibrator 5 Together with the design data, the three-dimensional positions of all the round targets 3 (circle 2) can be automatically obtained by calculation.
[0051]
In the first embodiment, the stereo cameras 15R and 15L are not installed near the front of the round rack calibrator 5 (for example, they are installed diagonally above or below the round rack calibrator 5). Therefore, even if the image of the circular portion 2 of the round target 3 is distorted in an elliptical shape, the center position of the circular portion 2 is determined by the binarization processing and the center of gravity calculation. Position data can be obtained. Further, once a stereo image and various data are input, a series of processes from subsequent detection of the round target 3 (circle 2) in the stereo image to calculation of the position and orientation data of the stereo cameras 15R and 15L are automatically performed. This can be performed by a calculation process, and the burden on the operator can be reduced.
[0052]
<Embodiment 2>
FIG. 8 is a diagram illustrating a configuration example of a spherical rack calibrator according to a second embodiment of the present invention with a part thereof omitted. FIG. 9 is another configuration of the spherical rack calibrator according to the second embodiment of the present invention. It is a figure which abbreviates an example and shows.
[0053]
As shown in FIGS. 8 and 9, the spherical rack calibrator 31 of the second embodiment uses a spherical spherical target 33 instead of the round target 3 of the first embodiment. 33 are fixed to the rack 4. Although the illustration is partially omitted in FIGS. 8 and 9, the rack 4 has the same configuration as the rack 4 shown in FIG. 2, and each of the vertical rods 4c constituting the rack 4 has a plurality ( In this case, four round targets 33 are fixed to form the round rack calibrator 31.
[0054]
As a method of fixing the round target 33 to the rack 4, the round target 33 is skewingly fixed to a rod 4 c constituting the rack 4 as shown in FIG. 8, or the rack 4 is fixed as shown in FIG. The spherical target 33 can be seen from the stereo cameras 15R and 15L by fixing the spherical target 33 to the constituent rod 4c by using a fixing means such as bonding or screwing. There is a type in which the rod 4c is exposed on the right side in the figure).
[0055]
The configuration is the same as that of the first embodiment except that the calibrator is changed from the round rack calibrator 5 to the spherical rack calibrator 31 (see FIGS. 3, 6, and 7).
[0056]
That is, the image input unit 11 inputs stereo images of the spherical target 33 captured by the stereo cameras 15R and 15L from the cameras 15R and 15L, and outputs the stereo images to the memory unit 14 (14A). The installation position data input unit 16 inputs the installation position data of the installation table 7 and the installation position data of the spherical rack calibrator 31, and outputs them to the memory unit 14 (14A). The design data input unit 17 inputs the design data of the spherical rack calibrator (such as the dimension data of the rack 4 and the fixed position data of each spherical target 33) and outputs them to the memory unit 14 (14B). In the camera basic data 18, camera basic data such as the CCD size and the lens focal length of the cameras 15R and 15L are input and output to the memory unit 14 (14B). The camera installation position data input unit 19 inputs the installation position data of the cameras 15R and 15L installed at the predetermined positions and outputs the data to the memory unit 14 (14B). The camera installation posture data input unit 20 inputs the installation posture data of the cameras 15R and 15L installed at the predetermined position in the predetermined posture and outputs the data to the memory unit 14 (14B).
[0057]
In the memory unit 14 (14A, 14B), the installation position data, the design data, the camera basic data, the camera installation position data, and the camera installation posture output from the input units 16, 17, 18, 19, and 20 are provided. Enter and store the data.
[0058]
The target three-dimensional position calculating unit 21 determines the three-dimensional position of the spherical target 33 fixed to the rack 4 (target three-dimensional position data) based on the installation data and the design data stored in the memory unit 14 (14B). ), And outputs the target three-dimensional position data to the memory unit 14 (14B). The memory unit 14 (14B) stores the target three-dimensional position data.
[0059]
The target image position calculation unit 22 calculates a stereo image based on the target three-dimensional position data, the camera basic data, the camera installation position data, and the camera position / posture data stored in the memory unit 14 (14B). , The position of the spherical target 33 (position data on the target image) is calculated, and the position data on the target image is output to the memory unit 14 (14B). The memory unit 14 (14B) also stores the position data on the target image.
[0060]
The target search range setting unit 23 stores the position data on the target image stored in the memory unit 14 (14B), the search range allowable value data set in advance and stored in the memory unit 14 (14B). , A range (target search range data) 26 for searching for the spherical target 33 is set on the stereo image, that is, on the left image captured by the camera 15L and on the right image captured by the camera 15R, This target search range data is output to the memory unit 14 (14B). The memory section 14 (14B) also stores the target search range data.
[0061]
The target center position calculation unit 24 performs a binarization process on the stereo image within the target search range stored in the memory unit 14 (14B), thereby obtaining the sphere on the stereo image. The center position (target center position data) of the spherical target 33 part on the stereo image is obtained by extracting the target 33 and calculating the center of gravity on the stereo image. Output to the memory unit 14 (14B). The memory unit 14 (14B) also stores the target center position data.
[0062]
Alternatively, taking advantage of the property of the spherical target 33, which looks circular in any direction, the target center position calculating unit 24 uses a method using a circle extraction instead of the above-described method using the binarization processing and the center of gravity calculation. May be used to determine target center position data. That is, the target center position calculation unit 24 first extracts an outline of the spherical target 33 on the stereo image by edge extraction in the target search range. Then, the target center position calculation unit 24 uses the property that the spherical target 33 looks circular in any direction, performs circular approximation of the contour line, and calculates the center position of the approximate circle as a spherical shape. The center position of the target 33 (target center position data).
[0063]
In the camera position / posture calculation unit 25, based on the camera basic data, the camera installation position data, the camera installation posture data, the target three-dimensional position data, and the target center position data stored in the memory unit 14 (14B). Then, the position and orientation (camera position and orientation data) of the stereo cameras 15R and 15L are calculated, and the camera position and orientation data are output to the memory unit 14 (14B). The memory unit 14 (14B) also stores the camera position and orientation data.
[0064]
The procedure for calculating the position and orientation of the stereo cameras 15R and 15L is the same as in the second embodiment, and a description thereof will be omitted (see FIG. 5).
[0065]
As described above, according to the second embodiment, the spherical rack calibrator 31 is used, and the spherical target 33 of the spherical rack calibrator 31 looks circular in any direction. Even when the stereo cameras 15R and 15L are not installed near the front of the spherical rack calibrator 31 (for example, when they are installed diagonally above or below the spherical rack calibrator 31), a sphere on a stereo image is displayed. The shape of the mold target 33 remains circular without being distorted into an elliptical shape. Therefore, the center position of the spherical target 33 on the stereo image can be obtained with higher accuracy by the binarization process and the calculation of the center of gravity.
[0066]
When the spherical target 33 is fixed to the bar 4c constituting the rack 4 in a skewered manner as shown in FIG. 8, the structure is sturdy and the bar 4c of the rack 4 is Since the spherical targets 33 are attached so as to pass through the central axis, there is little variation in the position of each of the spherical targets 33 when the spherical targets 33 are fixed to the rack 4 (rod 4c).
[0067]
Also, as shown in FIG. 9, the spherical target 33 is fixed by sticking the spherical target 33 to the rod 4c constituting the rack 4 so that the entire spherical target 33 can be seen from the stereo cameras 15R and 15L. When the stereoscopic cameras 15R and 15L are installed on the side where the spherical target 33 is located, a part of the spherical target 33 fixes the spherical target 33 when viewed from the stereo cameras 15R and 15L. Since the entire circular shape of the spherical target 33 can always be obtained on the stereo image without being hidden by the rod 4c of the rack 4 that is in use, image processing (binarization processing, calculation of the center of gravity, or circle extraction described later) When the center position of the spherical target 33 is obtained by the above-described method, there is no missing data, and the target center position data is obtained more accurately. It can be.
[0068]
Further, when the center position (target center position data) of the spherical target 33 is obtained by the method using the circle extraction, since the outline of the spherical target 33 is obtained by edge extraction and circle approximation, it is resistant to background noise and various Since the center position of the spherical target 33 can be accurately obtained even when an unnecessary object enters the stereo image, the present invention can be applied to complicated situations such as outdoors or in a factory.
[0069]
<Embodiment 3>
In the first and second embodiments, the round rack calibrator 5 or the spherical rack calibrator 31 in which the round target 3 or the spherical target 33 is fixed to the rack 4 is used. The position and orientation data of the stereo camera was calculated based on the stereo images captured in step 2. The calibrators used for such calculations are not limited to those using racks, and are shown in FIGS. 10, 11, and 12, for example. Several configurations are possible.
[0070]
FIGS. 10A and 10B show a configuration example of a round pole calibrator according to Embodiment 3 of the present invention, and FIGS. 11A and 11B show Embodiment 3 of the present invention. FIG. 12 is a diagram showing a configuration example of a spherical pole calibrator according to Embodiment 3 of the present invention, and FIG. 12 is a diagram showing a configuration example of a spherical grating calibrator according to Embodiment 3 of the present invention.
[0071]
As shown in FIGS. 10A and 10B, the round pole calibrator 41 fixes a plurality of (three in the illustrated example) round targets 3 to one vertically extending rod (pole) 42. It is made.
[0072]
When this round pole calibrator 41 is installed to calibrate the position and orientation of the stereo camera, for example, a tripod-shaped installation base 43 as shown in FIG. 10A or a stand as shown in FIG. An installation table 44 having a shape is prepared, and the installation table 43 or 44 is placed at a predetermined position in a place where three-dimensional measurement of an object to be measured is performed using a stereo image captured by a stereo camera such as outdoors or in a factory. Then, the round pole calibrator 41 is attached to a predetermined position of the installation table 43 or 44, and the round pole calibrator 41 is photographed by a stereo camera to obtain a stereo image for calibration. At this time, the round pole calibrator 41 turns the circle 2 of each round target 3 in the horizontal direction. In this case, also in this case, the three-dimensional position data of the round target 3 of each round pole calibrator 41 is data of the installation position of the mounting table 43 or 44, and the round pole calibrator 41 is placed on the mounting table 43 or 44. The calculation can be performed based on the data of the installed position and the design data of the round pole calibrator 41 (such as the dimension data of the rod 42 and the fixed position data of each round target 3).
[0073]
The use of this round pole calibrator 41 is the same as that of the first embodiment, except that the calibrator is changed from the round rack calibrator 5 to the round pole calibrator 41 (FIGS. 3, 5, 6 and 7), and the description here is omitted.
[0074]
Further, as shown in FIGS. 11A and 11B, the spherical pole calibrator 51 includes a plurality of spherical targets 33 on one vertically extending rod (pole) 42 (three in the illustrated example). ) It is fixed. Also in this case, the method of fixing the spherical target 33 is the same as that of the second embodiment (see FIGS. 8 and 9), in which the round target 33 is fixed to the rod 42 in a skewered manner, and the ball 42 is fixed to the rod 42. There is a type in which the entirety of the spherical target 33 is exposed so as to be viewed from a stereo camera by fixing the mold target 33 by sticking it.
[0075]
When the spherical pole calibrator 51 is installed to calibrate the position and orientation of the stereo camera, for example, a tripod-shaped installation base 43 as shown in FIG. 11A or a stand as shown in FIG. An installation table 44 having a shape is prepared, and the installation table 43 or 44 is placed at a predetermined position in a place where three-dimensional measurement of an object to be measured is performed using a stereo image captured by a stereo camera such as outdoors or in a factory. Then, the spherical pole calibrator 51 is attached to a predetermined position of the installation table 43 or 44, and the spherical pole calibrator 51 is photographed by a stereo camera to acquire a stereo image for calibration. In this case, also in this case, the three-dimensional position data of the spherical target 33 of each round pole calibrator 51 is data of the installation position of the installation table 43 or 44, and the spherical rack calibrator 1 is placed on the installation table 43 or 44. It can be calculated based on the data of the installed position and the design data of the spherical rack calibrator 51 (such as the dimension data of the rod 42 and the fixed position data of the spherical target 33).
[0076]
The use of the spherical pole calibrator 51 is the same as that of the second embodiment except that the calibrator is changed from the spherical rack calibrator 315 to the spherical pole calibrator 51 (FIGS. 3, 5, 6 and 7), and the description here is omitted.
[0077]
Further, as shown in FIG. 12, the spherical lattice calibrator 61 is configured such that a plurality of rods 62a are combined to form a three-dimensional (cubic in the example shown) lattice-like three-dimensional lattice, and a spherical lattice is provided at each lattice point of the tower 62. The target 33 is fixed.
[0078]
When the spherical lattice calibrator 61 is installed to calibrate the position and orientation of the stereo camera, for example, a stereo image obtained by photographing the installation stand 44 having a stand shape as shown by a stereo camera outdoors or in a factory is used. And a spherical lattice calibrator 61 is mounted at a predetermined position on the mounting table 44, and the spherical lattice calibrator 61 is photographed with a stereo camera for calibration. To obtain a stereo image of Also in this case, the three-dimensional position data of the spherical target 33 of the spherical rack calibrator 61 is the data of the installation position of the installation base 44 and the data of the position where the spherical lattice calibrator 61 is installed on the installation base 44. , Can be calculated based on the design data of the spherical lattice calibrator 61 (dimension data of the three-dimensional lattice 62, fixed position data of the spherical target 33, etc.).
[0079]
Even when this spherical lattice calibrator 61 is used, it is the same as the second embodiment except that the calibrator is changed from the spherical rack calibrator 31 to the spherical lattice calibrator 61 (FIGS. 3, 5, 5, 6, and 7), and the description thereof is omitted here.
[0080]
According to the third embodiment, in the case where the round pole calibrator 41 is used, a plurality of round pole calibrators 41 can be used and appropriately installed. There is a degree of freedom in the arrangement of the targets.
[0081]
When the spherical rack calibrator 51 is used, in addition to the effects of the round pole calibrator 41 as described above, even if the installation location of the stereo camera is not near the front of the spherical pole calibrator 51. Since the shape of the spherical target 33 on the stereo image does not change while keeping the circular shape, there is an effect that the position of the spherical target 33 on the stereo image can be detected with higher accuracy.
[0082]
In addition, when the spherical lattice calibrator 61 is used, the spherical target 33 can be photographed from any direction except for photographing from a road surface or a floor surface where the spherical lattice calibrator 61 is installed. Compatible with various stereo camera installation situations.
[0083]
By the way, in the above description, the round rack calibrator 5, the spherical rack calibrator 31, the round pole calibrator 41, the spherical pole calibrator 51, and the spherical lattice calibrator 61 are connected via the mounting tables 7, 43, and 44. It is installed on the road surface or floor, but it is not limited to this. Calibration can be performed by integrally forming parts (for example, legs) that can be installed on the road or floor, etc. in the calibrator. The container may be directly installed on a road surface or a floor surface. In this case, the installation position data of the calibrator may be input as the installation position data. In particular, the spherical lattice calibrator 61 of FIG. 12 can be directly installed on a road surface or a floor without using the installation table 44. In this case, the installation position data of the spherical rack calibrator 61 is used as the installation position data. Should be input.
[0084]
Here, a specific calculation method of the camera position and orientation data will be described.
[0085]
As shown in FIG. 13, it is assumed that the camera is rotated by ω around the x axis, φ around the y axis, and χ around the z axis. Here, when the camera is rotated in the order of χ, φ, and ω, the attitude of the camera is expressed as follows.
[0086]
(Equation 1)
Figure 2004271292
[0087]
As shown in FIG. 14, the camera position (X 0 , Y 0 , Z 0 ) And the lens focal length c, the point (X, Y, Z) in the three-dimensional space is a point (X p , Y p , Z p ).
[0088]
(Equation 2)
Figure 2004271292
[0089]
Since the camera position, the point on the CCD, and the point on the three-dimensional space must be on a straight line, the collinear condition is satisfied.
[0090]
[Equation 3]
Figure 2004271292
[0091]
Substituting the above formula into this gives
[0092]
(Equation 4)
Figure 2004271292
[0093]
Up to this point, the consideration has been made in the reference coordinate system. Next, this will be considered in the camera coordinate system. A point on the three-dimensional space in camera coordinates is represented by (x p , Y p , Z p )
[0094]
(Equation 5)
Figure 2004271292
[0095]
Here, since the rotation matrix R is an orthogonal matrix, its inverse matrix is a transposed matrix R t Will be the same as
[0096]
(Equation 6)
Figure 2004271292
[0097]
Camera position (0,0,0) in camera coordinate system, point (x, y, -c) on CCD, point (x p , Y p , Z p ) Is the collinear condition
[0098]
(Equation 7)
Figure 2004271292
[0099]
Substituting the previous expression into this gives
[0100]
(Equation 8)
Figure 2004271292
[0101]
This is an expression in which a point (X, Y, Z) on the three-dimensional space of the object is transferred to a point (x, y) on the CCD, which is a basic expression for measurement. For this basic equation, the camera attitude coefficient a ij And camera position (X 0 , Y 0 , Z 0 ) Is determined by the least squares method.
[0102]
【The invention's effect】
As described above, in accordance with the embodiment of the invention, according to the calibrator of the first invention, a plurality of round targets each having a circle drawn on a plate are fixed to a rack assembled with bars, When calibrating the position and orientation of the stereo camera, three-dimensional measurement of an object to be measured by a stereo image taken by the stereo camera, directly or through an installation table, with the circle of the round target oriented horizontally. This is a round rack calibrator that is installed at a predetermined position in the location where the camera is to be installed, so it must support a wide range of camera installation conditions, such as when the stereo camera faces horizontally, looks down from diagonally above, or looks up from diagonally below. Can be. Further, since the shape and the target position of the round rack calibrator are determined at the time when the round rack calibrator is designed, the arrangement of the target cannot be freely selected. The above target position can be obtained by calculation.In practice, if the installation position of the round rack calibrator or the installation positions of the round rack calibrator and the installation table are known, these installation position data and the round rack The three-dimensional positions of all the round targets (circles) can be automatically obtained by calculation together with the design data of the calibrator.
[0103]
Further, according to the calibrator of the second invention, the spherical target is a spherical rack calibrator in which a plurality of spherical targets are fixed to a rack assembled with rods. Even if a stereo camera is not installed near the front of the spherical rack calibrator, the shape of the spherical target on the stereo image remains circular without distortion to the ellipse because it looks circular . For this reason, the center position of the spherical target on the stereo image can be obtained with higher accuracy by image processing.
[0104]
According to the calibrator of the third aspect of the present invention, there is provided a round pole calibrator in which a plurality of round targets each having a circular shape drawn on a plate are fixed to a single rod. Since it can be installed, there is a greater degree of freedom in arranging targets as compared to a round rack calibrator.
[0105]
Further, according to the calibrator of the fourth aspect, since the spherical pole calibrator is formed by fixing a plurality of spherical targets to one rod, in addition to the effects of the round pole calibrator described above, Therefore, even if the stereo camera is not installed near the front of the spherical pole calibrator, the shape of the spherical target on the stereo image does not change as a circle, so the position of the spherical target on the stereo image can be more accurately determined. There is an effect that detection can be performed well.
[0106]
According to the calibrator of the fifth invention, since the spherical target is fixed to the rod in a skewered manner, it is structurally strong, and the spherical target is passed so that the rod passes through the central axis of the spherical target. Is attached, there is little variation in the position of each of the spherical targets when the spherical targets are fixed to the rod.
[0107]
According to the calibrator of the sixth aspect, the spherical target is fixed by sticking the spherical target on the rod, thereby exposing the entire spherical target to a direction visible from the stereo camera. As long as the stereo camera is installed on the side where the target is located, part of the spherical target will not be hidden by the stick holding the spherical target, and the circle of the spherical target will always be visible on the stereo image. Since the entire shape can be obtained, there is no missing data when the center position of the spherical target is obtained by image processing, and the target center position data can be obtained more accurately.
[0108]
Further, according to the calibrator of the seventh invention, since the spherical lattice calibrator is formed by fixing a spherical target to each lattice point of a tower formed by combining rods into a three-dimensional lattice, the spherical lattice calibration is performed. The spherical target can be photographed from any direction except for photographing from the road surface or the floor surface where the container is installed, and it can cope with various stereo camera installation situations.
[0109]
According to the stereo camera position and orientation calibrating device of the eighth invention, a round rack calibrator, a spherical rack calibrator, a round pole calibrator, a spherical pole calibrator or a spherical grid calibrator is photographed by a stereo camera. Because the camera position and orientation data is calculated based on the stereo images obtained, there is no need to precisely install the stereo camera using a moving mechanism or a rotating mechanism unlike the conventional mechanical method. There is no need to equip devices such as a moving mechanism and a rotating mechanism. Furthermore, once the stereo image and various data have been input, a series of processes from the detection of the round target (circle) or the spherical target in the stereo image to the calculation of the position and orientation data of the stereo camera are automatically performed. This can be performed by a calculation process, and the burden on the operator can be reduced.
[0110]
According to the stereo camera position and orientation calibrating apparatus of the ninth aspect, since the stereo camera is not installed near the front of the round rack calibrator or the round pole calibrator, the image of the round portion of the round target is obtained. Even if is distorted in an elliptical shape, the center position of the round portion is obtained by the binarization processing and the calculation of the center of gravity, so that the center position data of the round portion can be obtained without any problem.
[0111]
Further, according to the stereo camera position / posture calibration apparatus of the tenth aspect, the center position (target center position data) of the spherical target is obtained by the method of circle extraction, that is, the outline of the spherical target is extracted by the edge extraction and the circle. Because it is obtained by approximation, it is resistant to background noise, and even if various unnecessary objects enter the stereo image, the center position of the spherical target can be accurately obtained, so even in complicated situations such as outdoors or in a factory Applicable.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration example of a round target of a round rack calibrator according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a configuration example of the round rack calibrator.
FIG. 3 is a block diagram illustrating a configuration example of a stereo camera position / posture calibration device according to Embodiment 1 of the present invention.
FIG. 4 is a diagram showing an example of setting a target search range by the stereo camera position and orientation calibration device.
FIG. 5 is a flowchart of a stereo camera position / posture calculation by the stereo camera position / posture calibration device.
FIG. 6 is a block diagram illustrating a configuration example of a camera calibration data acquisition device.
FIG. 7 is a block diagram illustrating a configuration example of a camera position and orientation calculation device.
FIG. 8 is a diagram illustrating a configuration example of a spherical rack calibrator according to a second embodiment of the present invention with a part thereof omitted;
FIG. 9 is a diagram partially illustrating another configuration example of a spherical rack calibrator according to a second embodiment of the present invention;
FIG. 10 is a diagram showing a configuration example of a round pole calibrator according to a third embodiment of the present invention.
FIG. 11 is a diagram showing a configuration example of a spherical pole calibrator according to a third embodiment of the present invention.
FIG. 12 is a diagram showing a configuration example of a spherical lattice calibrator according to a third embodiment of the present invention.
FIG. 13 is a diagram illustrating a method for calculating camera position and orientation data.
FIG. 14 is a diagram for explaining a method for calculating camera position and orientation data.
[Explanation of symbols]
1 board
2 circles
3 Round target
4 racks
4a, 4b, 4c rod
5 Round rack calibrator
7 Installation stand
10 Stereo camera position and orientation calibration device
10A Camera calibration data acquisition device
10B Camera position and orientation calculation device
11 Image input section
12 Data input section
13 Data calculation unit
14, 14A, 14B memory section
15L, 15R stereo camera
16 Installation position data input section
17 Design data input section
18 Camera basic data input section
19 Camera installation position data input section
20 Camera installation attitude data input section
21 Target 3D position calculator
22 Target Image Position Calculator
23 Target search range setting section
24 Target center position calculator
25 Camera position and orientation calculator
26 Target search range
27 Data transmission unit
28 Data receiving unit
31 Spherical rack calibrator
33 spherical target
41 Round Pole Calibrator
42 bars
43,44 Installation stand
61 Spherical lattice calibrator
62 Tower
62a rod

Claims (10)

ステレオカメラの位置姿勢校正に使用される校正器であって、板に丸を描いた丸型ターゲットを、棒で組み立てたラックに複数枚固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、前記丸型ターゲットの丸を水平方向に向けた状態で、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される丸型ラック校正器であることを特徴とする校正器。A calibrator used to calibrate the position and orientation of a stereo camera. In a state where the circle of the round target is oriented in the horizontal direction, directly or through an installation table, the target is installed at a predetermined position of a place where three-dimensional measurement of the measurement target object is performed by a stereo image captured by the stereo camera. A calibrator characterized by being a round rack calibrator. ステレオカメラの位置姿勢校正に使用される校正器であって、球型ターゲットを、棒で組み立てたラックに複数個固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される球型ラック校正器であることを特徴とする校正器。A calibrator used for position and orientation calibration of a stereo camera, wherein a plurality of spherical targets are fixed to a rack assembled with rods. A calibrator, wherein the calibrator is a spherical rack calibrator installed at a predetermined position where three-dimensional measurement of an object to be measured is performed using a stereo image captured by the stereo camera. ステレオカメラの位置姿勢校正に使用される校正器であって、板に丸を描いた丸型ターゲットを、一本の棒に複数個固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、前記丸型ターゲットの丸を水平方向に向けた状態で、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される丸型ポール校正器であることを特徴とする校正器。A calibrator used for position and orientation calibration of a stereo camera, wherein a plurality of round targets with a circle drawn on a plate are fixed to a single rod, and when performing position and orientation calibration of the stereo camera, With the circle of the round target oriented in the horizontal direction, directly or through an installation table, a circle installed at a predetermined position of a place where three-dimensional measurement of an object to be measured is performed by a stereo image captured by the stereo camera. A calibrator characterized by being a type pole calibrator. ステレオカメラの位置姿勢校正に使用される校正器であって、球型ターゲットを、一本の棒に複数個固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される球型ポール校正器であることを特徴とする校正器。A calibrator used for position and orientation calibration of a stereo camera, wherein a plurality of spherical targets are fixed to one rod, and when performing the position and orientation calibration of the stereo camera, directly or through a mounting table. And a spherical pole calibrator installed at a predetermined position in a place where the object to be measured is three-dimensionally measured by a stereo image captured by the stereo camera. 請求項２又は４に記載の校正器において、前記球型ターゲットを、前記棒に串刺し状に固定したことを特徴とする校正器。5. The calibrator according to claim 2, wherein the spherical target is fixed to the rod in a skewered manner. 請求項２又は４に記載の校正器において、前記球型ターゲットを、前記棒に貼り付けるようにして固定することにより、前記球型ターゲット全体を前記ステレオカメラから見える方に露出させたことを特徴とする校正器。5. The calibrator according to claim 2, wherein the spherical target is fixed to the rod by sticking the spherical target, so that the entire spherical target is exposed to be viewed from the stereo camera. 6. And calibrator. ステレオカメラの位置姿勢校正に使用される校正器であって、棒を組み合わせて立体の格子状に構成した櫓の各格子点に球型ターゲットを固定してなり、前記ステレオカメラの位置姿勢校正を行うとき、直接又は設置台を介して、前記ステレオカメラで撮影するステレオ画像により計測対象物体の三次元計測を行う場所の所定位置に設置される球型格子校正器であることを特徴とする校正器。A calibrator used for position and orientation calibration of a stereo camera, wherein a spherical target is fixed to each lattice point of a tower formed by combining rods into a three-dimensional lattice, and the position and orientation calibration of the stereo camera is performed. When performing, directly or through the installation table, the calibration is characterized in that it is a spherical lattice calibrator installed at a predetermined position of the place to perform three-dimensional measurement of the measurement target object by a stereo image captured by the stereo camera vessel. 請求項１〜７の何れか１項に記載の校正器と、
前記ステレオカメラで撮影した前記丸型ターゲット又は球型ターゲットのステレオ画像を入力する画像入力手段と、
前記校正器の設置位置データ、又は、前記校正器及び前記設置台の設置位置データを入力する設置位置データ入力手段と、
前記校正器の設計データを入力する設計データ入力手段と、
前記ステレオカメラの基礎データを入力するカメラ基礎データ入力手段と、
前記ステレオカメラのカメラ設置位置データを入力するカメラ設置位置データ入力手段と、
前記ステレオカメラのカメラ設置姿勢データを入力するカメラ設置姿勢データ入力手段と、
前記設置位置データ及び前記設計データに基づいて、前記丸型ターゲット又は前記球型ターゲットの三次元位置であるターゲット三次元位置データを計算するターゲット三次元位置計算手段と、
前記ターゲット三次元位置データ、前記カメラ基礎データ、前記カメラ設置位置データ及び前記カメラ設置姿勢データに基づいて、前記ステレオ画像上での前記丸型ターゲット又は前記球型ターゲットの位置であるターゲット画像上位置データを計算するターゲット画像上位置計算手段と、
前記ターゲット画像上位置データと、予め設定した検索範囲の許容値データとに基づき、前記ステレオ画像上において前記丸型ターゲット又は前記球型ターゲットを探索する範囲であるターゲット探索範囲データを設定するターゲット探索範囲設定手段と、
前記ターゲット探索範囲の中で、前記ステレオ画像を画像処理することにより、前記丸型ターゲットの丸部分又は前記球型ターゲットの中心位置であるターゲット中心位置データを求めるターゲット中心位置計算手段と、
前記カメラ基礎データ、前記カメラ設置位置データ、前記カメラ設置姿勢データ、前記ターゲット三次元位置データ及び前記ターゲット中心位置データに基づいて、前記ステレオカメラの位置と姿勢であるカメラ位置姿勢データを計算するカメラ位置姿勢計算手段と、
前記設置位置データ、設計データ、カメラ基礎データ、カメラ設置位置データ、カメラ設置姿勢データ、前記ターゲット三次元位置データ、前記ターゲット画像上位置データ、前記ターゲット探索範囲データ、前記ターゲット中心位置データ及び前記カメラ位置姿勢データを記憶しておく記憶手段とを備えたことを特徴とするステレオカメラ位置姿勢校正装置。A calibrator according to any one of claims 1 to 7,
Image input means for inputting a stereo image of the round target or the spherical target captured by the stereo camera,
Installation position data of the calibrator, or installation position data input means for inputting the installation position data of the calibrator and the installation table,
Design data input means for inputting the design data of the calibrator,
Camera basic data input means for inputting basic data of the stereo camera,
Camera installation position data input means for inputting camera installation position data of the stereo camera,
Camera installation attitude data input means for inputting the camera installation attitude data of the stereo camera,
Based on the installation position data and the design data, target three-dimensional position calculation means for calculating target three-dimensional position data is a three-dimensional position of the round target or the spherical target,
Based on the target three-dimensional position data, the camera basic data, the camera installation position data, and the camera installation posture data, a position on the target image that is the position of the round target or the spherical target on the stereo image. Means for calculating position on the target image for calculating data,
Target search for setting target search range data that is a range for searching for the round target or the spherical target on the stereo image based on the position data on the target image and the preset allowable value data of the search range. Range setting means;
In the target search range, by performing image processing on the stereo image, target center position calculation means for obtaining target center position data that is the center position of the round part of the round target or the spherical target,
A camera that calculates camera position and orientation data that is the position and orientation of the stereo camera based on the camera basic data, the camera installation position data, the camera installation posture data, the target three-dimensional position data, and the target center position data. Position and orientation calculation means,
The installation position data, design data, camera basic data, camera installation position data, camera installation attitude data, the target three-dimensional position data, the target image position data, the target search range data, the target center position data, and the camera A stereo camera position / posture calibration device, comprising: storage means for storing position / posture data. 請求項８に記載のステレオカメラ位置姿勢校正装置において、前記ターゲット中心位置計算手段では、前記ターゲット探索範囲の中で、二値化処理を行うことにより前記ステレオ画像上での前記丸型ターゲットの丸部分又は前記球型ターゲット部分を抽出し、更に前記ステレオ画像上の前記丸型ターゲットの丸部分又は前記球型ターゲット部分の重心計算をすることによって、前記ステレオ画像上における前記丸型ターゲットの丸部分又は前記球型ターゲットの中心位置であるターゲット中心位置データを求めることを特徴とするステレオカメラ位置姿勢校正装置。9. The stereo camera position / posture calibration device according to claim 8, wherein the target center position calculation means performs binarization processing within the target search range to thereby round the round target on the stereo image. By extracting a portion or the spherical target portion and further calculating the center of gravity of the round target or the spherical target portion on the stereo image, the round portion of the round target on the stereo image Alternatively, a stereo camera position / posture calibration apparatus for calculating target center position data which is the center position of the spherical target. 請求項８に記載のステレオカメラ位置姿勢校正装置において、前記ターゲット中心位置計算手段では、前記ターゲット探索範囲の中で、エッジ抽出により前記球型ターゲットの前記ステレオ画像上での輪郭線を抽出し、この輪郭線の円近似を行い、この近似した円の中心位置を前記球型ターゲットの中心位置であるターゲット中心位置データとすることを特徴とするステレオカメラ位置姿勢校正装置。9. The stereo camera position and orientation calibration apparatus according to claim 8, wherein the target center position calculating unit extracts a contour line on the stereo image of the spherical target by edge extraction in the target search range, A stereo camera position / posture calibration apparatus, wherein the contour is approximated to a circle, and the center position of the approximated circle is used as target center position data which is the center position of the spherical target.
JP2003060824A 2003-03-07 2003-03-07 Calibrator and stereo camera position/attitude calibration device Pending JP2004271292A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003060824A JP2004271292A (en) 2003-03-07 2003-03-07 Calibrator and stereo camera position/attitude calibration device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003060824A JP2004271292A (en) 2003-03-07 2003-03-07 Calibrator and stereo camera position/attitude calibration device

Publications (1)

Publication Number Publication Date
JP2004271292A true JP2004271292A (en) 2004-09-30

Family

ID=33123212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003060824A Pending JP2004271292A (en) 2003-03-07 2003-03-07 Calibrator and stereo camera position/attitude calibration device

Country Status (1)

Country Link
JP (1) JP2004271292A (en)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006138735A (en) * 2004-11-12 2006-06-01 Central Res Inst Of Electric Power Ind Method, device and program of detecting camera angle change, and method of image processing, facility monitoring, surveying and setting stereoscopic camera using same
JP2006250889A (en) * 2005-03-14 2006-09-21 Omron Corp Calibration method for 3-dimensional measurement, and 3-dimensional measurement system using the same
JP2007046952A (en) * 2005-08-08 2007-02-22 West Japan Railway Co Measuring ruler, measuring system, measuring method, method for measuring tunnel cross section, and method for measuring separation between platform and rail
JP2008089362A (en) * 2006-09-29 2008-04-17 Taisei Kanri Kaihatsu Kk Pointer for camera position analysis used for photogrammetry
JP2008131176A (en) * 2006-11-17 2008-06-05 Aisin Seiki Co Ltd Camera calibration device
JP2009243984A (en) * 2008-03-29 2009-10-22 Tokyo Electric Power Co Inc:The Calibration data generation method, calibration data generation device, and computer program
JP5070435B1 (en) * 2011-07-01 2012-11-14 株式会社ベイビッグ Three-dimensional relative coordinate measuring apparatus and method
JP2013015519A (en) * 2012-06-26 2013-01-24 Baybig Co Ltd Three-dimensional relative coordinate measurement instrument and method thereof
JP2013160762A (en) * 2012-02-03 2013-08-19 Boeing Co:The Apparatus and method for calibrating laser projection system
CN104567728A (en) * 2014-12-24 2015-04-29 天津大学 Laser vision profile measurement system, measurement method and three-dimensional target
CN108592953A (en) * 2018-06-29 2018-09-28 易思维（杭州）科技有限公司 Stereo calibration target and the method for being applied to positioning measured object in vision measurement
WO2019017328A1 (en) * 2017-07-21 2019-01-24 日本電気株式会社 Correction device and correction method
CN114812446A (en) * 2022-05-31 2022-07-29 南京航空航天大学 Aircraft horizontal measurement tool calibration method based on photogrammetry technology
CN116912333A (en) * 2023-09-12 2023-10-20 安徽炬视科技有限公司 Camera attitude self-calibration method based on operation fence calibration rod
WO2024182547A1 (en) * 2023-02-28 2024-09-06 Bedrock Technologies, Llc Systems and methods to facilitate crane operator lift deviation assessment and reaction during load lift operations

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006138735A (en) * 2004-11-12 2006-06-01 Central Res Inst Of Electric Power Ind Method, device and program of detecting camera angle change, and method of image processing, facility monitoring, surveying and setting stereoscopic camera using same
JP2006250889A (en) * 2005-03-14 2006-09-21 Omron Corp Calibration method for 3-dimensional measurement, and 3-dimensional measurement system using the same
WO2006098258A1 (en) * 2005-03-14 2006-09-21 Omron Corporation Calibration method for 3-dimensional measurement and 3-dimensional measurement system using the method
JP4604774B2 (en) * 2005-03-14 2011-01-05 オムロン株式会社 Calibration method for 3D measurement
JP2007046952A (en) * 2005-08-08 2007-02-22 West Japan Railway Co Measuring ruler, measuring system, measuring method, method for measuring tunnel cross section, and method for measuring separation between platform and rail
JP2008089362A (en) * 2006-09-29 2008-04-17 Taisei Kanri Kaihatsu Kk Pointer for camera position analysis used for photogrammetry
JP2008131176A (en) * 2006-11-17 2008-06-05 Aisin Seiki Co Ltd Camera calibration device
JP2009243984A (en) * 2008-03-29 2009-10-22 Tokyo Electric Power Co Inc:The Calibration data generation method, calibration data generation device, and computer program
JP5070435B1 (en) * 2011-07-01 2012-11-14 株式会社ベイビッグ Three-dimensional relative coordinate measuring apparatus and method
JP2013160762A (en) * 2012-02-03 2013-08-19 Boeing Co:The Apparatus and method for calibrating laser projection system
JP2013015519A (en) * 2012-06-26 2013-01-24 Baybig Co Ltd Three-dimensional relative coordinate measurement instrument and method thereof
CN104567728A (en) * 2014-12-24 2015-04-29 天津大学 Laser vision profile measurement system, measurement method and three-dimensional target
WO2019017328A1 (en) * 2017-07-21 2019-01-24 日本電気株式会社 Correction device and correction method
JPWO2019017328A1 (en) * 2017-07-21 2020-07-02 日本電気株式会社 Calibration apparatus and calibration method
JP7056660B2 (en) 2017-07-21 2022-04-19 日本電気株式会社 Calibration method
CN108592953A (en) * 2018-06-29 2018-09-28 易思维（杭州）科技有限公司 Stereo calibration target and the method for being applied to positioning measured object in vision measurement
CN108592953B (en) * 2018-06-29 2024-05-24 易思维(杭州)科技股份有限公司 Three-dimensional calibration target and method for applying three-dimensional calibration target to positioning measured object in vision measurement
CN114812446A (en) * 2022-05-31 2022-07-29 南京航空航天大学 Aircraft horizontal measurement tool calibration method based on photogrammetry technology
WO2024182547A1 (en) * 2023-02-28 2024-09-06 Bedrock Technologies, Llc Systems and methods to facilitate crane operator lift deviation assessment and reaction during load lift operations
CN116912333A (en) * 2023-09-12 2023-10-20 安徽炬视科技有限公司 Camera attitude self-calibration method based on operation fence calibration rod
CN116912333B (en) * 2023-09-12 2023-12-26 安徽炬视科技有限公司 Camera attitude self-calibration method based on operation fence calibration rod

Similar Documents

Publication Publication Date Title
CN108844459B (en) Calibration method and device of blade digital sample plate detection system
US7804996B2 (en) Method for associating stereo image and three-dimensional data preparation system
CN106624709B (en) Assembly system and assembly method based on binocular vision
US9109889B2 (en) Determining tilt angle and tilt direction using image processing
JP2004271292A (en) Calibrator and stereo camera position/attitude calibration device
JP5580164B2 (en) Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program
JP4529157B2 (en) Three-dimensional survey system and electronic storage medium
US12124153B2 (en) Tripod for 3D modeling and method for determining camera capture parameters
JP3426459B2 (en) Photogrammetry system and photogrammetry method
CN106969725B (en) Angle adjusting equipment for railway ballast particles and measuring device for multi-angle two-dimensional images of angle adjusting equipment
WO2022111105A1 (en) Intelligent visual 3d information acquisition apparatus with free posture
JP5477658B2 (en) Calibration jig for calibration, 3D measurement system with calibration jig
EP3287988A1 (en) Modelling system and method
CN111627073B (en) Calibration method, calibration device and storage medium based on man-machine interaction
JP2021106025A5 (en)
CN106767895B (en) The system and method for solving camera elements of exterior orientation are oriented using index point
CN104567816B (en) Tree measuring method for panoramic normal-case forest sample plot photographing mobile phone
JP5600954B2 (en) Inspection system, method and program
JP4649192B2 (en) Stereo image creation method and three-dimensional data creation apparatus
JP5007885B2 (en) Three-dimensional survey system and electronic storage medium
JP4764896B2 (en) Camera calibration apparatus, camera calibration method, camera calibration program, and recording medium recording the program
CN107421503B (en) Single-detector three-linear-array three-dimensional mapping imaging method and system
CN111025330B (en) Target inclination angle detection method and device based on depth map
CN112907647B (en) Three-dimensional space size measurement method based on fixed monocular camera
CN108253940A (en) Localization method and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071016

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080428