JP4270949B2 - Calibration chart image display device, calibration device, and calibration method - Google Patents
Calibration chart image display device, calibration device, and calibration method Download PDFInfo
- Publication number
- JP4270949B2 JP4270949B2 JP2003165806A JP2003165806A JP4270949B2 JP 4270949 B2 JP4270949 B2 JP 4270949B2 JP 2003165806 A JP2003165806 A JP 2003165806A JP 2003165806 A JP2003165806 A JP 2003165806A JP 4270949 B2 JP4270949 B2 JP 4270949B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- calibration
- chart
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 91
- 238000012545 processing Methods 0.000 claims description 82
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 28
- 238000003384 imaging method Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000006978 adaptation Effects 0.000 claims description 8
- 230000001915 proofreading effect Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 65
- 238000010586 diagram Methods 0.000 description 45
- 238000000605 extraction Methods 0.000 description 31
- 230000008569 process Effects 0.000 description 31
- 230000004075 alteration Effects 0.000 description 28
- 230000014509 gene expression Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000005484 gravity Effects 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 206010010071 Coma Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、カメラの画像歪曲を修正するのに必要とされる内部パラメータ｛例えば、レンズの主点位置、画面距離（焦点距離）、歪曲パラメータ等｝を測定するためのキャリブレーションチャートの表示装置に関する。また、本発明は、キャリブレーションチャート表示装置に表示されるキャリブレーションチャートを用いてカメラのキャリブレーションを行うキャリブレーション装置及び方法に関する。
【０００２】
【従来の技術】
従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。そこで、特許文献１に記載されているように、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用している。さらに、写真測量分野では、精密に計測された三次元上に配置された多数の点を複数方向から計測することにより、カメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めている。また、写真計測の分野で用いられる計測用カメラの場合は、製作されたカメラを精密に計測することにより、カメラの内部パラメータを求めている。
【０００３】
【特許文献１】
特開２００１−２８０９５６号公報 ［００１４］、図１
【０００４】
【発明が解決しようとする課題】
しかしながら、写真測量分野のように精密に計測された３次元上の測定点を撮影計測して、カメラ内部パラメータを求める方法では、以下の課題がある。
▲１▼３次元上に測定点（ターゲット）が配置されている。そこで、複数方向から撮影すると死角が生じて、画像間でみえないターゲットが生じる。
▲２▼撮影された画像において、３次元上の測定点相互の位置関係に逆転が生じる場合があり、測定点の計測や各画像間の対応付けが困難で、自動化できない。
▲３▼そこで、相当の熟練をした作業員により、測定点の計測や各画像間の対応付けを行っている。すると、カメラの内部パラメータを得るために、高額のコストと長時間の作業が必要となってくる。
また、製作された計測用カメラを精密に計測する方法も、専用の冶工具が必要なだけでなく、熟練を要し特殊な設備のある機関でしか計測できず、計測専用カメラとして高価になるという課題がある。
【０００５】
そこで、近年では、３次元上の測定点に代わるものとして、シートに印刷された２次元の測定点を計ることにより、レンズ収差を計測するキャリブレーション方式が提案されている。しかし、シートに印刷された測定点を計測することによりレンズ収差を求める方法は、測定点が２次元状に配置されているために、レンズ収差を測定するカメラにより、キャリブレーションシートに印刷された測定点を複数の位置や方向（例えば正面・右上・右下・左上・左下のような５方向）から撮影する必要がある。すると、カメラによるキャリブレーションシートの撮影にはノウハウが必要で難しい、という課題がある。
【０００６】
本発明は、上述する課題を解決したもので、第１の目的はカメラによるキャリブレーションシートの撮影が容易に行えるキャリブレーションチャート表示装置を提供することである。第２の目的は、キャリブレーションチャート表示装置に表示されたキャリブレーションチャートを用いて、カメラの画像歪曲を修正するのに必要とされる内部パラメータを容易に算出できるキャリブレーション装置及び方法を提供することである。
【０００７】
【課題を解決するための手段】
本発明のキャリブレーションチャート画像表示装置は、第１の目的を達成するもので、図１に示すように、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像を記憶する校正画像記憶部５９と、校正画像記憶部５９に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向と所定の画像回転角度に応じて表示するキャリブレーションチャート画像表示部６１とを備えている。
【０００８】
好ましくは、前記キャリブレーションチャート画像表示部６１は、キャリブレーションチャート表示を白黒反転して表示可能に構成されているとよい。
【０００９】
本発明のキャリブレーションチャート画像表示装置は、第１の目的を達成するもので、図１に示すように、所定のキャリブレーション撮影方向から、かつ所定の回転を施したキャリブレーションチャートを観察した状態の画像を形成する画像形成部５１と、画像形成部５１で形成されたキャリブレーションチャート画像を表示するキャリブレーションチャート画像表示部６１とを備えている。
【００１０】
好ましくは、画像形成部５１は、特定方向から撮影されたキャリブレーションチャート１の画像を記憶する基準画像記憶部５２と、基準画像記憶部５２に記憶された画像を用いて、前記特定方向と前記キャリブレーション撮影方向との画像変換関係を適用して、前記キャリブレーション撮影方向のキャリブレーションチャート１の画像を形成する画像変換処理部５３を備える構成とするとよい。画像形成部５１は、さらに、基準画像記憶部５２に記憶された画像を所定角度の回転処理して、任意の角度回転したキャリブレーションチャート１の画像を形成する画像回転処理部５４を備えていてもよい。
【００１１】
好ましくは、本発明のキャリブレーションチャート画像表示装置において、さらに、キャリブレーションチャート画像表示部６１に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する表示順序制御部５５を備える構成とするとよい。
【００１２】
好ましくは、本発明のキャリブレーションチャート画像表示装置において、表示順序制御部５５は、さらに、キャリブレーションチャート画像表示部６１が、キャリブレーションチャート画像を表示した後、撮影信号を撮影装置１９に出力する撮影信号出力部５６と、撮影装置１９による前記キャリブレーションチャート画像の撮影完了信号を入力して、キャリブレーションチャート画像表示部６１に対して、後続するキャリブレーションチャート画像の表示命令信号を出力する校正画像切換え指示部５７とを備える構成とするとよい。
【００１３】
好ましくは、本発明のキャリブレーションチャート画像表示装置において、さらに、キャリブレーション対象となる撮影装置１９から取得された焦点距離情報に応じて、キャリブレーションチャート画像表示部６１に表示されるキャリブレーションチャート画像の大きさ又は密度の少なくとも一方を変更する焦点距離修正制御部５８を備える構成とするとよい。
【００１４】
本発明のキャリブレーション装置は、第２の目的を達成するもので、図１５に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を用いて、被校正撮影装置１９のキャリブレーション用データを求めるキャリブレーション装置であって、次の構成としたものである。即ち、前記チャート撮影画像に対して前記マークを抽出する為のテンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識するマーク認識部７３と、マーク認識部７３で認識されたマークの、前記チャート撮影画像での対応位置を探索するマーク位置探索部７４と、マーク位置探索部７４で選定されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する内部パラメータ演算部７５と備えている。
【００１５】
好ましくは、キャリブレーションチャート１は、概括的な位置関係を定める概括基準マークと、当該概括基準マークよりも多数配置されると共に詳細な位置関係を定める詳細基準マークとを前記マークとして有し、マーク認識部７３は、前記概括基準マークのマーク認識と、前記概括基準マークを用いて前記詳細基準マークのマーク認識を行ない、マーク位置探索部７４は、前記概括基準マークの対応位置の探索と、前記概括基準マークの対応位置を用いて前記詳細基準マークの対応位置を探索し、内部パラメータ演算部７５は、マーク位置探索部７４で選定された前記概括基準マークと前記詳細基準マークのマーク位置と、キャリブレーションチャート１での概括基準マークと詳細基準マークのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する構成とするとよい。
【００１６】
好ましくは、本発明のキャリブレーション装置において、さらにキャリブレーションチャート１の画像回転情報を取得する画像回転情報取得部８０と、前記画像回転情報に基づき、前記テンプレート姿勢を回転処理するテンプレート姿勢調整部８１とを備え、マーク認識部７３はテンプレート姿勢調整部８１で回転処理されたテンプレートを用いて前記チャート撮影画像に存在する前記マークを認識する構成とするとよい。
【００１７】
好ましくは、本発明のキャリブレーション装置において、図２２に示すように、さらに、マーク認識部７３のテンプレートの作用としてのテンプレート走査方向を複数設定するテンプレート走査方向設定部８３と、テンプレート走査方向設定部８３で設定された複数のテンプレート走査方向により前記テンプレートを作用させて、最適なテンプレート走査方向を選択する画像回転適応処理部８４とを備え、前記マーク認識部は、画像回転適応処理部８４で選択されたテンプレート走査方向を用いて前記チャート撮影画像に存在する前記マークを認識する構成とするとよい。
【００１８】
好ましくは、本発明のキャリブレーション装置において、図１５に示すように、さらに、キャリブレーションチャート１の画像回転情報を取得する画像回転情報取得部８０と、前記画像回転情報に基づき、マーク認識部７３のテンプレートの作用としてのテンプレート走査方向を調整するテンプレート走査方向調整部８２を備える構成とするとよい。
【００１９】
本発明のキャリブレーション装置は、第２の目的を達成するもので、図２５に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を用いて、被校正撮影装置１９のキャリブレーション用データを求めるキャリブレーション装置であって、次の構成としたものである。即ち、キャリブレーションチャート１の画像回転情報を取得する画像回転情報取得部８０と、前記画像回転情報に基づき、前記チャート撮影画像から画像回転の影響を除去する画像回転初期化部８５と、画像回転初期化部８５で初期化されたチャート撮影画像に対して、前記マークを抽出する為のテンプレートを作用させて、前記初期化されたチャート撮影画像に存在する前記マークを認識するマーク認識部８６と、マーク認識部８６で認識されたマークの、前記初期化されたチャート撮影画像での対応位置を探索するマーク位置探索部８７と、マーク位置探索部８７で探索されたマーク位置を、当初チャート撮影画像の画像回転情報に基づいて変換するマーク位置回転処理部８８と、マーク位置回転処理部８８で変換されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する内部パラメータ演算部８９とを備えている。
【００２０】
本発明のキャリブレーション装置は、第２の目的を達成するもので、図２８に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を用いて、被校正撮影装置１９のキャリブレーション用データを求めるキャリブレーション装置であって、次の構成としたものである。即ち、前記チャート撮影画像を前記マークが少なくとも一個含まれる複数の領域に分割する画像領域分割部９１と、画像領域分割部９１で分割された個別のチャート撮影画像領域に対して前記マークを抽出する為のテンプレートを作用させて、前記チャート撮影画像領域に存在する前記マークを認識するマーク認識部９２と、マーク認識部９２で認識されたマークの、前記チャート撮影画像での対応位置を探索するマーク位置探索部９３と、マーク位置探索部９３で選定されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する内部パラメータ演算部９４とを備えている。
【００２１】
本発明のキャリブレーション装置は、第２の目的を達成するもので、図３１に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を用いて、被校正撮影装置１９のキャリブレーション用データを求めるキャリブレーション装置であって、次の構成としたものである。即ち、前記マークの基準寸法が設定されたマーク基準寸法部９６と、マーク基準寸法部９６で設定された基準寸法を前記チャート撮影画像に対して作用させて、前記チャート撮影画像に存在する前記マークを認識するマーク認識部９７と、マーク認識部９７で認識されたマークの、前記チャート撮影画像での対応位置を探索するマーク位置探索部７４と、マーク位置探索部７４で選定されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する内部パラメータ演算部７５とを備えている。
【００２２】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図１６に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得する工程（Ｓ３００、Ｓ３０２）と、前記マークを抽出する為のテンプレートを設定する工程（Ｓ３０４）と、前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程（Ｓ３０６）と、前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程（Ｓ３０８）と、前記探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ３１０）とをコンピュータに実行させるものである。
【００２３】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図１９に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得する工程（Ｓ３００、Ｓ３０２）と、前記マークを抽出する為のテンプレートを設定する工程（Ｓ３０４）と、キャリブレーションチャート１の画像回転情報を取得する工程（Ｓ３０５）と、前記画像回転情報に基づき、前記テンプレートの姿勢を回転処理する工程（Ｓ３２０）と、前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程（Ｓ３２２）と、前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程（Ｓ３２４）と、前記探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ３２６）とをコンピュータに実行させるものである。
【００２４】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図２３に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得する工程（Ｓ３００、Ｓ３０２）と、前記マークを抽出する為のテンプレートを設定すると共に、前記テンプレートのテンプレート走査方向を複数設定する工程（Ｓ３４０）と、前記チャート撮影画像に対して前記複数のテンプレート走査方向により前記テンプレートを作用させて、最適なテンプレート走査方向を選択する工程（Ｓ３４４）と、前記チャート撮影画像に対して前記最適なテンプレート走査方向によりテンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程（Ｓ３４６）と、前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程（Ｓ３４８）と、前記探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ３５０）とをコンピュータに実行させるものである。
【００２５】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図２４に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得する工程（Ｓ３００、Ｓ３０２）と、前記マークを抽出する為のテンプレートを設定する工程（Ｓ３０４）と、キャリブレーションチャート１の画像回転情報を取得する工程（Ｓ３０５）と、前記画像回転情報に基づき、前記テンプレートのテンプレート走査方向を調整する工程（Ｓ３６０）と、前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程（Ｓ３６２）と、前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程（Ｓ３６４）と、前記探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ３６６）とをコンピュータに実行させるものである。
【００２６】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図２６に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得する工程（Ｓ３００、Ｓ３０２）と、前記マークを抽出する為のテンプレートを設定する工程（Ｓ３０４）と、キャリブレーションチャート１の画像回転情報を取得する工程（Ｓ３０５）と、前記画像回転情報に基づき、前記チャート撮影画像から画像回転の影響を除去する工程（Ｓ３８０）と、前記画像回転の影響を除去されたチャート撮影画像に対して、前記テンプレートを作用させて、前記画像回転の影響を除去されたチャート撮影画像に存在する前記マークを認識する工程（Ｓ３８２）と、前記認識されたマークの、前記画像回転の影響を除去されたチャート撮影画像での対応位置を探索する工程（Ｓ３８４）と、前記探索された対応マーク位置を、当初チャート撮影画像の画像回転情報に基づいて変換する工程（Ｓ３８６）と、前記変換された対応マーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ３８８）とをコンピュータに実行させるものである。
【００２７】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図２９に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得する工程（Ｓ３００、Ｓ３０２）と、前記マークを抽出する為のテンプレートを設定する工程（Ｓ３０４）と、前記チャート撮影画像を前記マークが少なくとも一個含まれる複数の領域に分割する工程（Ｓ４００）と、前記分割された個別のチャート撮影画像領域に対して前記テンプレートを作用させて、前記チャート撮影画像領域に存在する前記マークを認識する工程（Ｓ４０２）と、前記認識されたマークの、前記チャート撮影画像での対応位置を探索する工程（Ｓ４０４）と、前記探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ４０６）とをコンピュータに実行させるものである。
【００２８】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図３２に示すように、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得する工程（Ｓ３００、Ｓ３０２）と、前記マークを抽出する為の前記マークの基準寸法を用いて、前記チャート撮影画像に対して作用させて、前記チャート撮影画像に存在する前記マークを認識する工程（Ｓ４１０）と、前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程（Ｓ４１２）と、前記探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ４１４）とをコンピュータに実行させるものである。
【００２９】
本発明のキャリブレーション方法は、第２の目的を達成するもので、図１８に示すように、キャリブレーションチャート画像表示装置に表示されるキャリブレーションチャート１であって、概括的な位置関係を定める概括基準マークと、当該概括基準マークよりも多数配置されると共に詳細な位置関係を定める詳細基準マークが配置されたキャリブレーションチャート１を、被校正撮影装置で撮影した複数のチャート撮影画像を取得する工程（Ｓ４２０、Ｓ４２１）と、前記概括基準マークを抽出する為のテンプレートを設定する工程（Ｓ４２２）と、前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記概括基準マークを認識する工程（Ｓ４２４）と、前記認識された概括基準マークの前記チャート撮影画像での対応位置を探索する工程（Ｓ４２６）と、前記探索された概括基準マークのマーク位置を用いて、前記チャート撮影画像に対して前記詳細基準マークを抽出する工程（Ｓ４２８）と、前記認識された詳細基準マークの前記チャート撮影画像での対応位置を探索する工程（Ｓ４３０）と、前記探索された概括基準マークと概括基準マークのマーク位置と、キャリブレーションチャート１での対応する概括基準マークと概括基準マークのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する工程（Ｓ４３２）とをコンピュータに実行させるものである。
【００３０】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、本発明のキャリブレーションチャート画像表示装置５０は、画像形成部５１、表示順序制御部５５、撮影信号出力部５６、校正画像切換え指示部５７、焦点距離修正制御部５８、校正画像記憶部５９、表示画像メモリ６０、キャリブレーションチャート画像表示部６１、表示画像選択部６２を備えている。
【００３１】
画像形成部５１では所定のキャリブレーション撮影方向からキャリブレーションチャート１を観察した状態の画像を形成するもので、基準画像記憶部５２、画像変換処理部５３、画像回転処理部５４を備えている。基準画像記憶部５２は、特定方向から撮影されたキャリブレーションチャート１の画像を記憶するもので、図２に示すような標準となるキャリブレーションチャート１の画像を記憶させておいてもよい。画像変換処理部５３は、基準画像記憶部５２に記憶された画像を用いて、特定方向とキャリブレーション撮影方向との画像変換関係を適用して、任意キャリブレーション撮影方向のキャリブレーションチャート１の画像を形成する。画像回転処理部５４は、基準画像記憶部５２に記憶された画像を所定角度の回転処理して、任意の角度回転したキャリブレーションチャート１の画像を形成するもので、例えばアドビ社から提供される画像編集ソフト"PhotoShop"が利用できる。キャリブレーションチャート１の画像を回転処理すると、マークの位置を回転角度に応じて多様に設定でき、レンズ収差の分布状態を把握するのに適している。
【００３２】
表示順序制御部５５は、キャリブレーションチャート画像表示部６１に表示されるキャリブレーションチャート画像を、被校正対象となる撮影装置１９の撮影動作に連動して、順次選択する。撮影信号出力部５６は、キャリブレーションチャート画像表示部６１が、キャリブレーションチャート画像を表示した後、撮影信号を被校正撮影装置１９に出力する。校正画像切換え指示部５７は、被校正撮影装置１９によるキャリブレーションチャート画像の撮影完了信号を入力して、キャリブレーションチャート画像表示部６１に対して、後続するキャリブレーションチャート画像の表示命令信号を出力する。焦点距離修正制御部５８は、キャリブレーション対象となる被校正撮影装置１９から取得された焦点距離情報に応じて、キャリブレーションチャート画像表示部６１に表示されるキャリブレーションチャート画像の大きさ又は密度の少なくとも一方を変更する機能を有する。なお、被校正撮影装置１９としては、例えば可動焦点距離式のズームレンズや固定焦点式レンズを用いたカメラが用いられる。
【００３３】
なお、被校正撮影装置１９が撮影信号出力部５６の撮影信号を受信すると撮影したり、撮影完了信号を出力する構造となっていない場合には、撮影信号出力部５６と校正画像切換え指示部５７を用いることはなく、撮影者がマニュアルで被校正撮影装置１９のシャッターを操作してキャリブレーションチャート１の撮影を行なう。マニュアルで被校正撮影装置１９を操作する場合には、表示順序制御部５５は、キャリブレーション撮影方向毎に一定時間（例えば１０秒間）キャリブレーションチャート画像を表示させる。
【００３４】
校正画像記憶部５９は、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャート１の画像を記憶する。また、校正画像記憶部５９には画像形成部５１で形成された任意撮影方向や任意回転角度のキャリブレーションチャート画像を記憶しても良い。なお、キャリブレーションチャート１、キャリブレーション撮影方向並びに回転角度の詳細は後で説明する。
【００３５】
表示画像メモリ６０は、キャリブレーションチャート画像表示部６１に表示される画像を記憶するメモリである。キャリブレーションチャート画像表示部６１は、画像形成部５１で形成されたキャリブレーションチャート画像や校正画像記憶部５９に記憶されたキャリブレーションチャート画像を表示するもので、例えばパソコンのＣＲＴや液晶のようなモニター装置が用いられる。表示画像選択部６２は、校正画像記憶部５９に記憶されたキャリブレーションチャート画像を撮影方向や回転角度毎に管理して、キャリブレーションチャート画像表示部６１に表示されるキャリブレーションチャート画像を選択している。
【００３６】
次に、キャリブレーションチャートとしてのチャート１について説明する。ここでは、チャート１として紙やプラスチックシートに所定のマークを印刷してある場合を例に説明するが、平面画面に所定のマークを配列した画像を表示するものでもよい。
【００３７】
図２は、キャリブレーションチャートの一例を示す平面図である。チャート１は、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。ここでは、第１マークはチャート１に総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。チャート１が矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ２＋ｌ２）１／２ （１）
【００３８】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの印刷位置の数値は、後で説明するキャリブレーション装置のマーク座標記憶部１０に読込んで、概略マーク位置測定部５において概略位置測定と対応づけのために利用される。なお、チャート１は、コンピュータの記憶装置に画像データとして記憶させておき、キャリブレーションする場所において印刷して使用しても良い。第１マークと第２マークの位置は、予めキャリブレーション装置の中に記憶してあるものを使い、その記憶された座標にてシートに印刷すれば、計測作業は不要になるので作業は簡単なものになる。あるいは、チャート１を精密に計測して、第１マークと第２マークの座標位置を測定し、その座標値をマーク座標記憶部１０に格納して利用する構成としてもよい。
【００３９】
第１マークは、概略マーク位置測定及び対応付けに利用されるだけでなく、撮影方向を決める視標としても利用される。さらに、第１マークの外形菱形の中心部分は第２マークと共通の図柄とすることにより、精密マーク位置測定部６で精密測定する際のテンプレートとして使用される。
【００４０】
図３は第１マークの一例を示す説明図で、（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩形を示している。図３（Ａ）、（Ｂ）では、第１マークは第２マークと共通の図柄を囲むように菱形又は４本の矢印を配置し、作業者にとって視認容易になるように配慮してある。このように視認容易な図柄とすることで、第１マークの抽出が容易なものとなると共に、被校正撮影装置１９の撮影方向として広い撮影角度の中から一つの撮影角度を選択しても、撮影された画像から第１マークを見逃すことがない。図３（Ｃ）では、第１マークは黒塗り矩形とし、中心部の図柄は第２マークとは反転した色彩になっているが、このようにしても検出は容易である。また、精密マーク位置測定部５にて測定する際にも、図３（Ｃ）の図柄に対しては、第１マークの階調を反転することにより、第２マークのテンプレートとすることができる。
【００４１】
第２マークは、被校正撮影装置１９によって撮影されたチャート１の画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なくチャート１に配置する。第２マークは、チャート１の３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。しかし、第２マークを徒に多く設けると、第２マーク自体が小さくなって見難くなると共に、レンズ収差の測定演算時間も長くなるため、実際上の上限は存在しており、例えば１０００個である。第２マークは、チャート１に満遍なく多数配置されるので、精密位置計測のしやすいものであれば、各種の図柄を採択して良い。例えば、第２マークとしては、黒丸『●』、プラス『＋』、二重丸『◎』、英文字『Ｘ』、星印『★』、黒塗り四角『■』、黒塗り三角形『▲』、黒塗り菱形『◆』等を用いることができる。
【００４２】
続いて、画像形成部５１で取扱う、画像変換処理部５３で形成される任意撮影方向のキャリブレーションチャート画像について説明する。校正画像記憶部５９に記憶される各種撮影方向のキャリブレーションチャート画像についても同様である。ここでは、基準画像記憶部５２に記憶されたキャリブレーションチャート画像を、画像変換処理部５３や画像回転処理部５４で処理して得られるキャリブレーションチャート画像と均等なキャリブレーションチャート画像を、現実にチャート１を撮影して取得する場合を用いて説明する。チャート１を現実に撮影する場合は、レンズ収差の極めて少ないレンズによって、キャリブレーションチャート１を以下の手順で撮影する。
【００４３】
図４はキャリブレーション撮影方向を説明する図で、（Ａ）はキャリブレーション撮影方向のカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのキャリブレーション撮影方向に対応するカメラ間隔を示した図である。チャート１を異なる撮影角度から撮影した画像として、所定のキャリブレーション撮影方向に関する２枚以上の画像があれば、キャリブレーション画像として利用可能となる。好ましくは、チャート１としてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。また、カメラ２は、例えば写真測量や写真計測用の撮影用カメラのように、キャリブレーション画像撮影用のレンズ収差の極度に少ない高性能カメラを用いる。
【００４４】
キャリブレーション画像は、図４（Ａ）に示すような５方向、即ち正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）をキャリブレーション撮影方向として撮影する。カメラ２の光軸と平面チャートとの撮影入射角は、実際の撮影現場での奥行き精度を１ｃｍ程度に設定すると、１０度〜３０度の範囲が好ましく、他方レンズの焦点深度との関係でピントの合う距離も限られていることも考慮すると、１２度〜２０度の範囲がさらに好ましい。典型的には、カメラ２の光軸と平面チャートとの撮影入射角として１５度を採用するとよい。
【００４５】
以下、図５を参照して各キャリブレーション撮影方向によるチャート１の撮影手順を説明する。図５は、（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像を示し、カメラ画像に対応するチャート１とカメラ２の位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）にて示している。なお、番号（Ｉ）〜（Ｖ）は図４（Ａ）のカメラ位置に対応している。
【００４６】
（Ｉ）：正面から、チャート１の第１マークと第２マーク全てが一杯に入るよう撮影する（図５（Ａ１）、（Ｂ１））。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。そこで、カメラの焦点距離に応じて、撮影距離Ｈが変化する。
（II）：次に、一般的に標準レンズ及び望遠レンズを使用した場合、正面のカメラ位置を中心として、撮影距離Ｈの１／３程度離れた位置にカメラを移動させて、例えば左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える（図５（Ａ２）、（Ｂ２））。但し、一般的に広角レンズを使用した際に、撮影距離Ｈが約１ｍ以内の場合は、カメラ位置は目的とする第１マークが正面に来るようにカメラ２を移動させればよい。そして、カメラ２のカメラ位置をそのままにして、中央にある第１マーク１ｅが中心となるようにカメラ２の方向を向ける（図５（Ａ３）、（Ｂ３））。次に、カメラ２をチャート１に近づけるように移動して、カメラ２の撮影画像に対して第１マークと第２マークが一杯に入るようにして撮影する（図５（Ａ４）、（Ｂ４））。
【００４７】
（III）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（IV）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：右下象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、カメラ２の角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００４８】
ここで、カメラ２とチャート１の間隔Ｈは、標準レンズや広角レンズの焦点距離ｆから定められる。例えば、焦点距離が３５ｍｍの標準レンズでは、撮影距離Ｈは９０ｃｍ程度になる。チャート１に設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から左上（II）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラ２と第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００４９】
望遠レンズや標準レンズのレンズ収差を計測する場合は、撮影レンズの画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から左上（II）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、焦点距離が長い場合にはカメラ２とチャート１の撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、図４（Ｂ）に示すように、正面のカメラ位置を中心として、左側のカメラ位置（II）、（IV）と、右側のカメラ位置（III）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を正面（Ｉ）の位置からそれぞれ撮影距離Ｈの１／３程度とった位置にカメラを設置して、上述の左上（II）、左下（IV）及び右上（III）、右下（Ｖ）での撮影を行えばよい。カメラの光軸は、チャート１の法線方向と一致させればよいが、チャート１方向を向けても良い。
【００５０】
なお、上記の実施の形態においては、撮影位置として正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにしてチャート１の撮影を行う。
【００５１】
また、チャート１は、平面シートに代えて、例えばノートパソコンのような平面的な表示画面を有する機器に、第１マークと第２マークが表示された平面シートの画像表示を用いてもよい。液晶表示画面のようにガラスを用いた画面は、紙やプラスチックに比較して湿度や温度による平面の伸縮が極めて少ないため、チャート１の表示装置として適している。また、液晶表示画面として携帯型パソコンの表示画面を用いると、表示精度がよい点に加えて、可搬性に優れているので、作業現場であっても防水や衝撃に注意すれば、通常の使用に耐える。
【００５２】
図６はキャリブレーションチャート画像表示部６１によって表示されるキャリブレーション画像の一例を説明する図である。キャリブレーション画像は、例えば図４（Ａ）で説明した正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）の５方向をキャリブレーション撮影方向として、図２で示すチャート１を撮影したものである。また、図６に示すキャリブレーション画像は、前述の画像形成部５１で形成されたキャリブレーションチャート画像や校正画像記憶部５９に記憶されたキャリブレーションチャート画像であってもよい。キャリブレーションチャート１の撮影方向に応じたキャリブレーションチャート画像は、画像変換処理部５３によって作成できる。更に、画像回転処理部５４で回転処理したキャリブレーションチャート１の画像を用いても良い。
【００５３】
図７は画像回転処理部で回転処理されたキャリブレーションチャートの一例を示す図で、（Ａ）は回転角度０°、（Ｂ）は回転角度２０°のキャリブレーションチャート画像を示している。回転角度０°のキャリブレーションチャート画像は、例えば基準画像記憶部５２に記憶されている。回転角度２０°のキャリブレーションチャート画像は、例えば基準画像記憶部５２に記憶されたキャリブレーションチャート画像を、画像回転処理部５４により、右上に２０°傾ける画像変換を行なった画像である。
【００５４】
図８は、本発明のキャリブレーション装置の共通構造を説明する全体構成ブロック図である。キャリブレーションチャート画像表示部６１は、キャリブレーション画像をキャリブレーション撮影方向や回転角度が判別できる態様で表示する。被校正撮影装置１９は、キャリブレーションの対象となるカメラで、典型的には汎用の光学式カメラやデジタルカメラのように、レンズ収差が写真測量や写真計測用の撮影用カメラに比較して、大きいものである。被校正撮影装置１９は、広角レンズや標準レンズでもよく、また望遠レンズを備えていても良い。
【００５５】
画像データ記憶部３は、被校正撮影装置１９によって撮影されたキャリブレーション画像データを記憶する記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３では、キャリブレーション撮影方向が判別できる態様で、被校正撮影装置１９が撮影したキャリブレーション画像が記憶されているとよい。
【００５６】
キャリブレーション装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０並びにレンズ収差補償パラメータ記憶部１１を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。キャリブレーション装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。
【００５７】
抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行う。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。なお、第１マークが第２マークと共通の図柄を含んでいる場合には、第１マーク内の第２マーク位置によって第１マークの画像座標値とするとよい。抽出部４による第１マーク抽出処理の詳細は、後で説明する。
【００５８】
概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理の詳細は、後で説明する。
【００５９】
精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、チャート１の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、被校正撮影装置１９の内部パラメータを演算する。演算された被校正撮影装置１９の内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。被校正撮影装置１９の内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。なお、精密マーク位置測定部６、並びに演算処理部７の被校正撮影装置１９の内部パラメータ演算処理に関しての詳細は、後で説明する。
【００６０】
画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、被校正撮影装置１９によって撮影された画像（特に、チャート１以外の画像）のデータ画像を再配列する。すると、被校正撮影装置１９によって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。マーク座標記憶部１０には、第１マークの画像座標値が記憶されていると共に、第２マークの管理番号並びにその画像座標値が記憶されている。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算された被校正撮影装置１９の内部パラメータが記憶されている。
【００６１】
次に、図９を参照して、本発明のキャリブレーションチャート画像表示装置及びキャリブレーション装置を用いたキャリブレーション処理の流れ全体について説明する。図９は、キャリブレーション処理の流れ全体を説明するフローチャートである。まず、レンズ収差の補償対象となる被校正撮影装置１９によって、キャリブレーションチャート画像表示部６１に表示されたキャリブレーション画像を撮影する（Ｓ１０）。ここで、Ｓ１０の詳細を説明する。図１０はＳ１０におけるキャリブレーションチャート画像表示装置を用いたキャリブレーション画像撮影を説明するフローチャートである。
【００６２】
まず最初に、被校正撮影装置１９がズームレンズの場合には、キャリブレーションしたい焦点距離に設定する（Ｓ１１）。焦点距離は、例えば広角側と望遠側のうち、ズームレンズの広角側に設定するのが良いが、望遠側でも差し支えない。なお、被校正撮影装置１９が固定焦点の場合は、ステップＳ１１を省略してよい。
【００６３】
次に、キャリブレーションチャート画像表示部６１に、キャリブレーションチャート画像を表示する（Ｓ１２）。表示するキャリブレーションチャート画像は、キャリブレーションチャート１を撮影したものでも、コンピュータにて生成されたキャリブレーションチャートでもよい。キャリブレーションチャート画像表示部６１は、例えばパソコンのモニタ画面を用いるのが良く、表示するキャリブレーション画像は、モニタ画面いっぱいに第１及び第２のマーク（ターゲット）が表示されるのがよい。キャリブレーション画像のキャリブレーション撮影方向としては、例えば図６（Ｅ）のように、第１画面として被校正撮影装置１９とキャリブレーション画像が正対した画像を選択する。
【００６４】
次に、被校正撮影装置１９の画面に、キャリブレーションチャート画像表示部６１に表示されたキャリブレーション画像がいっぱいに映るようにカメラ位置を設定する（Ｓ１３）。カメラ位置とは、被校正撮影装置１９とキャリブレーションチャート画像表示部６１との距離を含む概念である。そして、被校正撮影装置１９により、キャリブレーションチャート画像表示部６１に表示されたキャリブレーション画像を撮影する（Ｓ１４）。
【００６５】
そして、被校正撮影装置１９がキャリブレーションに必要な画像をすべて撮影したか判断する（Ｓ１５）。例えば、図６に示すような、正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）の５方向をキャリブレーション撮影方向とするキャリブレーション画像に対して、被校正撮影装置１９による撮影がすべて終了したか、判定する。もし終了していなければ、Ｓ１２に戻って、他のキャリブレーション撮影方向から撮影したのと等価なキャリブレーション画像をキャリブレーションチャート画像表示部６１に表示して、被校正撮影装置１９による撮影を必要枚数繰り返す（例えば、図６（Ｅ）以外の残り４方向）。
【００６６】
被校正撮影装置１９について、一つの焦点距離で必要枚数の撮影が終了したのち、被校正撮影装置１９がズームレンズの場合には、必要とする全ての焦点距離で撮影が終了したか判定する（Ｓ１６）。なお、被校正撮影装置１９が固定焦点の場合は、必要とされる焦点距離が一つなので、キャリブレーション画像の撮影作業を終了する。被校正撮影装置１９がズームレンズの場合は、Ｓ１６にて未了と判断されると、必要とされる次の焦点距離に対する撮影処理をＳ１１に戻って繰り返す。例えば、被校正撮影装置１９の焦点距離として、補間したい必要焦点数についてズームレンズを調整して、Ｓ１１〜Ｓ１６の処理を繰り返す。ここで、被校正撮影装置１９のキャリブレーション画像の対象となる焦点距離数はキャリブレーションの必要精度に変えるのが良く、またズームレンズのレンジに応じて変えてもよい。この焦点距離数は、最低値として２焦点距離であるが、３以上の焦点距離でもよい。例えば、被校正撮影装置１９が広角から望遠まで５焦点の場合は５回行う。従って、被校正撮影装置１９について焦点距離変更した場合、キャリブレーション画像を被校正撮影装置１９の画面いっぱいに撮影できるよう、カメラ位置を変更して繰り返す。
【００６７】
被校正撮影装置１９によるキャリブレーション画像の撮影が終了したら、撮影されたキャリブレーション画像を画像データ記憶部３に格納する（Ｓ１７）。キャリブレーション画像の格納は、フレキシブルディスクのような電磁気的記憶媒体でも良く、またインターネット経由にて通信によりキャリブレーション装置に画像データを転送してもよい。そして、Ｓ１７の処理が完了すると戻しとなる。
【００６８】
図９に戻り、画像データ記憶部３に格納されたキャリブレーション画像に関して、画像上に記録されている焦点位置を読み込む（Ｓ２０）。次に、キャリブレーション画像に関して、被校正撮影装置１９の同一焦点距離の画像を一グループとして、各焦点距離ごとのキャリブレーション画像グループを作成する（Ｓ２５）。なお、被校正撮影装置１９が固定焦点式であれば、単一の焦点距離に関してキャリブレーション処理を行なえば良い。
【００６９】
続いて、各焦点距離ごとに形成されたキャリブレーション画像グループから今回の処理対象となる画像が選択される（Ｓ３０）。即ち、キャリブレーション装置は、選択されたキャリブレーション画像グループの画像データを画像データ記憶部３から読込んで、表示部９に表示する。そして、操作者は表示部９に表示された画像から、ターゲットの対応付け及び計測を行う画像を選択する。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。
【００７０】
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャート１の平面座標とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−▲１▼からＩ−▲４▼までの処理を第１マークの点数分繰り返す。例えば、図２に示すチャート１では、左右各２点の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。
【００７１】
Ｉ−▲１▼…操作者は表示部９に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−▲２▼…Ｉ−▲１▼で求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−▲３▼…Ｉ−▲２▼で表示した拡大画像に対して、第２マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−▲３▼での位置あわせは厳密でなくともよい。
Ｉ−▲４▼…次に、マーク座標記憶部１０に記憶された第２マークの管理番号と対応させるために、Ｉ−▲３▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−▲３▼で計測された第１マークの重心位置が基準点座標として記憶される。
【００７２】
なお、第１マーク抽出処理では、例えばチャート１上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）、（Ｃ）のような拡大画像を表示するようにすれば、位置計測がしやすくなる。
【００７３】
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図２のような全体画像だけで計測する方式がある。この場合、Ｉ−▲１▼の処理を行うと共に、Ｉ−▲４▼においてＩ−▲１▼で計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−▲２▼、Ｉ−▲３▼の処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。
【００７４】
次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図２の第１マーク配置であれば、その検出座標から５点の第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。
【００７５】
続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−▲１▼の第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。
しかしながら、第１マークは最低３点以上計測すればよいので、マニュアルによる作業でも、簡単な作業である。
【００７６】
図９に戻り、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（II−１）と、第２マークの概算位置を演算する工程（II−２）を含んでいる。
（II−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１） （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。
【００７７】
次に、基準点座標と画像座標の関係を説明する。図１２（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にしてチャート１の置かれる基準点座標系としての対象座標系９９と、被校正撮影装置１９のフィルム又はＣＣＤが置かれる画像座標系９８が図１２（Ａ）のような位置関係にある。対象座標系９９における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ0，Ｙ0，Ｚ0）とする。画像座標系９８における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系９８までの画面距離をＣとする。ω、φ、κは、画像座標系９８の対象座標系９９を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
【００７８】
そして、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ-1（Ｃ・ｂ８）
φ＝ｔａｎ-1（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ-1（−ｂ４／ｂ１） （φ＝０のとき）
κ＝ｔａｎ-1（−ｂ２／ｂ５） （φ≠０、ω＝０のとき）
κ＝ｔａｎ-1｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
【００７９】
Ｚ0＝Ｃ・ｃｏｓω・｛（Ａ２２＋Ａ３２）／（Ａ１２＋Ａ４２）｝1/２＋Ｚｍ
Ｘ0＝ｂ３−(ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ)×(Ｚｍ−Ｚ0)
Ｙ0＝ｂ６−(ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ)×(Ｚｍ−Ｚ0) （３）
ただし、Ａ１＝１＋ｔａｎ２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／(ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点の平均標高とする。ここでは、第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なので、標高一定の面と仮定できる。Ｃは焦点距離で、前述の画面距離に相当している。
【００８０】
（II−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系９９で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系９８で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
【数１】
【００８１】
ここで、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ11〜ａ33を求める。
【００８２】
次に、求めた回転行列の要素ａ11〜ａ33と式（３）で求めたカメラの位置（Ｘ0、Ｙ0、Ｚ0）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実の被校正撮影装置１９で撮影した画像におけるタ−ゲットの概略の画像座標が求める。
ｘ＝−Ｃ・｛ａ11（Ｘ−Ｘ0）＋ａ12（Ｘ−Ｘ0）＋ａ13（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝
ｙ＝−Ｃ・｛ａ21（Ｘ−Ｘ0）＋ａ22（Ｘ−Ｘ0）＋ａ23（Ｚ−Ｚ0）｝／
｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｘ−Ｘ0）＋ａ33（Ｚ−Ｚ0）｝ （５）
【００８３】
ところで、式（３）中のｔａｎ-1の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する４点の画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
【００８４】
図９に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図１１を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。
【００８５】
（III）ターゲット認識
図１２（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マーク、例えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲットの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
【００８６】
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。
Ａ＝｛Ｍ２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／
［｛Ｍ２×ΣＸｉ２−（ΣＸｉ)２｝×｛Ｍ２×ΣＴｉ２−（ΣＴｉ)２｝］（６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
【００８７】
図１１に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。
∇２・Ｇ（ｘ）＝｛（ｘ２−２σ２）／２πσ６｝・ｅｘｐ（−ｘ２／２σ２） （７）
ここで、σはガウス関数のパラメ−タ−である。
【００８８】
次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（７）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。
【００８９】
図９に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
【００９０】
そして、Ｓ３０〜Ｓ７５の処理を、レンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。
【００９１】
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、レンズ収差のキャリブレーション要素を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション要素の演算対象として、チャート１上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
【００９２】
（IV）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の式（８）と式（９）である。
【００９３】
【数２】
この式（８）と式（９）は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、式（８）と式（９）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００９５】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の式（１０）に示す。
【数４】
【００９６】
図９に戻り、演算処理部７によるキャリブレーション要素を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション要素が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
【００９７】
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション要素演算に戻り、キャリブレーション要素を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。
【００９８】
キャリブレーション要素を求める演算処理結果が適性であれば、他の焦点距離のキャリブレーション画像グループが存在するか判断する（Ｓ１３５）。もし、他の焦点距離のキャリブレーション画像グループが存在していれば、Ｓ３０に戻る。全ての焦点距離のキャリブレーション画像グループに関して、キャリブレーション要素を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。図１３は、キャリブレーション要素の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合１０６、についてグラフィック表示するとわかりやすい。
【００９９】
さらに、キャリブレーションした結果に基づいて、ディストーション補正した画像を、画像処理部８にて作成して表示部９に表示することもできる。こうすれば、ディストーションの大きいカメラにて撮影した画像も、ディストーション補正されて表示する画像表示装置を提供することが可能となる。
【０１００】
次に、演算処理部７で算出された内部パラメータを用いて、焦点距離を変数とするキャリブレーション補正係数関数の説明する。図１４は、焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図で、（Ａ）は式（１０）の係数ｋ１、（Ｂ）は式（１０）の係数ｋ２、（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０、（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０を表している。ここでは、被校正撮影装置１９の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。
【０１０１】
式（１０）の係数ｋ１、ｋ２は、最広角側で最大値をとり、最望遠側では小さくなっている。画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０は、被校正撮影装置１９の焦点距離が１１．６ｍｍと５２．２ｍｍで最小値４．４１をとり、２４．８ｍｍで最大値４．５５をとる複雑な変化をしているので、焦点距離の五次曲線で近似している。画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０は、被校正撮影装置１９の焦点距離に応じて単調に変化している。なお、チャート撮影画像はピントが合った状態で撮影されるので、被校正撮影装置１９の焦点距離ｆと、投影中心点Ｏｃから画像座標系９８までの画面距離Ｃとは、等しくなっている。
【０１０２】
演算処理部７では、焦点距離ｆを入力すると、内部パラメータ関数に用いられる係数ｋ１、ｋ２、ｘ０、ｙ０が得られる構成とするとよい。そして、内部パラメータ関数としての式（８）、式（９）、式（１０）にこれらの係数を代入して、それぞれの観測点に関して観測方程式を立てる。そして、観測方程式を連立して解くと共に、最小２乗法を適用することで、最も確からしい内部パラメータが算出できる。
【０１０３】
図１５は、本発明の第２の実施の形態を説明するキャリブレーション装置の構成ブロック図で、併せてキャリブレーション装置の実施例１と実施例３の構成ブロック図を示してある。図において、本発明のキャリブレーション装置は、画像データ取得部７１、取得画像データ記録部７２、マーク認識部７３、マーク位置探索部７４、内部パラメータ演算部７５、キャリブレーションチャート・マーク配置データベース７６、画像データ修正部７７、画像回転情報取得部８０、テンプレート姿勢調整部８１、テンプレート走査方向調整部８２を備えている。
【０１０４】
取得画像データ記録部７２は、前述の画像データ記憶部３に相当している。画像データ取得部７１は、図２に示すようなマークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影した複数のチャート撮影画像を取得して、画像データ記録部７２に記憶させる為のインターフェイス装置で、例えば各種のＩ／Ｏ機器が用いられる。
【０１０５】
マーク認識部７３は、チャート撮影画像に対してマークを抽出する為のテンプレートを作用させて、チャート撮影画像に存在するマークを認識するもので、例えば前述の抽出部４と精密マーク位置測定部６が対応している。マーク位置探索部７４は、マーク認識部７３で認識されたマークの、チャート撮影画像での対応位置を探索するもので、例えば前述の概略マーク位置測定部５と精密マーク位置測定部６が対応している。ここで、対応位置とは、確率論的な確からしさを表す尤度が所定値以上の場合、または最尤(most likelihood)条件の場合をいう。
【０１０６】
内部パラメータ演算部７５は、マーク位置探索部７４で選定されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算するもので、例えば前述の演算処理部７が対応している。キャリブレーションチャート・マーク配置データベース７６には、例えば前述のマーク座標記憶部１０が対応している。画像データ修正部７７には、例えば前述の画像処理部８が対応している。
【０１０７】
図２に示すキャリブレーションチャート１では、概括的な位置関係を定める概括基準マークと、当該概括基準マークよりも多数配置されると共に詳細な位置関係を定める詳細基準マークとが存在している。概括基準マークには、例えば図２の第１マーク１ａ、１ｂ、１ｃ、１ｄ、１ｅが相当している。詳細基準マークには、例えば図２の第２マークが相当している。マーク認識部７３は、抽出部４により概括基準マークのマーク認識を行ない、精密マーク位置測定部６により概括基準マークを用いて詳細基準マークのマーク認識を行なう。マーク位置探索部７４は、概略マーク位置測定部５により概括基準マークの対応位置の探索を行ない、精密マーク位置測定部６により概括基準マークの対応位置を用いて詳細基準マークの対応位置の探索を行なう。内部パラメータ演算部７５は、マーク位置探索部７４で選定された概括基準マークと詳細基準マークのマーク位置と、キャリブレーションチャート１での概括基準マークと詳細基準マークのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する構成とするとよい。
【０１０８】
画像回転情報取得部８０は、キャリブレーションチャート１の画像回転情報を取得するもので、例えば画像回転処理部５４や校正画像記憶部５９から取得する。テンプレート姿勢調整部８１は、画像回転情報取得部８０の取得した画像回転情報に基づき、マーク認識部７３で利用するテンプレートの姿勢を回転処理する。テンプレート走査方向調整部８２は、画像回転情報取得部８０の取得した画像回転情報に基づき、マーク認識部７３のテンプレートの作用としてのテンプレート走査方向を調整する。
【０１０９】
このように構成された装置の動作を次に説明する。図１６は図１５の装置の動作を説明するフローチャートである。まず、キャリブレーションチャート画像表示装置５０に表示されると共に、マークが配置されたキャリブレーションチャート１を、被校正撮影装置１９で撮影する（Ｓ３００）。次に、被校正撮影装置１９で撮影した複数のチャート撮影画像を、画像データ取得部７１で取得する（Ｓ３０２）。続いて、マーク認識部７３で用いるマークを抽出する為のテンプレートを設定する（Ｓ３０４）。設定されるテンプレートは、キャリブレーションチャート１に配置されたマークを抽出するのに適した画像とする。
【０１１０】
そして、マーク認識部７３はチャート撮影画像に対してテンプレートを作用させて、チャート撮影画像に存在するマークを認識する（Ｓ３０６）。次にマーク位置探索部７４は、Ｓ３０６で認識されたマークのチャート撮影画像での対応位置を探索する（Ｓ３０８）。内部パラメータ演算部７５は、Ｓ３０８で探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する（Ｓ３１０）。そして、画像データ修正部７７によって、得られた被校正撮影装置１９のキャリブレーション用データを用いて、チャート撮影画像の画像歪みを修正する（Ｓ３１２）。
【０１１１】
図１７は、チャート撮影画像と、マーク認識部によりチャート撮影画像に対して作用させるテンプレートの説明図である。図において、チャート撮影画像としてのキャリブレーションチャート１の略中央部に設けられた第１のマーク１ｆに対応して、概括基準マークを検出する第１のテンプレート１０８と、詳細基準マークを検出する第２のテンプレート１０９が設けられている。ここで、第１のマーク１ｆは四辺形の外枠と菱形の内枠を組合せた形状になっており、中心部には詳細基準マークに相当する第２のマークが形成されている。第１のテンプレート１０８は、第１のマーク１ｆの外枠よりも僅かに大きく形成された矩形形状をしている。第２のテンプレート１０９は、第２のマークよりも僅かに大きく形成された矩形形状をしている。
【０１１２】
なお、マーク認識部７３として、指定エリア濃淡方式を用いることができる。指定エリア濃淡方式を用いる場合には、キャリブレーションチャート１の全領域について概括基準マークに対応するテンプレート１０８を作用させて、次式の平均濃淡値を算出しつつ、テンプレートを走査させる。
Ｄave＝ΣＤ／Ｐnum （１１）
ここで、Ｄaveは指定されたテンプレート相当の領域における平均濃淡値、Ｄは各画素の濃淡値、Ｐnumは指定されたテンプレートの総画素数とする。そして、概括基準マークに相当する数の平均濃淡値の最も低い箇所を、マーク認識部７３が認識したマークとして扱う。マーク認識部７３に指定エリア濃淡方式を用いると、抽出部４において概括基準マークのマーク認識に用いられる残差逐次検定（ＳＳＤＡ）法や正規化相関法によるテンプレートマッチングに比較して、処理速度が早くなると共に、平均濃淡値が既に概括基準マークに相当する数の平均濃淡値の最も低い箇所でのマーク認識濃淡値に比較して大きくなったときは、計算の打切りが可能となり、演算処理が発散する可能性が少ない。
【０１１３】
図１８は、概括基準マークと詳細基準マークとが存在するキャリブレーションチャートに対して、図１５の装置を動作させる場合を説明するフローチャートである。まず、キャリブレーションチャート画像表示装置に表示されるキャリブレーションチャート１を、被校正撮影装置１９で撮影する（Ｓ４２０）。ここで、キャリブレーションチャート１には、概括的な位置関係を定める概括基準マークと、当該概括基準マークよりも多数配置されると共に詳細な位置関係を定める詳細基準マークが配置されている。次に、被校正撮影装置１９で撮影した複数のチャート撮影画像を、画像データ取得部７１で取得する（Ｓ４２１）。続いて、マーク認識部７３に概括基準マークを抽出する為の第１のテンプレート１０８を設定する（Ｓ４２２）。そして、マーク認識部７３は、チャート撮影画像に対して第１のテンプレートを作用させて、チャート撮影画像に存在する概括基準マークを認識する（Ｓ４２４）。次にマーク位置探索部７４は、Ｓ４２４で認識された概括基準マークの前記チャート撮影画像での対応位置を探索する（Ｓ４２６）。
【０１１４】
続いてマーク認識部７３は、探索された概括基準マークのマーク位置を用いて、チャート撮影画像に対して詳細基準マークを抽出する（Ｓ４２８）。そして、マーク位置探索部７４は、認識された詳細基準マークのチャート撮影画像での対応位置を探索する（Ｓ４３０）。内部パラメータ演算部７５は、探索された概括基準マークと概括基準マークのマーク位置と、キャリブレーションチャート１での対応する概括基準マークと概括基準マークのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する（Ｓ４３２）。そして、画像データ修正部７７によって、得られた被校正撮影装置１９のキャリブレーション用データを用いて、チャート撮影画像の画像歪みを修正する（Ｓ４３４）。
【０１１５】
次に、キャリブレーションチャート１の画像回転情報が既知の場合に適応させた、キャリブレーション装置の実施例１を説明する。キャリブレーション装置の実施例１では、図１５の装置において、画像回転情報取得部８０とテンプレート姿勢調整部８１が有効に作用する。図１９はキャリブレーション装置の実施例１の動作を説明するフローチャートである。まず、Ｓ３００、Ｓ３０２、Ｓ３０４は、前述した対応箇所の説明と重複するので、図１６の該当箇所の説明を援用する。次に、画像回転情報取得部８０は、キャリブレーションチャート１の画像回転情報を取得する（Ｓ３０５）。テンプレート姿勢調整部８１は、画像回転情報に基づき、テンプレートの姿勢を回転処理する（Ｓ３２０）。
【０１１６】
続いてマーク認識部７３は、チャート撮影画像に対してテンプレートを作用させて、チャート撮影画像に存在するマークを認識する（Ｓ３２２）。そして、マーク位置探索部７４は、認識されたマークのチャート撮影画像での対応位置を探索する（Ｓ３２４）。内部パラメータ演算部７５は、Ｓ３２４で探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する（Ｓ３２６）。そして、画像データ修正部７７によって、得られた被校正撮影装置１９のキャリブレーション用データを用いて、チャート撮影画像の画像歪みを修正する（Ｓ３２８）。
【０１１７】
図２０はテンプレート姿勢調整部によるテンプレートの姿勢を回転処理する状態の説明図で、（Ａ）は０°でのテンプレート画像例、（Ｂ）は２０°回転したテンプレート画像例を示している。図２１はチャート撮影画像に対してテンプレートを作用させる状態の実施例１と実施例３の説明図で、（Ａ）は０°でのキャリブレーションチャート１（ドットパターン）の表示画像例、（Ｂ）は２０°右上に傾けたドットパターンの表示画像例でテンプレート走査方向が水平な場合、（Ｃ）はテンプレート走査方向が画像回転角相当量傾いている場合を示している。Ｓ３２２では、図２０（Ｂ）に示すような回転処理したテンプレートを用いて、図２１（Ｂ）に示すようにテンプレート走査方向を水平としてチャート撮影画像に対してテンプレートを作用させている。
【０１１８】
次に、キャリブレーションチャート１の画像回転情報が未知の場合に適用させる、キャリブレーション装置の実施例２を説明する。図２２は、キャリブレーション装置の実施例２の構成ブロック図である。なお、図２２において前記図１５と同一作用をするものには同一符号を付して、説明を省略する。図において、実施例２のキャリブレーション装置は、テンプレート走査方向設定部８３と画像回転適応処理部８４を有している。
【０１１９】
テンプレート走査方向設定部８３は、マーク認識部７３のテンプレートの作用としてのテンプレート走査方向を複数設定する。画像回転適応処理部８４は、テンプレート走査方向設定部８３で設定された複数のテンプレート走査方向によりテンプレートを作用させて、最適なテンプレート走査方向を選択する。マーク認識部７３は、画像回転適応処理部８４で選択されたテンプレート走査方向を用いてチャート撮影画像に存在するマークを認識する。テンプレート走査方向の設定は、まず粗い角度（例えば１０°毎）間隔で概略の回転角度を検出し、次に細かな角度（例えば１〜２°毎）間隔で詳細な回転角度を検出する２段階方式とすると、高い精度と迅速処理を両立させることができる。
【０１２０】
図２３はキャリブレーション装置の実施例２の動作を説明するフローチャートである。まず、Ｓ３００、Ｓ３０２は、前述した対応箇所の説明と重複するので、図１６の該当箇所の説明を援用する。次に、テンプレート走査方向設定部８３によって、マークを抽出する為のテンプレートを設定すると共に、テンプレートのテンプレート走査方向を複数設定する（Ｓ３４０）。画像回転適応処理部８４によって、チャート撮影画像に対して複数のテンプレート走査方向によりテンプレートを作用させて、最適なテンプレート走査方向を選択する（Ｓ３４４）。マーク認識部７３は、チャート撮影画像に対して最適なテンプレート走査方向によりテンプレートを作用させて、チャート撮影画像に存在するマークを認識する（Ｓ３４６）。そして、マーク位置探索部７４は、認識されたマークのチャート撮影画像での対応位置を探索する（Ｓ３４８）。内部パラメータ演算部７５は、Ｓ３４８で探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する（Ｓ３５０）。そして、画像データ修正部７７によって、得られた被校正撮影装置１９のキャリブレーション用データを用いて、チャート撮影画像の画像歪みを修正する（Ｓ３５２）。
【０１２１】
次に、キャリブレーションチャート１の画像回転情報が既知の場合に適用させる、キャリブレーション装置の実施例３を説明する。キャリブレーション装置の実施例３では、図１５の装置において、画像回転情報取得部８０とテンプレート走査方向調整部８２が有効に作用する。また、図２１（Ｃ）に示すように、テンプレート走査方向が画像回転角相当量傾いている。
【０１２２】
図２４はキャリブレーション装置の実施例３の動作を説明するフローチャートである。まず、Ｓ３００、Ｓ３０２、Ｓ３０４は、前述した対応箇所の説明と重複するので、図１６の該当箇所の説明を援用する。次に、画像回転情報取得部８０は、キャリブレーションチャート１の画像回転情報を取得する（Ｓ３０５）。テンプレート走査方向調整部８２は、画像回転情報に基づき、テンプレート走査方向を調整する（Ｓ３６０）。Ｓ３６２、Ｓ３６４、Ｓ３６６、Ｓ３６８に関しては、図１９のＳ３２２、Ｓ３２４、Ｓ３２６、Ｓ３２８と同様なので、説明を省略する。
【０１２３】
次に、キャリブレーションチャート１の画像回転情報が既知の場合に適用させる、キャリブレーション装置の実施例４を説明する。図２５は、キャリブレーション装置の実施例２の構成ブロック図である。図において、実施例４のキャリブレーション装置は、画像データ取得部７１、取得画像データ記録部７２、キャリブレーションチャート・マーク配置データベース７６、画像回転情報取得部８０、画像回転初期化部８５、マーク認識部８６、マーク位置探索部８７、マーク位置回転処理部８８、内部パラメータ演算部８９、画像データ修正部９０を備えている。
【０１２４】
画像回転初期化部８５は、画像回転情報取得部８０で取得した画像回転情報に基づき、チャート撮影画像から画像回転の影響を除去して、例えば０°でのキャリブレーションチャート１の表示画像に初期化する。マーク認識部８６は、画像回転初期化部８５で初期化されたチャート撮影画像に対して、マークを抽出する為のテンプレートを作用させて、初期化されたチャート撮影画像に存在するマークを認識するもので、例えば前述の抽出部４と精密マーク位置測定部６が対応している。マーク位置探索部８７は、マーク認識部８６で認識されたマークの、初期化されたチャート撮影画像での対応位置を探索するもので、例えば前述の概略マーク位置測定部５と精密マーク位置測定部６が対応している。
【０１２５】
マーク位置回転処理部８８は、マーク位置探索部８７で探索されたマーク位置を、当初チャート撮影画像の画像回転情報に基づいて変換する。内部パラメータ演算部８９は、マーク位置回転処理部８８で変換されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算するもので、例えば前述の演算処理部７が対応している。画像データ修正部９０には、例えば前述の画像処理部８が対応している。
【０１２６】
図２６はキャリブレーション装置の実施例４の動作を説明するフローチャートである。まず、Ｓ３００、Ｓ３０２、Ｓ３０４は、前述した対応箇所の説明と重複するので、図１６の該当箇所の説明を援用する。次に、画像回転情報取得部８０は、キャリブレーションチャート１の画像回転情報を取得する（Ｓ３０５）。画像回転初期化部８５は、画像回転情報取得部８０で取得した画像回転情報に基づき、チャート撮影画像から画像回転の影響を除去する（Ｓ３８０）。なお、初期化されたチャート撮影画像には、被校正撮影装置１９のレンズ歪みの影響が含まれる為、キャリブレーションチャート１の画像と厳密には一致していない。
【０１２７】
続いて、マーク認識部８６は、Ｓ３８０で画像回転の影響を除去されたチャート撮影画像に対して、テンプレートを作用させて、画像回転の影響を除去されたチャート撮影画像に存在する前記マークを認識する（Ｓ３８２）。そして、マーク位置探索部８７は、Ｓ３８２で認識されたマークの、画像回転の影響を除去されたチャート撮影画像での対応位置を探索する（Ｓ３８４）。マーク位置回転処理部８８は、探索された対応マーク位置を、当初チャート撮影画像の画像回転情報に基づいて変換する（Ｓ３８６）。内部パラメータ演算部８９は、Ｓ３８６で変換された対応マーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する（Ｓ３８８）。そして、画像データ修正部９０によって、得られた被校正撮影装置１９のキャリブレーション用データを用いて、チャート撮影画像の画像歪みを修正する（Ｓ３９０）。
【０１２８】
図２７は実施例４と実施例６におけるテンプレートとキャリブレーションチャートの画像回転状態を説明する図で、（Ａ）は２０°右上に傾けたキャリブレーションチャート１（ドットパターン）の表示画像例、（Ｂ）は初期化された０°でのドットパターンの表示画像例、（Ｃ）はテンプレートにより探索されたマーク位置を原画像回転状態の画像に戻した状態、（Ｄ）は実施例６におけるマーク認識の説明図である。実施例４では、画像回転初期化部８５が、図２７（Ａ）のような原画像回転状態の画像を初期化して、図２７（Ｂ）のように変換する。次に、マーク位置回転処理部８８が図２７（Ｂ）のような初期化された画像を原画像に復元して、図２７（Ｃ）のように変換する。
【０１２９】
次に、キャリブレーションチャート１の画像回転情報が既知の場合に適用させる、キャリブレーション装置の実施例５を説明する。図２８は、キャリブレーション装置の実施例５の構成ブロック図である。図において、実施例５のキャリブレーション装置は、画像データ取得部７１、取得画像データ記録部７２、キャリブレーションチャート・マーク配置データベース７６、画像回転情報取得部８０、画像領域分割部９１、マーク認識部９２、マーク位置探索部９３、内部パラメータ演算部９４、画像データ修正部９５を備えている。
【０１３０】
画像領域分割部９１は、チャート撮影画像をマークが少なくとも一個含まれる複数の領域に分割する。概括基準マークと詳細基準マークとが存在するキャリブレーションチャートに対しては、画像領域分割部９１の分割基準のマークを概括基準マークとすると、分割数が適切な値となる。マーク認識部９２は、画像領域分割部９１で分割された個別のチャート撮影画像領域に対してマークを抽出する為のテンプレートを作用させて、チャート撮影画像領域に存在するマークを認識するもので、例えば前述の抽出部４と精密マーク位置測定部６の機能を用いている。マーク位置探索部９３は、マーク認識部９２で認識されたマークの、チャート撮影画像での対応位置を探索するもので、例えば前述の概略マーク位置測定部５と精密マーク位置測定部６の機能を用いている。内部パラメータ演算部９４は、マーク位置探索部９３で選定されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算するもので、例えば前述の演算処理部７の機能を用いている。画像データ修正部９５には、例えば前述の画像処理部８が対応している。
【０１３１】
図２９はキャリブレーション装置の実施例５の動作を説明するフローチャートである。まず、Ｓ３００、Ｓ３０２、Ｓ３０４は、前述した対応箇所の説明と重複するので、図１６の該当箇所の説明を援用する。次に、画像領域分割部９１によって、チャート撮影画像をマークが少なくとも一個含まれる複数の領域に分割する（Ｓ４００）。そして、マーク認識部９２は、Ｓ４００で分割された個別のチャート撮影画像領域に対して、テンプレートを作用させて、チャート撮影画像領域に存在するマークを認識する（Ｓ４０２）。マーク位置探索部９３は、認識されたマークの、チャート撮影画像での対応位置を探索する（Ｓ４０４）。内部パラメータ演算部９４は、探索されたマーク位置と、キャリブレーションチャート１でのマーク配置位置とを比較して、被校正撮影装置１９のキャリブレーション用データを演算する（Ｓ４０６）。そして、画像データ修正部９５によって、得られた被校正撮影装置１９のキャリブレーション用データを用いて、チャート撮影画像の画像歪みを修正する（Ｓ４０８）。
【０１３２】
図３０は、実施例５におけるテンプレートとキャリブレーションチャートの画像回転状態を説明する図である。画像領域分割部９１によって、キャリブレーションチャート１を、概括基準マーク毎に複数の領域に分割している。なお、マーク認識部９２として、指定エリア濃淡方式を用いることができる。指定エリア濃淡方式を用いる場合には、分割された個別のチャート撮影画像領域について概括基準マークに対応するテンプレートを作用させて、前出の式（１１）により平均濃淡値を算出する。そして、平均濃淡値の最も低い箇所を、マーク認識部９２はマークとして認識する。キャリブレーションチャート１を概括基準マーク毎に複数の領域に分割して概括基準マークを認識する場合には、キャリブレーションチャート１の全領域について概括基準マークの数だけマーク認識する場合に比較して、マーク認識された概括基準マークの管理が簡単になる。
【０１３３】
次に、テンプレートを設定することなく、キャリブレーションチャート１のマーク認識を行なう、キャリブレーション装置の実施例６を説明する。図３１は、キャリブレーション装置の実施例６の構成ブロック図である。図において、実施例６のキャリブレーション装置は、画像データ取得部７１、取得画像データ記録部７２、マーク位置探索部７４、内部パラメータ演算部７５、キャリブレーションチャート・マーク配置データベース７６、画像データ修正部７７、マーク基準寸法部９６、マーク認識部９７を備えている。
【０１３４】
マーク基準寸法部９６は、マークの基準寸法が設定されているもので、例えば次のようにして設定される。図１７に示すように、キャリブレーションチャート１と概括基準マークの大きさの比率をＫ、キャリブレーションチャート１全体のピクセルサイズをＰとすると、概括基準マークに対応する基準寸法Ｔは次式で与えられる。
Ｔ＝ＫｘＰ （１２）
マーク基準寸法部９６に設定される概括基準マークに対応する基準寸法Ｔは、概ね第１のテンプレート１０８の大きさに一致している。
【０１３５】
マーク認識部９７は、マーク基準寸法部９６で設定された基準寸法をチャート撮影画像に対して作用させて、チャート撮影画像に存在するマークを認識する。マーク認識部９７が、前出の指定エリア濃淡方式を適用している場合には、マーク基準寸法部９６で設定された基準寸法Ｔの線分について、前出の式（１１）を適用して、画像データに対して平均濃淡値を算出すると共に、線分をチャート撮影画像全体に対してスキャンを行う。マーク認識部９７は、平均濃淡値が低い（暗い）線分が密集する箇所を、概括基準マークの数だけ探索し、各密集した領域の中心を概括基準マークとして認識する。
【０１３６】
図３２はキャリブレーション装置の実施例６の動作を説明するフローチャートである。まず、Ｓ３００、Ｓ３０２は、前述した対応箇所の説明と重複するので、図１６の該当箇所の説明を援用する。次に、マーク基準寸法部９６で設定されたマークを抽出する為のマーク基準寸法を用いて、マーク認識部９７によりチャート撮影画像に対して作用させて、チャート撮影画像に存在するマークを認識する（Ｓ４１０）。Ｓ４１２、Ｓ４１４、Ｓ４１６に関しては、図１９のＳ３２４、Ｓ３２６、Ｓ３２８と同様なので、説明を省略する。
【０１３７】
なお、上記の実施の形態においては、キャリブレーションチャートとして平面的な画像の場合を示したが、本発明はこれに限定されるものではなく、立体的なものでも良い。図３３は立体基準チャートの一例を示す構成斜視図である。図において、立体基準チャート２０は、ターゲット２０ａ〜２０ｈの位置が三次元的に正確に測定されているもので、ターゲットの数、高さ、並びに平面的な座標は三次元計測に適するように適宜に定められている。
【０１３８】
図３４はキャリブレーションチャート画像表示部６１によって表示される三次元キャリブレーション画像の一例を説明する図である。キャリブレーション画像は、例えば図４（Ａ）で説明した正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）の５方向をキャリブレーション撮影方向として、図３３で示す立体基準チャート２０を撮影したものである。このような三次元キャリブレーション画像であっても、基準画像記憶部５２に記憶して、画像形成部５１により所定角度の回転処理して、キャリブレーションチャート画像表示部６１により表示できる。また、このような三次元キャリブレーション画像でも、本発明のキャリブレーション装置に表示させて良い。
【０１３９】
【発明の効果】
以上説明したように、本発明のキャリブレーションチャート画像表示装置によれば、所定のキャリブレーション撮影方向から撮影されたキャリブレーションチャートの画像を記憶する校正画像記憶部と、前記校正画像記憶部に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向と所定の画像回転角度に応じて表示するキャリブレーションチャート画像表示部とを備えているので、被校正撮影装置側で調整することなくキャリブレーション撮影方向を変えたキャリブレーションチャート画像がキャリブレーションチャート画像表示部に表示される。また、キャリブレーションチャート画像を所定の画像回転角度の変換処理してキャリブレーションチャート画像表示部に表示されるので、キャリブレーションチャートのマークは、被校正撮影装置の撮影に際してレンズ全面に渡って満遍なく配置される。
【０１４０】
また本発明の請求項８に記載のキャリブレーション装置によれば、キャリブレーションチャート画像表示装置に表示されると共に、マークが配置されたキャリブレーションチャートを、被校正撮影装置で撮影した複数のチャート撮影画像を用いて、当該被校正撮影装置のキャリブレーション用データを求めるキャリブレーション装置であって、前記チャート撮影画像に対して前記マークを抽出する為のテンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識するマーク認識部と前記マーク認識部で認識されたマークの、前記チャート撮影画像での対応位置を探索するマーク位置探索部と、前記マーク位置探索部で選定されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する内部パラメータ演算部を備えているので、キャリブレーションチャート表示装置に表示されたキャリブレーションチャートを用いて、カメラの画像歪曲を修正するのに必要とされる内部パラメータを容易に算出できる。
【０１４１】
また本発明の請求項１０乃至請求項１５に記載のキャリブレーション装置によれば、キャリブレーションチャート画像表示装置に表示される画像回転処理されたキャリブレーションチャートを、被校正撮影装置で撮影して取得したチャート撮影画像をキャリブレーション装置で処理する際に、画像回転処理された内容を反映させているので、被校正撮影装置の撮影に際してレンズ全面に渡って満遍なく配置されるキャリブレーションチャートのマークを用いて、カメラの画像歪曲を修正するのに必要とされる内部パラメータを容易に算出できる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】 キャリブレーションチャートの一例を示す平面図である。
【図３】 第１マークの一例を示す説明図である。
【図４】 レンズ収差を計測する場合のカメラ配置を説明する図で、（Ａ）はカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのカメラ間隔を示した図である。
【図５】 標準レンズや広角レンズのカメラによるチャートの撮影手順の説明図で、（Ａ１）〜（Ａ４）はカメラの画像、（Ｂ１）〜（Ｂ４）はカメラ画像に対応するチャートとカメラの位置関係を示している。
【図６】 キャリブレーションチャート画像表示部６１によって表示されるキャリブレーション画像の一例を説明する図である。
【図７】 画像回転処理部で回転処理されたキャリブレーションチャートの一例を示す図である。
【図８】 本発明のキャリブレーション装置の共通構造を説明する全体構成ブロック図である。
【図９】 キャリブレーション装置を用いたキャリブレーション方法を説明するフローチャートである。
【図１０】 Ｓ１０におけるキャリブレーションチャート画像表示装置を用いたキャリブレーション画像撮影を説明するフローチャートである。
【図１１】 Ｓ６０における第２マーク精密位置計測を説明するフローチャートである。
【図１２】 （Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。
【図１３】 キャリブレーション要素の演算処理結果の一例を示す説明図である。
【図１４】 焦点距離と内部パラメータ関数に用いられる係数の関係を説明する図である。
【図１５】 本発明の第２の実施の形態を説明するキャリブレーション装置の構成ブロック図で、併せてキャリブレーション装置の実施例１と実施例３の構成ブロック図を示してある。
【図１６】 図１５の装置の動作を説明するフローチャートである。
【図１７】 チャート撮影画像と、マーク認識部によりチャート撮影画像に対して作用させるテンプレートの説明図である。
【図１８】 概括基準マークと詳細基準マークとが存在するキャリブレーションチャートに対して、図１５の装置を動作させる場合を説明するフローチャートである。
【図１９】 キャリブレーション装置の実施例１の動作を説明するフローチャートである。
【図２０】 テンプレート姿勢調整部によるテンプレートの姿勢を回転処理する状態の説明図である。
【図２１】 チャート撮影画像に対してテンプレートを作用させる状態の説明図である。
【図２２】 キャリブレーション装置の実施例２の構成ブロック図である。
【図２３】 キャリブレーション装置の実施例２の動作を説明するフローチャートである。
【図２４】 キャリブレーション装置の実施例３の動作を説明するフローチャートである。
【図２５】 キャリブレーション装置の実施例４の構成ブロック図である。
【図２６】 キャリブレーション装置の実施例４の動作を説明するフローチャートである。
【図２７】 実施例４と実施例６におけるテンプレートとキャリブレーションチャートの画像回転状態を説明する図である。
【図２８】 キャリブレーション装置の実施例５の構成ブロック図である。
【図２９】 キャリブレーション装置の実施例５の動作を説明するフローチャートである。
【図３０】 実施例５におけるテンプレートとキャリブレーションチャートの画像回転状態を説明する図である。
【図３１】 キャリブレーション装置の実施例６の構成ブロック図である。
【図３２】 キャリブレーション装置の実施例６の動作を説明するフローチャートである。
【図３３】 立体基準チャートの一例を示す構成斜視図である。
【図３４】 キャリブレーションチャート画像表示部によって表示される三次元キャリブレーション画像の一例を説明する図である。
【符号の説明】
１ キャリブレーションチャート
１９ （被校正）撮影装置
５０ キャリブレーションチャート画像表示装置
５１ 画像形成部
５２ 基準画像記憶部
５３ 画像変換処理部
５４ 画像回転処理部
５５ 表示順序制御部
５６ 撮影信号出力部
５７ 校正画像切換え指示部
５８ 焦点距離修正制御部
５９ 校正画像記憶部
６１ キャリブレーションチャート画像表示部
７０ キャリブレーション装置
７３、８６、９２、９７ マーク認識部
７４、８７、９３ マーク位置探索部
７５、８９、９４ 内部パラメータ演算部
８０ 画像回転情報取得部
８１ テンプレート姿勢調整部
８２ テンプレート走査方向調整部
８３ テンプレート走査方向設定部
８４ 画像回転適応処理部
８５ 画像回転初期化部
８８ マーク位置回転処理部
９１ 画像領域分割部
９６ マーク基準寸法部[0001]
[Industrial application fields]
The present invention provides a calibration chart display device for measuring internal parameters {for example, lens principal point position, screen distance (focal length), distortion parameters, etc.} required for correcting camera image distortion. About. The present invention also relates to a calibration device and method for performing camera calibration using a calibration chart displayed on a calibration chart display device.
[0002]
[Prior art]
Conventionally, in the field of photogrammetry and photo measurement, it is important to obtain an image with less aberration. Therefore, as described in
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-280956 [0014], FIG.
[0004]
[Problems to be solved by the invention]
However, the method for obtaining camera internal parameters by photographing and measuring three-dimensional measurement points measured precisely as in the photogrammetry field has the following problems.
(1) Measurement points (targets) are arranged in three dimensions. Therefore, when shooting from a plurality of directions, a blind spot is generated, and a target that cannot be seen between images is generated.
{Circle around (2)} In the captured image, the positional relationship between the three-dimensional measurement points may be reversed, and measurement of the measurement points and association between the images are difficult and cannot be automated.
(3) Therefore, measurement points are measured and correspondence between images is performed by a highly skilled worker. Then, in order to obtain the internal parameters of the camera, high cost and long work are required.
In addition, the method of measuring the manufactured measurement camera precisely requires not only a dedicated tool, but also requires a skilled and specialized engine, making it expensive as a dedicated measurement camera. There is a problem.
[0005]
In recent years, therefore, a calibration method has been proposed in which lens aberration is measured by measuring two-dimensional measurement points printed on a sheet as an alternative to three-dimensional measurement points. However, the method for obtaining the lens aberration by measuring the measurement points printed on the sheet is printed on the calibration sheet by the camera that measures the lens aberration because the measurement points are arranged two-dimensionally. It is necessary to photograph measurement points from a plurality of positions and directions (for example, five directions such as front, upper right, lower right, upper left, and lower left). Then, there is a problem that know-how is necessary and difficult to shoot a calibration sheet by a camera.
[0006]
The present invention solves the above-described problems, and a first object is to provide a calibration chart display device that can easily shoot a calibration sheet by a camera. A second object is to provide a calibration device and method that can easily calculate internal parameters required to correct image distortion of a camera using a calibration chart displayed on a calibration chart display device. That is.
[0007]
[Means for Solving the Problems]
The calibration chart image display device of the present invention achieves the first object, and as shown in FIG. 1, a calibration image storage for storing an image of the
[0008]
Preferably, the calibration chart
[0009]
The calibration chart image display device of the present invention achieves the first object, as shown in FIG. 1, in a state where a calibration chart is observed from a predetermined calibration photographing direction and subjected to a predetermined rotation. The
[0010]
Preferably, the
[0011]
Preferably, in the calibration chart image display device according to the present invention, the calibration chart images displayed on the calibration chart
[0012]
Preferably, in the calibration chart image display device of the present invention, the display
[0013]
Preferably, in the calibration chart image display device of the present invention, a calibration chart image displayed on the calibration chart
[0014]
The calibration apparatus of the present invention achieves the second object. As shown in FIG. 15, the
[0015]
Preferably, the
[0016]
Preferably, in the calibration device of the present invention, an image rotation
[0017]
Preferably, in the calibration device of the present invention, as shown in FIG. 22, a template scanning
[0018]
Preferably, in the calibration apparatus of the present invention, as shown in FIG. 15, an image rotation
[0019]
The calibration apparatus according to the present invention achieves the second object. As shown in FIG. 25, the
[0020]
The calibration device of the present invention achieves the second object. As shown in FIG. 28, the
[0021]
The calibration device of the present invention achieves the second object. As shown in FIG. 31, the
[0022]
The calibration method of the present invention achieves the second object. As shown in FIG. 16, the
[0023]
The calibration method of the present invention achieves the second object. As shown in FIG. 19, the
[0024]
The calibration method according to the present invention achieves the second object. As shown in FIG. 23, the
[0025]
The calibration method of the present invention achieves the second object. As shown in FIG. 24, the
[0026]
The calibration method of the present invention achieves the second object. As shown in FIG. 26, the
[0027]
The calibration method of the present invention achieves the second object. As shown in FIG. 29, the
[0028]
The calibration method of the present invention achieves the second object. As shown in FIG. 32, the
[0029]
The calibration method of the present invention achieves the second object. As shown in FIG. 18, the
[0030]
DETAILED DESCRIPTION OF THE INVENTION
The present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the overall configuration of a first embodiment of the present invention. In the figure, a calibration chart
[0031]
The
[0032]
The display
[0033]
When the
[0034]
The calibration
[0035]
The
[0036]
Next,
[0037]
FIG. 2 is a plan view showing an example of a calibration chart. The
d = (h 2 + L 2 ) 1/2 (1)
[0038]
The first mark and the second mark are printed with desired dimensions in advance or the dimensions are measured. The numerical values of the printing positions of the first mark and the second mark are read into a mark coordinate
[0039]
The first mark is used not only for measuring and associating the approximate mark position but also as a target for determining the shooting direction. Furthermore, the central part of the outer shape rhombus of the first mark is used as a template for precise measurement by the precision mark
[0040]
FIG. 3 is an explanatory diagram showing an example of the first mark, where (A) shows a rhombus, (B) shows four arrows, and (C) shows a black rectangle. In FIGS. 3A and 3B, the first mark is arranged with rhombus or four arrows so as to surround the same symbol as the second mark, and consideration is given so that the operator can easily see. By making the pattern easy to visually recognize in this way, the extraction of the first mark becomes easy, and even if one photographing angle is selected from a wide photographing angle as the photographing direction of the calibrated photographing
[0041]
The second mark designates the position of the image data of the
[0042]
Subsequently, a calibration chart image in an arbitrary shooting direction formed by the image
[0043]
4A and 4B are diagrams for explaining the calibration shooting direction. FIG. 4A is a three-dimensional view showing a camera arrangement in the calibration shooting direction, and FIG. 4B is a calibration when a standard lens and a telephoto lens are generally used. It is the figure which showed the camera space | interval corresponding to a radiography direction. If there are two or more images related to a predetermined calibration shooting direction as images obtained by shooting the
[0044]
The calibration image is photographed in five directions as shown in FIG. 4A, that is, the front (I), the upper left (II), the upper right (III), the lower left (IV), and the lower right (V). To do. The photographing incident angle between the optical axis of the
[0045]
Hereinafter, the imaging procedure of the
[0046]
(I): From the front, photographing is performed so that the first mark and the second mark of
(II): Next, when a standard lens and a telephoto lens are generally used, the camera is moved to a position about 1/3 of the shooting distance H around the front camera position, for example, in the upper left quadrant. The camera position is changed so that the
[0047]
(III): The camera position is changed so that the
(IV): The camera position is changed so that the
(V): The camera position is changed so that the
By such a procedure, the angle of the
[0048]
Here, the distance H between the
Note that the upper limit of the tilt angle in the shooting direction is determined by the depth of focus. That is, if the tilt angle in the shooting direction is large, the distance between the
[0049]
When measuring the lens aberration of a telephoto lens or standard lens, the angle of view of the photographic lens becomes narrow and the angle cannot be obtained. Therefore, when the shooting direction is tilted from the front (I) to the upper left (II), etc., 10 degrees is not secured. That is, when the focal length is long, the shooting distance H between the
[0050]
In the above-described embodiment, the shooting position is shown in the five directions of front (I), upper left (II), upper right (III), lower left (IV), and lower right (V). In the lowest case, there are two left and right directions, or three or more directions. In the case of the left and right directions as well, the
[0051]
Further, instead of the flat sheet, the
[0052]
FIG. 6 is a view for explaining an example of a calibration image displayed by the calibration chart
[0053]
FIG. 7 is a diagram illustrating an example of a calibration chart rotated by the image rotation processing unit. FIG. 7A shows a calibration chart image with a rotation angle of 0 ° and FIG. 7B with a rotation angle of 20 °. A calibration chart image with a rotation angle of 0 ° is stored in the reference
[0054]
FIG. 8 is an overall configuration block diagram for explaining a common structure of the calibration apparatus of the present invention. The calibration chart
[0055]
The image
[0056]
The calibration apparatus includes an
[0057]
The
[0058]
The approximate mark
[0059]
The precision mark
[0060]
The
[0061]
Next, the entire flow of the calibration process using the calibration chart image display device and the calibration device of the present invention will be described with reference to FIG. FIG. 9 is a flowchart for explaining the entire flow of the calibration process. First, the calibration image displayed on the calibration chart
[0062]
First, when the calibrated photographing
[0063]
Next, a calibration chart image is displayed on the calibration chart image display unit 61 (S12). The calibration chart image to be displayed may be a photograph of the
[0064]
Next, the camera position is set so that the calibration image displayed on the calibration chart
[0065]
Then, it is determined whether the calibrated photographing
[0066]
After the required number of images have been taken at one focal length with respect to the
[0067]
When the calibration
[0068]
Returning to FIG. 9, with respect to the calibration image stored in the image
[0069]
Subsequently, an image to be processed this time is selected from the calibration image group formed for each focal length (S30). That is, the calibration apparatus reads the image data of the selected calibration image group from the image
[0070]
(I): First mark extraction process
In the first mark extraction process, a secondary projective transformation formula between the plane coordinates of the
[0071]
I- (1)... The operator obtains the approximate position of the first mark by clicking on the second image of the first mark to be detected on the entire image displayed on the display unit 9 and clicking.
I- (2)... A local image including the second mark is cut out from the enlarged image with the image coordinates obtained in I- (1) as the center and displayed. At this time, an image including the second mark can be used as a template for the second mark precision position measurement.
I- (3) ... The mouse cursor position is placed on the center of gravity of the second mark on the enlarged image displayed in I- (2) and clicked, and this image coordinate is used as the center of gravity of the first mark. . It should be noted that the alignment at I- (3) does not have to be exact in order to perform the approximate position association in the subsequent processing.
I- (4) ... Next, in order to correspond to the management number of the second mark stored in the mark coordinate
[0072]
In the first mark extraction process, for example, if the measurement order of the first mark on the
[0073]
Next, as another processing procedure of the first mark extraction process, there is a method of measuring only the entire image as shown in FIG. 2 without using an enlarged image. In this case, the process of I- (1) is performed, and the management number of the second mark corresponding to the barycentric position of the first mark measured in I- (1) is input in I- (4). In this way, since the enlarged image is not used, the processes I- (2) and I- (3) can be omitted. However, since the entire image is displayed, the first mark is displayed in a small size. Therefore, it may be determined whether or not to use the enlarged image according to the preference of the operator.
[0074]
Next, a case where the first mark extraction process is automatically performed by the
[0075]
Next, a case where the first mark extraction process is further automatically performed by the
However, since it is sufficient to measure at least three points for the first mark, even a manual operation is a simple operation.
[0076]
Returning to FIG. 9, the approximate mark
(II-1): Step of obtaining an external orientation element
In the approximate mark
X = (b1 · x + b2 · y + b3) / (b7 · x + b8 · y + 1)
Y = (b4 * x + b5 * y + b6) / (b7 * x + b8 * y + 1) (2)
Here, X and Y indicate reference point coordinates, and x and y indicate image coordinates.
[0077]
Next, the relationship between the reference point coordinates and the image coordinates will be described. FIG. 12A is an explanatory diagram of an image coordinate system and a target coordinate system in central projection. In the case of central projection, an object coordinate system 99 as a reference point coordinate system on which the
[0078]
Then, using the parameters b1 to b8 in the equation (2), the next external orientation element is obtained from the equation (3).
ω = tan -1 (C ・ b8)
φ = tan -1 (-C ・ b7 ・ cosω)
κ = tan -1 (−b4 / b1) (when φ = 0)
κ = tan -1 (−b2 / b5) (when φ ≠ 0, ω = 0)
κ = tan -1 {-(A1, A3-A2, A4) / (A1, A2-A3, A4)} (when φ ≠ 0, ω ≠ 0)
[0079]
Z0 = C.cos.omega. {(A22 + A32) / (A12 + A42)} 1/2 + Zm
X0 = b3− (tan ω · sin κ / cos φ−tan φ · cos κ) × (Zm−Z0)
Y0 = b6- (tan [omega] .cos [kappa] / cos [phi] -tan [phi] .sin [kappa]) * (Zm-Z0) (3)
However, A1 = 1 + tan 2 φ, A2 = B1 + B2 · tanφ / sinω, A3 = B4 + B5 · tanφ / sinω, and A4 = tanφ / (cosφ · tanω). Zm is the average elevation of the reference points of the
[0080]
(II-2): Step of calculating the approximate position of the second mark
Next, based on the principle of single photo orientation, the camera coordinates (xp,...) In the tilted camera coordinate system represented by the image coordinate system 98 with respect to the ground object (X, Y, Z) represented by the target coordinate system 99. yp, zp) is given by equation (4).
[Expression 1]
[0081]
Here, the tilt (ω, φ, κ) of the camera obtained by Equation (3) is substituted into Equation (4), and the rotation matrix is calculated to obtain the rotation matrix elements a11 to a33.
[0082]
Next, the elements a11 to a33 of the obtained rotation matrix, the camera position (X0, Y0, Z0) obtained by the equation (3), and the reference point coordinates (X, Y, Z) of the target are collinear conditions. Substituting into the expression {expression (5)}, the image coordinates (x, y) of the target are obtained. Here, the collinear conditional expression is a relational expression that is established when the projection center, the photographic image, and the ground object are on a straight line. As a result, the position of the second mark when there is no lens aberration is calculated, so that the approximate image coordinates of the target in the image captured by the actual calibrated
x = -C. {a11 (X-X0) + a12 (X-X0) + a13 (Z-Z0)} /
{A31 (X-X0) + a32 (X-X0) + a33 (Z-Z0)}
y = -C. {a21 (X-X0) + a22 (X-X0) + a23 (Z-Z0)} /
{A31 (X-X0) + a32 (X-X0) + a33 (Z-Z0)} (5)
[0083]
By the way, tan in equation (3) -1 In this calculation, since two solutions are obtained, the camera tilts (ω, φ, κ) each have two solutions and are calculated in all ways. The correct answer is obtained by comparing the residuals of the image coordinates of the
In addition, although it demonstrated using the secondary projection transformation formula here as a projection transformation formula, this invention is not limited to this, Even if other projection transformation formulas, such as a tertiary projection transformation formula, are utilized. good. Further, the approximate mark
[0084]
Returning to FIG. 9, the precision mark
[0085]
(III) Target recognition
FIG. 12B is an explanatory diagram of a normalized correlation template image and target image used for target recognition. First, an arbitrary target is selected from the center of gravity positions of the first marks measured in the first mark extraction process (S40), for example, the
[0086]
Next, the template matching by the normalized correlation shown in Expression (6) is performed on the target image, and the position where the correlation value is maximized is obtained. It is assumed that superposition is achieved at a position where the correlation value becomes the maximum value, and the target is recognized at the position where the correlation value becomes the maximum value. Here, the center coordinates of the template image are converted into image coordinates on the same-size image and set as detection points.
A = {M 2 × Σ (Xi × Ti) −ΣXi × ΣTi} /
[{M 2 × ΣXi 2 -(ΣXi) 2 } × {M 2 × ΣTi 2 -(ΣTi) 2 }] (6)
Here, A is the correlation value, M is the square size of the template image, Xi is the target image, and Ti is the template image. Although the square sizes N and M of the image are variable, it is preferable to make N and M as small as possible on the assumption that the target can be sufficiently stored in order to speed up the processing time.
[0087]
Returning to FIG. 11, in order to perform the precise position measurement of the second mark, sub-pixel edge detection of the second mark is performed (S64). The target image on which the sub-pixel edge detection of the second mark is performed is an N × N pixel image centered on the detection point recognized as the target in S62. Laplacian-Gaussian filter (LOG filter), which is the second derivative of the Gaussian function shown in Equation (7), is applied to the grayscale waveform existing in the target image, and two zero crossing points, that is, edges of the calculation result curve are sub Detect by pixel. Here, the sub-pixel means that position detection is performed with an accuracy finer than one pixel.
∇ 2 G (x) = {(x 2 -2σ 2 ) / 2πσ 6 } · Exp (−x 2 / 2σ 2 (7)
Here, σ is a parameter of the Gaussian function.
[0088]
Next, the position of the center of gravity of the target is detected (S66) and returned (S68). Here, the intersection point is set as the center of gravity of the target from the edge positions in the x and y directions obtained using Expression (7). Note that the precise position measurement of the second mark is not limited to the processing disclosed in S62 to S66, and any other center-of-gravity position detection method such as a moment method or a template matching method may be used. You may ask for this.
[0089]
Returning to FIG. 9, all target center-of-gravity positions are confirmed, and it is confirmed that there is no apparent error (S70). That is, it is confirmed whether or not the position detection of the target recognized is appropriate. For the convenience of confirmation by the operator, the position of the detected target is displayed on the display unit 9. If there is no error, go to S80. If there is an error, an inappropriate target position is corrected (S75). For example, the target whose correlation value calculated in S62 is low or the target whose center of gravity detection position is too far from the approximate detection position can be clearly seen by the operator, such as making the target display red on the display unit 9. To display. Then, with respect to the target with an error, the operator manually measures it again (specifies the position of the center of gravity with the mouse). Even if the erroneous target position is not forcibly corrected here, it can be removed because it is detected as an abnormal point also in the process of S90 for obtaining the calibration parameter later.
[0090]
And the process of S30-S75 is repeated for the image required for the measurement of a lens aberration (S80). For example, if there are five captured images, all five images may be repeated, and if the images necessary for the measurement of lens aberration have been reached, all the captured images are processed repeatedly. You don't have to.
[0091]
When the measurement process for the image necessary for the measurement of the lens aberration is completed, the process proceeds to a process for obtaining a lens aberration calibration element using the camera internal parameter calculation process of the calculation processing unit 7 (S90). Here, as the calculation target of the calibration element, all the second marks on which the center of gravity position is obtained by associating the second mark on the
[0092]
(IV): Camera internal parameter calculation processing (bundle adjustment method with self-calibration)
As the camera internal parameter calculation processing of the
[0093]
[Expression 2]
Expressions (8) and (9) are based on the collinear conditional expression (5) for single photograph orientation described in the first mark extraction process. In other words, the bundle adjustment method is a method of calculating various solutions by approximating the least squares from a plurality of images using the equations (8) and (9), and simultaneously obtaining the external orientation elements of the cameras at the respective photographing positions. Is possible. That is, it is possible to obtain a camera calibration element.
[0095]
Next, as an internal localization correction model (lens aberration), an example in the case of having radial lens distortion is shown in the following equation (10).
[Expression 4]
[0096]
Returning to FIG. 9, the calculation processing result for obtaining the calibration element by the
[0097]
Then, the operator corrects the erroneous second mark by manual operation (S120). That is, the coordinates of the center of gravity of the second mark with an error are displayed with a shift, and the correction is made by moving the mark displayed as the second mark with an error to the center of gravity displayed as aptitude. Is done. Then, it is determined whether the correction of the position of the erroneous second mark has been completed (S130). If completed, the process returns to the calibration element calculation of S90, and the calibration element is calculated again. On the other hand, if there are other correction points, the process returns to S110 and repeats the operation of correcting the position of the erroneous second mark.
[0098]
If the calculation processing result for obtaining the calibration element is appropriate, it is determined whether there is a calibration image group of another focal length (S135). If calibration image groups with other focal lengths exist, the process returns to S30. If the calculation processing results for obtaining the calibration elements are appropriate for all the focal length calibration image groups, the results are displayed on the display unit 9 (S140). FIG. 13 is an explanatory diagram showing an example of the calculation processing result of the calibration element. For example, the focal length, the principal point position, and the distortion parameter, which are calibration elements, are displayed on the display unit 9. The distortion indicating the lens aberration can be easily understood by graphically displaying the
[0099]
Furthermore, based on the result of calibration, a distortion-corrected image can be created by the
[0100]
Next, the calibration correction coefficient function using the focal length as a variable will be described using the internal parameters calculated by the
[0101]
Coefficients k1 and k2 in equation (10) take the maximum value on the widest angle side and decrease on the farthest telephoto side. X-axis positional deviation coefficient x between the camera principal point and the image center in the image coordinate system x 0 Since the focal length of the calibrated photographing
[0102]
In the
[0103]
FIG. 15 is a configuration block diagram of a calibration apparatus for explaining the second embodiment of the present invention, and also shows a configuration block diagram of Examples 1 and 3 of the calibration apparatus. In the figure, the calibration apparatus of the present invention includes an image
[0104]
The acquired image
[0105]
The
[0106]
The internal
[0107]
In the
[0108]
The image rotation
[0109]
Next, the operation of the apparatus configured as described above will be described. FIG. 16 is a flowchart for explaining the operation of the apparatus shown in FIG. First, the
[0110]
Then, the
[0111]
FIG. 17 is an explanatory diagram of a chart photographed image and a template that acts on the chart photographed image by the mark recognition unit. In the figure, corresponding to the first mark 1f provided at substantially the center of the
[0112]
As the
Dave = ΣD / Pnum (11)
Here, Dave is the average gray value in the area corresponding to the designated template, D is the gray value of each pixel, and Pnum is the total number of pixels of the designated template. Then, the portion having the lowest average gray value corresponding to the general reference mark is treated as a mark recognized by the
[0113]
FIG. 18 is a flowchart for explaining a case where the apparatus of FIG. 15 is operated with respect to a calibration chart having general reference marks and detailed reference marks. First, the
[0114]
Subsequently, the
[0115]
Next, a first embodiment of the calibration apparatus adapted to the case where the image rotation information of the
[0116]
Subsequently, the
[0117]
20A and 20B are explanatory diagrams of a state in which the template posture adjustment unit performs the rotation processing of the template posture. FIG. 20A shows a template image example at 0 °, and FIG. 20B shows a template image example rotated by 20 °. FIG. 21 is an explanatory diagram of Example 1 and Example 3 in a state where the template is applied to the chart photographed image. FIG. 21A is an example of a display image of the calibration chart 1 (dot pattern) at 0 °. ) Is an example of a display image of a dot pattern tilted to the upper right by 20 °, where the template scanning direction is horizontal, and (C) shows the case where the template scanning direction is inclined by an amount corresponding to the image rotation angle. In S322, using the template subjected to the rotation processing as shown in FIG. 20B, the template is applied to the chart photographed image with the template scanning direction as horizontal as shown in FIG. 21B.
[0118]
Next, a second embodiment of the calibration apparatus that is applied when the image rotation information of the
[0119]
The template scanning
[0120]
FIG. 23 is a flowchart for explaining the operation of the second embodiment of the calibration apparatus. First, since S300 and S302 overlap with the description of the corresponding portion described above, the description of the corresponding portion in FIG. Next, the template scanning
[0121]
Next, a third embodiment of the calibration apparatus that is applied when the image rotation information of the
[0122]
FIG. 24 is a flowchart for explaining the operation of the calibration apparatus according to the third embodiment. First, since S300, S302, and S304 overlap with the description of the corresponding part mentioned above, the description of the applicable part of FIG. 16 is used. Next, the image rotation
[0123]
Next, a fourth embodiment of the calibration apparatus that is applied when the image rotation information of the
[0124]
The image
[0125]
The mark position
[0126]
FIG. 26 is a flowchart for explaining the operation of the calibration apparatus according to the fourth embodiment. First, since S300, S302, and S304 overlap with the description of the corresponding part mentioned above, the description of the applicable part of FIG. 16 is used. Next, the image rotation
[0127]
Subsequently, the
[0128]
FIG. 27 is a diagram for explaining image rotation states of the template and the calibration chart in the fourth and sixth embodiments. FIG. 27A is an example of a display image of the calibration chart 1 (dot pattern) tilted 20 ° to the upper right. (B) is a display image example of the initialized dot pattern at 0 °, (C) is a state in which the mark position searched by the template is returned to the image in the original image rotation state, and (D) is the mark in the sixth embodiment. It is explanatory drawing of recognition. In the fourth embodiment, the image
[0129]
Next, a description will be given of a fifth embodiment of the calibration apparatus applied when the image rotation information of the
[0130]
The image
[0131]
FIG. 29 is a flowchart for explaining the operation of the fifth embodiment of the calibration apparatus. First, since S300, S302, and S304 overlap with the description of the corresponding part mentioned above, the description of the applicable part of FIG. 16 is used. Next, the image
[0132]
FIG. 30 is a diagram illustrating the image rotation state of the template and the calibration chart in the fifth embodiment. The image
[0133]
Next, a description will be given of a sixth embodiment of the calibration apparatus that performs mark recognition of the
[0134]
The mark
T = KxP (12)
The reference dimension T corresponding to the general reference mark set in the mark
[0135]
The
[0136]
FIG. 32 is a flowchart for explaining the operation of the calibration apparatus according to the sixth embodiment. First, since S300 and S302 overlap with the description of the corresponding portion described above, the description of the corresponding portion in FIG. Next, by using the mark reference dimension for extracting the mark set by the mark
[0137]
In the above-described embodiment, the case of a planar image is shown as the calibration chart. However, the present invention is not limited to this and may be a three-dimensional image. FIG. 33 is a structural perspective view showing an example of a three-dimensional reference chart. In the figure, the three-dimensional reference chart 20 is one in which the positions of the
[0138]
FIG. 34 is a diagram for explaining an example of a three-dimensional calibration image displayed by the calibration chart
[0139]
【The invention's effect】
As described above, according to the calibration chart image display device of the present invention, the calibration image storage unit that stores the image of the calibration chart photographed from the predetermined calibration photographing direction and the calibration image storage unit store the calibration chart image. Since the calibration chart image display unit that displays the calibration chart image that has been displayed in accordance with the calibration shooting direction and a predetermined image rotation angle is provided, calibration shooting can be performed without adjustment on the calibrated shooting apparatus side. The calibration chart image with the direction changed is displayed on the calibration chart image display unit. In addition, since the calibration chart image is converted into a predetermined image rotation angle and displayed on the calibration chart image display unit, the calibration chart mark is evenly arranged over the entire lens surface when photographing with the calibrated photographing apparatus. Is done.
[0140]
According to the calibration apparatus of the eighth aspect of the present invention, a plurality of chart photographings in which the calibration chart displayed on the calibration chart image display device and on which the mark is arranged is photographed by the calibrated photographing apparatus. A calibration apparatus for obtaining calibration data of the calibration photographing apparatus using an image, and presenting the chart photographed image by applying a template for extracting the mark to the chart photographed image A mark recognizing unit for recognizing the mark, a mark position searching unit for searching for a corresponding position in the chart photographed image of the mark recognized by the mark recognizing unit, and a mark position selected by the mark position searching unit Compare the mark placement position on the calibration chart and the school Since it has an internal parameter calculation unit that calculates calibration data for the imaging device, it is necessary to correct the image distortion of the camera using the calibration chart displayed on the calibration chart display device. Parameters can be calculated easily.
[0141]
According to the calibration device of the present invention, the calibration chart subjected to the image rotation processing displayed on the calibration chart image display device is photographed and acquired by the photographic device to be calibrated. When processing the captured chart image with the calibration device, the contents of the image rotation processing are reflected, so the calibration chart mark that is arranged evenly over the entire surface of the lens is used when photographing with the calibration device. Thus, it is possible to easily calculate the internal parameters required for correcting the image distortion of the camera.
[Brief description of the drawings]
FIG. 1 is an overall configuration block diagram for explaining a first embodiment of the present invention;
FIG. 2 is a plan view showing an example of a calibration chart.
FIG. 3 is an explanatory diagram illustrating an example of a first mark.
FIGS. 4A and 4B are diagrams illustrating a camera arrangement when measuring lens aberrations. FIG. 4A is a three-dimensional view illustrating the camera arrangement, and FIG. 4B is a diagram when a standard lens and a telephoto lens are generally used. It is the figure which showed the camera space | interval.
FIGS. 5A and 5B are explanatory diagrams of a chart photographing procedure using a standard lens or a wide-angle lens camera. FIGS. 5A to 5A are camera images, and FIGS. The positional relationship is shown.
6 is a diagram illustrating an example of a calibration image displayed by a calibration chart
FIG. 7 is a diagram illustrating an example of a calibration chart rotated by an image rotation processing unit.
FIG. 8 is an overall configuration block diagram illustrating a common structure of the calibration apparatus according to the present invention.
FIG. 9 is a flowchart illustrating a calibration method using a calibration apparatus.
FIG. 10 is a flowchart illustrating calibration image shooting using a calibration chart image display device in S10.
FIG. 11 is a flowchart illustrating second mark precision position measurement in S60.
12A is an explanatory diagram of an image coordinate system and a target coordinate system in central projection, and FIG. 12B is an explanatory diagram of a normalized correlation template image and target image used for target recognition.
FIG. 13 is an explanatory diagram illustrating an example of a calculation process result of a calibration element.
FIG. 14 is a diagram illustrating a relationship between a focal length and coefficients used for an internal parameter function.
FIG. 15 is a configuration block diagram of a calibration apparatus for explaining a second embodiment of the present invention, and also shows a configuration block diagram of Example 1 and Example 3 of the calibration apparatus.
16 is a flowchart for explaining the operation of the apparatus shown in FIG.
FIG. 17 is an explanatory diagram of a chart photographed image and a template that acts on the chart photographed image by the mark recognition unit.
FIG. 18 is a flowchart illustrating a case where the apparatus of FIG. 15 is operated on a calibration chart in which a general reference mark and a detailed reference mark exist.
FIG. 19 is a flowchart for explaining the operation of the calibration apparatus according to the first embodiment;
FIG. 20 is an explanatory diagram of a state in which the template orientation is rotated by the template orientation adjustment unit.
FIG. 21 is an explanatory diagram of a state in which a template is applied to a chart photographed image.
FIG. 22 is a block diagram illustrating a configuration of a calibration apparatus according to a second embodiment.
FIG. 23 is a flowchart for explaining the operation of the calibration apparatus according to the second embodiment;
FIG. 24 is a flowchart for explaining the operation of the calibration apparatus according to the third embodiment.
FIG. 25 is a configuration block diagram of a calibration apparatus according to a fourth embodiment.
FIG. 26 is a flowchart illustrating the operation of the calibration apparatus according to the fourth embodiment.
FIG. 27 is a diagram illustrating image rotation states of templates and calibration charts according to the fourth and sixth embodiments.
FIG. 28 is a block diagram illustrating a configuration of a calibration apparatus according to a fifth embodiment.
FIG. 29 is a flowchart illustrating the operation of the calibration apparatus according to the fifth embodiment.
30 is a diagram for explaining an image rotation state of a template and a calibration chart in
FIG. 31 is a block diagram illustrating a configuration of a calibration apparatus according to a sixth embodiment.
FIG. 32 is a flowchart for explaining the operation of the calibration apparatus according to the sixth embodiment;
FIG. 33 is a structural perspective view showing an example of a three-dimensional reference chart.
FIG. 34 is a diagram illustrating an example of a three-dimensional calibration image displayed by a calibration chart image display unit.
[Explanation of symbols]
1 Calibration chart
19 (To be calibrated) Imaging device
50 Calibration chart image display device
51 Image forming unit
52 Reference image storage unit
53 Image conversion processor
54 Image rotation processing unit
55 Display order controller
56 Shooting signal output section
57 Calibration image switching instruction section
58 Focal length correction controller
59 Calibration image storage
61 Calibration chart image display
70 Calibration device
73, 86, 92, 97 Mark recognition unit
74, 87, 93 Mark position search unit
75, 89, 94 Internal parameter calculator
80 Image rotation information acquisition unit
81 Template posture adjustment unit
82 Template scanning direction adjustment section
83 Template scanning direction setting section
84 Image rotation adaptive processing unit
85 Image rotation initialization section
88 Mark position rotation processing section
91 Image area dividing unit
96 Mark reference dimension
Claims (23)
前記校正画像記憶部に記憶されたキャリブレーションチャート画像を、前記キャリブレーション撮影方向と所定の画像回転角度に応じて表示するキャリブレーションチャート画像表示部と；
を備えるキャリブレーションチャート画像表示装置。A calibration image storage unit for storing images of a plurality of calibration charts photographed from different predetermined calibration photographing directions;
A calibration chart image display unit that displays the calibration chart image stored in the calibration image storage unit in accordance with the calibration photographing direction and a predetermined image rotation angle;
A calibration chart image display device comprising:
該画像形成部で形成されたキャリブレーションチャート画像を表示するキャリブレーションチャート画像表示部と；
を備えるキャリブレーションチャート画像表示装置。An image forming unit that forms a plurality of images in a state in which a calibration chart with a predetermined rotation is observed from different predetermined calibration imaging directions;
A calibration chart image display unit for displaying a calibration chart image formed by the image forming unit;
A calibration chart image display device comprising:
異なる特定方向から撮影された複数のキャリブレーションチャートの画像を記憶する基準画像記憶部と；
前記基準画像記憶部に記憶された画像を用いて、前記特定方向と前記キャリブレーション撮影方向との画像変換関係を適用して、前記キャリブレーション撮影方向のキャリブレーションチャートの画像を形成する画像変換処理部を備える；
請求項３に記載のキャリブレーションチャート画像表示装置。The image forming unit is;
A reference image storage unit for storing images of a plurality of calibration charts taken from different specific directions;
Image conversion processing for forming an image of the calibration chart in the calibration shooting direction by applying an image conversion relationship between the specific direction and the calibration shooting direction using the image stored in the reference image storage unit Comprising a section;
The calibration chart image display device according to claim 3.
請求項１乃至請求項４の何れか１項に記載のキャリブレーションチャート画像表示装置。And a display order control unit that sequentially selects calibration chart images displayed on the calibration chart image display unit in conjunction with the imaging operation of the imaging device to be calibrated;
The calibration chart image display device according to any one of claims 1 to 4.
前記キャリブレーションチャート画像表示部が、キャリブレーションチャート画像を表示した後、撮影信号を前記撮影装置に出力する撮影信号出力部と；
前記撮影装置による前記キャリブレーションチャート画像の撮影完了信号を入力して、前記キャリブレーションチャート画像表示部に対して、後続するキャリブレーションチャート画像の表示命令信号を出力する校正画像切換え指示部とを備える；
請求項５に記載のキャリブレーションチャート画像表示装置。The display order control unit further includes:
An imaging signal output unit that outputs an imaging signal to the imaging device after the calibration chart image display unit displays the calibration chart image;
A calibration image switching instruction unit for inputting a calibration completion signal for the calibration chart image by the imaging device and outputting a display command signal for a subsequent calibration chart image to the calibration chart image display unit; ;
The calibration chart image display device according to claim 5.
請求項１乃至請求項６の何れか１項に記載のキャリブレーションチャート画像表示装置。Further, the focal length correction control for changing at least one of the size and density of the calibration chart image displayed on the calibration chart image display unit according to the focal length information acquired from the imaging device to be calibrated. Comprising a section;
The calibration chart image display device according to any one of claims 1 to 6.
前記チャート撮影画像に対して前記マークを抽出する為のテンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識するマーク認識部と；
前記マーク認識部で認識されたマークの、前記チャート撮影画像での対応位置を探索するマーク位置探索部と；
前記マーク位置探索部で選定されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する内部パラメータ演算部と；
を備えるキャリブレーション装置。A calibration chart image displayed on the calibration chart image display device, and a calibration chart on which the mark is arranged is calibrated by using the plurality of chart photographed images obtained by photographing the calibration chart from different photographing angles . A calibration device for obtaining data;
A mark recognition unit that recognizes the mark existing in the chart photographed image by applying a template for extracting the mark to the chart photographed image;
A mark position search unit for searching for a corresponding position in the chart photographed image of the mark recognized by the mark recognition unit;
An internal parameter calculator that compares the mark position selected by the mark position search unit with the mark arrangement position on the calibration chart and calculates calibration data of the calibration object photographing apparatus;
A calibration device comprising:
前記マーク認識部は、前記概括基準マークのマーク認識と、前記概括基準マークを用いて前記詳細基準マークのマーク認識を行ない；
前記マーク位置探索部は、前記概括基準マークの対応位置の探索と、前記概括基準マークの対応位置を用いて前記詳細基準マークの対応位置を探索し；
内部パラメータ演算部は、前記マーク位置探索部で選定された前記概括基準マークと前記詳細基準マークのマーク位置と、前記キャリブレーションチャートでの概括基準マークと詳細基準マークのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する；
請求項８に記載のキャリブレーション装置。The calibration chart includes, as the marks, general reference marks that define a general positional relationship, and detailed reference marks that are arranged more than the general reference marks and define a detailed positional relationship;
The mark recognition unit performs mark recognition of the general reference mark and mark recognition of the detailed reference mark using the general reference mark;
The mark position search unit searches for a corresponding position of the general reference mark using a search for a corresponding position of the general reference mark and a corresponding position of the general reference mark;
The internal parameter calculator compares the mark positions of the general reference mark and the detailed reference mark selected by the mark position search unit, and the mark placement positions of the general reference mark and the detailed reference mark in the calibration chart. Calculating calibration data of the calibrated photographing apparatus;
The calibration device according to claim 8.
前記画像回転情報に基づき、前記テンプレート姿勢を回転処理するテンプレート姿勢調整部と；
を備え、前記マーク認識部は、前記テンプレート姿勢調整部で回転処理されたテンプレートを用いて前記チャート撮影画像に存在する前記マークを認識する請求項８又は請求項９に記載のキャリブレーション装置。An image rotation information acquisition unit for acquiring image rotation information of the calibration chart;
A template posture adjustment unit that rotates the template posture based on the image rotation information;
The calibration device according to claim 8, wherein the mark recognizing unit recognizes the mark existing in the chart photographed image using the template rotated by the template posture adjusting unit.
前記テンプレート走査方向設定部で設定された複数のテンプレート走査方向により前記テンプレートを作用させて、最適なテンプレート走査方向を選択する画像回転適応処理部と；
を備え、前記マーク認識部は、前記画像回転適応処理部で選択されたテンプレート走査方向を用いて前記チャート撮影画像に存在する前記マークを認識する請求項８又は請求項９に記載のキャリブレーション装置。A template scanning direction setting unit for setting a plurality of template scanning directions as an action of the template of the mark recognition unit;
An image rotation adaptation processing unit that selects the optimum template scanning direction by applying the template in a plurality of template scanning directions set by the template scanning direction setting unit;
The calibration device according to claim 8, wherein the mark recognition unit recognizes the mark present in the chart photographed image using a template scanning direction selected by the image rotation adaptation processing unit. .
前記画像回転情報に基づき、前記マーク認識部のテンプレートの作用としてのテンプレート走査方向を調整するテンプレート走査方向調整部と；
を備える請求項８又は請求項９に記載のキャリブレーション装置。An image rotation information acquisition unit that acquires image rotation information of the calibration chart;
A template scanning direction adjustment unit that adjusts a template scanning direction as an action of the template of the mark recognition unit based on the image rotation information;
A calibration device according to claim 8 or claim 9, comprising:
前記キャリブレーションチャートの画像回転情報を取得する画像回転情報取得部と；
前記画像回転情報に基づき、前記チャート撮影画像から画像回転の影響を除去する画像回転初期化部と；
前記画像回転初期化部で初期化されたチャート撮影画像に対して、前記マークを抽出する為のテンプレートを作用させて、前記初期化されたチャート撮影画像に存在する前記マークを認識するマーク認識部と；
前記マーク認識部で認識されたマークの、前記初期化されたチャート撮影画像での対応位置を探索するマーク位置探索部と；
前記マーク位置探索部で探索されたマーク位置を、当初チャート撮影画像の画像回転情報に基づいて変換するマーク位置回転処理部と；
前記マーク位置回転処理部で変換されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する内部パラメータ演算部と；
を備えるキャリブレーション装置。A calibration chart image displayed on the calibration chart image display device, and a calibration chart on which the mark is arranged is calibrated by using the plurality of chart photographed images obtained by photographing the calibration chart from different photographing angles . A calibration device for obtaining data;
An image rotation information acquisition unit for acquiring image rotation information of the calibration chart;
An image rotation initialization unit that removes the effect of image rotation from the chart photographed image based on the image rotation information;
A mark recognition unit that recognizes the mark existing in the initialized chart photographed image by applying a template for extracting the mark to the chart photographed image initialized by the image rotation initialization unit When;
A mark position search unit for searching for a corresponding position in the initialized chart photographed image of the mark recognized by the mark recognition unit;
A mark position rotation processing unit that converts the mark position searched by the mark position search unit based on image rotation information of an initial chart photographed image;
An internal parameter calculator that compares the mark position converted by the mark position rotation processing unit with the mark arrangement position in the calibration chart and calculates calibration data of the calibrated photographing apparatus;
A calibration device comprising:
前記チャート撮影画像を前記マークが少なくとも一個含まれる複数の領域に分割する画像領域分割部と；
前記画像領域分割部で分割された個別のチャート撮影画像領域に対して前記マークを抽出する為のテンプレートを作用させて、前記チャート撮影画像領域に存在する前記マークを認識するマーク認識部と；
前記マーク認識部で認識されたマークの、前記チャート撮影画像での対応位置を探索するマーク位置探索部と；
前記マーク位置探索部で選定されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する内部パラメータ演算部と；
を備えるキャリブレーション装置。A calibration chart image displayed on the calibration chart image display device, and a calibration chart on which the mark is arranged is calibrated by using the plurality of chart photographed images obtained by photographing the calibration chart from different photographing angles . A calibration device for obtaining data;
An image region dividing unit that divides the chart photographed image into a plurality of regions including at least one mark;
A mark recognizing unit for recognizing the mark existing in the chart photographed image area by applying a template for extracting the mark to the individual chart photographed image areas divided by the image area dividing unit;
A mark position search unit for searching for a corresponding position in the chart photographed image of the mark recognized by the mark recognition unit;
An internal parameter calculator that compares the mark position selected by the mark position search unit with the mark arrangement position on the calibration chart and calculates calibration data of the calibration object photographing apparatus;
A calibration device comprising:
前記マークの基準寸法が設定されたマーク基準寸法部と；
前記マーク基準寸法部で設定された基準寸法を前記チャート撮影画像に対して作用させて、前記チャート撮影画像に存在する前記マークを認識するマーク認識部と；
前記マーク認識部で認識されたマークの、前記チャート撮影画像での対応位置を探索するマーク位置探索部と；
前記マーク位置探索部で選定されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する内部パラメータ演算部と；
を備えるキャリブレーション装置。A calibration chart image displayed on the calibration chart image display device, and a calibration chart on which the mark is arranged is calibrated by using the plurality of chart photographed images obtained by photographing the calibration chart from different photographing angles . A calibration device for obtaining data;
A mark reference dimension portion in which a reference dimension of the mark is set;
A mark recognizing unit for recognizing the mark existing in the chart photographed image by causing the reference dimension set in the mark reference dimension part to act on the chart photographed image;
A mark position search unit for searching for a corresponding position in the chart photographed image of the mark recognized by the mark recognition unit;
An internal parameter calculation unit that compares the mark position selected by the mark position search unit with the mark arrangement position on the calibration chart and calculates calibration data of the calibrated photographing apparatus;
A calibration device comprising:
前記マークを抽出する為のテンプレートを設定する工程と；
前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程と；
前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程と；
前記探索されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。Obtaining a plurality of chart photographed images obtained by photographing the calibration chart displayed on the calibration chart image display device and having the marks arranged thereon at different photographing angles ;
Setting a template for extracting the mark;
Recognizing the mark present in the chart photographed image by causing the template to act on the chart photographed image;
Searching for a corresponding position in the chart photographed image of the recognized mark;
A step of comparing the searched mark position with a mark arrangement position on the calibration chart to calculate calibration data of the calibrated photographing apparatus;
A calibration method that causes a computer to execute.
前記マークを抽出する為のテンプレートを設定する工程と；
前記キャリブレーションチャートの画像回転情報を取得する工程と；
前記画像回転情報に基づき、前記テンプレートの姿勢を回転処理する工程と；
前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程と；
前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程と；
前記探索されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。Obtaining a plurality of chart photographed images obtained by photographing the calibration chart displayed on the calibration chart image display device and having the marks arranged thereon at different photographing angles ;
Setting a template for extracting the mark;
Obtaining image rotation information of the calibration chart;
Rotating the orientation of the template based on the image rotation information;
Recognizing the mark present in the chart photographed image by causing the template to act on the chart photographed image;
Searching for a corresponding position in the chart photographed image of the recognized mark;
A step of comparing the searched mark position with a mark arrangement position on the calibration chart to calculate calibration data of the calibrated photographing apparatus;
A calibration method that causes a computer to execute.
前記マークを抽出する為のテンプレートを設定すると共に、前記テンプレートのテンプレート走査方向を複数設定する工程と；
前記チャート撮影画像に対して前記複数のテンプレート走査方向により前記テンプレートを作用させて、最適なテンプレート走査方向を選択する工程と；
前記チャート撮影画像に対して前記最適なテンプレート走査方向によりテンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程と；
前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程と；
前記探索されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。Obtaining a plurality of chart photographed images obtained by photographing the calibration chart displayed on the calibration chart image display device and having the marks arranged thereon at different photographing angles ;
Setting a template for extracting the mark and setting a plurality of template scanning directions of the template;
Selecting the optimum template scanning direction by applying the template to the chart photographed image in the plurality of template scanning directions;
Recognizing the mark present in the chart photographed image by applying a template to the chart photographed image in the optimum template scanning direction;
Searching for a corresponding position in the chart photographed image of the recognized mark;
A step of comparing the searched mark position with a mark arrangement position on the calibration chart to calculate calibration data of the calibrated photographing apparatus;
A calibration method that causes a computer to execute.
前記マークを抽出する為のテンプレートを設定する工程と；
前記キャリブレーションチャートの画像回転情報を取得する工程と；
前記画像回転情報に基づき、前記テンプレートのテンプレート走査方向を調整する工程と；
前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記マークを認識する工程と；
前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程と；
前記探索されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。Obtaining a plurality of chart photographed images obtained by photographing the calibration chart displayed on the calibration chart image display device and having the marks arranged thereon at different photographing angles ;
Setting a template for extracting the mark;
Obtaining image rotation information of the calibration chart;
Adjusting a template scanning direction of the template based on the image rotation information;
Recognizing the mark present in the chart photographed image by causing the template to act on the chart photographed image;
Searching for a corresponding position in the chart photographed image of the recognized mark;
A step of comparing the searched mark position with a mark arrangement position on the calibration chart to calculate calibration data of the calibrated photographing apparatus;
A calibration method that causes a computer to execute.
前記マークを抽出する為のテンプレートを設定する工程と；
前記キャリブレーションチャートの画像回転情報を取得する工程と；
前記画像回転情報に基づき、前記チャート撮影画像から画像回転の影響を除去する工程と；
前記画像回転の影響を除去されたチャート撮影画像に対して、前記テンプレートを作用させて、前記画像回転の影響を除去されたチャート撮影画像に存在する前記マークを認識する工程と；
前記認識されたマークの、前記画像回転の影響を除去されたチャート撮影画像での対応位置を探索する工程と；
前記探索された対応マーク位置を、当初チャート撮影画像の画像回転情報に基づいて変換する工程と；
前記変換された対応マーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。Obtaining a plurality of chart photographed images obtained by photographing the calibration chart displayed on the calibration chart image display device and having the marks arranged thereon at different photographing angles ;
Setting a template for extracting the mark;
Obtaining image rotation information of the calibration chart;
Removing the effect of image rotation from the chart image based on the image rotation information;
Recognizing the mark existing in the chart photographed image from which the influence of the image rotation is removed by applying the template to the chart photographed image from which the influence of the image rotation is removed;
Searching for the corresponding position of the recognized mark in the chart photographed image from which the influence of the image rotation has been removed;
Converting the searched corresponding mark position based on image rotation information of the initial chart photographed image;
Comparing the converted corresponding mark position with a mark arrangement position on the calibration chart to calculate calibration data of the calibrated photographing apparatus;
A calibration method that causes a computer to execute.
前記マークを抽出する為のテンプレートを設定する工程と；
前記チャート撮影画像を前記マークが少なくとも一個含まれる複数の領域に分割する工程と；
前記分割された個別のチャート撮影画像領域に対して前記テンプレートを作用させて、前記チャート撮影画像領域に存在する前記マークを認識する工程と；
前記認識されたマークの、前記チャート撮影画像での対応位置を探索する工程と；
前記探索されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。Obtaining a plurality of chart photographed images obtained by photographing the calibration chart displayed on the calibration chart image display device and having the marks arranged thereon at different photographing angles ;
Setting a template for extracting the mark;
Dividing the chart photographed image into a plurality of regions including at least one mark;
Recognizing the marks existing in the chart photographed image area by applying the template to the divided individual chart photographed image areas;
Searching for the corresponding position of the recognized mark in the chart image;
A step of comparing the searched mark position with a mark arrangement position on the calibration chart to calculate calibration data of the calibrated photographing apparatus;
A calibration method that causes a computer to execute.
前記マークを抽出する為の前記マークの基準寸法を用いて、前記チャート撮影画像に対して作用させて、前記チャート撮影画像に存在する前記マークを認識する工程と；
前記認識されたマークの前記チャート撮影画像での対応位置を探索する工程と；
前記探索されたマーク位置と、前記キャリブレーションチャートでのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。Obtaining a plurality of chart photographed images obtained by photographing the calibration chart displayed on the calibration chart image display device and having the marks arranged thereon at different photographing angles ;
Recognizing the mark present in the chart photographed image by acting on the chart photographed image using a reference dimension of the mark for extracting the mark;
Searching for a corresponding position in the chart photographed image of the recognized mark;
A step of comparing the searched mark position with a mark arrangement position on the calibration chart to calculate calibration data of the calibrated photographing apparatus;
A calibration method that causes a computer to execute.
前記概括基準マークを抽出する為のテンプレートを設定する工程と；
前記チャート撮影画像に対して前記テンプレートを作用させて、前記チャート撮影画像に存在する前記概括基準マークを認識する工程と；
前記認識された概括基準マークの前記チャート撮影画像での対応位置を探索する工程と；
前記探索された概括基準マークのマーク位置を用いて、前記チャート撮影画像に対して前記詳細基準マークを抽出する工程と；
前記認識された詳細基準マークの前記チャート撮影画像での対応位置を探索する工程と；
前記探索された概括基準マークと概括基準マークのマーク位置と、前記キャリブレーションチャートでの対応する概括基準マークと概括基準マークのマーク配置位置とを比較して、前記被校正撮影装置のキャリブレーション用データを演算する工程と；
をコンピュータに実行させるキャリブレーション方法。A calibration chart displayed on a calibration chart image display device, comprising a general reference mark that defines a general positional relationship, and a detailed reference mark that is arranged more than the general reference mark and that defines a detailed positional relationship. Obtaining a plurality of chart photographed images obtained by photographing the arranged calibration charts from different photographing angles by a proofreading photographing apparatus;
Setting a template for extracting the general reference mark;
Recognizing the general reference mark existing in the chart photographed image by applying the template to the chart photographed image;
Searching for a corresponding position in the chart image of the recognized general reference mark;
Extracting the detailed reference mark from the chart photographed image using the searched position of the general reference mark;
Searching for a corresponding position in the chart image of the recognized detailed reference mark;
Comparing the searched general reference mark and the mark position of the general reference mark with the corresponding general reference mark and the mark arrangement position of the general reference mark in the calibration chart for calibration of the calibrated photographing apparatus Calculating the data;
A calibration method that causes a computer to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003165806A JP4270949B2 (en) | 2003-06-10 | 2003-06-10 | Calibration chart image display device, calibration device, and calibration method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003165806A JP4270949B2 (en) | 2003-06-10 | 2003-06-10 | Calibration chart image display device, calibration device, and calibration method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005003463A JP2005003463A (en) | 2005-01-06 |
| JP4270949B2 true JP4270949B2 (en) | 2009-06-03 |
Family
ID=34092148
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003165806A Expired - Lifetime JP4270949B2 (en) | 2003-06-10 | 2003-06-10 | Calibration chart image display device, calibration device, and calibration method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4270949B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4216148A3 (en) * | 2022-01-20 | 2023-08-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, image capturing apparatus, storage medium |
| JP7392470B2 (en) | 2018-09-21 | 2023-12-06 | 東レ株式会社 | Lighting for inspecting defects in sheet-like objects and defect inspection device for sheet-like objects |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10359415A1 (en) | 2003-12-16 | 2005-07-14 | Trimble Jena Gmbh | Method for calibrating a surveying device |
| JP4689662B2 (en) * | 2005-03-10 | 2011-05-25 | 富士フイルム株式会社 | Shooting system |
| JP4846304B2 (en) * | 2005-09-05 | 2011-12-28 | 守 大槻 | Camera posture grasp method, photogrammetry method using the same, and programs thereof |
| JP4916280B2 (en) * | 2006-08-17 | 2012-04-11 | 国立大学法人 宮崎大学 | Automatic calibration apparatus and calibration method |
| JP2008304224A (en) * | 2007-06-05 | 2008-12-18 | Topcon Corp | Target and method of manufacturing the same |
| JP5210121B2 (en) * | 2007-11-16 | 2013-06-12 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| US8645871B2 (en) | 2008-11-21 | 2014-02-04 | Microsoft Corporation | Tiltable user interface |
| DE102011078631A1 (en) | 2011-07-05 | 2013-01-10 | Robert Bosch Gmbh | Arrangement and method for determining an imaging deviation of a camera |
| US8976252B2 (en) | 2013-01-30 | 2015-03-10 | Hewlett-Packard Development Company, L.P. | Acquisition of color calibration charts |
| WO2014162344A1 (en) * | 2013-04-01 | 2014-10-09 | 株式会社ブリリアントサービス | Calibration patterns, calibration method, and calibration program |
| JP6576945B2 (en) | 2014-11-13 | 2019-09-18 | オリンパス株式会社 | Calibration apparatus, calibration method, optical apparatus, photographing apparatus, projection apparatus, measurement system, and measurement method |
| CN104776800B (en) * | 2015-04-22 | 2017-12-08 | 湖南农业大学 | Rice list tiller image collecting device and morphological parameters extracting method |
| CN105118055B (en) * | 2015-08-11 | 2017-12-15 | 北京电影学院 | Camera position amendment scaling method and system |
| EP3739311A1 (en) * | 2016-03-31 | 2020-11-18 | Dai Nippon Printing Co., Ltd. | Transmission-type color calibration chart and calibration slide glass |
| EP3542218B1 (en) * | 2016-11-21 | 2021-03-17 | Nokia Technologies Oy | Method and apparatus for calibration of a camera unit |
| CN106846414B (en) * | 2017-01-24 | 2019-08-27 | 浙江四点灵机器人股份有限公司 | A kind of active vision camera calibration method based on variable spotting |
| KR102462025B1 (en) * | 2017-11-07 | 2022-11-02 | 현대모비스 주식회사 | Apparatus and method for detecting checkerboard corner point for camera calibration |
| CN115174879B (en) * | 2022-07-18 | 2024-03-15 | 峰米(重庆)创新科技有限公司 | Projection screen correction method, apparatus, computer device and storage medium |
-
2003
- 2003-06-10 JP JP2003165806A patent/JP4270949B2/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7392470B2 (en) | 2018-09-21 | 2023-12-06 | 東レ株式会社 | Lighting for inspecting defects in sheet-like objects and defect inspection device for sheet-like objects |
| EP4216148A3 (en) * | 2022-01-20 | 2023-08-02 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, image capturing apparatus, storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005003463A (en) | 2005-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4270949B2 (en) | Calibration chart image display device, calibration device, and calibration method | |
| JP4147059B2 (en) | Calibration data measuring device, measuring method and measuring program, computer-readable recording medium, and image data processing device | |
| JP4224260B2 (en) | Calibration apparatus, method, result diagnosis apparatus, and calibration chart | |
| CN108921901B (en) | Large-view-field camera calibration method based on precise two-axis turntable and laser tracker | |
| JP4307934B2 (en) | Imaging apparatus and method with image correction function, and imaging apparatus and method | |
| TWI555379B (en) | An image calibrating, composing and depth rebuilding method of a panoramic fish-eye camera and a system thereof | |
| JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
| CN102376089B (en) | Target correction method and system | |
| CN110660107A (en) | Plane calibration plate, calibration data acquisition method and system | |
| CN111872544B (en) | Calibration method and device for laser light-emitting indication point and galvanometer coaxial vision system | |
| US7349580B2 (en) | Apparatus and method for calibrating zoom lens | |
| CN113920205B (en) | Calibration method of non-coaxial camera | |
| CN113920206B (en) | Calibration method of perspective tilt-shift camera | |
| CN113962853B (en) | Automatic precise resolving method for rotary linear array scanning image pose | |
| CN107966100A (en) | Measuring method and measuring system based on camera array | |
| JP4166988B2 (en) | Stereo image processing apparatus and method | |
| JP3696336B2 (en) | How to calibrate the camera | |
| JP2009253715A (en) | Camera calibrating device, camera calibrating method, camera calibrating program, and recording medium for recording the program | |
| CN115187612A (en) | Plane area measuring method, device and system based on machine vision | |
| CN107527323B (en) | Calibration method and device for lens distortion | |
| JP4536428B2 (en) | Zoom lens calibration apparatus, calibration method, and imaging apparatus | |
| JP2004340753A (en) | Calibration chart image display device | |
| JPH09329440A (en) | Coordinating method for measuring points on plural images | |
| CN116381712A (en) | Measurement method based on linear array camera and ground laser radar combined device | |
| JP3637416B2 (en) | Three-dimensional measurement method, three-dimensional measurement system, image processing apparatus, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081028 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090210 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090224 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |