JPH10122819A - Method and device for calibration - Google Patents
Method and device for calibrationInfo
- Publication number
- JPH10122819A JPH10122819A JP8298105A JP29810596A JPH10122819A JP H10122819 A JPH10122819 A JP H10122819A JP 8298105 A JP8298105 A JP 8298105A JP 29810596 A JP29810596 A JP 29810596A JP H10122819 A JPH10122819 A JP H10122819A
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinate system
- points
- imaging
- spatial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【0001】[0001]
【産業上の利用分野】この発明は、2台以上の撮像手段
により所定の観測位置を撮像して得られた画像により3
次元計測を行う装置に対し、計測処理に必要なパラメー
タを算出するキャリブレーション方法およびその装置に
関連する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a three-dimensional image obtained by imaging a predetermined observation position with two or more imaging means.
The present invention relates to a calibration method for calculating a parameter required for a measurement process for an apparatus for performing dimension measurement, and to the apparatus.
【0002】[0002]
【従来の技術】2台以上のテレビカメラ(以下単に「カ
メラ」という)による3次元計測を行う場合、あらかじ
め実際の空間において所定の空間位置を原点とする空間
座標系を設定しておき、この空間座標系における対象物
の位置情報を出力するようにしている。2. Description of the Related Art When performing three-dimensional measurement using two or more television cameras (hereinafter simply referred to as "cameras"), a spatial coordinate system having a predetermined spatial position as an origin in an actual space is set in advance. The position information of the object in the space coordinate system is output.
【0003】この位置情報は、具体的には、各カメラか
らの画像より対象物の物点を示す特徴点を抽出した後、
これら特徴点を画像間で対応づけし、対応づけられた各
特徴点の2次元座標と、カメラの結像面におけるカメラ
座標系と前記空間座標系との関係を表すパラメータ(一
般に「カメラパラメータ」と呼ばれている)とを用いて
算出される空間座標により表されるもので、計測処理に
先立ち、前記カメラパラメータを決定するためのキャリ
ブレーションを実施する必要がある。[0003] Specifically, the position information is obtained by extracting a feature point indicating an object point of an object from an image from each camera,
These feature points are associated between the images, and the two-dimensional coordinates of each associated feature point and a parameter representing the relationship between the camera coordinate system on the image plane of the camera and the spatial coordinate system (generally, “camera parameter”) ), And it is necessary to carry out calibration for determining the camera parameters prior to the measurement processing.
【0004】いま空間座標が(X,Y,Z)となる物点
Pについて、いずれかのカメラにより撮像して得られた
像点P´が画像上の(X´,Y´)の位置に結像したも
のとすると、これら座標値X,Y,Z,X´,Y´には
つぎの(1)(2)式のような関係が成立する。Now, for an object point P whose spatial coordinates are (X, Y, Z), an image point P 'obtained by imaging with any camera is located at the position (X', Y ') on the image. Assuming that an image is formed, the relationship represented by the following equations (1) and (2) is established between these coordinate values X, Y, Z, X ', and Y'.
【0005】[0005]
【数1】 (Equation 1)
【0006】[0006]
【数2】 (Equation 2)
【0007】上記(1)(2)式中のc1 〜c12は、前
記したカメラパラメータであって、これらパラメータを
求めるためには、空間座標が既知となる複数個の物点を
サンプル点として設定しておき、各カメラにより撮像し
て得られた画像毎に、画像上のサンプル点の像点の座標
と前記既知の空間座標とを前記(1)(2)式に代入す
る必要がある。この場合、12個の未知のパラメータを
求めるためには、前記サンプル点として、空間座標が既
知でありかつ同一平面上に位置しない点を、少なくとも
6点設定する必要がある。In the above equations (1) and (2), c 1 to c 12 are the camera parameters described above. In order to obtain these parameters, a plurality of object points whose spatial coordinates are known are sampled. It is necessary to substitute the coordinates of the image points of the sample points on the image and the known spatial coordinates into the equations (1) and (2) for each image captured by each camera. is there. In this case, in order to obtain twelve unknown parameters, it is necessary to set at least six points whose spatial coordinates are known and are not located on the same plane as the sample points.
【0008】前記サンプル点の設定は、一般に、立方体
など形状や大きさの定まったワークの表面に格子やドッ
トなどの規則的なマークを描いたキャリブレーションワ
ークを用いて行われるもので、画像上で前記の各マーク
の重心点などが抽出され、サンプル点の2次元座標とし
て用いている。The setting of the sample points is generally performed using a calibration work in which regular marks such as grids and dots are drawn on the surface of a work such as a cube having a fixed shape and size. The center of gravity and the like of each mark described above are extracted and used as the two-dimensional coordinates of the sample points.
【0009】[0009]
【発明が解決しようとする課題】しかしながら上記のキ
ャリブレーション方法では、少なくとも6点のサンプル
点を用意する必要がある上、カメラ毎にパラメータを算
出する必要があるため、キャリブレーションに多大の時
間がかかるという問題がある。またこのキャリブレーシ
ョン方法は、測定空間を数cm〜数m四方の狭い範囲に限
ったものであるため、10cm〜1m程度の大きさのワー
クを用いてキャリブレーションを行うことが可能である
が、道路上の車輌の位置の計測など、広い測定空間が必
要となる場合、この程度の大きさのワークでは、サンプ
ル点となる各マークを画像上で識別することが困難とな
り、パラメータを正確に算出できなくなるという問題が
生じる。However, in the above-described calibration method, it is necessary to prepare at least six sample points, and it is necessary to calculate parameters for each camera. There is such a problem. In addition, since this calibration method limits the measurement space to a narrow range of several cm to several m square, it is possible to perform calibration using a work having a size of about 10 cm to 1 m, When a large measurement space is required, such as when measuring the position of a vehicle on the road, it is difficult to identify each sample point mark on an image with a work of this size, and the parameters are calculated accurately. There is a problem that it becomes impossible.
【0010】一方、測定空間の大きさに応じた大型のワ
ークを設定してキャリブレーションを行うことは理論上
は可能であるが、ワークの作成や設置に多大な労力を要
する。また各パラメータを精度良く求めるためには、多
数のサンプル点を設定する必要があるが、この場合、各
カメラ毎にサンプル点の結像点の抽出やカメラパラメー
タの算出処理を行わなければならず、計測条件が整うま
でに多大な時間がかかるという問題がある。さらに危険
区域など計測領域への立ち入りが不可能な場合には、上
記のキャリブレーション方法を用いることは不可能にな
る。On the other hand, it is theoretically possible to set a large work in accordance with the size of the measurement space and perform calibration, but a great deal of labor is required to create and install the work. Also, in order to obtain each parameter with high accuracy, it is necessary to set a large number of sample points. However, there is a problem that it takes a lot of time until the measurement conditions are set. Further, when it is impossible to enter a measurement area such as a dangerous area, it becomes impossible to use the above-described calibration method.
【0011】この発明は上記問題点に着目してなされた
もので、2台以上の撮像手段についてあらかじめその相
対位置関係を求めておき、いずれか画像上で複数個の物
点の像点を指定し、これらの指定点と他方の画像上の物
点との対応関係に基づき、ステレオ座標を算出して、実
際の空間位置を示すための空間座標系とステレオ座標と
の位置関係を求めることにより、測定空間の大きさにか
かわらず、簡単にキャリブレーションを実施することを
第1の技術課題とする。The present invention has been made in view of the above-mentioned problems. The relative positional relationship between two or more image pickup means is obtained in advance, and the image points of a plurality of object points are designated on any one of the images. Then, based on the correspondence between these designated points and the object points on the other image, stereo coordinates are calculated, and the positional relationship between the spatial coordinate system for indicating the actual spatial position and the stereo coordinates is obtained. A first technical problem is to easily perform calibration regardless of the size of a measurement space.
【0012】またこの発明は、いずれか撮像手段による
画像上で、同一平面上に位置する物点の像点を少なくと
も3点指定し、各物点のステレオ座標を算出するととも
に、前記平面を基準とする空間座標系を設定してステレ
オ座標系との位置関係を求めることにより、測定空間内
でサンプル点の位置測定を行わなくともキャリブレーシ
ョンを実施可能にすることを第2の技術課題とする。Further, according to the present invention, at least three image points of object points located on the same plane are designated on an image obtained by any one of the image pickup means, stereo coordinates of each object point are calculated, and the plane is used as a reference. A second technical problem is that by setting a spatial coordinate system to determine the positional relationship with the stereo coordinate system, calibration can be performed without measuring the position of the sample point in the measurement space. .
【0013】[0013]
【課題を解決するための手段】請求項1〜3の発明は、
2台以上の撮像手段により所定の観測位置を撮像して3
次元計測を行う装置に対し、キャリブレーションを行う
方法であって、請求項1の発明では、前記撮像手段の相
対位置関係を記憶する第1のステップと、各撮像手段に
より撮像して得られた画像のうちいずれかの画像上で、
所定の空間位置を原点とする空間座標系における位置が
既知の物点の像点を、複数個指定する第2のステップ
と、他の撮像手段により得られた画像上で、前記各指定
点の対応点をそれぞれ抽出し、これら指定点の対応関係
と前記撮像手段の相対位置関係とに基づき、撮像位置を
原点とするステレオ座標系における各物点の空間座標を
算出する第3のステップと、各物点の算出されたステレ
オ座標と前記既知の空間座標とを用いて、前記空間座標
系とステレオ座標系との位置関係を求める第4のステッ
プとを一連に実施することを特徴としている。The invention of claims 1 to 3 is
A predetermined observation position is imaged by two or more imaging means and 3
A method for performing calibration on an apparatus for performing dimension measurement, wherein in the invention according to claim 1, a first step of storing a relative positional relationship of the image capturing means and an image captured by each image capturing means are obtained. On one of the images,
A second step of designating a plurality of image points of an object point whose position in the spatial coordinate system having a predetermined spatial position as the origin is known, and, on an image obtained by another imaging means, A third step of extracting corresponding points, and calculating spatial coordinates of each object point in a stereo coordinate system having an image pickup position as an origin based on the correspondence between the designated points and the relative positional relation of the image pickup means; A fourth step of obtaining a positional relationship between the spatial coordinate system and the stereo coordinate system using the calculated stereo coordinates of each object point and the known spatial coordinates is performed in series.
【0014】請求項2の発明では、前記第2のステップ
において、前記画像上で空間座標が既知の物点の像点が
少なくとも3個指定される。According to the second aspect of the present invention, in the second step, at least three image points of object points whose spatial coordinates are known on the image are specified.
【0015】請求項3の発明にかかるキャリブレーショ
ン方法は、前記撮像手段の相対位置関係を記憶する第1
のステップと、各撮像手段により撮像して得られた画像
のうちいずれかの画像上で、同一平面上に位置する少な
くとも3個の物点の像点を指定する第2のステップと、
他の撮像手段により得られた画像上で、前記各指定点の
対応点をそれぞれ抽出し、これら指定点の対応関係と前
記撮像手段の相対位置関係とに基づき、撮像位置を原点
とするステレオ座標系における各物点の空間座標を算出
する第3のステップと、各物点の位置する平面を基準と
して空間座標系を設定するとともに、各物点の算出され
たステレオ座標を用いて前記空間座標系とステレオ座標
系との位置関係を求める第4のステップとを一連に実施
することを特徴とする。According to a third aspect of the present invention, in the calibration method, the first method stores a relative positional relationship of the imaging means.
And a second step of specifying image points of at least three object points located on the same plane on any one of images obtained by imaging by each imaging unit;
On the image obtained by the other imaging means, corresponding points of the respective designated points are respectively extracted, and based on the correspondence between these designated points and the relative positional relation of the imaging means, stereo coordinates with the imaging position as the origin. A third step of calculating spatial coordinates of each object point in the system, and setting a spatial coordinate system with reference to a plane on which each object point is located, and using the calculated stereo coordinates of each object point to obtain the spatial coordinates. A fourth step of obtaining a positional relationship between the system and the stereo coordinate system is performed in series.
【0016】請求項4〜10の発明は、2台以上の撮像
手段により所定の観測位置を撮像して3次元計測を行う
装置に対し、キャリブレーションを行う装置に関する。
まず請求項4のキャリブレーション装置は、前記各撮像
手段からの画像を入力する画像入力手段と、前記各撮像
手段の相対位置関係を記憶する記憶手段と、いずれかの
入力画像上で、所定の空間位置を原点とする空間座標系
における位置が既知の物点の像点を複数個指定する指定
手段と、他の入力画像上で、前記指定手段により指定さ
れた各点の対応点をそれぞれ抽出し、その対応関係と各
撮像手段の記憶された相対位置関係とに基づき、撮像位
置を原点とするステレオ座標系における各物点の空間座
標を算出する算出手段と、各物点の算出されたステレオ
座標と前記既知の空間座標とを用いて、前記空間座標系
とステレオ座標系との位置関係を表すパラメータを算出
するパラメータ算出手段とを備えている。The invention according to claims 4 to 10 relates to an apparatus for performing calibration for an apparatus for performing three-dimensional measurement by imaging a predetermined observation position by two or more imaging means.
First, a calibration device according to a fourth aspect of the present invention includes an image input unit that inputs an image from each of the imaging units; a storage unit that stores a relative positional relationship between the imaging units; Specifying means for specifying a plurality of image points of an object point whose position in a spatial coordinate system having a spatial position as an origin is known, and extracting a corresponding point of each point specified by the specifying means on another input image; Calculating means for calculating the spatial coordinates of each object point in the stereo coordinate system with the imaging position as the origin, based on the correspondence relationship and the stored relative positional relationship of each imaging means; and A parameter calculating unit that calculates a parameter representing a positional relationship between the spatial coordinate system and the stereo coordinate system using the stereo coordinates and the known spatial coordinates.
【0017】請求項5の発明では、前記指定手段は、前
記入力画像上で、空間座標が既知の物点の像点を、少な
くとも3個指定する。According to a fifth aspect of the present invention, the specifying means specifies at least three image points of object points whose spatial coordinates are known on the input image.
【0018】請求項6の発明にかかるキャリブレーショ
ン装置は、前記と同様の画像入力手段および記憶手段
と、いずれかの入力画像上で、同一平面上に位置する物
点の像点を少なくとも3個指定する指定手段と、他の入
力画像上で、前記指定手段により指定された各点の対応
点をそれぞれ抽出し、その対応関係と各撮像手段の記憶
された相対位置関係とに基づき、撮像位置を原点とする
ステレオ座標系における各物点の空間座標を算出する算
出手段と、各物点の位置する平面を基準として空間座標
系を設定する設定手段と、各物点の算出されたステレオ
座標を用いて、前記設定手段により設定された空間座標
系とステレオ座標系との位置関係を表すパラメータを算
出するパラメータ算出手段とを備えている。According to a sixth aspect of the present invention, there is provided a calibration apparatus comprising the same image input means and storage means as described above, and at least three image points of an object point located on the same plane on any input image. A designation unit for designating, and, on another input image, a corresponding point of each point designated by the designation unit is extracted, and an imaging position is determined based on the correspondence and the stored relative positional relationship of each imaging unit. Calculating means for calculating the spatial coordinates of each object point in the stereo coordinate system having the origin as the origin, setting means for setting the spatial coordinate system based on the plane on which each object point is located, and calculated stereo coordinates of each object point And a parameter calculating means for calculating a parameter representing a positional relationship between the spatial coordinate system and the stereo coordinate system set by the setting means.
【0019】請求項7の発明では、前記設定手段は、前
記各物点の位置する平面上にいずれか2軸が含まれるよ
うに空間座標系を設定する。According to a seventh aspect of the present invention, the setting means sets a spatial coordinate system such that any two axes are included on a plane on which the object points are located.
【0020】請求項8の発明では、前記指定手段は、前
記いずれかの入力画像上で、同一平面上に位置する1線
分と1物点との画像をそれぞれ指定し、前記設定手段
は、前記線分の方向にいずれか1軸が位置し、前記平面
上でこの軸に垂直となる方向に他の1軸が位置するよう
に、空間座標系を設定する。In the invention according to claim 8, the designation means designates, on any of the input images, an image of one line segment and one object point located on the same plane, and the setting means comprises: A spatial coordinate system is set such that one axis is located in the direction of the line segment and another axis is located in a direction perpendicular to this axis on the plane.
【0021】請求項9の発明では、前記指定手段は、前
記画像上で同一平面上に位置する複数の線分の画像を指
定し、前記設定手段は、いずれかの線分の方向にいずれ
か1軸が位置し、前記平面上でこの軸に垂直となる方向
に他の1軸が位置するように、空間座標系を設定する。In the ninth aspect of the present invention, the designating means designates an image of a plurality of line segments located on the same plane on the image, and the setting means designates an image in a direction of one of the line segments. The spatial coordinate system is set such that one axis is located and another axis is located on the plane in a direction perpendicular to this axis.
【0022】請求項10の発明では、前記指定手段は、
前記入力画像上から線分を示す特徴を抽出する特徴抽出
手段を含み、この抽出結果より前記指定する線分の画像
を決定するように構成される。In the tenth aspect of the present invention, the specifying means includes:
The image processing apparatus further includes a feature extracting unit that extracts a feature indicating a line segment from the input image, and is configured to determine an image of the designated line segment from the extraction result.
【0023】[0023]
【作用】請求項1および4の発明では、あらかじめ相対
位置関係が判明している2台以上の撮像手段により観測
位置を撮像し、いずれか1つの撮像手段からの画像上
で、空間座標が判明している物点の像点を複数個指定す
るとともに、他の撮像手段からの画像上でこれら指定点
の対応点を抽出する。ついでその対応関係と前記各撮像
手段の相対位置関係とにより、各物点のステレオ座標
(すなわち撮像位置から見た物点の空間位置)が算出さ
れた後、各物点の既知の空間座標と算出されたステレオ
座標との関係から、空間座標系とステレオ座標系との位
置関係が求められる。これにより各カメラ毎にパラメー
タを算出する必要がなくなり、キャリブレーションに要
する時間は大幅に削減される。According to the first and fourth aspects of the present invention, the observation position is imaged by two or more imaging means whose relative positional relationship is known in advance, and the spatial coordinates are determined on the image from any one of the imaging means. A plurality of image points of the object point are designated, and corresponding points of these designated points are extracted on an image from another imaging means. Next, after the stereo coordinates of each object point (that is, the spatial position of the object point viewed from the imaging position) is calculated based on the correspondence relationship and the relative positional relationship of each of the imaging units, the known spatial coordinates of each object point are calculated. From the relationship with the calculated stereo coordinates, the positional relationship between the spatial coordinate system and the stereo coordinate system is obtained. This eliminates the need to calculate parameters for each camera, greatly reducing the time required for calibration.
【0024】請求項2および5の発明では、前記指定点
として、空間座標が既知の点の像点を少なくとも3個指
定するので、キャリブレーションのために少なくとも6
個の点を指定する必要があったた従来の方法と比べる
と、キャリブレーションに要する労力は大幅に削減され
る。According to the second and fifth aspects of the present invention, at least three image points of points whose spatial coordinates are known are specified as the specified points.
The labor required for calibration is greatly reduced as compared with the conventional method in which it is necessary to specify individual points.
【0025】請求項3および6の発明では、いずれかの
撮像手段からの画像上で、同一平面上にある物点の像点
を少なくとも3個指定して、それぞれステレオ座標を算
出するとともに、これら物点の位置する平面を基準とし
て空間座標系を設定し、算出されたステレオ座標を用い
て空間座標系とステレオ座標系との位置関係を求めるの
で、空間座標が既知の点を用いなくともキャリブレーシ
ョンを実施することが可能となる。According to the third and sixth aspects of the present invention, at least three image points of an object point on the same plane are designated on an image from any one of the imaging means, and stereo coordinates are calculated for each of them. The spatial coordinate system is set based on the plane on which the object point is located, and the positional relationship between the spatial coordinate system and the stereo coordinate system is calculated using the calculated stereo coordinates. Can be implemented.
【0026】請求項7の発明では、各指定点の位置する
平面上に2軸が含まれるよう実空間座標系を設定するこ
とにより、座標系の設定処理が簡易化される。According to the seventh aspect of the present invention, the setting process of the coordinate system is simplified by setting the real space coordinate system so that two axes are included on the plane where each designated point is located.
【0027】請求項8,9の発明では、所定の線分の画
像を指定するとともに、空間座標系の1軸をこの線分の
方向に設定し、平面上で線分に垂直となる方向に他の1
軸を設定するようにしたので、空間座標系の設定処理を
さらに簡易化できる。また線分を基準として空間座標系
を設定することにより、実際の空間において対象物の位
置が認識しやすくなる。According to the eighth and ninth aspects of the present invention, an image of a predetermined line segment is designated, and one axis of the spatial coordinate system is set in the direction of the line segment, and is set in a direction perpendicular to the line segment on a plane. Another one
Since the axes are set, the setting processing of the spatial coordinate system can be further simplified. In addition, by setting the space coordinate system based on the line segment, the position of the target object in the actual space can be easily recognized.
【0028】請求項10の発明では、入力画像上から線
分を示す特徴を抽出し、その抽出結果により指定する線
分の画像を決定するようにしたので、指定する線分の選
択を簡単に行って、高精度のキャリブレーションを実行
できる。According to the tenth aspect of the present invention, the feature indicating the line segment is extracted from the input image, and the image of the specified line segment is determined based on the extraction result. To perform high-precision calibration.
【0029】[0029]
【発明の実施の形態】図1にこの発明にかかるキャリブ
レーション装置の好適な態様を示し、以下、図2〜9に
より請求項1,2,4,5にかかる実施態様を、図10
により請求項3,6,7にかかる実施態様を、図11、
12により請求項8,9にかかる実施態様をそれぞれ説
明する。さらに図13〜18により請求項10の発明に
かかるキャリブレーション装置の具体例を説明する。FIG. 1 shows a preferred embodiment of a calibration apparatus according to the present invention. Hereinafter, an embodiment according to claims 1, 2, 4, and 5 according to FIGS.
FIG. 11 shows an embodiment according to claims 3, 6, and 7.
The embodiments according to claims 8 and 9 will be described with reference to FIG. Further, a specific example of the calibration device according to the tenth aspect of the present invention will be described with reference to FIGS.
【0030】[0030]
【実施例】図1は、この発明にかかるキャリブレーショ
ン装置の一構成例を示す。このキャリブレーション装置
2は、2台のカメラ1a,1bから成る撮像部1を用い
て3次元計測処理を実施する計測装置(図示せず)に対
し、計測に必要なキャリブレーションを実施するための
もので、前記各カメラ1a,1bからの画像を処理する
A/D変換部3a,3b,ディジタル変換された入力画
像データを格納するための画像メモリ4a,4bのほ
か、入力処理部5,対応付け処理部6,キャリブレーシ
ョンデータメモリ7,キャリブレーション処理部8,モ
ニタ9などを構成として含んでいる。FIG. 1 shows an example of the configuration of a calibration apparatus according to the present invention. The calibration device 2 performs calibration necessary for measurement on a measurement device (not shown) that performs a three-dimensional measurement process using the imaging unit 1 including the two cameras 1a and 1b. A / D converters 3a and 3b for processing images from the cameras 1a and 1b; image memories 4a and 4b for storing digitally converted input image data; It includes an attachment processing unit 6, a calibration data memory 7, a calibration processing unit 8, a monitor 9, and the like.
【0031】各カメラ1a,1bは、焦点距離を同じく
するレンズを有するもので、所定の間隔を隔てて各光軸
を平行にした状態で配備される。図2(1)(2)は、
撮像部1の具体的な構成例を示すもので、各カメラ1
a,1bをハウジング10内や支持板11上に固定配備
してユニット化することにより、各カメラ1a,1bの
相対位置関係が保持されている。Each of the cameras 1a and 1b has a lens having the same focal length, and is arranged in a state where each optical axis is parallel to each other at a predetermined interval. FIGS. 2 (1) and (2)
FIG. 3 shows a specific configuration example of the image pickup unit 1, and shows each camera 1.
By fixing and disposing the units a and 1b in the housing 10 and on the support plate 11, the relative positional relationship between the cameras 1a and 1b is maintained.
【0032】図3は、前記カメラ1a,1bの位置関係
により決定される空間座標系(以後これを「ステレオ座
標系」という)と各カメラ1a,1bのカメラ座標系と
の関係を示す。図中、O′は、各カメラ1a,1bの投
影中心点CL ,CR を結ぶ基線の中心点であって、この
点O′を原点とし、前記基線の方向をX′軸,高さ方向
をY′軸,奥行き方向をZ′軸とするステレオ座標系が
設定される。また前記したように各カメラ1a,1bの
光軸は平行に設定されているから、この場合、各投影中
心点CL ,CR を原点とする各カメラ座標系XL ,
YL ,ZL およびXR ,YR,ZR は、ともに前記ステ
レオ座標系の各軸X′,Y′,Z′に平行となる。FIG. 3 shows the relationship between the spatial coordinate system (hereinafter referred to as "stereo coordinate system") determined by the positional relationship between the cameras 1a and 1b and the camera coordinate systems of the cameras 1a and 1b. In the figure, O ', each camera 1a, 1b of the projection center point C L, a center point of the base line connecting the C R, the point O' to the origin, the direction of the base line X 'axis, the height A stereo coordinate system is set in which the direction is the Y 'axis and the depth direction is the Z' axis. Each camera 1a as described above also, since the optical axis of the 1b are set in parallel, where each projection center point C L, the camera coordinate system as the origin C R X L,
Y L , Z L and X R , Y R , Z R are all parallel to the axes X ′, Y ′, Z ′ of the stereo coordinate system.
【0033】なお図中、12a,12bは、各カメラ1
a,1bによる結像面を示すもので、ここでは説明を簡
単にするために、各結像面12a,12bを実際の結像
位置と反対側に示し、第1のカメラ1aの結像面12a
における2次元座標系をxl,yl の各軸により、第2
のカメラ1bの結像面12bにおける2次元座標を
xr ,yr の各軸により、それぞれ表している。In the figure, reference numerals 12a and 12b denote each camera 1
FIGS. 1A and 1B show image forming planes. For simplicity, the image forming planes 12a and 12b are shown on the opposite side of the actual image forming position, and the image forming plane of the first camera 1a is shown. 12a
The 2-dimensional coordinate system by the axes of x l, y l in the second
The two-dimensional coordinates on the imaging surface 12b of the camera 1b by the axes of x r, y r, represents respectively.
【0034】いま各投影中心点CL ,CR のステレオ座
標を、それぞれ(−B,0,0),(B,0,0),各
カメラ1a,1bの焦点距離をfとし、結像面12a,
12bそれぞれの2次元座標系の原点ol ,or をステ
レオ座標を用いて表すと、各原点ol ,or はそれぞれ
(−B,f,0),(B,f,0)の点に位置するもの
として表される。なおこの図示例は、カメラ1a,1b
が理想的な状態に配置されたことを前提としたもので、
実際には誤差が取り除かれるように、各カメラ1a,1
bの位置関係に対するキャリブレーションを実施する必
要がある。[0034] Now each projection center point C L, stereo coordinates C R, respectively (-B, 0,0), (B , 0,0), each camera 1a, the focal length of the 1b is f, the imaging Surface 12a,
12b origin o l of each of the two-dimensional coordinate system, expressed by the o r using stereo coordinates, the origin o l, o r respectively (-B, f, 0), point (B, f, 0) Is represented. In this example, the cameras 1a and 1b
Is assumed to be placed in an ideal state,
In practice, each camera 1a, 1
It is necessary to carry out calibration for the positional relationship b.
【0035】このような状態にある撮像部1を、実際の
空間の所定位置に配備して観測位置を撮像することによ
り、観測位置における各物点の空間位置を、前記ステレ
オ座標系における空間座標(以下これを「ステレオ座
標」という)により表すことが可能となる。By arranging the imaging unit 1 in such a state at a predetermined position in the actual space and imaging the observation position, the spatial position of each object point at the observation position can be determined by the spatial coordinates in the stereo coordinate system. (Hereinafter referred to as “stereo coordinates”).
【0036】図1に戻って、前記カメラ1a,1bから
の画像データのうちの一方(図示例ではカメラ2bから
の画像)は、モニタ9にも出力される。入力処理部5
は、マウスなどのポインティングデバイスを用いてモニ
タ9に表示された入力画像上の所定の像点を指定する。
これらの指定点は、あらかじめ空間内の所定位置を原点
として定められた空間座標系において、空間座標が判明
している点の像点であって、指定された点の座標は、前
記入力画像とともにモニタ9に表示されるほか、対応付
け処理部6へと出力される。Returning to FIG. 1, one of the image data from the cameras 1a and 1b (the image from the camera 2b in the illustrated example) is also output to the monitor 9. Input processing unit 5
Designates a predetermined image point on the input image displayed on the monitor 9 using a pointing device such as a mouse.
These designated points are image points of points whose spatial coordinates are known in a space coordinate system defined in advance with a predetermined position in the space as the origin, and the coordinates of the designated points are together with the input image. The information is displayed on the monitor 9 and output to the association processing unit 6.
【0037】対応付け処理部6は、前記の各指定点につ
き、他方の入力画像における対応点を抽出するためのも
ので、その対応付け結果は、キャリブレーション処理部
8へと出力される。The associating section 6 is for extracting a corresponding point in the other input image for each of the designated points, and the associating result is output to the calibration processing section 8.
【0038】キャリブレーションデータメモリ7には、
前記各カメラ1a,1bについての相対位置関係を示す
データとして、各カメラ間の距離2B,焦点距離fなど
のパラメータ(以下これを「観測系パラメータ」とい
う)が記憶されている。前記キャリブレーション処理部
8は、これら観測系パラメータと前記対応付け処理部6
により得られた各指定点の対応付け結果とを用いて、前
記空間座標系とステレオ座標系との位置関係を表すパラ
メータ(以下これを「座標系パラメータ」という)を算
出する。この算出結果は、前記観測系パラメータととも
にファイル化されてキャリブレーションデータメモリ7
内に記憶される。The calibration data memory 7 has
As data indicating the relative positional relationship between the cameras 1a and 1b, parameters such as the distance 2B between the cameras and the focal length f (hereinafter referred to as "observation system parameters") are stored. The calibration processing unit 8 associates these observation system parameters with the association processing unit 6
Using the result of the association of each designated point obtained by the above, a parameter representing the positional relationship between the spatial coordinate system and the stereo coordinate system (hereinafter referred to as “coordinate system parameter”) is calculated. This calculation result is filed together with the observation system parameters and stored in the calibration data memory 7.
Is stored within.
【0039】図4は、上記キャリブレーション装置2に
おける一連の手順を示すもので、以下図5〜9の各図を
参照しつつ、図4の流れに沿って、キャリブレーション
の処理手順を説明する。FIG. 4 shows a series of procedures in the above-mentioned calibration apparatus 2, and the calibration procedure will be described in accordance with the flow of FIG. 4 with reference to FIGS. .
【0040】まず最初のステップ1(図中、各ステップ
は「ST」で示す)で、各カメラ1a,1bからの画像
が装置内に取り込まれると、A/D変換部3a,3bは
このアナログ量の画像データをディジタル変換し、画像
メモリ4a,4bへと出力する。First, in the first step 1 (each step is indicated by "ST" in the figure), when images from the cameras 1a and 1b are taken into the apparatus, the A / D converters 3a and 3b output the analog signals. The amount of image data is digitally converted and output to the image memories 4a and 4b.
【0041】図5(1)(2)は、カメラ1aを左方向
に、カメラ1bを右方向にそれぞれ配備した場合の各入
力画像13a,13bを示すもので、いずれの画像上に
も、立体形状の対象物の画像14a,14bと、その対
象物の支持面を示す画像15a,15bのほか、支持面
上に記されたマークの画像16a,16b,17a,1
7bが現れている。このときモニタ9にはカメラ2bか
らの入力画像13bが表示されており(以下この画像を
「基準画像」という)、つぎのステップ2で、オペレー
タは、この基準画像を参照しながら、空間座標が既知の
物点の像点を3点以上指定する。FIGS. 5A and 5B show the input images 13a and 13b when the camera 1a is arranged in the left direction and the camera 1b is arranged in the right direction. In addition to the images 14a and 14b of the object having the shape and the images 15a and 15b showing the support surface of the object, the images 16a, 16b, 17a and 1 of the marks written on the support surface
7b appears. At this time, the input image 13b from the camera 2b is displayed on the monitor 9 (hereinafter, this image is referred to as a "reference image"). In the next step 2, the operator refers to this reference image and adjusts the spatial coordinates. Specify three or more image points of known object points.
【0042】図6は、モニタ9の表示画面の一例を示す
もので、オペレータが基準画像13b上で前記マークの
所定の頂点の位置にウィンドウWRA,WRB,WRCを設定
すると、入力処理部5はこれらウィンドウWRA,WRB,
WRC内からそれぞれマークの頂点を示す像点aR ,
bR ,cR を抽出し、これを指定点として特定する。な
おここでは、同一平面上にある物点の像点を指定してい
るが、物点の空間座標が既知であれば空間のどの位置の
物点を指定対象としてもかまわない。また離散的な点を
指定する代わりに、少なくとも1本の線分の画像といず
れか空間上の物点の像点とを指定したり、2本以上の線
分の画像を指定するようにしてもよい。FIG. 6 shows an example of a display screen of the monitor 9. When the operator sets windows W RA , W RB , and W RC at predetermined vertex positions of the mark on the reference image 13b, input processing is performed. The unit 5 includes these windows W RA , W RB ,
Image point from W in RC indicate the vertices of the marks of a R,
Extract b R and c R and specify them as designated points. Here, the image point of the object point on the same plane is specified, but the object point at any position in the space may be specified as long as the spatial coordinates of the object point are known. Instead of specifying discrete points, specify at least one line segment image and an image point of an object point in any space, or specify two or more line segment images. Is also good.
【0043】つぎに対応付け処理部6は、カメラ1aか
らの入力画像13a(以下この画像を「対応画像」とい
う)上で、各指定点に対応する像点を抽出する(ステッ
プ3)。図7は、前記図6に示した各指定点aR ,
bR ,cR のうち、点aR に対応する点aL を抽出する
例を示す。まず対応付け処理部6は、対応画像13b上
に、前記指定点aR のエピポーララインEPを設定す
る。この場合、各カメラ1a,1bは、光軸を平行にか
つ横並びに配備されているので、エピポーララインEP
は、点aR のy座標に対応する位置でxl 軸に平行に設
定される。Next, the association processing section 6 extracts image points corresponding to each designated point on the input image 13a from the camera 1a (hereinafter, this image is referred to as "corresponding image") (step 3). FIG. 7 shows the designated points a R ,
b R, of c R, an example of extracting a L point corresponding to the point a R. Processor 6 First association is on the corresponding image 13b, sets epipolar lines EP of the designated point a R. In this case, since the cameras 1a and 1b are arranged with the optical axis parallel and side by side, the epipolar line EP
It is set parallel to the x l-axis at a position corresponding to the y-coordinate of the point a R.
【0044】さらに対応付け処理部6は、前記ウィンド
ウWRAと同じ大きさを有するウィンドウWLAを、このエ
ピポーララインEP上に走査させながら、各走査位置に
おけるウィンドウWLA内の画像データと前記ウィンドウ
WRA内の画像データとを用いてつぎの(3)式を実行
し、各ウィンドウ間の相違度Dを算出する。なお次式に
おいて、gri,gliは、それぞれウィンドウWRA,WLA
内のi番目の画素の輝度値を、nは各ウィンドウ内の画
素数を、それぞれ示す。Further, the associating processing unit 6 scans the window W LA having the same size as the window W RA on the epipolar line EP, while simultaneously scanning the image data in the window W LA at each scanning position with the window W LA . by using the image data in the W RA execute the following equation (3), calculates the dissimilarity D between each window. In the following equation, g ri and g li are windows W RA and W LA , respectively.
Indicates the luminance value of the i-th pixel, and n indicates the number of pixels in each window.
【0045】[0045]
【数3】 (Equation 3)
【0046】図8は各走査位置における相違度Dの算出
値を、ウィンドウWLAの中心点のx座標に対応させて示
したもので、相違度Dが最小となる時点でのウィンドウ
WLAの中心点(図中x座標がxLAとなる点)が、前記指
定点aR への対応点aL であると考えられる。エピポー
ララインEP上におけるウィンドウWLAの走査が終了す
ると,対応付け処理部6は、上記原理に基づき各走査位
置における相違度Dをチェックし、前記指定点aR への
対応点aL を特定する。[0046] Figure 8 is a calculated value of the dissimilarity D at each scan position, an illustration in correspondence with the x coordinate of the center point of the window W LA, difference D is a window W LA at the time when the minimum center point (point x in the figure coordinate is x LA) is considered the a corresponding point a L to the specified point a R. When the scanning of the window W LA on epipolar line EP is finished, the correspondence processing section 6 checks the degree of difference D at each scanning position based on the above principle, to identify the corresponding points a L of the to the specified point a R .
【0047】指定されたすべての点について、上記の対
応付け処理が行われると、キャリブレーション処理部8
は、これら対応づけられた点の2次元座標を用いて、各
指定点に対応する物点のステレオ座標を算出し、さらに
その算出されたステレオ座標と前記既知の空間座標とを
用いて、座標系パラメータを算出する(ステップ4,
5)。When the above-described association processing is performed for all the designated points, the calibration processing unit 8
Calculates the stereo coordinates of the object point corresponding to each designated point using the two-dimensional coordinates of these associated points, and further uses the calculated stereo coordinates and the known spatial coordinates to calculate the coordinates. Calculate system parameters (Step 4,
5).
【0048】いま第1,第2の各入力画像において、前
記像点aR ,aL の座標をそれぞれ(xRA,yRA)(x
LA,yLA)とすると、これら像点に対応する物点Aのス
テレオ座標(XA ´,YA ´,ZA ´)は、つぎの
(4)式により与えられる。Now, in each of the first and second input images, the coordinates of the image points a R and a L are respectively expressed as (x RA , y RA ) (x
LA, When y LA), stereo coordinates of those points A corresponding to these image point (X A ', Y A' , Z A ') is given by the following equation (4).
【0049】[0049]
【数4】 (Equation 4)
【0050】図9は、前記図5〜7に示した計測処理に
おいて、空間座標系(X,Y,Z軸により表される)と
ステレオ座標系との関係を示すもので、ステレオ座標系
の各軸X´,Y´,Z´は、空間座標系の各軸X,Y,
Zに対し、それぞれ所定量だけ位置ずれ、回転ずれした
位置に設定されている。なおこの場合の空間座標系は、
あらかじめ支持面上の所定位置を原点として設定されて
いる。また図中の点A,B,Cは、前記指定点aR ,b
R ,cR に該当する物点であって、この場合、各物点
A,B,Cは、XZ平面上に位置している。FIG. 9 shows the relationship between the spatial coordinate system (represented by the X, Y, and Z axes) and the stereo coordinate system in the measurement processing shown in FIGS. Each axis X ', Y', Z 'is defined by each axis X, Y,
Z is set to a position shifted and rotated by a predetermined amount, respectively. Note that the spatial coordinate system in this case is
A predetermined position on the support surface is set in advance as the origin. Points A, B, and C in the figure are designated points a R , b
R and c R are object points, and in this case, each of the object points A, B and C is located on the XZ plane.
【0051】いまステレオ座標系の各軸X´,Y´,Z
´が空間座標系の各軸X,Y,Zに対し、それぞれα,
β,γだけ回転ずれし、またHx,Hy,Hzだけ位置
ずれしているものとすると、空間中の任意の一点につい
てのステレオ座標(X´,Y´,Z´)と空間座標
(X,Y,Z)との間には、つぎの関係式が成立する。Now, each axis X ', Y', Z of the stereo coordinate system
′ Is α, for each axis X, Y, Z in the spatial coordinate system, respectively.
Assuming that the rotation is shifted by β and γ and the position is shifted by Hx, Hy and Hz, the stereo coordinates (X ′, Y ′, Z ′) and the space coordinates (X, Y, Z), the following relational expression holds.
【0052】[0052]
【数5】 (Equation 5)
【0053】この(5)式中の未知の9個のパラメータ
sinα,sinβ,sinγ,cosα,cosβ,
cosγ,Hx,Hy,Hzを求めるためには、空間座
標とステレオ座標とがともに判明している点が、少なく
とも3点必要となる。したがって、前記のように、空間
座標が既知の3点A,B,Cについて、モニタに表示さ
れた基準画像上の各像点aR ,bR ,cR を指定した
後、これら指定点aR ,bR ,cR の座標と対応画像上
の対応点aL ,bL ,cL の座標とにより各点A,B,
Cのステレオ座標を求め、この算出結果と前記既知の空
間座標とを(5)式に代入することにより、各パラメー
タを算出することが可能となるのである。なお、パラメ
ータの算出精度を向上させるために、基準画像上で、空
間座標が既知の点の像点を4点以上指定し、これらの点
のステレオ座標と空間座標とを(5)式に代入して最小
自乗法を実行するようにしてもよい。The nine unknown parameters sin α, sin β, sin γ, cos α, cos β,
In order to obtain cosγ, Hx, Hy, and Hz, at least three points where both the spatial coordinates and the stereo coordinates are known are required. Therefore, as described above, for the three points A, B, and C whose spatial coordinates are known, after specifying the image points a R , b R , and c R on the reference image displayed on the monitor, these specified points a R, b R, the corresponding point on the coordinates and the corresponding image of the c R a L, b L, each point by and c L coordinates a, B,
By obtaining the stereo coordinates of C and substituting the calculation result and the known space coordinates into the equation (5), each parameter can be calculated. In order to improve the parameter calculation accuracy, four or more image points of points whose spatial coordinates are known on the reference image are specified, and the stereo coordinates and spatial coordinates of these points are substituted into the equation (5). Then, the least square method may be executed.
【0054】図4に戻って、上記(5)式により求めら
れる回転ずれ量α,β,γおよび位置ずれ量Hx,H
y,Hzは、前記した座標系パラメータとしてキャリブ
レーションデータメモリ7に出力され、前記観測系パラ
メータとともに保存される(ステップ6)。このファイ
ルは、必要に応じて取り出され、計測装置のメモリなど
に記憶される。Returning to FIG. 4, the rotational deviation amounts α, β, γ and the positional deviation amounts Hx, H obtained by the above equation (5)
The values y and Hz are output to the calibration data memory 7 as the above-described coordinate system parameters, and stored together with the observation system parameters (step 6). This file is extracted as needed and stored in a memory or the like of the measuring device.
【0055】上記のキャリブレーション処理は、空間座
標が既知の物点を用いたものであるが、観測位置におけ
る空間座標の計測や空間座標系の設定が困難である場合
には、対象物の支持面を基準として空間座標系を設定
し、この支持面上の少なくとも3個の物点のステレオ座
標を用いて座標系パラメータを算出することが可能であ
る。The above-described calibration process uses an object point whose spatial coordinates are known. However, when it is difficult to measure the spatial coordinates at the observation position and to set the spatial coordinate system, the calibration of the target object is performed. It is possible to set a spatial coordinate system on the basis of the surface and calculate the coordinate system parameters using the stereo coordinates of at least three object points on this support surface.
【0056】図10は、空間座標系の設定の具体例を示
す。図中のA,B,Cは、前記実施例と同様、第2のカ
メラ2bによる基準画像上で指定された点aR ,bR ,
cR に対応する物点であり、これら物点A,B,Cが位
置する平面(以下「基準面」という)上にXZ平面が位
置するものとする。つぎにステレオ座標系の原点O´か
ら前記基準面上に下ろした垂線VLを空間座標系のY軸
として、またこの垂線VLと基準面との交点を原点Oと
してそれぞれ設定するとともに、基準面において、ステ
レオ座標系のZ´軸が投影される方向にZ軸を、このZ
軸と垂直になる方向にX軸を、それぞれ設定する。FIG. 10 shows a specific example of setting the spatial coordinate system. A, B, and C in the figure are points a R , b R , and designated on the reference image by the second camera 2b, as in the above embodiment.
c R to a point corresponds, these object point A, B, and C is the XZ plane on the plane (hereinafter referred to as "reference plane") that is located shall be located. Next, a perpendicular VL lowered from the origin O 'of the stereo coordinate system onto the reference plane is set as the Y axis of the spatial coordinate system, and an intersection between the perpendicular VL and the reference plane is set as the origin O. , The Z axis in the direction in which the Z ′ axis of the stereo coordinate system is projected,
The X axis is set in a direction perpendicular to the axis.
【0057】図示例の空間座標系とステレオ座標系との
間では、y軸方向の回転ずれ量βやx,z各軸方向にお
ける位置ずれ量Hx,Hzがいずれも0となるから、x
軸方向における回転ずれ量α,z軸方向における回転ず
れ量γ,およびy軸方向における位置ずれ量Hyが判明
すれば、前記(5)式のすべてのパラメータが算出され
ることになる。In the illustrated example, between the spatial coordinate system and the stereo coordinate system, the rotational deviation β in the y-axis direction and the positional deviations Hx and Hz in the x- and z-axis directions are all zero.
If the amount of rotational deviation α in the axial direction, the amount of rotational deviation γ in the z-axis direction, and the amount of positional deviation Hy in the y-axis direction are known, all the parameters of the above equation (5) are calculated.
【0058】前記基準面はステレオ座標系の原点を通ら
ない位置に存在するものとすると、この基準面は、ステ
レオ座標系において、つぎの(6)式により表される。Assuming that the reference plane exists at a position that does not pass through the origin of the stereo coordinate system, the reference plane is expressed by the following equation (6) in the stereo coordinate system.
【0059】[0059]
【数6】 (Equation 6)
【0060】ここで前記物点A,B,Cの算出されたス
テレオ座標をこの(6)式に代入することにより、
(6)式中の各定数u,v,wが算出され、さらにその
算出結果を(7)〜(9)式に代入することにより、前
記α,γ,Hyが算出される。Here, by substituting the calculated stereo coordinates of the object points A, B, and C into the equation (6),
The constants u, v, and w in the equation (6) are calculated, and the calculated results are substituted into the equations (7) to (9) to calculate the α, γ, and Hy.
【0061】[0061]
【数7】 (Equation 7)
【0062】[0062]
【数8】 (Equation 8)
【0063】[0063]
【数9】 (Equation 9)
【0064】なお座標系パラメータの算出に最低必要な
3個の指定点のうち、2点は、基準面の所定の直線上に
位置する点の像点であってもよい。この場合、この直線
上に空間座標系のいずれか1軸が位置するように空間座
標を設定すれば、測定者に空間座標系を簡単に認識させ
ることができる。Note that, of the three minimum designated points required for calculating the coordinate system parameters, two points may be image points of points located on a predetermined straight line on the reference plane. In this case, if the spatial coordinates are set such that any one axis of the spatial coordinate system is located on this straight line, the measurer can easily recognize the spatial coordinate system.
【0065】図11は、モニタ9に表示された基準画像
13b上で、対象物の支持面の輪郭線に当たる線分の画
像と支持面上の物点Aの像点aR とを指定した例を示
す。なおここでは線分の抽出誤差を少なくするために、
線分上に複数個のウィンドウWR1〜WR5を設定して、各
ウィンドウWR1〜WR5に含まれる線分の中心点を指定点
として抽出するようにしている。FIG. 11 shows an example in which, on the reference image 13b displayed on the monitor 9, an image of a line segment corresponding to the contour of the support surface of the object and an image point a R of the object point A on the support surface are designated. Is shown. Note that here, in order to reduce the line segment extraction error,
Set a plurality of windows W R1 to W-R5 on the line, and to extract the center point of the line segments included in each window W R1 to W-R5 as specified point.
【0066】指定された各点の座標は、前記実施例と同
様、対応付け処理部6へと出力され、それぞれ対応画像
13a上での対応点が抽出された後、キャリブレーショ
ン処理部8において、対応付けされた各点毎に対応する
物点のステレオ座標が算出される。さらにキャリブレー
ション処理部8は、前記直線の構成点について得られた
各ステレオ座標をそれぞれつぎの(10)式に代入して
最小自乗法を実行し、実際の線分を含む直線を特定する
ためのパラメータとして、x,y,z各軸方向の切片φ
x,φy,φz、および傾きψx,ψy,ψzを算出す
る。The coordinates of each designated point are output to the associating processor 6 in the same manner as in the previous embodiment, and the corresponding points on the corresponding image 13a are extracted. Stereo coordinates of an object point corresponding to each associated point are calculated. Further, the calibration processing unit 8 executes the least squares method by substituting the respective stereo coordinates obtained for the constituent points of the straight line into the following equation (10) to specify the straight line including the actual line segment. Are the intercepts φ in the x, y, and z directions.
x, φy, φz and gradients ψx, ψy, ψz are calculated.
【0067】[0067]
【数10】 (Equation 10)
【0068】図12は、特定された直線と基準面とを基
準とする空間座標系の設定例を示すもので、基準画像1
3b上で指定された線分に対応する直線L1の方向にZ
軸が設定されている。またステレオ座標系の原点O´か
ら基準面上に下ろした垂線と基準面との交点O″を通
り、Z軸に垂直となる方向にX軸が設定される。さらに
これらX,Z軸により決定される原点Oの位置におい
て、基準面に垂直になる方向にY軸が設定される。FIG. 12 shows an example of setting a spatial coordinate system based on the specified straight line and the reference plane.
3b in the direction of the straight line L1 corresponding to the line segment specified on
The axis is set. In addition, the X axis is set in a direction perpendicular to the Z axis through an intersection O ″ between a perpendicular drawn from the origin O ′ of the stereo coordinate system onto the reference plane and the reference plane. Further, these X and Z axes are determined. At the origin O position, the Y axis is set in a direction perpendicular to the reference plane.
【0069】一方、線分以外に指定された点aR に対応
する点Aについても、前記と同様、ステレオ座標が算出
されているので、このステレオ座標と前記直線の方程式
(10)とから基準面を示す前記(6)式の各パラメー
タu,v,wが算出される。さらにこれらパラメータを
前記(7)〜(9)式に代入することにより、α,γ,
Hyの各パラメータが算出される。またy軸方向におけ
る回転ずれ量βは、前記直線の傾きを示すパラメータψ
x,ψy,ψzを用いたつぎの(11)式により算出さ
れる。On the other hand, since the stereo coordinates of point A corresponding to the designated point a R other than the line segment are also calculated in the same manner as described above, a reference is obtained from the stereo coordinates and the equation (10) of the straight line. Each parameter u, v, w of the above equation (6) indicating the plane is calculated. Further, by substituting these parameters into the above equations (7) to (9), α, γ,
Each parameter of Hy is calculated. The rotation deviation amount β in the y-axis direction is a parameter ψ indicating the inclination of the straight line.
It is calculated by the following equation (11) using x, ψy, ψz.
【0070】[0070]
【数11】 [Equation 11]
【0071】さらに、各座標系が図12のような関係に
ある場合、x,zの各軸方向におけるずれ量を示すパラ
メータHx,Hzは、それぞれHx=φx,Hz=0と
なる。これにより空間座標の算出に必要なすべての座標
系パラメータが算出されるので、3次元計測処理のため
の条件を整えることができる。なお1本の線分と1個の
物点との画像を指定する代わりに、同一平面上の2本以
上の線分の画像を指定してもよい。Further, when the respective coordinate systems have the relationship as shown in FIG. 12, the parameters Hx and Hz indicating the amounts of displacement of the x and z in the respective axial directions are Hx = φx and Hz = 0, respectively. As a result, all the coordinate system parameters necessary for calculating the spatial coordinates are calculated, so that the conditions for the three-dimensional measurement processing can be adjusted. Instead of specifying an image of one line segment and one object point, an image of two or more line segments on the same plane may be specified.
【0072】このように、同一平面上に位置する3点以
上の点についてステレオ座標が算出されていれば、この
平面を基準とする空間座標系を設定して、前記座標系パ
ラメータを算出することができるので、屋外など広い測
定空間において計測を行う場合や、キャリブレーション
のための位置の測定が困難である場合にも、問題なくキ
ャリブレーションを実施することができる。この場合、
観測位置において支持面上のマークや線分などを指標と
して定めておき、入力画像上でこの指標に相当する特徴
を抽出するようにすれば、さらに簡単かつ精度良く、キ
ャリブレーションを実施できる。As described above, if stereo coordinates are calculated for three or more points located on the same plane, a spatial coordinate system based on this plane is set, and the coordinate system parameters are calculated. Therefore, even when measurement is performed in a large measurement space such as outdoors or when it is difficult to measure a position for calibration, calibration can be performed without any problem. in this case,
If a mark or a line segment on the support surface is determined as an index at the observation position, and a feature corresponding to the index is extracted from the input image, calibration can be performed more simply and accurately.
【0073】図13は、前記指標を示す特徴を抽出する
機能を備えたキャリブレーション装置の構成例を示すも
ので、前記図1と同様の構成(ここでは各部に図1と同
様の符号を付してある)に加え、特徴抽出部18を構成
として含んでいる。この特徴抽出部18は、各カメラ1
a,1bからの入力画像のうち、基準画像として用いら
れるカメラ2bからの入力画像を取り込んで処理するも
ので、ここでは画像上の線分を示す特徴を抽出するよう
に構成されている。FIG. 13 shows an example of the configuration of a calibration apparatus having a function of extracting the feature indicating the index. The configuration is the same as that of FIG. 1 (in this case, the same reference numerals are assigned to the components as in FIG. 1). ), And a feature extraction unit 18 as a configuration. This feature extraction unit 18 is used for each camera 1
Among the input images a and 1b, an input image from the camera 2b used as a reference image is fetched and processed. Here, a feature indicating a line segment on the image is extracted.
【0074】図14(1)(2)は、道路上の所定位置
を観測対象とした場合の各カメラ1a,1bからの入力
画像19a,19bを示すもので、前記特徴抽出部18
は、図14(2)の基準画像19b上に、図15に示す
ようなラプラシアンフィルタを走査して、画像上のエッ
ジ構成点を抽出する。図16は、前記基準画像19bに
対するエッジ抽出結果を示すもので、道路の境界線や道
路中央の車線の輪郭部分が抽出されている。FIGS. 14A and 14B show input images 19a and 19b from the cameras 1a and 1b when a predetermined position on the road is to be observed.
Scans a Laplacian filter as shown in FIG. 15 on the reference image 19b in FIG. 14 (2) to extract edge constituent points on the image. FIG. 16 shows the result of edge extraction for the reference image 19b, in which the boundary of the road and the outline of the lane at the center of the road are extracted.
【0075】さらに特徴抽出部18は、このエッジ抽出
結果にハフ変換を施して、画像上での線分候補となる特
徴を抽出する。前記線分候補の抽出結果がモニタ9に表
示されると、オペレータは、この表示画面を見て、座標
系パラメータの算出に必要な線分を選択し、前記と同
様、入力処理部5を用いて指定処理を実行する。図17
は、前記ハフ変換による特徴抽出結果を表示する画面
を、図18はオペレータによる線分の指定結果を表示す
る画面を、それぞれ示すもので、オペレータに認識可能
なように、指定された線分m1,m2が太線に表示変更
されている。Further, the feature extraction unit 18 performs a Hough transform on the edge extraction result to extract a feature that is a line segment candidate on the image. When the extraction result of the line segment candidates is displayed on the monitor 9, the operator looks at this display screen, selects a line segment necessary for calculating the coordinate system parameters, and uses the input processing unit 5 in the same manner as described above. To execute the specified process. FIG.
FIG. 18 shows a screen displaying the feature extraction result by the Hough transform, and FIG. 18 shows a screen displaying the result of specifying the line segment by the operator. The specified line segment m1 is recognizable by the operator. , M2 are displayed in bold lines.
【0076】前記指定結果は、対応付け処理部6にも出
力され、各線分の構成点に対応する点が抽出された後、
さらにキャリブレーション処理部8により、指定された
実際の線分についての3次元データが求められる。以下
前記図12の実施例と同様にして、いずれかの線分上に
Z軸が位置するような空間座標系が設定された後、各線
分の構成点のステレオ座標を用いて座標系パラメータの
算出処理が行われる。The specified result is also output to the associating processing section 6, and after the points corresponding to the constituent points of each line segment are extracted,
Further, the calibration processing unit 8 obtains three-dimensional data on the specified actual line segment. Thereafter, in the same manner as in the embodiment of FIG. 12, after the spatial coordinate system in which the Z axis is located on any of the line segments is set, the coordinate system parameters are set using the stereo coordinates of the constituent points of each line segment. Calculation processing is performed.
【0077】図19は、上記の各方法により生成された
キャリブレーションデータを用いて3次元計測を実施す
る観測装置の構成例を示すもので、前記撮像部1のほ
か、A/D変換部20a,20b,画像メモリ21a,
21b,特徴抽出部22,対応付け処理部23,キャリ
ブレーションデータメモリ24,3次元計測処理部2
5,出力部26などを構成として含んでいる。FIG. 19 shows an example of the configuration of an observation apparatus that performs three-dimensional measurement using the calibration data generated by the above-described methods. In addition to the imaging unit 1, the A / D conversion unit 20a , 20b, image memory 21a,
21b, feature extraction unit 22, association processing unit 23, calibration data memory 24, three-dimensional measurement processing unit 2
5, an output unit 26 and the like.
【0078】各A/D変換部20a,20bは、撮像部
1のカメラ1a,1bからの画像を取り込んでディジタ
ル変換するためのもので、各ディジタル画像は画像メモ
リ21a,21bに格納される。特徴抽出部22は、各
画像メモリ21a,21b内の入力画像からそれぞれエ
ッジ構成点を抽出するためのもので、その抽出結果は対
応付け処理部23へと出力される。The A / D converters 20a and 20b are for taking in the images from the cameras 1a and 1b of the image pickup unit 1 and performing digital conversion, and the digital images are stored in the image memories 21a and 21b. The feature extracting unit 22 is for extracting the edge constituent points from the input images in each of the image memories 21a and 21b, and the extraction result is output to the association processing unit 23.
【0079】対応付け処理部23は、抽出された各エッ
ジ構成点について、各画像間での対応付け処理を実行
し、その対応付け結果を3次元計測処理部25へと出力
する。なお上記構成に代えて、前記図13のキャリブレ
ーション装置と同様、いずれか一方の入力画像について
のみエッジ構成点を抽出し、他方の入力画像上で各エッ
ジ構成点に対応する点を抽出するように構成してもよ
い。The associating processing unit 23 executes an associating process between the images for each of the extracted edge constituent points, and outputs the associating result to the three-dimensional measurement processing unit 25. Instead of the above configuration, similarly to the calibration device of FIG. 13, the edge constituent points are extracted from only one of the input images, and the points corresponding to the respective edge constituent points are extracted on the other input image. May be configured.
【0080】キャリブレーションデータメモリ24に
は、前記撮像部1の観測系パラメータと、前記各実施例
のいずれかにより算出された座標系パラメータとから成
るキャリブレーションデータファイルが記憶されてい
る。3次元計測処理部25は、これらパラメータと前記
対応付け結果とを用いて、各エッジ構成点に対応する実
際の物点、すなわち対象物の輪郭構成点の空間座標を算
出する。The calibration data memory 24 stores a calibration data file including the observation system parameters of the imaging unit 1 and the coordinate system parameters calculated by any of the above embodiments. The three-dimensional measurement processing unit 25 calculates the actual object point corresponding to each edge composing point, that is, the spatial coordinates of the contour composing point of the object, using these parameters and the association result.
【0081】出力部26は、前記3次元計測処理部25
により算出された各輪郭構成点の空間座標を出力するた
めのもので、モニタ,プリンタ,または他の装置への送
信装置などにより構成される。The output unit 26 is provided with the three-dimensional measurement processing unit 25.
It outputs the spatial coordinates of each contour composing point calculated by the above, and is constituted by a monitor, a printer, or a transmission device to another device.
【0082】図20は、上記観測装置による3次元計測
処理の一連の手順を示す。まず最初のステップ1で、撮
像部1からの画像が画像メモリ21a,21bに格納さ
れると、特徴抽出部22は、各入力画像上から対象物の
輪郭に相当するエッジ構成点を抽出する。FIG. 20 shows a series of procedures of a three-dimensional measurement process by the observation device. First, in the first step 1, when the image from the imaging unit 1 is stored in the image memories 21a and 21b, the feature extraction unit 22 extracts the edge constituent points corresponding to the contour of the object from each input image.
【0083】図21は、前記特徴抽出部18でエッジ構
成点を抽出するためのラプラシアンフィルタの一例を、
図22は、このラプラシアンフィルタによる抽出結果を
それぞれ示す。なおこの図22は、前記図5(2)に示
したのと同様の入力画像に対する抽出結果であって、前
記ラプラシアンフィルタにより画像上の垂直成分の構成
点が抽出されている。FIG. 21 shows an example of a Laplacian filter for extracting edge constituent points in the feature extraction unit 18.
FIG. 22 shows the results of extraction by the Laplacian filter. Note that FIG. 22 shows an extraction result for the same input image as that shown in FIG. 5 (2), in which vertical component points on the image are extracted by the Laplacian filter.
【0084】図20に戻って、エッジ構成点が抽出され
ると、つぎのステップ3で、対応付け処理部23により
各エッジ構成点の画像間での対応付け処理が行われる。
この対応付け処理は、具体的には、いずれか一方の入力
画像を基準画像としてその画像上の所定のエッジ構成点
に着目し、他方の画像上で前記着目点のエピポーラライ
ン上に位置するエッジ構成点のうち、近傍の画像データ
が基準画像上の着目点近傍の画像データに最も類似する
ものを対応点として選択することにより行われる。すべ
てのエッジ構成点についての対応づけが行われると、つ
ぎに3次元計測処理部25による計測処理へと移行す
る。Returning to FIG. 20, when the edge composing points are extracted, in the next step 3, the associating processing section 23 performs the associating process between the images of the respective edge composing points.
Specifically, the associating process focuses on a predetermined edge composing point on one of the input images as a reference image, and detects an edge located on the epipolar line of the point of interest on the other image. This is performed by selecting, from among the constituent points, those having the closest image data to the image data near the target point on the reference image as the corresponding points. When all the edge constituent points have been associated, the process proceeds to the measurement process by the three-dimensional measurement processing unit 25.
【0085】まず3次元計測処理部25は、各入力画像
間で対応付けられたエッジ構成点の組毎に、その2次元
座標およびキャリブレーションデータメモリ24に記憶
された観測系パラメータを用いて前記(4)式を実行
し、対象物の輪郭構成点のステレオ座標を算出する(ス
テップ4)。さらに3次元計測処理部25は、キャリブ
レーションデータメモリ24より座標系パラメータを読
み出して、これらパラメータと前記ステレオ座標とを前
記(5)式に代入し、各輪郭構成点の空間座標を算出す
る(ステップ5)。算出された各空間座標は、前記出力
部より外部へと出力され(ステップ6)、一連の手順が
終了する。First, the three-dimensional measurement processing unit 25 uses the two-dimensional coordinates and the observation system parameters stored in the calibration data memory 24 for each set of edge constituent points associated with each input image. The equation (4) is executed to calculate the stereo coordinates of the contour constituting point of the object (step 4). Further, the three-dimensional measurement processing unit 25 reads the coordinate system parameters from the calibration data memory 24, substitutes these parameters and the stereo coordinates into the above equation (5), and calculates the spatial coordinates of each contour constituent point ( Step 5). The calculated spatial coordinates are output from the output unit to the outside (step 6), and a series of procedures is completed.
【0086】なお上記の計測装置は、図1または図13
に示したキャリブレーション装置2により生成されたキ
ャリブレーションデータを取り込んで計測処理を実行す
るものであるが、これに限らず、この計測処理装置内に
キャリブレーションにかかる機能を組み込むように構成
してもよい。Note that the above-described measuring device corresponds to FIG. 1 or FIG.
The measurement processing is executed by fetching the calibration data generated by the calibration device 2 shown in (1). However, the present invention is not limited to this. Is also good.
【0087】[0087]
【発明の効果】請求項1および4の発明では、あらかじ
め相対位置関係が判明している2台以上の撮像手段によ
り観測位置を撮像し、複数個の物点の既知の空間座標
と、これら物点の各画像上における像点の対応関係から
算出されたステレオ座標とを用いて、空間座標系とステ
レオ座標系との位置関係を求めるようにしたから、各カ
メラ毎にパラメータを算出する必要がなくなり、キャリ
ブレーションに要する時間を大幅に削減できる。According to the first and fourth aspects of the present invention, the observation position is imaged by two or more imaging means whose relative positional relationship is known in advance, and the known spatial coordinates of a plurality of object points and these object positions are obtained. Since the positional relationship between the spatial coordinate system and the stereo coordinate system is obtained using the stereo coordinates calculated from the correspondence between the image points of the points on each image, it is necessary to calculate the parameters for each camera. And the time required for calibration can be significantly reduced.
【0088】請求項2および5の発明では、空間座標が
既知の点を少なくとも3個用いて前記空間座標系とステ
レオ座標系との位置関係を求めるので、キャリブレーシ
ョンのために少なくとも6個の点を指定する必要があっ
た従来の方法に比べて、キャリブレーションに要する労
力を大幅に削減することができる。According to the second and fifth aspects of the present invention, since the positional relationship between the spatial coordinate system and the stereo coordinate system is obtained by using at least three points whose spatial coordinates are known, at least six points are used for calibration. The labor required for the calibration can be greatly reduced as compared with the conventional method in which it is necessary to specify.
【0089】請求項3および6の発明では、同一平面上
にある物点について、それぞれ各画像上の像点の対応関
係に基づきステレオ座標を算出するとともに、これら物
点の位置する平面を基準として空間座標系を設定し、算
出されたステレオ座標を用いて空間座標系とステレオ座
標系との位置関係を求めるので、キャリブレーションの
ために空間座標が既知の物点を用意する必要がなくな
り、測定空間における実計測が困難な場合にもキャリブ
レーションを実施することが可能となる。According to the third and sixth aspects of the present invention, for each object point on the same plane, the stereo coordinates are calculated based on the correspondence between the image points on each image, and based on the plane where these object points are located. Since the spatial coordinate system is set and the positional relationship between the spatial coordinate system and the stereo coordinate system is obtained using the calculated stereo coordinates, there is no need to prepare object points whose spatial coordinates are known for calibration, and measurement is performed. Calibration can be performed even when actual measurement in space is difficult.
【0090】請求項7の発明では、各物点の位置する平
面上に2軸が含まれるように空間座標系を設定するの
で、座標系の設定処理を簡易化できる。According to the seventh aspect of the present invention, since the spatial coordinate system is set so that two axes are included on the plane where each object point is located, the setting process of the coordinate system can be simplified.
【0091】請求項8,9の発明では、平面上の所定の
線分の方向に空間座標系の1軸を設定し、平面上で線分
に垂直となる方向に他の1軸を設定するようにしたの
で、空間座標系の設定処理をさらに簡易化できる。また
線分を基準として空間座標系を設定することにより、実
際の空間において対象物の位置が認識しやすくなる。According to the eighth and ninth aspects of the present invention, one axis of the spatial coordinate system is set in a direction of a predetermined line segment on a plane, and another axis is set in a direction perpendicular to the line segment on the plane. As a result, the setting process of the spatial coordinate system can be further simplified. In addition, by setting the space coordinate system based on the line segment, the position of the target object in the actual space can be easily recognized.
【0092】請求項10の発明では、入力画像上から線
分を示す特徴を抽出し、その抽出結果によりキャリブレ
ーションのために指定する線分の画像を決定するように
したので、指定点の選択を簡単に行って、高精度のキャ
リブレーションを実行することが可能となる。According to the tenth aspect, a feature indicating a line segment is extracted from the input image, and the image of the line segment designated for calibration is determined based on the extraction result. Can be easily performed, and highly accurate calibration can be performed.
【図1】この発明の一実施例にかかるキャリブレーショ
ン装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a calibration device according to one embodiment of the present invention.
【図2】撮像部の具体的な構成を示す斜視図である。FIG. 2 is a perspective view illustrating a specific configuration of an imaging unit.
【図3】ステレオ座標系とカメラ座標系との関係を示す
説明図である。FIG. 3 is an explanatory diagram showing a relationship between a stereo coordinate system and a camera coordinate system.
【図4】キャリブレーション処理の手順を示すフローチ
ャートである。FIG. 4 is a flowchart illustrating a procedure of a calibration process.
【図5】各カメラからの入力画像の一例を示す説明図で
ある。FIG. 5 is an explanatory diagram showing an example of an input image from each camera.
【図6】表示画面上での像点の指定例を示す説明図であ
る。FIG. 6 is an explanatory diagram showing an example of specifying an image point on a display screen.
【図7】指定点の対応点を抽出するための原理を示す説
明図である。FIG. 7 is an explanatory diagram showing a principle for extracting a corresponding point of a designated point.
【図8】指定点の対応点を抽出するための原理を示す説
明図である。FIG. 8 is an explanatory diagram showing a principle for extracting a corresponding point of a designated point.
【図9】ステレオ座標系を空間座標系との位置関係を示
す説明図である。FIG. 9 is an explanatory diagram showing a positional relationship between a stereo coordinate system and a spatial coordinate system.
【図10】空間座標系の設定方法を示す説明図である。FIG. 10 is an explanatory diagram showing a setting method of a spatial coordinate system.
【図11】モニタの表示画面上での像点の指定例を示す
説明図である。FIG. 11 is an explanatory diagram showing an example of specifying an image point on a display screen of a monitor.
【図12】空間座標系の設定方法を示す説明図である。FIG. 12 is an explanatory diagram showing a setting method of a spatial coordinate system.
【図13】キャリブレーション装置の他の構成を示すブ
ロック図である。FIG. 13 is a block diagram showing another configuration of the calibration device.
【図14】各カメラからの入力画像の一例を示す説明図
である。FIG. 14 is an explanatory diagram illustrating an example of an input image from each camera.
【図15】エッジ抽出のためのラプラシアンフィルタの
構成を示す説明図である。FIG. 15 is an explanatory diagram showing a configuration of a Laplacian filter for edge extraction.
【図16】図14(2)の入力画像に対するエッジ抽出
処理を示す説明図である。FIG. 16 is an explanatory diagram showing an edge extraction process for the input image of FIG. 14 (2).
【図17】図16のエッジ抽出結果に対し、ハフ変換を
行った結果を示す説明図である。FIG. 17 is an explanatory diagram showing a result of performing Hough transform on the edge extraction result of FIG. 16;
【図18】線分の指定結果の表示例を示す説明図であ
る。FIG. 18 is an explanatory diagram illustrating a display example of a designated result of a line segment.
【図19】計測装置の構成例を示すブロック図である。FIG. 19 is a block diagram illustrating a configuration example of a measurement device.
【図20】3次元計測処理の手順を示すフローチャート
である。FIG. 20 is a flowchart illustrating a procedure of a three-dimensional measurement process.
【図21】エッジ抽出のためのラプラシアンフィルタの
構成を示す説明図である。FIG. 21 is an explanatory diagram showing a configuration of a Laplacian filter for edge extraction.
【図22】エッジ抽出結果の一例を示す説明図である。FIG. 22 is an explanatory diagram showing an example of an edge extraction result.
1a,1b テレビカメラ 5 入力処理部 6 対応付け処理部 7 キャリブレーションデータメモリ 8 キャリブレーション処理部 18 特徴抽出部 1a, 1b TV camera 5 Input processing unit 6 Correlation processing unit 7 Calibration data memory 8 Calibration processing unit 18 Feature extraction unit
Claims (10)
置を撮像して3次元計測を行う装置に対し、キャリブレ
ーションを行う方法であって、 前記撮像手段の相対位置関係を記憶する第1のステップ
と、 各撮像手段により撮像して得られた画像のうちいずれか
の画像上で、所定の空間位置を原点とする空間座標系に
おける位置が既知の物点の像点を、複数個指定する第2
のステップと、 他の撮像手段により得られた画像上で、前記各指定点の
対応点をそれぞれ抽出し、これら指定点の対応関係と前
記撮像手段の相対位置関係とに基づき、撮像位置を原点
とするステレオ座標系における各物点の空間座標を算出
する第3のステップと、 各物点の算出されたステレオ座標と前記既知の空間座標
とを用いて、前記空間座標系とステレオ座標系との位置
関係を求める第4のステップとを一連に実施することを
特徴とするキャリブレーション方法。1. A method for calibrating an apparatus that performs three-dimensional measurement by imaging a predetermined observation position by two or more imaging means, wherein a first positional relationship between the imaging means is stored. And specifying a plurality of image points of an object point whose position in a spatial coordinate system having a predetermined spatial position as an origin is known on one of the images obtained by the imaging means. Second
And extracting the corresponding points of each of the designated points on the image obtained by the other imaging means, and determining the imaging position as the origin based on the correspondence between these designated points and the relative positional relationship of the imaging means. A third step of calculating the spatial coordinates of each object point in the stereo coordinate system, and using the calculated stereo coordinates of each object point and the known spatial coordinates to calculate the spatial coordinate system and the stereo coordinate system. And a fourth step of obtaining the positional relationship of the above.
間座標が既知の物点の像点を少なくとも3個指定するス
テップである請求項1に記載されたキャリブレーション
方法。2. The calibration method according to claim 1, wherein the second step is a step of specifying at least three image points of object points whose spatial coordinates are known on the image.
置を撮像して3次元計測を行う装置に対し、キャリブレ
ーションを行う方法であって、 前記撮像手段の相対位置関係を記憶する第1のステップ
と、 各撮像手段により撮像して得られた画像のうちいずれか
の画像上で、同一平面上に位置する少なくとも3個の物
点の像点を指定する第2のステップと、 他の撮像手段により得られた画像上で、前記各指定点の
対応点をそれぞれ抽出し、これら指定点の対応関係と前
記撮像手段の相対位置関係とに基づき、撮像位置を原点
とするステレオ座標系における各物点の空間座標を算出
する第3のステップと、 各物点の位置する平面を基準として空間座標系を設定す
るとともに、各物点の算出されたステレオ座標を用いて
前記空間座標系とステレオ座標系との位置関係を求める
第4のステップとを一連に実施することを特徴とする請
求項1に記載されたキャリブレーション方法。3. A method for calibrating an apparatus for performing three-dimensional measurement by imaging a predetermined observation position by two or more imaging means, the method comprising: storing a relative positional relationship between the imaging means. A second step of designating image points of at least three object points located on the same plane on any one of the images obtained by the imaging means. On the image obtained by the imaging unit, the corresponding points of the respective designated points are respectively extracted, and based on the correspondence between these designated points and the relative positional relationship of the imaging unit, a stereo coordinate system having an imaging position as an origin is used. A third step of calculating the spatial coordinates of each object point, and setting a spatial coordinate system with reference to a plane on which each object point is located, and using the calculated stereo coordinates of each object point and the spatial coordinate system. stereo Calibration method according to claim 1, which comprises carrying out the fourth step of obtaining a positional relationship between the target system in a series.
置を撮像して3次元計測を行う装置に対し、キャリブレ
ーションを行う装置であって、 前記各撮像手段からの画像を入力する画像入力手段と、 前記各撮像手段の相対位置関係を記憶する記憶手段と、 いずれかの入力画像上で、所定の空間位置を原点とする
空間座標系における位置が既知の物点の像点を複数個指
定する指定手段と、 他の入力画像上で、前記指定手段により指定された各点
の対応点をそれぞれ抽出し、その対応関係と各撮像手段
の記憶された相対位置関係とに基づき、撮像位置を原点
とするステレオ座標系における各物点の空間座標を算出
する算出手段と、 各物点の算出されたステレオ座標と前記既知の空間座標
とを用いて、前記空間座標系とステレオ座標系との位置
関係を表すパラメータを算出するパラメータ算出手段と
を備えて成るキャリブレーション装置。4. An apparatus for performing calibration for an apparatus which performs three-dimensional measurement by imaging a predetermined observation position by using two or more imaging means, and wherein an image input for inputting an image from each of the imaging means is provided. Means, storage means for storing a relative positional relationship between the respective image pickup means, and a plurality of image points of an object point whose position in a spatial coordinate system having a predetermined spatial position as an origin is known on any one of the input images. Specifying means for specifying, and, on another input image, extracting a corresponding point of each point specified by the specifying means, based on the corresponding relation and the stored relative positional relation of each imaging means, Calculating means for calculating the spatial coordinates of each object point in the stereo coordinate system having the origin as the origin, using the calculated stereo coordinates of each object point and the known spatial coordinates, the spatial coordinate system and the stereo coordinate system. Location Calibration apparatus comprising a parameter calculating means for calculating parameters representing.
間座標が既知の物点の像点を、少なくとも3個指定する
請求項4に記載されたキャリブレーション装置。5. The calibration apparatus according to claim 4, wherein the specifying unit specifies at least three image points of an object point whose spatial coordinates are known on the input image.
置を撮像して3次元計測を行う装置に対し、キャリブレ
ーションを行う装置であって、 前記各撮像手段からの画像を入力する画像入力手段と、 前記各撮像手段の相対位置関係を記憶する記憶手段と、 いずれかの入力画像上で、同一平面上に位置する物点の
像点を少なくとも3個指定する指定手段と、 他の入力画像上で、前記指定手段により指定された各点
の対応点をそれぞれ抽出し、その対応関係と各撮像手段
の記憶された相対位置関係とに基づき、撮像位置を原点
とするステレオ座標系における各物点の空間座標を算出
する算出手段と、 各物点の位置する平面を基準として空間座標系を設定す
る設定手段と、 各物点の算出されたステレオ座標を用いて、前記設定手
段により設定された空間座標系とステレオ座標系との位
置関係を表すパラメータを算出するパラメータ算出手段
とを備えて成るキャリブレーション装置。6. An apparatus for performing calibration for an apparatus that performs three-dimensional measurement by imaging a predetermined observation position by using two or more imaging units, and an image input unit that inputs an image from each of the imaging units. Means, storage means for storing a relative positional relationship between the respective imaging means, designating means for designating at least three image points of object points located on the same plane on any of the input images, and other input means On the image, a corresponding point of each point specified by the specifying unit is extracted, and based on the correspondence and the stored relative positional relationship of each imaging unit, each point in a stereo coordinate system whose origin is the imaging position is defined. Calculating means for calculating the spatial coordinates of the object point; setting means for setting the spatial coordinate system with reference to the plane on which each object point is located; and setting by the setting means using the calculated stereo coordinates of each object point Is And a parameter calculating means for calculating a parameter representing a positional relationship between the spatial coordinate system and the stereo coordinate system.
平面上にいずれか2軸が含まれるように空間座標系を設
定する請求項6に記載されたキャリブレーション装置。7. The calibration apparatus according to claim 6, wherein the setting unit sets the spatial coordinate system such that any two axes are included on a plane where each of the object points is located.
像上で、同一平面上に位置する1線分と1物点との画像
をそれぞれ指定し、 前記設定手段は、前記線分の方向にいずれか1軸が位置
し、前記平面上でこの軸に垂直となる方向に他の1軸が
位置するように、空間座標系を設定する請求項6に記載
されたキャリブレーション装置。8. The designating means designates an image of one line segment and one object point located on the same plane on any of the input images, and the setting means designates a direction of the line segment. 7. The calibration apparatus according to claim 6, wherein a spatial coordinate system is set such that any one axis is located on the plane and another axis is located in a direction perpendicular to the axis on the plane.
上に位置する複数の線分の画像を指定し、 前記設定手段は、いずれかの線分の方向にいずれか1軸
が位置し、前記平面上でこの軸に垂直となる方向に他の
1軸が位置するように、空間座標系を設定する請求項6
に記載されたキャリブレーション装置。9. The designating means designates an image of a plurality of line segments located on the same plane on the image, and the setting means designates that any one axis is located in any direction of the line segment. 7. The spatial coordinate system is set such that another axis is positioned on the plane in a direction perpendicular to the axis.
The calibration device described in 1.
線分を示す特徴を抽出する特徴抽出手段を含み、この抽
出結果より前記指定する線分の画像を決定する請求項
6,8,9のいずれかに記載されたキャリブレーション
装置。10. The apparatus according to claim 6, wherein said designating means includes a feature extracting means for extracting a feature indicating a line segment from said input image, and determines an image of said designated line segment from said extraction result. The calibration device according to any one of the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8298105A JPH10122819A (en) | 1996-10-21 | 1996-10-21 | Method and device for calibration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8298105A JPH10122819A (en) | 1996-10-21 | 1996-10-21 | Method and device for calibration |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10122819A true JPH10122819A (en) | 1998-05-15 |
Family
ID=17855230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8298105A Pending JPH10122819A (en) | 1996-10-21 | 1996-10-21 | Method and device for calibration |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10122819A (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003015411A1 (en) * | 2001-08-06 | 2003-02-20 | Sumitomo Osaka Cement Co.,Ltd. | Monitoring system using stereoscopic image and monitoring method |
JP2007085937A (en) * | 2005-09-22 | 2007-04-05 | Toyota Motor Corp | Image ranging device and method therefor |
JP2007225403A (en) * | 2006-02-22 | 2007-09-06 | Purex:Kk | Adjustment mechanism of distance measuring apparatus and stereoscopic shape recognition system provided with it |
CN100460806C (en) * | 2005-06-17 | 2009-02-11 | 欧姆龙株式会社 | Three-dimensional measuring method and three-dimensional measuring apparatus |
JP2010198554A (en) * | 2009-02-27 | 2010-09-09 | Acutelogic Corp | Device and method for correcting image |
JP2010210584A (en) * | 2009-03-12 | 2010-09-24 | Omron Corp | Three-dimensional visual sensor |
JP2010217001A (en) * | 2009-03-17 | 2010-09-30 | Tokyo Electric Power Co Inc:The | Device for measurement of flying object position |
US8447097B2 (en) | 2009-03-12 | 2013-05-21 | Omron Corporation | Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement |
US8565515B2 (en) | 2009-03-12 | 2013-10-22 | Omron Corporation | Three-dimensional recognition result displaying method and three-dimensional visual sensor |
US8654193B2 (en) | 2009-03-13 | 2014-02-18 | Omron Corporation | Method for registering model data for optical recognition processing and optical sensor |
JP2015503099A (en) * | 2011-12-06 | 2015-01-29 | ライカ ジオシステムズ アクチエンゲゼルシャフトLeica Geosystems AG | Laser tracker with position sensitive detector to search for targets |
CN109908497A (en) * | 2019-04-01 | 2019-06-21 | 上海联影医疗科技有限公司 | Calibrating coordinates device, system, method and medium |
JP2020516883A (en) * | 2017-04-17 | 2020-06-11 | コグネックス・コーポレイション | High precision calibration system and method |
US11311747B2 (en) | 2020-07-16 | 2022-04-26 | Uih America, Inc. | Systems and methods for isocenter calibration |
-
1996
- 1996-10-21 JP JP8298105A patent/JPH10122819A/en active Pending
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003015411A1 (en) * | 2001-08-06 | 2003-02-20 | Sumitomo Osaka Cement Co.,Ltd. | Monitoring system using stereoscopic image and monitoring method |
CN100460806C (en) * | 2005-06-17 | 2009-02-11 | 欧姆龙株式会社 | Three-dimensional measuring method and three-dimensional measuring apparatus |
JP2007085937A (en) * | 2005-09-22 | 2007-04-05 | Toyota Motor Corp | Image ranging device and method therefor |
JP2007225403A (en) * | 2006-02-22 | 2007-09-06 | Purex:Kk | Adjustment mechanism of distance measuring apparatus and stereoscopic shape recognition system provided with it |
JP2010198554A (en) * | 2009-02-27 | 2010-09-09 | Acutelogic Corp | Device and method for correcting image |
US8559704B2 (en) | 2009-03-12 | 2013-10-15 | Omron Corporation | Three-dimensional vision sensor |
US8447097B2 (en) | 2009-03-12 | 2013-05-21 | Omron Corporation | Calibration apparatus and method for assisting accuracy confirmation of parameter for three-dimensional measurement |
JP2010210584A (en) * | 2009-03-12 | 2010-09-24 | Omron Corp | Three-dimensional visual sensor |
US8565515B2 (en) | 2009-03-12 | 2013-10-22 | Omron Corporation | Three-dimensional recognition result displaying method and three-dimensional visual sensor |
US8654193B2 (en) | 2009-03-13 | 2014-02-18 | Omron Corporation | Method for registering model data for optical recognition processing and optical sensor |
JP2010217001A (en) * | 2009-03-17 | 2010-09-30 | Tokyo Electric Power Co Inc:The | Device for measurement of flying object position |
JP2015503099A (en) * | 2011-12-06 | 2015-01-29 | ライカ ジオシステムズ アクチエンゲゼルシャフトLeica Geosystems AG | Laser tracker with position sensitive detector to search for targets |
US9696140B2 (en) | 2011-12-06 | 2017-07-04 | Leica Geosystems Ag | Laser tracker with position-sensitive detectors for searching for a target |
JP2020516883A (en) * | 2017-04-17 | 2020-06-11 | コグネックス・コーポレイション | High precision calibration system and method |
CN109908497A (en) * | 2019-04-01 | 2019-06-21 | 上海联影医疗科技有限公司 | Calibrating coordinates device, system, method and medium |
US11311747B2 (en) | 2020-07-16 | 2022-04-26 | Uih America, Inc. | Systems and methods for isocenter calibration |
US11786759B2 (en) | 2020-07-16 | 2023-10-17 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for isocenter calibration |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107316325B (en) | Airborne laser point cloud and image registration fusion method based on image registration | |
KR100817656B1 (en) | Image processing method, 3-dimension position measuring method, and image processing device | |
US8300986B2 (en) | Image measurement apparatus for creating a panoramic image | |
JP5580164B2 (en) | Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program | |
EP1378790B1 (en) | Method and device for correcting lens aberrations in a stereo camera system with zoom | |
US5073819A (en) | Computer assisted video surveying and method thereof | |
EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
EP1343332A2 (en) | Stereoscopic image characteristics examination system | |
CN110827392B (en) | Monocular image three-dimensional reconstruction method, system and device | |
JP7300948B2 (en) | Survey data processing device, survey data processing method, program for survey data processing | |
JP2009042162A (en) | Calibration device and method therefor | |
JPH10122819A (en) | Method and device for calibration | |
JP3282516B2 (en) | 3D image measurement method | |
JP3696336B2 (en) | How to calibrate the camera | |
JPH1079029A (en) | Stereoscopic information detecting method and device therefor | |
JP2006234703A (en) | Image processing device, three-dimensional measuring device, and program for image processing device | |
CN115326835B (en) | Cylinder inner surface detection method, visualization method and detection system | |
JP2005174151A (en) | Three-dimensional image display device and method | |
JP4248212B2 (en) | Stereo image processing apparatus and stereo image processing method | |
CN112304250B (en) | Three-dimensional matching equipment and method between moving objects | |
JP2686664B2 (en) | Three-dimensional measuring method and device | |
JP3519296B2 (en) | Automatic measurement method and automatic measurement device for thermal image | |
JP3340599B2 (en) | Plane estimation method | |
Jacobsen | Pc-based digital photogrammetry | |
Tournas et al. | Automatic 3D point cloud registration for cultural heritage documentation |