JP2005258953A - Fish eye camera and calibration method in the fish eye camera - Google Patents

Fish eye camera and calibration method in the fish eye camera Download PDF

Info

Publication number
JP2005258953A
JP2005258953A JP2004071560A JP2004071560A JP2005258953A JP 2005258953 A JP2005258953 A JP 2005258953A JP 2004071560 A JP2004071560 A JP 2004071560A JP 2004071560 A JP2004071560 A JP 2004071560A JP 2005258953 A JP2005258953 A JP 2005258953A
Authority
JP
Japan
Prior art keywords
fisheye
region
image
feature point
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004071560A
Other languages
Japanese (ja)
Inventor
Toshiki Iso
俊樹 磯
Masaharu Kurakake
正治 倉掛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2004071560A priority Critical patent/JP2005258953A/en
Publication of JP2005258953A publication Critical patent/JP2005258953A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To realize calibration for a fish eye camera. <P>SOLUTION: This image processor 10 is configured to extract the coordinates of a boundary position between a black region which is not projected to a fisheye development image face and a fisheye development image, being any region other than the region among images photographed by a fisheye lens 11 as a boundary feature point by a feature point extracting part 121. A curve coefficient estimating part 122 estimates a curve coefficient(for example, conic coefficient), by using the method of least squares from the extracted boundary feature point. A transformation matrix calculating part 123 calculates a matrix for correction transformation by using the curve coefficient. A development image generating part 124 multiplies the coordinates on the fisheye development image face by the matrix for correction transformation, in order to generate the corrected fisheye developed image. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、カメラにキャリブレーションを施すことで撮影画像の画質を向上する技術に関する。   The present invention relates to a technique for improving the image quality of a captured image by calibrating a camera.

従来、所定の規格や基準に適合するように端末装置のパラメータを調整するキャリブレーションに関して、様々な手法が提案されている。特に、カメラにおいては、三次元形状の被写体を二次元画像に変換する際に双方の位置関係の対応付けが必要となることから、焦点距離などの内部変数とカメラ姿勢などの外部変数とを求める処理がキャリブレーションの一プロセスとして実行される。特許文献１には、このようなキャリブレーションを、道路上へのマーカの設置や交通規制を行うことなく監視カメラに適用する技術が開示されている。
特開２００２−２３２８６９号公報 Conventionally, various methods have been proposed for calibration for adjusting parameters of a terminal device so as to conform to a predetermined standard or standard. In particular, in a camera, when a three-dimensional object is converted into a two-dimensional image, it is necessary to associate the positional relationship between the two. Therefore, an internal variable such as a focal length and an external variable such as a camera posture are obtained. The process is executed as one process of calibration. Patent Document 1 discloses a technique for applying such calibration to a surveillance camera without performing marker installation or traffic regulation on a road.
JP 2002-232869 A

しかしながら、上記従来技術は、ステレオカメラやピンホールカメラを主に想定したものであり、魚眼カメラを対象としたものではなかった。魚眼カメラにおいては、使用環境の変化や経時的劣化を始めとする何らかの要因によって、レンズの光軸中心の位置、あるいは光軸の方向にずれが生じることがある。このようなずれを補正するためには、キャリブレーションの技術を魚眼展開画像面に適用することが有効である。特に、携帯端末を利用した動物体の遠隔モニタリングに際しては、視野角の広い魚眼カメラを撮影装置として使用することが効果的であることから、高画質な画像を提示するためにキャリブレーション技術の開発が望まれていた。   However, the above prior art mainly assumes a stereo camera or a pinhole camera, and is not intended for a fisheye camera. In a fish-eye camera, a shift may occur in the position of the optical axis center of the lens or in the direction of the optical axis due to a change in the usage environment or deterioration over time. In order to correct such a shift, it is effective to apply a calibration technique to the fish-eye developed image plane. In particular, in remote monitoring of moving objects using a mobile terminal, it is effective to use a fisheye camera with a wide viewing angle as an imaging device. Development was desired.

そこで、本発明の課題は、魚眼カメラにおいてキャリブレーションを実現することである。   Therefore, an object of the present invention is to realize calibration in a fisheye camera.

上記課題を解決するために、本発明に係る魚眼カメラは、撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出手段と、前記抽出手段により抽出された前記境界特徴点から曲線係数を推定する推定手段と、前記推定手段により推定された前記曲線係数を使用して、補正変換用行列を算出する算出手段と、前記算出手段により算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成手段とを備える。   In order to solve the above-described problem, the fisheye camera according to the present invention uses the coordinates of the boundary position between a region that is not projected onto the fisheye development image plane and a region other than the region of the captured image as a boundary feature point. The correction conversion matrix is calculated using the extraction means for extracting as the above, the estimation means for estimating the curve coefficient from the boundary feature point extracted by the extraction means, and the curve coefficient estimated by the estimation means A calculation unit; and a generation unit configured to multiply the coordinates on the fisheye expanded image plane by the correction conversion matrix calculated by the calculation unit to generate a corrected fisheye expanded image.

本発明に係る、魚眼カメラにおけるキャリブレーション方法は、撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出ステップと、前記抽出ステップにて抽出された前記境界特徴点から曲線係数を推定する推定ステップと、前記推定ステップにて推定された前記曲線係数を使用して、補正変換用行列を算出する算出ステップと、前記算出ステップにて算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成ステップとを含む。   A calibration method for a fisheye camera according to the present invention extracts, as a boundary feature point, coordinates of a boundary position between a region that is not projected onto a fisheye development image plane and a region other than the region of the captured image. An extraction step; an estimation step for estimating a curve coefficient from the boundary feature points extracted in the extraction step; and a calculation for calculating a correction conversion matrix using the curve coefficient estimated in the estimation step And a generating step of generating a corrected fisheye expanded image by multiplying the coordinates on the fisheye expanded image plane by the correction conversion matrix calculated in the calculating step.

これらの発明によれば、魚眼カメラにより撮影された画像のうち、魚眼展開画像面（所謂、ＣＣＤ（Charge-Coupled Device）面）に射影されない領域と、射影される領域との境界位置の座標が求められる。そして、当該座標から推定された、略楕円形状の魚眼展開画像領域を形成する曲線係数から補正変換用行列が算出された後、この行列を用いて撮影画像の補正が行われる。このように、魚眼カメラは、光軸中心が魚眼展開画像面の中心軸となるように補正した後に、魚眼展開画像領域の長軸と短軸とを補正変換用行列を用いて補正する。これにより、魚眼カメラにおけるキャリブレーションを実現する。   According to these inventions, of the images taken by the fisheye camera, the boundary position between the area that is not projected onto the fisheye developed image plane (so-called CCD (Charge-Coupled Device) plane) and the area that is projected. Coordinates are determined. Then, after a correction conversion matrix is calculated from the curve coefficients forming the substantially elliptical fish-eye developed image area estimated from the coordinates, the captured image is corrected using this matrix. As described above, the fisheye camera corrects the optical axis center to be the central axis of the fisheye developed image plane, and then corrects the major axis and the minor axis of the fisheye developed image area using the correction conversion matrix. To do. This realizes calibration in a fisheye camera.

本発明に係る魚眼カメラにおいて、前記推定手段は、最小二乗法を用いて、抽出された前記境界特徴点からｃｏｎｉｃ係数を推定するものとしてもよい。本発明によれば、簡便な手法によって平面二次曲線係数を推定するので、キャリブレーションに要する処理時間及び負荷の増大を抑制することができる。   In the fisheye camera according to the present invention, the estimation means may estimate a conic coefficient from the extracted boundary feature point using a least square method. According to the present invention, since the planar quadratic curve coefficient is estimated by a simple method, an increase in processing time and load required for calibration can be suppressed.

本発明によれば、魚眼カメラにおいてキャリブレーションを実現することが可能となる。   According to the present invention, calibration can be realized in a fisheye camera.

以下、例示のみの為に添付された図面を参照しながら、本発明の一実施形態について説明する。まず、本実施の形態における魚眼カメラ１０の構成について説明する。図１に示すように、魚眼カメラ１０は、魚眼レンズ１１とキャリブレーション部１２と画像提示部１３とを備える。更に、キャリブレーション部１２は、機能的な構成要素として、特徴点抽出部１２１（抽出手段に対応）と、曲線係数推定部１２２（推定手段に対応）と、変換用行列算出部１２３（算出手段に対応）と、展開画像生成部１２４（生成手段に対応）とを備える。これら各部はバスを介して接続されている。   Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings for illustration only. First, the structure of the fisheye camera 10 in this Embodiment is demonstrated. As shown in FIG. 1, the fisheye camera 10 includes a fisheye lens 11, a calibration unit 12, and an image presentation unit 13. Further, the calibration unit 12 includes, as functional components, a feature point extraction unit 121 (corresponding to extraction means), a curve coefficient estimation unit 122 (corresponding to estimation means), and a conversion matrix calculation unit 123 (calculation means). And a developed image generation unit 124 (corresponding to generation means). These units are connected via a bus.

以下、魚眼カメラ１０の各構成要素について詳細に説明する。
魚眼レンズ１１は、１８０度前後の視野を感光面に射影できる屈折レンズにより構成され、射影された画像をキャリブレーション部１２に出力する。射影方式は任意であり、正射影方式、等距離射影方式の他に、平射影方式や等立体角射影方式を採ることもできる。また、魚眼レンズ１１は、反射鏡やプリズムを用いて広視野角を得る光学系レンズであってもよい。 Hereinafter, each component of the fisheye camera 10 will be described in detail.
The fisheye lens 11 is composed of a refractive lens that can project a field of view around 180 degrees onto the photosensitive surface, and outputs the projected image to the calibration unit 12. The projection method is arbitrary, and in addition to the normal projection method and the equidistant projection method, a flat projection method and an equisolid angle projection method can be adopted. Further, the fisheye lens 11 may be an optical lens that obtains a wide viewing angle using a reflecting mirror or a prism.

特徴点抽出部１２１は、魚眼展開画像面（ＣＣＤ面）に投影されない黒色領域とそれ以外の領域との境界線上の点をエッジ位置座標として抽出する。
曲線係数推定部１２２は、最小二乗法により、抽出されたエッジ位置座標からｃｏｎｉｃ係数（二次曲線係数）を推定する。 The feature point extraction unit 121 extracts, as edge position coordinates, points on the boundary line between the black area that is not projected onto the fisheye-expanded image plane (CCD plane) and the other areas.
The curve coefficient estimation unit 122 estimates a conic coefficient (secondary curve coefficient) from the extracted edge position coordinates by the least square method.

変換用行列算出部１２３は、推定されたｃｏｎｉｃ係数に基づいて、魚眼カメラ１１の補正変換用行列を算出する。算出に際しては、まず、推定されたｃｏｎｉｃ係数が楕円の標準形のｃｏｎｉｃ係数となるような回転角を算定し、この回転角から回転行列を求める。次に、上記楕円の中心と魚眼展開画像面の中心とが一致するような平行移動量を算定し、この移動量から平行移動行列を求める。そして、上記回転行列と当該平行移動行列とを乗算して補正変換用行列を求める。   The conversion matrix calculation unit 123 calculates a correction conversion matrix for the fisheye camera 11 based on the estimated conic coefficient. In the calculation, first, a rotation angle is calculated so that the estimated conic coefficient becomes an elliptical conic coefficient, and a rotation matrix is obtained from the rotation angle. Next, a parallel movement amount is calculated such that the center of the ellipse and the center of the fish-eye developed image plane coincide with each other, and a parallel movement matrix is obtained from the movement amount. The correction matrix is obtained by multiplying the rotation matrix and the translation matrix.

展開画像生成部１２４は、補正前の魚眼展開画像面上の各座標に上記補正変換用行列を掛け合わせることにより、位置座標を算出する。この座標の集合から魚眼展開画像面を生成する。   The developed image generation unit 124 calculates the position coordinates by multiplying the coordinates on the fisheye developed image surface before correction by the correction conversion matrix. A fisheye expansion image plane is generated from the set of coordinates.

画像提示部１３は、魚眼レンズ１１の捉えた被写体の画像にキャリブレーション処理が適用された補正後の画像（魚眼展開画像）を、ディスプレイなどの表示装置に表示させる。表示装置は、魚眼カメラに内蔵のものであってもよいし、魚眼カメラ１０に接続された、これとは別体に構成された表示専用の装置であってもよい。後者の場合には、画像提示部１３は、当該装置に対して提示画像を出力する。   The image presentation unit 13 causes a display device such as a display to display a corrected image (fisheye developed image) obtained by applying a calibration process to the image of the subject captured by the fisheye lens 11. The display device may be built in the fisheye camera, or may be a display-only device connected to the fisheye camera 10 and configured separately from the display device. In the latter case, the image presentation unit 13 outputs a presentation image to the device.

次に、魚眼カメラ１０の動作、併せて、本発明に係るキャリブレーション方法を構成する各ステップについて説明する。説明の前提として、本発明は、魚眼カメラ１０単体、若しくはこれと同様の機能を有する他の魚眼カメラ２０，３０（図示せず）を備えたシステムにも適用可能である。本実施の形態では、特に、後者のシステムを想定し、以下、図２〜図４を参照しながら、複数の魚眼カメラを用いたキャリブレーション処理について説明する。   Next, the operation of the fisheye camera 10 and each step constituting the calibration method according to the present invention will be described. As a premise of the description, the present invention can be applied to a system including the fisheye camera 10 alone or other fisheye cameras 20 and 30 (not shown) having the same function. In the present embodiment, in particular, assuming the latter system, calibration processing using a plurality of fisheye cameras will be described below with reference to FIGS.

魚眼カメラ１０〜３０の魚眼レンズの捉えた被写体の画像がキャリブレーション部１８に入力されると（図２のＳ１）、補正変換用行列の算出処理と基礎行列の算出処理との実行が並列に開始される。   When the image of the subject captured by the fisheye lens of the fisheye cameras 10 to 30 is input to the calibration unit 18 (S1 in FIG. 2), the correction conversion matrix calculation process and the basic matrix calculation process are executed in parallel. Be started.

まず、補正変換用行列の算出処理を説明する。
特徴点抽出部１２１は、魚眼展開画像面に投影されない黒色領域とそれ以外の領域との境界線上の点（境界特徴点）をエッジ位置座標として抽出する（Ｓ２）。例えば、レンズのずれ角をφ、光軸中心とｘｙ平面との交点座標をＯ’（ｘ’，ｙ’）とする。この場合、図３に示すように、黒色領域Ｂ１〜Ｂ４と楕円状の魚眼展開画像領域Ｄ１との境界線を形成する複数の点Ｅが抽出される。このエッジ抽出処理に関しては周知慣用の画像解析技術であるので、詳細な説明や図示（数式を含む）は省略し、好適な方法を簡略に説明する。特徴点抽出部１２１は、例えばソーベルフィルタを有し、取得された画像中の任意の１画素を中心とした上下左右の９（＝３×３）の画素値に、水平及び垂直方向の２つの係数行列をそれぞれ乗算する。そして、乗算結果に基づいて上記各画素値の変化量を算定し、画素値の変化量が大きい部分（境界特徴点に該当）をエッジとして検出する。画素値は例えば輝度である。 First, correction conversion matrix calculation processing will be described.
The feature point extraction unit 121 extracts a point (boundary feature point) on the boundary line between the black region that is not projected onto the fisheye expanded image plane and the other region (boundary feature point) as edge position coordinates (S2). For example, the shift angle of the lens is φ, and the coordinates of the intersection between the optical axis center and the xy plane are O ′ (x ′, y ′). In this case, as shown in FIG. 3, a plurality of points E forming boundary lines between the black areas B1 to B4 and the elliptical fish-eye developed image area D1 are extracted. Since this edge extraction process is a well-known and commonly used image analysis technique, a detailed description and illustrations (including mathematical expressions) are omitted, and a preferred method will be briefly described. The feature point extraction unit 121 includes, for example, a Sobel filter, and 9 (= 3 × 3) pixel values in the vertical and horizontal directions centered on an arbitrary pixel in the acquired image are set to 2 in the horizontal and vertical directions. Multiply each by two coefficient matrices. Then, the change amount of each pixel value is calculated based on the multiplication result, and a portion where the change amount of the pixel value is large (corresponding to a boundary feature point) is detected as an edge. The pixel value is, for example, luminance.

Ｓ３では、曲線係数推定部１２２は、最小二乗法により、Ｓ２で抽出されたエッジ位置座標からｃｏｎｉｃ係数（二次曲線係数）を推定する。
変換用行列算出部１２３は、上記推定されたｃｏｎｉｃ係数に基づいて、各魚眼カメラの補正変換用行列Ｒ（＝ＲθＴ）を算出する（Ｓ４）。すなわち、まず、推定されたｃｏｎｉｃ係数が楕円の標準形のｃｏｎｉｃ係数となるような回転角を算定し、この回転角から回転行列Ｒθを求める。更に、上記楕円の中心と魚眼展開画像面（ＣＣＤ面）の中心とが一致するような平行移動量を算定し、この移動量から平行移動行列Ｔを求める。そして、回転行列Ｒθと平行移動行列Ｔとを乗算して補正変換用行列Ｒを求める。この補正変換用行列Ｒは、各魚眼カメラ（本実施の形態ではカメラ１０，２０，３０）に関して算出される（Ｓ５）。 In S3, the curve coefficient estimation unit 122 estimates a conic coefficient (secondary curve coefficient) from the edge position coordinates extracted in S2 by the least square method.
The conversion matrix calculation unit 123 calculates a correction conversion matrix R (= RθT) for each fisheye camera based on the estimated conic coefficient (S4). That is, first, a rotation angle is calculated so that the estimated conic coefficient becomes an elliptical conic coefficient, and a rotation matrix Rθ is obtained from the rotation angle. Further, a parallel movement amount is calculated such that the center of the ellipse and the center of the fish-eye developed image surface (CCD surface) coincide with each other, and a parallel movement matrix T is obtained from this movement amount. Then, a correction conversion matrix R is obtained by multiplying the rotation matrix Rθ and the translation matrix T. This correction conversion matrix R is calculated for each fisheye camera (cameras 10, 20, and 30 in this embodiment) (S5).

Ｓ６では、オクルージョン回避のための画像合成、あるいは、動物体の検出のために、更に他の魚眼カメラを利用するか否かが判定される。他の魚眼カメラを利用する場合には（Ｓ６；ＹＥＳ）、展開画像生成部１２４は、魚眼レンズ１１により撮影された画像を展開（射影）する時に、Ｓ４で算出された補正変換用行列Ｒ（＝ＲθＴ）からＰ’を算出する。Ｐ’は、魚眼展開画像面の座標Ｐに補正変換用行列Ｒを乗算することで算出される（Ｓ７）。展開画像生成部１２４は、算出された座標の集合により、キャリブレーションが施された魚眼展開画像面（補正後の魚眼展開画像面）を生成する。生成された魚眼展開画像は、提示画像として画像提示部１３に出力される。   In S6, it is determined whether or not to use another fish-eye camera for image synthesis for avoiding occlusion or detection of a moving object. When another fisheye camera is used (S6; YES), the developed image generation unit 124 develops (projects) the image captured by the fisheye lens 11 and uses the correction conversion matrix R (calculated in S4). = RθT), P ′ is calculated. P ′ is calculated by multiplying the coordinates P of the fisheye developed image plane by the correction conversion matrix R (S7). The developed image generation unit 124 generates a corrected fisheye developed image plane (corrected fisheye developed image plane) based on the set of calculated coordinates. The generated fisheye spread image is output to the image presentation unit 13 as a presentation image.

続いて、基礎行列の算出処理を説明する。
まず、複数の魚眼カメラ１０，２０，３０の中から任意の２つの魚眼カメラ（例えば、魚眼カメラ１０，２０）が選択される（Ｓ８）。この選択処理は、自動選択であっても手動操作による選択であってもよい。選択された２つの魚眼カメラは、視線方向を変化させることにより複数の特徴点を同時に撮影していき（Ｓ９）、特徴点抽出部により、各魚眼レンズによる撮像データ中の特徴点の位置座標を抽出する（Ｓ１０）。特徴点の抽出は、マウス等の操作による手入力で行うことができる。 Next, the basic matrix calculation process will be described.
First, arbitrary two fisheye cameras (for example, fisheye cameras 10 and 20) are selected from the plurality of fisheye cameras 10, 20, and 30 (S8). This selection process may be automatic selection or selection by manual operation. The two selected fisheye cameras simultaneously photograph a plurality of feature points by changing the line-of-sight direction (S9), and the feature point extraction unit calculates the position coordinates of the feature points in the image data captured by each fisheye lens. Extract (S10). Extraction of feature points can be performed by manual input by operating a mouse or the like.

Ｓ１１では、Ｓ３と同様の手順で、特徴点の位置座標を入力データとして、最小二乗法に基づく基礎行列Ｆが算出される。選択された２つの魚眼カメラは、射影行列で一致させた画像同士の色分布が同じになるように色空間（ＲＧＢ空間）の規格化を行う（Ｓ１２）。Ｓ９〜Ｓ１２の一連の処理は、Ｓ１３をループ端として、視線方向の可動範囲内で繰り返し実行される。更に、これら一連の処理は、Ｓ１４をループ端として、魚眼カメラの全ての組合せに関して繰り返し実行される。その結果、魚眼カメラ単位の基礎行列Ｆが視点毎に算出される（Ｓ１５）。   In S11, a basic matrix F based on the method of least squares is calculated using the position coordinates of the feature points as input data in the same procedure as in S3. The two selected fisheye cameras standardize the color space (RGB space) so that the color distributions of the images matched in the projection matrix are the same (S12). A series of processing of S9 to S12 is repeatedly executed within the movable range in the line-of-sight direction with S13 as a loop end. Further, the series of processing is repeatedly executed for all combinations of fisheye cameras with S14 as a loop end. As a result, a basic matrix F for each fisheye camera is calculated for each viewpoint (S15).

Ｓ１６は、Ｓ６にて他の魚眼カメラを利用しないと判定された場合（Ｓ６；ＮＯ）に実行される処理である。展開画像生成部１２４，２２４は、魚眼レンズ１１，２１の捉えた被写体の画像を展開する時に、Ｓ４で算出された補正変換用行列Ｒ（＝ＲθＴ）と、Ｓ１５で算出された基礎行列ＦとからＰ’を算出する（Ｓ１６）。Ｐ’は、魚眼展開画像面の座標Ｐに、基礎行列Ｆと補正変換用行列Ｒの積を乗算することで算出される。展開画像生成部１２４，２２４は、このようにして得られた座標群から魚眼展開画像をそれぞれ生成し、これを提示画像として画像提示部１３に出力する。   S16 is a process executed when it is determined in S6 that another fisheye camera is not used (S6; NO). The developed image generation units 124 and 224 use the correction conversion matrix R (= RθT) calculated in S4 and the basic matrix F calculated in S15 when developing the subject image captured by the fisheye lenses 11 and 21. P ′ is calculated (S16). P ′ is calculated by multiplying the coordinates P of the fisheye developed image plane by the product of the basic matrix F and the correction conversion matrix R. The developed image generation units 124 and 224 generate fish-eye developed images from the coordinate groups obtained in this way, and output them to the image presentation unit 13 as presentation images.

魚眼カメラキャリブレーション処理を実行した結果、補正された魚眼展開画像領域Ｄ２の一例を図４に示す。魚眼レンズが完全半球面であり、その屈折率が点（半球中心）対称であると仮定すると、図３に示した魚眼展開画像領域Ｄ１は、その中心がレンズの光軸中心となり、かつ、楕円状の領域の長軸・短軸がそれぞれｘ軸・ｙ軸と平行になるように補正される。その結果、魚眼展開画像領域Ｄ２が得られる。このように、画像処理装置１０は、カメラ１０〜３０に魚眼カメラを使用した場合であっても、適切なキャリブレーションを適用できるので、撮影画像から生成された任意視点画像、ひいては提示画像の質を向上することができる。   FIG. 4 shows an example of the fisheye expanded image area D2 corrected as a result of executing the fisheye camera calibration process. Assuming that the fisheye lens is a perfect hemisphere and its refractive index is point (hemisphere center) symmetric, the fisheye developed image region D1 shown in FIG. 3 is centered on the optical axis of the lens, and is elliptical. The long axis and the short axis of the region are corrected so as to be parallel to the x axis and the y axis, respectively. As a result, a fish-eye developed image area D2 is obtained. As described above, the image processing apparatus 10 can apply appropriate calibration even when a fisheye camera is used for the cameras 10 to 30, and therefore, an arbitrary viewpoint image generated from a captured image, and thus a presentation image The quality can be improved.

本発明に係る魚眼カメラの機能的構成を示すブロック図である。It is a block diagram which shows the functional structure of the fisheye camera which concerns on this invention. 魚眼カメラキャリブレーション処理を説明するためのフローチャートである。It is a flowchart for demonstrating a fisheye camera calibration process. キャリブレーションによる補正前における魚眼展開画像領域の一例を示す図である。It is a figure which shows an example of the fisheye expansion | deployment image area | region before correction | amendment by calibration. キャリブレーションによる補正後における魚眼展開画像領域の一例を示す図である。It is a figure which shows an example of the fisheye expansion | deployment image area | region after correction | amendment by calibration.

符号の説明Explanation of symbols

１０…魚眼カメラ、１１…魚眼レンズ、１２…キャリブレーション部、１２１…特徴点抽出部、１２２…曲線係数推定部、１２３…変換用行列算出部、１２４…展開画像生成部、１３…画像提示部、Ｂ，Ｂ１〜Ｂ４…黒色領域、Ｄ１，Ｄ２…魚眼展開画像領域、Ｅ…境界特徴点   DESCRIPTION OF SYMBOLS 10 ... Fish eye camera, 11 ... Fish eye lens, 12 ... Calibration part, 121 ... Feature point extraction part, 122 ... Curve coefficient estimation part, 123 ... Conversion matrix calculation part, 124 ... Expanded image generation part, 13 ... Image presentation part , B, B1 to B4 ... black region, D1, D2 ... fisheye developed image region, E ... boundary feature point

Claims (3)

撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出手段と、
前記抽出手段により抽出された前記境界特徴点から曲線係数を推定する推定手段と、
前記推定手段により推定された前記曲線係数を使用して、補正変換用行列を算出する算出手段と、
前記算出手段により算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成手段と
を備えることを特徴とする魚眼カメラ。 An extracting means for extracting, as a boundary feature point, a coordinate of a boundary position between a region that is not projected on the fisheye-expanded image plane and a region other than the region of the captured image;
Estimating means for estimating a curve coefficient from the boundary feature points extracted by the extracting means;
Calculation means for calculating a correction conversion matrix using the curve coefficient estimated by the estimation means;
A fisheye camera comprising: a generating means for generating a corrected fisheye developed image by multiplying the coordinates on the fisheye developed image plane by the correction conversion matrix calculated by the calculating means. 前記推定手段は、前記抽出手段により抽出された前記境界特徴点から、最小二乗法により、前記曲線係数としてｃｏｎｉｃ係数を推定することを特徴とする請求項１に記載の魚眼カメラ。   The fisheye camera according to claim 1, wherein the estimation unit estimates a conic coefficient as the curve coefficient from the boundary feature point extracted by the extraction unit by a least square method. 撮影された画像のうち、魚眼展開画像面に射影されない領域と、当該領域以外の領域との境界位置の座標を境界特徴点として抽出する抽出ステップと、
前記抽出ステップにて抽出された前記境界特徴点から曲線係数を推定する推定ステップと、
前記推定ステップにて推定された前記曲線係数を使用して、補正変換用行列を算出する算出ステップと、
前記算出ステップにて算出された補正変換用行列を前記魚眼展開画像面上の座標に乗算して補正後の魚眼展開画像を生成する生成ステップと
を含むことを特徴とする、魚眼カメラにおけるキャリブレーション方法。 An extraction step of extracting, as a boundary feature point, a coordinate of a boundary position between a region that is not projected on the fisheye-expanded image plane and a region other than the region of the captured image;
An estimation step of estimating a curve coefficient from the boundary feature points extracted in the extraction step;
A calculation step of calculating a correction conversion matrix using the curve coefficient estimated in the estimation step;
And a generating step of generating a corrected fisheye expanded image by multiplying the coordinates on the fisheye expanded image plane by the correction conversion matrix calculated in the calculating step. Calibration method.
JP2004071560A 2004-03-12 2004-03-12 Fish eye camera and calibration method in the fish eye camera Pending JP2005258953A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004071560A JP2005258953A (en) 2004-03-12 2004-03-12 Fish eye camera and calibration method in the fish eye camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004071560A JP2005258953A (en) 2004-03-12 2004-03-12 Fish eye camera and calibration method in the fish eye camera

Publications (1)

Publication Number Publication Date
JP2005258953A true JP2005258953A (en) 2005-09-22

Family

ID=35084580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004071560A Pending JP2005258953A (en) 2004-03-12 2004-03-12 Fish eye camera and calibration method in the fish eye camera

Country Status (1)

Country Link
JP (1) JP2005258953A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100946707B1 (en) 2009-09-16 2010-03-12 (주)올라웍스 Method, system and computer-readable recording medium for image matching of panoramic images
CN101742125B (en) * 2008-11-27 2012-07-04 义晶科技股份有限公司 Image processing method and associated device for correcting fisheye image and reducing perspective distortion
CN103593836A (en) * 2012-08-14 2014-02-19 无锡维森智能传感技术有限公司 A Camera parameter calculating method and a method for determining vehicle body posture with cameras
CN105608693A (en) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 Vehicle-mounted panoramic around view calibration system and method
CN107105155A (en) * 2017-03-09 2017-08-29 珠海研果科技有限公司 A kind of automatic calibration method for the panoramic video recorded based on fish-eye camera
CN107886547A (en) * 2017-11-10 2018-04-06 长沙全度影像科技有限公司 A kind of fisheye camera scaling method and system
CN108961155A (en) * 2018-07-13 2018-12-07 惠州市德赛西威汽车电子股份有限公司 A kind of projective invariant bearing calibration of high-fidelity
CN111080715A (en) * 2019-12-18 2020-04-28 云南大学 Method for calibrating intrinsic parameters of camera by polar line properties of three spheres and infinite points
CN111429336A (en) * 2019-12-27 2020-07-17 上海庄生晓梦信息科技有限公司 Processing method and processing device for fisheye video data
CN111432198A (en) * 2020-03-30 2020-07-17 中国人民解放军陆军装甲兵学院 Perspective transformation-based projection type three-dimensional display system correction method
CN111815710A (en) * 2020-05-28 2020-10-23 北京易航远智科技有限公司 Automatic calibration method for fisheye camera
CN113873223A (en) * 2021-09-03 2021-12-31 大连中科创达软件有限公司 Camera definition determining method, device, equipment and storage medium

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742125B (en) * 2008-11-27 2012-07-04 义晶科技股份有限公司 Image processing method and associated device for correcting fisheye image and reducing perspective distortion
KR100946707B1 (en) 2009-09-16 2010-03-12 (주)올라웍스 Method, system and computer-readable recording medium for image matching of panoramic images
CN103593836A (en) * 2012-08-14 2014-02-19 无锡维森智能传感技术有限公司 A Camera parameter calculating method and a method for determining vehicle body posture with cameras
CN105608693A (en) * 2015-12-18 2016-05-25 上海欧菲智能车联科技有限公司 Vehicle-mounted panoramic around view calibration system and method
CN105608693B (en) * 2015-12-18 2018-08-28 上海欧菲智能车联科技有限公司 The calibration system and method that vehicle-mounted panoramic is looked around
CN107105155B (en) * 2017-03-09 2020-12-08 珠海研果科技有限公司 Automatic calibration method for panoramic video recorded based on fisheye camera
CN107105155A (en) * 2017-03-09 2017-08-29 珠海研果科技有限公司 A kind of automatic calibration method for the panoramic video recorded based on fish-eye camera
CN107886547A (en) * 2017-11-10 2018-04-06 长沙全度影像科技有限公司 A kind of fisheye camera scaling method and system
CN107886547B (en) * 2017-11-10 2020-04-28 长沙全度影像科技有限公司 Fisheye camera calibration method and system
CN108961155A (en) * 2018-07-13 2018-12-07 惠州市德赛西威汽车电子股份有限公司 A kind of projective invariant bearing calibration of high-fidelity
CN108961155B (en) * 2018-07-13 2023-06-27 惠州市德赛西威汽车电子股份有限公司 High-fidelity fisheye lens distortion correction method
CN111080715B (en) * 2019-12-18 2022-04-12 云南大学 Method for calibrating intrinsic parameters of camera by polar line properties of three spheres and infinite points
CN111080715A (en) * 2019-12-18 2020-04-28 云南大学 Method for calibrating intrinsic parameters of camera by polar line properties of three spheres and infinite points
CN111429336A (en) * 2019-12-27 2020-07-17 上海庄生晓梦信息科技有限公司 Processing method and processing device for fisheye video data
CN111429336B (en) * 2019-12-27 2023-09-08 上海庄生晓梦信息科技有限公司 Processing method and processing device for fish-eye video data
CN111432198A (en) * 2020-03-30 2020-07-17 中国人民解放军陆军装甲兵学院 Perspective transformation-based projection type three-dimensional display system correction method
CN111815710A (en) * 2020-05-28 2020-10-23 北京易航远智科技有限公司 Automatic calibration method for fisheye camera
CN111815710B (en) * 2020-05-28 2024-01-23 北京易航远智科技有限公司 Automatic calibration method for fish-eye camera
CN113873223A (en) * 2021-09-03 2021-12-31 大连中科创达软件有限公司 Camera definition determining method, device, equipment and storage medium
CN113873223B (en) * 2021-09-03 2023-07-21 大连中科创达软件有限公司 Method, device, equipment and storage medium for determining definition of camera

Similar Documents

Publication Publication Date Title
CN102227746B (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
US8180145B2 (en) Method for producing image with depth by using 2D images
US20180213218A1 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
KR102225617B1 (en) Method of setting algorithm for image registration
US20130058589A1 (en) Method and apparatus for transforming a non-linear lens-distorted image
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
TW200425736A (en) Image processing system, projector and image processing method
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US9008412B2 (en) Image processing device, image processing method and recording medium for combining image data using depth and color information
US20130208081A1 (en) Method for combining images
US8749652B2 (en) Imaging module having plural optical units in which each of at least two optical units include a polarization filter and at least one optical unit includes no polarization filter and image processing method and apparatus thereof
US20150170331A1 (en) Method and Device for Transforming an Image
EP3606059B1 (en) Projector calibration method and projection system using the same
JP2005258953A (en) Fish eye camera and calibration method in the fish eye camera
JP7378219B2 (en) Imaging device, image processing device, control method, and program
KR20060056050A (en) Creating method of automated 360 degrees panoramic image
JP2020088708A (en) Control device, imaging apparatus, and program
US20080170799A1 (en) Method for calibrating a response curve of a camera
US8179431B2 (en) Compound eye photographing apparatus, control method therefor, and program
US20090244264A1 (en) Compound eye photographing apparatus, control method therefor , and program
JP2005260753A (en) Device and method for selecting camera
JP6777079B2 (en) Dimension measuring device, dimensional measuring system, and dimensional measuring method
JP7341843B2 (en) Image processing device, image processing method, imaging device, program
JP2000172846A (en) Image processor
CN106600529A (en) Method and device for acquiring full-focus panoramic image