JP2003341389A - Device for measuring position of trolley line - Google Patents
Device for measuring position of trolley lineInfo
- Publication number
- JP2003341389A JP2003341389A JP2002151840A JP2002151840A JP2003341389A JP 2003341389 A JP2003341389 A JP 2003341389A JP 2002151840 A JP2002151840 A JP 2002151840A JP 2002151840 A JP2002151840 A JP 2002151840A JP 2003341389 A JP2003341389 A JP 2003341389A
- Authority
- JP
- Japan
- Prior art keywords
- pantograph
- trolley
- image
- trolley line
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、トロリー線の位置
計測装置に関する。詳しくは、画像処理により電車線の
トロリー線の位置を計測する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a trolley wire position measuring device. More specifically, the present invention relates to a device that measures the position of a trolley wire of a train line by image processing.
【0002】[0002]
【従来の技術】トロリー線は電気車へ電力を供給する設
備線で、検測車や車両限界計測車などと呼ばれる専用の
計測車が、一定周期毎走行してトロリー線の位置を計測
している。計測された位置は、トロリー線の高さやパン
タグラフ上の偏位に変換され、これら値が管理値内かど
うか診断されている。トロリー線の位置を計測する方式
としてレーザ計測方式や画像処理方式があり、主にレー
ザ計測方式が現場で使用されている。2. Description of the Related Art A trolley line is a facility line for supplying electric power to an electric vehicle. A dedicated measuring vehicle called an inspection vehicle or a vehicle limit measuring vehicle runs at regular intervals to measure the position of the trolley line. There is. The measured position is converted into the height of the trolley wire and the deviation on the pantograph, and it is diagnosed whether these values are within the control values. There are a laser measuring method and an image processing method as a method for measuring the position of the trolley wire, and the laser measuring method is mainly used in the field.
【0003】[0003]
【発明が解決しようとする課題】以下のような問題点が
ある。
レーザ計測方式は計測値の異常値が判るが、その異常
値になった原因や、現象の解析が難しい。
画像処理方式によりトロリー線を検出する際、ちょう
架線・補助ちょう架線・構造物・支持物(最新電気鉄道
工学コロナ社、社]電気学会2000年9月)などが、
トロリー線と似たように見えるため、これらをトロリー
線として誤検出しやすい問題がある。There are the following problems. With the laser measurement method, the abnormal value of the measured value can be known, but it is difficult to analyze the cause and phenomenon of the abnormal value. When detecting the trolley wire by the image processing method, the catenary wire, the auxiliary catenary wire, the structure, and the support (latest Electric Railway Engineering Corona Co., Ltd., The Institute of Electrical Engineers, September 2000), etc.
Since it looks similar to the trolley wire, there is a problem that these are easily erroneously detected as trolley wires.
【0004】画像処理方式によりトロリー線を検出す
る際、レンズの汚れや太陽光の写り込みによって、画像
処理が難しいカメラ画像になることがある。これにより
トロリー線を検出できないことがある。
画像処理方式の領域相関によるステレオ計測では、カ
メラの輻輳角が大きいと画像の差異が大きく、ステレオ
計測できないことがある。When the trolley line is detected by the image processing method, the camera image may be difficult to process due to dirt on the lens or reflection of sunlight. As a result, the trolley wire may not be detected. In the stereo measurement based on the area correlation of the image processing method, if the convergence angle of the camera is large, the difference in the images is large, and the stereo measurement may not be possible.
【0005】[0005]
【課題を解決するための手段】上記課題を解決する本発
明の請求項1に係るトロリー線の位置計測装置は、車両
に取り付けた複数台のカメラでパンタグラフ付近を撮影
し、撮影された複数の画像に基づいてパンタグラフに接
触する架線の位置を計測する装置であって、撮影された
複数の画像をエッジ検出し、エッジから所定範囲の領域
にある直線をトロリー線候補として抽出すると共に水平
エッジをパンタグラフとして求め、抽出されたトロリー
線候補と検出されたパンタグラフとの交点を各画像上に
求め、各交点のパンタグラフ中心に対する偏差が閾値以
下のものに関するトロリー線候補を前記パンタグラフに
接触するトロリー線であると判定することを特徴とす
る。A position measuring device for a trolley wire according to claim 1 of the present invention which solves the above-mentioned problems, captures the vicinity of a pantograph with a plurality of cameras mounted on a vehicle, and captures a plurality of captured images. A device for measuring the position of an overhead wire that contacts a pantograph based on an image, detecting edges in a plurality of captured images, extracting straight lines in a region within a predetermined range from the edges as trolley wire candidates, and detecting horizontal edges. Obtained as a pantograph, the intersection of the extracted trolley line candidate and the detected pantograph is obtained on each image, and the trolley line candidate in which the deviation from the center of the pantograph at each intersection is less than or equal to a threshold is a trolley line contacting the pantograph. It is characterized by determining that there is.
【0006】上記課題を解決する本発明の請求項2に係
るトロリー線の位置計測装置は、前記カメラは3台以上
とし、少なくとも1台のカメラからの画像が画像処理で
きない場合でも画像処理によりトロリー線候補を求める
ことを特徴とする。In the trolley wire position measuring apparatus according to the second aspect of the present invention which solves the above-mentioned problems, the number of the cameras is three or more, and even if the image from at least one camera cannot be image processed, the trolley is operated by the image processing. The feature is that line candidates are obtained.
【0007】上記課題を解決する本発明の請求項3に係
るトロリー線の位置計測装置は、前記パンタグラフに接
触するトロリー線が複数ある場合には、それらの離隔計
測を行うことを特徴とする。A trolley wire position measuring device according to a third aspect of the present invention which solves the above-mentioned problems is characterized in that when there are a plurality of trolley wires in contact with the pantograph, the distance between them is measured.
【0008】[0008]
【発明の実施の形態】〔実施例1〕トロリー線計測方式
本発明の第1の実施例に係るトロリー線の位置計測装置
を図1〜図4に示す。本実施例は、車両に設置した2台
のITVカメラ21,22でパンタグラフ10の付近を
撮影し、画像処理によってパンタグラフ10に接触する
トロリー線の位置(パンタグラフ10上の偏位やトロリ
ー線の垂直高さなど)を計測するものである。DESCRIPTION OF THE PREFERRED EMBODIMENTS [Embodiment 1] Trolley Wire Measuring System A trolley wire position measuring device according to a first embodiment of the present invention is shown in FIGS. In the present embodiment, two ITV cameras 21 and 22 installed in a vehicle photograph the vicinity of the pantograph 10, and the position of the trolley wire contacting the pantograph 10 by image processing (the deviation on the pantograph 10 and the vertical direction of the trolley wire 10). Height, etc.) is measured.
【0009】即ち、図2に示すように、車両上にはパン
タグラフ10に対して平行な位置に2台のITVカメラ
21,22が設置され、図1(a)(b)に示す左右画
像が撮影される。ここで、「平行な位置」とはパンタグ
ラフ10のすり板に沿った点線aと2台のITVカメラ
21,22の焦点を結んだ点線bが、平行な位置関係の
ことである。That is, as shown in FIG. 2, two ITV cameras 21 and 22 are installed on the vehicle in a position parallel to the pantograph 10, and the left and right images shown in FIGS. To be photographed. Here, the “parallel position” means a positional relationship in which a dotted line a along the slide plate of the pantograph 10 and a dotted line b connecting the focal points of the two ITV cameras 21 and 22 are parallel to each other.
【0010】ITVカメラ21,22で撮影された各画
像は、画像処理部40へ送られ、画像処理部40ではト
ロリー線の位置を計測し、その計測された値及び各画像
は記録部50で保存される。画像処理部40は、パンタ
グラフ10とトロリー線候補LL1,LL2,LL3,L R1,
LR2,LR3を求めると共にこれらの交点PL1,PL2,P
L3,PR1,PR2,P R3を求め、この交点PL1,PL2,P
L3,PR1,PR2,PR3を図3のようにパンタグラフ中心
とした座標ヘプロットし、左右画像間で位置が接近して
いるか否か判定するものである。つまり、交点が接近し
ていれば接触する架線と判別し、接近していなければ接
触しない架線と判別するものである。Each image taken by the ITV cameras 21 and 22
The image is sent to the image processing unit 40, and the image processing unit 40 transmits the image.
The position of the lory line is measured, and the measured value and each image
Are stored in the recording unit 50. The image processing unit 40 is a pantograph.
Graph 10 and trolley line candidate LL1, LL2, LL3, L R1,
LR2, LR3And the intersection P of theseL1, PL2, P
L3, PR1, PR2, P R3And find this intersection PL1, PL2, P
L3, PR1, PR2, PR3Center the pantograph as shown in Figure 3.
And the position is approached between the left and right images.
It is to determine whether or not there is. In other words, the intersection is close
If it is, it is determined that it is a contact wire.
It is a wire that is not touched.
【0011】画像処理部40としては、パーソナルコン
ピュータに画像処理プログラムを読み込ませて構成する
こともできる。本実施例の処理手順を図4に示す。先
ず、2台のITVカメラ21,22でパンタグラフ10
の付近を撮影し、左右のカメラ画像を取得する(ステッ
プS1)。The image processing section 40 may be constructed by loading an image processing program into a personal computer. The processing procedure of this embodiment is shown in FIG. First, pantograph 10 with two ITV cameras 21 and 22.
The vicinity is captured and the left and right camera images are acquired (step S1).
【0012】次に、左右のカメラ画像について、エッジ
検出しエッジから直線を検出し、所定の範囲の垂直な直
線をトロリー線候補LL1,LL2,LL3,LR1,LR2,L
R3として検出する(ステップS2)。トロリー線候補L
L1,LL2,LL3は、図1(a)に示す左画像で検出され
るものであり、トロリー線候補LR1,LR2,LR3は、図
1(b)に示す右画像で検出されるものである。尚、エ
ッジ検出としては特に限定するものではなく公知の方法
を使用することができる。例えば、特願平6−1492
46号に示される方法を使用しても良いし、画像を水平
微分する方法を使用しても良い。Next, with respect to the left and right camera images, edges are detected, straight lines are detected from the edges, and vertical straight lines in a predetermined range are trolley line candidates L L1 , L L2 , L L3 , L R1 , L R2 , L.
It is detected as R3 (step S2). Trolley line candidate L
L1 , L L2 , L L3 are detected in the left image shown in FIG. 1A, and trolley line candidates L R1 , L R2 , L R3 are detected in the right image shown in FIG. 1B. It is what is done. The edge detection is not particularly limited, and a known method can be used. For example, Japanese Patent Application No. 6-1492
The method shown in No. 46 may be used, or the method of horizontally differentiating an image may be used.
【0013】また、直線検出としては特に限定するもの
ではなく公知の方法を使用することができる。例えば、
特願平6−149246号に示される特徴抽出方法を使
用しても良いし、ハフ変換を使用しても良い。更に、
「所定の範囲」とは、図2に示す構成では、2台のカメ
ラ21,22を設置した際にトロリー線が図1のように
斜めに見える角度と位置範囲のことである。例えば、垂
直から±30°で、画像上半分の位置など、実験的に角
度と位置範囲を決めることができる。The straight line detection is not particularly limited and a known method can be used. For example,
The feature extraction method disclosed in Japanese Patent Application No. 6-149246 may be used, or the Hough transform may be used. Furthermore,
In the configuration shown in FIG. 2, the "predetermined range" is the angle and position range in which the trolley wire looks oblique as shown in FIG. 1 when the two cameras 21 and 22 are installed. For example, it is possible to experimentally determine the angle and the position range such as the position on the upper half of the image within ± 30 ° from the vertical.
【0014】引き続き、2台のITVカメラ21,22
からのカメラ画像について、図1に示すように、パンタ
グラフ10のすり板部分とパンタグラフの中心CL,CR
を検出する(ステップS3)。パンタグラフ10はバネ
で支えられ上下動するため、位置は一定ではない。この
検出方法としては特に限定するものではなく公知の方法
を使用することができる。例えば、特願2000−33
2841号に示されるパターンマッチ方式や特願平6−
57924号に示されるモデルベースマッチ方式を採用
することができる。具体的には、予めパンタグラフの濃
淡値又は特徴をモデルとして登録し、同時にパンタグラ
フの中心とすり板の直線位置も登録しておく。そして、
このモデルを取得画像へ画像取得毎に対応させ、一致す
る位置からパンタグラフの中心とすり板部分を検出する
ことにより行う。Continuing, two ITV cameras 21 and 22
As shown in FIG. 1, the camera image from the center of the pantograph 10 and the center of the pantograph C L , C R
Is detected (step S3). Since the pantograph 10 is supported by a spring and moves up and down, its position is not constant. The detection method is not particularly limited, and a known method can be used. For example, Japanese Patent Application No. 2000-33
No. 2841, the pattern matching method and Japanese Patent Application No. 6-
The model-based match method shown in No. 57924 can be adopted. Specifically, the grayscale value or feature of the pantograph is registered as a model in advance, and at the same time, the center position of the pantograph and the linear position of the contact plate are also registered. And
This model is made to correspond to the acquired image every time the image is acquired, and the center of the pantograph and the sliding plate portion are detected from the matching position.
【0015】その後、トロリー線候補LL1,LL2,
LL3,LR1,LR2,LR3とパンタグラフ10のすり板と
の交点PL1,PL2,PL3,PR1,PR2,PR3を求める
(ステップS4)。尚、交点座標はカメラ座標系のピク
セル単位であるため、投影変換しパンタグラフ座標系の
メートル単位に変換する。ここで、カメラ座標系とはそ
れぞれのカメラ焦点を中心とした直交座標系で、パンタ
グラフ座標系とはパンタグラフ中心を原点とした直交座
標系である。After that, the trolley line candidates L L1 , L L2 ,
The intersection points P L1 , P L2 , P L3 , P R1 , P R2 , and P R3 of L L3 , L R1 , L R2 , and L R3 and the contact plate of the pantograph 10 are obtained (step S4). Since the intersection coordinates are in pixel units of the camera coordinate system, they are projected and converted into meters in the pantograph coordinate system. Here, the camera coordinate system is an orthogonal coordinate system centered on each camera focus, and the pantograph coordinate system is an orthogonal coordinate system whose origin is at the center of the pantograph.
【0016】更に、トロリー線候補LL1,LL2,LL3,
LR1,LR2,LR3から次のようにしてパンタグラフ10
と接触するトロリー線を検出する(ステップS5)。即
ち、ステップS4で求めた交点PL1,PL2,PL3,
PR1,PR2,PR3を図3に示すように左右画像別にプロ
ットし、左画像の交点PL1,PL2,PL3と右画像の交点
PR1,PR2,PR3との距離を組み合わせの数だけ計算
し、この距離のうち実験的に決めた閾値以下である組み
合わせを抽出する。図3は、具体的に交点PL1と交点P
R1の距離dxが閾値以下とした場合を示すものであり、
この場合には、交点PL1と交点PR1に関するトロリー線
候補LL1をパンタグラフ10に接触するトロリー線であ
ると判定することとなる。Further, the trolley line candidates L L1 , L L2 , L L3 ,
From L R1 , L R2 , and L R3 , pantograph 10 is performed as follows.
The trolley wire that comes into contact with is detected (step S5). That is, the intersection points P L1 , P L2 , P L3 , obtained in step S4,
P R1 , P R2 and P R3 are plotted for each of the left and right images as shown in FIG. 3, and the distances between the intersections P L1 , P L2 and P L3 of the left image and the intersections P R1 , P R2 and P R3 of the right image are shown. The number of combinations is calculated, and the combinations that are equal to or less than the experimentally determined threshold value are extracted from this distance. In FIG. 3, the intersection points P L1 and P
It shows the case where the distance dx of R1 is less than or equal to the threshold,
In this case, the intersection point P L1 and the trolley line candidate L L1 related to the intersection point P R1 are determined to be the trolley lines that contact the pantograph 10.
【0017】そして、ステップS5で求めたパンタグラ
フ10と接触するトロリー線の交点から、パンタグラフ
上の偏位、トロリー線の垂直高さなどに変換する(ステ
ップS6)。尚、変換された垂直高さはカメラ取り付け
位置からトロリー線までの相対距離であるため、レール
レベルからカメラ取り付け位置までの距離を加えてレー
ルレベルからの垂直距離に変換してもよい。また、ステ
ップS5において、パンタグラフ10と接触するトロリ
ー線が複数検出された場合には、それぞれについて位置
計測を繰り返す。Then, the intersection point of the trolley line contacting the pantograph 10 obtained in step S5 is converted into the deviation on the pantograph, the vertical height of the trolley line, etc. (step S6). Since the converted vertical height is the relative distance from the camera mounting position to the trolley wire, it may be converted to the vertical distance from the rail level by adding the distance from the rail level to the camera mounting position. If a plurality of trolley wires contacting the pantograph 10 are detected in step S5, position measurement is repeated for each.
【0018】本実施例は、車両に設置した2台のカメラ
画像から、パンタグラフに接触するトロリー線の位置
(パンタグラフ中心からのトロリー線の偏位、トロリー
線の垂直高さなど)を計測するものであり、以下の利点
がある。
レーザ計測方式は計測値が記録されるだけだが、画像
処理方式は入力画像を録画できる。これによりトロリー
線の異常位置の録画画像を見ることで、パンタグラフ通
過時のトロリーの異常状態が視認できる。
2台のカメラ画像の交点を比較することにより、パン
タグラフと接触しない架線を排除し、接触するトロリー
線だけ検出できる。In this embodiment, the position of the trolley wire contacting the pantograph (the deviation of the trolley wire from the center of the pantograph, the vertical height of the trolley wire, etc.) is measured from the images of two cameras installed in the vehicle. And has the following advantages. The laser measurement method only records the measured value, but the image processing method can record the input image. Thereby, by looking at the recorded image of the abnormal position of the trolley wire, the abnormal state of the trolley when the pantograph passes can be visually recognized. By comparing the intersections of the two camera images, it is possible to eliminate overhead lines that do not contact the pantograph and detect only the contacting trolley wires.
【0019】〔実施例2〕トロリー線計測式
本実施例は実施例1と目的が同じであるが、レンズの汚
れや太陽光の写り込みなどの問題を解決するため、図5
のようにパンタグラフ10と平行な位置に3台以上IT
Vカメラ21,22,…2nを設置するものである。
尚、「平行な位置」とは、図5に示すようにパンタグラ
フ10のすり板に沿った点線aとn台のITVカメラ2
1,22,…2nの焦点を結んだ点線bが、平行な位置
関係のことである。本実施例における処理手順は図4と
同様である。先ず、n台のITVカメラ21,22,…
2nでパンタグラフ10の付近を撮影し、第1、第2、
…、第nカメラ画像を取得する(ステップS1)。[Embodiment 2] Trolley wire measurement method This embodiment has the same purpose as Embodiment 1, but in order to solve problems such as dirt on the lens and reflection of sunlight, FIG.
3 or more IT in a position parallel to the pantograph 10 like
Vn cameras 21, 22, ... 2n are installed.
The "parallel position" means a dotted line a along the sliding plate of the pantograph 10 and n ITV cameras 2 as shown in FIG.
A dotted line b connecting the focal points of 1, 2, ..., 2n is a parallel positional relationship. The processing procedure in this embodiment is the same as in FIG. First, n ITV cameras 21, 22, ...
2n captures the vicinity of the pantograph 10, and the first, second,
..., The nth camera image is acquired (step S1).
【0020】次に、第1、第2、…、第nカメラ画像に
ついて、エッジ検出しエッジから直線を検出し、所定の
範囲の垂直な直線をトロリー線候補L11,L12,L13,
L21,L22,L23…Ln1,Ln2,Ln3として検出する
(ステップS2)。トロリー線候補LL1,L12,L
13は、図6(a)に示す第1画像で検出されるものであ
り、トロリー線候補Ln1,Ln2,Ln3は、図6(b)に
示す第n画像で検出されるものである。尚、エッジ検出
としては特に限定するものではなく公知の方法を使用す
ることができる。例えば、特願平6−149246号に
示される方法を使用しても良いし、画像を水平微分する
方法を使用しても良い。Next, edge detection is performed on the first, second, ..., Nth camera images, straight lines are detected from the edges, and vertical straight lines within a predetermined range are trolley line candidates L 11 , L 12 , L 13 ,.
L 21 , L 22 , L 23 ... L n1 , L n2 , and L n3 are detected (step S2). Trolley line candidates L L1 , L 12 , L
13 is detected in the first image shown in FIG. 6A , and the trolley line candidates L n1 , L n2 , and L n3 are detected in the n-th image shown in FIG. 6B. is there. The edge detection is not particularly limited, and a known method can be used. For example, the method shown in Japanese Patent Application No. 6-149246 may be used, or the method of horizontally differentiating an image may be used.
【0021】また、直線検出としては特に限定するもの
ではなく公知の方法を使用することができる。例えば、
特願平6−149246号に示される特徴抽出方法を使
用しても良いし、ハフ変換を使用しても良い。更に、
「所定の範囲」とは、図5に示す構成では、n台のカメ
ラ21,22,…2nを設置した際にトロリー線が図1
のように斜めに見える角度と位置範囲のことである。例
えば、垂直から±30°で、画像上半分の位置など、実
験的に角度と位置範囲を決めることができる。The straight line detection is not particularly limited and a known method can be used. For example,
The feature extraction method disclosed in Japanese Patent Application No. 6-149246 may be used, or the Hough transform may be used. Furthermore,
In the configuration shown in FIG. 5, the “predetermined range” means that when the n cameras 21, 22, ...
It is the angle and position range that looks oblique like. For example, it is possible to experimentally determine the angle and the position range such as the position on the upper half of the image within ± 30 ° from the vertical.
【0022】引き続き、n台のITVカメラ21,2
2,…2nからのカメラ画像について、図5に示すよう
に、パンタグラフ10のすり板部分とパンタグラフの中
心C1,C2…Cnを検出する(ステップS3)。パンタ
グラフ10はバネで支えられ上下動するため、位置は一
定ではない。この検出方法としては特に限定するもので
はなく公知の方法を使用することができる。例えば、特
願2000−332841号に示されるパターンマッチ
方式や特願平6−57924号に示されるモデルベース
マッチ方式を採用することができる。具体的には、予め
パンタグラフの濃淡値又は特徴をモデルとして登録し、
同時にパンタグラフの中心とすり板の直線位置も登録し
ておく。そして、このモデルを取得画像へ画像取得毎に
対応させ、一致する位置からパンタグラフの中心とすり
板部分を検出することにより行う。Next, n ITV cameras 21, 2
As for the camera images from 2, ..., 2n, as shown in FIG. 5, the rusting plate portion of the pantograph 10 and the centers C 1 , C 2, ... C n of the pantograph are detected (step S3). Since the pantograph 10 is supported by a spring and moves up and down, its position is not constant. The detection method is not particularly limited, and a known method can be used. For example, the pattern matching method shown in Japanese Patent Application No. 2000-332841 or the model-based matching method shown in Japanese Patent Application No. 6-57924 can be adopted. Specifically, the grayscale value or feature of the pantograph is registered in advance as a model,
At the same time, the center position of the pantograph and the linear position of the contact plate are also registered. Then, this model is made to correspond to the acquired image every time the image is acquired, and the center of the pantograph and the sliding plate portion are detected from the matching position.
【0023】その後、トロリー線候補LL1,L12,
L13,L21,L22,L23…Ln1,Ln2,Ln3とパンタグ
ラフ10のすり板との交点P11,P12,P13,P21,P
22,P23…Pn1,Pn2,Pn3を求める(ステップS
4)。尚、交点座標はカメラ座標系のピクセル単位であ
るため、投影変換しパンタグラフ座標系のメートル単位
に変換する。ここで、カメラ座標系とはそれぞれのカメ
ラ焦点を中心とした直交座標系で、パンタグラフ座標系
とはパンタグラフ中心を原点とした直交座標系である。Thereafter, the trolley line candidates L L1 , L 12 ,
L 13, L 21, L 22 , L 23 ... L n1, L n2, L n3 and the intersection P 11 of the contact strip of the pantograph 10, P 12, P 13, P 21, P
22 , P 23 ... P n1 , P n2 , P n3 are obtained (step S
4). Since the intersection coordinates are in pixel units of the camera coordinate system, they are projected and converted into meters in the pantograph coordinate system. Here, the camera coordinate system is an orthogonal coordinate system centered on each camera focus, and the pantograph coordinate system is an orthogonal coordinate system whose origin is at the center of the pantograph.
【0024】更に、トロリー線候補LL1,L12,L13,
L21,L22,L23…Ln1,Ln2,L n3から次のようにし
てパンタグラフ10と接触するトロリー線を検出する
(ステップS5)。即ち、ステップS4で求めた交点L
L1,L12,L13,L21,L22,L23…Ln1,Ln2,Ln3
を図7に示すように第1、第2、…第n画像別にプロッ
トし、第1各画像の交点P11,P12,P13、第2画像の
交点P21,P22,P23と、…、第n画像の交点Pn1,P
n2,Pn3との距離を組み合わせの数だけ計算し、この距
離のうち実験的に決めた閾値以下である組み合わせを抽
出する。図7は、具体的には、交点P11と交点Pn1の距
離dxが閾値以下とした場合を示すものであり、この場
合には、交点P11と交点Pn1に関するトロリー線候補L
L1をパンタグラフ10に接触するトロリー線であると判
定することとなる。その他の交点P12…Pn2、P13…P
n3に関する直線はちょう架線・補助ちょう架線と判断さ
れることになる。Further, the trolley line candidate LL1, L12, L13,
Ltwenty one, Ltwenty two, Ltwenty three... Ln1, Ln2, L n3From
The trolley wire in contact with the pantograph 10
(Step S5). That is, the intersection point L obtained in step S4
L1, L12, L13, Ltwenty one, Ltwenty two, Ltwenty three... Ln1, Ln2, Ln3
As shown in FIG. 7, a plot is made for each of the first, second, ... Nth images.
Intersection P of the first images11, P12, P13, Of the second image
Intersection Ptwenty one, Ptwenty two, Ptwenty three, ..., intersection point P of the nth imagen1, P
n2, Pn3This distance is calculated by calculating the number of combinations with
Select the combinations that are less than or equal to the experimentally determined threshold
Put out. In FIG. 7, specifically, the intersection P11And intersection Pn1Distance
This shows the case where the separation dx is less than or equal to the threshold.
Intersection P11And intersection Pn1Trolley line candidate L for
L1Is a trolley wire that touches the pantograph 10.
Will be fixed. Other intersection points P12… Pn2, P13… P
n3A straight line related to the line is judged to be an catenary / auxiliary catenary.
Will be done.
【0025】そして、ステップS5で求めたパンタグラ
フ10と接触するトロリー線の交点から、パンタグラフ
上の偏位、トロリー線の垂直高さなどに変換する(ステ
ップS6)。尚、変換された垂直高さはカメラ取り付け
位置からトロリー線までの相対距離であるため、レール
レベルからカメラ取り付け位置までの距離を加えてレー
ルレベルからの垂直距離に変換してもよい。また、ステ
ップS5において、パンタグラフ10と接触するトロリ
ー線が複数検出された場合には、それぞれについて位置
計測を繰り返す。Then, the intersection point of the trolley line contacting the pantograph 10 obtained in step S5 is converted into the deviation on the pantograph, the vertical height of the trolley line, etc. (step S6). Since the converted vertical height is the relative distance from the camera mounting position to the trolley wire, it may be converted to the vertical distance from the rail level by adding the distance from the rail level to the camera mounting position. If a plurality of trolley wires contacting the pantograph 10 are detected in step S5, position measurement is repeated for each.
【0026】このように説明したように本実施例では、
n台以上(n≧3)のカメラ画像を処理することによ
り、1台のカメラ画像が太陽光の写り込みによって画像
処理できない場合でも、残りのカメラ画像から接触する
トロリー線を検出できるので、カメラ多重化により検出
の信頼性が向上する特徴がある。As described above, in this embodiment,
By processing n or more (n ≧ 3) camera images, the contact trolley wire can be detected from the remaining camera images even if one camera image cannot be processed due to the reflection of sunlight. There is a feature that detection reliability is improved by multiplexing.
【0027】〔実施例3〕わたり線の離隔距離計測方式
本実施例の処理手順を図10に示す。接触か非接触の判
断は、実施例1の図3のように、左右のカメラ画像で交
点が一致するものを接触する架線、一致しないものを接
触しない架線と判断する。実施例1のステップS1〜S
4は同じであるが、それ以降が異なる。先ず、2台のI
TVカメラ21,22でパンタグラフ10の付近を撮影
し、左右のカメラ画像を取得する(ステップT1)。[Embodiment 3] Distance line separation distance measuring method FIG. 10 shows a processing procedure of the present embodiment. In the determination of contact or non-contact, as shown in FIG. 3 of the first embodiment, it is determined that the intersections of the left and right camera images are coincident with each other, and those not coincident with each other are contact overhead lines. Steps S1 to S of the first embodiment
4 is the same, but is different after that. First, two I
The vicinity of the pantograph 10 is photographed by the TV cameras 21 and 22, and left and right camera images are acquired (step T1).
【0028】次に、左右のカメラ画像について、エッジ
検出しエッジから直線を検出し、所定の範囲の垂直な直
線をトロリー線候補LL1,LL2,LR1,LR2として検出
する(ステップT2)。トロリー線候補LL1,LL2は、
図8(a)及び図9(a)に示す左画像で検出されるも
のであり、トロリー線候補LR1,LR2,LR3は、図8
(b)及び図9(b)に示す右画像で検出されるもので
ある。尚、エッジ検出としては特に限定するものではな
く公知の方法を使用することができる。例えば、特願平
6−149246号に示される方法を使用しても良い
し、画像を水平微分する方法を使用しても良い。Next, edge detection is performed on the left and right camera images, straight lines are detected from the edges, and vertical straight lines within a predetermined range are detected as trolley line candidates L L1 , L L2 , L R1 , and L R2 (step T2). ). The trolley line candidates L L1 and L L2 are
The trolley line candidates L R1 , L R2 , and L R3 are detected in the left images shown in FIGS.
This is detected in the right image shown in (b) and FIG. 9 (b). The edge detection is not particularly limited, and a known method can be used. For example, the method shown in Japanese Patent Application No. 6-149246 may be used, or the method of horizontally differentiating an image may be used.
【0029】また、直線検出としては特に限定するもの
ではなく公知の方法を使用することができる。例えば、
特願平6−149246号に示される特徴抽出方法を使
用しても良いし、ハフ変換を使用しても良い。更に、
「所定の範囲」とは、図2に示す構成では、2台のカメ
ラ21,22を設置した際にトロリー線が図1のように
斜めに見える角度と位置範囲のことである。例えば、垂
直から±30°で、画像上半分の位置など、実験的に角
度と位置範囲を決めることができる。The straight line detection is not particularly limited, and a known method can be used. For example,
The feature extraction method disclosed in Japanese Patent Application No. 6-149246 may be used, or the Hough transform may be used. Furthermore,
In the configuration shown in FIG. 2, the "predetermined range" is the angle and position range in which the trolley wire looks oblique as shown in FIG. 1 when the two cameras 21 and 22 are installed. For example, it is possible to experimentally determine the angle and the position range such as the position on the upper half of the image within ± 30 ° from the vertical.
【0030】引き続き、2台のITVカメラ21,22
からのカメラ画像について、図1に示すように、パンタ
グラフ10のすり板部分とパンタグラフの中心CL,CR
を検出する(ステップT3)。パンタグラフ10はバネ
で支えられ上下動するため、位置は一定ではない。この
検出方法としては特に限定するものではなく公知の方法
を使用することができる。例えば、特願2000−33
2841号に示されるパターンマッチ方式や特願平6−
57924号に示されるモデルベースマッチ方式を採用
することができる。具体的には、予めパンタグラフの濃
淡値又は特徴をモデルとして登録し、同時にパンタグラ
フの中心とすり板の直線位置も登録しておく。そして、
このモデルを取得画像へ画像取得毎に対応させ、一致す
る位置からパンタグラフの中心とすり板部分を検出する
ことにより行う。Continuing, two ITV cameras 21 and 22
As shown in FIG. 1, the camera image from the center of the pantograph 10 and the center of the pantograph C L , C R
Is detected (step T3). Since the pantograph 10 is supported by a spring and moves up and down, its position is not constant. The detection method is not particularly limited, and a known method can be used. For example, Japanese Patent Application No. 2000-33
No. 2841, the pattern matching method and Japanese Patent Application No. 6-
The model-based match method shown in No. 57924 can be adopted. Specifically, the grayscale value or feature of the pantograph is registered as a model in advance, and at the same time, the center position of the pantograph and the linear position of the contact plate are also registered. And
This model is made to correspond to the acquired image every time the image is acquired, and the center of the pantograph and the sliding plate portion are detected from the matching position.
【0031】その後、トロリー線候補LL1,LL2,
LR1,LR2とパンタグラフ10のすり板との交点PL1,
PL2,PR1,PR2を求める(ステップT4)。尚、交点
座標はカメラ座標系のピクセル単位であるため、投影変
換しパンタグラフ座標系のメートル単位に変換する。こ
こで、カメラ座標系とはそれぞれのカメラ焦点を中心と
した直交座標系で、パンタグラフ座標系とはパンタグラ
フ中心を原点とした直交座標系である。引き続き、ステ
ップT4で求めた交点PL1,PL2,PR1,PR2のうち、
左右画像で交点が一致するものに関する直線を接触する
架線とし、交点が一致しないものに関する直線を接触し
ない架線とする(ステップT5)。Then, the trolley line candidates L L1 , L L2 ,
An intersection point P L1 between L R1 and L R2 and the contact plate of the pantograph 10,
P L2 , P R1 and P R2 are obtained (step T4). Since the intersection coordinates are in pixel units of the camera coordinate system, they are projected and converted into meters in the pantograph coordinate system. Here, the camera coordinate system is an orthogonal coordinate system centered on each camera focus, and the pantograph coordinate system is an orthogonal coordinate system whose origin is at the center of the pantograph. Next , among the intersections P L1 , P L2 , P R1 and P R2 obtained in step T4,
In the right and left images, the straight lines relating to the points where the intersections coincide are set as the contact lines, and the straight lines relating to the points where the intersections do not coincide are set as the non-contact line (step T5).
【0032】更に、ステップT5で1画像について2ヵ
所以上接触すると判定された場合には、その離隔距離を
計測する(ステップT6)。図11では、2ヵ所接触と
判定されたときに、垂直離隔V及び水平離隔Hを求めて
いる。本実施例は、図8に示すようにトロリー線とパン
タグラフとが接触し、わたり線がパンタグラフに接触し
な場合や、トロリー線とわたり線の両方がパンタグラフ
に接触する場合にも適用されるものである。更に、本実
施例では、2台以上のカメラを使用しパンタグラフと接
触するわたり線とトロリー線の離隔距離を計測すること
ができ、走行しながら取得した画像から離隔距離を計測
するため、動的な状態の計測ができる利点がある。ま
た、本実施例では左右のカメラ画像と説明しているが、
実施例2の様に、3台以上カメラ画像を使用しても良
い。Further, if it is determined in step T5 that two or more points contact one image, the separation distance is measured (step T6). In FIG. 11, the vertical distance V and the horizontal distance H are calculated when it is determined that the contact is made at two points. This embodiment is also applied to the case where the trolley wire and the pantograph are in contact with each other and the crossover wire is not in contact with the pantograph as shown in FIG. 8, or when both the trolley wire and the crossover wire are in contact with the pantograph. Is. Furthermore, in the present embodiment, it is possible to measure the separation distance between the crossover wire and the trolley wire that contact the pantograph by using two or more cameras, and the separation distance is measured from the image acquired while running. There is an advantage that it can measure various conditions. Further, in the present embodiment, the left and right camera images are described,
As in the second embodiment, three or more camera images may be used.
【0033】[0033]
【発明の効果】以上、実施例に基づいて具体的に説明し
たように、本発明によれば、以下の利点がある。
(1)レーザ計測方式は計測結果の値が得られるだけだ
が、画像処理方式は入力画像を録画できるため、異常な
トロリー線の位置の録画画像を見ることで、異常値の原
因究明が可能である。
(2)2台のカメラ画像の交点を比較することにより、
パンタグラフと接触しない架線を排除し、接触する架線
を抽出することができる。
(3)3台以上のカメラの交点を比較することにより、
パンタグラフと接触しない架線を排除し、接触する架線
を抽出することができる。
(4)わたり線は動的な状態で検出されることが望まれ
ている。本発明は、走行しながら取得した画像を使用す
る為、動的な離隔距離が計測できる。As described above in detail with reference to the embodiments, the present invention has the following advantages. (1) The laser measurement method only obtains the value of the measurement result, but the image processing method can record the input image, so it is possible to investigate the cause of the abnormal value by observing the recorded image at the position of the abnormal trolley wire. is there. (2) By comparing the intersections of the two camera images,
The overhead line that does not contact the pantograph can be excluded, and the overhead line that contacts can be extracted. (3) By comparing the intersections of three or more cameras,
The overhead line that does not contact the pantograph can be excluded, and the overhead line that contacts can be extracted. (4) It is desired that the crossover line be detected in a dynamic state. Since the present invention uses the image acquired while traveling, the dynamic separation distance can be measured.
【図1】本発明の実施例1に係る左右画像を示す説明図
である。FIG. 1 is an explanatory diagram showing left and right images according to a first embodiment of the present invention.
【図2】本発明の実施例1に係る位置計測装置の構成図
である。FIG. 2 is a configuration diagram of a position measuring device according to the first embodiment of the present invention.
【図3】本発明の実施例1に係るパンタグラフ中心に対
する交点位置を示す説明図である。FIG. 3 is an explanatory diagram showing an intersection position with respect to the center of the pantograph according to the first embodiment of the present invention.
【図4】本発明の実施例1に係るフローチャートであ
る。FIG. 4 is a flowchart according to the first embodiment of the present invention.
【図5】本発明の実施例2に係るカメラ設置位置を示す
説明図である。FIG. 5 is an explanatory diagram showing a camera installation position according to the second embodiment of the present invention.
【図6】本発明の実施例1に係る第1、第n画像を示す
説明図である。FIG. 6 is an explanatory diagram showing first and n-th images according to the first embodiment of the present invention.
【図7】本発明の実施例2に係るパンタグラフ中心に対
する交点位置を示す説明図である。FIG. 7 is an explanatory diagram showing an intersection position with respect to the center of the pantograph according to the second embodiment of the present invention.
【図8】本発明の実施例3に係る左右画像を示す説明図
である。FIG. 8 is an explanatory diagram showing left and right images according to the third embodiment of the present invention.
【図9】本発明の実施例3に係る左右画像を示す説明図
である。FIG. 9 is an explanatory diagram showing left and right images according to the third embodiment of the present invention.
【図10】本発明の実施例3に係るフローチャートであ
る。FIG. 10 is a flowchart according to the third embodiment of the present invention.
【図11】わたり線とトロリー線との離隔を示す説明図
である。FIG. 11 is an explanatory view showing the separation between the crossover wire and the trolley wire.
10 パンタグラフ 21,22,…2n カメラ 40 画像処理部 50 記録部 10 Pantograph 21,22, ... 2n camera 40 Image processing unit 50 recording section
Claims (3)
タグラフ付近を撮影し、撮影された複数の画像に基づい
てパンタグラフに接触する架線の位置を計測する装置で
あって、撮影された複数の画像をエッジ検出し、エッジ
から所定範囲の領域にある直線をトロリー線候補として
抽出すると共に水平エッジをパンタグラフとして求め、
抽出されたトロリー線候補と検出されたパンタグラフと
の交点を各画像上に求め、各交点のパンタグラフ中心に
対する偏差が閾値以下のものに関するトロリー線候補を
前記パンタグラフに接触するトロリー線であると判定す
ることを特徴とするトロリー線の位置計測装置。1. A device for photographing the vicinity of a pantograph with a plurality of cameras mounted on a vehicle and measuring the position of an overhead line contacting the pantograph based on the plurality of photographed images. Edge is detected, a straight line within a predetermined range from the edge is extracted as a trolley line candidate, and a horizontal edge is obtained as a pantograph,
The intersection of the extracted trolley line candidate and the detected pantograph is obtained on each image, and it is determined that the trolley line candidate whose deviation from the center of the pantograph at each intersection is a threshold value or less is a trolley line that contacts the pantograph. A trolley wire position measuring device characterized in that
1台のカメラからの画像が画像処理できない場合でも画
像処理によりトロリー線候補を求めることを特徴とする
請求項1記載のトロリー線の位置計測装置。2. The position measurement of the trolley line according to claim 1, wherein the number of the cameras is three or more, and the trolley line candidates are obtained by the image processing even when the image from at least one camera cannot be image processed. apparatus.
が複数ある場合には、それらの離隔計測を行うことを特
徴とする請求項1又は2記載のトロリー線の位置計測装
置。3. The position measuring device for a trolley wire according to claim 1, wherein when there are a plurality of trolley wires in contact with the pantograph, the distance between them is measured.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002151840A JP3882683B2 (en) | 2002-05-27 | 2002-05-27 | Trolley wire position measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002151840A JP3882683B2 (en) | 2002-05-27 | 2002-05-27 | Trolley wire position measuring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003341389A true JP2003341389A (en) | 2003-12-03 |
JP3882683B2 JP3882683B2 (en) | 2007-02-21 |
Family
ID=29769308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002151840A Expired - Fee Related JP3882683B2 (en) | 2002-05-27 | 2002-05-27 | Trolley wire position measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3882683B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006248410A (en) * | 2005-03-11 | 2006-09-21 | Meidensha Corp | Trolley wire detection device |
JP2006284535A (en) * | 2005-04-05 | 2006-10-19 | Meidensha Corp | Position measuring device of trolley line |
JP2006282128A (en) * | 2005-04-05 | 2006-10-19 | Meidensha Corp | Position measuring device for trolley wire |
JP2009040215A (en) * | 2007-08-09 | 2009-02-26 | Meidensha Corp | Trolley wire detecting device |
WO2010032695A1 (en) | 2008-09-17 | 2010-03-25 | 株式会社 明電舎 | Device and method for measuring vertical acceleration of pantograph by image processing |
WO2016047510A1 (en) * | 2014-09-26 | 2016-03-31 | 株式会社 明電舎 | Line measurement device and method |
CN112414325A (en) * | 2020-10-27 | 2021-02-26 | 哈尔滨市科佳通用机电股份有限公司 | Pantograph center line deviation detection system and method |
CN112985263A (en) * | 2021-02-09 | 2021-06-18 | 中国科学院上海微系统与信息技术研究所 | Method, device and equipment for detecting geometrical parameters of bow net |
WO2022202508A1 (en) * | 2021-03-25 | 2022-09-29 | 株式会社明電舎 | Pantograph periphery obstruction detection device and detection method |
-
2002
- 2002-05-27 JP JP2002151840A patent/JP3882683B2/en not_active Expired - Fee Related
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006248410A (en) * | 2005-03-11 | 2006-09-21 | Meidensha Corp | Trolley wire detection device |
JP4624826B2 (en) * | 2005-03-11 | 2011-02-02 | 株式会社明電舎 | Trolley wire detector |
JP2006284535A (en) * | 2005-04-05 | 2006-10-19 | Meidensha Corp | Position measuring device of trolley line |
JP2006282128A (en) * | 2005-04-05 | 2006-10-19 | Meidensha Corp | Position measuring device for trolley wire |
JP4608352B2 (en) * | 2005-04-05 | 2011-01-12 | 株式会社明電舎 | Trolley wire position measuring device |
JP4685494B2 (en) * | 2005-04-05 | 2011-05-18 | 株式会社明電舎 | Trolley wire position measuring device |
JP2009040215A (en) * | 2007-08-09 | 2009-02-26 | Meidensha Corp | Trolley wire detecting device |
WO2010032695A1 (en) | 2008-09-17 | 2010-03-25 | 株式会社 明電舎 | Device and method for measuring vertical acceleration of pantograph by image processing |
JP2010071706A (en) * | 2008-09-17 | 2010-04-02 | Meidensha Corp | Image-processing-based pantograph vertical acceleration measuring apparatus and method |
RU2459213C1 (en) * | 2008-09-17 | 2012-08-20 | Мейденся Корпорейшн | Apparatus and method of measuring vertical acceleration of pantograph via image processing |
WO2016047510A1 (en) * | 2014-09-26 | 2016-03-31 | 株式会社 明電舎 | Line measurement device and method |
JP2016065838A (en) * | 2014-09-26 | 2016-04-28 | 株式会社明電舎 | Apparatus for measuring wire and method thereof |
TWI579523B (en) * | 2014-09-26 | 2017-04-21 | Meidensha Electric Mfg Co Ltd | Line measuring device and method thereof |
EP3199910A4 (en) * | 2014-09-26 | 2018-05-23 | Meidensha Corporation | Line measurement device and method |
CN112414325A (en) * | 2020-10-27 | 2021-02-26 | 哈尔滨市科佳通用机电股份有限公司 | Pantograph center line deviation detection system and method |
CN112414325B (en) * | 2020-10-27 | 2021-07-20 | 哈尔滨市科佳通用机电股份有限公司 | Pantograph center line deviation detection system and method |
CN112985263A (en) * | 2021-02-09 | 2021-06-18 | 中国科学院上海微系统与信息技术研究所 | Method, device and equipment for detecting geometrical parameters of bow net |
WO2022202508A1 (en) * | 2021-03-25 | 2022-09-29 | 株式会社明電舎 | Pantograph periphery obstruction detection device and detection method |
JP7147906B1 (en) | 2021-03-25 | 2022-10-05 | 株式会社明電舎 | Pantograph peripheral obstruction detection device and detection method |
JP2022155594A (en) * | 2021-03-25 | 2022-10-14 | 株式会社明電舎 | Pantograph peripheral obstruction detection device and detection method |
Also Published As
Publication number | Publication date |
---|---|
JP3882683B2 (en) | 2007-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5245445B2 (en) | Crossover measuring device | |
JP4078798B2 (en) | Pantograph obstacle detection device | |
JP4793324B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
JP6424362B2 (en) | Filament measurement apparatus and method thereof | |
CN107743577B (en) | Method and apparatus for detecting vibration information of electric railway vehicle | |
WO2005029440A1 (en) | Device for detecting road traveling lane | |
CN109712428A (en) | A kind of parking position localization method and device, system | |
CN113639685B (en) | Displacement detection method, device, equipment and storage medium | |
JP5277585B2 (en) | Trolley wire detector | |
WO2016147899A1 (en) | Device for hanger detection by image processing | |
JP3882683B2 (en) | Trolley wire position measuring device | |
JP7226494B2 (en) | Contact wire wear detection method | |
JP4305073B2 (en) | Pantograph obstacle detection method and apparatus | |
JP6908445B2 (en) | Maintenance management method for change detectors and railway equipment parts | |
JP2002279409A (en) | Pantograph measuring method by image processing and measuring device by method | |
JP6699323B2 (en) | Three-dimensional measuring device and three-dimensional measuring method for train equipment | |
EP4082867A1 (en) | Automatic camera inspection system | |
JP6311757B2 (en) | Insulator detecting device and insulator detecting method | |
JP5629478B2 (en) | Pantograph monitoring device | |
JP4685494B2 (en) | Trolley wire position measuring device | |
JP2002008019A (en) | Railway track recognition device and rolling stock using railway track recognition device | |
JP4552409B2 (en) | Image processing device | |
JP5402272B2 (en) | Vehicle position measuring device for electric railway maintenance | |
JP2019193373A (en) | Constant position stop controller | |
EP3194882B1 (en) | Arcing filtering using multiple image capture devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060616 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3882683 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101124 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111124 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121124 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131124 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |