JPH06214622A - ワーク位置検知装置 - Google Patents

Abstract

(57)【要約】 【目的】 さまざまな形状のワークに対応できるととも
に、低価格でしかも処理速度が速いワーク位置検知装置
を提供する。 【構成】 ＴＶカメラ（３）〜（５）がワーク上の同一
直線上にない少なくとも３個の特徴点の画像を撮影し、
画像処理装置（７）〜（９）がこれらの各特徴点の画像
平面内での座標を各々検出し、演算器（１０）はこれら
の座標に基づいて各特徴点のワールド座標系における座
標および特徴点間の距離を演算する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ロボット等を有する自
動生産ライン用装置に用いて好適なワーク位置検知装置
に関する。

【０００２】

【従来の技術】自動生産ラインにおいては、各生産機器
がライン内を流れるワークに対し適切な作業を施す必要
があり、そのためには到来するワークの位置・姿勢を正
確に検出する必要がある。このようなワークの位置を検
出するための方法として、従来、次の２通りの方法があ
った。 ＜第１の方法＞ワークを平行移動・回転移動が可能な６
自由度を有する物体であると仮定しその位置・姿勢を演
算する。ワーク位置検出に際し、ワーク上の同一直線上
に位置しない３点、例えば、穴等を代表点として定め
る。そして、これらの各代表点を各々２台のカメラによ
り異なる方向から見るステレオカメラ方式により撮影
し、撮影により得られた各特徴点の画像平面内での座標
に基づき、作業空間におけるワークの位置および姿勢を
求める。

【０００３】＜第２の方法＞ワークの外形を画する各辺
の中から相互に平行でない第１および第２の辺を選択
し、これらの２辺の位置関係を予めメモリに記憶してお
く。そして、ワークが作業空間内に到来した場合、この
ワークの第１の辺が作業空間内に設定された相互に平行
な第１および第２の検出平面と交わる２交点を例えば光
学的手段により検出する。さらにワークの第２の辺が第
１および第２の検出平面と非平行な第３の検出平面と交
わる交点を検出する。そして、これら３個の交点の座標
に基づき、第１および第２の辺に関する位置情報を求
め、これらの位置情報に基づきワークの位置を検出す
る。なお、本願出願人は、この方法に基づくワーク位置
検知装置を特願平２−９５４１号にて提案している。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
第１の方法には次のような問題点があった。 ６自由度を有するワークの位置を求めるために６台
のテレビカメラと６台の画像処理装置が必要であり、方
法を実施するための装置が複雑かつ高価格になってしま
う。 １組の画像から実際の作業空間における座標への変
換を行うためにはキャリブレーションが必要であり、し
かも、これを３組分行わなければならないので、調整に
多くの時間を要する。 ワーク上の代表点のコントラストは必ずしも良くな
いため、画像をグレースケール処理する必要があり、検
知に多くの時間を要した。

【０００５】また、上述の第２の方法には次のような問
題点があった。 非平行な２辺を有していないワークには適用するこ
とができない。 ２辺の位置関係を求めるために複雑な演算が必要で
あり、実施が困難である。 第１乃至第３の検出平面をワークの第１および第２
の辺と交差させて上記３交点を検出可能な態様で生じさ
せるための手段が必要である。なお、上記出願（特願平
２−９５４１号）は、この手段をラインマーカ等の光学
的手段により具現した実施例を開示している。

【０００６】本発明は、このような事情に鑑みてなされ
たものであり、さまざまな形状のワークに対応できると
ともに、低価格でしかも処理速度が速いワーク位置検知
装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】請求項１に係るワーク位
置検知装置は、ワーク上の同一直線上にない少なくとも
３個の特徴点の画像を撮影する撮影手段と、前記撮影手
段により撮影された各特徴点の画像平面内での座標を各
々検出する検出手段と、前記各特徴点の画像平面内での
座標に基づいてこれらの特徴点の所定の基準座標系にお
ける座標を演算する演算手段とを具備することを特徴と
する。

【０００８】また、請求項２に係るワーク位置検知装置
は、上記構成に加えてさらに前記各特徴点の基準座標系
における座標を記憶する記憶手段を有すると共に、新た
なワークの各特徴点の基準座標系における座標を演算し
た場合に、それらの座標と前記記憶手段に記憶された座
標とに基づいて新たなワークの位置ずれを演算する位置
ずれ検出手段を設けたことを特徴とする。

【０００９】

【作用】上記請求項１に記載の発明によれば、ワーク上
の各特徴点の撮影が行われ、それらの画像平面内での座
標に基づき、各特徴点の基準座標系における位置が求め
られる。このようにワーク上の少なくとも３点の座標が
得られることにより、ワークの位置および姿勢が確定
し、ワークに対し適切な作業を行うことが可能となる。

【００１０】また、請求項２に記載の発明によれば、ワ
ークの特徴点の座標を記憶手段に記憶させることによ
り、以後、新たなワークについて前記ワークに対する位
置ずれを検知することができる。

【００１１】

【実施例】以下、図面を参照して本発明の一実施例につ
いて説明する。

【００１２】Ａ：実施例の構成 図１は自動車生産ラインのある工程に設置された本実施
例によるワーク位置検出装置を示す全体図である。この
図において、１はワークたる自動車車体であり、図示せ
ぬコンベア等によりこの工程の作業空間内に搬入され
る。２は作業空間内に固定されたワールド座標系であ
る。このワールド座標系は、ｘ軸、ｙ軸およびｚ軸から
なる直交座標系であり、本実施例においてはワークの位
置を特定するための基準座標として使用される。

【００１３】３，４，５はテレビジョンカメラ（以下、
ＴＶカメラと略す）であり、ワーク１の表面の同一直線
上にない３つの特徴点Ｐ1，Ｐ2，Ｐ3付近の各画像を各
々撮影する。このようにして撮影された画像は撮影信号
として後述する画像処理装置７〜９に出力される。ＴＶ
カメラ３〜５の視野の大きさは、特徴点の撮影をワーク
１が作業空間内に停止した状態で行うか、それともワー
ク１を連続的に作業空間内を通過させて行うかにより決
定する。すなわち、ワーク１が停止した状態で撮影を行
い、かつ、その停止精度が比較的良い場合には「±数１
０ｃｍ」程度とする。また、搬送状態のワーク１を撮影
する場合には、視野の大きさを「１ｍ」程度とする。こ
れはワーク１が搬送状態であれば、「１ｍ」程度連続的
に検出する必要があるからである。

【００１４】ＴＶカメラ３〜５によって撮影される画像
の一例を図３に示す。同図において、１３はＴＶカメラ
３により撮影された特徴点Ｐ1付近の画像であり、（ｕ
1，ｖ1）は特徴点Ｐ1の画像平面内での座標である。同
様に１４は特徴点Ｐ2付近の画像、（ｕ2，ｖ2）は画像
平面内での特徴点Ｐ2の座標、１５は特徴点Ｐ3付近の画
像、（ｕ3，ｖ3）は画像平面内での特徴点Ｐ3の座標で
ある。

【００１５】６はコントローラであり、図２に示すよう
に画像処理装置７〜９，演算器１０，記憶装置１１から
構成されている。画像処理装置７〜９はＴＶカメラ３〜
５から供給される撮影信号に基づいて特徴点Ｐ1の座標
（ｕ1，ｖ1），特徴点Ｐ2の座標（ｕ2，ｖ2）および特
徴点Ｐ3の座標（ｕ3，ｖ3）を検出する。

【００１６】次に１１は記憶装置であり、ワーク１上の
特徴点Ｐ1およびＰ2間の距離を表す距離データＬ1,j
と、特徴点Ｐ2およびＰ3間の距離を表す距離データＬ2,
jと、特徴点Ｐ3およびＰ1間の距離を表す距離データＬ
3,jとをワーク１たる自動車車体の車種Ｎｏ．ｊ毎に記
憶する。また、上述したＴＶカメラ３〜５の設置条件に
関するデータ、すなわち、以下のデータを記憶する。 ＴＶカメラ３〜５の各設置位置をワールド座標系２の
原点から見た位置ベクトルｒ1，位置ベクトルｒ2，位置
ベクトルｒ3 ＴＶカメラ３〜５の各撮影方向の水平方向角及び上下
角（θz1，θx1），（θz2，θx2），（θz3，θx3） 本実施例の場合、これらのＴＶカメラ３〜５の撮影方向
はすべて同一ではない。 ＴＶカメラ３〜５の各々の視野角に関する情報

【００１７】演算器１０は、記憶装置１１に記憶された
ワーク１の車種Ｎｏ．ｊに対応する距離データＬj,1、
Ｌj,2およびＬj,3と、上記ＴＶカメラ３〜５の設置条件
に関するデータと、画像処理装置７〜９から供給される
特徴点Ｐ1〜Ｐ3の座標（ｕi，ｖi）（ｉ＝１，２，３）
とに基づき、ワーク１のワールド座標系２における位置
および姿勢を特定するためのデータを算出し、ロボット
コントローラ１２へ出力する。このロボットコントロー
ラ１２は、演算器１０から得たデータに基づき、図示し
ないロボットを制御するための信号を出力する。

【００１８】Ｂ：実施例の動作 次に、本実施例の動作を説明する。 ＜教示＞ワーク１に対する作業を進めるに際し、作業の
ための教示を行う必要がある。以下、この教示に係る動
作を説明する。まず、作業空間内にワーク１が搬入さ
れ、その車種Ｎｏ．ｊが読み取られ、この車種Ｎｏ．ｊ
と、ワークの基準位置の教示を指示するコマンドとがロ
ボットコントローラ１２から演算器１２へ送られる。こ
の結果、演算器１０は図４にＰＡＤ図を示すルーチンを
実行する。

【００１９】まず、ステップｓ１において、演算器１０
は、ワーク１の車種Ｎｏ．ｊ及びコマンドを受信する。
次にステップｓ２に進むと、演算器１０は、画像処理装
置７〜９に対し特徴点Ｐ１〜Ｐ３の座標の検知すべき旨
を指示する特徴点検出指令を送る。そして、画像処理装
置７〜９の状態を監視しつつ（ステップｓ４）、画像処
理装置７〜９による特徴点の座標の検知が終了するまで
待機する（ステップｓ３）。なお、一定時間経過しても
画像処理装置７〜９による特徴点Ｐiの座標（ｕi，ｖ
i）の検知が終了しない場合にはエラー信号がロボット
コントローラ１２に送られ、その後の処理は中止され
る。

【００２０】画像処理装置７〜９による特徴点の座標の
検知が終了するとステップｓ５に進み、演算器１０は画
像処理装置７〜９から特徴点Ｐ1〜Ｐ3の座標（ｕi，ｖ
i）（ｉ＝１〜３）を受け取る。次にステップｓ６に進
み、記憶装置１１に記憶されているＴＶカメラ３〜５の
設置条件，視野角及び車種Ｎｏ．ｊに対応するワーク１
の距離データＬ1,j，距離データＬ2,j，距離データＬ3,
jを読み取る。

【００２１】次にステップｓ７に進み、画像処理装置７
〜９から得た特徴点Ｐ1〜Ｐ3の座標（ｕi，ｖi）（ｉ＝
１，２，３）と、記憶装置１１から読み出したＴＶカメ
ラ３〜５の設置条件，視野角とに基づき、各ＴＶカメラ
３〜５から特徴点Ｐ1〜Ｐ3へと向う方向ベクトル（単位
ベクトル）ｅ1，ｅ2およびｅ3のワールド座標系２での
成分、すなわち、各方向ベクトルｅ1，ｅ2およびｅ3に
ついてのｘ成分，ｙ成分およびｚ成分を算出する。以
下、これらの方向ベクトルの算出方法について説明す
る。

【００２２】まず、座標（ｕi，ｖi）（ｉ＝１，２，
３）、ＴＶカメラ３〜５の視野角に基づき、各ＴＶカメ
ラに固定された直交座標系から見た特徴点Ｐ1〜Ｐ3の方
向を示す単位ベクトルｅ1’，単位ベクトルｅ2’，単位
ベクトルｅ3’が求められる。ここで、各ＴＶカメラに
固定された直交座標系とは以下のような座標軸により構
成される座標系をいう。 当該カメラの撮影方向（当該カメラから視野の中心を
見る方向）に対応した軸。この軸上のすべての点は画像
平面の中心に結像される。 水平面に含まれ、かつ、上記軸と直交する軸。この
軸はｕ座標値の座標軸でもある。 上記軸およびと直交する軸。この軸はｖ座標値の
座標軸でもある。

【００２３】次にこのようにして得られた各単位ベクト
ルｅ1’，ｅ2’，ｅ3’に座標変換を施し、ワールド座
標系２を基準とする方向ベクトルｅ1，方向ベクトルｅ
2，方向ベクトルｅ3を求める。この変換は、次の手順で
行われる。

【００２４】まず、ワールド座標系２に示すｚ軸廻りに
θだけ回転させる回転行列をＲｏｔ（ｚ，θ），ｘ軸廻
りにψだけ回転させる回転行列をＲｏｔ（ｘ，ψ）と表
すと、ＴＶカメラ３に固定された直行座標系からワール
ド座標系２へ変換する回転行列ＲT,1が次式により得ら
れる。 ＲT,1＝Ｒｏｔ（ｚ，θz1）・Ｒｏｔ（ｘ，θx1） ．．．（１）

【００２５】ＴＶカメラ４，５についても同様な回転行
列ＲT,2及びＲT,3が以下のように得られる。 ＲT,2＝Ｒｏｔ（ｚ，θz2）・Ｒｏｔ（ｘ，θx2） ．．．（２） ＲT,3＝Ｒｏｔ（ｚ，θz3）・Ｒｏｔ（ｘ，θx3） ．．．（３）

【００２６】これらの式（１）〜（３）に基づいて、回
転行列ＲT,1，回転行列ＲT,2，回転行列ＲT,3を算出す
る。そして、このようにして算出された回転行列ＲT,1
〜ＲT,3を、下記式（４）〜（６）に従って単位ベクト
ルｅ1’，ｅ2’，ｅ3’に作用させ、方向ベクトルｅ1，
ｅ2，ｅ3を各々求める。 ｅ1＝ＲT,1・ｅ1’ ．．．（４） ｅ2＝ＲT,2・ｅ2’ ．．．（５） ｅ3＝ＲT,3・ｅ3’ ．．．（６）

【００２７】次にステップｓ８に進み、ＴＶカメラ３か
ら特徴点Ｐ1までの距離ｄ1，ＴＶカメラ４から特徴点Ｐ
2までの距離ｄ2，ＴＶカメラ５から特徴点Ｐ3までの距
離ｄ3を以下説明する手順により算出する。まず、ワー
ルド座標系２の原点から各特徴点Ｐ1〜Ｐ3までの位置ベ
クトルＯＰ1，位置ベクトルＯＰ2，位置ベクトルＯＰ3
は、 ＯＰ1＝ｒ1＋ｄ1ｅ1 ．．．（７） ＯＰ2＝ｒ2＋ｄ2ｅ2 ．．．（８） ＯＰ3＝ｒ3＋ｄ3ｅ3 ．．．（９） と表される。

【００２８】一方、特徴点間の距離はステップｓ６によ
り、すでに距離データＬ3,j，距離データＬ2,j，距離デ
ータＬ1,jという情報が与えられているから、 ｜ｒ2−ｒ1＋ｄ2ｅ2−ｄ1ｅ1｜＝Ｌ3,j ．．．（１０） ｜ｒ3−ｒ1＋ｄ3ｅ3−ｄ1ｅ1｜＝Ｌ2,j ．．．（１１） ｜ｒ3−ｒ2＋ｄ3ｅ3−ｄ2ｅ2｜＝Ｌ1,j ．．．（１２） なる方程式が成り立つ。ステップｓ８においては、これ
らの方程式を解くことにより距離ｄ1〜ｄ3を算出する。

【００２９】次にステップｓ９に進み、特徴点Ｐ1のワ
ールド座標系２での位置ベクトルｒw，特徴点Ｐ1から特
徴点Ｐ2へ向う変位ベクトルａおよび特徴点Ｐ1から特徴
点Ｐ3へ向う変位ベクトルｂを下記式（１３）〜（１
５）により算出する。

【００３０】次にステップｓ１０に進み、ロボットコン
トローラ１２から送られてきたコマンドが教示コマンド
か否かを判断し、この場合の結果は「Ｙｅｓ」となって
ステップｓ１１に進む。次にステップｓ１１に進むと、
ステップｓ９において得られた位置ベクトルｒw，変位
ベクトルａ，ｂを車種Ｎｏ．ｊに対応した基準位置デー
タｒwj，ａj，ｂjとして記憶装置１１に記憶させる。こ
のようにしてワーク１の基準位置の教示が行われる一
方、この基準位置にあるワーク１へ施すべき作業の教示
がロボットに対して行われる。次にステップｓ１２に進
み、検知終了信号をロボットコントローラ１２へ出力
し、このルーチンを終了する。

【００３１】＜実作業＞教示終了後の実作業において
は、上記のようにして得られた基準位置データに基づ
き、作業空間内に搬入される車種Ｎｏ．ｊのワーク１の
基準位置からの位置ずれが検知され、この位置ずれに基
づきロボットの動作の修正が行われる。この場合の処理
について、以下説明する。

【００３２】ワーク１が作業空間内に搬入されると、ロ
ボットコントローラ１２は、車体Ｎｏ．ｊと共にずれ量
測定コマンドを演算器１０に送る。この結果、上記教示
の場合と同様、まず、図４におけるステップｓ１〜ステ
ップｓ９を実行し、ワーク１についての位置ベクトルｒ
w，変位ベクトルａ，ｂを求める。次にステップｓ１０
に進むと、その判断結果が「Ｎｏ」と判断されるため、
ステップｓ１３に進む。

【００３３】ステップｓ１３においては、記憶装置１１
から基準位置データｒwj，ａj，ｂjを読み出す。次にス
テップｓ１４に進み、平行ずれ量ｘ，回転行列Ｒを算出
する。その処理について、以下説明する。まず、次式
（１６）に、ステップｓ９において算出した位置ベクト
ルｒwおよびステップｓ１３において読み出した基準デ
ータ内の位置ベクトルｒwjを代入し、平行ずれ量（ベク
トル）ｘを求める。 ｘ＝ｒw−ｒwj ．．．（１６） 次にステップｓ１３において読み出した基準データ内の
変位ベクトルａj，ｂjのベクトル積 ｄj＝ａj×ｂj ．．．（１７） を求める。さらに以下の単位ベクトルｕj，ｗj，ｖjを
求める。 ｕj＝ａj／｜ａj｜ ．．．（１８） ｗj＝ｄj／｜ｄj｜ ．．．（１９） ｖj＝ｗj×ｕj ．．．（２０）

【００３４】このようにして、特徴点Ｐ1を原点にして
変位ベクトルａの方向をｘ軸とするワーク１に固定され
た座標系のｘ，ｙ，ｚ軸の基底ベクトルｕj，ｖj，ｗj
が得られる。これらの基底ベクトルを使用し、ワーク１
に固定された座標系に対応した座標値をワールド座標系
２に対応した座標値に座標変換するための回転行列、 Ｒj＝（ｕj，ｖj，ｗj） ．．．（２１） が得られる。

【００３５】同様にして、位置データｒw，ａ，ｂから
も回転行列Ｒ0を算出する。これにより、ずれ量を表す
回転行列Ｒを、 Ｒ＝Ｒ0・Ｒj-1 ．．．（２２） から算出する。以上のようにして、平行ずれ量ｘ及び回
転行列Ｒが算出される。

【００３６】次にステップｓ１５に進むと、ステップｓ
１４で算出した平行ずれ量ｘ及び回転行列Ｒをロボット
コントローラ１２へ出力する。ロボットコントローラ１
２は、これらの情報に基づいてロボットの動作の修正を
行う。

【００３７】Ｃ：他の変形例 他の変形例を図５及び図６に示す。これらの図に示す他
の変形例は上述した実施例におけるＴＶカメラ３，４を
１台のＴＶカメラ３’に置き換えたものである。これは
２つの特徴点の位置が近い場合や上述のの実施例ほどの
精度が必要ない場合に使用する。画像処理装置７’はＴ
Ｖカメラ３’がとらえる２つの特徴点の座標（ｕi，ｖ
i）（ｉ＝１，２）を求め記憶装置１１へを送る。その
後の処理手順は上述の実施例と同一である。この場合、
上述の実施例と同一の処理速度が必要であれば、画像処
理装置７’の処理能力を画像処理装置７の２倍程度にす
れば良い。

【００３８】さらに、ＴＶカメラを１台にしてすべての
特徴点をとらえても良い。特徴点として、上述の実施例
においては部材のエッジを使用したが穴、又はボルト等
の突起物を使用しても良い。

【００３９】

【発明の効果】以上説明したように、この発明によれ
ば、ワーク上の同一直線上にない少なくとも３個の特徴
点の座標をワークの位置および姿勢を表すデータとして
求めるようにしたので、さまざまな形状のワークに対応
できるとともに、低価格でしかも高速処理の可能なワー
ク位置検知装置を実現することができるという効果があ
る。

【図面の簡単な説明】

【図１】本発明における第１の実施例の全体図である。

【図２】本発明における第１の実施例の構成を示すブロ
ック図である。

【図３】本発明において撮影される特徴点の画像の一例
を示す図である。

【図４】本発明における第１の実施例の演算器１０の処
理手順を示すＰＡＤ図である。

【図５】本発明における第２の実施例の全体図である。

【図６】本発明における第２の実施例の構成を示すブロ
ック図である。

【符号の説明】

１ ワーク ２ ワールド座標系（基準座標） ３，４，５ ＴＶカメラ（撮影手段） ６ コントローラ ７，８，９ 画像処理装置（検出手段） １０ 演算器（演算手段） １１ 記憶装置（記憶手段） １２ ロボットコントローラ １３，１４，１５ 画像。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 ワーク上の同一直線上にない少なくとも
   ３個の特徴点の画像を撮影する撮影手段と、 前記撮影手段により撮影された各特徴点の画像平面内で
   の座標を各々検出する検出手段と、 前記各特徴点の画像平面内での座標に基づいてこれらの
   特徴点の所定の基準座標系における座標を演算する演算
   手段と、 を具備することを特徴とするワーク位置検知装置。
2. 【請求項２】 前記各特徴点の基準座標系における座標
   を記憶する記憶手段を有すると共に、 新たなワークの各特徴点の基準座標系における座標を演
   算した場合に、それらの座標と前記記憶手段に記憶され
   た座標とに基づいて新たなワークの位置ずれを演算する
   位置ずれ検出手段を設けたことを特徴とする請求項１記
   載のワーク位置検知装置。