JP2016192135A - 電線群加工用の画像取得システム - Google Patents

電線群加工用の画像取得システム Download PDF

Info

Publication number
JP2016192135A
JP2016192135A JP2015072521A JP2015072521A JP2016192135A JP 2016192135 A JP2016192135 A JP 2016192135A JP 2015072521 A JP2015072521 A JP 2015072521A JP 2015072521 A JP2015072521 A JP 2015072521A JP 2016192135 A JP2016192135 A JP 2016192135A
Authority
JP
Japan
Prior art keywords
processing
electric wire
wire group
image data
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2015072521A
Other languages
English (en)
Inventor
聡 大江
Satoshi Oe
聡 大江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Wiring Systems Ltd
AutoNetworks Technologies Ltd
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Wiring Systems Ltd
AutoNetworks Technologies Ltd
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Wiring Systems Ltd, AutoNetworks Technologies Ltd, Sumitomo Electric Industries Ltd filed Critical Sumitomo Wiring Systems Ltd
Priority to JP2015072521A priority Critical patent/JP2016192135A/ja
Priority to PCT/JP2016/057514 priority patent/WO2016158282A1/ja
Priority to CN201680017035.3A priority patent/CN107408429A/zh
Priority to US15/562,963 priority patent/US20180215046A1/en
Publication of JP2016192135A publication Critical patent/JP2016192135A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0007Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01BCABLES; CONDUCTORS; INSULATORS; SELECTION OF MATERIALS FOR THEIR CONDUCTIVE, INSULATING OR DIELECTRIC PROPERTIES
    • H01B13/00Apparatus or processes specially adapted for manufacturing conductors or cables
    • H01B13/012Apparatus or processes specially adapted for manufacturing conductors or cables for manufacturing wire harnesses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Manipulator (AREA)
  • Automatic Assembly (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ワイヤーハーネスを構成する電線群を全体的に認識すること、及び、その電線群を部分的に詳細に認識することを両立することに適した技術を提供することを目的とする。
【解決手段】電線群加工用の画像取得システム50は、ワイヤーハーネスを構成する電線12群を認識するためのシステムである。この画像取得システム50は、ワイヤーハーネスを構成する電線12群を第1撮像範囲で認識するための第1画像データを取得する第1ビジョンシステム(例えば、2次元ビジョンシステム60)と、ワイヤーハーネスを構成する電線群を、第1撮像範囲と重なる領域であって第1撮像範囲よりも小さい第2撮像範囲で、かつ、単位面積当りの情報量が第1画像データよりも多い第2画像データを取得する第2ビジョンシステム(例えば、3次元ビジョンシステム70)とを備える。
【選択図】図1

Description

この発明は、ワイヤーハーネスを製造する際に電線群を認識するための技術に関する。
特許文献1は、複数の電線を車両における布線経路に応じた状態に布線し、この図板上で前記布線経路に応じた形態に分岐させつつ結束することによってワイヤーハーネスを製造する方法を開示している。
特許文献2は、3Dビジョンセンサによって、部品供給部にバラ積み供給された部品の認識を行い、2Dビジョンセンサによって、仮置き台に置かれた部品の位置姿勢を認識する技術を開示している。また、特許文献2は、2Dビジョンセンサが3Dビジョンセンサ機能を含み、仮置き台上の特定位置に設置された部品の位置姿勢を認識できない場合には、3Dビジョンセンサ機能を有効化する技術も開示している。
特開2014−32840号公報 特開2012−245602号公報
特許文献1に開示されているように、ワイヤーハーネスは、図板上で手作業によって電線を結束等することによって製造される。かかるワイヤーハーネスについても、ロボット等を用いて自動的に製造できるようにすることが好ましい。そのためには、ワイヤーハーネスを構成する電線群を画像認識することが必要となる。
ここで、ワイヤーハーネスを構成する電線は、数メートルの長尺製品であり、しかも、不定形物である。このため、比較的広範囲に亘って電線群を認識する必要がある。また、電線同士を結束作業等するためには、部分的には、cm単位若しくはmm単位で電線の位置若しくは立体的な位置を認識する等、詳細な認識が必要となる。
しかしながら、広範囲を認識可能なカメラでは、cm単位若しくはmm単位での位置認識若しくは立体的な位置認識には向かない。また、cm単位若しくはmm単位で位置を認識可能なカメラ若しくは立体的な位置認識可能なカメラでは、広範囲を認識することは向かない。
特許文献2に記載された3Dビジョンセンサと2Dビジョンセンサとの使い分けでは、上記ワイヤーハーネスを構成する電線群を、全体的に認識すること及び部分的に詳細に認識することを両立することはできない。
そこで、本発明は、ワイヤーハーネスを構成する電線群を全体的に認識すること、及び、その電線群を部分的に詳細に認識することを両立することに適した技術を提供することを目的とする。
上記課題を解決するため、第1の態様は、ワイヤーハーネスを構成する電線群を認識するための電線群加工用の画像取得システムであって、前記ワイヤーハーネスを構成する電線群を第1撮像範囲で認識するための第1画像データを取得する第1ビジョンシステムと、前記ワイヤーハーネスを構成する電線群を、前記第1撮像範囲と重なる領域であって前記第1撮像範囲よりも小さい第2撮像範囲で、かつ、単位面積当りの情報量が前記第1画像データよりも多い第2画像データを取得する第2ビジョンシステムとを備える。
第2の態様は、第1の態様に係る電線群加工用の画像取得システムであって、前記第2ビジョンシステムは、3次元ビジョンシステムとされている。
第3の態様は、第2の態様に係る電線群加工用の画像取得システムであって、前記第2ビジョンシステムは、位相変調方式プロジェクション光源とステレオカメラとを含み、アクティブ三角測量方式で3次元点群データを取得するシステムとされている。
第4の態様は、第1〜第3のいずれか1つの態様に係る電線群加工用の画像取得システムであって、前記第2ビジョンシステムは、カメラを含み、前記カメラは、前記ワイヤーハーネスを構成する電線群に対する加工を行う加工ロボットのロボットアームに取付けられているものである。
第5の態様は、第1〜第4のいずれか1つの態様に係る電線群加工用の画像取得システムであって、前記第1ビジョンシステムは、2次元ビジョンシステムとされている。
第1の態様によると、第1ビジョンシステムによってワイヤーハーネスを構成する電線群を全体的に適切に認識することができる。また、第2ビジョンシステムによって、その電線群を部分的に適切に詳細に認識することができる。
第2の態様によると、電線群を部分的に認識する際には、3次元的に認識できる。
第3の態様によると、第2ビジョンシステムによって、その電線群を部分的により適切に詳細に認識することができる。
第4の態様によると、加工ロボットのアームによって電線群に対する加工を行う際に、加工先となる電線群の部分を詳細に認識できる。
第5の態様によると、第1ビジョンシステムによって、比較的広い第1撮像範囲を認識する際には、比較的迅速な処理が可能となる。
実施形態に係る電線群加工用の画像取得システムを含む電線群加工装置を示す概略図である。 電線群加工装置のブロック図である。 画像取得システムからの第1画像データ及び第2画像データに基づく加工制御部の処理の一例を示すフローチャートである。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 電線群加工装置による電線群の加工例を示す説明図である。 変形例に係る3次元ビジョンシステムを示す概略図である。 3次元ビジョンシステムをベース板上に支持した状態を示す説明図である。
以下、実施形態に係る電線群加工用の画像取得システムについて説明する。図1は電線群加工用の画像取得システム50を含む電線群加工装置20を示す概略図であり、図2は電線群加工装置20のブロック図である。
加工対象となるワイヤーハーネス10は、複数の電線12が分岐しつつ結束された構成とされている(図10参照)。ワイヤーハーネス10の各分岐先では、電線12の端部に取付けられた端子がコネクタ14に挿入接続されている。本ワイヤーハーネス10が車両に組込まれた状態で、各コネクタ14が車両に搭載された各種電気部品に接続される。これにより、ワイヤーハーネス10は、車両に搭載された各種電気部品を電気的に接続する役割を果す。ワイヤーハーネス10に含まれる電線12は、車両における敷設経路に応じた形態で分岐されつつ結束される。本電線群加工装置20は、複数の電線12を、敷設経路に沿った形態で分岐させつつ結束する作業を行う。なお、各図において、同じ経路を通る電線12は、1本の線で描かれている。このため、各図において、1本の線で描かれた電線12は、実際には、複数の電線12の束であることがあり得る。
電線群加工装置20は、電線支持部22と、加工ロボット30と、加工制御部40と、画像取得システム50とを備える。
電線支持部22は、電線12の端部のコネクタ14を支持可能に構成されている。すなわち、複数の電線12は、各端部の端子がコネクタ14に挿入された状態で、本電線支持部22によって支持される。複数の電線12の端部の端子をコネクタ14に自動的に挿入する自動挿入装置自体は、周知の技術であるが、当該挿入作業は、人手によって行われてもよい。
より具体的には、電線支持部22は、ベース板24と、コネクタ支持部26とを備える。
ベース板24は、ここでは、方形板状に形成されており、重力方向に沿った鉛直姿勢で支持されている。ベース板24を背景として、その一主面である作業面上にある電線12を容易に画像認識できるように、ベース板24の作業面は、電線12とは異なる一様な色を呈していることが好ましい。もっとも、ベース板24が設けられていることは必須ではない。
コネクタ支持部26は、複数のコネクタ14を一定位置にて支持可能に構成されている。コネクタ支持部26としては、例えば、長尺部材に、その延在方向に沿って間隔をあけて複数のコネクタセット凹部が形成されたものを用いることができる。また、ここでは、コネクタ支持部26は、ベース板24の作業面の上方位置に固定されている。コネクタセット凹部は、コネクタ14を嵌め込んでセット可能な凹形状に形成されている。コネクタ14は、電線12が延出する側の端部を下方に向けた姿勢で、コネクタセット凹部に嵌め込まれて一定位置に支持される。コネクタ14から延出する電線12は、コネクタ支持部26によって一定位置に支持されたコネクタ14から下方に垂下がるように配設されることになる。電線12の両端部の端子は、異なる位置に支持されたコネクタ14に挿入接続されているため、その間の電線12は、その2つのコネクタ14の間でU字状に垂下がるように支持される。電線12は、好ましくは、ベース板24の作業面が存在する領域内に存在している。
加工ロボット30は、一般的な産業用ロボットであり、図1では、一般的な垂直多関節ロボットが図示されている。加工ロボット30は、ロボットアーム32と、ロボットアーム32の先端部に設けられた加工作業部34とを備える。ロボットアーム32は、複数のアーム部が関節機構を介して軸周りに回転可能に連結された構成とされており、その先端部に加工作業部34が設けられている。この加工ロボット30は、ロボットアーム32を動作させることによって、加工作業部34を、ベース板24の作業面の任意の位置に任意の姿勢で移動させることができる。
加工作業部34は、電線12群に対する加工を行う部分である。ここでは、電線12群に対する加工として、電線12の延在方向の所定位置を一定位置に集約させること(複数の電線12の延在方向中間位置を束ねること)、及び、複数の電線12を結束すること(例えば、粘着テープを巻付けること)等が想定される。
前者の加工を行うためには、加工作業部34として、電線12を掴んで一定位置に移動させたり、複数の電線12を寄せ集めるように掴んだりすることが可能な周知のロボットハンドを用いることができる。後者の加工を行うためには、加工作業部34として、周知のテープ自動巻機を用いることができる。
複数種の加工作業を行うため、加工ロボット30が複数備えられてもよいし、或は、ロボットアーム32の先端部に複数の加工作業部34が相対移動可能な状態で取付けられていてもよい。
なお、加工ロボットは、垂直多関節ロボットの他、直角座標型ロボット等であってもよい。また、加工作業部は、電線12群に対して行われる作業に応じて、適宜変更される。
加工制御部40は、CPUと、RAMと、ROMと、入力回路部等を備える一般的なコンピューターによって構成されている。ROMは、フラッシュメモリ等の書換え可能な不揮発性半導体メモリ等によって構成されており、画像取得システム50により取得された画像データに基づいて加工対象領域、加工対象(電線12群)の位置及び姿勢等を決定するための手順、電線12群に対する加工手順及び加工内容を記述したプログラム等を格納している。そして、CPUがROMに格納されたプログラムを実行することにより、画像取得システム50により取得された画像データに基づいて電線12群に対する諸加工を行うべく、加工ロボット30に対して諸指示を与える処理を実行する。
画像取得システム50は、上記ワイヤーハーネス10を構成する電線12群を認識するための画像データを取得するためのシステムであり、第1ビジョンシステムとしての2次元ビジョンシステム60と、第2ビジョンシステムとしての3次元ビジョンシステム70とを備える。
2次元ビジョンシステム60は、ワイヤーハーネス10を構成する電線12群を第1撮像範囲R1で認識するための第1画像データD1を取得可能に構成されている(図5参照)。
すなわち、2次元ビジョンシステム60は、2次元カメラ62を備える。2次元カメラ62は、カメラ支持部材64によって、ベース板24の作業面から離れた位置に支持されており、ベース板24の作業面上において電線12群が配設されることが予想される全ての領域を第1撮像範囲R1として撮像可能に配設されている。2次元ビジョンシステム60によって得られた第1画像データD1は、加工制御部40に与えられる。
なお、2次元ビジョンシステム60は、第1撮像範囲R1を部分的に撮像可能な2次元カメラを複数備えており、複数の2次元カメラによって撮像された画像が結合されることによって、第1撮像範囲R1の第1画像データD1が得られてもよい。また、2次元ビジョンシステム60は、第1撮像範囲R1を部分的に撮像可能な2次元カメラを1つ備えると共に、当該2次元カメラを移動駆動可能な移動機構部を備えており、この2次元カメラを移動させることによって、第1撮像範囲R1を部分的に撮像した画像を複数得、この複数の画像を結合することによって、第1撮像範囲R1の第1画像データD1が得られてもよい。また、第1ビジョンシステムとして、3次元画像データを取得する3次元ビジョンシステムが用いられてもよい。
3次元ビジョンシステム70は、ワイヤーハーネス10を構成する電線12群を、第1撮像範囲R1と重なる領域であって第1撮像範囲R1よりも小さい第2撮像範囲R2で、かつ、単位面積当りの情報量が第1画像データD1よりも多い第2画像データD2を取得可能に構成されている(図5及び図6参照)。
ここでは、3次元ビジョンシステム70は、複数のカメラを含むステレオカメラ72と、3次元画像処理部76とを備えている。ステレオカメラ72による撮像範囲は、上記第1撮像範囲R1よりも小さい。また、ステレオカメラ72は、加工ロボット30のロボットアーム32の先端部であって加工作業部34と干渉しない位置に取りつけられている。このため、ステレオカメラ72は、第1撮像範囲R1と重なる領域であって第1撮像範囲R1よりも小さい第2撮像範囲R2で、電線12群を撮像することができる。
なお、ステレオカメラ72は、加工ロボット30とは別の移動機構部によってベース板24の上方を移動可能に配設されていてもよい。
ステレオカメラ72は、第2撮像範囲R2を異なる方向から撮像し、これにより得られた画像データを3次元画像処理部76に出力する。3次元画像処理部76は、CPUと、RAMと、ROMと、入力回路部等を備える一般的なコンピューターによって構成されている。ROMは、フラッシュメモリ等の書換え可能な不揮発性半導体メモリ等によって構成されており、第2撮像範囲R2を異なる方向から撮像した複数の画像データに基づいて、加工対象である電線12群の3次元データ(点群データ)を第2画像データD2として生成する手順を記述したプログラム等を格納している。そして、この3次元画像処理部76により得られ画第2画像データD2が加工制御部40に出力される。ステレオカメラ174の画像に基づいて3次元データを作成する処理としては、異なる位置からの複数の画像データに基づき、3角測量の原理によって3次元点群データを生成する周知の各種処理を採用することができる。なお、ステレオカメラ72は、必ずしも複数のカメラを備えている必要はなく、1つのカメラを移動させることによって、異なる方向からの複数の画像データを得るようにしてもよい。
上記3次元データである第2画像データD2は、上記第1画像データD1よりも、単位面積当りの情報量が多いデータである。ここで、単位面積当りの情報量とは、電線支持部22によって支持された電線12群を一定方向から見た観察した場合(ここでは、ベース板24の上方から観察した場合)において、電線12群を表すための情報量をいう。これには、例えば、次の2つの場合が想定される。1つ目は、本実施形態で説明するように、第1ビジョンシステムが第1画像データD1として2次元画像データを取得し、第2ビジョンシステムが第2画像データD2として3次元画像データを取得する場合である。2つ目は、第1ビジョンシステムが第1画像データD1として2次元画像データ又は3次元画像データを取得し、第2ビジョンシステムが第2画像データD2として第1画像データD1と同じ次元の2次元画像データ又は3次元画像データを取得する場合であっても、後者の第2画像データD2が前者の第1画像データD1よりも分解能(解像度)が高い場合である。
図3は、画像取得システム50からの第1画像データD1及び第2画像データD2に基づく加工制御部40の処理の一例を示すフローチャートである。
まず、ステップS1において、加工制御部40は、2次元ビジョンシステム60を通じて、電線12群の全体を含む第1撮像範囲R1の第1画像データD1を取得する。
次ステップS2において、加工制御部40は、当該第1画像データD1に対してエッジ抽出処理等の画像処理を行って電線12群の位置等を認識し、加工対象領域(第2撮像範囲R2)を決定する。この際の加工対象領域の決定は、おおよその位置でよいため、領域決定の正確性はそれ程要求されない。
次ステップS3において、加工制御部40は、3次元ビジョンシステム70を通じて、第2撮像範囲R2の第2画像データD2を取得する。
次ステップS4では、加工制御部40は、第2画像データD2に基づいて、第2撮像範囲R2における加工対象の位置、姿勢等を認識し、当該認識結果に基づいて、加工ロボット30に対して加工指示を与える。この際、より情報量が多い第2画像データD2に基づいて加工対象の位置、姿勢等を認識できるため、加工ロボット30に対して正確な位置等を指定した加工指示を行える。これにより、加工ロボット30が電線12群に対する加工を実施する。
次ステップS5では、加工制御部40は、プログラムにおいて規定された加工全てが終了しているか否かを判定する。加工が終了していない(次の別場所の加工が規定されている場合等)には、ステップS1に戻り、ステップS1以下の処理を再度実施する。
ステップS1以下の処理を再度実行する場合、加工制御部40は、2次元ビジョンシステム60を通じて第1撮像範囲R1の第1画像データD1を再度取得する。つまり、電線12は、長尺な不定形物であるため、電線12群に対する1箇所に加工処理を施すと、他の部分の位置及び姿勢も変更してしまう恐れがある。そこで、次の別場所の加工を行う際には、再度ステップS1からの処理を実施して、次の別場所の加工位置を特定する。これにより、長尺な不定形物である電線12の位置変動等に応じて、適切な加工を逐次実施できる。
ステップS5において、加工が終了したと判定された場合には、処理を終了する。
以下では、電線群加工装置20による電線12群の加工例をより具体的に説明する。
まず、初期状態では、図4に示すように、電線12群の端部に接続されたコネクタ14が電線支持部22のコネクタ支持部26により支持される。各コネクタ14間の電線12は、ベース板24上でU字状に垂下がった状態となる。
この状態で、2次元ビジョンシステム60により、図5に示すように、電線12群を含む第1撮像範囲R1の第1画像データD1が得られる。得られた第1画像データD1には、コネクタ14を出発位置として下方にU字状に垂下がる電線12群が含まれている。
ここで、電線12群に対する1番目の加工処理として、左から1番目のコネクタ14と左から2番目のコネクタ14から延出する電線12を、当該コネクタ14から一定寸法離れた位置で結束する作業(分岐部を形成する作業)が規定されているとする。また、各コネクタ14は、コネクタ支持部26により支持されているため、既知の位置として取扱うことができる。
この場合、第1画像データD1においてエッジ抽出処理等の画像処理を行って電線12を認識し、左から1番目のコネクタ14と左から2番目のコネクタ14から延出する電線12のうち前記一定寸法内にある部分が含まれるように、第2撮像範囲R2を決定すればよい。これにより、第1撮像範囲R1内において、加工対象領域(第2撮像範囲R2)を決定することができる。なお、第1画像データD1に対するエッジ抽出処理等の認識処理は、加工制御部40外であって加工制御部40と2次元カメラ62との間に設けられた2次元画像処理部によって構成されていてもよい。この場合、2次元カメラ62と当該2次元画像処理部とを含む構成が、2次元ビジョンシステムであると捉えてもよい。
この後、加工ロボット30のロボットアーム32により、ステレオカメラ72を移動させて、当該ステレオカメラ72を、第2撮像範囲R2を撮像可能な位置に配設する。そして、ステレオカメラ72を含む3次元ビジョンシステム70により、図6に示すように、第2撮像範囲R2の第2画像データD2を取得する。
そして、第2画像データD2に基づいて、既知の位置であるコネクタ14の位置を基準として、各電線12の経路を追跡し、コネクタ14から前記一定寸法離れた位置(図6において丸で囲んだ位置)を特定する。各位置は、分岐点として束ねられるべき場所である。なお、第2画像データD2は、3次元データであるため、ベース板24からの電線12の高さ位置をも含めて、電線12の位置を特定することができる。そして、加工ロボット30に対して、各電線12の前記各位置を1箇所に集合させるように指示を与える。この場合、別々のロボットハンドによって、各電線12の前記各位置を1箇所に集合させるようにしてもよい。或は、単一のロボットハンドによって複数の電線12を1箇所に寄せ集めるようにしてもよい。後者の場合でも、各電線12の前記各位置が1箇所に位置するように、コネクタ14の支持位置を調整しておくと共に、各電線12をコネクタ14から引っ張りつつ寄せ集めるようにすることで、各電線12の前記各位置を1箇所に集合させることができる。
この後、電線12を束ねた上記位置から延出する電線12を結束する。すなわち、上記各電線12が1箇所に束ねられた位置は、ロボットハンドによって移動させられた既知の位置であるため、当該位置からコネクタ14、14に延出する部分及びその下方に延出する部分を結束する。結束作業は、上記したように、ロボットアーム32に取付けられたテープの自動巻機等によって行うことができる。
この結束作業を行う際には、電線12の位置等が全体撮像したときとは異なっているため、再度、3次元ビジョンシステム70を通じて第2画像データD2を取得し、当該第2画像データD2によって加工位置等を再度特定することが好ましい。
加工後の状態は、図7に示すようになる。図7では、分岐点が2点鎖線で描かれた四角によって示されており、結束部分が2点鎖線で描かれた丸によって示されている。
続いて、上記と同様にして、残りのコネクタ14から延出する複数の電線12に対しても結束を行う。ここでは、左から3番目のコネクタ14及び4番目のコネクタ14から延出する複数の電線12に対して所定位置での結束を行い、左から5番目のコネクタ14及び左から6番目のコネクタ14から延出する複数の電線12に対して所定位置での結束を行う。
すると、図8に示すように、各コネクタ14から延出する複数の電線12は、各コネクタ14に近い分岐箇所で結束された状態となる。
続いて、これまでの分岐箇所間において、複数の電線12を結束する。ここでは、複数の電線12が多数束ねられる幹線において、複数の電線12を結束する作業を行う。
この際にも、まず、2次元ビジョンシステム60を通じて第1画像データD1を取得し、この第1画像データD1においてエッジ抽出処理等の画像処理を行って電線12を認識し、次の加工内容(どの分岐箇所間の電線12を結束するか等)に応じて、いずれかの複数の分岐箇所の間、又は、いずれかの分岐箇所から延出する電線12のうち一定寸法内にある部分が含まれるように、第2撮像範囲R2を決定する。
この後、加工ロボット30のロボットアーム32により、ステレオカメラ72を移動させて、当該ステレオカメラ72を、第2撮像範囲R2を撮像可能な位置に配設する。そして、ステレオカメラ72を含む3次元ビジョンシステム70により、図9に示すように、第2撮像範囲R2の第2画像データD2を取得する。
そして、第2画像データD2に基づいて、分岐位置(分岐位置自体は、既知の位置であるか、第2画像データD2において複数方向から電線12が集合する位置として特定される)を基準として、各電線12の経路を追跡し、分岐位置からいずれかの方向に前記一定寸法離れた位置(図6において丸で囲んだ位置)を特定する。各位置は、幹線において束ねられるべき場所である。そして、電線12の当該位置の部分を、加工ロボット30によって1箇所に集合させるように指示を与える。この後、電線12を束ねた上記位置の周辺部で電線12を結束する。
分岐位置の各間で、複数の電線12を束ねると、図10における第1撮像範囲R1の第1画像データD1に示すように、複数の電線12が複数位置で分岐されつつ結束された状態となり、ワイヤーハーネス10を製造することができる。
なお、必要に応じて、ワイヤーハーネス10に対して、加工ロボット30又は手作業によって、ワイヤーハーネス10を車両に固定するためのクランプ部品、ワイヤーハーネス10を保護するためのプロテクタ、コルゲートチューブ等の外装部品が取付けられてもよい。
以上のように構成された電線群加工用の画像取得システム50によると、第1ビジョンシステムである2次元ビジョンシステム60によってワイヤーハーネス10を構成する電線12群を撮像した第1画像データD1を得ることができる。このため、加工ロボット30を用いた加工を行う際に、ワイヤーハーネス10の概形、加工対象のおおよその位置等を把握するのに適した構成とすることができる。また、第2ビジョンシステムである3次元ビジョンシステム70によって、単位面積当りの情報量が多い第2画像データD2を得ることができる。このため、加工ロボット30を用いた加工を行う際に、電線12群を部分的に適切に詳細に認識することができる。例えば、電線12の位置をcm単位若しくはmm単位で認識して、或は、立体的に認識して、加工ロボット30により、電線12群の加工を行える。
特に、第2ビジョンシステムとして3次元ビジョンシステム70を用いているため、電線12群を立体的に認識して電線12の加工を行えるため、加工ロボット30により、より適切な加工が可能となる。
また、3次元ビジョンシステム70のステレオカメラ72がロボットアーム32の先端部に取付けられているため、ロボットアーム32の先端部を加工対象位置に近づけた状態で、第2撮像範囲R2の撮像を行える。そして、続いて、第2撮像範囲R2に存在する加工対象部分を加工することができる。このため、効率的な作業が可能となる。kまた、ロボットアーム32の先端部に取付けられた加工作業部34による作業中においても、加工対象を撮像することができる。
また、第1ビジョンシステムは、2次元ビジョンシステム60であるため、比較的広範囲である第1撮像範囲R1、即ち、電線12群全体を撮像してその認識処理等を行う場合には、比較的迅速な処理が可能となる。
{変形例}
なお、図11及び図12に示すように、上記実施形態において、第2ビジョンシステムとして、位相変調方式プロジェクション光源172と、ステレオカメラ174と、3次元画像処理部176とを含む3次元ビジョンシステム170を用いてもよい。
位相変調方式プロジェクション光源172は、対象物に対して、縞パターンを、位相を変えながら投影可能に構成されている。ステレオカメラ174は、異なる位置に設置された複数のカメラ173を含んでいる。
ベース板24上に配設された方形状のフレーム180において、位相変調方式プロジェクション光源172は、当該フレーム180の中央に配設され、ベース板24上の電線12群に対して投影光を投影する。複数のカメラ173は、位相変調方式プロジェクション光源172の4方の位置、即ち、フレーム180の各辺の中央位置に配設されており、ベース板24上において前記投影光が投影された電線12群をそれぞれ異なる方向から撮像可能に構成されている。
複数のカメラ173は、位相を変えつつ縞パターンが投影された対象物を撮像し、この撮像データは、3次元画像処理部176に与える。これにより、3次元画像処理部176は、その撮像データに基づき、アクティブ三角測量方式によって、電線12群の3次元特定データ(点群データ)を、第2画像データD2として生成する。
フレーム180に位相変調方式プロジェクション光源172及びステレオカメラ174を組込んだ撮像ユニット181は、ベース板24上において、第1方向移動機構部192(矢符X参照)及び第2方向移動機構部194(矢符Y参照)とを備える移動機構部190に支持されている。第1方向移動機構部192及び第2方向移動機構部194は、リニアモータ、ネジ軸とネジ軸を回転駆動するモータとネジ軸に螺合されたナット部等を有する直線駆動機構、或はエアシリンダ、油圧シリンダ等のリニアアクチュエータ等によって構成されており、それぞれの移動駆動方向である第1方向Xと第2方向Yとは直交する位置関係に配設されている。そして、第1方向移動機構部192及び第2方向移動機構部194の駆動によって、位相変調方式プロジェクション光源172及びステレオカメラ174は、それらの相対的位置関係を一定に保ったまま、ベース板24上を縦横に移動することができる。これにより、本撮像ユニット181によって、電線12群のうちの所望の領域(第2撮像範囲R2)を撮像することができる。
なお、加工ロボット30及び2次元ビジョンシステム60は、撮像ユニット181とベース板24との間で、撮像ユニット181等と干渉しない位置に配設すればよい。また、上記撮像ユニット181は、ロボットアーム32の先端部に取付けられていてもよい。
この変形例によると、電線12群を部分的により適切に詳細に認識することができる。
また、上記実施形態において、電線12を結束した後に、その結束による分岐位置等を認識したい場合には、2次元ビジョンシステム60又は3次元ビジョンシステム70によって、結束加工前後の画像データを得ておき、その画像データの変更箇所(両画像データの画素又は点群の排他的論理和)を求めるとよい。これにより、加工による変更箇所を含む領域を絞り込んで、結束後の分岐位置等の認識が可能となり、より迅速な処理が可能となる。この処理は、加工対処箇所以外に加工がなされていないこと(動きがないこと)を保証する処理としても利用することができる。
以上のようにこの発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
D1 第1画像データ
D2 第2画像データ
R1 第1撮像範囲
R2 第2撮像範囲
10 ワイヤーハーネス
12 電線
14 コネクタ
20 電線群加工装置
22 電線支持部
26 コネクタ支持部
30 加工ロボット
50 画像取得システム
60 2次元ビジョンシステム
62 2次元カメラ
70,170 3次元ビジョンシステム
72,174 ステレオカメラ
76,176 3次元画像処理部
172 位相変調方式プロジェクション光源
173 カメラ

Claims (5)

  1. ワイヤーハーネスを構成する電線群を認識するための電線群加工用の画像取得システムであって、
    前記ワイヤーハーネスを構成する電線群を第1撮像範囲で認識するための第1画像データを取得する第1ビジョンシステムと、
    前記ワイヤーハーネスを構成する電線群を、前記第1撮像範囲と重なる領域であって前記第1撮像範囲よりも小さい第2撮像範囲で、かつ、単位面積当りの情報量が前記第1画像データよりも多い第2画像データを取得する第2ビジョンシステムと、
    を備える電線群加工用の画像取得システム。
  2. 請求項1に記載の電線群加工用の画像取得システムであって、
    前記第2ビジョンシステムは、3次元ビジョンシステムである、電線群加工用の画像取得システム。
  3. 請求項2に記載の電線群加工用の画像取得システムであって、
    前記第2ビジョンシステムは、位相変調方式プロジェクション光源とステレオカメラとを含み、アクティブ三角測量方式で3次元点群データを取得するシステムである、電線群加工用の画像取得システム。
  4. 請求項1〜請求項3のいずれか1項に記載の電線群加工用の画像取得システムであって、
    前記第2ビジョンシステムは、カメラを含み、前記カメラは、前記ワイヤーハーネスを構成する電線群に対する加工を行う加工ロボットのロボットアームに取付けられている、電線群加工用の画像取得システム。
  5. 請求項1〜請求項4のいずれか1項に記載の電線群加工用の画像取得システムであって、
    前記第1ビジョンシステムは、2次元ビジョンシステムである、電線群加工用の画像取得システム。
JP2015072521A 2015-03-31 2015-03-31 電線群加工用の画像取得システム Ceased JP2016192135A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015072521A JP2016192135A (ja) 2015-03-31 2015-03-31 電線群加工用の画像取得システム
PCT/JP2016/057514 WO2016158282A1 (ja) 2015-03-31 2016-03-10 電線群加工用の画像取得システム
CN201680017035.3A CN107408429A (zh) 2015-03-31 2016-03-10 电线组加工用的图像取得系统
US15/562,963 US20180215046A1 (en) 2015-03-31 2016-03-10 Image acquisition system for wire group processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015072521A JP2016192135A (ja) 2015-03-31 2015-03-31 電線群加工用の画像取得システム

Publications (1)

Publication Number Publication Date
JP2016192135A true JP2016192135A (ja) 2016-11-10

Family

ID=57005611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015072521A Ceased JP2016192135A (ja) 2015-03-31 2015-03-31 電線群加工用の画像取得システム

Country Status (4)

Country Link
US (1) US20180215046A1 (ja)
JP (1) JP2016192135A (ja)
CN (1) CN107408429A (ja)
WO (1) WO2016158282A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021089670A (ja) * 2019-12-05 2021-06-10 倉敷紡績株式会社 束状物の認識方法、束状物の作業位置決定方法、ロボット制御方法、束状物の作業位置決定装置及び束状物作業システム
US11389967B2 (en) 2019-02-01 2022-07-19 Fanuc Corporation Three-dimensional shape measurement system and three-dimensional shape measurement method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019098074A1 (ja) * 2017-11-16 2019-05-23 倉敷紡績株式会社 線状物把持方法および制御装置
WO2019207344A1 (de) * 2018-04-25 2019-10-31 Schleuniger Holding Ag Verdrillvorrichtung und verfahren zum bestimmen oder überprüfen einer schlaglänge eines leitungsbündels, computerimplementiertes verfahren sowie ein computerprogrammprodukt und ein upgrade-kit dazu
DE102018115557B3 (de) * 2018-06-28 2019-07-04 Kromberg & Schubert Gmbh & Co. Kg Automatisierte Leitungsverlegung für Leitungssätze elektrischer Systeme mittels zweier kraftgeregelter Roboter

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62194413A (ja) * 1986-02-21 1987-08-26 Yamaha Motor Co Ltd 三次元座標計測装置
JPS63285410A (ja) * 1987-05-18 1988-11-22 Fanuc Ltd ロボットの作業対象物の位置検出方式
JPH09115640A (ja) * 1995-10-20 1997-05-02 Harness Sogo Gijutsu Kenkyusho:Kk ワイヤーハーネスの製造におけるコネクタ供給方法及びその装置
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp 3次元形状検出装置
US20140267614A1 (en) * 2013-03-15 2014-09-18 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
JP2016090401A (ja) * 2014-11-05 2016-05-23 古河電気工業株式会社 外観検査装置、外観検査システム、及び外観検査方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110310098A1 (en) * 2009-03-30 2011-12-22 Nlt Technologies, Ltd. Image display apparatus, image generation apparatus, image display method, image generation method, and non-transitory computer readable medium storing program
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
CN103971378B (zh) * 2014-05-29 2016-06-29 福州大学 一种混合视觉系统中全景图像的三维重建方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62194413A (ja) * 1986-02-21 1987-08-26 Yamaha Motor Co Ltd 三次元座標計測装置
JPS63285410A (ja) * 1987-05-18 1988-11-22 Fanuc Ltd ロボットの作業対象物の位置検出方式
JPH09115640A (ja) * 1995-10-20 1997-05-02 Harness Sogo Gijutsu Kenkyusho:Kk ワイヤーハーネスの製造におけるコネクタ供給方法及びその装置
JP2009069866A (ja) * 2007-09-10 2009-04-02 Mitsubishi Electric Corp 3次元形状検出装置
US20140267614A1 (en) * 2013-03-15 2014-09-18 Seiko Epson Corporation 2D/3D Localization and Pose Estimation of Harness Cables Using A Configurable Structure Representation for Robot Operations
JP2016090401A (ja) * 2014-11-05 2016-05-23 古河電気工業株式会社 外観検査装置、外観検査システム、及び外観検査方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11389967B2 (en) 2019-02-01 2022-07-19 Fanuc Corporation Three-dimensional shape measurement system and three-dimensional shape measurement method
JP2021089670A (ja) * 2019-12-05 2021-06-10 倉敷紡績株式会社 束状物の認識方法、束状物の作業位置決定方法、ロボット制御方法、束状物の作業位置決定装置及び束状物作業システム

Also Published As

Publication number Publication date
CN107408429A (zh) 2017-11-28
WO2016158282A1 (ja) 2016-10-06
US20180215046A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
WO2016158282A1 (ja) 電線群加工用の画像取得システム
WO2016158339A1 (ja) ワイヤーハーネスの製造方法及びコネクタ保持部支持装置
JP6188440B2 (ja) ロボット装置及びロボット制御方法
US20180108458A1 (en) Wire harness assembling device and wire harness manufacturing method
JP6171457B2 (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
EP2682711A1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
JP6661027B2 (ja) 作業ロボット
CN113508012A (zh) 用于机器人机械的视觉系统
JP2012030320A (ja) 作業システム、作業ロボット制御装置および作業プログラム
JP2011133313A (ja) センサ位置姿勢計測方法
TW201414546A (zh) 電線分類機及分類電線的方法
CN110039520B (zh) 一种基于图像对比的示教、加工系统
KR20210104832A (ko) 장착 판 상에 배열된 전기 개폐기의 전기 구성요소의 로봇 지원 배선 방법
JP2008168372A (ja) ロボット装置及び形状認識方法
JP7106571B2 (ja) 線状物把持方法および制御装置
JP6095486B2 (ja) 画像測定装置
US20190287258A1 (en) Control Apparatus, Robot System, And Method Of Detecting Object
JP2018014262A (ja) ワイヤーハーネスの製造方法及び電線端末加工用装置
WO2018012337A1 (ja) ワイヤーハーネス製造用装置及びワイヤーハーネスの製造方法
WO2017141778A1 (ja) 電線端末状態検査装置、電線端末結束装置及びワイヤーハーネスの製造方法
WO2017038401A1 (ja) ワイヤハーネス製造装置、ワイヤハーネス製造方法及び被加工電線位置特定方法
TWI760596B (zh) 線狀物之前端移動方法、控制裝置以及三維相機
JP2018051632A (ja) ワイヤーハーネス製造装置及びワイヤーハーネス製造方法
JP2018181723A (ja) ワイヤーハーネス加工装置及びワイヤーハーネスの製造方法
CN111745675B (zh) 用于自动装入电导体的设备和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180403

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20180828