WO2016158282A1 - 電線群加工用の画像取得システム - Google Patents
電線群加工用の画像取得システム Download PDFInfo
- Publication number
- WO2016158282A1 WO2016158282A1 PCT/JP2016/057514 JP2016057514W WO2016158282A1 WO 2016158282 A1 WO2016158282 A1 WO 2016158282A1 JP 2016057514 W JP2016057514 W JP 2016057514W WO 2016158282 A1 WO2016158282 A1 WO 2016158282A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- processing
- electric wire
- wire group
- image data
- vision system
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01B—CABLES; CONDUCTORS; INSULATORS; SELECTION OF MATERIALS FOR THEIR CONDUCTIVE, INSULATING OR DIELECTRIC PROPERTIES
- H01B13/00—Apparatus or processes specially adapted for manufacturing conductors or cables
- H01B13/012—Apparatus or processes specially adapted for manufacturing conductors or cables for manufacturing wire harnesses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Definitions
- This invention relates to a technique for recognizing an electric wire group when manufacturing a wire harness.
- Patent Document 1 discloses a method of manufacturing a wire harness by laying a plurality of electric wires in a state corresponding to a wiring route in a vehicle and bundling them in a form corresponding to the wiring route on this drawing board. Is disclosed.
- Patent Document 2 discloses a technique for recognizing a component supplied in bulk to a component supply unit using a 3D vision sensor and recognizing the position and orientation of the component placed on a temporary placement table using a 2D vision sensor. . Patent Document 2 also discloses a technology for enabling a 3D vision sensor function when the 2D vision sensor includes a 3D vision sensor function and cannot recognize the position and orientation of a component installed at a specific position on a temporary table. Disclosure.
- a wire harness is manufactured by binding electric wires manually on a drawing board. It is preferable that such a wire harness can be automatically manufactured using a robot or the like. For that purpose, it is necessary to image-recognize the electric wire group which comprises a wire harness.
- the electric wire that constitutes the wire harness is a long product of several meters, and is an indeterminate shape. For this reason, it is necessary to recognize an electric wire group over a comparatively wide range. Further, in order to bind the electric wires together, detailed recognition is required, for example, by recognizing the position of the electric wire or the three-dimensional position in units of cm or mm.
- a camera capable of recognizing a wide range is not suitable for position recognition in cm units or mm units or three-dimensional position recognition. Further, a camera capable of recognizing a position in units of cm or mm or a camera capable of recognizing a three-dimensional position is not suitable for recognizing a wide range.
- this invention aims at providing the technique suitable for recognizing the electric wire group which comprises a wire harness entirely, and recognizing the electric wire group partially in detail. To do.
- the first aspect is an image acquisition system for processing an electric wire group for recognizing the electric wire group constituting the wire harness, and the electric wire group constituting the wire harness has a first imaging range.
- the second aspect is an image acquisition system for processing an electric wire group according to the first aspect, and the second vision system is a three-dimensional vision system.
- a third aspect is an image acquisition system for processing an electric wire group according to the second aspect, wherein the second vision system includes a phase modulation type projection light source and a stereo camera, and is three-dimensional by an active triangulation method.
- the system acquires point cloud data.
- a fourth aspect is an image acquisition system for processing an electric wire group according to any one of the first to third aspects, wherein the second vision system includes a camera, and the camera includes the wire harness. It is attached to a robot arm of a processing robot that performs processing on the electric wire group to be configured.
- a fifth aspect is an image acquisition system for processing an electric wire group according to any one of the first to fourth aspects, and the first vision system is a two-dimensional vision system.
- the first vision system can appropriately recognize the electric wire group constituting the wire harness as a whole.
- the second vision system can recognize the wire group partially and appropriately in detail.
- the electric wire group when the electric wire group is partially recognized, it can be recognized three-dimensionally.
- the electric wire group can be partially and appropriately recognized in detail by the second vision system.
- the portion of the electric wire group that is the processing destination can be recognized in detail.
- FIG. 1 is a schematic view showing an electric wire group processing apparatus 20 including an image acquisition system 50 for electric wire group processing
- FIG. 2 is a block diagram of the electric wire group processing apparatus 20.
- the wire harness 10 to be processed has a configuration in which a plurality of electric wires 12 are bundled while being branched (see FIG. 10).
- a terminal attached to the end of the electric wire 12 is inserted and connected to the connector 14.
- each connector 14 is connected to various electrical components mounted on the vehicle.
- the wire harness 10 plays the role which electrically connects the various electrical components mounted in the vehicle.
- the electric wires 12 included in the wire harness 10 are bundled while being branched in a form corresponding to a laying route in the vehicle.
- This electric wire group processing apparatus 20 performs the operation
- route is drawn with one line. For this reason, in each figure, the electric wire 12 drawn with one line may actually be a bundle of a plurality of electric wires 12.
- the electric wire group processing apparatus 20 includes an electric wire support unit 22, a processing robot 30, a processing control unit 40, and an image acquisition system 50.
- the wire support portion 22 is configured to be able to support the connector 14 at the end of the wire 12. That is, the plurality of electric wires 12 are supported by the electric wire support portion 22 in a state where the terminals at each end are inserted into the connector 14.
- the automatic insertion device itself that automatically inserts the terminals of the end portions of the plurality of electric wires 12 into the connector 14 is a known technique, but the insertion operation may be performed manually.
- the wire support portion 22 includes a base plate 24 and a connector support portion 26.
- the base plate 24 is formed in a rectangular plate shape and is supported in a vertical posture along the direction of gravity. With the base plate 24 as a background, the work surface of the base plate 24 has a uniform color different from that of the electric wire 12 so that the image of the electric wire 12 on the work surface which is one main surface thereof can be easily recognized. It is preferable. However, it is not essential that the base plate 24 is provided.
- the connector support portion 26 is configured to be able to support the plurality of connectors 14 at a fixed position.
- the connector support portion 26 for example, a long member having a plurality of connector set recesses formed at intervals along the extending direction thereof can be used.
- the connector support portion 26 is fixed at a position above the work surface of the base plate 24.
- the connector set concave portion is formed in a concave shape in which the connector 14 can be fitted and set.
- the connector 14 is fitted in the connector set recess and supported at a fixed position in a posture in which the end on the side where the electric wire 12 extends is directed downward.
- the electric wire 12 extending from the connector 14 is disposed so as to hang downward from the connector 14 supported at a fixed position by the connector support portion 26.
- the electric wire 12 are preferably present in a region where the work surface of the base plate 24 exists.
- the processing robot 30 is a general industrial robot, and a general vertical articulated robot is illustrated in FIG.
- the processing robot 30 includes a robot arm 32 and a processing operation unit 34 provided at the tip of the robot arm 32.
- the robot arm 32 has a structure in which a plurality of arm portions are connected to be rotatable around an axis via a joint mechanism, and a processing work portion 34 is provided at a tip portion thereof.
- the machining robot 30 can move the machining work unit 34 to any position on the work surface of the base plate 24 in any posture by operating the robot arm 32.
- the processing work part 34 is a part for processing the electric wire 12 group.
- a predetermined position in the extending direction of the electric wires 12 is gathered at a certain position (bundling intermediate positions in the extending direction of the plural electric wires 12), and the plural electric wires 12 are bound. (For example, winding an adhesive tape) or the like is assumed.
- a known robot hand that can grasp and move the electric wire 12 to a certain position or grasp the plural electric wires 12 in a gathering manner is used as the processing operation unit 34. Can do.
- a well-known automatic tape winding machine can be used as the processing working unit 34.
- a plurality of processing robots 30 may be provided, or a plurality of processing operation units 34 may be attached to the distal end portion of the robot arm 32 in a state of being relatively movable. .
- the processing robot may be a rectangular coordinate robot or the like in addition to the vertical articulated robot.
- a process work part is suitably changed according to the operation
- the machining control unit 40 is configured by a general computer including a CPU, a RAM, a ROM, an input circuit unit, and the like.
- the ROM is configured by a rewritable nonvolatile semiconductor memory such as a flash memory, and based on the image data acquired by the image acquisition system 50, the position and orientation of the processing target area, the processing target (wire 12 group), and the like.
- the program for describing the procedure for determining the processing, the processing procedure for the electric wire 12 group, the processing content, and the like are stored. And processing which gives various instructions to processing robot 30 to perform various processing to electric wire 12 group based on image data acquired by image acquisition system 50, when CPU runs a program stored in ROM. Execute.
- the image acquisition system 50 is a system for acquiring image data for recognizing the group of electric wires 12 constituting the wire harness 10, and includes a two-dimensional vision system 60 as a first vision system and a second vision system. 3D vision system 70.
- the 2D vision system 60 is configured to be able to acquire first image data D1 for recognizing the group of electric wires 12 constituting the wire harness 10 in the first imaging range R1 (see FIG. 5).
- the two-dimensional vision system 60 includes a two-dimensional camera 62.
- the two-dimensional camera 62 is supported at a position away from the work surface of the base plate 24 by the camera support member 64, and all of the electric wires 12 are expected to be disposed on the work surface of the base plate 24.
- This region is arranged as a first imaging range R1 so that imaging is possible.
- the first image data D1 obtained by the two-dimensional vision system 60 is given to the processing control unit 40.
- the two-dimensional vision system 60 includes a plurality of two-dimensional cameras that can partially image the first imaging range R1, and the first imaging is performed by combining images captured by the plurality of two-dimensional cameras.
- the first image data D1 in the range R1 may be obtained.
- the two-dimensional vision system 60 includes one two-dimensional camera that can partially image the first imaging range R1, and includes a moving mechanism unit that can move and drive the two-dimensional camera.
- a plurality of images obtained by partially capturing the first imaging range R1 may be obtained by moving the camera, and the first image data D1 of the first imaging range R1 may be obtained by combining the plurality of images.
- a three-dimensional vision system that acquires three-dimensional image data may be used as the first vision system.
- the three-dimensional vision system 70 includes a group of electric wires 12 constituting the wire harness 10 in a second imaging range R2 that overlaps the first imaging range R1 and is smaller than the first imaging range R1, and per unit area.
- the second image data D2 having a larger amount of information than the first image data D1 can be acquired (see FIGS. 5 and 6).
- the 3D vision system 70 includes a stereo camera 72 including a plurality of cameras and a 3D image processing unit 76.
- the imaging range by the stereo camera 72 is smaller than the first imaging range R1.
- the stereo camera 72 is attached to the tip of the robot arm 32 of the processing robot 30 so as not to interfere with the processing work unit 34. For this reason, the stereo camera 72 can image the electric wire 12 group in the second imaging range R2 that is an area overlapping the first imaging range R1 and is smaller than the first imaging range R1.
- the stereo camera 72 may be arranged so as to be movable above the base plate 24 by a moving mechanism unit different from the processing robot 30.
- the stereo camera 72 images the second imaging range R2 from different directions, and outputs the image data obtained thereby to the three-dimensional image processing unit 76.
- the three-dimensional image processing unit 76 is configured by a general computer including a CPU, a RAM, a ROM, an input circuit unit, and the like.
- the ROM is configured by a rewritable nonvolatile semiconductor memory or the like such as a flash memory, and based on a plurality of image data obtained by imaging the second imaging range R2 from different directions, the three-dimensional of the group of electric wires 12 to be processed.
- a program or the like describing a procedure for generating data (point cloud data) as the second image data D2 is stored.
- the second image data D2 obtained by the three-dimensional image processing unit 76 is output to the processing control unit 40.
- processing for creating three-dimensional data based on the image of the stereo camera 174 various known processing for generating three-dimensional point cloud data based on the principle of triangulation based on a plurality of image data from different positions is adopted. be able to.
- the stereo camera 72 is not necessarily provided with a plurality of cameras, and a plurality of image data from different directions may be obtained by moving one camera.
- the second image data D2 which is the three-dimensional data, is data having a larger amount of information per unit area than the first image data D1.
- the information amount per unit area refers to the wire 12 when the wire 12 group supported by the wire support portion 22 is observed from a certain direction (here, observed from above the base plate 24).
- the amount of information used to represent a group For example, the following two cases are assumed. First, as described in the present embodiment, the first vision system acquires 2D image data as the first image data D1, and the second vision system acquires 3D image data as the second image data D2. This is the case.
- the first vision system acquires two-dimensional image data or three-dimensional image data as the first image data D1, and the second vision system uses the same dimension 2 as the first image data D1 as the second image data D2. Even when acquiring the three-dimensional image data or the three-dimensional image data, the latter second image data D2 has a higher resolution (resolution) than the former first image data D1.
- FIG. 3 is a flowchart showing an example of processing of the processing control unit 40 based on the first image data D1 and the second image data D2 from the image acquisition system 50.
- step S ⁇ b> 1 the processing control unit 40 acquires the first image data D ⁇ b> 1 of the first imaging range R ⁇ b> 1 including the entire group of electric wires 12 through the two-dimensional vision system 60.
- the processing control unit 40 performs image processing such as edge extraction processing on the first image data D1 to recognize the position of the electric wire 12 group and the processing target region (second imaging range R2). To decide. In this case, since the region to be processed may be determined at an approximate position, the accuracy of determining the region is not so required.
- the processing control unit 40 acquires the second image data D2 of the second imaging range R2 through the three-dimensional vision system 70.
- the processing control unit 40 recognizes the position, orientation, and the like of the processing target in the second imaging range R2 based on the second image data D2, and determines the processing robot 30 based on the recognition result. Give processing instructions.
- a processing instruction designating an accurate position or the like can be performed to the processing robot 30.
- the processing robot 30 performs processing on the electric wire 12 group.
- next step S5 the machining control unit 40 determines whether or not all machining defined in the program has been completed. If the processing has not been completed (for example, when the next processing at another place is defined), the process returns to step S1 and the processes after step S1 are performed again.
- the processing control unit 40 acquires the first image data D1 of the first imaging range R1 through the two-dimensional vision system 60 again. That is, since the electric wire 12 is a long and indefinite shape, if processing is performed at one place on the electric wire 12 group, the position and orientation of other portions may be changed. Therefore, when processing the next different place, the processing from step S1 is performed again to specify the processing position of the next different place. Thereby, according to the position fluctuation
- step S5 If it is determined in step S5 that the machining has been completed, the process is terminated.
- the connector 14 connected to the end of the group of wires 12 is supported by the connector support portion 26 of the wire support portion 22.
- the electric wires 12 between the connectors 14 are suspended in a U shape on the base plate 24.
- the two-dimensional vision system 60 obtains the first image data D1 of the first imaging range R1 including the group of electric wires 12 as shown in FIG.
- the obtained first image data D1 includes a group of electric wires 12 that hang downward in a U shape starting from the connector 14.
- the first image data D1 is subjected to image processing such as edge extraction processing to recognize the electric wire 12, and the predetermined wire among the electric wires 12 extending from the first connector 14 from the left and the second connector 14 from the left. What is necessary is just to determine 2nd imaging range R2 so that the part which exists in a dimension may be included. Thereby, the processing target region (second imaging range R2) can be determined within the first imaging range R1.
- recognition processing such as edge extraction processing on the first image data D1 is configured by a two-dimensional image processing unit provided outside the processing control unit 40 and between the processing control unit 40 and the two-dimensional camera 62. May be. In this case, the configuration including the two-dimensional camera 62 and the two-dimensional image processing unit may be regarded as a two-dimensional vision system.
- the stereo camera 72 is moved by the robot arm 32 of the processing robot 30, and the stereo camera 72 is disposed at a position where the second imaging range R2 can be imaged. Then, as shown in FIG. 6, the second image data D2 of the second imaging range R2 is acquired by the three-dimensional vision system 70 including the stereo camera 72.
- each position is a place to be bundled as a branch point. Since the second image data D2 is three-dimensional data, the position of the electric wire 12 including the height position of the electric wire 12 from the base plate 24 can be specified. Then, the processing robot 30 is instructed to collect the positions of the electric wires 12 in one place. In this case, you may make it gather the said each position of each electric wire 12 in one place with a separate robot hand. Alternatively, a plurality of electric wires 12 may be gathered at one place by a single robot hand. Even in the latter case, by adjusting the support position of the connector 14 so that each position of each electric wire 12 is located in one place, and by gathering each electric wire 12 while pulling from the connector 14, Each said position of each electric wire 12 can be gathered in one place.
- the electric wires 12 extending from the above-mentioned positions where the electric wires 12 are bundled are bound. That is, since the position where the electric wires 12 are bundled at one place is a known position moved by the robot hand, a portion extending from the position to the connectors 14 and 14 and a portion extending below the portion. Unite. As described above, the bundling operation can be performed by an automatic tape winding machine attached to the robot arm 32 or the like.
- the position of the electric wire 12 and the like is different from when the entire image is captured. Therefore, the second image data D2 is acquired again through the three-dimensional vision system 70, and the second image data D2 is used. It is preferable to specify the processing position again.
- the state after processing is as shown in FIG.
- the branch point is indicated by a square drawn by a two-dot chain line
- the binding portion is indicated by a circle drawn by a two-dot chain line.
- the plurality of electric wires 12 extending from the remaining connectors 14 are also bundled in the same manner as described above.
- the plurality of electric wires 12 extending from the third connector 14 and the fourth connector 14 from the left are bundled at a predetermined position, and the fifth connector 14 from the left and the sixth connector 14 from the left are connected.
- the plurality of electric wires 12 extending from are bundled at a predetermined position.
- the plurality of electric wires 12 extending from each connector 14 are in a state of being bundled at a branch point close to each connector 14.
- the plurality of electric wires 12 are bundled between the branch points so far.
- an operation of bundling a plurality of electric wires 12 is performed on a trunk line in which a plurality of electric wires 12 are bundled.
- the first image data D1 is acquired through the two-dimensional vision system 60, and image processing such as edge extraction processing is performed on the first image data D1 to recognize the electric wire 12, and the next processing content ( Depending on which branch location the electric wire 12 is bound to, etc.), a portion within a certain dimension is included among the plurality of branch locations or the electric wire 12 extending from any branch location Thus, the second imaging range R2 is determined.
- the stereo camera 72 is moved by the robot arm 32 of the processing robot 30, and the stereo camera 72 is disposed at a position where the second imaging range R2 can be imaged. Then, as shown in FIG. 9, the second image data D2 of the second imaging range R2 is acquired by the three-dimensional vision system 70 including the stereo camera 72.
- the branch position (the branch position itself is a known position or specified as the position where the electric wires 12 are gathered from a plurality of directions in the second image data D2) is used as a reference.
- the path of each electric wire 12 is traced, and the position (the position circled in FIG. 6) that is separated from the branching position in any direction by the predetermined dimension is specified.
- Each position is a place to be bundled on the main line.
- indication is given so that the part of the said position of the electric wire 12 may be collected in one place by the processing robot 30.
- the plurality of electric wires 12 are bundled between the branch positions, as shown in the first image data D1 of the first imaging range R1 in FIG. 10, the plurality of electric wires 12 are bundled while being branched at a plurality of positions.
- the wire harness 10 can be manufactured.
- the exterior of the wire harness 10 such as a clamp part for fixing the wire harness 10 to the vehicle by the processing robot 30 or manual operation, a protector for protecting the wire harness 10, and a corrugated tube. Parts may be attached.
- the first image data D1 obtained by imaging the electric wire 12 group constituting the wire harness 10 is obtained by the two-dimensional vision system 60 that is the first vision system. be able to. For this reason, when performing processing using the processing robot 30, a configuration suitable for grasping the general shape of the wire harness 10, the approximate position of the processing target, and the like can be achieved. Further, the second image data D2 having a large amount of information per unit area can be obtained by the three-dimensional vision system 70 which is the second vision system. For this reason, when performing processing using the processing robot 30, the group of electric wires 12 can be partially recognized in detail. For example, the processing robot 30 can process the group of the electric wires 12 by recognizing the position of the electric wires 12 in units of cm or mm, or in a three-dimensional manner.
- the wire 12 group can be recognized three-dimensionally and the wire 12 can be processed, so that the processing robot 30 can perform more appropriate processing.
- the stereo camera 72 of the three-dimensional vision system 70 is attached to the distal end portion of the robot arm 32, the second imaging range R2 can be imaged while the distal end portion of the robot arm 32 is brought close to the processing target position. . Subsequently, the processing target portion existing in the second imaging range R2 can be processed. For this reason, efficient work becomes possible. k Further, it is possible to pick up an image of the processing target even during the operation by the processing unit 34 attached to the tip of the robot arm 32.
- the first vision system is the two-dimensional vision system 60, when the first imaging range R1, which is a relatively wide range, that is, when imaging the entire group of wires 12 and performing the recognition process, etc., Rapid processing is possible.
- the second vision system includes a three-dimensional vision system 170 including a phase modulation projection light source 172, a stereo camera 174, and a three-dimensional image processing unit 176. May be used.
- the phase modulation type projection light source 172 is configured to be able to project a fringe pattern on an object while changing the phase.
- Stereo camera 174 includes a plurality of cameras 173 installed at different positions.
- the phase modulation projection light source 172 is disposed at the center of the frame 180 and projects projection light onto the group of electric wires 12 on the base plate 24.
- the plurality of cameras 173 are arranged at four positions of the phase modulation type projection light source 172, that is, at the center position of each side of the frame 180, and the electric wires 12 group onto which the projection light is projected on the base plate 24. Can be imaged from different directions.
- the plurality of cameras 173 capture an image of the object on which the fringe pattern is projected while changing the phase, and this captured image data is provided to the three-dimensional image processing unit 176.
- the three-dimensional image processing unit 176 generates the three-dimensional specific data (point group data) of the electric wire 12 group as the second image data D2 by the active triangulation method based on the imaging data.
- the imaging unit 181 in which the phase modulation type projection light source 172 and the stereo camera 174 are incorporated in the frame 180 includes a first direction moving mechanism 192 (see arrow X) and a second direction moving mechanism 194 (on the base plate 24). Is supported by a moving mechanism unit 190 including the arrow Y).
- the first direction moving mechanism 192 and the second direction moving mechanism 194 are a linear motor, a linear drive mechanism having a screw shaft and a motor that rotationally drives the screw shaft and a nut portion screwed to the screw shaft, or an air A linear actuator such as a cylinder or a hydraulic cylinder is used, and the first direction X and the second direction Y, which are the respective movement driving directions, are arranged in a perpendicular relationship.
- the phase modulation projection light source 172 and the stereo camera 174 keep their relative positional relationship constant while maintaining their relative positional relationship on the base plate 24. Can be moved vertically and horizontally. As a result, a desired region (second imaging range R2) in the group of electric wires 12 can be imaged by the imaging unit 181.
- the processing robot 30 and the two-dimensional vision system 60 may be disposed between the imaging unit 181 and the base plate 24 at a position that does not interfere with the imaging unit 181 and the like. Further, the imaging unit 181 may be attached to the tip of the robot arm 32.
- the electric wire 12 group can be recognized in part more appropriately and in detail.
- image data before and after the binding process is obtained by the 2D vision system 60 or the 3D vision system 70. Then, it is preferable to obtain a change place of the image data (exclusive OR of pixels or point groups of both image data). As a result, it is possible to narrow down the region including the changed part due to the processing, and to recognize the branch position after the binding, thereby enabling more rapid processing.
- This process can also be used as a process for assuring that there is no processing (no movement) other than the processing coping location.
- D1 1st image data D2 2nd image data
- R1 1st imaging range R2 2nd imaging range 10
- Wire harness 12 Electric wire 14
- Connector 20 Electric wire group processing apparatus 22
- Electric wire support part 26
- Connector support part 30
- Processing robot 50 Image acquisition system 60
- Two-dimensional Vision System 62
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Automatic Assembly (AREA)
Abstract
ワイヤーハーネスを構成する電線群を全体的に認識すること、及び、その電線群を部分的に詳細に認識することを両立することに適した技術を提供することを目的とする。電線群加工用の画像取得システムは、ワイヤーハーネスを構成する電線群を認識するためのシステムである。この画像取得システムは、ワイヤーハーネスを構成する電線群を第1撮像範囲で認識するための第1画像データを取得する第1ビジョンシステム(例えば、2次元ビジョンシステム)と、ワイヤーハーネスを構成する電線群を、第1撮像範囲と重なる領域であって第1撮像範囲よりも小さい第2撮像範囲で、かつ、単位面積当りの情報量が第1画像データよりも多い第2画像データを取得する第2ビジョンシステム(例えば、3次元ビジョンシステム)とを備える。
Description
この発明は、ワイヤーハーネスを製造する際に電線群を認識するための技術に関する。
特許文献1は、複数の電線を車両における布線経路に応じた状態に布線し、この図板上で前記布線経路に応じた形態に分岐させつつ結束することによってワイヤーハーネスを製造する方法を開示している。
特許文献2は、3Dビジョンセンサによって、部品供給部にバラ積み供給された部品の認識を行い、2Dビジョンセンサによって、仮置き台に置かれた部品の位置姿勢を認識する技術を開示している。また、特許文献2は、2Dビジョンセンサが3Dビジョンセンサ機能を含み、仮置き台上の特定位置に設置された部品の位置姿勢を認識できない場合には、3Dビジョンセンサ機能を有効化する技術も開示している。
特許文献1に開示されているように、ワイヤーハーネスは、図板上で手作業によって電線を結束等することによって製造される。かかるワイヤーハーネスについても、ロボット等を用いて自動的に製造できるようにすることが好ましい。そのためには、ワイヤーハーネスを構成する電線群を画像認識することが必要となる。
ここで、ワイヤーハーネスを構成する電線は、数メートルの長尺製品であり、しかも、不定形物である。このため、比較的広範囲に亘って電線群を認識する必要がある。また、電線同士を結束作業等するためには、部分的には、cm単位若しくはmm単位で電線の位置若しくは立体的な位置を認識する等、詳細な認識が必要となる。
しかしながら、広範囲を認識可能なカメラでは、cm単位若しくはmm単位での位置認識若しくは立体的な位置認識には向かない。また、cm単位若しくはmm単位で位置を認識可能なカメラ若しくは立体的な位置認識可能なカメラでは、広範囲を認識することは向かない。
特許文献2に記載された3Dビジョンセンサと2Dビジョンセンサとの使い分けでは、上記ワイヤーハーネスを構成する電線群を、全体的に認識すること及び部分的に詳細に認識することを両立することはできない。
そこで、本発明は、ワイヤーハーネスを構成する電線群を全体的に認識すること、及び、その電線群を部分的に詳細に認識することを両立することに適した技術を提供することを目的とする。
上記課題を解決するため、第1の態様は、ワイヤーハーネスを構成する電線群を認識するための電線群加工用の画像取得システムであって、前記ワイヤーハーネスを構成する電線群を第1撮像範囲で認識するための第1画像データを取得する第1ビジョンシステムと、前記ワイヤーハーネスを構成する電線群を、前記第1撮像範囲と重なる領域であって前記第1撮像範囲よりも小さい第2撮像範囲で、かつ、単位面積当りの情報量が前記第1画像データよりも多い第2画像データを取得する第2ビジョンシステムとを備える。
第2の態様は、第1の態様に係る電線群加工用の画像取得システムであって、前記第2ビジョンシステムは、3次元ビジョンシステムとされている。
第3の態様は、第2の態様に係る電線群加工用の画像取得システムであって、前記第2ビジョンシステムは、位相変調方式プロジェクション光源とステレオカメラとを含み、アクティブ三角測量方式で3次元点群データを取得するシステムとされている。
第4の態様は、第1~第3のいずれか1つの態様に係る電線群加工用の画像取得システムであって、前記第2ビジョンシステムは、カメラを含み、前記カメラは、前記ワイヤーハーネスを構成する電線群に対する加工を行う加工ロボットのロボットアームに取付けられているものである。
第5の態様は、第1~第4のいずれか1つの態様に係る電線群加工用の画像取得システムであって、前記第1ビジョンシステムは、2次元ビジョンシステムとされている。
第1の態様によると、第1ビジョンシステムによってワイヤーハーネスを構成する電線群を全体的に適切に認識することができる。また、第2ビジョンシステムによって、その電線群を部分的に適切に詳細に認識することができる。
第2の態様によると、電線群を部分的に認識する際には、3次元的に認識できる。
第3の態様によると、第2ビジョンシステムによって、その電線群を部分的により適切に詳細に認識することができる。
第4の態様によると、加工ロボットのアームによって電線群に対する加工を行う際に、加工先となる電線群の部分を詳細に認識できる。
第5の態様によると、第1ビジョンシステムによって、比較的広い第1撮像範囲を認識する際には、比較的迅速な処理が可能となる。
以下、実施形態に係る電線群加工用の画像取得システムについて説明する。図1は電線群加工用の画像取得システム50を含む電線群加工装置20を示す概略図であり、図2は電線群加工装置20のブロック図である。
加工対象となるワイヤーハーネス10は、複数の電線12が分岐しつつ結束された構成とされている(図10参照)。ワイヤーハーネス10の各分岐先では、電線12の端部に取付けられた端子がコネクタ14に挿入接続されている。本ワイヤーハーネス10が車両に組込まれた状態で、各コネクタ14が車両に搭載された各種電気部品に接続される。これにより、ワイヤーハーネス10は、車両に搭載された各種電気部品を電気的に接続する役割を果す。ワイヤーハーネス10に含まれる電線12は、車両における敷設経路に応じた形態で分岐されつつ結束される。本電線群加工装置20は、複数の電線12を、敷設経路に沿った形態で分岐させつつ結束する作業を行う。なお、各図において、同じ経路を通る電線12は、1本の線で描かれている。このため、各図において、1本の線で描かれた電線12は、実際には、複数の電線12の束であることがあり得る。
電線群加工装置20は、電線支持部22と、加工ロボット30と、加工制御部40と、画像取得システム50とを備える。
電線支持部22は、電線12の端部のコネクタ14を支持可能に構成されている。すなわち、複数の電線12は、各端部の端子がコネクタ14に挿入された状態で、本電線支持部22によって支持される。複数の電線12の端部の端子をコネクタ14に自動的に挿入する自動挿入装置自体は、周知の技術であるが、当該挿入作業は、人手によって行われてもよい。
より具体的には、電線支持部22は、ベース板24と、コネクタ支持部26とを備える。
ベース板24は、ここでは、方形板状に形成されており、重力方向に沿った鉛直姿勢で支持されている。ベース板24を背景として、その一主面である作業面上にある電線12を容易に画像認識できるように、ベース板24の作業面は、電線12とは異なる一様な色を呈していることが好ましい。もっとも、ベース板24が設けられていることは必須ではない。
コネクタ支持部26は、複数のコネクタ14を一定位置にて支持可能に構成されている。コネクタ支持部26としては、例えば、長尺部材に、その延在方向に沿って間隔をあけて複数のコネクタセット凹部が形成されたものを用いることができる。また、ここでは、コネクタ支持部26は、ベース板24の作業面の上方位置に固定されている。コネクタセット凹部は、コネクタ14を嵌め込んでセット可能な凹形状に形成されている。コネクタ14は、電線12が延出する側の端部を下方に向けた姿勢で、コネクタセット凹部に嵌め込まれて一定位置に支持される。コネクタ14から延出する電線12は、コネクタ支持部26によって一定位置に支持されたコネクタ14から下方に垂下がるように配設されることになる。電線12の両端部の端子は、異なる位置に支持されたコネクタ14に挿入接続されているため、その間の電線12は、その2つのコネクタ14の間でU字状に垂下がるように支持される。電線12は、好ましくは、ベース板24の作業面が存在する領域内に存在している。
加工ロボット30は、一般的な産業用ロボットであり、図1では、一般的な垂直多関節ロボットが図示されている。加工ロボット30は、ロボットアーム32と、ロボットアーム32の先端部に設けられた加工作業部34とを備える。ロボットアーム32は、複数のアーム部が関節機構を介して軸周りに回転可能に連結された構成とされており、その先端部に加工作業部34が設けられている。この加工ロボット30は、ロボットアーム32を動作させることによって、加工作業部34を、ベース板24の作業面の任意の位置に任意の姿勢で移動させることができる。
加工作業部34は、電線12群に対する加工を行う部分である。ここでは、電線12群に対する加工として、電線12の延在方向の所定位置を一定位置に集約させること(複数の電線12の延在方向中間位置を束ねること)、及び、複数の電線12を結束すること(例えば、粘着テープを巻付けること)等が想定される。
前者の加工を行うためには、加工作業部34として、電線12を掴んで一定位置に移動させたり、複数の電線12を寄せ集めるように掴んだりすることが可能な周知のロボットハンドを用いることができる。後者の加工を行うためには、加工作業部34として、周知のテープ自動巻機を用いることができる。
複数種の加工作業を行うため、加工ロボット30が複数備えられてもよいし、或は、ロボットアーム32の先端部に複数の加工作業部34が相対移動可能な状態で取付けられていてもよい。
なお、加工ロボットは、垂直多関節ロボットの他、直角座標型ロボット等であってもよい。また、加工作業部は、電線12群に対して行われる作業に応じて、適宜変更される。
加工制御部40は、CPUと、RAMと、ROMと、入力回路部等を備える一般的なコンピューターによって構成されている。ROMは、フラッシュメモリ等の書換え可能な不揮発性半導体メモリ等によって構成されており、画像取得システム50により取得された画像データに基づいて加工対象領域、加工対象(電線12群)の位置及び姿勢等を決定するための手順、電線12群に対する加工手順及び加工内容を記述したプログラム等を格納している。そして、CPUがROMに格納されたプログラムを実行することにより、画像取得システム50により取得された画像データに基づいて電線12群に対する諸加工を行うべく、加工ロボット30に対して諸指示を与える処理を実行する。
画像取得システム50は、上記ワイヤーハーネス10を構成する電線12群を認識するための画像データを取得するためのシステムであり、第1ビジョンシステムとしての2次元ビジョンシステム60と、第2ビジョンシステムとしての3次元ビジョンシステム70とを備える。
2次元ビジョンシステム60は、ワイヤーハーネス10を構成する電線12群を第1撮像範囲R1で認識するための第1画像データD1を取得可能に構成されている(図5参照)。
すなわち、2次元ビジョンシステム60は、2次元カメラ62を備える。2次元カメラ62は、カメラ支持部材64によって、ベース板24の作業面から離れた位置に支持されており、ベース板24の作業面上において電線12群が配設されることが予想される全ての領域を第1撮像範囲R1として撮像可能に配設されている。2次元ビジョンシステム60によって得られた第1画像データD1は、加工制御部40に与えられる。
なお、2次元ビジョンシステム60は、第1撮像範囲R1を部分的に撮像可能な2次元カメラを複数備えており、複数の2次元カメラによって撮像された画像が結合されることによって、第1撮像範囲R1の第1画像データD1が得られてもよい。また、2次元ビジョンシステム60は、第1撮像範囲R1を部分的に撮像可能な2次元カメラを1つ備えると共に、当該2次元カメラを移動駆動可能な移動機構部を備えており、この2次元カメラを移動させることによって、第1撮像範囲R1を部分的に撮像した画像を複数得、この複数の画像を結合することによって、第1撮像範囲R1の第1画像データD1が得られてもよい。また、第1ビジョンシステムとして、3次元画像データを取得する3次元ビジョンシステムが用いられてもよい。
3次元ビジョンシステム70は、ワイヤーハーネス10を構成する電線12群を、第1撮像範囲R1と重なる領域であって第1撮像範囲R1よりも小さい第2撮像範囲R2で、かつ、単位面積当りの情報量が第1画像データD1よりも多い第2画像データD2を取得可能に構成されている(図5及び図6参照)。
ここでは、3次元ビジョンシステム70は、複数のカメラを含むステレオカメラ72と、3次元画像処理部76とを備えている。ステレオカメラ72による撮像範囲は、上記第1撮像範囲R1よりも小さい。また、ステレオカメラ72は、加工ロボット30のロボットアーム32の先端部であって加工作業部34と干渉しない位置に取りつけられている。このため、ステレオカメラ72は、第1撮像範囲R1と重なる領域であって第1撮像範囲R1よりも小さい第2撮像範囲R2で、電線12群を撮像することができる。
なお、ステレオカメラ72は、加工ロボット30とは別の移動機構部によってベース板24の上方を移動可能に配設されていてもよい。
ステレオカメラ72は、第2撮像範囲R2を異なる方向から撮像し、これにより得られた画像データを3次元画像処理部76に出力する。3次元画像処理部76は、CPUと、RAMと、ROMと、入力回路部等を備える一般的なコンピューターによって構成されている。ROMは、フラッシュメモリ等の書換え可能な不揮発性半導体メモリ等によって構成されており、第2撮像範囲R2を異なる方向から撮像した複数の画像データに基づいて、加工対象である電線12群の3次元データ(点群データ)を第2画像データD2として生成する手順を記述したプログラム等を格納している。そして、この3次元画像処理部76により得られた第2画像データD2が加工制御部40に出力される。ステレオカメラ174の画像に基づいて3次元データを作成する処理としては、異なる位置からの複数の画像データに基づき、3角測量の原理によって3次元点群データを生成する周知の各種処理を採用することができる。なお、ステレオカメラ72は、必ずしも複数のカメラを備えている必要はなく、1つのカメラを移動させることによって、異なる方向からの複数の画像データを得るようにしてもよい。
上記3次元データである第2画像データD2は、上記第1画像データD1よりも、単位面積当りの情報量が多いデータである。ここで、単位面積当りの情報量とは、電線支持部22によって支持された電線12群を一定方向から見た観察した場合(ここでは、ベース板24の上方から観察した場合)において、電線12群を表すための情報量をいう。これには、例えば、次の2つの場合が想定される。1つ目は、本実施形態で説明するように、第1ビジョンシステムが第1画像データD1として2次元画像データを取得し、第2ビジョンシステムが第2画像データD2として3次元画像データを取得する場合である。2つ目は、第1ビジョンシステムが第1画像データD1として2次元画像データ又は3次元画像データを取得し、第2ビジョンシステムが第2画像データD2として第1画像データD1と同じ次元の2次元画像データ又は3次元画像データを取得する場合であっても、後者の第2画像データD2が前者の第1画像データD1よりも分解能(解像度)が高い場合である。
図3は、画像取得システム50からの第1画像データD1及び第2画像データD2に基づく加工制御部40の処理の一例を示すフローチャートである。
まず、ステップS1において、加工制御部40は、2次元ビジョンシステム60を通じて、電線12群の全体を含む第1撮像範囲R1の第1画像データD1を取得する。
次ステップS2において、加工制御部40は、当該第1画像データD1に対してエッジ抽出処理等の画像処理を行って電線12群の位置等を認識し、加工対象領域(第2撮像範囲R2)を決定する。この際の加工対象領域の決定は、おおよその位置でよいため、領域決定の正確性はそれ程要求されない。
次ステップS3において、加工制御部40は、3次元ビジョンシステム70を通じて、第2撮像範囲R2の第2画像データD2を取得する。
次ステップS4では、加工制御部40は、第2画像データD2に基づいて、第2撮像範囲R2における加工対象の位置、姿勢等を認識し、当該認識結果に基づいて、加工ロボット30に対して加工指示を与える。この際、より情報量が多い第2画像データD2に基づいて加工対象の位置、姿勢等を認識できるため、加工ロボット30に対して正確な位置等を指定した加工指示を行える。これにより、加工ロボット30が電線12群に対する加工を実施する。
次ステップS5では、加工制御部40は、プログラムにおいて規定された加工全てが終了しているか否かを判定する。加工が終了していない(次の別場所の加工が規定されている場合等)には、ステップS1に戻り、ステップS1以下の処理を再度実施する。
ステップS1以下の処理を再度実行する場合、加工制御部40は、2次元ビジョンシステム60を通じて第1撮像範囲R1の第1画像データD1を再度取得する。つまり、電線12は、長尺な不定形物であるため、電線12群に対する1箇所に加工処理を施すと、他の部分の位置及び姿勢も変更してしまう恐れがある。そこで、次の別場所の加工を行う際には、再度ステップS1からの処理を実施して、次の別場所の加工位置を特定する。これにより、長尺な不定形物である電線12の位置変動等に応じて、適切な加工を逐次実施できる。
ステップS5において、加工が終了したと判定された場合には、処理を終了する。
以下では、電線群加工装置20による電線12群の加工例をより具体的に説明する。
まず、初期状態では、図4に示すように、電線12群の端部に接続されたコネクタ14が電線支持部22のコネクタ支持部26により支持される。各コネクタ14間の電線12は、ベース板24上でU字状に垂下がった状態となる。
この状態で、2次元ビジョンシステム60により、図5に示すように、電線12群を含む第1撮像範囲R1の第1画像データD1が得られる。得られた第1画像データD1には、コネクタ14を出発位置として下方にU字状に垂下がる電線12群が含まれている。
ここで、電線12群に対する1番目の加工処理として、左から1番目のコネクタ14と左から2番目のコネクタ14から延出する電線12を、当該コネクタ14から一定寸法離れた位置で結束する作業(分岐部を形成する作業)が規定されているとする。また、各コネクタ14は、コネクタ支持部26により支持されているため、既知の位置として取扱うことができる。
この場合、第1画像データD1においてエッジ抽出処理等の画像処理を行って電線12を認識し、左から1番目のコネクタ14と左から2番目のコネクタ14から延出する電線12のうち前記一定寸法内にある部分が含まれるように、第2撮像範囲R2を決定すればよい。これにより、第1撮像範囲R1内において、加工対象領域(第2撮像範囲R2)を決定することができる。なお、第1画像データD1に対するエッジ抽出処理等の認識処理は、加工制御部40外であって加工制御部40と2次元カメラ62との間に設けられた2次元画像処理部によって構成されていてもよい。この場合、2次元カメラ62と当該2次元画像処理部とを含む構成が、2次元ビジョンシステムであると捉えてもよい。
この後、加工ロボット30のロボットアーム32により、ステレオカメラ72を移動させて、当該ステレオカメラ72を、第2撮像範囲R2を撮像可能な位置に配設する。そして、ステレオカメラ72を含む3次元ビジョンシステム70により、図6に示すように、第2撮像範囲R2の第2画像データD2を取得する。
そして、第2画像データD2に基づいて、既知の位置であるコネクタ14の位置を基準として、各電線12の経路を追跡し、コネクタ14から前記一定寸法離れた位置(図6において丸で囲んだ位置)を特定する。各位置は、分岐点として束ねられるべき場所である。なお、第2画像データD2は、3次元データであるため、ベース板24からの電線12の高さ位置をも含めて、電線12の位置を特定することができる。そして、加工ロボット30に対して、各電線12の前記各位置を1箇所に集合させるように指示を与える。この場合、別々のロボットハンドによって、各電線12の前記各位置を1箇所に集合させるようにしてもよい。或は、単一のロボットハンドによって複数の電線12を1箇所に寄せ集めるようにしてもよい。後者の場合でも、各電線12の前記各位置が1箇所に位置するように、コネクタ14の支持位置を調整しておくと共に、各電線12をコネクタ14から引っ張りつつ寄せ集めるようにすることで、各電線12の前記各位置を1箇所に集合させることができる。
この後、電線12を束ねた上記位置から延出する電線12を結束する。すなわち、上記各電線12が1箇所に束ねられた位置は、ロボットハンドによって移動させられた既知の位置であるため、当該位置からコネクタ14、14に延出する部分及びその下方に延出する部分を結束する。結束作業は、上記したように、ロボットアーム32に取付けられたテープの自動巻機等によって行うことができる。
この結束作業を行う際には、電線12の位置等が全体撮像したときとは異なっているため、再度、3次元ビジョンシステム70を通じて第2画像データD2を取得し、当該第2画像データD2によって加工位置等を再度特定することが好ましい。
加工後の状態は、図7に示すようになる。図7では、分岐点が2点鎖線で描かれた四角によって示されており、結束部分が2点鎖線で描かれた丸によって示されている。
続いて、上記と同様にして、残りのコネクタ14から延出する複数の電線12に対しても結束を行う。ここでは、左から3番目のコネクタ14及び4番目のコネクタ14から延出する複数の電線12に対して所定位置での結束を行い、左から5番目のコネクタ14及び左から6番目のコネクタ14から延出する複数の電線12に対して所定位置での結束を行う。
すると、図8に示すように、各コネクタ14から延出する複数の電線12は、各コネクタ14に近い分岐箇所で結束された状態となる。
続いて、これまでの分岐箇所間において、複数の電線12を結束する。ここでは、複数の電線12が多数束ねられる幹線において、複数の電線12を結束する作業を行う。
この際にも、まず、2次元ビジョンシステム60を通じて第1画像データD1を取得し、この第1画像データD1においてエッジ抽出処理等の画像処理を行って電線12を認識し、次の加工内容(どの分岐箇所間の電線12を結束するか等)に応じて、いずれかの複数の分岐箇所の間、又は、いずれかの分岐箇所から延出する電線12のうち一定寸法内にある部分が含まれるように、第2撮像範囲R2を決定する。
この後、加工ロボット30のロボットアーム32により、ステレオカメラ72を移動させて、当該ステレオカメラ72を、第2撮像範囲R2を撮像可能な位置に配設する。そして、ステレオカメラ72を含む3次元ビジョンシステム70により、図9に示すように、第2撮像範囲R2の第2画像データD2を取得する。
そして、第2画像データD2に基づいて、分岐位置(分岐位置自体は、既知の位置であるか、第2画像データD2において複数方向から電線12が集合する位置として特定される)を基準として、各電線12の経路を追跡し、分岐位置からいずれかの方向に前記一定寸法離れた位置(図6において丸で囲んだ位置)を特定する。各位置は、幹線において束ねられるべき場所である。そして、電線12の当該位置の部分を、加工ロボット30によって1箇所に集合させるように指示を与える。この後、電線12を束ねた上記位置の周辺部で電線12を結束する。
分岐位置の各間で、複数の電線12を束ねると、図10における第1撮像範囲R1の第1画像データD1に示すように、複数の電線12が複数位置で分岐されつつ結束された状態となり、ワイヤーハーネス10を製造することができる。
なお、必要に応じて、ワイヤーハーネス10に対して、加工ロボット30又は手作業によって、ワイヤーハーネス10を車両に固定するためのクランプ部品、ワイヤーハーネス10を保護するためのプロテクタ、コルゲートチューブ等の外装部品が取付けられてもよい。
以上のように構成された電線群加工用の画像取得システム50によると、第1ビジョンシステムである2次元ビジョンシステム60によってワイヤーハーネス10を構成する電線12群を撮像した第1画像データD1を得ることができる。このため、加工ロボット30を用いた加工を行う際に、ワイヤーハーネス10の概形、加工対象のおおよその位置等を把握するのに適した構成とすることができる。また、第2ビジョンシステムである3次元ビジョンシステム70によって、単位面積当りの情報量が多い第2画像データD2を得ることができる。このため、加工ロボット30を用いた加工を行う際に、電線12群を部分的に適切に詳細に認識することができる。例えば、電線12の位置をcm単位若しくはmm単位で認識して、或は、立体的に認識して、加工ロボット30により、電線12群の加工を行える。
特に、第2ビジョンシステムとして3次元ビジョンシステム70を用いているため、電線12群を立体的に認識して電線12の加工を行えるため、加工ロボット30により、より適切な加工が可能となる。
また、3次元ビジョンシステム70のステレオカメラ72がロボットアーム32の先端部に取付けられているため、ロボットアーム32の先端部を加工対象位置に近づけた状態で、第2撮像範囲R2の撮像を行える。そして、続いて、第2撮像範囲R2に存在する加工対象部分を加工することができる。このため、効率的な作業が可能となる。kまた、ロボットアーム32の先端部に取付けられた加工作業部34による作業中においても、加工対象を撮像することができる。
また、第1ビジョンシステムは、2次元ビジョンシステム60であるため、比較的広範囲である第1撮像範囲R1、即ち、電線12群全体を撮像してその認識処理等を行う場合には、比較的迅速な処理が可能となる。
{変形例}
なお、図11及び図12に示すように、上記実施形態において、第2ビジョンシステムとして、位相変調方式プロジェクション光源172と、ステレオカメラ174と、3次元画像処理部176とを含む3次元ビジョンシステム170を用いてもよい。
なお、図11及び図12に示すように、上記実施形態において、第2ビジョンシステムとして、位相変調方式プロジェクション光源172と、ステレオカメラ174と、3次元画像処理部176とを含む3次元ビジョンシステム170を用いてもよい。
位相変調方式プロジェクション光源172は、対象物に対して、縞パターンを、位相を変えながら投影可能に構成されている。ステレオカメラ174は、異なる位置に設置された複数のカメラ173を含んでいる。
ベース板24上に配設された方形状のフレーム180において、位相変調方式プロジェクション光源172は、当該フレーム180の中央に配設され、ベース板24上の電線12群に対して投影光を投影する。複数のカメラ173は、位相変調方式プロジェクション光源172の4方の位置、即ち、フレーム180の各辺の中央位置に配設されており、ベース板24上において前記投影光が投影された電線12群をそれぞれ異なる方向から撮像可能に構成されている。
複数のカメラ173は、位相を変えつつ縞パターンが投影された対象物を撮像し、この撮像データは、3次元画像処理部176に与える。これにより、3次元画像処理部176は、その撮像データに基づき、アクティブ三角測量方式によって、電線12群の3次元特定データ(点群データ)を、第2画像データD2として生成する。
フレーム180に位相変調方式プロジェクション光源172及びステレオカメラ174を組込んだ撮像ユニット181は、ベース板24上において、第1方向移動機構部192(矢符X参照)及び第2方向移動機構部194(矢符Y参照)とを備える移動機構部190に支持されている。第1方向移動機構部192及び第2方向移動機構部194は、リニアモータ、ネジ軸とネジ軸を回転駆動するモータとネジ軸に螺合されたナット部等を有する直線駆動機構、或はエアシリンダ、油圧シリンダ等のリニアアクチュエータ等によって構成されており、それぞれの移動駆動方向である第1方向Xと第2方向Yとは直交する位置関係に配設されている。そして、第1方向移動機構部192及び第2方向移動機構部194の駆動によって、位相変調方式プロジェクション光源172及びステレオカメラ174は、それらの相対的位置関係を一定に保ったまま、ベース板24上を縦横に移動することができる。これにより、本撮像ユニット181によって、電線12群のうちの所望の領域(第2撮像範囲R2)を撮像することができる。
なお、加工ロボット30及び2次元ビジョンシステム60は、撮像ユニット181とベース板24との間で、撮像ユニット181等と干渉しない位置に配設すればよい。また、上記撮像ユニット181は、ロボットアーム32の先端部に取付けられていてもよい。
この変形例によると、電線12群を部分的により適切に詳細に認識することができる。
また、上記実施形態において、電線12を結束した後に、その結束による分岐位置等を認識したい場合には、2次元ビジョンシステム60又は3次元ビジョンシステム70によって、結束加工前後の画像データを得ておき、その画像データの変更箇所(両画像データの画素又は点群の排他的論理和)を求めるとよい。これにより、加工による変更箇所を含む領域を絞り込んで、結束後の分岐位置等の認識が可能となり、より迅速な処理が可能となる。この処理は、加工対処箇所以外に加工がなされていないこと(動きがないこと)を保証する処理としても利用することができる。
以上のようにこの発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
D1 第1画像データ
D2 第2画像データ
R1 第1撮像範囲
R2 第2撮像範囲
10 ワイヤーハーネス
12 電線
14 コネクタ
20 電線群加工装置
22 電線支持部
26 コネクタ支持部
30 加工ロボット
50 画像取得システム
60 2次元ビジョンシステム
62 2次元カメラ
70,170 3次元ビジョンシステム
72,174 ステレオカメラ
76,176 3次元画像処理部
172 位相変調方式プロジェクション光源
173 カメラ
D2 第2画像データ
R1 第1撮像範囲
R2 第2撮像範囲
10 ワイヤーハーネス
12 電線
14 コネクタ
20 電線群加工装置
22 電線支持部
26 コネクタ支持部
30 加工ロボット
50 画像取得システム
60 2次元ビジョンシステム
62 2次元カメラ
70,170 3次元ビジョンシステム
72,174 ステレオカメラ
76,176 3次元画像処理部
172 位相変調方式プロジェクション光源
173 カメラ
Claims (5)
- ワイヤーハーネスを構成する電線群を認識するための電線群加工用の画像取得システムであって、
前記ワイヤーハーネスを構成する電線群を第1撮像範囲で認識するための第1画像データを取得する第1ビジョンシステムと、
前記ワイヤーハーネスを構成する電線群を、前記第1撮像範囲と重なる領域であって前記第1撮像範囲よりも小さい第2撮像範囲で、かつ、単位面積当りの情報量が前記第1画像データよりも多い第2画像データを取得する第2ビジョンシステムと、
を備える電線群加工用の画像取得システム。 - 請求項1に記載の電線群加工用の画像取得システムであって、
前記第2ビジョンシステムは、3次元ビジョンシステムである、電線群加工用の画像取得システム。 - 請求項2に記載の電線群加工用の画像取得システムであって、
前記第2ビジョンシステムは、位相変調方式プロジェクション光源とステレオカメラとを含み、アクティブ三角測量方式で3次元点群データを取得するシステムである、電線群加工用の画像取得システム。 - 請求項1~請求項3のいずれか1項に記載の電線群加工用の画像取得システムであって、
前記第2ビジョンシステムは、カメラを含み、前記カメラは、前記ワイヤーハーネスを構成する電線群に対する加工を行う加工ロボットのロボットアームに取付けられている、電線群加工用の画像取得システム。 - 請求項1~請求項4のいずれか1項に記載の電線群加工用の画像取得システムであって、
前記第1ビジョンシステムは、2次元ビジョンシステムである、電線群加工用の画像取得システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/562,963 US20180215046A1 (en) | 2015-03-31 | 2016-03-10 | Image acquisition system for wire group processing |
CN201680017035.3A CN107408429A (zh) | 2015-03-31 | 2016-03-10 | 电线组加工用的图像取得系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-072521 | 2015-03-31 | ||
JP2015072521A JP2016192135A (ja) | 2015-03-31 | 2015-03-31 | 電線群加工用の画像取得システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016158282A1 true WO2016158282A1 (ja) | 2016-10-06 |
Family
ID=57005611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/057514 WO2016158282A1 (ja) | 2015-03-31 | 2016-03-10 | 電線群加工用の画像取得システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180215046A1 (ja) |
JP (1) | JP2016192135A (ja) |
CN (1) | CN107408429A (ja) |
WO (1) | WO2016158282A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019098074A1 (ja) * | 2017-11-16 | 2019-05-23 | 倉敷紡績株式会社 | 線状物把持方法および制御装置 |
WO2019207344A1 (de) * | 2018-04-25 | 2019-10-31 | Schleuniger Holding Ag | Verdrillvorrichtung und verfahren zum bestimmen oder überprüfen einer schlaglänge eines leitungsbündels, computerimplementiertes verfahren sowie ein computerprogrammprodukt und ein upgrade-kit dazu |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018115557B3 (de) * | 2018-06-28 | 2019-07-04 | Kromberg & Schubert Gmbh & Co. Kg | Automatisierte Leitungsverlegung für Leitungssätze elektrischer Systeme mittels zweier kraftgeregelter Roboter |
JP6923574B2 (ja) | 2019-02-01 | 2021-08-18 | ファナック株式会社 | 3次元形状計測システムおよび3次元形状計測方法 |
JP2021089670A (ja) * | 2019-12-05 | 2021-06-10 | 倉敷紡績株式会社 | 束状物の認識方法、束状物の作業位置決定方法、ロボット制御方法、束状物の作業位置決定装置及び束状物作業システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62194413A (ja) * | 1986-02-21 | 1987-08-26 | Yamaha Motor Co Ltd | 三次元座標計測装置 |
JPS63285410A (ja) * | 1987-05-18 | 1988-11-22 | Fanuc Ltd | ロボットの作業対象物の位置検出方式 |
JPH09115640A (ja) * | 1995-10-20 | 1997-05-02 | Harness Sogo Gijutsu Kenkyusho:Kk | ワイヤーハーネスの製造におけるコネクタ供給方法及びその装置 |
JP2009069866A (ja) * | 2007-09-10 | 2009-04-02 | Mitsubishi Electric Corp | 3次元形状検出装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2416583A4 (en) * | 2009-03-30 | 2013-12-25 | Nec Corp | PICTURE DISPLAY DEVICE, PICTURE GENERATING DEVICE, PICTURE DISPLAY METHOD, PICTURE PRODUCTION METHOD, AND NON-TRANSITORY COMPUTER-READABLE MEDIUM WITH A PROGRAM STORED THEREFOR |
JP5884421B2 (ja) * | 2011-11-14 | 2016-03-15 | ソニー株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
US9154773B2 (en) * | 2013-03-15 | 2015-10-06 | Seiko Epson Corporation | 2D/3D localization and pose estimation of harness cables using a configurable structure representation for robot operations |
CN103971378B (zh) * | 2014-05-29 | 2016-06-29 | 福州大学 | 一种混合视觉系统中全景图像的三维重建方法 |
JP6382074B2 (ja) * | 2014-11-05 | 2018-08-29 | 古河電気工業株式会社 | 外観検査装置、外観検査システム、及び外観検査方法 |
-
2015
- 2015-03-31 JP JP2015072521A patent/JP2016192135A/ja not_active Ceased
-
2016
- 2016-03-10 CN CN201680017035.3A patent/CN107408429A/zh active Pending
- 2016-03-10 WO PCT/JP2016/057514 patent/WO2016158282A1/ja active Application Filing
- 2016-03-10 US US15/562,963 patent/US20180215046A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62194413A (ja) * | 1986-02-21 | 1987-08-26 | Yamaha Motor Co Ltd | 三次元座標計測装置 |
JPS63285410A (ja) * | 1987-05-18 | 1988-11-22 | Fanuc Ltd | ロボットの作業対象物の位置検出方式 |
JPH09115640A (ja) * | 1995-10-20 | 1997-05-02 | Harness Sogo Gijutsu Kenkyusho:Kk | ワイヤーハーネスの製造におけるコネクタ供給方法及びその装置 |
JP2009069866A (ja) * | 2007-09-10 | 2009-04-02 | Mitsubishi Electric Corp | 3次元形状検出装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019098074A1 (ja) * | 2017-11-16 | 2019-05-23 | 倉敷紡績株式会社 | 線状物把持方法および制御装置 |
JPWO2019098074A1 (ja) * | 2017-11-16 | 2020-11-19 | 倉敷紡績株式会社 | 線状物把持方法および制御装置 |
JP7106571B2 (ja) | 2017-11-16 | 2022-07-26 | 倉敷紡績株式会社 | 線状物把持方法および制御装置 |
WO2019207344A1 (de) * | 2018-04-25 | 2019-10-31 | Schleuniger Holding Ag | Verdrillvorrichtung und verfahren zum bestimmen oder überprüfen einer schlaglänge eines leitungsbündels, computerimplementiertes verfahren sowie ein computerprogrammprodukt und ein upgrade-kit dazu |
JP2021528575A (ja) * | 2018-04-25 | 2021-10-21 | シュロニガー アーゲー | 撚り装置、および導線束の撚り長さを決定または検査する方法、コンピュータに実装された方法、ならびにコンピュータプログラム製品、およびそのためのアップグレードキット |
JP7150052B2 (ja) | 2018-04-25 | 2022-10-07 | シュロニガー アーゲー | 撚り装置、および導線束の撚り長さを決定または検査する方法、コンピュータに実装された方法、ならびにコンピュータプログラム製品、およびそのためのアップグレードキット |
Also Published As
Publication number | Publication date |
---|---|
US20180215046A1 (en) | 2018-08-02 |
JP2016192135A (ja) | 2016-11-10 |
CN107408429A (zh) | 2017-11-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2016158282A1 (ja) | 電線群加工用の画像取得システム | |
WO2016158339A1 (ja) | ワイヤーハーネスの製造方法及びコネクタ保持部支持装置 | |
WO2017038479A1 (ja) | ワイヤーハーネス組立装置及びワイヤーハーネスの製造方法 | |
JP6171457B2 (ja) | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム | |
EP2682711B1 (en) | Apparatus and method for three-dimensional measurement and robot system comprising said apparatus | |
JP2012030320A (ja) | 作業システム、作業ロボット制御装置および作業プログラム | |
TW201414546A (zh) | 電線分類機及分類電線的方法 | |
CN111687885A (zh) | 一种用于无序零件装配的智能双臂机器人系统及视觉引导方法 | |
KR20210104832A (ko) | 장착 판 상에 배열된 전기 개폐기의 전기 구성요소의 로봇 지원 배선 방법 | |
JP7106571B2 (ja) | 線状物把持方法および制御装置 | |
JP2008168372A (ja) | ロボット装置及び形状認識方法 | |
JP6424800B2 (ja) | ワイヤーハーネスの製造方法及びワイヤーハーネス | |
JP2018014262A (ja) | ワイヤーハーネスの製造方法及び電線端末加工用装置 | |
WO2018012337A1 (ja) | ワイヤーハーネス製造用装置及びワイヤーハーネスの製造方法 | |
JPH07291450A (ja) | インテリジェントパレタイズシステム | |
WO2017141778A1 (ja) | 電線端末状態検査装置、電線端末結束装置及びワイヤーハーネスの製造方法 | |
WO2017038401A1 (ja) | ワイヤハーネス製造装置、ワイヤハーネス製造方法及び被加工電線位置特定方法 | |
TWI760596B (zh) | 線狀物之前端移動方法、控制裝置以及三維相機 | |
JP2017144501A (ja) | 加工ロボット装置 | |
JP7011805B2 (ja) | ロボットの制御点設定がなされるロボット制御装置およびロボット制御方法 | |
JP2018051632A (ja) | ワイヤーハーネス製造装置及びワイヤーハーネス製造方法 | |
WO2017110607A1 (ja) | コネクタバー及びワイヤーハーネスの製造方法 | |
JP2018181723A (ja) | ワイヤーハーネス加工装置及びワイヤーハーネスの製造方法 | |
CN111745675B (zh) | 用于自动装入电导体的设备和方法 | |
WO2024062535A1 (ja) | ロボット制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16772166 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15562963 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16772166 Country of ref document: EP Kind code of ref document: A1 |