JPH055041B2 - - Google Patents

Info

Publication number
JPH055041B2
JPH055041B2 JP59056196A JP5619684A JPH055041B2 JP H055041 B2 JPH055041 B2 JP H055041B2 JP 59056196 A JP59056196 A JP 59056196A JP 5619684 A JP5619684 A JP 5619684A JP H055041 B2 JPH055041 B2 JP H055041B2
Authority
JP
Japan
Prior art keywords
dimensional
boundary line
polygonal plane
filter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP59056196A
Other languages
English (en)
Other versions
JPS60200111A (ja
Inventor
Takushi Okada
Koichi Sugimoto
Muneyuki Sakagami
Seiji Hata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP59056196A priority Critical patent/JPS60200111A/ja
Priority to EP85103292A priority patent/EP0157299B1/en
Priority to DE8585103292T priority patent/DE3566160D1/de
Priority to KR1019850001928A priority patent/KR900002509B1/ko
Publication of JPS60200111A publication Critical patent/JPS60200111A/ja
Publication of JPH055041B2 publication Critical patent/JPH055041B2/ja
Granted legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
〔発明の利用分野〕 本発明は、2次元的な平面視覚と、3点以上の
物体面境界線上の点の3次元位置を測定できる3
次元位置測定装置とを組み合わせることにより、
2次元画像から特定の形状を持つ輪郭線を切り出
すのに好適な3次元物体認識装置に関するもので
ある。 〔発明の背景〕 近年、FA(Factory Automation)の一環とし
て溶接、組立等の作業に産業用ロボツトが利用さ
れるようになり、視覚センサ等を用いたフレキシ
ブルな作業のニーズが高まつている。従来、産業
用ロボツトに用いられている視覚装置は、その大
部分が2次元的な平面視覚であり、2次元画像を
2値または多値化し、フイルタリング操作等によ
り特定形状の面の切り出しを行ない、切り出した
面の2次元的な重心、慣性主軸等の特徴量を計算
することにより認識を行なつている。しかし、物
体が平面的ではなく3次元的に置かれているよう
な場合には、平面画像から得られた面の輪郭線
は、実際の物体の面の輪郭線とは異なるため、正
確な認識が困難であつた。そこで、3次元的に置
かれた物体に対しても、特定形状の面の輪郭線を
正確に切り出せるような方式の開発が切望されて
いた。 〔発明の目的〕 本発明の目的は、2次元視覚と3次元位置測定
装置とを組み合わせて、3次元的に置かれた物体
の特定形状の面の輪郭線の切り出しを行なうこと
により、産業用ロボツト等の視覚装置において、
3次元物体の認識及びハンドリング等を可能にす
る3次元位置認識装置を提供することにある。 〔発明の概要〕 本発明に係る3次元物体認識装置は、認識対象
の物体の2次元画像から、その物体表面の特定の
多角形平面の境界線上における少なくとも3点の
3次元位置を測定する3次元位置測定手段と、上
記の3次元位置情報に基づき上記境界線の各辺の
方向ベクトルおよび当該多角形平面の法線ベクト
ルを求めるとともに、特定方向に対する上記境界
線の各辺の境界角を求める画像処理手段と、上記
境界角から上記多角形平面に適合するフイルタを
選択し、そのフイルタリング処理により、上記物
体の2次元画像データから当該境界線の検出をす
る輪郭線切り出し手段とからなるようにしたもの
である。 なお、これを補足すると、次のとおりである。 TVカメラ等で入力した2次元画像は画像処理
装置で処理される。通常、この処理では、一般的
な輪郭線切り出し処理のフロー図である。第1図
に示すように、雑音除去、セグメンテーシヨン、
2値または多値化処理、輪郭線切り出し、重心等
の2次元形状の計算が行なれる。 第2図は、TVカメラと物体との位置関係によ
るフイルタ相違を表わす概念図である。第2図a
に示すように、物体平面とTVカメラとが平行な
場合には、切り出した境界線は実際の物体の輪郭
線と一致するので、切り出したい形状(例えば長
方形)のフイルタリング操作をすることによつて
輪郭線が正確に切り出せる。しかし、第2図bの
ように、物体が3次元的に不定な位置・姿勢にあ
り物体平面とTVカメラとが平行でない場合に
は、切り出したい形状(例えば長方形)のフイル
タをそのまま用いても輪郭線は切り出せない。こ
のような場合には、物体の3次元的な姿勢を検出
し、切り出したい形状に合うようなフイルタを選
択して用いる必要がある。本発明は、このように
選択したフイルタを用い、求める特定形状の輪郭
線を切り出しを可能にしたのである。 〔発明の実施例〕 以下、本発明の実施例を図に基づいて説明す
る。 第3図は、本発明に係る3次元物体認識装置の
一実施例の構成図、第4図は、本装置における3
次元位置測定装置の一実施例の説明図、第5図
は、同じく物体上のスリツト光の説明図、第6図
は、同じく画面座標係の概念図、第7図は、同じ
く物体の輪郭線と画面座標がなす角度の説明図、
第8図は、同じく長方形を例とした回転角計算の
説明図である。 ここで、1は輪郭線切り出し対象の物体、2は
物体1を置くための台、3は画像処理装置、4は
輪郭線切り出し装置、5は計算機、6は3次元位
置測定装置、7は、そのTVカメラ、8,9は同
スリツト光発生装置である。 本発明は、以下の手順(1)〜(4)で特定形状の輪郭
線を切り出すことができる。 (1) 台2上の物体1をテレビカメラ7で撮り、そ
の画像を画像処理装置3へ入力する。 (2) 3次元位置測定装置6を用いて、物体の面境
界線上の3点以上の点の3次元位置を測定す
る。本実施例では、測定装置としてスリツト光
を利用したレンジフアインダを用いる。これ
は、三角測量の原理を用いて空間位置を測定す
る一種の距離測定装置で、その詳細を第4図に
示す。本3次元位置測定装置6は、TVカメラ
7に固定されたもので、その左右にスリツト光
発生装置8,9を有する。左右のスリツト光発
生装置8,9は、発光ダイオード10を一列に
並べ、スリツト11によつてスリツト光にし、
レンズ12によつて吸収させる。物体1にあた
つたスリツト光15,16は、TVカメラ7の
レンズ14で収光され、撮像面13に結像す
る。 スリツト光はTVカメラ7に対して傾いてあ
たつているため、TVカメラ7から見な物体1
にあたつているスリツト光は第5図のようにな
る。TVカメラ7とスリツト光発生装置8,9
との相対位置関係が既知であるから、3角測量
の原理に基づいて、物体1の面境界線上の4点
P1,P2,P3,P4のTVカメラ7から見た3次元
座標がわかることになる。 (3) 計算機5は、(2)で求めた4点のうちの3点の
3次元座標をもとに、物体の面境界線のうちの
1本の境界線の方向ベクトルf→=(fx、fy、fz
と面の法線ベクトルn→=nx、ny、nz)とを計算
する。すなわち、4点のうちP1,P2,P3の位
置ベクトルP→1,P→2,P→3を用いるとすれば、 f→=P3−P1/|P3−P1| ……(1) n→=(P3−P2)×(P→3−P1)/|(P3−P2
×(P3−P1)|……(2) である。このとき、第6図に示すように画面の
座標系をx−y平面にとると、画面上でf→1
x軸となす角θfは、第7図に示すように tanθf=fy/fx ……(3) から求まる。ここで、f→の境界線の隣接の境界
の方向ベクトルをg→とし、f→とg→とのなす角α
が与えられているとすると、方向ベクトルg→=
(gx,gy,gz)は、 g→×f/|g×f|=n→sinα……(4) なる関係を満たすから、f→とn→が画面座標系で
与えられれば、g→の画面座標系での値が求ま
る。このとき、g→がx軸となす角度θgは tanθ=gy/gx ……(5) となる。 したがつて、f→,g→をもつ境界線をフイルタ
リングによつて描出しようと思えば、フイルタ
の方向がθf,θgとなるようにすればよい。
【表】 のようなフイルタとすればよい。 この長方形が第8図bに示すように3次元的
に傾いていたとすると、上のフイルタは、その
まま使うことはできない。例えば式(1)〜(5)から
θf=45゜、θg=−45゜が得られたとすると、フイ
ルタとしては、
〔発明の効果〕
以上、詳細に説明したように、本発明によれ
ば、3次元的に位置・姿勢が不定な物体の表面形
状を特定して切り出すことができるようになり、 (1) 従来の平面的な物体のみでなく、立体の表面
形状も特定できるので、3次元物体弐認識が可
能になるとともに、フイルタリングによつて認
識ができるので、高速な処理が可能となり、 (2) 3次元物体の認識を高速に行ないうるので、
産業用ロボツト等の視覚に応用して3次元物体
の組立作業等を実時間で行なうことができ、 (3) 2次元視覚と3次元位置測定装置とを組み合
わせて3次元視覚と同等の効果を得ることがで
き、従来の双眼視やスリツト光切断方式による
3次元視覚に比べて経済性に優れ、装置も小型
化できる、 という効果は産業用ロボツト等による3次元物体
の認識及びハンドリングに対して顕著である。
【図面の簡単な説明】
第1図は、一般的な輪郭線切り出し処理のフロ
ー図、第2図は、TVカメラと物体との位置関係
によるフイルタの相違を表わす概念図、第3図
は、本発明に係る画像処理装置の一実施例の構成
図、第4図は、本装置における3次元位置測定装
置の一実施例の説明図、第5図は、同じく物体上
のスリツト光の説明図、第6図は、同じく画面座
標系の概念図、第7図は同じく物体の輪郭線と画
面座標とがなす角度の説明図、第8図は、同じく
長方形を例とした回転角計算の説明図、第9図
は、同じく各種処理のフロー図である。 1……物体、2……台、3……画像処理装置、
4……輪郭線切り出し装置、5……計算機、6…
…3次元位置測定装置、7……TVカメラ、8,
9……スリツト光発生装置。

Claims (1)

  1. 【特許請求の範囲】 1 予め形状の定義された多角形平面を有する3
    次元物体と、該多角形平面を2次元的な画像とし
    て撮像する撮像手段と、上記3次元物体の多角形
    平面上に少くとも2本のスリツト像を結像するた
    め夫々のスリツト像に対応し且つ上記撮像手段と
    所定の相対位置関係にある少なくとも2つのスリ
    ツト像投光手段と、上記相対位置関係に基いて、
    上記結像したスリツト像と上記多角形平面の境界
    線上における少なくとも3点の3次元位置を測定
    する3次元位置測定手段と、該3次元位置情報に
    基づき、上記境界線の各辺の方向ベクトルおよび
    上記多角形平面の方向ベクトルを求める画像処理
    手段と、上記方向ベクトル、および上記多角形平
    面の方向ベクトルに基いて上記境界線の各辺に適
    合するフイルタを決定する手段と、該フイルタに
    よるフイルタリング処理により、上記多角形平面
    の2次元画像データから該多角形平面の境界線の
    検出をする輪郭線切り出し手段とを有することを
    特徴とする3次元物体認識装置。 2 特許請求の範囲第1項記載のものにおいて、
    上記画像処理手段は、さらに所定方向に対する上
    記境界線の各辺の境界角を求める手段を有し、上
    記フイルタ決定する手段はさらに該求めた境界角
    を用いて、上記境界線の各辺に適合するフイルタ
    を決定するものであることを特徴とする3次元物
    体認識装置。
JP59056196A 1984-03-26 1984-03-26 3次元物体認識装置 Granted JPS60200111A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP59056196A JPS60200111A (ja) 1984-03-26 1984-03-26 3次元物体認識装置
EP85103292A EP0157299B1 (en) 1984-03-26 1985-03-21 Image processing apparatus
DE8585103292T DE3566160D1 (en) 1984-03-26 1985-03-21 Image processing apparatus
KR1019850001928A KR900002509B1 (ko) 1984-03-26 1985-03-23 화상 처리 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP59056196A JPS60200111A (ja) 1984-03-26 1984-03-26 3次元物体認識装置

Publications (2)

Publication Number Publication Date
JPS60200111A JPS60200111A (ja) 1985-10-09
JPH055041B2 true JPH055041B2 (ja) 1993-01-21

Family

ID=13020357

Family Applications (1)

Application Number Title Priority Date Filing Date
JP59056196A Granted JPS60200111A (ja) 1984-03-26 1984-03-26 3次元物体認識装置

Country Status (4)

Country Link
EP (1) EP0157299B1 (ja)
JP (1) JPS60200111A (ja)
KR (1) KR900002509B1 (ja)
DE (1) DE3566160D1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH061164B2 (ja) * 1985-01-31 1994-01-05 伍良 松本 立体形状測定装置
US4791482A (en) * 1987-02-06 1988-12-13 Westinghouse Electric Corp. Object locating system
US4891772A (en) * 1987-04-15 1990-01-02 Cyberoptics Corporation Point and line range sensors
JP2598413B2 (ja) * 1987-07-16 1997-04-09 マツダ株式会社 塗布高さの検出装置
DE3850840T2 (de) * 1987-10-14 1995-02-09 Hitachi Ltd Vorrichtung und Verfahren zur Fehlerinspektion in befestigten Bauteilen, unter Verwendung eines Lichtschlitzes.
FR2629198B1 (fr) * 1988-03-25 1994-07-08 Kreon Ingenierie Marketing Procede de determination et de reconstitution des coordonnees spatiales de chacun des points d'un ensemble de points echantillonnant une surface tridimensionnelle, et procede de realisation d'une image tridimensionnelle de cette surface a partir desdites coordonnees
DE58906804D1 (de) * 1988-08-05 1994-03-10 Siemens Ag Verfahren zur optischen Prüfung von Flachbaugruppen.
DE19618140A1 (de) * 1996-05-06 1997-11-13 Fraunhofer Ges Forschung 3D-Meßanordnung zur Ganzkörpererfassung und Einmessung einer entsprechenden Meßanordnung
KR100428604B1 (ko) * 1997-06-30 2004-06-16 주식회사 대우일렉트로닉스 3차원 데이터 취득시점 자동제어방법
EP1391688A1 (en) * 2002-08-14 2004-02-25 Metris N.V. Optical probe with laser scanner for generating crossed lines
CH697278B1 (de) * 2003-09-12 2008-07-31 Oerlikon Assembly Equipment Ag Einrichtung und Verfahren für die Montage oder Verdrahtung von Halbleiterchips.
JP4799216B2 (ja) * 2006-03-03 2011-10-26 富士通株式会社 距離測定機能を有する撮像装置
EP2053348A1 (de) * 2007-10-23 2009-04-29 Texmag GmbH Vertriebsgesellschaft Verfahren und Vorrichtung zur optischen Erfassung eines Objekts
CN102425989A (zh) * 2011-08-22 2012-04-25 天津大学 基于图像检测的二维特征尺寸测量方法
DE202011051565U1 (de) * 2011-10-06 2011-11-03 Leuze Electronic Gmbh & Co. Kg Optischer Sensor
CN102607455B (zh) * 2012-02-27 2013-12-25 华中科技大学 基于光学显微镜和变化光照的微观形貌三维测量方法
JP5936039B2 (ja) * 2012-02-29 2016-06-15 三菱重工業株式会社 法線検出方法、法線検出装置および法線検出機能を備えた加工機
CN103926129B (zh) * 2014-05-04 2016-04-13 中南大学 一种用人工岩石材料复制节理起伏度及实验方法
CN107945443A (zh) * 2017-11-28 2018-04-20 佛山正能光电有限公司 一种脸部辨识安控系统
JP2021022807A (ja) 2019-07-26 2021-02-18 セイコーエプソン株式会社 プロジェクターの制御方法、及び、プロジェクター

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58222383A (ja) * 1982-06-18 1983-12-24 Fujitsu Ltd 画像処理方式

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4316670A (en) * 1979-05-29 1982-02-23 Beta Industries, Inc. Apparatus and method for determining the configuration of a reflective surface
JPS58177295A (ja) * 1982-04-07 1983-10-17 株式会社日立製作所 ロボット制御装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58222383A (ja) * 1982-06-18 1983-12-24 Fujitsu Ltd 画像処理方式

Also Published As

Publication number Publication date
EP0157299B1 (en) 1988-11-09
EP0157299A1 (en) 1985-10-09
KR850007132A (ko) 1985-10-30
DE3566160D1 (en) 1988-12-15
KR900002509B1 (ko) 1990-04-16
JPS60200111A (ja) 1985-10-09

Similar Documents

Publication Publication Date Title
JPH055041B2 (ja)
Lins et al. Vision-based measurement for localization of objects in 3-D for robotic applications
JP4865557B2 (ja) 有界三次元対象物の分類と空間ローカライゼーションのためのコンピュータ視覚システム
EP2682711B1 (en) Apparatus and method for three-dimensional measurement and robot system comprising said apparatus
CN110555878B (zh) 物体空间位置形态的确定方法、装置、存储介质及机器人
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
Sangeetha et al. Implementation of a stereo vision based system for visual feedback control of robotic arm for space manipulations
JP2730457B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP7448633B2 (ja) 複数のカメラにて撮像された画像に基づいて物体の表面の位置情報を生成する三次元測定装置
Pachidis et al. Pseudo-stereo vision system: a detailed study
CN110955958A (zh) 一种基于cad模型的工件定位装置的工作方法
JPH061162B2 (ja) 視覚装置
JPH06258028A (ja) 視覚に基く三次元位置および姿勢の認識方法とその装置
Motai et al. SmartView: hand-eye robotic calibration for active viewpoint generation and object grasping
Abdelhamid et al. Extracting depth information using a correlation matching algorithm
JP2582215B2 (ja) 三次元位置姿勢計測方法
US20230135674A1 (en) 6d pose measurement method for mechanical parts based on virtual contour feature points
Bachler et al. A vision driven automatic assembly unit
JPH05329793A (ja) 視覚センサ
JP2601176Y2 (ja) ワークハンドリング装置
Niwakawa et al. Vision-based handling system using model-based vision and stereo ranging
JPS6228613A (ja) 3次元位置入力装置
He et al. An active-vision system for the recognition of moving objects
JPH01308908A (ja) 多面体の位置計測方法
JPH11120361A (ja) 3次元形状復元装置及び復元方法

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term