KR100817656B1 - 화상 처리 방법, 3차원 위치 계측 방법 및 화상 처리 장치 - Google Patents

Abstract

과제

대상물의 위치를 서브픽셀 단위로 추출할 수 있도록 한다.

해결 수단

대상물의 양품 모델을 촬상하여 얻은 모델 화상으로부터, 그 화상 상의 에지 화소, 그 농도 구배 방향, 및 서브픽셀 단위의 에지 위치가 추출되고, 하드 디스크(14)에 등록된다. 처리 대상 화상이 입력되면, CPU(11)는, 모델 화상에 대응하는 화상 영역의 위치를 픽셀 단위로 구한 후, 그 화상 영역에 있어서, 모델 화상측의 대응 화소에 서브픽셀 단위의 에지 위치가 대응되어 있는 에지 화소를 추출한다. 그리고, 이들의 에지 화소에 관해, 서브픽셀 단위의 에지 위치를 추출하고, 그 추출 위치와 모델 화상측의 에지 위치와의 차이량을 산출한다. 또한 각 에지 화소마다 구한 차이량의 평균치에 의해 상기 픽셀 단위의 위치를 수정하고, 대상물의 진정한 위치로 한다.

화상 처리 장치, 3차원 위치 계측

Description

화상 처리 방법, 3차원 위치 계측 방법 및 화상 처리 장치{IMAGE PROCESSING METHOD, 3-DIMENSION POSITION MEASURING METHOD, AND IMAGE PROCESSING DEVICE}

도 1은 본 발명이 적용된 화상 처리 장치의 블록도.

도 2는 등록 대상 화상과 처리 대상 화상의 예를 도시한 설명도.

도 3은 에지 화소, 농담 에지 위치, 및 농담 에지 위치의 추출 방법을 이미지화하여 도시한 설명도.

도 4는 대상물의 위치를 서브픽셀 단위로 추출하는 처리의 흐름의 예를 도시한 플로우 차트.

도 5는 대상물의 위치를 서브픽셀 단위로 추출하는 처리의 흐름의 다른 예를 도시한 플로우 차트.

도 6은 본 발명이 적용된 다른 화상 처리 장치의 블록도.

도 7은 검사시의 화상 및 검사 영역을 도시한 화상의 설명도.

<부호의 설명>

1 : 화상 처리 장치 2 : 화상 입력부

3 : 에지 추출부 4 : 화상 메모리

10 : 제어부 11 : CPU

14 : 하드 디스크 22 : 모델 화상에의 대응 영역

M : 모델 화상 S : 임시의 위치

601 : 촬상부 602 : 본체부

620 : 연산 처리부 622 : 화상 처리부

623 : 계측 처리부 C0, C1 : 카메라

A1 : 정면으로 본 화상 A2 : 경사 화상

W : 워크 70 : 계측 대상 영역

기술분야

본 발명은, 소정의 대상물의 계측이나 검사 등을 목적으로 하여, 상기 대상물을 포함하는 농담(濃淡) 화상 데이터를 처리하고, 화상 상에 있어서의 상기 대상물의 위치를 추출하는 방법 및 장치에 관한 것이다.

종래의 기술

농담 화상으로부터 대상물을 추출하는 일반적인 방법에서는, 미리 이 대상물의 모델을 촬상하여 얻어진 화상(이 명세서로는 「모델 화상」이고 한다)을 등록하여 두고, 처리 대상 화상으로부터 이 모델 화상에 대응하는 화상 영역을 추출하는 처리를 행하고 있다.

모델 화상에 대응하는 화상 영역을 추출하기 위한 대표적인 방법으로서, 각 구성 화소의 농도 데이터를 이용한 정규화 상관(相關)하는 방법이 알려져 있다. 또 한, 처리 대상 화상, 모델 화상의 각각에 관해, 화상중의 에지 화소(에지를 구성하는 한 화소를 의미한다)에 있어서의 농도 변화의 방향(농도 구배 방향)을 구하고, 그 변화의 방향의 분포 패턴을 비교하는 방법(특허 문헌 1 참조)도 제안되어 있다.

특허 문헌 1 : 특개2002-230549호 공보

종래의 정규화 상관 연산에 의한 방법에서는, 셰이딩(shading)이 발생하거나, 배경이 복잡하거나, 콘트라스트가 낮은 화상을 처리하는 경우에, 추출 정밀도를 확보할 수 없다는 문제가 있다. 또한, 대상물에 이지러짐이나 블러(blur) 등의 형상의 불량이 있으면, 모델 화상에 대응하는 화상 영역을 추출할 수 없게 될 우려가 있다.

또한, 이 방법은, 처리 대상 화상에 대해, 모델 화상을 1화소씩 주사(走査)하면서 상관 연산을 실행하는 것이기 때문에, 대상물의 위치를 픽셀 단위밖에 구할 수 없다. 서브픽셀 단위로의 위치를 구하기 위해, 각 주사 위치에서 얻어지는 유사도의 변화를 포물선에 근사한다고 가정하고, 그 포물선의 정점(頂點)을 산출하는 방법도 제안되어 있지만, 이런 종류의 유사도의 변화가 포물선에 근사한다고는 반드시는 말할 수 없기 때문에, 신뢰도가 높은 계측을 행할 수 없다는 문제가 있다.

한편, 농도 구배 방향의 패턴을 비교하는 방법에서는, 셰이딩 등의 노이즈에 의한 영향을 받기 어렵고, 또한 이지러짐이나 블러 등의 불량을 포함하는 대상물이라도 추출할 수 있다는 이점이 있다. 그러나, 이 방법에서도, 처리 대상 화상과 모델 화상과의 비교는 픽셀 단위로 행하여지기 때문에, 대상물의 에지의 위치가 서브픽셀 레벨로 변화하여도, 그 에지에 관한 화소에 있어서의 농도 구배 방향은 변화하지 않아서, 상기 위치의 변화를 추출하는 것은 곤란하다.

본 발명은, 상기한 문제점에 착안하여 이루어진 것으로, 대상물의 위치를 서브픽셀 단위로 추출할 수 있고, 고정밀도의 위치 결정이나 계측 처리에 적합한 화상 처리 방법 및 화상 처리 장치를 제공하는 것을, 목적으로 한다.

과제를 해결하기 위한 수단

본 발명에 관한 화상 처리 방법은, 미리 특정된 모델을 촬상하여 얻어진 모델 화상에 대해, 그 화상중의 에지로부터 에지 화소를 추출하는 스텝 A와, 추출된 각 에지 화소에 관해, 각각 그 에지 화소를 기준으로 농도 구배 방향을 검색하여, 서브픽셀 단위로의 에지 위치를 추출하는 스텝 B와, 상기 스텝 B에서 에지 위치가 추출된 에지 화소에 관해, 그 추출 위치 및 추출에 이용한 농도 구배 방향을 해당 에지 화소에 대응시켜서 등록하는 스텝 C를, 처리 대상 화상에 대한 처리에 앞서서 실행하도록 하고 있다.

상기에 있어서, 모델 화상은, 계측하여야 할 대상물의 모델을 촬상하고, 얻어진 화상으로부터 상기 모델을 포함하는 소정 크기의 화상을 잘라낸 것이 바람직하다. 스텝 A에서는, 이 모델 화상에 에지 추출 필터를 주사하는 등을 하여, 농도 구배의 크기가 소정치 이상의 화소를 에지 화소로서 추출할 수 있다. 단, 에지 추출 처리를 하드웨어에 의해 행하는 경우에는, 상기 모델 화상을 포함하는 전체 화상에 대해 에지 추출 처리를 행하도록 하여도 좋다.

스텝 B에서는, 상기 에지 화소를 시점(始點)으로 그 농도 구배 방향을 검색 하여, 그 방향에 있어서의 농도 변화량이 소정의 임계치를 초과한 위치를 에지 위치로서 추출할 수 있다. 또는, 상기 농도의 변화량을 미분(微分)하여, 농도 변화의 기점(起點) 또는 종점, 또는 이들의 중간점을 구하고, 이것을 에지 위치로 하여도 좋다.

또한, 검색 방향에 복수의 에지 화소가 있고, 이들의 에지 화소의 농도 구배 방향이 공통되는 경우(즉 각 농도 구배 방향 사이의 각도차가 소정치 이내인 경우)에는, 이들 복수의 에지 화소에 대해 하나의 에지 위치를 구할 수 있다. 이 경우, 스텝 C에서는, 상기 복수의 에지 화소의 각각에 같은 에지 위치 및 농도 구배 방향을 대응시킬 수 있다.

상기 스텝 C에서는, 예를 들면, 스텝 A의 추출 결과에 의거하여, 모델 화상 상의 에지 화소의 좌표를 등록함과 함께, 상기 서브픽셀 단위로의 에지 위치나 농도 구배 방향을, 대응하는 에지 화소의 좌표를 붙인 데이터로서 등록할 수 있다. 또한, 농도 구배 방향은, 그 방향을 나타내는 벡터의 소정의 기준 벡터에 대한 각도로서 나타낼 수 있다.

본 발명에 관한 화상 처리 방법에서는, 상기한 모델 화상에 관한 등록 처리가 종료되면, 처리 대상 화상에 대해, 다음 제 1, 제 2, 제 3의 각 스텝을 실행한다.

제 1 스텝에서는, 상기 모델 화상과 동(同) 사이즈의 검색 영역을 처리 대상 화상에 픽셀 단위로 주사하여, 주사 위치마다 상기 검색 영역의 화상과 모델 화상과의 유사도를 산출한다.

유사도의 산출에는, 농담 화상 데이터를 대상으로 하는 정규화 상관 연산이나, 상기한 특허 문헌 1의 방법을 이용할 수 있다. 즉, 이 제 1 스텝은, 종래의 대상물의 위치 추출 처리에 상당하는 것으로서, 이로써, 대상물의 위치를 픽셀 단위로 구할 수 있다.

제 2 스텝에서는, 상기 제 1 스텝에서 산출된 유사도에 의거하여 추출된 위치로 상기 검색 영역을 재설정하여, 이 검색 영역에 있어서 상기 서브픽셀 단위로의 에지 위치가 등록되어 있는 모델 화상중의 에지 화소에 대응하는 에지 화소를 추출하고, 추출된 각 에지 화소에 대해, 각각 상기 모델 화상에 대해 실행한 스텝 B, 및 그 스텝 B에 의해 얻은 서브픽셀 단위의 에지 위치와 상기 등록된 에지 위치와의 차이량을 산출하는 처리를 실행한다.

즉, 검색 영역에 포함되는 에지 화소중, 모델 화상에 있어서의 대응 화소도 에지 화소이고, 또한 그 에지 화소에 상기 픽셀 단위로의 에지 위치가 대응시켜저 있는 화소를 대상으로 하여, 각각 모델 화상에 대해 행하는 것과 같은 수법으로 에지 위치를 추출할 수 있다. 이 경우에도, 검색 방향에 복수의 에지 화소가 있는 경우에는, 이들 몇화소중에서 하나의 에지 위치를 구하고, 산출된 에지 위치를 상기 복수의 에지 화소의 각각에 대응시킬 수 있다.

또한, 에지 위치의 차이량의 산출 처리에서는, 에지 위치를 추출한 에지 화소마다, 각각 그 에지 위치와 모델 화상측의 에지 위치와의 좌표의 차를 산출하고, 그 차의 평균치를 구할 수 있다.

또한, 유사도에 의거하여 산출하는데는, 유사도가 소정의 값(임계치)보다도 커지는 위치를 추출하는 경우나, 유사도가 높아지는 위치를 높은 것으로부터 소정의 수만큼 선택하는 경우가 포함된다.

제 3 스텝에서는, 상기 제 2 스텝에서 산출된 차이량에 의해 상기 검색 영역의 설정 위치를 수정하고, 수정 후의 설정 위치를 상기 대상물의 위치로서 특정한다.

이로써 제 1 스텝에서 구한 대상물의 대략적인 위치를 서브픽셀 단위로 수정하는 것이 가능해지고, 대상물의 위치를 정밀도 좋게 구할 수 있다.

상기 화상 처리 방법의 바람직한 양태에서는, 상기 제 1 스텝에서, 주사 위치마다, 상기 모델 화상의 각 에지 화소에 있어서의 농도 구배 방향의 분포 패턴과 상기 검색 영역 내의 각 에지 화소에 있어서의 농도 구배 방향의 분포 패턴과의 유사도를 산출한다.

「각 에지 화소에 있어서의 농도 구배 방향의 분포 패턴」은, 각 에지 화소에 있어서의 농도 구배 방향을 나타내는 각도 데이터를 각각 해당 에지 화소의 좌표에 대응시킨 의사(疑似) 화상으로서 구성할 수 있다. 또한, 처리 대상 화상에 관해서도, 마찬가지의 의사 화상을 작성하고, 그 화상에 상기 모델 화상측의 의사 화상을 주사하면서, 각 주사 위치에 있어서의 패턴의 유사도를 산출하고, 유사도가 최대로 될 때에 상기 모델 화상측의 의사 화상에 겹쳐지는 화상 영역을 추출할 수 있다.

즉 상기한 양태에서는, 상기 특허 문헌 1에 기재된 방법에 의해 제 1 스텝을 실행하는 것으로 된다. 이와 같이 하면, 셰이딩 등의 노이즈가 생기고 있거나, 대상물측에 이지러짐이나 블러 등의 불량이 생기고 있어도, 픽셀 단위로의 위치 추출을 정밀도 좋게 행할 수 있다. 즉, 서브픽셀 단위로의 위치 어긋남은 있어도, 픽셀 단위로 보면, 대상물의 위치를 정확하게 특정할 수 있다. 따라서, 이하의 제 2, 제 3의 스텝을 실행함에 의해, 대상물의 위치를 보다 정확하게 구하는 것이 가능해진다.

상기 화상 처리 방법의 바람직한 양태에서는, 제 2 스텝에서, 제 1 스텝에서 가장 높은 유사도가 산출된 위치로 검색 영역을 재설정한다.

본 발명에 관한 화상 처리 방법은, 대상물의 위치를 고정밀도로 계측하는 용도나 대상물의 위치 결정 처리 등에 적용할 수 있다. 또한, 3차원 계측 처리를 위해 스테레오 화상 사이에서 특징점의 대응시킴을 행하는 경우에도, 한쪽 화상으로부터 모델 화상을 추출하고, 다른쪽의 화상에서 그 모델 화상에 대응하는 화상 영역을 추출하는 것으로 하여, 본 발명의 방법을 적용할 수 있다.

상기 화상 처리 방법의 바람직한 양태에서는, 해당 화상 처리 방법에 의해, 시야가 서로 겹쳐지는 복수대의 카메라에 의해 생성된 화상의 각 대상물의 에지 위치를 산출하고, 얻어진 각 화상의 에지 위치에 의거하여 대응하는 위치를 특정하여 대상물의 3차원 계측을 행할 수가 있다. 이와 같이 하면, 정밀도 좋게 각 화상 상의 대상물의 위치를 구할 수 있기 때문에, 카메라의 캐리브레이션 데이터와 그들의 화상의 대응 관계로부터 산출된 3차원 위치의 정밀도도 향상한다.

다음에, 본 발명에 관한 화상 처리 장치는, 농담 화상을 입력하기 위한 화상 입력 수단; 상기 화상 입력 수단으로부터 입력한 농담 화상에 관해, 그 화상중의 에지로부터 에지 화소 및 그 에지 화소에 있어서의 농도 구배 방향을 추출하는 에지 추출수단; 상기 에지 추출수단의 추출 결과에 의거하여, 상기 농담 화상 상의 에지 화소에 관해, 그 화소를 기준으로 농도 구배 방향을 검색하여, 서브픽셀 단위로의 에지 위치를 추출하는 에지 위치 추출수단; 대상물의 모델을 포함하는 모델 화상 및 그 모델 화상으로부터 추출된 데이터를 보존하기 위한 메모리; 상기 화상 입력 수단으로부터 상기 모델 화상을 포함하는 화상이 입력된 때, 이 입력 화상에 대한 상기 에지 추출수단 및 에지 위치 추출수단의 처리 결과를 에지 추출수단에 의해 추출된 각 에지 화소에 대응시킨 데이터를 작성하여, 상기 메모리에 등록하는 등록 수단; 상기 화상 입력 수단으로부터 상기 모델에 대응하는 대상물을 포함하는 처리 대상 화상이 입력된 때, 처리 대상 화상에 대해, 모델 화상과 동일한 사이즈로 설정된 검색 영역을 픽셀 단위로 주사하여, 주사 위치마다 상기 검색 영역 내의 화상과 모델 화상과의 유사도를 산출하는 유사도 산출 수단; 상기 유사도 산출 수단에 의해 산출된 유사도에 의거하여 추출된 위치로 상기 검색 영역을 재설정하고, 이 검색 영역에 있어서, 상기 에지 추출수단의 처리 결과에 의거하여, 상기 메모리에 에지 위치가 등록되어 있는 모델 화상중의 에지 화소에 대응하는 에지 화소를 추출하는 대응 에지 화소 추출수단; 상기 대응 에지 화소 추출수단에 의해 추출된 에지 화소 및 그 부근의 화상을 상기 에지 위치 추출수단에 처리시켜서, 이 처리에 의해 추출된 서브픽셀 단위의 에지 위치와 상기 메모리에 등록된 에지 위치와의 차이량을 산출하는 차이량 산출 수단; 상기 차이량 산출 수단에 의해 산출된 차이량에 의해 상기 검색 영역의 설정 위치를 수정하고, 수정 후의 설정 위치를 상기 대상물의 위치로서 특정하는 위치 특정 수단의 각 수단을 구비한다.

또한 이 화상 처리 장치에는, 화상 격납용의 메모리(이하, 「화상 메모리」라고 한다)를 마련하는 것이 바람직하다.

상기에 있어서, 화상 입력 수단에는, 카메라 등의 외부 장치로부터 화상 신호를 접수한 인터페이스 회로나 A/D 변환 회로 등을 포함할 수 있다. 단, 디지털 화상 데이터를 입력하는 경우에는, A/D 변환 회로를 마련할 필요는 없다.

화상 입력 수단 및 메모리를 제외한 각 수단은, 각각 그 수단의 처리를 실행하기 위한 소프트웨어가 조립된 컴퓨터에 의해 구성할 수 있다. 단, 어느 수단도, 컴퓨터로 한하지 않고, 트랜지스터 등을 포함하는 논리 회로로서 구성할 수도 있다. 특히, 에지 추출수단을 논리 회로로 하여, 화상 입력 수단으로부터 입력된 화상을 다이렉트 입력하여 처리하도록 하면, 그 밖의 수단에 의한 처리를 신속하게 진행할 수 있고, 처리 시간의 단축화를 도모할 수 있다.

화상 입력 수단으로부터 모델 화상을 포함하는 화상이 입력되면, 에지 추출수단, 에지 위치 추출수단, 및 등록 수단에 의해 상기 스텝 A, B, C에 해당하는 처리가 실행된다. 또한, 화상 입력 수단으로부터 처리 대상 화상이 입력되면, 유사도 산출 수단에 의해 제 1 스텝이, 에지 추출수단, 에지 위치 추출수단, 대응 에지 화소 추출수단, 및 차이량 산출 수단에 의해 제 2 스텝이, 위치 특정 수단에 의해 제 3 스텝이, 각각 실행된다. 또한, 에지 추출수단을 논리 회로로서 구성한 경우에는, 화상 입력과 동시에 이 회로를 동작시키고, 각 화소의 농도 구배의 크기나 농도 구배 방향을 좌표에 대응시킨 의사 화상을 작성하여, 상기 화상 메모리 등에 격납하 여 둘 수 있다. 이 경우, 다른 수단은, 메모리 내의 의사 화상에 액세스하여, 에지 화소의 위치나 농도 구배 방향을 취득할 수 있다.

상기한 화상 처리 장치에는, 또한, 위치 특정 수단에 의해 특정된 대상물의 위치를 출력하는 수단이나, 특정된 위치를 기준으로 계측 영역을 설정하고, 그 영역 내에서 소정의 계측 처리를 실행하는 수단 등을 마련할 수 있다.

본 발명에 의하면, 대상물의 위치를 픽셀 단위로 추출한 후에, 그 위치를 기준으로 한 모델 화상과의 위치 관계에 의거하여, 서브픽셀 단위로의 에지 위치의 차이량을 구하고, 그 차이량에 의해 최초에 구한 대상물의 위치를 수정하기 때문에, 대상물의 위치를 정밀도 좋게 추출하는 것이 가능해진다.

도 1은 본 발명의 한 실시예에 관한 화상 처리 장치의 구성을 도시한다.

이 화상 처리 장치(1)는, 소정 형상의 대상물을 촬상하여 얻어진 농담 화상을 처리 대상으로 하여, 그 화상 상의 대상물의 위치를 계측하는 처리를 행하는 것으로서, 화상 입력부(2), 에지 추출부(3), 화상 메모리(4), 입출력 인터페이스(5), 화상 출력부(6), 모니터(7), 제어부(10) 등을 포함하고 있다.

화상 입력부(2)는, 카메라용의 인터페이스나 A/D 변환 회로를 포함하는 것으로, 도시하지 않은 아날로그 카메라로부터의 농담 화상 신호를 입력하여 디지털 변환한다. 변환 후의 디지털 화상은 화상 메모리(4)에 격납됨과 함께, 에지 추출부(3)에 주어진다.

이 실시예의 에지 추출부(3)에는, 상기 디지털 화상을 미분 처리하여 농도 구배의 크기를 화소마다 산출한 회로와, 상기 농도 구배의 방향을 나타내는 각도 데이터를 화소마다 산출하는 회로가 포함된다. 즉, 입력 화상을 구성한 모든 화소에 관해, 농도 구배의 크기와 농도 구배 방향이 구하여지는 것으로 된다. 이들의 산출 결과는, 각각 화소의 좌표에 대응시켜진 의사 화상에 편집되고, 화상 메모리(4)에 격납된다.

또한, 이하에서는, 특허 문헌 1의 기재를 모방하여, 농도 구배의 크기를 「에지 강도」, 농도 구배 방향을 나타내는 각도 데이터를 「에지 코드」라고 부르고, 이들에 의한 의사 화상을 「에지 강도 화상」「에지 코드 화상」이라고 부른다.

입출력 인터페이스(5)는, 도시하지 않은 입력부(키보드, 마우스 등)나 외부 기기에 접속된다. 또한, 입력부는, 계측에 앞서서, 각종의 설정 조건(후기하는 모델 화상의 잘라냄을 위한 영역의 지정을 포함한다)을 입력하기 위해 이용된다.

상기 화상 출력부(6)에는, D/A 변환 회로나 모니터(7)에의 인터페이스 회로 등이 포함된다. 이 화상 출력부(6)는, 제어부(10)로부터의 지령에 응하여 화상 메모리(4)로부터 소정의 종류의 화상 데이터를 판독하고, 이것을 모니터(7)에 표시시킬 수 있다. 더하여, 제어부(10)로부터 계측 결과 등의 데이터의 공급을 받아서, 이것을 상기 모니터(7)에 표시시킬 수도 있다.

상기 제어부(10)는, CPU(11), ROM(12), RAM(13), 및 하드 디스크(14)에 의해 구성된다. 하드 디스크(14)에는, 계측 처리를 위한 프로그램이나 설정 데이터가 격납되어 있고, CPU(11)는 이들을 이용하여 일련의 계측 처리를 실행한다. 또한 상기 하드 디스크(14)에는, 대상물의 추출에 사용하는 모델 데이터를 등록하기 위한 영역이 설정된다(이하, 이 영역을 「등록 에어리어」라고 한다).

이하, 상기 화상 처리 장치(1)에 있어서 계측 처리에 관해, 상세히 설명한다.

도 2는 상기 모델 화상의 등록에 사용되는 농담 화상(이하, 「등록 대상 화상」이라고 한다), 및 계측 대상의 농담 화상(이하, 「처리 대상 화상」이라고 한다)의 예를 도시한다.

등록 대상 화상은, 계측 대상물의 양품(良品) 모델을 촬상하여 얻어진 것이다. 상기 CPU(11)는, 이 등록 대상 화상을 모니터(7)에 표시시키고, 유저에 의한 영역 지정 조작을 접수한다. 그리고 지정 조작이 행하여지면, 그 지정된 영역(21) 내의 화상을 모델 화상(M)으로서 추출한다. 이 모델 화상(M)은, 상기 영역(21)의 좌상 정점(A)의 좌표(mx1, my1) 및 우상 정점(B)의 좌표(mx2, my2)와 함께, 상기 하드 디스크(14)의 등록 에어리어에 등록된다.

계측 처리에서는, 도 2(2)에 도사한 바와 같이, 처리 대상 화상으로부터 상기 모델 화상(M)에 대응하는 화상 영역(22)를 추출한다. 그리고, 이 영역(22)의 좌상 정점(S)의 좌표(Sx, Sy), 즉 영역(21)의 점(A)에 대응하는 위치를, 대상물의 임시의 위치로 한다. 또한 이 실시예에서는, 상기 영역(22)에 있어서의 에지와 모델 화상중에 있어서의 에지와의 서브픽셀 단위의 위치 차이량을 추출하고, 상기 임시의 위치(S)로부터 상기 위치 차이량분만큼 떨어진 점을, 대상물의 진정한 위치로서 설정하도록 하고 있다.(이하에서는, 이 진정한 위치의 좌표를 (Ox, Oy)라고 한다).

상기한 대상물의 임시의 위치(S)를 구하는 처리 및 상기 에지 사이의 위치 차이량을 구하는 처리에는, 모두, 화상 상의 에지 화소나 그 농도 구배 방향에 의거한 데이터가 사용된다. 이하, 일련의 처리로 사용되는 데이터에 관해, 차례로 설명한다.

우선, 기본이 되는 데이터는, 상기한 에지 코드 화상 및 에지 강도 화상이다. 이들의 화상은, 상기한 바와 같이, 에지 추출부(3)에 의해 생성된다.

에지 추출부(3)는, 화상 입력부(2)로부터 입력된 화상에 소정 크기의 마스크를 주사하면서, 각 주사 위치에 있어서, 상기 마스크 내의 화상에 소벨 오퍼레이터(sobel operator) 등의 에지 추출용 필터를 작용시켜서, 화소마다, x축(수평 방향에 따른 축) 및 y축(수직 방향에 따른 축)의 농도 구배(Ex(x, y), Ey(x, y))를 추출한다. 또한, 에지 추출부는, 이들의 농도 구배(Ex(x, y), Ey(x, y))를 이용하여, 상기한 에지 강도 및 에지 코드를 산출한다.

또한, 에지 강도 및 에지 코드의 산출에 관해서는, 앞서 나온 특허 문헌 1에 기재된 방법을 적용할 수 있다. 따라서, 여기서는 상세한 설명은 생략하지만, 에지 강도는, 상기 농도 구배(Ex(x, y), Ey(x, y))의 합성 벡터의 길이를 나타내는 것이다. 또한, 에지 코드는, 상기 합성 벡터 방향으로서, 소정의 기준 방향(예를 들면 x축의 정방향)에 본 각도에 의해 표시된다(특허 문헌 1에서는, 농도 구배 방향에 직교한 방향을 에지 코드라고 한 점에 있어서 본 실시예와 다르지만, 어느 방향을 에지 코드로 하여도, 개념은 마찬가지라고 생각할 수 있다).

화소마다 산출된 에지 강도 및 에지 코드는, 각각 그 화소의 좌표에 대응되 고, Ei(x, y), Ec(x, y)와 같이 표시된다. 따라서, 이들의 데이터(Ei(x, y), Ec(x, y))를 구성 화소로 하는 화상이, 각각 에지 강도 화상, 에지 코드 화상으로서 설정되게 된다.

처리 대상 화상으로부터 생성된 에지 강도 화상 및 에지 코드 화상은, 상기 처리 대상 화상과 함께 화상 메모리(4)에 격납된다.

한편, 상기 등록 대상 화상으로부터 생성된 에지 강도 화상 및 에지 코드 화상으로부터는, 각각 상기 모델 화상에 대응하는 영역 내의 데이터가 추출되고, 상기 등록 에어리어에 격납된다. 이하, 등록된 에지 강도 화상을, 에지 강도 모델 화상으로 하여, 각 화소를 MEi(x, y)로 표시하고, 등록된 에지 코드 화상을, 에지 코드 모델 화상으로 하여, 각 화소를 MEc(x, y)로 표시하기로 한다.

또한, 이 실시예에서는, 농담 화상에 나타내여지는 에지의 위치를, 서브픽셀 단위로 추출한다(이하, 이 에지의 위치를 「농담 에지 위치」라고 한다). 모델 화상에 관해 추출된 농담 에지 위치는, 상기 등록 에어리어에 등록된다.

도 3의 (A)는 상기 대상물의 화상을 포함하는 농담 화상, 이 농담 화상으로부터 변환된 에지 화상, 이 에지 화상 상의 에지를 상기 농담 에지 위치를 이용하여 세선화(細線化)한 농담 에지 화상을, 차례로 도시하고 있다. 또한, 3종류의 화상중, 에지 화상이나 농담 에지 화상은, 에지 화소이나 농담 에지 위치를 설명하기 위해 설정한 것으로, 이 실시예에서는 생성되는 것이 아니다.

에지 화상은, 상기한 에지 강도 화상을 변환하여 생성할 수 있다. 구체적으 로는, 에지 강도가 소정의 임계치(Ei₀) 이상으로 되는 화소를 에지 화소로서 흑(黑)화소으로 하고 에지 강도가 상기 임계치(Ei₀)를 하회하는 화소를 백(白)화소로 한다. 또한, 도면중의 에지 모델 화상에서는, 에지에 있어서의 농도 구배 방향이 화살표에 의해 도시되어 있다.

도 3의 (B)는, 에지 화상중의 임의의 에지 화소(K)(좌표는(x_k, y_k)이라고 한다)의 농담 에지 위치를 구하는 방법을 도시한다. 이 예에서는, 상기 에지 화소(K)를 시점으로, 그 농도 구배 방향을 검색하고, 에지 화소(K)로부터 본 농담치의 변화량이 변화량 전체의 50%에 달한 점(L)을 추출하고, 이 점(L)의 좌표(x_L, y_L)를 상기 농담 에지 위치로 하고 있다. 또한, 이 농담 에지 위치를 정하는 기준은 적절히 변경할 수 있다.

도 3의 (A)에 도시한 농담 에지 화상은, 각 에지 화소마다, 상기한 방법에 의해 구한 농담 에지 위치를 나타내는 것이다(실제로는, 서브픽셀 단위의 위치이기 때문에, 화상으로서 나타낼 수가 없다).

또한, 도 3의 화상에서는, 농도 구배 방향이 x축 또는 y축에 따르고 있기 때문에, 농담 에지 위치의 좌표중(x_L, y_L)의 한쪽은, 주목중인 에지 화소과 같게 된다. 만약 경사 방향으로 농도 구배가 나타내여저 있는 경우에는, 그 방향에 따른 에지 강도의 변화를 이용하여, x, y의 각 방향 모두 농담 에지 위치를 구할 필요가 있다.

또한, 에지 화상에 있어서의 에지는, 통상, 몇화소분의 폭을 갖기 때문에, 농담 에지 위치를 구하는 처리에서도, 농담 에지 위치의 검색 방향으로, 그 방향과 같은 농도 구배 방향을 갖는 에지 화소가 존재할 가능성이 있다. 이와 같은 경우에는, 농도 방향이 공통인 복수의 에지 화소를 1세트(組)로 하여, 그 세트에 대해 1점의 농담 에지 위치를 구하는 것이 바람직하다. 또는, 미리 에지 화상에 있어서의 에지 폭이 1화소가 되도록 세선화 처리를 시행하고 나서, 그 세선화된 에지에 대한 농담 에지 위치를 구하도록 하여도 좋다. 이 경우, 농담 에지 위치를 검색하는 처리에서는, 세선화 처리에 의해 남겨진 에지 화소를 시점으로, 그 농도 구배 방향의 정역(正逆) 양방향을 검색하는 것이 바람직하다.

이 실시예에서는, 에지 강도 화상 및 에지 코드 화상을 이용하여, 에지 강도가 상기 임계치(Ei₀) 이상으로 되는 화소에 차례로 주목하면서, 상기 도 3의 (B)의 방법에 의거하여 농담 에지 위치(x_L, y_L)를 추출한다. 또한, 모델 화상에 관해서는, 추출된 농담 에지 위치(x_L, y_L)를, 상기 에지 화소의 좌표(x, y)를 이용한 2차원 배열 데이터(MX_L(x, y), MY_L(x, y))에 격납함에 의해, 에지 화소과 농담 에지 위치를 대응시키도록 하고 있다. 즉, MX_L(x, y)=x_L, MY_L(x, y)=y_L 로 된다.

또한, 상기한 바와 같이, 수화소분의 에지 화소의 세트에 대해 하나의 에지 위치를 구한 경우에는, 그 세트를 구성하는 모든 화소에 상기 농담 에지 위치를 대응시킬 수 있다.

또한 모델 화상에 관해서는, 에지 화소 이외의 화소도 포함하는 모든 구성 화소에 관해, 각각 상기 농담 에지 위치가 설정되었는지의 여부를 나타내는 플래그 데이터(ML(x, y))가 마련된다. 이 모델 화상의 농담 에지 위치(MX_L(x, y), MY_L(x, y)), 및 플래그 데이터(ML(x, y))는, 모두 등록 에어리어에 등록되고, 계측 처리에서 사용된다.

상기한 바와 같이, 하드 디스크(14)의 등록 에어리어에는, 상기 모델 화상에 더하여, 에지 강도 모델 화상(MEi(x, y)), 에지 코드 모델 화상(MEc(x, y)), 농담 에지 위치(MX_L(x, y), MY_L(x, y)), 및 플래그 데이터(ML(x, y))가 등록된다. 또한, 처리 대상 화상에 관해서도, 화상 입력과 동시에, 에지 추출부(3)에 의해 에지 강도 화상(Ei(x, y)), 에지 코드 화상(Ec(x, y))이 생성된다.

다음에, 상기한 각종 데이터를 이용한 계측 처리의 구체적인 예를 설명한다.

처리 대상 화상으로부터 대상물의 임시의 위치(S)를 추출하는 처리에서는, 에지 강도 화상(Ei(x, y)), 에지 코드 화상(Ec(x, y)), 에지 강도 모델 화상(MEi(x, y)) 및 에지 코드 모델 화상(MEc(x, y))을 사용하여, 모델 화상에 가장 유사한 영역을 추출한다. 구체적으로는, 처리 대상 화상에 대해, 모델 화상과 동일한 사이즈로 설정된 검색 영역을 픽셀 단위로 주사하면서, 주사 위치마다, 검색 영역과 모델 화상 사이에서의 에지 코드의 분포 패턴의 유사도를 구하고, 유사도가 가장 큰 주사 위치를 추출하게 된다.

그리고, 이 추출 처리는, 특허 문헌 1에 기재되어 있는 것과 같은 방법에 의 해 행하여지는 것이기 때문에, 여기서는 상세한 설명을 생략한다.

다음에, 상기 임시의 위치(S)를 기준으로 검색 영역을 재설정하여, 이 검색 영역에서 모델 화상에 대한 에지의 위치 차이량을 구하고, 그으로부터 대상물의 진정한 위치를 구한다. 이하, 이 처리에 관해, 도 4를 이용하여 상세히 설명하다. 그리고, 도 4중의 dx는, x축방향에서의 위치 차이량이고, dy는 y축방향에서의 위치 차이량이다. 또한 n은, 농담 에지 위치의 추출수이다. 또한, (Sx, Sy)는 상기 대상물의 임시의 위치를 나타내는 점(S)의 좌표이고, (x, y)는, 이 점(S)에 대한 주목 화소의 상대 위치를 나타낸다. 모델 화상측의 주목 화소의 대응점은, 이 (x, y)에 의해 나타내여진 생각된다.

우선 최초의 ST101(ST는 「스텝」의 약자이다. 이하도 같다)에서, 상기 n, dx, dy에 초기치(0)를 세트하고, 상기 점(S)을 기점으로 주목 화소를 1화소씩 움직이면서(ST102, ST103, ST104, ST111, ST112, ST113, ST114의 각 스텝에 의한다), 각 주목 화소에 관해, 이하와 같은 처리를 실행한다. 또한, ST111, ST113에서는, x, y의 값이 상기 도 2에 도시한 모델 화상의 사이즈((mx2-mx1), (my2-my1))에 달하였는지의 여부를 판별하고 있다(후술하는 도 5의 ST218, 220도 마찬가지이다).

최초에, 모델 화상측의 대응 화소에 관해, 상기 플래그 데이터(ML(x, y))가 온 설정되어 있는지의 여부를 판별한다(ST105). 또한, 이 예에서는, 플래그 데이터(ML(x, y))가 「1」일 때를 온 상태로 하고 있다.

상기 ML(x, y)=1, 즉 모델 화상측의 대응 화소에 농담 에지 위치(MX_L(x, y), MY_L(x, y))가 대응되어 있는 경우에는, ST105가 「YES」로 되어 ST106으로 진행하고, 주목 화소가 에지 화소인지의 여부를 판별한다. 구체적으로는, 처리 대상 화상으로부터 생성된 에지 강도 화상의 화소(Ei(Sx+x, Sy+y))가 상기한 임계치(Ei₀) 이상이면, 주목 화소는 에지 화소이라고 판단한다.

ST106이 「YES」이면, 다음의 ST107에서, 주목 화소의 에지 코드(Ec(Sx+x, Sy+y))를 모델 화상측의 대응 화소의 에지 코드(MEc(x, y))와 비교한다. 여기서, Ec(Sx+x, Sy+y)와 MEc(x, y)와의 차의 절대치가 소정치 이하이면, 쌍방의 에지 코드는 일치하고 있다고 판단하고, ST108로 진행한다.

ST108에서는, 주목 화소에 관해, 상기 농담 에지 위치(x_L, y_L)를 추출한다. 또한, 다음 ST109에서는 상기 추출수(n)를 증가시키고, ST110로 진행한다.

ST110에서는, ST108에서 구한 농담 에지 위치(x_L, y_L), 모델 화상측의 대응 화소의 농담 에지 위치(MX_L(x, y), MY_L(x, y)), 및 상기 점(S)의 좌표(Sx, Sy)를 이용하여, x, y의 각 축방향마다, 모델 측의 농담 에지 위치에 대한 처리 대상 화상측의 농담 에지 위치의 차이량(dx, dy)을 구한다. 동시에 ST110에서는, 화소마다의 차이량(dx, dy)을 가산하는 처리도 실행한다.

상기 모델 화상에 대응하는 화상 영역 내의 모든 화소에 관해 실행함에 의해, 모델 화상에 대한 상기 화상 영역 내의 농담 에지 위치의 차이량(dx, dy)의 총합이 구하여진다. 또한, 상기 ST105, ST106, ST107의 어느 하나의 스텝에서의 판별 결과가 「NO」로 된 경우에는, ST108 내지 110은 스킵된다.

모델 화상에 대응하는 화상 영역 내의 모든 화소에 대한 처리가 종료되면, ST115에서는, 상기 n을 이용하여 차이량(dx, dy)의 평균치(dx/n, dy/n)를 산출한다. 그리고, 상기 점(S)의 좌표(Sx, Sy)에 평균화된 차이량을 가산하여 얻어지는 좌표를, 대상물의 진정한 위치를 나타내는 좌표(Ox, Oy)에 대입한다.

상기 일련의 처리에 의하면, 픽셀 단위로 구하여진 대상물의 위치를 기준에, 모델 화상에 대한 에지 위치의 차이량을 서브픽셀 단위로 추출하고, 그 차이량분만큼 상기 대상물의 위치를 수정할 수 있다. 이와 같이 하여, 대상물의 위치를 서브픽셀 단위로 구하는 것이 가능해지기 때문에, 위치 계측에 관한 정밀도를 종래보다도 대폭적으로 높일 수 있다.

도 5는 상기 대상물의 진정한 위치(Ox, Oy)를 구하는 처리의 다른 예를 도시한다.

이 실시예도, 기본적인 처리의 내용은 도 4와 같지만, 에지 코드가 나타내는 방향에 의해 차이량의 산출 방법을 변경하는 점에 특징이 있다. 이 방법을 실행하기 위해, 이 실시예에서는, 농담 에지 위치의 추출수를, x, y의 방향마다 개별적으로 계수하도록 하고 있다. 도면중, xn은 x방향에서의 추출수이고, yn은 y방향에서의 추출수이다. 그 밖의 파라미터는, 상기 도 4와 같다.

우선 ST201 내지 204에서, 상기 도 4의 ST101 내지 104와 같은 설정을 행한 후, x, y를 하나씩 움직이면서, 모델 화상에 대응하는 영역(22) 내의 각 화소에 관해, 각각 이하의 처리를 실행한다.

ST205 내지 207에서는, 상기 도 4의 ST105 내지 107과 마찬가지로, 모델 화상측의 대응 화소에 농담 에지 위치가 설정되어 있는지의 여부, 주목 화소가 에지 화소인 지의 여부, 주목 화소의 에지 코드가 모델 화소의 대응 화소에 있어서의 에지 코드에 일치하는지의 여부를 판별한다. ST205 내지 207의 판별 결과가 전부「YES」로 되면, ST208로 진행하고, 주목 화소에 관해 농담 에지 위치(x_L, y_L)를 추출한다.

다음의 ST209에서는, 주목 화소의 에지 코드(Ec(Sx+x, Sy+y))를 수평 방향을 나타내는 180°로 제산(除算)하고, 그 잉여수를 θ라고 한다. 또한, 이 θ가 90°보다 큰 경우에는, ST211에서, 180°로부터 θ를 공제한 값에 의해 상기 θ의 값을 갱신한다. 다음의 ST212에서는, θ가 22°보다 큰지의 여부를 판별하고, 판별 결과가 「NO」이면, ST214로 진행한다. 판별 결과가 「YES」이면, 다시 ST213에서, |θ-90|의 값을 22°와 비교하고, |θ-90|≤22°이면 ST215를 실행하고, |θ-90|>22°이면 ST216 및 ST217을 실행한다.

즉, 주목 화소의 에지 코드가 나타내는 방향과 x축방향(0° 또는 180°의 방향)과의 각도차가 22°이내이면, 주목 화소의 농도 구배 방향은 x축방향에 따르고 있는 것으로 하여 ST214로 진행하고, x방향에 관한 차이량(dx) 및 추출수(xn)를 갱신한다. 또한 주목 화소의 에지 코드가 나타내는 방향과 y축방향(90° 또는 270°의 방향)과의 각도차가 22°이내이면, 주목 화소의 농도 구배 방향은 y축방향에 따르고 있는 것으로 하여 ST215로 진행하고, y축방향에 관한 차이량(dy) 및 추출수 (yn)를 산출한다. 또한, x축 및 y축에 대응하는 4방향(0°, 90°, 180°, 270°의 각 방향)의 어느것에 대해서도, 주목 화소의 에지 코드가 22°보다 큰 각도차를 갖는 경우(예를 들면, 22°<θ<68°)에는, ST216에서, x, y 쌍방의 추출수(xn, yn)를 갱신하고, ST217에서, x, y 쌍방의 차이량(dx, dy)를 갱신한다.

모델 화상에 대응하는 화상 영역 내의 모든 화소를 처리하여 마치면, ST222에서, 상기 차이량(dx, dy)을 각각 추출수(xn, yn)에 의해 평균화하고, 그 평균치에 의해 상기 점(S)의 좌표(Sx, Sy)를 보정한 좌표를, 대상물의 진정한 위치(Ox, Oy)에 대입한다.

상기한 순서에 의하면, 모델에 대한 어긋남이 발생하고 있는 방향에서만 추출수가 카운트되기 때문에, 위치 차이량(dx, dy)의 평균치의 신뢰도를 보다 높일 수 있다. 따라서, 대상물의 위치를 보다 정밀도 좋게 구하는 것이 가능해진다.

본 화상 처리는, 복수대의 다른 위치에서 동일한 대상물을 촬상하여 얻어진 화상에 의해, 그 대상물의 3차원적인 위치를 계측할 때에도 이용할 수 있다(이른바 스테레오 카메라에 의한 3차원 계측). 복수 화상 사이의 대응점을 구하는 방법으로서, 하나의 카메라 화상에 있어서의 대상물의 화상과 다른 카메라 화상에 있어서의 대상물의 화상을 매칭시켜서 대응점을 찾는 수법을 이용할 때에 본 화상 처리를 적용할 수 있다. 이하에 그 실시예를 나타낸다.

도 6은 다른 실시예에 관한 검사 장치의 전체 구성을 도시한 블록도이다. 촬상부(601)는, 2대의 카메라(C0, C1)을 가지며, 검사 라인 상방에 설치되어 공장의 검사 라인(L)을 반송되는 검사 대상물(W)(이하, 「워크(W)」라고 한다)을, 차례로 촬상한다. 도시는 생략하지만, 한쪽 카메라(C0)는, 그 광축을 검사 라인에 대해 연직 방향을 향한 상태로 설치된다. 다른쪽의 카메라(C1)는, 상기 카메라(C0)와 시야가 겹쳐지도록 하여, 광축을 경사시킨 상태로 설치된다. 이하에서는, 상기 카메라(C0)로부터의 화상(A0)을 「정면으로 본 화상(A0)」이라고 하고, 카메라(C1)로부터의 화상(A1)을 「경사 화상(A1)」이라고 한다.

이 검사 장치는, 상기한 촬상부(601) 외에, 본체부(602), 모니터(603), 콘솔(604) 등에 의해 구성된다. 본체부(602)에는, 각 카메라(C0, C1)에 대한 화상 입력부(610, 611), 카메라 구동부(612), 연산 처리부(620), 출력부(628) 등이 마련된다. 상기 카메라 구동부(612)는, 도시하지 않은 워크 검출용의 센서로부터의 검지 신호를 받아서 각 카메라(C0, C1)를 동시에 구동한다. 각 카메라(C0, C1)에 의해 생성된 화상 신호는, 각각의 화상 입력부(610, 611)에 입력되고, 디지털 변환된다. 이로써, 카메라마다 계측 처리용의 디지털 화상(상기한 정면으로 본 화상(A0) 및 경사 화상(A1))이 생성된다.

상기 연산 처리부(620)는, 컴퓨터에 의해 구성되는 것으로서, 상기 카메라마다의 화상을 이용한 계측 처리를 실행한 후, 그 처리 결과로부터 상기 워크(W)의 적부(適否)를 판정한다. 출력부(628)는, 상기 계측 처리나 판정 처리의 결과를, PLC 등의 외부 기기에 출력하기 위한 출력용 인터페이스이다.

연산 처리부(620)에는, 상기 화상(A0, A1)을 격납하기 위한 화상 메모리(621) 외에, 화상 처리부(622), 계측 처리부(623), 판정부(624), 표시 제어부(625), 파라미터 산출부(626), 파라미터 기억부(627) 등이 마련된다. 또한, 화상 메모리(621) 및 파라미터 기억부(627) 이외의 각 부분은, 전용의 프로그램에 의해 상기 컴퓨터에 설정된 기능이다.

화상 메모리(621)나 파라미터 기억부(627)는, 상기 컴퓨터의 메모리(RAM 등)에 설정된다.

또한, 도 6에는 도시되어 있지 않지만, 연산 처리부(620)에는, 검사에 필요한 정보(검사 영역의 설정 조건이나 모델의 화상 등)를 등록하기 위한 메모리도 마련된다(이하, 이 메모리를 「등록용 메모리」라고 한다). 또한, 이 등록용 메모리에의 등록 처리나, 연산 처리부(620)의 각 처리부가 실행하는 처리의 설정 또는 변경은, 적절히, 콘솔(604)의 조작에 응하여 행할 수 있다.

화상 처리부(622)는, 2치화, 에지 추출, 패턴 매칭 등에 의해, 상기 워크(W)의 검사 대상 부위의 구성점을 추출한다. 계측 처리부(623)는, 상기 화상 처리부(622)에 의해 추출된 검사 대상 부위에 관해, 위치나 크기 등을 계측하는 처리를 실행한다. 또한, 이 실시예의 화상 처리부(622) 및 계측 처리부(623)은, 2차원 및 3차원의 처리를 선택하여 실행할 수 있도록 설정되어 있다.

판정부(624)는, 상기 계측 처리부(623)의 계측 결과를 소정의 임계치와 비교하는 등을 하여, 워크(W)의 양부를 판정한다. 이 판정 결과는 출력부(628) 및 표시 제어부(625)에 출력된다.

상기 표시 제어부(625)는, 상기 모니터(603)의 표시 동작을 제어하기 위한 것으로, 상기 화상 입력부(610, 611)에서 생성된 정면으로 본 화상(A0), 경사 화상(A1)을 한화면 내에 병렬 표시시킬 수 있다. 또한, 적절히, 화상 처리부(622), 계 측 처리부(623), 판정부(624)의 처리 결과를 받아들여, 상기 화상과 함께 표시시킬 수 있다.

파라미터 기억부(627)에는, 3차원 계측을 위한 연산식에 포함되는 각종 계수가 보존된다. 이들의 계수의 값은, 각 카메라에 의해 구성되는 스테레오 좌표계와 실제의 공간에 있어서의 위치를 나타내는 공간 좌표계와의 관계(각 좌표 사이의 원점 사이의 거리, 공간 좌표계에 대한 스테레오 좌표계의 회전 차이량 등)에 응하여 변동한다(이하, 이들의 계수를 「파라미터」라고 한다). 이들의 파라미터는, 검사에 앞서서, 화상 처리부(622) 및 파라미터 산출부(626)에 의해 산출되고, 상기 파라미터 기억부(627)에 격납된다. 또한, 이 파라미터를 산출하는 처리에서는, 복수의 특징점을 갖는 캘리브레이션용 워크가 사용된다.

또한, 상기 파라미터 기억부(27)에는, 호모그래피 행렬를 구성하는 파라미터도 등록된다.

다음에, 도 7에 도시한 바와 같은 누름 버튼식의 문자 키가 배설된 워크(리모트 콘트롤, 전화기 등)를 검사 대상으로 하여, 여기서는 키의 높이를 계측하는 경우의 검사 처리에 관해 설명한다.

우선, 워크(W)를 촬상하여 얻어진 정면으로 본 화상(A0)을 이용하여, 계측 대상이 되는 키를 포함하는 영역(70)(이 예에서는 「2」의 키)을 지정하여 둔다. 그리고, 카메라(C0, C1)을 동시 구동하여 화상을 생성하고, 정면으로 본 화상(A0)에 관해서는, 전술한 실시예와 같은 방법에 의해, 영역(70) 내의 대상물(이 예에서는 「2」의 키)의 에지 위치를 서브픽셀 단위로 구한다. 한편, 경사 화상(A1)에 관 해서는, 시차(視差)가 있기 때문에, 사전의 카메라 교정에 의해 얻은 내부 정수를 사용하여 편위(偏位) 수정을 행하고, 대응하는 정면으로 본 편위 수정 화상을 작성한다(예를 들면 비특허 문헌 2 참조).

비특허 문헌 2 : 고지「디지털 포트그래미터리(Digital Photogrammetry ：스테레오 화상 방식)」제 15회 3차원 공학 심포지움 자료집, 2005.12, pp15-32

이 편위 수정 화상에 대해서도 전술한 실시예와 마찬가지로 에지 위치를 서브픽셀 단위로 구하지만, 그 단계에서는 편위 수정 화상의 에지 화소마다 에지 위치를 얻을 수 있는 것에 지나지 않기 때문에, 얻어진 편위 수정 화상의 각 에지 위치로부터, 카메라(0)에서 얻어진 검사 대상물의 서브픽셀의 에지 위치에 대응하는 에지 위치를 보완에 의해 산출한다. 이로써, 카메라(C0)의 화상 상의 대상물과 카메라(C1)에 의해 얻어진 편위 수정 화상 상의 대상물의 위치의 대응이 서브픽셀 단위로 구할 수 있다. 또한, 대응 위치를 구할 때에는, 이른바 에피폴라 구속 조건을 이용한다. 또한, 계측 대상물이 취할 수 있는 높이 범위의 정보를 기초로 하여, 대응점의 서치 영역을 한정할 수 있다. 이와 같이 하여 얻어진 편위 수정 화상 상의 대상물의 위치(에지 위치)를 편위 수정 전의 화상에 변환하여 카메라(C1)의 좌표계에서의 대상물의 상(像) 위치를 구한다. 그리고 서브픽셀 단위로 구하여진 카메라(C0)와 카메라(C1)의 대응점을 기초로, 주지의 3차원 위치 측정 처리를 행하면 고정밀도로 3차원 위치 계측을 행하는 것이 가능해진다.

보다 구체적으로는, 이하의 ①부터 ⑤의 처리를 행한다.

① 카메라(C0)에 의해 얻은 정면으로 본 화상에 의한 모델 화상의 등록을 행 한다.

② 카메라(C0)로 얻은 처리 대상 화상에 대해, 모델 화상을 이용하여 전술한 실시예와 마찬가지로 서브픽셀 단위로 대상물의 진정한 위치를 구한다. 이로써, 카메라(C0)의 화상중의 모델 화상의 에지 위치를 서브픽셀로 구할 수 있다.

③ 카메라(C1)로 얻은 처리 대상 화상에 대해, 편위 수정을 행한다. 이 편위 수정에 의해, 카메라(C1)의 경사 화상을 카메라(C0)의 화상과 같은 정면으로 본 화상으로 변환한다.

편위 수정(에피폴라 화상 보정이라고 부른 일도 있다)은, 한쪽 카메라의 촬상면이, 다른쪽 카메라의 촬상면과 같은 좌표계, 동일 평면상으로 되도록, 한쪽 카메라의 화상에 대해 좌표 변환을 행함에 의해 보정함에 의해 행한다. 또한, 특정한 촬상면과 같은 좌표계, 동일 평면상으로 되도록 양쪽의 촬상면의 화상에 대해 좌표 변환을 걸어도 좋다. 본 실시예와 같은, 한쪽을 수직으로 본, 다른쪽을 경사로 본으로 하는 스테레오 3차원 위치 계측에서는, 카메라(C1)의 경사 화상을 카메라(C0)의 화상과 같은 정면으로 본 화상으로 변환하는 보정을 행한다. 이 보정을 행하면, 대응점 탐색을 행할 때의 카메라(C1)의 화상 상의 에피폴라 라인은 수평 방향으로 된다. 구체적으로는, 사전에 행하는 스테레오 카메라의 교정에 의해, 카메라(C0)의 촬상면의 좌표계와 카메라(C1)의 촬상면의 좌표계의 회전, 병진 관계가 구하여지기 때문에, 이들의 관계를 이용하여 이하의 1)부터 3)의 처리에 의해 편위 수정 화상을 생성한다.

1) 생성된 편위 수정 화상의 화소(i)에 관해 화소의 네모퉁이(A_i, B_i, C_i, D_i)의 좌표 위치로 변환되어야 할 카메라(1)의 화상 상의 좌표(a_i, b_i, c_i, d_i)를 미리 캘리브레이션에 의해 파악하고 있는 관계를 이용하여 산출한다.

2) 카메라(1)의 화상 상의 a_i, b_i, c_i, d_i로 둘러싸인 영역(이하 abcd 영역이라고 한다)의 평균 농도를 구한다. abcd 영역은, 카메라(1)의 복수의 화소(통상, 4개의 화소에 걸친다고 생각된다)에 걸치기 때문에, 각각의 화소의 농도치를, 각 화소에 있어서의 abcd 영역 내에 포함되는 면적의 비율을 중량 부여하여 가산함에 의해, 편위 수정 화상 상의 화소(i)의 농도를 결정한다.

3) 1), 2)의 처리를 생성하려고 하는 편위 수정 화상의 전(全) 화소에 관해 반복한다.

④ 상기한 편위 수정에 의해 얻어진 편위 수정 화상에 대해, ②와 마찬가지로 하여 서브픽셀 단위로 대상물의 위치를 구한다. 이로써, 편위 수정 화상중의 모델 화상의 에지 위치를 서브픽셀로 구할 수 있다.

이 때, 모델 화상의 서치 영역의 설정은, 카메라(C0)의 화상 내에서 매칭된 모델 화상의, 카메라(C0) 화상 상에서의 각 화소 또는 대표 화소의 좌표에 대응하는 에피폴라 라인에 의해 규정되는 범위 내에 설정한다. 에피폴라 라인과 수직한 방향으로 1화소로부터 수화소분의 여유를 주고 서치 영역을 설정하여도 좋다. 검출 거리(카메라와 검출 대상 사이의 거리)가 일정한 범위 내로 제한되는 경우에는, 호모그래피 행렬을 이용하여 그 거리 범위에 대응하는 영역을 산출하고, 그 영역 내 만을 서치하도록 할 수 있다.

⑤ 여기까지의 처리에 의해, 카메라(C0)의 화상 내의 모델 화상의 위치의 좌표와 카메라(1)의 편위 수정 화상 내의 모델 화상의 위치의 좌표는 각각 서브픽셀로 구하여져 있고, 양 화상 내의 서로 대응하는 에지 위치의 좌표도 서브픽셀로 얻어지지만, 3차원 위치 계측을 위해서는, 카메라(1)의 편위 수정 화상에 있어서의 좌표가 아니라, 카메라(1)의 원래의 화상에 있어서의 좌표계에서 대응점을 파악할 필요가 있다. 그 때문에, 보정 화상의 좌표계를 카메라(1)의 좌표계에 역변환한다. 이역변환은 미리 캘리브레이션에 의해 구한 관계를 이용하여 계산에 의해 구한다. 역변환은 계산에 의해 산출되기 때문에, 보정 화상에 있어서의 에지 위치가 서브픽셀로 구하여저 있으면, 역변환에 의해 계산되는 그 에지 위치의 카메라(1) 화상 상의 좌표도 마찬가지로 서브픽셀의 정밀도로 얻어지게 된다. 이 모델 화상의 에지 위치의 서브픽셀 단위의 좌표와, 그것에 대응된 카메라(C0) 화상 상의 에지 위치의 서브픽셀 단위의 좌표로부터 3차원 위치 좌표를 구한다.

또한, ④에서, 모델 화상을 이용하는 대신에, 카메라(C0) 화상의 처리 대상 화상중에서 찾아낸, 모델 화상에 대응하는 카메라(0) 화상 내의 영역을 대응점 탐색용의 모델 화상으로 하여 처리를 행하여도 좋다. 또한, ①에서, 모델 화상의 등록을 행하는 대신에, 카메라(C0)의 처리 대상 화상의 미리 정한 범위의 화상을 매회 추출하고, 그것을 모델 화상 대신에 이용하여 처리를 행하여도 좋다.

또한, 이 실시예에 있어서는, 하나를 정면으로 본 화상으로 하고, 다른쪽을 경사 화상으로 하였지만, 설치하는 카메라의 위치, 각도에 의해 정면으로 본 화상 이 존재하지 않는 경우라도, 동일면상에 투영한 편위 수정 화상을 각각의 카메라의 화상에 관해 얻음으로써, 마찬가지로 서브픽셀 단위로 대응 위치를 구할 수 있음은 물론이다.

본 발명에 의하면, 대상물의 위치를 픽셀 단위로 추출한 후에, 그 위치를 기준으로 한 모델 화상과의 위치 관계에 의거하여, 서브픽셀 단위로의 에지 위치의 차이량을 구하고, 그 차이량에 의해 최초에 구한 대상물의 위치를 수정하기 때문에, 대상물의 위치를 정밀도 좋게 추출하는 것이 가능해진다.

Claims (5)

1. 소정 크기의 농담 화상을 처리 대상으로 하여, 이 처리 대상 화상으로부터 미리 특정된 모델에 대응하는 대상물의 위치를 추출하는 방법에 있어서,

   상기 모델을 촬상하여 얻어진 모델 화상에 대해, 그 화상중의 에지로부터 에지 화소를 추출하는 스텝 A와, 추출된 각 에지 화소에 관해, 각각 그 에지 화소를 기준으로 농도 구배 방향을 검색하여, 서브픽셀 단위로의 에지 위치를 추출하는 스텝 B와, 상기 스텝 B에서 에지 위치가 추출된 에지 화소에 관해, 그 추출 위치 및 추출에 이용한 농도 구배 방향을 해당 에지 화소에 대응시켜서 등록하는 스텝 C를, 미리 실행한 후에, 상기 처리 대상 화상에 대해 제 1, 제 2, 제 3의 각 스텝을 실행하고,

   상기 제 1 스텝에서는, 처리 대상 화상에 대해, 모델 화상과 동일한 사이즈로 설정된 검색 영역을 픽셀 단위로 주사하여, 주사 위치마다 상기 검사 영역의 화상과 모델 화상과의 유사도를 산출하고,

   상기 제 2 스텝에서는, 상기 제 1 스텝에서 산출된 유사도가 최대인 위치에서의 검색 영역을 대응 영역으로 하여 추출하고, 이 추출된 대응 영역으로 검색 영역을 재설정하여, 이 검색 영역에 있어서 상기 서브픽셀 단위로의 에지 위치가 등록되어 있는 모델 화상중의 에지 화소에 대응하는 에지 화소를 추출하고, 추출된 각 에지 화소에 대해, 각각 상기 스텝 B, 및 그 스텝 B에 의해 얻은 서브픽셀 단위로의 에지 위치와 상기 등록된 에지 위치와의 차이량을 산출하는 처리를 실행하고,

   상기 제 3 스텝에서는, 상기 제 2 스텝에서 산출된 차이량에 의해 상기 검색 영역의 설정 위치를 수정하고, 수정 후의 설정 위치를 상기 대상물의 위치로서 특정하는 것을 특징으로 하는 화상 처리 방법.
2. 제 1항에 있어서,

   상기 제 1 스텝에서는, 각 주사 위치에 있어서, 상기 모델 화상의 각 에지 화소에 있어서의 농도 구배 방향의 분포 패턴과 상기 검색 영역 내의 각 에지 화소에 있어서의 농도 구배 방향의 분포 패턴과의 유사도를 산출하는 것을 특징으로 하는 화상 처리 방법.
3. 삭제
4. 제 1항에 기재된 화상 처리 방법에 의해, 시야가 서로 겹쳐지는 복수대의 카메라에 의해 생성된 화상의 각 대상물의 에지 위치를 산출하고, 얻어진 각 화상의 에지 위치에 의거하여 대응하는 위치를 특정하여 대상물의 3차원 계측을 행하는 것을 특징으로 하는 3차원 위치 계측 방법.
5. 농담 화상을 입력하기 위한 화상 입력 수단과,

   상기 화상 입력 수단으로부터 입력한 농담 화상에 관해, 그 화상중의 에지로부터 에지 화소 및 그 에지 화소에 있어서의 농도 구배 방향을 추출하는 에지 추출수단과,

   상기 에지 추출수단의 추출 결과에 의거하여, 상기 농담 화상 상의 에지 화소에 관해, 그 화소를 기준으로 농도 구배 방향을 검색하여, 서브픽셀 단위로의 에지 위치를 추출하는 에지 위치 추출수단과,

   대상물의 모델을 포함하는 모델 화상 및 그 모델 화상으로부터 추출된 데이터를 보존하기 위한 메모리와,

   상기 화상 입력 수단으로부터 상기 모델 화상을 포함하는 화상이 입력된 때, 이 입력 화상에 대한 상기 에지 추출수단 및 에지 위치 추출수단의 처리 결과를 에지 추출수단에 의해 추출된 각 에지 화소에 대응시킨 데이터를 작성하여, 상기 메모리에 등록하는 등록 수단과,

   상기 화상 입력 수단으로부터 상기 모델에 대응하는 대상물을 포함하는 처리 대상 화상이 입력된 때, 처리 대상 화상에 대해, 모델 화상과 동일한 사이즈로 설정된 검색 영역을 픽셀 단위로 주사하여, 주사 위치마다 상기 검색 영역 내의 화상과 모델 화상과의 유사도를 산출하는 유사도 산출 수단과,

   상기 유사도 산출 수단에 의해 산출된 유사도가 최대인 위치에서의 검색 영역을 대응 영역으로 하여 추출하고, 이 추출된 대응 영역으로 상기 검색 영역을 재설정하고, 이 검색 영역에 있어서, 상기 에지 추출수단의 처리 결과에 의거하여, 상기 메모리에 에지 위치가 등록되어 있는 모델 화상중의 에지 화소에 대응하는 에지 화소를 추출하는 대응 에지 화소 추출수단과,

   상기 대응 에지 화소 추출수단에 의해 추출된 에지 화소 및 그 부근의 화상을 상기 에지 위치 추출수단에 처리시켜서, 이 처리에 의해 추출된 서브픽셀 단위의 에지 위치와 상기 메모리에 등록된 에지 위치와의 차이량을 산출하는 차이량 산출 수단과,

   상기 차이량 산출 수단에 의해 산출된 차이량에 의해 상기 검색 영역의 설정 위치를 수정하고, 수정 후의 설정 위치를 상기 대상물의 위치로서 특정하는 위치 특정 수단을 구비하고 있는 것을 특징으로 하는 화상 처리 장치.

Images