KR20210129189A - 타깃 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체 - Google Patents

Abstract

본 발명의 실시예는 타깃 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체를 제공하고, 여기서, 상기 타깃 검출 방법은 검출될 이미지를 획득하는 단계(S201); 상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계(S202) - 꼭짓점은 상기 검출될 이미지에서의 타깃 대상의 위치를 나타냄; 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하는 단계(S203)를 포함한다.

Description

타깃 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체

[관련 출원에 대한 상호 참조]

본 출원은 출원 번호가 202010073142.6이고, 출원일이 2020년 1월 22일 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 발명은 이미지 인식 기술분야에 관한 것으로서, 구체적으로, 타깃 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

타깃 검출은 컴퓨터 시각에서의 중요한 기초문제이고, 많은 컴퓨터 시각의 응용은 모두 타깃 검출에 의존하고 있으며, 예를 들어 자율주행, 영상 모니터링 및 모바일 엔터테인먼트가 있다.

타깃 검출을 진행할 경우, 주요 작업은 검출 프레임을 사용하여 이미지에서 물체의 위치를 표시하는 것이고, 상기 과정은 물체 키 포인트의 타깃 탐지 알고리즘에 기반하여 이미지에서의 물체의 위치를 결정할 수 있으며, 이미지에서의 모든 물체 키 포인트를 결정한 후, 동일한 물체에 속하는 물체 키 포인트를 매칭함으로써 물체의 검출 프레임을 얻는다.

그러나 이미지에 유사한 모양의 물체가 여러 개 포함되어 있는 경우, 모양이 유사한 물체에 대응되는 물체의 키 포인트 간의 일치도가 비교적 높아, 잘못된 검출 결과를 유발하기 쉽고, 예를 들어 검출 결과가 동일한 검출 프레임에서의 여러 물체를 포함할 수가 있고, 따라서 현재의 타깃 검출 방법은 검출 정확도가 비교적 낮다.

본 발명의 실시예는 적어도 하나의 타깃 검출 방안을 제공한다.

본 발명의 실시예의 제1 측면에 따르면,타깃 검출 방법을 제공하고, 상기 방법은,

검출될 이미지를 획득하는 단계;

상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서(centripetal shift tensor)를 결정하는 단계 - 꼭짓점은 상기 검출될 이미지에서의 타깃 대상의 위치를 나타냄 - ; 및

각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하는 단계를 포함한다.

본 발명의 실시예에서 제공한 방법은 검출될 이미지를 획득한 후, 먼저 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정해야 하는데, 이는 꼭짓점은 이미지에서의 주요 특징점이기 때문에, 검출될 이미지에서의 꼭짓점의 위치 정보는 각 타킷 대상이 검출될 이미지에서의 위치를 나타낼 수 있으며, 예를 들어 꼭짓점은 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 포함할 수 있고, 여기서 좌측 상단 꼭짓점은 타깃 대상의 상부 윤곽에 대응되는 선과 타깃 대상의 좌측 윤곽에 대응되는 선의 교차점을 가리키고, 우측 하단 꼭짓점은 타깃 대상의 하부 윤곽에 대응되는 선과 타깃 대상의 우측 윤곽에 대응되는 선의 교차점을 가리키며, 좌측 상단 꼭짓점 및 우측 하단 꼭짓점이 동일한 타깃 대상의 검출 프레임에 속할 경우, 좌측 상단 꼭짓점 및 우측 하단 꼭짓점에 각각 대응되는 구심 시프트 텐서가 가리키는 위치가 비교적 가까울 수가 있고, 따라서, 본 발명의 실시예에서 제기한 타깃 검출 방법은, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 동일한 타깃 대상에 속한 꼭짓점을 결정함으로써, 결정된 꼭짓점에 기반하여 동일한 타깃 대상을 검출할 수 있다.

한 가지 가능한 실시형태에 있어서, 상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계는,

상기 검출될 이미지에 대해 특징 추출을 진행하여, 상기 검출될 이미지에 대응되는 초기 특징맵을 획득하는 단계;

상기 초기 특징맵에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 풀링된 특징맵을 획득하는 단계; 및

상기 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보, 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 획득하는 단계를 포함한다.

본 발명의 실시예에서 제공한 방법은, 상기 검출될 이미지에 대해 특징 추출을 진행하는 것을 통해, 초기 특징맵을 획득하고, 초기 특징맵에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 및 꼭짓점에 대응되는 구심 시프트 텐서를 추출하는 것에 용이한 특징맵을 획득하며, 즉 꼭짓점 풀링된 특징맵을 획득한다.

한 가지 가능한 실시형태에 있어서, 상기 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 획득하는 단계는,

상기 꼭짓점 풀링된 특징맵에 기반하여, 상기 검출될 이미지에 대응되는 꼭짓점 히트맵을 생성하는 단계;

상기 꼭짓점 히트맵에 기반하여, 상기 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값을 결정하고, 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여 상기 꼭지점 히트맵의 특징점에서 상기 꼭짓점을 선별하는 단계;

선별된 각 꼭짓점이 상기 꼭짓점 히트맵에서의 위치 정보 및 각 꼭짓점에 대응되는 로컬 시프트 정보를 획득하는 단계 - 상기 로컬 시프트 정보는 대응되는 꼭짓점이 나타내는 실제 물리점이 상기 꼭짓점 히트맵에서의 위치 시프트 정보를 표시하기 위해 사용됨 - ; 및

획득한 각 꼭짓점이 상기 꼭짓점 히트맵에서의 위치 정보, 각 꼭짓점에 대응되는 로컬 시프트 정보, 및 상기 꼭짓점 히트맵 및 상기 검출될 이미지 간의 크기 비율에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 단계를 포함한다.

본 발명의 실시예에서 제공한 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 방식은, 상기 과정에서 꼭짓점 히트맵을 인용하는 것을 통해, 각 특징점을 꼭짓점으로 사용하는 확률값을 통해 꼭짓점으로 사용될 수 있는 특징점을 결정하고, 꼭짓점을 선택한 후, 꼭짓점이 꼭짓점 히트맵에서의 위치 정보에 대해 수정을 진행하는 것을 통해, 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하고, 상기 방식은 비교적 정확도가 높은 꼭짓점의 꼭짓점 위치 정보를 획득할 수 있음으로써, 후속 상기 꼭짓점에 기반하여 타깃 대상이 검출될 이미지에서의 위치를 검출하는 것에 용이하다.

한 가지 가능한 실시형태에 있어서, 상기 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계는,

상기 꼭짓점 풀링된 특징맵에 기반하여, 상기 꼭짓점 풀링된 특징맵에서의 각 특징점에 대응되는 가이드 시프트 텐서를 결정하는 단계 - 각 특징점에 대응되는 가이드 시프트 텐서는 상기 특징점이 가리키는 상기 검출될 이미지에서의 타깃 대상 중심점의 시프트 텐서를 나타냄 - ;

각 특징점에 대응되는 상기 가이드 시프트 텐서에 기반하여, 상기 특징점의 시프트 도메인 정보를 결정하는 단계 - 상기 시프트 도메인 정보는 상기 특징점과 연관된 복수 개의 초기 특징점이 각각에 대응되는 시프트된 특징점을 각각 가리키는 시프트 텐서를 포함함 - ；

상기 꼭짓점 풀링된 특징맵 및 상기 꼭짓점 풀링된 특징맵에서의 특징점의 시프트 도메인 정보에 기반하여, 상기 꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 조정을 진행하여, 조정된 특징맵을 획득하는 단계 - ; 및

조정된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계를 포함한다.

본 발명의 실시예에서 제공한 구심 시프트 텐서를 결정하는 과정은, 타깃 대상 정보를 고려한 것을 통해, 예를 들어 꼭짓점에 대응되는 가이드 시프트 텐서 및 특징점의 시프트 도메인 정보를 인용하여, 꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 조정을 진행하여, 획득한 조정된 특징맵에서의 특징점의 특징 데이터가 더 풍부한 타깃 대상 정보를 포함함으로써, 각 꼭짓점에 대응되는 더욱 정확한 구심 시프트 텐서를 결정할 수 있고, 정확한 구심 시프트 텐서를 통해, 꼭짓점이 가리키는 정확한 중심점 위치 정보를 획득할 수 있음으로써, 타깃 대상이 검출될 이미지에서의 위치를 정확하게 검출할 수 있다.

한 가지 가능한 실시형태에 있어서, 상기 검출될 이미지에 대응되는 꼭짓점 히트맵은 복수 개 채널에 각각 대응되는 꼭짓점 히트맵을 포함하고, 상기 복수 개 채널에서의 각 채널은 한가지 사전 설정 대상 카테고리에 대응하며; 상기 꼭짓점 히트맵에 기반하여, 상기 꼭짓점 히트맵에서 각 특징점을 꼭짓점으로 사용하는 확률값을 결정한 후, 상기 검출 방법은,

상기 복수 개 채널에서의 각 채널에 대해, 상기 채널에 대응되는 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 상기 채널에 대응되는 꼭짓점 히트맵에 상기 꼭짓점이 존재하는지 여부를 결정하는 단계; 및

상기 채널에 대응되는 꼭짓점 히트맵에 상기 꼭짓점이 존재할 경우, 상기 검출될 이미지에 상기 채널에 대응되는 사전 설정 대상 카테고리의 타깃 대상이 포함되는 단계를 더 포함한다.

본 발명의 실시예에서 제공한 방법은, 꼭짓점 풀링된 특징맵을 꼭짓점 히트맵 예측 네트워크에 입력하는 것을 통해, 사전 채널 갯수를 포함한 꼭짓점 히트맵을 획득하고, 각 채널에 대응되는 꼭짓점 히트맵에서의 꼭짓점 존재하는지 여부를 통함으로써, 검출될 이미지에 상기 채널에 대응되는 카테고리의 타깃 대상의 존재하는지 여부를 결정할 수 있다.

한 가지 가능한 실시형태에 있어서, 상기 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하는 단계는,

상기 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하는 단계를 포함한다.

본 발명의 실시예에서 제공한 방법은, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 각 타깃 대상의 검출 프레임을 결정하고, 각 타깃 대상이 검출될 이미지에서의 위치 정보를 획득할 수 있다.

한 가지 가능한 실시형태에 있어서, 상기 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하는 단계는,

각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 후보 검출 프레임을 구성할수 있는 후보 꼭짓점 페어를 선별하는 단계;

각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 꼭짓점이 가리키는 중심점 위치 정보를 결정하는 단계;

각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하는 단계; 및

각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정하는 단계를 포함한다.

본 발명의 실시예에서 제기한 타깃 대상의 검출 프레임을 결정하는 방식은, 꼭짓점의 꼭짓점 위치 정보를 통해 먼저 후보 검출 프레임을 구성하는 후보 꼭짓점 페어를 결정한 다음, 상기 후보 꼭짓점 페어에서 각 꼭짓점에 각각 대응되는 구심 시프트 텐서에 기반하여, 후보 검출 프레임이 둘러싼 타깃 대상이 동일한 타깃 대상인지를 판단함으로써, 검출될 이미지에서의 모든 타깃 대상의 검출 프레임을 비교적 정확하게 검출할 수 있다 .

한 가지 가능한 실시형태에 있어서, 상기 각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하는 단계는,

상기 후보 꼭짓점 페어에서 각 꼭짓점의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임을 나타내는 꼭짓점 위치 정보를 결정하는 단계; 및

상기 중심 영역 프레임의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 좌표 범위를 결정하는 단계를 포함한다.

한 가지 가능한 실시형태에 있어서, 상기 각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정하는 단계는,

각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 유효 후보 꼭짓점 페어를 결정하는 단계;

상기 유효 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보, 상기 유효 후보 꼭짓점 페어에 대응되는 중심 영역 정보, 및 상기 유효 후보 꼭짓점 페어에서 각 꼭짓점에 대응되는 확률값에 기반하여, 각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수를 결정하는 단계 - 각 꼭짓점에 대응되는 확률값은 상기 꼭짓점이 꼭짓점 히트맵에 대응되는 특징점을 꼭짓점으로 사용하는 확률값을 표시하기 위해 사용됨 - ; 및

각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수 및 인접 후보 검출 프레임 간의 중첩 영역 크기에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정하는 단계를 포함한다.

본 발명의 실시예에서 제공한 방법은, 후보 검출 프레임을 구성하는 후보 꼭짓점 페어에 대해 유효선별을 실시하는 것을 통해, 하나의 타깃 대상 후보만을 나타내는 후보 검출프레임을 선별하는 것을 결정한 다음, 이러한 하나의 타깃 대상 후보만을 나타내는 후보 검출프레임에 대해 연식 비극대 억제 선별을 실시함으로써, 정확한 타깃 대상을 나타내는 검출 프레임을 획득한다.

한 가지 가능한 실시형태에 있어서, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정한 후, 상기 타깃 검출 방법은,

상기 타깃 대상의 검출 프레임 및 상기 검출될 이미지에 대해 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하는 단계를 더 포함한다.

본 발명의 실시예에서 제공한 방법은, 타깃 대상의 인스턴스 정보를 결정할 수 있고, 여기서 인스턴스는 이미지에서의 타깃 대상에 인스턴스 분할을 실시한 후, 픽셀 층면에서 각 타깃 대상의 픽셀을 제공하는 것을 가리키며, 인스턴스 분할은 물체의 가장자리까지 정확함으로써, 타깃 대상이 검출될 이미지에서 더욱 정확한 위치 정보를 획득할 수 있다.

한 가지 가능한 실시형태에 있어서, 상기 타깃 대상의 검출 프레임 및 상기 검출될 이미지에 대해 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하는 단계는,

상기 타깃 대상의 검출 프레임 및 상기 초기 특징맵에 기반하여, 상기 초기 특징맵이 상기 검출 프레임 내에서의 특징점의 특징 데이터를 추출하는 단계; 및

상기 초기 특징맵이 상기 검출 프레임 내에서의 특징점의 특징 데이터에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하는 단계를 포함한다.

한 가지 가능한 실시형태에 있어서, 상기 타깃 검출 방법은 신경 네트워크를 통해 구현되고, 상기 신경 네트워크는 라벨링 타깃 샘플 대상을 포함하는 샘플 이미지를 이용하여 훈련하여 획득한 것이다.

한 가지 가능한 실시형태에 있어서, 상기 신경 네트워크는,

샘플 이미지를 획득하는 단계;

상기 샘플 이미지에 기반하여, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계 - 상기 샘플 꼭짓점은 상기 샘플 이미지에서의 타깃 샘플 대상의 위치를 나타냄 - ;

각 샘플 꼭짓점이 상기 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 샘플 이미지에서의 타깃 대상을 예측하는 단계; 및

예측된 상기 샘플 이미지에서의 타깃 샘플 대상 및 상기 샘플 이미지에서의 라벨링 타깃 샘플 대상에 기반하여, 상기 신경 네트워크의 네트워크 파라미터 값에 대해 조절을 진행하는 단계를 사용하여 훈련하여 획득된 것이다.

본 발명의 실시예에서 제공한 신경 네트워크의 훈련방법은, 샘플 이미지를 획득하는 것을 통해, 상기 샘플 이미지에 기반하여, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보, 및 각 샘플 꼭짓점에 각각 대응되는 구심 시프트 텐서를 결정함으로써, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 샘플 이미지에서의 타깃 샘플 대상을 검출하는데, 이는 샘플 꼭짓점은 이미지에서의 주요 특징점을 가리키기 때문이며, 예를 들어 샘플 꼭짓점은 좌측 상단 샘플 꼭짓점 및 우측 하단 샘플 꼭짓점을 포함할 수 있고, 여기서, 좌측 상단 샘플 꼭짓점은 타깃 샘플 대상의 상부 윤곽에 대응되는 선과 타깃 샘플 대상의 좌측 윤곽에 대응되는 선의 교차점을 가리키고, 우측 하단 샘플 꼭짓점은 타깃 샘플 대상의 하부 윤곽에 대응되는 선과 타깃 샘플 대상의 우측 윤곽에 대응되는 선의 교차점을 가리키며, 좌측 상단 샘플 꼭짓점과 우측 하단 샘플 꼭짓점이 동일한 타깃 샘플 대상의 검출 프레임에 속할 경우, 좌측 상단 샘플 꼭짓점 및 우측 하단 샘플 꼭짓점에 각각 대응되는 구심 시프트 텐서가 가리키는 위치가 비교적 가까울 수가 있기에, 따라서, 본 발명의 실시예에서 제기한 신경 네트워크의 훈련방법은, 타깃 샘플 대상의 샘플 이미지에서의 위치를 나타내는 꼭짓점의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 동일한 타깃 샘플 대상에 속하는 샘플 꼭짓점을 결정함으로써, 결정된 샘플 꼭짓점에 기반하여 상기 동일한 타깃 샘플 대상을 검출할수 있으며, 다음 계속하여 샘플 이미지에서의 라벨링 대상에 기반하여, 계속하여 신경 네트워크 파라미터 값을 조절하는 것을 통함으로써, 정확도가 비교적 높은 신경 네트워크를 획득할 수 있고, 상기 정확도가 비교적 높은 신경 네트워크에 기반하여 타깃 대상을 정확하게 검출할 수 있다. 본 발명의 실시예의 제2 측면에 따르면, 타깃 검출 장치를 제공하고, 상기 장치는,

검출될 이미지를 획득하도록 구성된 획득부;

상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하도록 구성된 결정부 - 꼭짓점은 상기 검출될 이미지에서의 타깃 대상의 위치를 나타냄 - ;

각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하도록 구성된 검출부를 포함한다.

한 가지 가능한 실시형태에 있어서, 상기 결정부는,

상기 검출될 이미지에 대해 특징을 추출 진행하여, 상기 검출될 이미지에 대응되는 초기 특징맵을 획득하고;

상기 초기 특징맵에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 풀링된 특징맵을 획득하며;

상기 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보, 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 결정부가 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하도록 구성될 경우, 상기 결정부는,

상기 꼭짓점 풀링된 특징맵에 기반하여, 상기 검출될 이미지에 대응되는 꼭짓점 히트맵을 생성하고;

상기 꼭짓점 히트맵에 기반하여, 상기 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값을 결정하고, 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 상기 특징점에서 상기 꼭짓점을 선별하고;

선별된 각 꼭짓점이 상기 꼭짓점 히트맵에서의 위치 정보 및 각 꼭짓점에 대응되는 로컬 시프트 정보를 획득하며 - 상기 로컬 시프트 정보는 대응되는 꼭짓점이 나타내는 실제 물리점이 상기 꼭짓점 히트맵에서의 위치 시프트 정보를 표시하기 위해 사용됨 - ;

획득한 각 꼭짓점이 상기 꼭짓점 히트맵에서의 위치 정보, 각 꼭짓점에 대응되는 로컬 시프트 정보, 및 상기 꼭짓점 히트맵 및 상기 검출될 이미지 간의 크기 비율에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 결정부가 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정할 경우, 상기 결정부는,

상기 꼭짓점 풀링된 특징맵에 기반하여, 상기 꼭짓점 풀링된 특징맵에서의 각 특징점에 대응되는 가이드 시프트 텐서를 결정하고 - 각 특징점에 대응되는 가이드 시프트 텐서는 상기 검출될 이미지에서 상기 특징점이 타깃 대상 중심점을 가리키는 시프트 텐서를 나타냄 - ;

각 특징점에 대응되는 가이드 시프트 텐서에 기반하여, 상기 특징점의 시프트 도메인 정보를 결정하며 -상기 시프트 도메인 정보는 상기 특징점과 연관된 복수 개의 초기 특징점이 각각에 대응되는 시프트된 특징점을 각각 가리키는 시프트 텐서를 포함함 - ；

상기 꼭짓점 풀링된 특징맵 및 상기 꼭짓점 풀링된 특징맵에서의 특징점의 시프트 도메인 정보에 기반하여, 상기 꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 조정을 진행하여, 조정된 특징맵을 획득하며;

조정된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 검출될 이미지에 대응되는 꼭짓점 히트맵은 복수 개 채널에 각각 대응되는 꼭짓점 히트맵을 포함하고, 상기 복수 개 채널에서의 각 채널은 한가지 사전 설정 대상 카테고리에 대응하며; 상기 결정부가 상기 꼭짓점 히트맵에 기반하여, 상기 꼭짓점 히트맵에서 각 특징점을 꼭짓점으로 사용하는 확률값을 결정하도록 구성된 후, 상기 결정부는 또한,

상기 복수 개 채널에서의 각 채널에 대해, 상기 채널에 대응되는 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 상기 채널에 대응되는 꼭짓점 히트맵에 상기 꼭짓점 존재하는지 여부를 결정하고,

상기 채널에 대응되는 꼭짓점 히트맵에 상기 꼭짓점이 존재할 경우, 상기 검출될 이미지에 상기 채널에 대응되는 사전 설정 대상 카테고리의 타깃 대상이 포함된다고 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 검출부는,

상기 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 검출부가 상기 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하도록 구성될 경우, 상기 검출부는,

각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 후보 검출 프레임을 구성할수 있는 후보 꼭짓점 페어를 선별하고,

각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 꼭짓점이 가리키는 중심점 위치 정보를 결정하고;

각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하며;

각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 검출부가 각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하도록 구성될 경우, 상기 검출부는,

상기 후보 꼭짓점 페어에서 각 꼭짓점의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임을 나타내는 꼭짓점 위치 정보를 결정하고;

상기 중심 영역 프레임의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 좌표 범위를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 검출부가 상기 각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정도록 구성될 경우, 상기 검출부는,

각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 유효 후보 꼭짓점 페어를 결정하고;

상기 유효 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보, 상기 유효 후보 꼭짓점 페어에 대응되는 중심 영역 정보, 및 상기 유효 후보 꼭짓점 페어에서 각 꼭짓점에 대응되는 확률값에 기반하여, 각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수를 결정하며 - 각 꼭짓점에 대응되는 확률값은 꼭짓점 히트맵에 대응되는 특징점을 꼭짓점으로 사용하는 확률값을 표시하기 위해 사용됨 - ;

각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수 및 인접 후보 검출 프레임 간의 중첩 영역 크기에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 검출부는 또한,

상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정한 후, 상기 타깃 대상의 검출 프레임 및 상기 검출될 이미지에 대해 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 검출부가 상기 타깃 대상의 검출 프레임 및 상기 검출될 이미지에 대해 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하도록 구성될 경우,상기 검출부는,

상기 타깃 대상의 검출 프레임 및 상기 초기 특징맵에 기반하여, 상기 초기 특징맵이 상기 검출 프레임 내에서의 특징점의 특징 데이터를 추출하고;

상기 초기 특징맵이 상기 검출 프레임 내에서의 특징점의 특징 데이터에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 상기 타깃 검출장치는 신경 네트워크 훈련부를 더 포함하고, 상기 신경 네트워크 훈련부는,

타깃 검출을 진행하기 위한 신경 네트워크를 훈련하도록 구성된다 - 상기 신경 네트워크는 라벨링 타깃 샘플 대상을 포함한 샘플 이미지를 이용하여 훈련하여 획득함 - ;

한 가지 가능한 실시형태에 있어서, 상기 신경 네트워크 훈련부는,

샘플 이미지를 획득하고;

상기 샘플 이미지에 기반하여, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서를 결정하고 - 상기 샘플 꼭짓점은 상기 샘플 이미지에서의 타깃 샘플 대상의 위치를 나타냄 - ;

각 샘플 꼭짓점이 상기 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 샘플 이미지에서의 타깃 대상을 예측하며;

예측된 상기 샘플 이미지에서의 타깃 샘플 대상 및 상기 샘플 이미지에서의 라벨링 타깃 샘플 대상에 기반하여, 상기 신경 네트워크의 네트워크 파라미터 값에 대해 조절을 진행하도록 구성된다.

본 발명의 실시예의 제3 측면에 따르면, 전자 기기를 제공하고, 상기 전자 기기는, 프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되어 있으며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 상기 제1 측면의 타깃 검출 방법 단계를 실행한다.

본 발명의 실시예의 제4 측면에 따르면, 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 제1 측면의 타깃 검출 방법 단계를 실행한다.

본 발명의 실시예의 제5 측면에 따르면, 컴퓨터 판독 가능 코드를 포함한 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 제1 측면의 타깃 검출 방법 단계를 구현하기 위한 것이다.

본 발명의 상기 특징 및 장점이 더욱 선명해지고 이해하기 쉬워지도록 하기 위해, 아래에 비교적 바람직한 실시예를 예를 들고, 첨부 도면과 배합하여, 상세하게 설명하고자 한다.

본 발명의 실시예의 기술방안을 더욱 선명하게 설명하기 위해, 아래에 실시예에서 사용되어야 하는 도면을 간단하게 설명하고, 이 곳의 도면은 명세서의 일부분으로서 명세서 전체를 구성하며, 이러한 도면은 본 발명에 부합되는 실시예를 도시하며, 명세서와 함께 본 발명의 기술방안을 설명하기 위한 것이다. 이해해야 할 것은, 아래의 도면은 본 발명의 일부 실시예만 도시할 뿐이므로, 범위에 대한 한정으로 간주되어서는 안되며, 본 분야의 기술자는 창조성 노동을 부여하지 않는 전제 하에서도, 이러한 도면에 따라 다른 연관된 도면을 획득할 수 있다.
도 1은 검출될 이미지에 대해 검출을 진행 할 경우 획득된 결과 예시도이다.
도 2는 본 발명의 실시예에서 제공한 예시적인 타깃 검출 방법의 흐름도이다.
도 3은 본 발명의 실시예에서 제공한 꼭짓점 위치 정보 및 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 흐름도이다.
도 4는 본 발명의 실시예에서 제공한 꼭짓점 위치 정보 및 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 다른 흐름도이다.
도 5는 본 발명의 실시예에서 제공한 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 흐름도이다.
도 6은 본 발명의 실시예에서 제공한 예시적인 특징 조정 네트워크가 꼭짓점 풀링된 특징맵을 조절하는 흐름도이다.
도 7은 본 발명의 실시예에서 제공한 타깃 대상의 카테고리를 결정하는 흐름도이다.
도 8은 본 발명의 실시예에서 제공한 타깃 대상의 검출 프레임을 결정하는 흐름도이다.
도 9는 본 발명의 실시예에서 제공한 각 후보 꼭짓점 페어에 기반하여 타깃 대상의 검출 프레임을 결정하는 흐름도이다.
도 10은 본 발명의 실시예에서 제공한 예시적인 타깃 검출 방법에 대응되는 흐름도이다.
도 11은 본 발명의 실시예에서 제공한 신경 네트워크의 훈련방법의 흐름도이다.
도 12는 본 발명의 실시예에서 제공한 타깃 검출 장치의 구조 예시도이다.
도 13은 본 발명의 실시예에서 제공한 전자 기기의 구조 예시도이다.

본 발명의 기술적 해결수단 및 장점을 더욱 명확하게 하기 위해, 아래에, 본 발명의 실시예에서의 도면과 결합하여, 본 발명의 실시예에서의 기술적 해결수단에 대해 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명의 전부 실시예가 아닌 일부 실시예일 뿐임은 자명한 것이다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 보호 범위를 한정하려는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 획득한 다른 실시예는 전부 본 발명의 실시예의 보호 범위에 속해야 한다.

이미지에 대해 타깃 검출을 진행할 경우, 상기 이미지에 복수 개의 유사한 타깃 대상이 포함될 경우, 도 1에 도시된 바와 같이, 상기 이미지에 복수 개의 유사한 비행기가 존재할 경우, 비행기에 기반한 키 포인트를 사용하여 이미지에서의 비행기에 대해 검출을 진행할 경우, 도1에서의 검출 프레임 (1) 및 검출 프레임 (2)이 도시된 상황이 나타나기 쉽고, 동일한 검출 프레임에 복수 개의 비행기가 포함될 경우, 검출 에러가 나타나고, 현재 이미지에서의 타깃 대상에 대해 검출을 진행 할 경우, 검출 결과의 정학도가 비교적 낮기에, 이에 대해, 발명의 실시예에서 제공한 타깃 검출 방법은, 검출 결과의 정확도를 높일수 있다.

상기 연구에 기반하여 본 발명의 실시예에서 제공한 타깃 검출 방법은, 검출될 이미지를 획득한 후, 먼저 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정해야 하는데, 이는 꼭짓점은 이미지에서의 주요 특징점이기 때문에, 검출될 이미지에서의 꼭짓점의 위치 정보는 각 타킷 대상이 검출될 이미지에서의 위치를 나타낼 수 있으며, 예를 들어 꼭짓점은 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 포함할 수 있고, 여기서 좌측 상단 지점은 타깃 대상의 상부 윤곽에 대응되는 선과 타깃 대상의 좌측 윤곽에 대응되는 선의 교차점을 가리키고, 우측 하단 꼭짓점은 타깃 대상의 하부 윤곽에 대응되는 선과 타깃 대상의 우측 윤곽에 대응되는 선의 교차점을 가리키며, 좌측 상단 꼭짓점과 우측 하단 꼭짓점이 동일한 타깃 대상의 검출 프레임 일 경우, 좌측 상단 꼭짓점과 우측 하단 꼭짓점에 각각 대응되는 구심 시프트 텐서가 가리키는 위치가 비교적 가까울 수가 있기에, 본 발명의 실시예가 제공한 타깃 검출 방법은, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 동일한 타깃 대상에 속한 꼭짓점을 결정함으로써, 결정된 꼭짓점을 기반하여 동일한 타깃 대상을 검출할 수 있다.

아래에 본 발명의 실시예에서의 도면을 참조하여, 본 발명의 실시예에서의 기술 방안을 명확하고 완전하게 설명하며, 설명된 실시예는 본 발명 실시예 중 일부일 뿐이며, 모든 실시예가 아닌 것은 명백하다. 일반적으로 이곳의 도면에서 설명되고 도시된 본 발명의 실시예의 컴포넌트는 다양한 상이한 구성으로 배치되고 설계될 수 있다. 따라서, 아래에 도면에서 제공한 본 발명의 실시예의 상세한 설명은 본 발명의 실시예의 보호 범위를 한정하는 것이 아닌 본 발명의 선택된 실시예를 나타내기 위한 것이다. 본 발명의 실시예에 기반하여, 본 분야 기술자가 창조성 노동 없이 획득한 다른 실시예는 전부 본 발명의 실시예의 보호 범위에 속해야 한다.

유의해야 할 것은, 유사한 부호 및 문자는 아래의 도면에서 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 정의 및 해석을 진행할 필요가 없다.

본 발명의 실시예의 이해를 돕기 위해, 먼저 본 발명의 실시예가 공개한 타깃 검출 방법에 대해 상세히 소개하고, 본 발명의 실시예에서 제공한 타깃 검출 방법의 실행 주체는 일반적으로 일정한 계산 능력을 가진 컴퓨터 기기이고, 상기 컴퓨터 기기는 단말 기기 또는 서버 또는 기타 처리 기기를 포함한다. 일부 가능한 구현 방식에 있어서, 상기 타깃 검출 방법은 프로세서가 메모리에 저장된 컴퓨터 판독 가능한 명령어를 호출하는 방식을 통해 구현될 수 있다.

도 2에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 타깃 검출 방법의 흐름도이고, 상기 방법은 단계 S201 내지 단계 203을 포함한다.

단계 S201에 있어서, 검출될 이미지를 획득한다.

여기서 검출될 이미지는 특정 환경에 대한 검출될 이미지일 수 있고, 예를 들어 특정된 교통입구의 차량에 대해 검출을 진행할 경우, 상기 교통입구에 카메라를 설치 할수 있고, 카메라로 상기 교통입구의 일정한 시간내의 비디오 스트림을 채집한 후, 상기 비디오 스트림에 대해 프레이밍 처리를 진행하여, 검출될 이미지 획득하며; 또는 특정된 동물원의 동물에 대해 검출을 진행하여, 상기 동물원내에 카메라를 설치할 수 있고, 카메라로 상기 동물원의 일정한 시간내의 비디오 스트림을 채집한 다음, 상기 비디오 스트림에 대해 프레이밍 처리를 진행하여, 검출될 이미지를 획득한다.

여기서, 검출될 이미지는 타깃 대상을 포함할 수 있고, 여기서 타깃 대상은 특정 환경하의 검출될 대상을 가리키고, 예를 들어, 전술한 바와 같이 특정된 교통입구의 차량, 및 특정된 동물원의 동물이고, 타깃 대상을 포함하지 않을수도 있으며, 타깃 대상을 포함하지 않는 경우, 검출 결과는 엠프티이고, 본 발명의 실시예는 타깃 대상을 포함하는 검출될 이미지에 대해 설명을 진행한다

단계 S202에 있어서, 검출될 이미지에 기반하여, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하고, 여기서, 꼭짓점은 검출될 이미지에서의 타깃 대상의 위치를 나타낸다.

타깃 대상이 검출될 이미지에서의 위치는 검출 프레임을 통해 표시할 수 있고, 본 발명의 실시예는 꼭짓점을 통해 타깃 대상이 검출될 이미지에서의 위치를 나타내고, 여기서 꼭짓점은 검출 프레임의 꼭짓점일 수 있고, 예를 들어 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 통해 타깃 대상이 검출될 이미지에서의 위치를 나타내고, 좌측 상단 꼭짓점은 검출 프레임의 좌측 상단 꼭짓점이고, 우측 하단 꼭짓점은 검출 프레임의 우측 하단 꼭짓점이며, 여기서, 좌측 상단 꼭짓점은 대응 타깃 대상 상부 윤곽에 대응되는 선과 대응 타깃 대상 좌측 윤곽에 대응되는 선의 교차점을 가리키고, 우측 하단 꼭짓점은 대응 타깃 대상 하부 윤곽에 대응되는 선과 대응 타깃 대상 우측 윤곽에 대응되는 선의 교차점을 가리킨다.

물론, 좌측 상단 꼭짓점과 우측 하단 꼭짓점을 통해 타깃 대상의 위치를 나타내는 것에 제한된 것이 아니라, 우측 상단 꼭짓점과 좌측 하단 꼭짓점을 통해서도 타깃 대상의 위치를 나타낼수 있고, 본 발명의 실시예는 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 예로 들어 설명했다.

여기서 구심 시프트 텐서는 꼭짓점이 타깃 대상 중심 위치에 향하는 시프트 텐서를 가리키고, 이는 검출될 이미지가 2차원 이미지이기 때문에, 여기서 구심 시프트 텐서는 양방향에서의 시프트 값을 포함하고, 이 양방향이 각각 X축방향 및 Y축방향일 경우, 상기 구심 시프트 텐서는 X축 방향에서의 시프트 값, 및 Y축 방향에서의 시프트 값을 포함한다. 꼭짓점 및 상기 꼭짓점에 대응되는 구심 시프트 텐서를 통해, 상기 꼭짓점이 가리키는 중심 위치를 결정할 수 있고, 좌측 상단 꼭짓점 및 우측 하단 꼭짓점이 동일한 검출 프레임에 위치해 있을 경우, 가리키는 중심 위치는 같거나, 유사해야 하고, 따라서 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 동일한 타깃 대상에 속하는 꼭짓점을 결정함으로써, 결정된 꼭짓점에 기반하여 타깃 대상의 검출 프레임을 결정할 수 있다.

본 발명의 실시예는 신경 네트워크를 통해 꼭짓점 및 꼭짓점에 대응되는 구심 시프트 텐서를 결정하고, 아래의 실시예를 결합하여 반복 설명한다.

단계 S203에 있어서, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 검출될 이미지에서의 타깃 대상을 결정한다.

여기서, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보는 복수 개 꼭짓점에서 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 가리키고, 각 꼭짓점에 대응되는 구심 시프트 텐서는 상기 복수 개 꼭짓점에서의 각 꼭짓점에 각각 대응되는 구심 시프트 텐서를 가리킨다.

여기서 검출될 이미지에서 타깃 대상을 검출하는 것은, 타깃 대상의 위치를 검출하는 것을 포함할 수 있고, 예를 들어 검출될 이미지에서 타깃 대상의 검출 프레임을 결정할 수 있고, 검출될 이미지에서 타깃 대상의 인스턴스 정보를 결정할 수 있으며, 또는 검출될 이미지에서 타깃 대상의 검출 프레임 및 인스턴스 정보를 동시에 결정하고, 검출될 이미지에서의 타깃 대상의 결정방법은, 아래에 상세하게 해석할 것이다.

상기 단계 S201 내지 단계 S203가 제공한 타깃 검출 방법은, 검출될 이미지를 획득한 후, 먼저 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정해야 하는데, 이는 꼭짓점은 이미지에서의 주요 특징점이기 때문에, 검출될 이미지에서의 꼭짓점의 위치 정보는 각 타킷 대상이 검출될 이미지에서의 위치를 나타낼 수 있으며, 예를 들어 꼭짓점은 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 포함할 수 있고, 여기서 좌측 상단 꼭짓점은 타깃 대상의 상부 윤곽에 대응되는 선과 타깃 대상의 좌측 윤곽에 대응되는 선의 교차점을 가리키고, 우측 하단 꼭짓점은 타깃 대상의 하부 윤곽에 대응되는 선과 타깃 대상의 우측 윤곽에 대응되는 선의 교차점을 가리키며, 좌측 상단 꼭짓점 및 우측 하단 꼭짓점이 동일한 타깃 대상의 검출 프레임에 속할 경우, 좌측 상단 꼭짓점 및 우측 하단 꼭짓점에 각각 대응되는 구심 시프트 텐서가 가리키는 위치가 비교적 가까울 수가 있기에, 따라서, 본 발명의 실시예가 제공한 타깃 검출 방법은, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 동일한 타깃 대상에 속한 꼭짓점을 결정함으로써, 결정된 꼭짓점에 기반하여 동일한 타깃 대상을 검출할 수 있다.

다음은 상기 단계 S201 내지 단계 S203에 대해 계속하여 설명한다.

상기 단계 S202에 대한 한 가지 실시형태에 있어서, 검출될 이미지에 기반하여, 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 경우, 도 3에 도시된 바와 같이, 아래와 같은 단계 S301 내지 단계303을 포함할 수 있다.

단계 S301에 있어서, 검출될 이미지에 대해 특징 추출을 진행하여, 검출될 이미지에 대응되는 초기 특징맵을 획득한다.

단계 S301에 있어서, 상기 초기 특징맵에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 풀링된 특징맵을 획득한다.

단계 S303에 있어서, 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보, 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정한다.

여기서 검출될 이미지의 크기는 일정하고, 예를 들어 크기가 H*W일 경우, 여기서 H 및 W는 각각 검출될 이미지에서 길이 및 너비 방향에서의 픽셀값을 표시하고, 다음 상기 검출될 이미지를 사전 훈련된 모래시계 컨볼루션 신경 네트워크에 입력하여 특징을 추출을 진행하여, 예를 들어 텍스처 특징 추출, 색깔 특징 추출, 가장자리 특징 추출 등, 상기 검출될 이미지에 대응되는 초기 특징맵을 획득할 수 있다.

물론, 모래시계 컨볼루션 신경 네트워크의 입력단은 이미지 크기에 요구가 있기 때문에, 수신 설정 크기의 검출될 이미지, 검출될 이미지의 크기가 상기 설정 크기에 부합되지 않을 경우, 먼저 검출될 이미지의 크기에 대해 조절을 진행한 다음, 크기가 조절된 검출될 이미지를 상기 모래시계 컨볼루션 신경 네트워크에 다시 입력하여, 특징 추출 및 크기 압축을 진행하면, 크기가 h*w*c의초기 특징맵을 획득할 수 있고, 여기서 c는 초기 특징맵의 채널 갯수, h 및 w는 각 채널의 초기 특징맵의 크기를 표시한다.

초기 특징맵은 복수 개 특징점을 포함하고, 각 특징점은 모두 특징 데이터를 가지고, 이러한 특징 데이터는 검출될 이미지의 전역 정보를 표시하며, 이러한 특징점에서 꼭짓점 추출에 용이하기 위해, 본 발명의 실시예는 초기 특징맵에 대해(Corner Pooling) 꼭짓점 풀링을 진행할 것을 제기하여, 꼭짓점 풀링된 특징맵을 획득하고, 꼭짓점 풀링된 특징맵은 초기 특징맵에 비해, 꼭짓점이 내포한 타깃 대상의 의미정보를 향상시키기에, 따라서 꼭짓점 풀링된 특징맵에 기반하여, 검출될 이미지에서의 각 꼭짓점의 꼭짓점 위치 정보, 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 더 정확하게 결정할 수 있다.

여기서, 상기 검출될 이미지에 대해 특징 추출을 진행하는 것을 통해, 초기 특징맵을 획득하고, 초기 특징맵에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 및 꼭짓점에 대응되는 구심 시프트 텐서의 특징맵을 추출하는 것에 용이한 특징맵을 획득하고, 즉 꼭짓점 풀링된 특징맵을 획득한다.

꼭짓점 풀링된 특징맵을 획득한 후, 상기 꼭짓점 풀링된 특징맵 및 사전 훈련된 신경 네트워크에 기반하여, 꼭짓점이 존재하는지 여부를 결정할 수 있고, 꼭짓점이 존재할 경우, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하며, 본 발명의 실시예는 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 통해 타깃 대상이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하고, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 과정은, 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보, 및 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 과정일 수 있으며, 여기서, 좌측 상단 꼭짓점 검출 네트워크를 통해 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 검출할 수 있고, 및 우측 하단 꼭짓점 검출 네트워크를 통해 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 검출할 수 있는데, 이는 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보와 유사하기 때문이며, 본 발명의 실시예는 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정한 것을 예를 들어 상세히 설명하도록 한다.

일 실시 방식에 있어서, 좌측 상단 꼭짓점 검출 네트워크는 좌측 상단 꼭짓점 히트맵 예측 네트워크 및 좌측 상단 꼭짓점 로컬 시프트 예측 네트워크를 포함할 수 있고, 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보가 결정될 경우, 도 4에 도시된 바와 같이, 아래와 같은 단계 S401 내지 단계 S404를 포함할 수 있다.

단계 S401에 있어서, 꼭짓점 풀링된 특징맵에 기반하여, 검출될 이미지에 대응되는 꼭짓점 히트맵을 생성한다.

좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 예측할 경우, 여기서 꼭짓점 히트맵은 좌측 상단 꼭짓점 검출 네트워크에서의 좌측 상단 꼭짓점 히트맵 예측 네트워크를 통해 획득할 수 있고, 꼭짓점 풀링된 특징맵을 좌측 상단 꼭짓점 히트맵 예측 네트워크에 입력하여, 검출될 이미지에 대응되는 좌측 상단 꼭짓점 히트맵을 획득할 수 있고, 상기 좌측 상단 꼭짓점 히트맵은 복수 개 특징점을 포함하고, 각 특징점은 상기 특징점에 대응되는 특징 데이터를 가지고 있으며, 꼭짓점 히트맵에서 특징점의 특징 데이터에 기반하여, 상기 특징점을 좌측 상단 꼭짓점으로 사용하는 확률값을 결정할 수 있다.

여기서 획득한 좌측 상단 꼭짓점 히트맵의 크기는 h*w*m이고, 여기서 h*w는 꼭짓점 히트맵이 각 채널에서의 크기를 표시하고, m은 사전 채널 수량을 표시하며, 각 사전 채널은 한가지 사전 설정 대상 카테고리에 대응하고, 예를 들어 m=40은, 40종의 사전 설정 대상 카테고리가 있다는 것을 표시하고, 상기 좌측 상단 꼭짓점 히트맵은 검출될 이미지에서의 좌측 상단 꼭짓점을 결정하기 위해 사용된 이외에, 또한 상기 좌측 상단 꼭짓점이 검출될 이미지에서 나타내는 타깃 대상의 카테고리를 결정하기 위해 사용되고, 타깃 대상의 카테고리를 결정하는 과정은 아래에 상세하게 해석할 것이다.

단계 S402에 있어서, 꼭짓점 히트맵에 기반하여, 꼭짓점 히트맵에서 각 특징점을 꼭짓점으로 사용하는 확률값을 결정하고, 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 꼭짓점 히트맵에서 특징점에서 꼭짓점을 선별한다.

각 특징점을 좌측 상단 꼭짓점으로 사용하는 확률값에 기반하여, 상기 특징점이 좌측 상단 꼭짓점인 확률을 결정할 수 있음으로써, 확률값이 임계값 설정보다 크다는 특징점을 좌측 상단 꼭짓점으로 사용한다.

단계 S403에 있어서, 선별된 각 꼭짓점이 꼭짓점 히트맵에서의 위치 정보 및 각 꼭짓점에 대응되는 로컬 시프트 정보를 획득한다.

로컬 시프트 정보는 대응되는 꼭짓점이 나타내는 실제 물리점이 꼭짓점 히트맵에서의 위치 시프트 정보를 표시하기 위해 사용되고, 여기서, 각 좌측 상단 꼭짓점에 대응되는 로컬 시프트 정보는 상기 좌측 상단 꼭짓점이 나타내는 실제 물리점이 좌측 상단 꼭짓점 히트맵에서의 위치 시프트 정보를 표시하기 위해 사용된다.

여기서 로컬 시프트 정보는 로컬 시프트 텐서를 통해 표시할 수 있고, 상기 로컬 시프트 텐서는 좌측 상단 꼭짓점 히트맵에서 마찬가지로 양방향에서의 시프트 값으로 표시될 수 있고, 예를 들어 좌측 상단 꼭짓점 히트맵에서의 좌표계는 양방향을 포함하고, 각각 x축방향 및 y축방향이며, 상기 로컬 시프트 텐서는 x축 방향에서의 시프트 값 및 y축 방향에서의 시프트 값을 포함한다.

좌측 상단 꼭짓점 히트맵에 대응되는 좌표계에 기반하여, 좌측 상단 꼭짓점 히트맵에서의 각 특징점이 상기 좌측 상단 꼭짓점 히트맵에서의 위치 정보를 획득할 수 있고, 획득한 좌측 상단 꼭짓점의 위치 정보와 상기 좌측 상단 꼭짓점이 나타내는 실제 물리점의 위치 정보간의 오차가 존재할 수 있는 것을 고려하여, 예를 들어, 좌측 상단 꼭짓점 히트맵에 위치 검출을 진행하는 것을 통해 특정된 좌측 상단 꼭짓점의 위치 정보를 획득하고, 상기 좌측 상단 꼭짓점이 나타내는 실제 물리점의 위치 정보와 검출된 상기 좌측 상단 꼭짓점의 위치 정보에 일정한 편차가 있으며, 상기 로컬 시프트 정보는 상기 편차를 표시하기 위해 사용된다.

타깃 대상 검출의 정확도를 높이기 위해, 여기서 사전 훈련된 좌측 상단 꼭짓점 로컬 시프트 예측 네트워크를 인용하고, 다음 꼭짓점 풀링된 특징맵을 좌측 상단 꼭짓점 예측 네트워크에서의 좌측 상단 꼭짓점 로컬 시프트 예측 네트워크에 입력하는 것을 통해, 좌측 상단 꼭짓점 히트맵에서 각 특징점에 대응되는 로컬 시프트 정보를 결정하고, 다음 상기 로컬 시프트 정보에 기반하여 특징점이 꼭짓점 히트맵에서의 위치 정보에 대해 수정을 진행하고, 다음 수정된 위치 정보에 기반하여, 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정한다.

단계 S404에 있어서, 획득된 각 꼭짓점이 꼭짓점 히트맵에서의 위치 정보, 각 꼭짓점에 대응되는 로컬 시프트 정보, 및 꼭짓점 히트맵 및 검출될 이미지 간의 크기 비율에 기반하여 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정한다.

여기서, 획득한 각 좌측 상단 꼭짓점이 좌측 상단 꼭짓점 히트맵에서의 위치 정보는 좌측 상단 꼭짓점 히트맵에서의 x축 방향에서의 좌표값x, 및 y축 방향에서의 좌표값y를 포함할 수 있고, 검출될 이미지에서 각 좌측 상단 꼭짓점의 꼭짓점 위치 정보는 X축 방향에서의 좌표값X, 및 Y축 방향에서의 좌표값Y를 포함할 수 있다.

여기서, 아래 공식(1) 및 공식(2)에 따라 i 번째 의 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정할 수 있다.

여기서,

는 i번째 좌측 상단 꼭짓점이 검출될 이미지에서의 X축 방향에서의 좌표값을 표시하고,

는 i번째 좌측 상단 꼭짓점이 검출될 이미지에서의 Y축 방향에서의 좌표값을 표시하고; n은 좌측 상단 꼭짓점 히트맵 및 검출될 이미지 간의 크기 비율을 표시하고;

는 i번째 좌측 상단 꼭짓점이 좌측 상단 꼭짓점 히트맵에서의 x축 방향에서의 좌표값을 표시하고,

는 i번째 좌측 상단 꼭짓점이 꼭짓점 히트맵에서의 y축 방향에서의 좌표값을 표시하고;

는 i번째 좌측 상단 꼭짓점이 나타내는 실제 물리점이 꼭짓점 히트맵에서의 x축 방향에서의 시프트 값을 표시하고,

는 i번째 좌측 상단 꼭짓점이 나타내는 실제 물리점이 꼭짓점 히트맵에서의 y축 방향에서의 시프트 값을 표시한다.

전술한 과정은 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 과정이고, 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 과정도 마찬가지로, 꼭짓점 풀링된 특징맵을 우측 하단 꼭짓점 예측 네트워크에서의 우측 하단 꼭짓점 히트맵 예측 네트워크에 입력하여, 우측 하단 꼭짓점 히트맵을 획득함으로써, 우측 하단 꼭짓점 히트맵에서의 각 특징점을 우측 하단 꼭짓점으로 사용하는 확률값을 결정하고, 여기서 우측 하단 꼭짓점을 선별하고, 동시에 우측 하단 꼭짓점 예측 네트워크에서의 우측 하단 꼭짓점 로컬 시프트 네트워크를 통해 결정된 우측 하단 꼭짓점에 대응되는 로컬 시프트 정보를 결합하여, 각 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하며, 여기서 더 이상 반복하여 설명하지 않는다.

마찬가지로, 아래 공식(3) 및 공식(4)에 따라 j 번째 의 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정할 수 있다.

여기서,

는 j번째 우측 하단 꼭짓점이 검출될 이미지에서의 X축 방향에서의 좌표값을 표시하고,

는 j번째 우측 하단 꼭짓점이 검출될 이미지에서의 Y축 방향에서의 좌표값을 표시하고; n은 우측 하단 꼭짓점 히트맵 및 검출될 이미지 간의 크기 비율을 표시하고;

는 j번째 우측 하단 꼭짓점이 우측 하단 꼭짓점 히트맵에서의 x축 방향에서의 좌표값을 표시하고,

는 j번째 우측 하단 꼭짓점이 꼭짓점 히트맵에서의 y축 방향에서의 좌표값을 표시하고;

는 j번째 우측 하단 꼭짓점이 나타내는 실제 물리점이 꼭짓점 히트맵에서의 x축 방향에서의 시프트 값을 표시하고,

는 j번째 우측 하단 꼭짓점이 나타내는 실제 물리점이 꼭짓점 히트맵에서의 y축 방향에서의 시프트 값을 표시한다.

전술한 단계 S401 내지 단계 S404는 본 발명의 실시예에서 제공한 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 방식으로, 해당 과정은 꼭짓점 히트맵을 인용하는 것을 통해, 각 특징점을 꼭짓점으로 사용하는 확률값을 통해 꼭짓점이 될수 있는 특징점을 결정하고, 꼭짓점을 선택한 후, 꼭짓점이 꼭짓점 히트맵에서의 위치 정보에 대해 수정을 진행하는 것을 통해, 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하고, 상기 방식은 비교적 정확도가 높은 꼭짓점의 꼭짓점 위치 정보를 획득할 수 있음으로써, 후속 상기 꼭짓점에 기반하여 타깃 대상이 검출될 이미지에서의 위치를 검출하는 것에 용이하다.

아래는 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 과정을 소개하고, 꼭짓점이 좌측 상단 꼭짓점 및 우측 하단 꼭짓점으로 나뉠 경우, 마찬가지로 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서, 및 우측 하단 꼭짓점에 대응되는 구심 시프트 텐서를 각각 확인해야 하고, 본 발명의 실시예는 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 것을 예로 들어 설명하고, 우측 하단 꼭짓점에 대응되는 구심 시프트 텐서와 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 방식은 유사하며, 본 발명의 실시예는 더 이상 반복하여 설명하지 않는다.

일 실시 방식에 있어서, 더욱 정확한 구심 시프트 텐서를 획득하기 위해, 구심 시프트 텐서를 결정하기전, 특징 데이터 과정을 인용하여 꼭짓점 풀링된 특징맵에 대해 조정을 진행한 후, 구심 시프트 텐서를 결정하고, 여기서, 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정할 경우, 도 5에 도시된 바와 같이, 아래와 같은 단계 S501 내지 단계 S504를 포함할 수 있다.

단계 S501에 있어서, 꼭짓점 풀링된 특징맵에 기반하여, 꼭짓점 풀링된 특징맵에서의 각 특징점에 대응되는 가이드 시프트 텐서를 결정한다.

여기서, 각 특징점에 대응되는 가이드 시프트 텐서는 상기 특징점이 가리키는 상기 검출될 이미지에서의 타깃 대상 중심점의 시프트 텐서를 나타낸다.

타깃 대상이 검출될 이미지에서의 위치와 타깃 대상 정보에 관련된 것을 고려하여, 꼭짓점 풀링된 특징맵의 꼭짓점의 특징 데이터가 더욱 풍부한 타깃 대상을 포함하도록 희망하므로, 여기서 각 특징점을 고려할 수 있고, 특히 꼭짓점 특징벡터가 더욱 풍부한 타깃 대상 정보를 포함할 수 있도록 표시하고, 따라서 각 특징점에 대응되는 가이드 시프트 텐서에 기반하여, 꼭짓점 풀링된 특징맵에 대해 특징 조정을 진행할 수 있고, 조정된 특징맵으로 하여금, 각 특징점 특히 꼭짓점이 더욱 풍부한 타깃 대상 정보를 포함할 수 있도록 한다.

여기서, 꼭짓점 풀링된 특징맵에 대해 컨볼루션 연산을 진행하는 것을 통해, 꼭짓점 풀링된 특징맵에서의 각 특징점에 대응되는 가이드 시프트 텐서를 획득하고, 상기 가이드 시프트 텐서는 x축 방향을 따른 시프트 값 및 y축 방향을 따른 시프트 값을 포함한다.

좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 것을 예를 들어, 여기서 꼭짓점 풀링된 특징맵에 대해 컨볼루션 연산을 진행하고, 주요 획득한 특징점을 좌측 상단 꼭짓점에 대응되는 가이드 시프트 텐서로 사용한다.

단계 S502에 있어서, 각 특징점에 대응되는 가이드 시프트 텐서에 기반하여, 상기 특징점의 시프트 도메인 정보를 결정한다.

여기서, 상기 시프트 도메인 정보는 상기 특징점과 연관된 복수 개의 초기 특징점이 각각에 대응되는 시프트된 특징점을 각각 가리키는 시프트 텐서를 포함한다.

각 특징점에 대응되는 가이드 시프트 텐서를 획득한 후, 각 특징점에 대응되는 가이드 시프트 텐서에 기반하여 컨볼루션 연산을 진행하여, 상기 특징점의 시프트 도메인 정보를 획득한다.

좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 것을 예를 들어, 각 특징점을 좌측 상단 꼭짓점으로 사용하는 경우에 대응되는 가이드 시프트 텐서를 획득한 후, 각 특징점을 좌측 상단 꼭짓점으로 사용하는 경우에 대응되는 가이드 시프트 텐서에 대해 컨볼루션 연산을 진행함으로써,상기 특징점을 좌측 상단 꼭짓점으로 사용하는 경우의 시프트 도메인 정보를 획득한다.

단계 S503에 있어서, 꼭짓점 풀링된 특징맵 및 상기 꼭짓점 풀링된 특징맵에서의 특징점의 시프트 도메인 정보에 기반하여, 꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 조정을 진행하여, 조정된 특징맵을 획득한다.

꼭짓점 풀링된 특징맵의 특징점을 좌측 상단 꼭짓점으로 사용하는 경우의 시프트 도메인 정보를 획득한 후, 꼭짓점 풀링된 특징맵, 및 상기 꼭짓점 풀링된 특징맵에서의 각 특징점을 좌측 상단 꼭짓점으로 사용할 경우의 시프트 도메인 정보에 대해, 동시에 가변형 컨블루션 연산을 진행하여, 획득한 좌측 상단 꼭짓점에 대응되는 조정된 특징맵이다.

여기서, 단계 S501 내지 단계 S503의 과정은 도 6에 도시된 바와 같이 특징 조정 네트워크를 통해 결정할수 있다;

꼭짓점 풀링된 특징맵에 대해 컨볼루션 연산을 진행하여, 상기 꼭짓점 풀링된 특징맵에서의 각 특징점을 좌측 상단 꼭짓점으로 사용하는 경우에 대응되는 가이드 시프트 텐서를 획득한 다음, 상기 가이드 시프트 텐서에 대해 컨볼루션 연산을 진행하여, 시프트 도메인 정보를 획득하며, 여기서 시프트 도메인 정보에 대한 해석은 아래와 같다;

꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 컨볼루션 연산을 진행하고, 예를 들어 꼭짓점 풀링된 특징맵에서의 특징점A의 특징 데이터에 대해 컨볼루션 연산을 진행하는 경우, 시프트 도메인 정보가 존재하지 않을 경우, 3*3컨불루션에 따라 특징점A의 특징 데이터에 대해 컨볼루션 연산을 진행할 경우, 꼭짓점 풀링된 특징맵에서의 특징점A를 포함한 9개의 실선 프레임을 통해 표시된 초기 특징점의 특징 데이터를 통해 컨볼루션 연산을 진행하여 획득할 수 있고, 시프트 도메인 정보를 고려한 후, 더욱 풍부한 타깃 대상 정보의 특징점의 특징 데이터를 포함하는 것을 통해, 특징점A에 대해 특징 조정을 진행하는 것을 희망하므로, 예를 들어 각 특징점에 대응되는 가이드 시프트 벡터에 기반하여, 특징점A에 대해 특징 조정을 진행하는 특징점에 대해 시프트을 진행하기 위한 것이고, 예를 들어 시프트된 특징점은 도6에서의 꼭짓점 풀링된 특징맵에서의 9개 점선을 통해 표시되고, 9개 시프트된 특징점의 특징 데이터에 대해 컨볼루션 연산을 진행하는 것을 통함으로써, 특징점A의 특징 데이터에 대해 특징 조정을 진행할 수 있고, 여기서 시프트 도메인 정보는 도6에서의 시프트 텐서를 진행하는 것을 통해 표시하고, 시프트 텐서에서의 각 시프트 텐서, 즉 각 초기 특징점이 가리키는 상기 초기 특징점에 대응되는 시프트 후 특징점의 시프트 텐서는, 초기 특징점이 x축 방향 및 y축 방향에서의 시프트 후, 획득한 상기 초기 특징점에 대응되는 시프트 후 특징점을 표시한다.

각 특징점을 좌측 상단 꼭짓점으로 사용하는 경우에 대응되는 가이드 시프트 텐서를 고려하여, 특징 조정된 특징점에서의 특징 데이터가 포함한 타깃 대상 정보로 하여금 더욱 풍부하게 함으로써, 향후 조정된 특징맵에 기반하여 각 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 결정할 경우, 더욱 정확한 구심 시프트 텐서를 획득할 수 있는 것에 용이하다.

마찬가지로, 각 특징점을 우측 하단 꼭짓점으로 사용하는 경우에 상대 타깃 대상의 중심점의 가이드 시프트 텐서를 고려하여, 특징 조정된 특징점이 포함한 타깃 대상 정보로 하여금 더욱 풍부하게 함으로써, 향후 조정된 특징맵에 기반하여 각 우측 하단 꼭짓점에 대응되는 구심 시프트 텐서를 결정할 경우, 더욱 정확한 구심 시프트 텐서를 획득할 수 있는 것에 용이하다.

단계 S504에 있어서, 조정된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정한다.

여기서, 조정된 특징맵에서의 꼭짓점에 대응되는 특징 데이터에 대해 컨볼루션 연산을 진행하는 것에 기반하여 각 꼭짓점에 대응되는 구심 시프트 텐서를 획득한다.

여기서, 조정된 특징맵에는 좌측 상단 꼭짓점에 대응되는 조정된 특징맵, 및 우측 하단 꼭짓점에 대응되는 조정된 특징맵을 포함할 수 있고, 좌측 상단 꼭짓점에 대응되는 조정된 특징맵에 기반하여 각 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 결정할 경우, 좌측 상단 꼭짓점에 대응되는 구심 시프트 예측 네트워크를 통해 결정할 수 있고, 우측 하단 꼭짓점에 대응되는 조정된 특징맵에 기반하여 각 우측 하단 꼭짓점에 대응되는 구심 시프트 텐서를 결정 할 경우, 우측 하단 꼭짓점에 대응되는 구심 시프트 예측 네트워크를 통해 결정할 수 있다.

전술한 단계 S501 내지 단계 S504 과정은, 발명의 실시예에서 제공한 구심 시프트 텐서를 결정하는 과정으로, 타깃 대상 정보를 고려하는 것을 통해, 예를 들어 꼭짓점에 대응되는 가이드 시프트 텐서 및 특징점의 시프트 도메인 정보를 인용하여, 꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 조정을 진행하여, 획득된 조정된 특징맵에서의 특징점의 특징 데이터가 더 풍부한 타깃 대상 정보를 포함함으로써, 각 꼭짓점에 대응되는 구심 시프트 텐서가 더욱 정확하게 결정되게 하고, 정확한 구심 시프트 텐서를 통해, 꼭짓점이 가리키는 정확한 중심 위치 정보를 획득함으로써, 타깃 대상이 검출될 이미지에서의 위치를 정확하게 검출할 수 있다.

전술한 바와 같이 꼭짓점 히트맵을 통해 검출될 이미지에 포함된 타깃 대상의 카테고리를 결정할 수 있고, 여기서 꼭짓점 히트맵에 따라 타깃 대상의 카테고리를 결정하는 방법을 소개하고, 전술한 바로부터 알다시피 검출될 이미지에 대응되는 꼭짓점 히트맵은 복수 개 채널에 각각 대응되는 꼭짓점 히트맵을 포함하고, 각 채널은 한가지 사전 설정 대상 카테고리에 대응되며; 전술한 바와 같이 꼭짓점 히트맵에 기반하여, 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값을 결정한 후, 도 7에 도시된 바와 같이, 본 발명의 실시예에서 제공한 검출방법은 아래와 같은 단계 S701 내지 단계 S702를 더 포함한다.

단계 S701에 있어서, 복수 개 채널에서의 각 채널에 대해, 상기 채널에 대응되는 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 상기 채널에 대응되는 꼭짓점 히트맵의 꼭짓점이 존재하는지 여부를 결정한다.

단계 S702에 있어서, 상기 채널에 대응되는 꼭짓점 히트맵에 꼭짓점이 존재할 경우, 검출될 이미지에 상기 채널에 대응되는 사전 설정 대상 카테고리의 타깃 대상이 포함된다고 결정한다.

검출될 이미지에 대응되는 꼭짓점 히트맵일 경우, 각 채널에 각각 대응되는 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 상기 채널의 꼭짓점 히트맵에서의 꼭짓점이 존재하는지 여부를 결정할 수 있고, 예를 들어 특정된 채널의 꼭짓점 특징맵에 복수 개 대응 확률값이 임계값보다 큰 특징점을 포함할 경우, 상기 채널의 꼭짓점 특징맵에는 꼭짓점을 포함할 확률이 크다는 것을 설명하고, 꼭짓점은 타깃 대상이 검출될 이미지에서의 위치를 나타내기 위해 사용되고, 이로써 검출될 이미지에는 상기 채널에 대응되는 사전 설정 대상 카테고리의 타깃 대상이 포함되는 것을 설명할 수 있다.

예를 들어, 특정된 동물원에 대해 동물 검출을 진행할 경우, 채널 갯수는 100으로 설정할 수 있고, 획득한 꼭짓점 히트맵은 h*w*100이고, 각 채널은 한가지 사전 설정 대상 카테고리에 대응되며, 특정된 검출될 이미지에 대해, 획득한 상기 검출될 이미지에 대응되는 꼭짓점 히트맵의 100개 채널에, 첫 번째 채널 및 두 번째 채널에서의 꼭짓점 히트맵만이 꼭짓점을 포함하고, 첫 번째 채널에 대응되는 사전 설정 대상 카테고리가 01이고, 두 번째 채널에 대응되는 사전 설정 대상 카테고리가 02일 경우, 검출될 이미지에는 카테고리가 01과 02인 타깃 대상이 포함되는 것을 설명할 수 있다.

본 발명의 실시예에서는 꼭짓점 풀링된 특징맵을 꼭짓점 히트맵 예측 네트워크에 입력하는 것을 통해, 사전 설정 채널 갯수를 포함한 꼭짓점 히트맵을 획득할 수 있고, 각 채널에 대응되는 꼭짓점 히트맵에서의 꼭짓점 존재하는지 여부를 통해, 검출될 이미지에서의 상기 채널에 대응되는 타깃 대상의 존재하는지 여부를 결정할 수 있다는 것을 제기했다.

또한, 여기서 각 채널의 꼭짓점 히트맵이 포함한 꼭짓점을 검출한 후, 꼭짓점에 대응되는 구심 시프트 텐서를 결정할 수 있음으로써, 각 채널에 대응되는 타깃 대상이 검출될 이미지에서의 위치를 결정함으로써, 상기 채널에 대응되는 타깃 대상의 카테고리와 결합하여, 검출될 이미지에서의 각 타깃 대상의 카테고리를 결정한다.

상기 단계 S203에 대해, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 검출될 이미지에서의 타깃 대상을 결정할 경우,

각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하는 것을 포함할 수 있다.

여기서, 검출될 이미지에서 타깃 대상의 검출 프레임을 생성할 경우, 적어도 하나의 좌측 상단 꼭짓점 및 우측 하단 꼭짓점의 꼭짓점 위치 정보를 결정해야 하고, 혹은 적어도 하나의 우측 상단 꼭짓점 및 좌측 하단 꼭짓점의 꼭짓점 위치 정보를 결정해야 하고, 본 발명의 실시예는 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 통해 검출 프레임을 결정하는 것을 예로 들어 설명했다.

여기서, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정할 경우, 도 8에 도시된 바와 같이,

단계 S801에 있어서, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 후보 검출 프레임을 구성하는 후보 꼭짓점 페어를 선별하는 것을 포함할 수 있다.

좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 포함한 후보 꼭짓점을 예로 들어, 후보 검출 프레임을 조성할 수 있는 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 선별할 경우, 선별 속도를 향상시키기 위해, 먼저 좌측 상단 꼭짓점 및 우측 하단 꼭짓점이 동일한 타깃 대상 카테고리에 속하는지 여부를 판단할 수 있고, 임의의 좌측 상단 꼭짓점 및 우측 하단 꼭짓점이 동일한 타깃 대상 카테고리에 속하는 것이 결정된 경우, 상기 임의의 좌측 상단 꼭짓점 및 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보가 동일한 후보 검출 프레임을 조성하는지 여부에 대해 계속하여 판단한다.

예를 들어, 좌측 상단 꼭짓점이 검출될 이미지에서의 우측 하단 꼭짓점의 좌측 상단에 위치해야 하고, 좌측 상단 꼭짓점 및 우측 하단 꼭짓점의 꼭짓점 위치 정보에 따라, 예를 들어 좌측 상단 꼭짓점이 검출될 이미지에서의 위치 좌표, 및 우측 하단 꼭짓점이 검출될 이미지에서의 위치 좌표에 따라, 좌측 상단 꼭짓점으로 하여금 우측 하단 꼭짓점의 좌측 상단에 위치하지 못할 경우, 상기 좌측 상단 꼭짓점 및 우측 하단 꼭짓점은 후보 꼭짓점 페어를 조성할 수 없다.

여기서, 검출될 이미지에 좌표계를 설립할 수 있고, 상기 좌표계는 X축 및 Y축을 포함하고, 각 꼭짓점이 상기 좌표계에서의 꼭짓점 위치 정보는 X축 방향에서의 횡좌표값, 및 Y축 방향에서의 종좌표값을 포함하고, 다음 상기 좌표계에서, 각 꼭짓점이 상기 좌표계에 대응되는 좌표값에 따라, 후보 검출 프레임을 조성할 수 있는 좌측 상단 꼭짓점 및 우측 하단 꼭짓점을 선별한다.

단계 S802에 있어서, 각 후보 꼭짓점 페어에서 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 꼭짓점이 가리키는 중심점 위치 정보를 결정한다.

여기서, 아래 공식(5)에 따라 각 후보 꼭짓점 페어에서 좌측 상단 꼭짓점이 가리키는 중심점 위치 정보를 결정할 수 있고, 아래 공식(6)에 따라 각 후보 꼭짓점 페어에서 우측 하단 꼭짓점이 가리키는 중심점 위치 정보를 결정할 수 있다.

여기서,

는 i 번째 좌측 상단 꼭짓점이 가리키는 중심점 위치 정보에서의 X축 방향에 대응되는 횡좌표값을 표시하고,

는 i 번째 좌측 상단 꼭짓점이 가리키는 중심점 위치 정보에서의 Y축 방향에 대응되는 종좌표값을 표시하며;

는 i 번째 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에서의 X축 방향에 대응되는 횡좌표값을 표시하고;

는 i 번째 좌측 상단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에서의 Y축방향에 대응되는 종좌표값을 표시하며 ;

는i 번째 좌측 상단 꼭짓점의 구심 시프트 텐서에서의 X축 방향의 시프트 값을 표시하고,

는 i 번째 좌측 상단 꼭짓점의 구심 시프트 텐서에서의 Y축 방향의 시프트 값을 표시한다.

여기서,

는 j 번째 우측 하단 꼭짓점이 가리키는 중심점 위치 정보에서의 X축 방향에 대응되는 횡좌표값을 표시하고,

는 j 번째 우측 하단 꼭짓점이 가리키는 중심점 위치 정보에서의 Y축 방향에 대응되는 종좌표값을 표시하며;

는 j 번째 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에서의 X축 방향에 대응되는 횡좌표값을 표시하고;

는 j 번째 우측 하단 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에서의 Y축방향에 대응되는 종좌표값을 표시하며 ;

는 j 번째 우측 하단 꼭짓점의 구심 시프트 텐서에서의 X축 방향의 시프트 값을 표시하고,

는 j 번째 우측 하단 꼭짓점의 구심 시프트 텐서에서의 Y축 방향의 시프트 값을 표시한다.

단계 S803에 있어서, 각 후보 꼭짓점 페어에서 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정한다.

여기서 중심 영역 정보는 기 설정될 수 있고, 타깃 대상의 검출 프레임 중심과 오버랩되는 중심 영역 프레임의 좌표 범위로 정의되며, 상기 중심 영역 프레임의 좌표 범위를 통해 후보 검출 프레임에 유일한 타깃 대상이 포함하는지 여부를 검출할 수 있다.

예를 들어, 후보 꼭짓점 페어에서, 좌측 상단 꼭짓점이 가리키는 중심점 위치 정보 및 우측 하단 꼭짓점이 가리키는 중심점 위치 정보는 중심 영역 프레임의 좌표 범위내에 위치하고, 상기 중심 영역 프레임의 좌표 범위가 비교적 작을 경우, 좌측 상단 꼭짓점이 가리키는 중심점 위치 정보 및 우측 하단 꼭짓점이 가리키는 중심점 위치 정보가 비교적 가깝다는 것으로 인정함으로써, 상기 후보 꼭짓점이 조성한 후보 검출 프레임은 유일한 타깃 대상을 포함한다는 것을 결정한다.

여기서, 상기 각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하는 경우는,

(1)상기 후보 꼭짓점 페어에서 각 꼭짓점의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심영역 프레임을 나타내는 꼭짓점 위치 정보를 결정하는 단계; 및

(2)중심 영역 프레임의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심영역 프레임의 좌표범위를 결정하는 단계를 포함한다.

m 번째 후보 꼭짓점이 i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점으로 조성된 경우, 아래 공식(7)~공식(10)에 따라 상기 m 번째 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 꼭짓점 위치 정보를 결정할 수 있다;

여기서,

는 m 번째 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 좌측 상단 꼭짓점이 검출될 이미지에서의 X축 방향에서의 횡좌표값을 표시하고;

는 m 번째 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 좌측 상단 꼭짓점이 검출될 이미지에서의 Y축 방향에서의 횡좌표값을 표시하며;

는 m 번째 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 우측 하단 꼭짓점이 검출될 이미지에서의 X축 방향에서의 횡좌표값을 표시하고;

는 m 번째 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 우측 하단 꼭짓점이 검출될 이미지에서의 Y축 방향에서의 횡좌표값을 표시하며;

는 중심 영역 프레임의 길이 너비와 후보 검출 프레임의 길이 너비의 비율을 표시하고, 상기 비율은 기설정된 것이고,

이다.

m 번째 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 꼭짓점 위치 정보를 결정한 후, 아래 공식(11)에 따라 상기 중심 영역 프레임의 좌표 범위를 결정할 수 있다;

여기서,

는 m 번째 후보 꼭짓점에 대응되는중심 영역 프레임의 좌표 범위를 표시하고, 상기 중심 영역 프레임의 좌표 범위는 X축 방향에서의

값, 및 Y축 방향에서의

값을 통해 표시되고, 여기서

의 범위는

를 만족하고,

의 범위는

를 만족한다.

단계 S804에 있어서, 각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정한다.

각 후보 꼭짓점에 대응되는 중심 영역 정보는 상기 후보 꼭짓점 페어에서, 각 꼭짓점이 가리키는 중심점 위치 정보간의 근접도를 제지하기 위해 사용되고, 특정된 후보 꼭짓점에서의 각 꼭짓점이 가리키는 중심점 위치 정보가 상기 후보 꼭짓점에 대응되는 중심 영역 프레임내에 위치할 경우, 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점이 비교적 가깝고, 후보 꼭짓점이 조성한 후보 검출 프레임에서 포함한 타깃 대상은 유일한 타깃 대상임을 설명할 수 있다.

본 발명의 실시예에서 제기한 타깃 대상의 검출 프레임을 결정하는 방식은, 꼭짓점의 꼭짓점 위치 정보를 통해 먼저 후보 검출 프레임을 조성하는 후보 꼭짓점 페어를 결정한 다음, 상기 후보 꼭짓점 페어에서 각 꼭짓점에 각각 대상되는 구심 시프트 텐서에 기반하여, 후보 검출 프레임이 둘러싼 타깃 대상이 동일한 타깃 대상인지를 판단함으로써, 검출될 이미지에서의 모든 타깃 대상의 검출 프레임을 비교적 정확하게 검출할 수 있다 .

여기서, 각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정할 경우, 도 9에 도시된 바와 같이, 아래와 같은 단계 S901 내지 단계 S902를 포함할 수 있다;

단계 S901에 있어서, 각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 유효 후보 꼭짓점 페어를 결정한다.

여기서, 특정된 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심 위치 정보가, 상기 꼭짓점 페어에 대응되는 중심 영역 프레임내에 위치할 경우, 상기 유효 후보 꼭짓점 페어를 유효 후보 꼭짓점 페어로 사용한다.

여기서, 아래 공식(12)를 통해 i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 조성한 후보 꼭짓점 페어가 유효 후보 꼭짓점 페어인지 여부에 대해 판단하고, 즉 i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 조성한 후보 검출 프레임에 대응되는 m 번째 중심 영역 프레임의 좌표 범위와 i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 각각 가리키는 중심점 위치 정보가 아래 공식(12)를 만족하는지 여부에 대해 판단한다.

i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 조성한 후보 검출 프레임에 대응되는 m 번째 중심 영역 프레임의 좌표 범위와 i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 각각 가리키는 중심점 위치 정보가 이상 공식(12)를 만족할 경우, i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 조성한 후보 꼭짓점 페어는 유효 후보 꼭짓점 페어인 것을 설명한 다음, 계속하여 상기 유효 후보 꼭짓점에 대해 단계S902를 실행하고, 그렇지 않을 경우, i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 조성한 후보 꼭짓점 페어가 무효 후보 꼭짓점 페어일 경우, 유효 후보 꼭짓점 페어를 획득할 때까지, 계속하여 상기 i 번째 좌측 상단 꼭짓점 및 기타 우측 하단 꼭짓점이 유효 후보 꼭짓점 페어를 조성하는 여부에 대해 판단하고, 후속 단계를 실행한다.

단계 S902에 있어서, 유효 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보, 유효 후보 꼭짓점 페어에 대응되는 중심 영역 정보, 및 유효 후보 꼭짓점 페어에서 각 꼭짓점에 대응되는 확률값에 기반하여, 각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수를 결정한다.

여기서, 각 꼭짓점에 대응되는 확률값은 상기 꼭짓점이 꼭짓점 히트맵에 대응되는 특징점을 꼭짓점으로 하용하는 확률값을 표시하기 위한 거이다.

검출될 이미지에 대해 검출을 진행할 경우, 동일한 타깃 대상에 대해 복수 개 후보 검출 프레임이 나타날 경우가 존재할 수 있기에, 일부 후보 검출 프레임이 나타내는 타깃 대상이 검출될 이미지에서의 위치의 정확도가 비교적 낮을수 있고, 여기서, 각 유효 후보 꼭짓점에 대응되는 후보 검출 프레임의 점수를 인용하여, 예를 들어 유효 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점이 조성한 영역 및 유효 후보 꼭짓점에 대응되는 중심 영역 프레임 간의 면적관계, 및 유효 후보 꼭짓점 페어에서 각 꼭짓점에 대응되는 확률값을 통해, 각 유효 후보 꼭짓점에 대응되는 후보 검출 프레임의 점수를 표시하고, 점수가 높은 후보 검출 프레임을 타깃 대상의 검출 프레임으로 사용할 확률이 비교적 높고, 이를 통해 후보 검출 프레임에 대해 선별을 진행한다.

여기서, i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 조성한 유효 후보 꼭짓점 페어에 대해, 아래 공식(13)에 따라 상기 유효 후보 꼭짓점에 대응되는 후보 검출 프레임의 점수를 결정할 수 있다：

여기서,

는 i 번째 좌측 상단 꼭짓점 및 j 번째 우측 하단 꼭짓점이 조성한 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수를 표시하고;

는 i 번째 좌측 상단 꼭짓점이 좌측 상단 꼭짓점 히트맵에 대응되는 특징점을 좌측 상단 꼭짓점으로 사용하는 확률값을 표시하고;

는 j 번째 우측 하단 꼭짓점이 우측 하단 꼭짓점 히트맵에 대응되는 특징점을 우측 하단 꼭짓점으로 사용하는 확률값을 표시한다.

단계 S903에 있어서, 각 유효 후보 꼭짓점에 대응되는 후보 검출 프레임의 점수, 및 인접 후보 검출 프레임 간의 중첩 영역 크기에 기반하여, 후보 검출 프레임에서의 타깃 대상의 검출 프레임을 결정한다.

여기서, 중첩 영역은 중첩 영역이 검출될 이미지에서의 크기를 통해 결정할 수 있고, 아래는 각 유효 후보 꼭짓점에 대응되는 후보 검출 프레임의 점수, 및 인접 후보 검출 프레임 간의 중첩 영역에 기반하여, 타깃 대상의 검출 프레임을 선별하는 방법을 소개한다.

여기서, 연식 비극대 억제를 통해 복수 개 후보 검출 프레임에서의 타깃 대상의 검출 프레임을 선별할 수 있고, 여기서, 중첩 영역 임계값을 초과한 복수 개 후보 검출 프레임이 있을 경우, 대응 점수가 제일 높은 후보 검출 프레임을 타깃 대상의 검출 프레임으로 사용할 수 있고, 복수 개 후보 검출 프레임에서의 기타 후보 검출 프레임을 삭제하고, 이로써 검출될 이미지에서의 타깃 대상의 검출 프레임을 획득할 수 있다 .

전술한 단계 S901 내지 단계 S903은 후보 검출 프레임을 조성하는 후보 꼭짓점 페어에 대해 유효 선별을 실시하는 것을 통해, 하나의 타깃 대상 후보만을 나타내는 후보 검출프레임을 선별하는 것을 결정하고, 다음 이러한 하나의 타깃 대상 후보만을 나타내는 후보 검출프레임에 연식비극대억제 선별을 실시함으로써, 타깃 대상을 나타내는 검출 프레임을 정확하게 획득한다.

검출될 이미지에서의 타깃 대상의 검출 프레임을 획득한 후, 상기 검출 프레임내의 타깃 대상의 인스턴스 정보를 결정할 수 있고, 여기서, 타깃 대상의 검출 프레임 및 검출될 이미지에 대해 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정할 수 있다.

여기서 인스턴스 정보는 마스크를 통해 표시할 수 있고, 여기서 마스크는 이미지에서의 타깃 대상에 대해 인스턴스 분할을 진행한 후, 픽셀 층면에서 각 타깃 대상의 픽셀을 제공하는 것을 가리키고, 따라서 마스크는 물체의 가장자리까지 정확함으로써, 타깃 대상이 검출될 이미지에서 더욱 정확한 위치를 획득할 수 있고, 이 외에, 또한 마스크는 타깃 대상의 형태를 표시할 수 있는 것에 기반함으로써, 상기 형태에 기반하여 타깃 대상의 카테고리의 결정이 정확한지 여부에 대해 인증할 수 있고, 마스크가 표시한 타깃 대상의 외모에 기반하여, 타깃 대상에 대해 후속 동작 분석을 진행할 수 있으며, 본 발명의 실시예에서는 여기서 더 이상 반복하여 설명하지 않는다.

여기서, 타깃 대상의 검출 프레임 및 검출될 이미지에 대해 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 상기 검출될 이미지에서 상기 타깃 대상의 인스턴스 정보를 결정할 경우,

(1)타깃 대상의 검출 프레임 및 초기 특징맵에 기반하여, 초기 특징맵이 검출 프레임 내에서의 특징점의 특징 데이터를 추출하고;

(2)초기 특징맵이 검출 프레임 내에서의 특징점의 특징 데이터에 기반하여, 검출될 이미지에서의 타깃 대상의 인스턴스 정보를 결정하는 것을 포함한다.

여기서 타깃 대상의 검출 프레임 및 검출될 이미지에 대응되는 초기 특징맵을 관심 영역 추출 네트워크에 입력하고, 상기 관심 영역 추출 네트워크는 먼저 상기 초기 특징맵 크기가 매칭한 관심 영역을 추출할 수 있고, 다음 관심 정렬 풀링을 통해, 상기 초기 특징맵이 상기 검출 프레임 내에서의(관심 영역) 특징점의 특징 데이터를 획득하고, 다음 상기 초기 특징맵이 검출 프레임 내에서의 특징점의 특징 데이터를 마스크 예측 네트워크에 입력한 다음, 타깃 대상의 인스턴스 정보를 생성할 수 있으며, 상기 인스턴스 정보는 마스크의 형식으로 표시 될수 있고, 다음 상기 타깃 대상의 마스크를 검출될 이미지에서의 타깃 대상 크기까지 스케일업 하여, 검출될 이미지의 타깃 대상의 인스턴스 정보를 획득할 수 있다.

아래 도10과 결합하여 본 발명의 실시예에서 제기한 타깃 검출 방법에 대해 전반적인 설명을 한다;

검출될 이미지를 모래시계 컨볼루션 신경 네트워크에 입력하여, 상기 검출될 이미지에 대응되는 초기 특징맵f를 획득한 다음, 상기 검출될 이미지에서의 타깃 대상에 대해 검출을 진행할 경우, 상기 초기 특징맵f에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 풀링된 특징맵p를 획득함으로써, 상기 꼭짓점 풀링된 특징맵p에 대해 좌측 상단 꼭짓점 검출 및 특징 조정을 진행하여, 상기 좌측 상단 꼭짓점 및 상기 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 획득할 수 있고, 좌측 상단 꼭짓점을 획득하는 과정은 좌측 상단 꼭짓점 검출 네트워크를 통해 결정되고, 상기 좌측 상단 꼭짓점 검출 네트워크는 좌측 상단 꼭짓점 히트맵 예측 네트워크 및 좌측 상단 꼭짓점 로컬 시프트 예측 네트워크를 포함하며(도10에 도시되지 않음), 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 획득하기 전, 먼저 특징 조정 네트워크에 대해 꼭짓점 풀링된 특징맵p에 대해 특징 조정을 진행하고, 상기 과정은 좌측 상단 꼭짓점에 대응되는 가이드 시프트 텐서 및 시프트 도메인 정보를 포함하고, 다음 가변형 컨볼루션 연산에 기반하여, 꼭짓점 풀링된 특징맵p에 대해 조정을 진행하여, 조정된 특징맵g를 획득함으로써, 컨볼루션 연산을 통해, 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서를 결정한다.

우측 하단 꼭짓점은 우측 하단 꼭짓점 검출 네트워크를 통해 결정되고, 우측 하단 꼭짓점에 대응되는 구심 시프트 텐서는 특징 조정 및 컨볼루션 연산을 통해 결정되고, 좌측 상단 꼭짓점 및 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서의 결정 과정은 유사하며, 다음 좌측 상단 꼭짓점 및 좌측 상단 꼭짓점에 대응되는 구심 시프트 텐서, 및 우측 하단 꼭짓점 및 우측 하단 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 타깃 대상의 검출 프레임을 공동 결정한다.

타깃 대상의 검출 프레임을 획득한 후, 상기 타깃 대상의 검출 프레임 및 초기 특징맵f에 기반하여 관심 영역을 추출함으로써, 상기 관심 영역에 대해 관심 영역 정렬 꼭짓점 풀링을 진행하여, 관심 영역 특징(초기 특징맵이 상기 검출 프레임 내에서의 특징점의 특징 데이터)을 획득하고, 마스크 예측 네트워크에서의 컨볼루션 연산을 통해, 타깃 대상의 마스크를 획득하고, 상기 마스크에 대해 크기 스케일업을 진행한 후, 검출될 이미지와 같은 크기의 마스크를 획득한다(타깃 대상의 인스턴스 정보).

본 발명의 실시예에서 제기한 타깃 검출 방법을 통해, 타깃 대상의 검출 프레임, 타깃 대상의 마스크 및 타깃 대상의 카테고리를 출력할 수 있고, 기설정된 요구에 따라, 원하는 결과를 얻을수 있으며, 예를 들어 타깃 대상의 검출 프레임을 출력, 또는 타깃 대상의 마스크 이미지를 출력, 또는 타깃 대상의 검출 프레임을 출력할 뿐만아니라, 타깃 대상의 마스크 이미지도 출력하고, 또한 동시에 타깃 대상의 카테고리를 출력하며, 본 발명의 실시예서는 한정을 두지 않는다.

본 발명의 실시예의 타깃 검출 방법은 신경 네트워크를 통해 구현할 수 있고, 신경 네트워크는 라벨링 타깃 샘플 대상을 포함하는 샘플 이미지를 이용하여 훈련하여 획득한 것이다.

여기서, 도 11에 도시된 바와 같이, 본 발명의 실시예가 제기한 타깃 검출 방법의 신경 네트워크는 단계 S1101 내지 단계 S1104를 포함한다;

단계 S1101에 있어서, 샘플 이미지를 획득한다.

여기서 샘플 이미지는 라벨링 타깃 샘플 대상의 양의 샘플를 포함할 수 있고, 및 타깃 샘플 대상의 음의 샘플을 포함하지 않으며, 양의 샘플이 포함한 타깃 대상은 복 수개의 카테고리를 포함할 수 있다.

여기서, 라벨링 타깃 샘플 대상의 양의 샘플은 검출 프레임 라벨링을 통과한 타깃 샘플 대상, 및 마스크 라벨링을 통과한 타깃 샘플 대상으로 나뉜다.

단계 S1102에 있어서, 샘플 이미지에 기반하여, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서를 결정하고, 샘플 꼭짓점은 샘플 이미지에서의 타깃 샘플 대상의 위치를 나타낸다.

여기서, 샘플 이미지에 기반하여, 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보, 및 각 샘플 꼭짓점에 각각 대응되는 구심 시프트 텐서의 과정을 결정하고, 전술한 바와 같이 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보, 및 각 꼭짓점에 각각 대응되는 구심 시프트 텐서의 결정방식과 같으므로, 여기서 더 이상 반복하여 설명하지 않는다.

단계 S1103에 있어서, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 샘플 이미지에서의 타깃 샘플 대상을 예측한다.

여기서, 샘플 이미지에서의 타깃 샘플 대상을 예측하는 과정은 전술한 바와 같이 검출될 이미지에서의 타깃 대상을 결정하는 방식과 같으므로, 여기서 더 이상 반복하여 설명하지 않는다.

단계 S1104에 있어서, 예측된 샘플 이미지에서의 타깃 샘플 대상 및 샘플 이미지에서의 라벨링 타깃 샘플 대상에 기반하여, 신경 네트워크의 네트워크 파라미터에 대해 조정을 진행한다.

여기서, 손실 함수를 인용하여 타깃 샘플 대상을 예측할 경우에 대응되는 손실값을 결정할 수 있고, 여러차례의 훈련을 거친 후, 손실값을 통해 신경 네트워크의 네트워크 파라미터 값에 대해 조정을 진행하고, 예를 들어 손실값을 설정된 임계값보다 작도록 할 경우, 훈련을 멈춤으로써, 신경 네트워크의 네트워크 파라미터 값을 획득할 수 있다.

또한, 타깃 샘플 대상의 검출 프레임, 및 타깃 샘플 대상의 마스크, 및 타깃 샘플 대상의 카테고리를 결정하는 과정은, 전술한 바와 같이 타깃 대상의 검출 프레임, 타깃 대상의 마스크 및 타깃 대상의 카테고리를 결정하는 과정과 유사하므로, 여기서 더 이상 반복하여 설명하지 않는다.

본 발명의 실시예에서 제공한 신경 네트워크의 훈련방법은, 샘플 이미지 획득을 통해, 상기 샘플 이미지에 기반하여, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보, 및 각 샘플 꼭짓점에 각각 대응되는 구심 시프트 텐서를 결정함으로써, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 샘플 이미지에서의 타깃 샘플 대상을 검출하는데, 이는 샘플 꼭짓점은 이미지에서의 주요 특징점을 가리키기 때문이며, 예를 들어 샘플 꼭짓점은 좌측 상단 샘플 꼭짓점 및 우측 하단 샘플 꼭짓점을 포함할 수 있고, 여기서, 여기서 좌측 상단 샘플 꼭짓점은 타깃 샘플 대상의 상부 윤곽에 대응되는 선과 타깃 샘플 대상의 좌측 윤곽에 대응되는 선의 교차점을 가리키고, 우측 하단 샘플 꼭짓점은 타깃 샘플 대상의 하부 윤곽에 대응되는 선과 타깃 샘플 대상의 우측 윤곽에 대응되는 선의 교차점을 가리키며, 좌측 상단 샘플 꼭짓점과 우측 하단 샘플 꼭짓점이 동일한 타깃 샘플 대상의 검출 프레임 일 경우, 좌측 상단 샘플 꼭짓점 및 우측 하단 샘플 꼭짓점에 각각 대응되는 구심 시프트 텐서가 가리키는 위치가 비교적 가까울 수가 있기에, 따라서, 본 발명의 실시예에서 제기한 신경 네트워크의 훈련방법은, 타깃 샘플 대상의 샘플 이미지에서의 위치를 나타내는 꼭짓점의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 동일한 타깃 샘플 대상에 속하는 샘플 꼭짓점을 결정하고, 결정된 샘플 꼭짓점에 기반하여 동일한 타깃 샘플 대상을 검출할수 있으며, 샘플 이미지에서의 라벨링 대상에 기반하여, 계속하여 신경 네트워크 파라미터 값을 조절하는 것을 통해, 정확도가 비교적 높은 신경 네트워크를 획득할 수 있고, 정확도가 비교적 높은 신경 네트워크에 기반하여 타깃 대상을 정확하게 검출할 수 있다.

당업자는 상기 방법에서, 각 단계의 기록 순서가 엄격한 실행 순서를 의미하지 않으며 실시 과정에서 어떠한 제한도 구성하지 않고, 각 단계의 실행 순서는 기능 및 가능한 내부 놀리에 따라 결정하는 것으로 이해할 수 있다.

동일한 기술적 사상에 기반하여, 본 발명의 실시예는 타깃 검출 방법에 대응되는 타깃 검출 장치를 더 제공하고, 본 발명의 실시예에서의 장치의 기술원리가 본 발명의 실시예에 따른 타기 검출 방법과 유사하므로, 장치의 실시는 방법의 실시를 참조할 수 있고, 중복되는 부분은 더이상 반복하여 설명하지 않는다.

도 12에 도시된 바를 참조하면, 본 발명의 실시예에서 제공한 타깃 검출장치(1200)의 예시도로, 장치는 획득부(1201), 결정부(1202), 검출부(1203) 를 포함한다.

여기서, 획득부(1201)는 검출될 이미지를 획득하고;

결정부(1202)는 검출될 이미지에 기반하여, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하고 - 꼭짓점은 검출될 이미지에서의 타깃 대상의 위치를 나타냄 - ;

검출부(1203)는 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 결정부(1202)는,

검출될 이미지에 대해 특징 추출을 진행하여, 검출될 이미지에 대응되는 초기 특징맵을 획득하고;

초기 특징맵에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 풀링된 특징맵을 획득하며;

꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보, 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 결정부(1202)가 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보를 결정하도록 구성될 경우, 상기 결정부는,

꼭짓점 풀링된 특징맵에 기반하여, 검출될 이미지에 대응되는 꼭짓점 히트맵을 생성하고;

꼭짓점 히트맵에 기반하여, 꼭짓점 히트맵에서 각 특징점을 꼭짓점으로 사용하는 확률값을 결정하고, 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여 꼭지점 히트맵의 특징점에서 꼭짓점을 선별하고;

선별된 각 꼭짓점이 꼭짓점 히트맵에서의 위치 정보 및 각 꼭짓점에 대응되는 로컬 시프트 정보를 획득하며 - 로컬 시프트 정보는 대응되는 꼭짓점이 나타내는 실제 물리점이 상기 꼭짓점 히트맵에서의 위치 시프트 정보를 표시하기 위해 사용됨 - ;

획득한 각 꼭짓점이 꼭짓점 히트맵에서의 위치 정보, 각 꼭짓점에 대응되는 로컬 시프트 정보, 및 꼭짓점 히트맵 및 검출될 이미지 간의 크기 비율에 기반하여 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 결정부(1202)가 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하도록 구성될 경우, 상기 결정부는,

꼭짓점 풀링된 특징맵에 기반하여, 꼭짓점 풀링된 특징맵에서의 각 특징점에 대응되는 가이드 시프트 텐서를 결정하고 - 각 특징점에 대응되는 가이드 시프트 텐서는 특징점이 가리키는 상기 검출될 이미지에서의 타깃 대상 중심점 시프트 텐서를 나타냄 - ;

각 특징점에 대응되는 가이드 시프트 텐서에 기반하여, 특징점의 시프트 도메인 정보를 결정하고 - 시프트 도메인 정보에는 상기 특징점과 연관된 복수 개의 초기 특징점들에 각각 대응되는 시프트후 특징점의 시프트 텐서를 가리키는 것을 포함함 - ;

꼭짓점 풀링된 특징맵 및 상기 꼭짓점 풀링된 특징맵에서의 특징점의 시프트 도메인 정보에 기반하여, 꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 조정을 진행하여, 조정된 특징맵을 획득하며;

조정된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 획득하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 검출될 이미지에 대응되는 꼭짓점 히트맵은 복수 개 채널에 각각 대응되는 꼭짓점 히트맵을 포함하고, 복수 개 채널에서의 각 채널은 한가지 사전 설정 대상 카테고리에 대응하고; 결정부(1202)가 꼭짓점 히트맵에 기반하여, 꼭짓점 히트맵에서 각 특징점을 꼭짓점으로 사용하는 확률값을 결정하도록 구성될 경우, 상기 결정부는 또한,

다수 채널에서의 각 채널에 대해, 해당 채널에 대응되는 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 해당 채널에 대응되는 꼭짓점 히트맵에 꼭짓점 존재여부를 결정하고;

상기 채널에 대응되는 꼭짓점 히트맵에 꼭짓점이 존재할 경우, 검출될 이미지에 상기 채널에 대응되는 사전 설정 대상 카테고리의 타깃 대상이 포함된다고 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 검출부는 또한,

각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 검출부(1203)가 상기 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하도록 구성될 경우, 상기 검출부는,

각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 후보 검출 프레임을 구성하는 후보 꼭짓점 페어를 선별하고;

각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 꼭짓점이 가리키는 중심점 위치 정보를 결정하고;

각 후보 꼭짓점 페어에서 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하며;

각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 검출부(1203)가 각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하도록 구성될 경우, 상기 검출부는,

상기 후보 꼭짓점 페어에서 각 꼭짓점의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임을 나타내는 꼭짓점 위치 정보를 결정하고;

중심 영역 프레임의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 좌표 범위를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 검출부(1203)가 상기 각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서의 상기 타깃 대상의 검출 프레임을 결정하도록 구성될 경우, 상기 검출부는,

각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 유효 후보 꼭짓점 페어를 결정하고;

유효 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보, 유효 후보 꼭짓점 페어에 대응되는 중심 영역 정보, 및 상기 유효 후보 꼭짓점 페어에서 각 꼭짓점에 대응되는 확률값에 기반하여, 각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수를 결정하며 - 각 꼭짓점에 대응되는 확률값은 상기 꼭짓점이 꼭짓점 히트맵에 대응되는 특징점을 꼭짓점으로 사용하는 확률값을 표시하기 위해 사용됨 - ;

각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수 및 인접 후보 검출 프레임 간의 중첩 영역 크기에 기반하여 후보 검출 프레임에서의 타깃 대상의 검출 프레임을 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 검출부(1203)는 또한,

검출될 이미지에서의 타깃 대상의 검출 프레임을 결정한 후, 타깃 대상의 검출 프레임 및 검출될 이미지에 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 검출될 이미지에서의 타깃 대상의 인스턴스 정보를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 검출부(1203)가 상기 타깃 대상의 검출 프레임 및 상기 검출될 이미지에 특징 추출을 진행하여 초기 특징맵을 획득하는 것에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하도록 구성될 경우, 상기 검출부는,

타깃 대상의 검출 프레임 및 초기 특징맵에 기반하여, 초기 특징맵이 검출 프레임 내에서의 특징점의 특징 데이터를 추출하고;

초기 특징맵이 검출 프레임 내에서의 특징점의 특징 데이터에 기반하여, 검출될 이미지에서의 타깃 대상의 인스턴스 정보를 결정하도록 구성된다.

한 가지 가능한 실시형태에 있어서, 타깃 검출장치(1200)는 신경 네트워크 훈련부(1204)를 더 포함하고, 상기 신경 네트워크 훈련부(1204)는,

타깃 검출을 진행하기 위한 신경 네트워크를 훈련하도록 구성된고, 신경 네트워크는 라벨링 타깃 샘플 대상을 포함한 샘플 이미지를 이용하여 훈련하여 획득한다.

한 가지 가능한 실시형태에 있어서, 신경 네트워크 훈련부(1204)는,

샘플 이미지를 획득하고;

샘플 이미지에 기반하여, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서를 결정하고 - 샘플 꼭짓점은 상기 샘플 이미지에서의 타깃 샘플 대상의 위치를 나타냄 - ;

각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 샘플 이미지에서의 타깃 샘플 대상을 예측하고;

예측된 샘플 이미지에서의 타깃 샘플 대상과 샘플 이미지에서의 라벨링 타깃 샘플 대상에 기반하여, 상기 신경 네트워크의 네트워크 파라미터 값을 조정하도록 구성된다.

본 발명의 실시예 및 기타 실시예에 있어서, “부분”은 부분 회로, 부분 프로세서, 부분 프로그램 또는 소프트웨어 등일 수 있으며, 물론 유닛일 수도 있고, 모듈 방식 또는 비모듈 방식일수도 있다는 것이다.

도 에서의 타깃 검출 방법에 대응하여, 본 발명의 실시예는 전자 기기 (1300)를 더 제공하고, 도 13 도시된 바와 같이, 본 발명의 실시예에서 제공한 전자 기기(1300) 구조 예시도이고, 상기 전자 기기(1300)는,

프로세서(1301), 메모리(1302), 및 버스(1303)를 포함하고; 메모리(1302)는 실행 명령어를 저장하도록 구성되고, 내부 저장소(13021) 및 외부 메모리(13022)를 포함하며; 여기서 내부 저장소(13021)는 내부 메모리로도 지칭되고, 프로세서(1301)에서의 연산 데이터, 및 하드웨어 등 외부 메모리(13022)와 교환되는 데이터를 잠시 저장하고, 프로세서(1301)는 내부 저장소(13021)를 통해 외부 메모리(13022)와 데이터 교환을 진행하도록 구성되며, 상기 전자 기기(1300)가 작동되는 경우, 프로세서(1301)와 메모리(1302) 사이는 버스(1303)를 통해 통신하고, 기계 판독 가능한 명령어가 프로세서(1301)에 의해 실행될 경우, 상기 프로세스는

검출될 이미지를 획득하는 것;

상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 것 - 꼭짓점은 상기 검출될 이미지에서의 타깃 대상의 위치를 나타냄 - ;

각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 검출될 이미지에서의 타깃 대상을 결정하는 것을 실행한다.

본 발명의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되어 있으며, 상기 컴퓨터 프로그램이 프로세서에 의해 작동될 경우 상기 방법 실시예에 따른 타깃 검출 방법의 단계를 실행한다. 여기서, 상기 컴퓨터 판독 가능한 저장 매체는 휘발성 컴퓨터 판독 가능한 또는 비휘발성 컴퓨터 판독 가능한 저장 매체일 수 있다.

본 발명의 실시예는 컴퓨터 판독 가능 코드를 포함한 컴퓨터 프로그램을 더 제공하며, 상기 컴퓨터 판독 가능 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 상기 제1 측면의 타깃 검출 방법 단계를 구현하기 위한 것이다.

본 발명의 실시예에서 제공한 타깃 검출 방법의 컴퓨터 프로그램 제품은, 프로그램 코드가 기록된 컴퓨터 판독 가능한 저장 매체를 포함하며, 상기 프로그램 코드에 포함된 명령어는 상기 방법 실시예에 따른 타깃 검출 방법의 단계를 실행하는데 사용될 수 있으며, 상기 방법 실시예를 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.

본 발명의 실시예는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터프로그램이 프로세서에 의해 실행될 경우 상기 실시예의 임의의 방법을 구현한다. 상기 컴퓨터 프로그램 제품은 구체적으로 하드웨어, 소프트웨어 또는 이들의 조합을 통해 구현될 수 있다. 일부 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 컴퓨터 저장 매체로 구현되며, 다른 일부 실시예에서, 상기 컴퓨터 프로그램 제품은 구체적으로 소프트웨어 개발 키트(Software Development Kit, SDK) 등과 같은 소프트웨어 제품으로 구현된다.

본 기술분야의 통상의 기술자는 설명의 편의 및 간결함을 위해, 상기 설명된 시스템, 장치의 동작 과정이, 전술된 방법 실시예 중 대응되는 과정을 참조할 수 있음을 이해할 수 있으며, 여기서 반복적으로 설명하지 않는다. 본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 전술된 장치 실시예는 다만 예시적이며, 예를 들어, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 또 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 상호간의 결합 또는 직접 결합 또는 통신 연결은, 일부 통신 인터페이스를 통해 구현되며, 장치 또는 유닛을 통한 간접 결합 또는 통신 연결은, 전기, 기계 또는 다른 형태일 수 있다.

상기 분리 부재로서 설명된 유닛은, 물리적으로 분리된 것이거나 아닐 수 있고, 유닛으로서 나타낸 부재는 물리적 유닛이거나 아닐 수 있고, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예 방안의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 통합될 수 있고, 각 유닛이 독립적인 물리적 존재일 수도 있고, 두 개 또는 두 개 이상의 유닛이 한 유닛에 통합될 수도 있다.

상기 기능이 소프트웨어 기능 유닛의 형태로 구현되고 단독적인 제품으로 판매되거나 사용될 경우, 하나의 프로세서가 실행 가능한 비휘발성 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 발명의 기술 방안, 즉 종래 기술에 기여하는 부분 또는 상기 기술 방안의 일부는 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부 단계를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 U 디스크, 모바일 디스크, 판독 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 여러 가지 매체를 포함한다.

마지막으로 설명해야 할 것은, 이상 상기 실시예는, 다만 본 발명의 구체적인 실시형태일 뿐이고, 본 발명의 기술방안을 한정하려는 것이 아닌 설명하기 위함이며, 본 발명의 청구 범위는 이에 한정되지 않으며, 비록 전술한 실시예를 참조하여 본 발명에 대해 상세하게 설명하였지만, 본 분야의 기술자라면, 임의의 본 기술분야의 공지된 기술자가 본 발명에서 개시된 기술 범위 내에서, 여전히 전술한 실시예에서 기재된 기술방안을 수정하거나 용이하게 변화를 생각해낼 수 있으며, 또는 그것의 일부 기술 특징을 동등하게 대체할 수 있음을 이해해야 하고; 이러한 수정, 변화 또는 교체는 상응하는 기술방안의 본질이 본 발명의 기술방안의 사상 및 범위를 벗어나지 않도록 하며, 모두 본 발명의 보호 범위 내에 속해야 함을 이해해야 한다. 따라서, 본 발명의 보호 범위는 상기 특허 청구 범위의 보호 범위를 기준으로 해야 한다.

본 발명의 실시예는 타깃 검출 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체를 제공하고, 여기서, 상기 타깃 검출 방법은 검출될 이미지를 획득하는 단계; 상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계 - 꼭짓점은 상기 검출될 이미지에서의 타깃 대상의 위치를 나타냄; 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하는 단계를 포함한다. 본 발명의 실시예에서 제기한 타깃 검출 방법은, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 동일한 타깃 대상에 속한 꼭짓점을 결정함으로써, 결정된 꼭짓점에 기반하여 동일한 타깃 대상을 검출할 수 있다.

Claims (17)

1. 타깃 검출 방법으로서,
   검출될 이미지를 획득하는 단계;
   상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계 - 꼭짓점은 상기 검출될 이미지에서의 타깃 대상의 위치를 표시함 - ;및
   각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
2. 제 1항에 있어서,
   상기 검출될 이미지에 기반하여, 각 꼭짓점이 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계는,
   상기 검출될 이미지에 대해 특징을 추출 진행하여, 상기 검출될 이미지에 대응되는 초기 특징맵을 획득하는 단계;
   상기 초기 특징맵에 대해 꼭짓점 풀링을 진행하여, 꼭짓점 풀링된 특징맵을 획득하는 단계; 및
   상기 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보, 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 획득하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
3. 제 2항에 있어서,
   상기 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 단계는,
   상기 꼭짓점 풀링된 특징맵에 기반하여, 상기 검출될 이미지에 대응되는 꼭짓점 히트맵을 생성하는 단계;
   상기 꼭짓점 히트맵에 기반하여, 상기 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값을 결정하고, 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 상기 꼭지점 히트맵의 특징점에서 상기 꼭짓점을 선별하는 단계;
   선별된 각 꼭짓점이 상기 꼭짓점 히트맵에서의 위치 정보 및 각 꼭짓점에 대응되는 로컬 시프트 정보를 획득하는 단계 - 상기 로컬 시프트 정보는 대응되는 꼭짓점이 나타내는 실제 물리점이 상기 꼭짓점 히트맵에서의 위치 시프트 정보를 표시하기 위해 사용됨 - ; 및
   획득한 각 꼭짓점이 상기 꼭짓점 히트맵에서의 위치 정보, 각 꼭짓점에 대응되는 로컬 시프트 정보, 및 상기 꼭짓점 히트맵 및 상기 검출될 이미지 간의 크기 비율에 기반하여 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
4. 제 2항 또는 제 3항에 있어서,
   상기 꼭짓점 풀링된 특징맵에 기반하여, 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계는,
   상기 꼭짓점 풀링된 특징맵에 기반하여, 상기 꼭짓점 풀링된 특징맵에서의 각 특징점에 대응되는 가이드 시프트 텐서를 결정하는 단계 - 각 특징점에 대응되는 가이드 시프트 텐서는 상기 검출될 이미지에서 상기 특징점이 타깃 대상 중심점을 가리키는 시프트 텐서를 나타냄 - ;
   각 특징점에 대응되는 가이드 시프트 텐서에 기반하여, 상기 특징점의 시프트 도메인 정보를 결정하는 단계 - 상기 시프트 도메인 정보는 상기 특징점과 연관된 복수 개의 초기 특징점이 각각에 대응되는 시프트된 특징점을 각각 가리키는 시프트 텐서를 포함함 - ;
   상기 꼭짓점 풀링된 특징맵 및 상기 꼭짓점 풀링된 특징맵에서의 특징점의 시프트 도메인 정보에 기반하여, 상기 꼭짓점 풀링된 특징맵에서의 특징점의 특징 데이터에 대해 조정을 진행하여, 조정된 특징맵을 획득하는 단계; 및
   조정된 특징맵에 기반하여 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
5. 제 3항에 있어서,
   상기 검출될 이미지에 대응되는 꼭짓점 히트맵은 복수 개 채널에 각각 대응되는 꼭짓점 히트맵을 포함하고, 상기 복수 개 채널에서의 각 채널은 한자기 한가지 사전 설정 대상 카테고리에 대응하며; 상기 꼭짓점 히트맵에 기반하여 상기 꼭짓점 히트맵에서 각 특징점을 꼭짓점으로 사용하는 확률값을 결정한 후,상기 검출 방법은,
   상기 복수 개 채널에서의 각 채널에 대해, 상기 채널에 대응되는 꼭짓점 히트맵에서의 각 특징점을 꼭짓점으로 사용하는 확률값에 기반하여, 상기 채널에 대응되는 꼭짓점 히트맵에 상기 꼭짓점이 존재하는지 여부를 결정하는 단계; 및
   상기 채널에 대응되는 꼭짓점 히트맵에 상기 꼭짓점이 존재할 경우, 상기 검출될 이미지에 상기 채널에 대응되는 사전 설정 대상 카테고리의 타깃 대상이 포함된다고 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
6. 제 1항에 있어서,
   각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하는 단계는,
   상기 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하는 것을 특징으로 하는 타깃 검출 방법.
7. 제 6항에 있어서,
   상기 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정하는 단계는,
   각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 후보 검출 프레임을 구성하는 후보 꼭짓점 페어를 선별하는 단계;
   각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 상기 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 꼭짓점이 가리키는 중심점 위치 정보를 결정하는 단계;
   각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하는 단계; 및
   각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서 상기 타깃 대상의 검출 프레임을 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
8. 제 7항에 있어서,
   각 후보 꼭짓점 페어에서 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 정보를 결정하는 단계는,
   상기 후보 꼭짓점 페어에서 각 꼭짓점의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임을 나타내는 꼭짓점 위치 정보를 결정하는 단계; 및
   상기 중심 영역 프레임의 꼭짓점 위치 정보에 기반하여, 상기 후보 꼭짓점 페어에 대응되는 중심 영역 프레임의 좌표 범위를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
9. 제 7항 또는 제 8항에 있어서,
   상기 각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 상기 후보 검출 프레임에서 상기 타깃 대상의 검출 프레임을 결정하는 단계는,
   각 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심 위치 정보 및 상기 꼭짓점 페어에 대응되는 중심 영역 정보에 기반하여, 유효 후보 꼭짓점을 결정하는 단계;
   상기 유효 후보 꼭짓점 페어에서 각 꼭짓점이 가리키는 중심점 위치 정보, 상기 유효 후보 꼭짓점 페어에 대응되는 중심 영역 정보, 및 상기 유효 후보 꼭짓점 페어에서 각 꼭짓점에 대응되는 확률값에 기반하여, 각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수을 결정하며 - 각 꼭짓점에 대응되는 확률값은 상기 꼭짓점이 꼭짓점 히트맵에 대응되는 특징점을 꼭짓점으로 사용하는 확률값을 표시하기 위해 사용됨 - ; 및
   각 유효 후보 꼭짓점 페어에 대응되는 후보 검출 프레임의 점수 및 인접 후보 검출 프레임 간의 중첩 영역 크기에 기반하여, 상기 후보 검출 프레임에서 상기 타깃 대상의 검출 프레임을 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
10. 제 6항에 있어서,
    상기 검출될 이미지에서의 타깃 대상의 검출 프레임을 결정한 후, 상기 타깃 검출 방법은,
    상기 타깃 대상의 검출 프레임 및 상기 검출될 이미지에 대해 특징 추출을 진행하여 획득한 초기 특징맵에 기반하여, 상기 검출될 이미지에서의 상기 타깃 대상의 인스턴스 정보를 결정하는 단계를 더 포함하는 것을 특징으로 하는 타깃 검출 방법.
11. 제 10항에 있어서,
    상기 타깃 대상의 검출 프레임 및 상기 검출될 이미지에 특징 추출을 진행하여 획득된 초기 특징맵에 기반하여, 상기 검출될 이미지에서 상기 타깃 대상의 인스턴스 정보를 결정하는 단계는,
    상기 타깃 대상의 검출 프레임 및 상기 초기 특징맵에 기반하여, 상기 초기 특징맵이 상기 검출 프레임 내에서의 특징점의 특징 데이터를 추출하는 단계; 및
    상기 초기 특징맵이 상기 검출 프레임 내에서의 특징점의 특징 데이터에 기반하여, 상기 검출될 이미지에서 상기 타깃 대상의 인스턴스 정보를 결정하는 단계를 포함하는 것을 특징으로 하는 타깃 검출 방법.
12. 제 1항 내지 제 11항 중 어느 한 항에 있어서,
    상기 타깃 검출 방법은 신경 네트워크를 통해 구현되고, 상기 신경 네트워크는 라벨링 타깃 샘플 대상을 포함하는 샘플 이미지를 이용하여 훈련하여 획득된 것을 특징으로 하는 타깃 검출 방법.
13. 제 12항에 있어서,
    상기 신경 네트워크는,
    샘플이미지를 획득하는 단계;
    상기 샘플 이미지에 기반하여, 각 샘플 꼭짓점이 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서를 결정하는 단계 - 상기 샘플 꼭짓점은 상기 샘플 이미지에서의 타깃 샘플 대상의 위치를 나타냄 - ;
    각 샘플 꼭짓점이 상기 샘플 이미지에서의 꼭짓점 위치 정보 및 각 샘플 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여 샘플 이미지에서의 타깃 샘플 대상을 예측하는 단계; 및
    예측된 상기 샘플 이미지에서의 타깃 샘플 대상 및 상기 샘플 이미지에서의 라벨링 타깃 샘플 대상에 기반하여, 상기 신경 네트워크의 네트워크 파라미터 값에 대해 조절을 진행하는 단계를 사용하여 훈련하여 획득된 것을 특징으로 하는 타깃 검출 방법.
14. 타깃 검출 장치로서,
    검출될 이미지를 획득하도록 구성된 획득부;
    상기 검출될 이미지에 기반하여, 각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서를 결정하도록 구성된 결정부 - 상기 꼭짓점은 상기 검출될 이미지에서의 타깃 대상의 위치를 나타냄 - ;
    각 꼭짓점이 상기 검출될 이미지에서의 꼭짓점 위치 정보 및 각 꼭짓점에 대응되는 구심 시프트 텐서에 기반하여, 상기 검출될 이미지에서의 타깃 대상을 결정하도록 구성된 검출부를 포함하는 것을 특징으로 하는 타깃 검출 장치.
15. 전자 기기로서,
    프로세서, 메모리 및 버스를 포함하며, 상기 메모리에는 상기 프로세서가 실행 가능한 기계 판독 가능한 명령어가 저장되며, 전자 기기가 작동될 경우, 상기 프로세서와 상기 메모리 사이는 버스를 통해 통신하고, 상기 기계 판독 가능한 명령어가 상기 프로세서에 의해 실행될 경우 제 1항 내지 제 13항 중 어느 한 항에 따른 타깃 검출 방법의 단계를 실행하는 것을 특징으로 하는 전자 기기.
16. 컴퓨터 판독 가능한 저장 매체로서,
    상기 컴퓨터 판독 가능한 저장 매체에는 컴퓨터 프로그램이 저장되며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 경우, 제1항 내지 제13항 중 어느 한 항에 따른 타깃 검출 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
17. 컴퓨터 프로그램으로서,
    컴퓨터 판독 가능한 코드를 포함하고, 상기 컴퓨터 판독 가능한 코드가 전자 기기에서 작동될 경우, 상기 전자 기기에서의 프로세서는 제1항 내지 제13항 중 어느 한 항에 따른 타깃 검출 방법을 구현하는 것을 특징으로 하는 컴퓨터 프로그램.

Images