KR20230068350A - 3차원 물체들을 위치 파악하기 위한 시스템 - Google Patents

3차원 물체들을 위치 파악하기 위한 시스템 Download PDF

Info

Publication number
KR20230068350A
KR20230068350A KR1020220149591A KR20220149591A KR20230068350A KR 20230068350 A KR20230068350 A KR 20230068350A KR 1020220149591 A KR1020220149591 A KR 1020220149591A KR 20220149591 A KR20220149591 A KR 20220149591A KR 20230068350 A KR20230068350 A KR 20230068350A
Authority
KR
South Korea
Prior art keywords
points
point cloud
bounding box
point
location
Prior art date
Application number
KR1020220149591A
Other languages
English (en)
Inventor
니콜라우스 조나단 미첼
용-디안 지안
Original Assignee
아르고 에이아이 엘엘시
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아르고 에이아이 엘엘시 filed Critical 아르고 에이아이 엘엘시
Publication of KR20230068350A publication Critical patent/KR20230068350A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

차량에 대한 3차원 물체들의 위치를 파악하기 위한 시스템, 방법 및 컴퓨터 프로그램 제품 실시예들이 본원에서 개시된다. 상기 시스템은: 차량 외부 환경의 2차원(2D) 데이터 및 3차원(3D) 포인트 클라우드를 생성하기 위한 적어도 하나의 센서를 포함한다. 상기 3D 포인트 클라우드는 고정 트래픽 제어 물체와 연관된 물체 포인트들을 포함한다. 상기 위치 파악 시스템은 메모리 및 그 메모리에 결합된 적어도 하나의 프로세서를 또한 포함한다. 상기 프로세서는: 상기 2D 데이터에 기초하여 상기 메모리로부터 상기 물체와 연관된 바운딩 박스를 선택하며; 상기 3D 포인트 클라우드 내 물체 포인트에 근접하게 상기 바운딩 박스를 정렬하며; 상기 3D 포인트 클라우드의 각 포인트에, 상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 가중치를 할당하며; 상기 가중치 할당된 포인트들을 필터링하며; 그리고 상기 필터링된 포인트들을 기초로 상기 물체의 3D 로케이션을 생성하도록 프로그램된다.

Description

3차원 물체들을 위치 파악하기 위한 시스템 {SYSTEM FOR LOCALIZING THREE-DIMENSIONAL OBJECTS}
하나 이상의 실시예는 차량에 대해 3차원 물체를 위치 파악하기 위한 시스템 및 방법에 관한 것이다.
차량에는 예를 들어 신호등, 거리 표지판 및 기타 차량인 특정 물체들의 존재를 검출하기 위해 외부 환경을 모니터하기 위한 시스템이 포함될 수 있다. 상기 시스템은 차량에 대한 특정 물체의 3차원(3D) 로케이션을 또한 판별할 수 있다. 차량은 이러한 3D 로케이션을 기반으로 하나 이상의 다른 차량 시스템을 제어할 수 있다. 예를 들어, 차량은 신호등 또는 원격 차량의 위치 및/또는 상태에 기초하여 차량을 정지시키기 위해 브레이크 시스템을 제어할 수 있다. 상기 시스템은 물체를 검출하기 위한 센서 또는 카메라를 포함할 수 있다. 상기 시스템은 센서들이나 카메라들로부터의 데이터를 기반으로 물체의 로케이션을 판별하기 위해 하나 이상의 전략을 또한 사용할 수 있다.
다양한 기존의 위치 파악 방법들이 존재한다. 한 가지 방법은 삼각 측량 개념과 카메라로부터의 2차원 이미지들을 기반으로 하는 일반 다중 뷰 기하학 알고리즘을 사용한다. 그러나, 이러한 방법은 1미터를 넘는 오류로 일반적으로 부정확하다. 한 가지 다른 방법은 딥 러닝 네트워크를 사용하여 센서 데이터로부터 물체 로케이션을 직접 회귀(regress)하는 것이다. 그러나, 이러한 딥 러닝 버전에는 광범위한 수동 라벨 지정 및 이 라벨 지정을 기반으로 하는 미리 결정된 데이터 저장이 일반적으로 필요하다. 다른 방법은 물체의 특정 특성(예: 표지판이 평평함)을 활용하고 해당 특정 물체에 대한 커스텀 알고리즘을 생성한다. 그러나, 이러한 방법들은 유사한 모양의 물체들을 종종 구별하지 못한다. 예를 들어, 어떤 장면(secne) 내에 동일하거나 유사한 물체, 예를 들어, 여러 신호등들의 인스턴스가 여러 개 있으면, 이러한 전략은 추가의 복잡한 추적 알고리즘 없이는 그 신호등들을 구별하지 못할 수 있다.
본 발명은 3차원 물체들을 위치 파악하기 위한 방안을 제공하려고 한다.
일 실시예에서, 위치 파악 (localization) 시스템은 차량 외부 환경의 2차원(2D) 데이터 및 3차원(3D) 포인트 클라우드를 생성하기 위한 적어도 하나의 센서를 포함한다. 상기 3D 포인트 클라우드는 물체와 연관된 물체 포인트들을 포함한다. 상기 위치 파악 시스템은 메모리 및 그 메모리에 결합된 적어도 하나의 프로세서를 또한 포함한다. 상기 프로세서는: 상기 2D 데이터에 기초하여 상기 메모리로부터 상기 물체와 연관된 바운딩 박스를 선택하며; 상기 3D 포인트 클라우드 내 물체 포인트들에 근접하게 상기 바운딩 박스를 정렬하며; 상기 3D 포인트 클라우드의 각 포인트에, 상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 가중치를 할당하며; 상기 가중치 할당된 포인트들을 필터링하며; 그리고 상기 필터링된 포인트들을 기초로 상기 물체의 3D 로케이션을 생성하도록 프로그램된다.
다른 실시예에서, 차량에 대해 물체를 위치 파악하기 위한 방법이 제공된다. 차량 외부 환경의 2차원(2D) 데이터 및 3차원(3D) 포인트 클라우드가 적어도 하나의 센서로부터 수신된다. 상기 3D 포인트 클라우드는 고정 트래픽 제어 물체와 연관된 물체 포인트들을 포함한다. 상기 2D 데이터에 기초하여 상기 고정 트래픽 제어 물체와 연관된 바운딩 박스가 선택된다. 상기 바운딩 박스는 상기 3D 포인트 클라우드 내 물체 포인트들에 근접하게 정렬된다. 상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 상기 3D 포인트 클라우드의 각 포인트에 가중치가 할당된다. 상기 가중치 할당된 포인트들이 필터링된다. 상기 필터링된 포인트들에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션이 생성된다.
또 다른 실시예에서, 명령어들이 저장된 비일시적 컴퓨터 판독가능 매체가 제공된다. 상기 명령어들은 적어도 하나의 컴퓨팅 디바이스에 의해 실행될 때에 상기 적어도 하나의 컴퓨팅 디바이스로 하여금: 2차원(2D) 데이터에 기초하여 고정 트래픽 제어 물체와 연관된 바운딩 박스를 선택함: 차량 외부 환경의 3차원(3D) 포인트 클라우드 내 물체 포인트들에 근접하게 바운딩 박스를 배열함 - 상기 물체 포인트들은 상기 고정 트래픽 제어 물체와 연관됨; 상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 상기 3D 포인트 클라우드의 각 포인트에 가중치를 할당함; 상기 가중치 할당된 포인트들을 필터링함; 그리고 상기 필터링된 포인트들에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션을 생성함을 포함하는 동작들을 수행하도록 한다.
도 1은 하나 이상의 실시예에 따른, 3D 물체의 위치를 파악하기 위한 시스템을 구비한 자율 차량의 개략도이다.
도 2는 상기 시스템과 다른 시스템 간의 통신을 예시하는 개략도이다.
도 3은 하나 이상의 실시예에 따른, 3D 물체를 위치 파악하기 위한 방법을 예시하는 흐름도이다.
도 4는 도 3의 방법에 따른 가중 포인트들에 대한 폐색 시험을 예시한 개략도이다.
도 5는 도 3의 방법에 따른 가중 포인트에 대한 투사 시험을 예시한 도면이다.
도 6은 도 3의 방법에 따라 상기 시스템에 의해 생성된 3차원 포인트 클라우드를 예시한다.
도 7은 상기 시스템에 의해 생성되고 도 3의 방법에 따라 낮은 가중 포인트들을 제거하기 위해 필터링된 3D 포인트 클라우드를 예시한다.
도 8은 상기 시스템에 의해 생성되고 도 3의 방법에 따라 낮은 가중 포인트들 및 중간의 가중 포인트들을 제거하기 위해 필터링된 3D 포인트 클라우드를 예시한다.
도 9는 다양한 실시예를 구현하기 위한 예시적인 컴퓨터 시스템의 상세한 개략도이다.
상기 도면들에서, 동일한 참조 번호는 일반적으로 동일하거나 유사한 요소를 나타낸다. 추가로, 일반적으로 참조 번호의 맨 왼쪽 숫자(들)는 그 참조 번호가 처음 나타나는 도면을 식별한다.
필요에 따라 상세한 실시예가 본원에 개시된다. 그러나, 개시된 실시예는 단지 예시적인 것이며 다양하고 대안적인 형태로 구현될 수 있음이 이해되어야 한다. 상기 도면들은 반드시 크기가 비례하지는 않다; 일부 기능은 특정 컴포넌트들의 세부 사항을 표시하기 위해 과장되거나 최소화될 수 있다. 그러므로, 본원에 개시된 구체적인 구조적 및 기능적 세부 사항은 제한적인 것으로 해석되어서는 안 되며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 다양하게 채용할 수 있도록 교육하기 위한 대표적인 근거로 해석되어야 한다.
도 1을 참조하면, 차량에 대한 물체의 3D 로케이션을 검출하기 위한 시스템이 하나 이상의 실시예에 따라 예시되고 일반적으로 도면 부호 100으로 참조된다. 상기 시스템(100)은 자율 차량(AV)(102) 내에 도시되어 있다. 상기 시스템(100)은 제어기(104), 적어도 하나의 카메라(106), 및 센서 시스템(108)을 포함한다. AV(102)는 제1 신호등(110)에 접근하는 것으로 도시되어 있다. 시스템(100)은 카메라(106)로부터의 데이터를 기반으로 하는 2D 바운딩 박스를 센서 시스템(108)으로부터의 3D 데이터와 결합하여, AV(102)에 대한 제1 신호등(110), 교통 표지판 (도시되지 않음) 또는 다른 트래픽 지시 표시자와 같은 고정 트래픽 제어 물체의 3D 로케이션을 결정한다. 2D 데이터와 3D 데이터를 결합함으로써 물체의 3D 로케이션를 결정하여, 상기 시스템(100)은 기존 시스템보다 더 정확하고 사람이 생성한 라벨링 및 해당 저장 디바이스를 덜 사용한다.
예시된 실시예에서, 상기 시스템(100)은 AV(102)에 관한 외부 환경의 이미지를 캡처하기 위한 다수의 카메라들(106a, 106b, 106c)을 포함한다. 상기 카메라들(106)은 가시 스펙트럼 카메라, 적외선 카메라 등을 포함할 수 있다. 일 실시예에서, 시스템(100)은 AV(102)에 관한 외부 환경의 이미지를 360도 캡처하기 위해 차량 주위에 분포된 8개의 카메라를 포함한다.
센서 시스템(108)은 하나 이상의 실시예에 따라 AV(102)의 지붕에 장착되는 라이다 시스템을 포함한다. 상기 라이다 시스템(108)은 AV(102)로부터 멀리 광 펄스들(112)을 전송한다. 전송된 광 펄스(112)는 하나 이상의 물체(예를 들어, 제1 신호등(110))에 입사하고, 반사된 광 펄스(114)로서 라이다 시스템(108)을 향해 다시 반사된다. 상기 제어기(104)는 반사된 광 펄스(114)를 처리하여 AV(102)에 대한 제1 신호등(110)의 거리를 판별한다. 라이다 시스템(108)은 광 펄스(112)를 전송하기 위한 하나 이상의 방출기(미도시), 및 반사된 광 펄스(114)를 수신하기 위한 광검출기의 어레이(미도시)를 포함할 수 있다.
라이다 시스템(108)은 AV(102)에 주위의 외부 환경을 스캔하기 위해 수직 축(미도시)을 중심으로 회전할 수 있다. 라이다 시스템(108)은 AV(102)가 이동하여 3D 데이터, 예를 들어 3D 포인트 클라우드를 생성할 때 시간이 지암에 따라 반사된 광 펄스(114)를 분석할 수 있다. 포인트 클라우드는 공간 내 데이터 포인트들의 세트를 나타낸다. 상기 포인트들은 3D 모양이나 개체를 나타낼 수 있으며, 각 포인트 위치는 데카르트 좌표들(X, Y, Z)의 자신의 세트를 가진다.
시스템(100)은 AV(102) 외부의 환경에서 유사한 물체들을, 하나씩 개별적으로 위치 파악함으로써 구별한다. 예를 들어, 예시된 실시예에서, AV(102)는 제1 신호등(110), 제2 신호등(116) 및 제3 신호등(118)을 포함하는 다수의 신호등들에 접근하는 것으로 도시된다. AV(102)는 우측 차로로 주행하고 교차로에 접근하는 것으로 도시된다. 우측 차로와 연관된 제1 신호등(110)은 조명된 녹색등(120)을 가지며, 이는 하부 조명으로부터 연장되는 라인들로 표현된다. 제2 신호등(116)은 교차로에서 좌회전 차로와 연관되고 상부 조명으로부터 연장되는 라인들로 표현되는 조명된 적색등(122)을 갖는다. 제3 신호등(118)은 먼 교차로에서 우측 차로와 연관되고 상부 조명으로부터 연장되는 라인들로 표현되는 조명된 적색등(124)을 갖는다. 상기 시스템(100)은 어느 것이 적용 가능한지를 판별하기 위해 AV(102)에 대해 각 신호등(110, 116, 118)의 위치를 파악한다. 그런 다음 상기 시스템(100)은 적용 가능한 신호등의 현재 상태, 즉 어떤 신호등이 켜져 있는지 분석하여 AV(102)를 어떻게 제어하는가를, 예를 들어 교차로를 통과할지 또는 그 전에 정지할지 여부를 결정한다.
"차량"이라는 용어는 한 명 이상의 탑승자 및/또는 화물을 운반할 수 있고 임의 형태의 에너지로 구동되는 임의의 이동 형태의 운송 수단을 의미한다. "차량"이라는 용어는 자동차, 트럭, 밴, 기차, 자율주행 차량, 항공기, 공중 드론 등을 포함하지만 이에 국한되지 않는다. "자율 차량"(또는 "AV (autonomous vehicle)")은 인간 운전자 없이도 프로세서가 제어할 수 있는 프로세서, 프로그래밍 명령 및 구동계 컴포넌트들을 구비한 차량이다. 자율 차량은 대부분의 또는 모든 운전 조건 및 기능에 대해 인간 운전자를 필요로 하지 않는다는 점에서 완전 자율적일 수 있으며, 또는 자율 차량은 특정 조건에서 또는 특정 작동에 대해 인간 운전자가 필요할 수 있다는 점이나 인간 운전자가 차량의 자율 시스템을 무시하고 차량을 제어할 수 있다는 점에서 반자율적일 수 있다. 특히, 상기 시스템(100)은 자율 차량의 맥락에서 본원에서 설명되고 있다. 그러나, 상기 시스템(100)은 자율 차량 애플리케이션으로 제한되지 않으며; 상기 시스템은 로봇 애플리케이션, 레이더 시스템 애플리케이션, 메트릭 애플리케이션 및/또는 시스템 성능 애플리케이션과 같은 다른 애플리케이션들에서 사용될 수 있다.
도 2는 하나 이상의 실시예에 따른 시스템(100)과 다른 시스템 및 디바이스 사이의 통신을 도시한다. 상기 시스템(100)은 AV(102)의 다른 시스템과 통신하기 위해 제어기(104)에 연결된 트랜시버(202)를 포함한다.
상기 트랜시버(202)는 AV(102)의 다양한 시스템, 예를 들어 엔진, 변속기, 내비게이션 시스템, 브레이크 시스템 등 (미도시)의 현재 작동 조건을 나타내는 정보를 수신한다. 트랜시버(202)는 다른 시스템과 직접 통신하거나 차량 통신 버스(204), 예를 들어 CAN 버스를 통해 다른 시스템과 간접적으로 통신할 수 있다. 예를 들어, 트랜시버(202)는 차량 통신 버스(204)를 통해 차량 속도, 엔진 속도, 방향 지시등 상태, 브레이크 위치, 차량 위치 및 조향 각도와 같은 정보를 수신할 수 있다.
트랜시버(202)는 예를 들어 카메라(106) 및 라이다 시스템(108)으로부터 상기 AV(102)의 외부 환경을 나타내는 정보를 또한 수신한다. 상기 외부 환경 정보는 AV(102)에 대한 물체의 로케이션, 예를 들어 도 1에 도시된 신호등들(110, 116, 118)의 로케이션을 기술한다. 상기 외부 환경 정보는 환경 자체에 관한 정보, 예를 들어 현재 각 신호등(110, 116, 118)에 어떤 빛이 켜져 있는지, 또는 도로 표면에 속한 데이터를 또한 포함한다. 상기 외부 환경 정보는 AV(102)의 움직임에 관한 정보 및/또는 AV(102)의 경로에 관한 정보를 또한 포함할 수 있다. 트랜시버(202)는 이러한 외부 환경 정보를 직접적으로 또는 차량 통신 버스(204)를 통해 간접적으로 수신할 수 있다.
상기 시스템(100)은 외부 환경 정보를 수신하기 위해 AV(102)의 추가 센서(206)와 통신할 수 있다. 이러한 추가 센서(206)는 무선 탐지 및 측정 (radio detection and ranging, RADAR) 시스템, 레이저 검출 및 측정 (laser detection and ranging, LADAR) 시스템, 사운드 내비게이션 및 측정 (sound navigation and ranging, SONAR) 시스템, 온도 센서, 위치 센서(예: GPS(Global Positioning System) 등), 로케이션 센서, 연료 센서, 모션 센서 (예: 관성 측정 유닛(inertial measurement unit, IMU) 등), 습도 센서, 점유 센서 등을 포함할 수 있다.
시스템(100)은 외부 환경 정보를 공유하며 그리고/또는 추가적인 외부 환경 정보를 수집하기 위해 AV(102)로부터 원격에 위치한 디바이스 및 시스템과 또한 통신할 수 있다. 상기 시스템(100)은 다른 차량 및 구조물과 통신하기 위해 제어기(104)에 연결된 V2X (Vehicle-to-Everything) 트랜시버(208)를 포함할 수 있다. 예를 들어, 상기 시스템(100)은 V2V (vehicle-to-vehicle) 통신에 의해 원격 차량 (remote vehicle, RV)과, V2I (Vehicle-to-Infrastructure) 통신에 의해 구조물(212)(예를 들어, 표지판, 건물 또는 신호등)과, 또는 V2M (Vehicle-to-Motorcycle) 통신에 의해 오토바이(214)와 직접적으로 통신하기 위해 V2X 트랜시버(208)를 사용할 수 있다. 각 V2X 디바이스는 자신의 상태 또는 다른 V2X 디바이스의 상태를 나타내는 정보를 제공할 수 있다. 예를 들어, RV(210)는 멀리 떨어진 신호등의 상태를 나타내는 정보를 제공할 수 있다.
상기 시스템(100)은 트랜시버들(202, 208) 중 하나 이상을 사용하여 통신 네트워크(218)를 통해 원격 컴퓨팅 디바이스(216)와 통신할 수 있다. 원격 컴퓨팅 디바이스(216)는 여기에 설명된 기술의 하나 이상의 프로세스들을 처리하기 위해 하나 이상의 서버를 포함할 수 있다. 원격 컴퓨팅 디바이스(216)는 네트워크(218)를 통해 데이터베이스(220)와 데이터를 또한 전달할 수 있다.
상기 제어기(104)가 단일 제어기로서 설명되지만, 이는 다수의 제어기들을 포함할 수 있으며, 또는 하나 이상의 다른 제어기들 내의 소프트웨어 코드로서 구현될 수 있다. 제어기(104)는 일련의 작업들 수행하기 위해 서로 협력하는 임의의 수의 마이크로프로세서, ASIC, IC, 메모리(예를 들어, FLASH, ROM, RAM, EPROM 및/또는 EEPROM) 및 소프트웨어 코드를 포함할 수 있는 처리 유닛 또는 프로세서(222)를 포함한다. 이러한 하드웨어 및/또는 소프트웨어는 특정 기능을 수행하기 위해 어셈블리들 내에서 함께 그룹화될 수 있다. 여기에 설명된 제어기 또는 디바이스 중 임의의 하나 이상은 다양한 프로그래밍 언어 및/또는 기술을 사용하여 생성된 컴퓨터 프로그램으로부터 컴파일되거나 인터프리트될 수 있는 컴퓨터 실행 가능 명령어를 포함한다. 제어기(104)는 소프트웨어 프로그램의 명령어들을 실행할 수 있는 메모리(224), 또는 비일시적 컴퓨터 판독가능 저장 매체를 또한 포함한다. 상기 메모리(224)는 전자 저장 디바이스, 자기 저장 디바이스, 광학 저장 디바이스, 전자기 저장 디바이스, 반도체 저장 디바이스, 또는 이들의 임의의 적절한 조합일 수 있지만 이에 국한되지 않는다. 일반적으로, 프로세서(222)는, 예를 들어, 메모리(224), 컴퓨터 판독가능 매체 등으로부터 명령어를 수신하고 그 명령어를 실행한다. 제어기(104)는 하나 이상의 실시예에 따라 메모리 내에 저장된 미리 결정된 데이터 또는 "룩업 테이블"을 또한 포함한다.
도 3을 참조하면, 차량에 대한 물체의 3D 로케이션를 검출하기 위한 방법을 도시하는 흐름도가 하나 이상의 실시예에 따라 도시되고 일반적으로 도면 부호 300으로 참조된다. 상기 방법(300)은 하나 이상의 실시예에 따라 프로세서(222)에 의해 실행되고 메모리(224)(도 2) 내에 포함된 소프트웨어 코드를 사용하여 구현된다. 상기 흐름도가 다수의 순차적 단계로 예시되어 있지만, 하나 이상의 단계는 본 개시내용의 범위 및 고려를 벗어나지 않으면서 생략 및/또는 다른 방식으로 실행될 수 있다.
단계 302에서, 프로세서(222)는 AV(102)의 외부 환경을 나타내는 입력을 수신한다. 프로세서(222)는 카메라(106)로부터 2D 이미지 데이터(304)를 수신하고 라이다 시스템(108)으로부터 3D 포인트 클라우드 데이터(306)를 수신한다. 2D 이미지 데이터(304)는 도 1의 제1 신호등(110)에 대응하는 신호등 데이터(308)를 포함한다. 라이다 시스템(108)은 각각의 색상이 물체의 유형과 연관되는 상이한 색상 포인트들을 포함하는 3D 포인트 클라우드를 생성한다. 예를 들어, 라이다 시스템(108)은 (회색 점으로 표시된) 초목에 대한 녹색 포인트, (짙은 회색 점으로 표시된) 신호등에 대한 노란색 포인트. 그리고 (밝은 회색 점으로 표시된) 포장도로에 대한 분홍색 포인트를 생성할 수 있다. 상기 3D 포인트 클라우드 데이터(306)는 도 1의 제1 신호등(110)에 대응하는 노란색 포인트(310)를 포함한다.
단계(312)에서 프로세서(222)는 관심 물체, 예를 들어 신호등 포인트(310)와 연관된 3D 포인트 클라우드 내 포인트들에 가중치들을 할당한다. 프로세서(222)는 3D 포인트 클라우드 내 관심 물체, 예를 들어 신호등 포인트(310)에 관한 2D 이미지들에 기초하여 직사각형 또는 2D 바운딩 박스(314)를 생성한다. 하나 이상의 실시예에서, 프로세서(222)는 2D 이미지 데이터로부터의 물체를 식별한 다음, 물체와 연관된 2D 바운딩 박스(314)를 메모리(224)로부터 검색한다. 그 다음, 프로세서(222)는 카메라 위치(318)와 바운딩 박스(314)의 위치 사이에서 연장되는 사각 절두체 (square frustrum)(316)와 같은 다면체를 생성한다. 그 다음, 프로세서(222)는 사각 절두체(316) 내에 위치한 포인트들의 가중치를 증가시킨다.
또한 단계 312에서, 프로세서(222)는 3D 포인트 클라우드를 분석하여 포인트들이 다른 물체에 의해 가려지거나 차단되는지를 판별한다. 다시 도 1을 참조하면, AV(102)가 교차로에 접근함에 따라, 제1 신호등(110)은 AV(102)의 관점에서 제3 신호등(118)과 부분적으로 정렬될 수 있다.
유사한 디바이스들 간의 이러한 정렬은 특히 다른 조명이 켜진 경우 기존 라이다 시스템에 혼란이나 연관 문제들의 결과를 가져올 수 있다. 예를 들어, 각 신호등에 서로 다른 조명들을 비출 때에 제1 신호등(110)과 제3 신호등(118)을 구분할 수 없으면 하면 기존의 라이다 시스템은 혼동할 수 있다.
도 4를 참조하면, 프로세서(222)는 폐색(occlusion)을 검출하기 위해 z-버퍼링 접근법을 사용할 수 있다. Z-버퍼링을 사용하면, 카메라(도시되지 않음)와 관심 물체 사이에서 확장되는 세로 축 Z-Z 또는 z축을 따라 가장 깊이가 낮은 포인트만 허용된다. 도 4는 제1 신호등(110)과 연관된 신호등 포인트들(310)을 나타내는 삼각형(410) 및 제3 신호등(118)과 연관된 포인트들을 나타내는 원(418)을 도시한다. 상기 삼각형(410)과 상기 원(418)은 2D 이미지(420)에 도시된 바와 같이 겹칠 수 있으며, 그 결과 신호등(110)의 형상을 분석할 때 연관 문제가 발생할 수 있다. 따라서, 프로세서(222)는 더 멀리 있는 포인트(예를 들어, 원(418))보다 바운딩 박스(414) 내의 카메라 위치에 더 가까운 포인트(예를 들어, 삼각형(410))에 더 높은 가중치를 할당한다.
도 5를 참조하면, 프로세서(222)는 희소 (sparse) 포인트 클라우드와의 투사 문제를 극복하기 위해 스플래팅 (splatting) 접근법을 사용할 수 있다. 도 1의 제1 신호등(110)은 제1 신호등 포인트들(510)로 표현되고, 제3 신호등(118)은 포인트(518)로 표현된다. 제1 신호등(110)이 라이다 시스템 위치(508)에서 멀리 떨어져 있으면, 제1 신호등 포인트(510)에 의해 도 5에서 서로 이격되어 있는 것으로 표시되는 것과 같이 3D 포인트 클라우드가 희소할 수 있으며, 이는 제3 신호등 포인트(518)가 상기 제1 신호등 포인트(510)를 통해 투사하는 것을 허용한다. 이 투사 문제는 도 4를 참조하여 설명된 z 버퍼링 접근 방식을 복잡하게 만들 수 있다. 따라서, 프로세서(222)는 각 포인트를 단일 픽셀이 아닌 픽셀들의 영역으로 투사할 수 있다. 이 추가 픽셀들은 일반적으로 도 4의 2D 이미지(420)에서 겹치는 모양으로 표현된다.
프로세서(222)는 폐색 테스트(도 4) 및 스플래팅 접근법(도 5)을 통과하는 포인트와 연관된 값을 증가시킴으로써 상기 포인트들에 가중치를 할당할 수 있다. 프로세서(222)는, 예를 들어 길이방향 축 Z-Z(도 4)에 방사상으로 인접하여 바운딩 박스(314)의 중심에 위치한 포인트들의 가중치를, 바운딩 박스(314)의 에지 근처에 위치하는 포인트들보다 더 크게 또한 증가시킬 수 있다. 프로세서(222)는 다른 알고리즘 또는 시스템에 의해 생성된 데이터, 예를 들어, 다른 시스템에 의해 분석 및 라벨링되고 원격 컴퓨팅 디바이스(216)로부터 수신된 외부 환경 데이터에 기초하여 포인트들을 가중할 수 있다. 예를 들어, 일 실시예에서, 프로세서(222)는 다른 시스템에 의해 분석되고 라벨링된 포인트들에 대한 시멘틱(semantic) 데이터를 수신한다.
도 3을 다시 참조하면, 단계 320에서, 프로세서(222)는 낮은 가중치 포인트들을 필터링하거나 제거한다. 프로세서(222)는 각 포인트의 가중치를 임계값과 비교하고, 임계값보다 작은 가중치들을 제거할 수 있다.
일 실시예에서, 각 포인트에는 1의 디폴트 값이 할당된다. 프로세서(222)는 그 값을 4만큼 증가시킴으로써 사각형 절두체(316) 내에 위치한 각 포인트에 가중치를 부여한다. 그 다음, 프로세서(222)는 그 값을 5만큼 증가시킴으로써 폐색 테스트(도 4) 및 스플래팅 테스트(도 5)를 통과하는 각 포인트에 가중치를 부여한다. 이 가중치 접근 방식은 1, 5, 10의 값을 갖는 포인트들의 결과를 가져온다.
도 6 - 도 8은 가중치를 기반으로 포인트 클라우드를 필터링하는 방법을 예시한다. 도 6은 필터링되지 않은 포인트 클라우드(600)를 도시한다. 예를 들어, 임계값은 0으로 설정될 수 있으며, 적어도 하나의 가중치를 갖는 각 포인트가 표시된다.
도 7은 부분적으로 필터링된 포인트 클라우드(700)를 도시한다. 예를 들어, 임계값은 4로 설정될 수 있고, 프로세서(222)는 5보다 작은 가중치를 갖는 포인트들, 예를 들어, 사각 절두체(316) 외부에 있는 포인트들을 필터링하거나 제거한다.
도 8은 완전히 필터링된 포인트 클라우드(800)를 도시한다. 예를 들어, 임계값은 9로 설정될 수 있고, 프로세서(222)는 10보다 작은 가중치 값을 갖는 포인트들을 필터링하거나 제거하며, 예를 들어, 프로세서(222)는 사각 절두체(316) 내에 나타나는 제3 신호등(118)과 연관된 포인트들을 제거하지만, 폐색 테스트를 통과하지 않았다.
단계(324)에서, 프로세서(222)는 잠재적인 클러스터 포인트들을 형성하기 위해 남아있는 높은 가중치 포인트들을 클러스터(cluster)한다. 가중치를 부여받고 필터링된 후 포인트들을 클러스터함으로써, 클러스터된 포인트들이 유효하다는 높은 신뢰도가 존재한다. 단계(326)에서, 프로세서(222)는 잠재적인 클러스터 포인트들을 포인트들의 최소 크기 및 수와 같은 신호등(110)의 크기 및 형상과 연관된 미리 결정된 데이터와 비교한다. 잠재적인 클러스터가 이 기준을 충족시키면, 상기 프로세서(222)는 그 클러스터를 최종 클러스터로 식별한다. 제1 신호등 포인트들(310)을 포함하는 최종 클러스터들은 이미지(328) 내에 예시된다. 단계 330에서, 프로세서(222)는 바운딩 박스(314) 또는 바운딩 박스(314)의 중심에 기초하여 제1 신호등(110)의 3D 로케이션를 설정한다.
3D 개체를 위치 파악하기 위한 기존 전략들은 하나 이상의 제한들을 겪는다. 일부 기존 전략은 너무 구체적이며, 즉, 알고리즘은, 예를 들어, 특정 신호등을 위해 설계되었던 특정 물체에 대해서만 작동할 수 있다. 다른 기존 전략들은 정확하지 않으며, 예를 들어 기존의 일반 다중 뷰 기하학 알고리즘은 최대 1미터의 오류를 가질 수 있다. 다른 기존 전략들은 연관 문제들을 가진다. 예를 들어, 어떤 장면 내에서 동일한/유사한 물체들, 예를 들면, 여러 신호등들의 여러 인스턴스들이 종종 존재하며, 그러면 기존 전략들은 추가의 복잡한 추적 알고리즘 없이 그 신호등들을 구별할 수 없다. 딥 러닝 버전에 대한 기존의 다른 전략은 각 물체에 라벨을 지정하기 위해 광범위한 수동 입력으로부터의 트레닝 데이터를 필요로 한다.
시스템(100)은 현재 쉽게 이용 가능한 미리 결정된 2D 바운딩 박스 검출기를 갖는 임의의 물체를 식별하기 때문에 그런 기존 전략들을 능가하는 개선을 제공한다. 시스템(100)은 각 유형의 물체에 대해 전문화된 알고리즘을 필요로 하지 않는다. 3D 라이다 데이터를 2D 데이터, 예를 들어 2D 바운딩 박스와 결합함으로써, 상기 시스템(100)은 물체의 위치 파악을 위한 평균 오차를 0.1m 이하로 감소시킬 수 있다. 반면 기존 2D 비전 기반 시스템은 평균 오차가 1m 이상이며, 이는 유사한 인접 물체들을, 예를 들면, 도 1의 신호등들(110, 116, 118))을 구별하기 어렵게 한다. 상기 시스템(100)은 많은 기존 전략들과의 공통적인 연관 단계를 제거하며, 이 이유는 그런 이러한 연관이 클러스터 스테이지에 의해 암시되기 때문이다. 2D 바운딩 박스 검출기를 개발하기 위해 인간 라벨 부여가 사용될 수 있지만, 그런 인간 라벨 부여는 3D 위치 파악 (localization) 네트워크를 개발하는 것보다 시간을 덜 소비한다.
차량에 대한 물체의 3D 로케이션를 검출하기 위한 시스템은 도 9에 도시된 컴퓨터 시스템(900)과 같은 하나 이상의 컴퓨터 시스템을 사용하여 구현될 수 있다. 컴퓨터 시스템(900)은 여기에 설명된 기능들을 수행할 수 있는 임의의 컴퓨터일 수 있다. 컴퓨터 시스템(900)은 모니터, 키보드, 포인팅 디바이스 등과 같은 사용자 입력/출력 인터페이스(들)(902) 및 사용자 입력/출력 디바이스(들)(903)를 또한 포함한다.
컴퓨터 시스템(900)은 프로세서(904)와 같은 하나 이상의 프로세서(중앙 프로세싱 유닛 또는 CPU라고도 함)를 포함한다. 프로세서(904)는 통신 기반구조 또는 버스(906)에 연결된다. 프로세서(904)는 그래픽 처리 디바이스(GPU), 예를 들어, 컴퓨터 그래픽 애플리케이션, 이미지, 비디오 등에 공통적인 수학 집약적 데이터와 같은 큰 데이터 블록을 병렬 처리하기 위한 병렬 구조를 갖는 수학 집약적 애플리케이션을 처리하도록 설계된 특수 전자 회로일 수 있다.
컴퓨터 시스템(900)은 하나 이상의 캐시 레벨들 및 저장된 제어 로직(즉, 컴퓨터 소프트웨어)을 포함하는 RAM (random-access memory)과 같은 주 메모리(908)를 또한 포함한다. 컴퓨터 시스템(900)은 하나 이상의 2차 저장 디바이스 또는 2차 메모리(910), 예를 들어, 하드 디스크 드라이브(912); 및/또는 착탈식 저장 유닛(918)과 상호작용할 수 있는 착탈식 저장 디바이스(914)를 또한 포함할 수 있다. 상기 착탈식 저장 디바이스(914) 및 착탈식 저장 유닛(918)은 플로피 디스크 드라이브, 자기 테이프 드라이브, 콤팩트 디스크 드라이브, 광 저장 디바이스, 테이프 백업 디바이스, 및/또는 임의의 다른 저장 디바이스/드라이브일 수 있다.
상기 2차 메모리(910)는 컴퓨터 프로그램 및/또는 다른 명령어들 및/또는 데이터가 컴퓨터 시스템(900), 예를 들어, 인터페이스(920) 및 착탈식 저장 유닛(922), 예를 들면, (비디오 게임 디바이스에서 발견되는 것과 같은) 프로그램 카트리지 및 카트리지 인터페이스, (EPROM 또는 PROM과 같은) 착탈식 메모리 칩 및 연관된 소켓, 메모리 스틱 및 USB 포트, 메모리 카드 및 연관 메모리 카드 슬롯, 그리고/또는 기타 착탈식 저장 유닛 및 연관 인터페이스에 의해 액세스되도록 허용하기 위한 다른 수단, 방안 또는 다른 접근 방식을 포함할 수 있다.
상기 컴퓨터 시스템(900)은 (참조 번호 928에 의해 개별적으로 그리고 집합적으로 참조되는) 원격 디바이스, 원격 네트워크, 원격 엔티티 등의 임의의 조합과 통신하고 상호작용하기 위한 네트워크 또는 통신 인터페이스(924)를 더 포함할 수 있다. 예를 들어, 통신 인터페이스(924)는, 유선 및/또는 무선일 수 있고 LAN, WAN, 인터넷 등의 임의의 조합을 포함할 수 있는 통신 경로(926)를 통해 컴퓨터 시스템(900)이 원격 디바이스(928)와 통신하도록 허용할 수 있다. 상기 제어 로직 및/또는 데이터는 통신 경로(926)를 통해 컴퓨터 시스템(900)으로 그리고 그 컴퓨터 시스템(900)으로부터 전송될 수 있다.
도 2를 참조하여 위에서 설명된 바와 같이, 시스템(100)은 다른 차량 및 구조물과 통신하기 위해 제어기(104)에 연결된 V2X 트랜시버(208)를 또한 포함할 수 있다. 상기 시스템(100)은 2개의 V2X 디바이스들이 서로의 범위 내에 올 때 차량 애드혹 네트워크를 형성하기 위해 WLAN 기술을 사용할 수 있다. 이 기술은 IEE 802.11p에서 제공하는 기본 라디오 통신을 사용하는 DSRC(Dedicated Short-Range Communication, 단거리 전용 통신)라고 언급된다. DSRC의 범위는 일반적으로 약 300미터이며, 일부 시스템에서는 약 1000미터의 최대 범위를 가진다. 미국에서의 DSRC는 일반적으로 약 5.85GHz로부터 약 5.925GHz까지의 5.9GHz 범위에서 작동하며, 그리고 DSRC에 대한 일반적인 대기 시간은 약 50ms이다. 대안으로, 시스템(100)은 셀룰러 V2X(C-V2X), 롱텀 애볼루션 (Long Term Evolution) V2X(LTE-V2X), 또는 뉴 라디오 셀룰러 (New Radio Cellular) V2X(NR C-V2X)를 사용하여 다른 V2X 디바이스와 통신할 수 있다.
DSRC를 사용하는 연결 시스템과 V2V 및 V2I 애플리케이션은 2020년 7월의 Society of Automotive standard J 2735, V2X Communications Message Set Dictionary에서 정의된 메시지들 중 하나인 BSM(Basic Safety Message)에 의존한다. BSM은 5.9GHz DSRC 대역을 통해 차량에서 브로드캐스트되며, 전송 범위는 약 1,000미터 정도이다. BSM은 두 부분으로 구성된다. BSM 파트 1 (Part 1)은 차량 위치, 방향, 속도, 가속도, 스티어링 휠 각도, 차량 분류(예: 승용차 또는 오토바이)를 포함하는 핵심 데이터 요소들을 포함하며 초당 약 10회의 조정 가능한 속도로 전송된다. BSM 파트 2는 옵션적인 요소들의 광범위한 목록에서 가져온 데이터 요소들의 가변 세트를 포함한다. 그것들은 이벤트 트리거(예: ABS 활성화)를 기반으로 선택되고 파트 1에 추가되며 그리고 BSM 메시지의 일부로 송신되지만 대역폭을 절약하기 위해 덜 자주 전송된다. BSM 메시지는 현재 스냅샷들만을 포함한다 (몇 초 분량의 과거 이력 데이터로 국한되는 경로 데이터 제외).
일 실시예에서, 제어 로직(소프트웨어)이 저장된 유형적인 (tangible) 비일시적 컴퓨터 사용 가능 또는 판독 가능 매체를 포함하는 유형적인 비일시적 장치 또는 제조 물품은 또한 본원에서 컴퓨터 프로그램 제품 또는 프로그램 저장 디바이스로 또한 지칭된다. 이는 컴퓨터 시스템(900), 주 메모리(908), 2차 메모리(910), 착탈식 저장 유닛(918, 922), 그리고 전술한 것들의 임의의 조합을 구현하는 유형적인 제조 물품을 포함하지만 이에 국한되지 않는다. 그런 제어 로직은 (컴퓨터 시스템(900)과 같은) 하나 이상의 데이터 처리 디바이스에 의해 실행될 때에 그런 데이터 처리 디바이스로 하여금 본원에서 설명된 바와 같이 작동하게 한다.
본 개시에 포함된 교시에 기초하여, 도 9에 도시된 것과 다른 데이터 처리 디바이스, 컴퓨터 시스템 및/또는 컴퓨터 아키텍처를 사용하여 본 개시의 실시예들을 어떻게 만들고 사용하는가는 관련 기술분야(들)의 당업자에게 자명할 것이다. 특히, 실시예는 본원에서 설명된 것들과 다른 소프트웨어, 하드웨어, 및/또는 운영 체제 구현을 이용하여 작동할 수 있다.
다른 섹션이 아닌 상세한 설명 섹션은 청구범위를 해석하기 위해 사용되도록 의도된 것임이 이해되어야 한다. 다른 섹션들은 본 발명자(들)에 의해 고려된 예시적인 실시예들의 전부가 아닌 하나 이상을 설명할 수 있으며, 그래서 본 개시 또는 첨부된 청구범위를 어떤 식으로든 제한하도록 의도되지 않는다.
본 개시는 예시적인 분야 및 응용에 대한 예시적인 실시예를 설명하지만, 상기 개시가 이에 제한되지 않는다는 것이 이해되어야 한다. 다른 실시예 및 그에 대한 수정이 가능하고, 그것들은 본 개시의 범위 및 사상 내에 있다. 예를 들어, 그리고 이 단락의 일반성을 제한하지 않으면서, 실시예들은 도면에 예시되며 그리고/또는 본원에서 설명된 소프트웨어, 하드웨어, 펌웨어, 및/또는 엔티티로 제한되지 않는다. 또한, 실시예들은 (본원에 명시적으로 설명되었는지 여부에 관계없이) 본원에서 설명된 예들을 넘어서는 분야 및 애플리케이션에 상당한 유용성을 갖는다.
실시예들은 지정된 기능들 및 이들의 관계의 구현을 예시하는 기능적 구축 블록들의 도움을 받아 본원에서 설명되었다. 이러한 기능적 구축 블록들의 경계는 설명의 편의를 위해 본원에서 임의적으로 정의되었다. 상기 지정된 기능들 및 관계들 (또는 이와 동등한 것)이 적절하게 수행되는 한 대체적인 경계들이 정의될 수 있다. 또한, 대안적인 실시예들은 본원에서 설명된 것과 상이한 순서를 사용하여 기능 블록, 단계, 동작, 방법 등을 수행할 수 있다.
본 명세서에서 "일 실시예", "실시예", "예시적인 실시예" 또는 유사한 문구들에 대한 언급은 설명된 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있지만 모든 실시예가 그 특정 특징, 구조 또는 특성을 반드시 포함할 수는 없음을 나타낸다. 더욱이, 그런 문구는 반드시 동일한 실시예를 언급하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성이 실시예와 관련하여 설명될 때에, 본원에서 명시적으로 언급되거나 설명되는가에 무관하게 그러한 특징, 구조 또는 특성을 다른 실시예에 통합하는 것은 관련 기술 분야(들)에서의 통상의 지식을 가진 자(들)의 지식 범위 내에 있을 것이다. 추가로, 일부 실시예는 "결합된" 및 "연결된"이라는 표현을 이들의 파생어와 함께 사용하여 설명될 수 있다. 이러한 용어들이 반드시 서로 동의어로 사용되는 것은 아니다. 예를 들어, 일부 실시예는 2개 이상의 요소들이 서로 직접 물리적 또는 전기적 접촉 상태에 있음을 나타내기 위해 "연결된" 및/또는 "결합된"이라는 용어를 사용하여 설명될 수 있다. 그러나 "결합된"이라는 용어는 둘 이상의 요소들이 서로 직접 접촉하지 않지만 여전히 서로 협력하거나 상호 작용한다는 것을 의미할 수도 있다. 본 개시의 폭 및 범위는 전술한 예시적인 실시예들 중 어느 것에 의해서도 제한되어서는 안 되며, 다음의 청구범위 및 그 균등물에 따라서만 정의되어야 한다.
예시적인 실시예가 위에서 설명되었지만, 이들 실시예가 본 발명의 모든 가능한 형태들을 설명하는 것은 아니다. 오히려, 본 명세서에서 사용된 용어들은 한정이 아니라 설명적인 용어이며, 본 개시의 사상 및 범위를 벗어나지 않으면서 다양한 변경들이 이루어질 수 있다는 것이 이해된다. 추가로, 다양한 구현 실시예의 특징들은 추가 실시예를 형성하기 위해 결합될 수 있다.

Claims (20)

  1. 위치 파악 시스템으로, 상기 위치 파악 시스템은:
    차량 외부 환경의 2차원(2D) 데이터 및 3차원(3D) 포인트 클라우드를 생성하기 위한 적어도 하나의 센서 - 상기 3D 포인트 클라우드는 물체와 연관된 물체 포인트들을 포함함;
    메모리; 및
    적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는 상기 메모리에 결합되며 그리고:
    상기 2D 데이터에 기초하여 상기 메모리로부터 상기 물체와 연관된 바운딩 박스를 선택하며;
    상기 3D 포인트 클라우드 내 물체 포인트들에 근접하게 상기 바운딩 박스를 정렬하며;
    상기 3D 포인트 클라우드의 각 포인트에, 상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 가중치를 할당하며;
    상기 가중치 할당된 포인트들을 필터링하며; 그리고
    상기 필터링된 포인트들을 기초로 상기 물체의 3D 로케이션을 생성하도록 프로그램된, 위치 파악 시스템.
  2. 제1항에 있어서, 상기 적어도 하나의 프로세서는:
    상기 적어도 하나의 센서의 위치와 상기 3D 포인트 클라우드 내 바운딩 박스 사이에서 연장되는 다면체를 생성하며; 그리고
    상기 다면체 내에 위치한 3D 포인트 클라우드의 각 포인트의 가중치를 증가시키도록 추가로 프로그램된, 위치 파악 시스템.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 센서의 위치와 상기 바운딩 박스 사이에서 연장되는 길이방향 축을 따라 상기 바운딩 박스의 원위(distal)에 배치된 3D 포인트 클라우드의 각 포인트의 가중치를 증가시키도록 추가로 프로그램된, 위치 파악 시스템.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 센서의 위치와 상기 바운딩 박스 사이에서 연장되는 길이방향 축에 인접하여 방사상으로 배치된 3D 포인트 클라우드의 각 포인트의 가중치를 증가시키도록 추가로 프로그램된, 위치 파악 시스템.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 임계값보다 작은 가중 포인트들을 제거함으로써 상기 가중치 할당된 포인트들을 필터링하도록 추가로 프로그램된, 위치 파악 시스템.
  6. 제1항에 있어서, 상기 적어도 하나의 프로세서는:
    상기 필터링된 포인트들을 클러스터(cluster)하며; 그리고
    상기 클러스터된 포인트들의 상기 물체의 크기 및 형상과 연관된 미리 정해진 데이터와의 비교 그리고 상기 클러스터된 포인트들의 중심 중 적어도 하나에 기초하여 상기 물체의 3D 로케이션을 생성하도록 추가로 프로그램된, 위치 파악 시스템.
  7. 제1항에 있어서, 상기 적어도 하나의 프로세서는:
    상기 필터링된 포인트들을 클러스터하여 잠재적인 클러스터된 포인트들을 형성하며;
    상기 잠재적인 클러스터된 포인트들을 상기 물체의 크기 및 형상과 연관된 미리 결정된 데이터와 비교하여 최종 클러스터된 포인트들을 결정하며; 그리고
    상기 최종 클러스터된 포인트들의 중심을 기반으로 상기 물체의 3D 로케이션을 생성하도록 추가로 프로그램된, 위치 파악 시스템.
  8. 제1항에 있어서,
    상기 물체는 고정 트래픽 제어 물체를 포함하는, 위치 파악 시스템.
  9. 제1항에 있어서, 상기 적어도 하나의 센서는 라이다 시스템을 포함하고, 상기 라이다 시스템은:
    차량으로부터 멀리 광 펄스들을 투사하기 위한 적어도 하나의 방출기;
    상기 환경 내 하나 이상의 물체들로부터 반사되는 상기 광 펄스들의 적어도 일부를 반사된 광 펄스들로서 수신하기 위한 적어도 하나의 검출기를 포함하며; 그리고
    상기 라이다 시스템은 상기 반사된 광 펄스들에 기초하여 상기 3D 포인트 클라우드를 제공하는, 위치 파악 시스템.
  10. 제1항에 있어서,
    상기 적어도 하나의 센서는 상기 2D 데이터를 제공하기 위한 카메라를 포함하고, 상기 2D 데이터는 상기 물체의 이미지를 포함하는, 위치 파악 시스템.
  11. 차량에 대해 물체를 위치 파악하기 위한 방법으로서, 상기 방법은:
    적어도 하나의 센서로부터 차량 외부 환경의 2차원(2D) 데이터 및 3차원(3D) 포인트 클라우드를 수신하는 단계 - 상기 3D 포인트 클라우드는 고정 트래픽 제어 물체와 연관된 물체 포인트들을 포함함;
    상기 2D 데이터에 기초하여 상기 고정 트래픽 제어 물체와 연관된 바운딩 박스를 선택하는 단계;
    상기 3D 포인트 클라우드 내 상기 물체 포인트들에 근접하게 상기 바운딩 박스를 정렬시키는 단계;
    상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 상기 3D 포인트 클라우드의 각 포인트에 가중치를 할당하는 단계;
    상기 가중치 할당된 포인트들을 필터링하는 단계; 그리고
    상기 필터링된 포인트들에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션을 생성하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 상기 3차원 포인트 클라우드의 각 포인트에 가중치를 할당하는 단계는:
    상기 적어도 하나의 센서의 위치와 상기 3D 포인트 클라우드 내 바운딩 박스 사이에서 연장되는 다면체를 생성하는 단계; 그리고
    상기 적어도 하나의 센서의 위치와 상기 바운딩 박스 사이에서 연장되는 길이방향 축을 따라 상기 바운딩 박스에 원위이거나 상기 길이방향 축에 방사상으로 인접한, 상기 다면체 내에 배치된 3D 포인트 클라우드의 각 포인트의 가중치를 증가시키는 단계를 포함하는, 방법.
  13. 제11항에 있어서,
    상기 가중치 할당된 포인트들을 필터링하는 단계는 임계값보다 작은 가중치 할당된 포인트들을 제거하는 단계를 포함하는, 방법.
  14. 제11항에 있어서,
    상기 필터링된 포인트들을 클러스터하는 단계; 그리고
    상기 클러스터된 포인트들의 상기 고정 트래픽 제어 물체의 크기 및 형상과 연관된 미리 결정된 데이터와의 비교 그리고 상기 클러스터된 포인트들의 중심 중 적어도 하나에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션을 생성하는 단계를 더 포함하는, 방법.
  15. 제11항에 있어서,
    상기 필터링된 포인트들을 클러스터하여 잠재적인 클러스터된 포인트들을 형성하는 단계;
    상기 잠재적인 클러스터된 포인트들을 상기 고정 트래픽 제어 물체의 크기 및 형상과 연관된 미리 결정된 데이터와 비교하여 최종 클러스터된 포인트들을 결정하는 단계; 그리고
    상기 필터링된 포인트들의 중심에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션을 생성하는 단계를 더 포함하는, 방법.
  16. 명령어들이 저장된 비일시적 컴퓨터 판독 가능 매체로서, 상기 명령어들은 적어도 하나의 컴퓨팅 디바이스에 의해 실행될 때에 상기 적어도 하나의 컴퓨팅 디바이스로 하여금:
    2차원(2D) 데이터에 기초하여 고정 트래픽 제어 물체와 연관된 바운딩 박스를 선택함:
    차량 외부 환경의 3차원(3D) 포인트 클라우드 내 물체 포인트들에 근접하게 바운딩 박스를 배열함 - 상기 물체 포인트들은 상기 고정 트래픽 제어 물체와 연관됨;
    상기 바운딩 박스에 대한 상기 포인트의 위치에 기초하여 상기 3D 포인트 클라우드의 각 포인트에 가중치를 할당함;
    상기 가중치 할당된 포인트들을 필터링함; 그리고
    상기 필터링된 포인트들에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션을 생성함을 포함하는 동작들을 수행하도록 하는, 비일시적 컴퓨터 판독 가능 매체.
  17. 제16항에 있어서, 상기 동작들은:
    상기 차량의 위치와 상기 3D 포인트 클라우드 내 바운딩 박스 사이에서 연장되는 사각 절두체 (square frustrum)를 생성함; 그리고
    상기 사각 절두체 내에 위치한 3D 포인트 클라우드의 각 포인트의 가중치를 증가시킴을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  18. 제16항에 있어서,
    상기 동작들은 상기 차량의 위치와 상기 바운딩 박스 사이에서 연장되는 길이방향 축을 따라 상기 바운딩 박스의 원위에 배치된 또는 상기 길이방향 축에 방사상으로 인접하게 배치된 상기 3D 포인트 클라우드의 각 포인트의 가중치를 증가시킴을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  19. 제16항에 있어서, 상기 동작들은:
    상기 필터링된 포인트들을 클러스터함; 그리고
    상기 클러스터된 포인트들의 상기 고정 트래픽 제어 물체의 크기 및 형상과 연관된 미리 결정된 데이터와의 비교에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션을 생성함을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
  20. 제16항에 있어서, 상기 동작들은:
    상기 필터링된 포인트들을 클러스터하여 잠재적인 클러스터된 포인트들을 형성함;
    상기 잠재적인 클러스터된 포인트들을 상기 고정 트래픽 제어 물체의 크기 및 형상과 연관된 미리 결정된 데이터와 비교하여 최종 클러스터된 포인트들을 결정함; 그리고
    상기 필터링된 포인트들의 중심에 기초하여 상기 고정 트래픽 제어 물체의 3D 로케이션을 생성함을 더 포함하는, 비일시적 컴퓨터 판독 가능 매체.
KR1020220149591A 2021-11-10 2022-11-10 3차원 물체들을 위치 파악하기 위한 시스템 KR20230068350A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/523,291 2021-11-10
US17/523,291 US20230147434A1 (en) 2021-11-10 2021-11-10 System for localizing three-dimensional objects

Publications (1)

Publication Number Publication Date
KR20230068350A true KR20230068350A (ko) 2023-05-17

Family

ID=84359304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220149591A KR20230068350A (ko) 2021-11-10 2022-11-10 3차원 물체들을 위치 파악하기 위한 시스템

Country Status (4)

Country Link
US (1) US20230147434A1 (ko)
EP (1) EP4180838A1 (ko)
KR (1) KR20230068350A (ko)
CN (1) CN116109835A (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018126228A1 (en) * 2016-12-30 2018-07-05 DeepMap Inc. Sign and lane creation for high definition maps used for autonomous vehicles
US11062461B2 (en) * 2017-11-16 2021-07-13 Zoox, Inc. Pose determination from contact points
US10671860B2 (en) * 2018-02-20 2020-06-02 GM Global Technology Operations LLC Providing information-rich map semantics to navigation metric map

Also Published As

Publication number Publication date
US20230147434A1 (en) 2023-05-11
EP4180838A1 (en) 2023-05-17
CN116109835A (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
EP2526508B1 (en) Traffic signal mapping and detection
CN113345269B (zh) 基于v2x车联网协同的交通工具危险预警的方法、装置和设备
US11514790B2 (en) Collaborative perception for autonomous vehicles
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN112534297B (zh) 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备
US20220180561A1 (en) Information processing device, information processing method, and information processing program
CN112119282A (zh) 信息处理装置、移动装置、方法和程序
JPWO2019026714A1 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
US11321211B1 (en) Metric back-propagation for subsystem performance evaluation
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
US20220343757A1 (en) Information processing apparatus, information processing system, and information processing method
US20230260254A1 (en) Information processing device, information processing method, and program
Yusuf et al. Vehicle-to-everything (V2X) in the autonomous vehicles domain–A technical review of communication, sensor, and AI technologies for road user safety
US20220242440A1 (en) Methods and system for generating a lane-level map for an area of interest for navigation of an autonomous vehicle
CN114089375A (zh) 运载工具、用于运载工具的方法和存储介质
WO2022231879A1 (en) Data driven resolution function derivation
CN113544538A (zh) 使用速度和位置信息识别雷达反射
JP2020177289A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP4145420A1 (en) Hierarchical processing of traffic signal face states
US20220309693A1 (en) Adversarial Approach to Usage of Lidar Supervision to Image Depth Estimation
CN116255973A (zh) 车辆定位
US20230147434A1 (en) System for localizing three-dimensional objects
KR102680960B1 (ko) 하이브리드 v2x기반의 항만협력자율주행 화물운송시스템에서 목적지에 도착한 차량을 대기모드로 전환하는 방법 및 장치
US12043290B2 (en) State identification for road actors with uncertain measurements based on compliant priors