KR101629577B1 - 카메라를 이용한 모니터링 방법 및 장치 - Google Patents

카메라를 이용한 모니터링 방법 및 장치 Download PDF

Info

Publication number
KR101629577B1
KR101629577B1 KR1020140177857A KR20140177857A KR101629577B1 KR 101629577 B1 KR101629577 B1 KR 101629577B1 KR 1020140177857 A KR1020140177857 A KR 1020140177857A KR 20140177857 A KR20140177857 A KR 20140177857A KR 101629577 B1 KR101629577 B1 KR 101629577B1
Authority
KR
South Korea
Prior art keywords
image
input image
distortion
camera
warning
Prior art date
Application number
KR1020140177857A
Other languages
English (en)
Inventor
김명관
김석인
Original Assignee
현대오트론 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오트론 주식회사 filed Critical 현대오트론 주식회사
Priority to KR1020140177857A priority Critical patent/KR101629577B1/ko
Priority to DE102015120014.7A priority patent/DE102015120014B4/de
Priority to CN201510888069.7A priority patent/CN105691300B/zh
Priority to US14/961,149 priority patent/US9818033B2/en
Application granted granted Critical
Publication of KR101629577B1 publication Critical patent/KR101629577B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Geometry (AREA)

Abstract

본 발명은 카메라를 이용한 모니터링 방법 및 장치에 관한 것이다. 본 발명의 일 실시예에 따른 카메라를 이용한 모니터링 방법은, 카메라로부터 촬영된 입력 영상을 입력받는 단계, 상기 입력 영상에 존재하는 객체 및 상기 객체의 위치정보를 검출하는 단계, 상기 입력 영상의 왜곡 영역을 보정하여 보정 영상을 생성하는 단계 및 상기 위치정보에 기초하여 생성된 경고 표시 정보를 상기 보정 영상에 합성하여 합성 영상을 생성하고, 디스플레이를 통해 상기 합성 영상을 출력하는 단계를 포함한다. 본 발명에 의하면, 왜곡 보정 전의 입력 영상의 보행자 또는 장애물을 객체로서 검출하고, 왜곡 보정을 통해 생성된 보정 영상에 객체에 대응되는 경고 표시 정보를 합성하여 출력할 수 있으므로, 차량 이동 시 사고의 위험성을 줄일 수 있는 효과가 있다.

Description

카메라를 이용한 모니터링 방법 및 장치{MONITORING METHOD AND APPARATUS USING A CAMERA}
본 발명은 카메라를 이용한 모니터링 방법 및 장치에 관한 것이다.
최근에는 자동차 운전자의 편의성을 향상시키기 위해서 다양한 전자 응용 기술들이 자동차와 접목되고 있다. 이러한 전자 응용 기술 중에서 자동차의 주변 환경을 촬영하여 표시함으로써, 운전자가 자동차의 주변 환경을 육안을 통해 편리하고 정확하게 인식할 수 있게 하는 주변을 모니터에 보여주는 시스템(Around View Monitoring system: AVM)이 보편적으로 사용되고 있다. 주변을 모니터에 보여주는 시스템(AVM)은 자동차의 전방, 후방, 좌우 측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 주변 환경을 화면상에 표시할 수 있다.
특히, 운전자는 후방 주차를 가이드 하는 후방 카메라에서 촬영된 자동차의 주변 영상을 통해 후방의 장애물 및 주차 공간을 정확하게 인식할 수 있고, 사이드 미러(side mirror)나 백 미러(back mirror)를 보지 않고도 편리하고 용이하게 주차할 수 있다.
그러나, 종래의 후방 카메라 시스템은 넓은 화각을 갖는 광각 카메라를 이용하여 영상을 촬영하고, 이에 따라 발생된 영상 왜곡을 보정함으로써, 장애물이 작아서 보이지 않게 되거나, 또는 사각 지대가 발생한다. 즉, 종래의 후방 카메라 시스템은 운전자에게 정확한 영상 정보를 제공할 수 없는 문제점을 갖고 있다. 이에 따라, 자동차를 주차하고자 하는 운전자의 경우, 주변에 있는 장애물을 발견하지 못하여 장애물과 충돌할 수 있는 사고의 위험성이 존재하며, 운전에 익숙한 운전자라 할지라도 부분적인 시야 확보만 가능하기 때문에 주차에 어려움이 발생하여, 후방에서 접근하는 차량의 존재를 인지하지 못해 크고 작은 교통사고로 인명피해를 입는 문제가 발생하고 있다.
본 발명은 왜곡 보정 전의 입력 영상의 보행자 또는 장애물을 객체로서 검출하고, 왜곡 보정을 통해 생성된 보정 영상에 객체에 대응되는 경고 표시 정보를 합성하여 출력할 수 있으므로, 차량 이동 시 사각 지대로 인한 사고의 위험성을 줄일 수 있는 카메라를 이용한 모니터링 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명은 카메라를 이용한 모니터링 방법에 있어서, 카메라로부터 촬영된 입력 영상을 입력받는 단계, 상기 입력 영상에 존재하는 객체 및 상기 객체의 위치정보를 검출하는 단계, 상기 입력 영상의 왜곡 영역을 보정하여 보정 영상을 생성하는 단계 및 상기 위치정보에 기초하여 생성된 경고 표시 정보를 상기 보정 영상에 합성하여 합성 영상을 생성하고, 디스플레이를 통해 상기 합성 영상을 출력하는 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명은 카메라를 이용한 모니터링 장치에 있어서, 카메라로부터 촬영된 입력 영상을 입력받는 입력부, 상기 입력 영상에 존재하는 객체 및 상기 객체의 위치정보를 검출하는 검출부, 상기 입력 영상의 왜곡 영역을 보정하여 보정 영상을 생성하는 왜곡 영상 보정부 및 상기 위치정보에 기초하여 생성된 경고 표시 정보를 상기 보정 영상에 합성하여 합성 영상을 생성하고, 디스플레이를 통해 상기 합성 영상을 출력하는 합성 영상 출력부를 포함하는 것을 특징으로 한다.
전술한 바와 같은 본 발명에 의하면, 왜곡 보정 전의 입력 영상의 보행자 또는 장애물을 객체로서 검출하고, 왜곡 보정을 통해 생성된 보정 영상에 객체에 대응되는 경고 표시 정보를 합성하여 출력할 수 있으므로, 차량 이동 시 사고의 위험성을 줄일 수 있는 효과가 있다.
도 1은 종래의 모니터링 장치의 구성도이다.
도 2는 도 1의 모니터링 장치의 입력 영상과 보정 영상의 예를 나타낸다.
도 3은 본 발명의 실시 예에 따른 모니터링 장치의 구성도이다.
도 4는 실시 예에 따른 모니터링 장치에서 객체, 보정 영상, 합성 영상을 생성하는 예를 나타낸다.
도 5는 다른 실시 예에 따른 객체 검출부의 동작 예이다.
도 6은 보정 영상에 표시될 경고 표시 정보의 위치를 결정하는 방법을 나타내는 예이다.
도 7은 본 발명의 실시 예에 따른 모니터링 장치의 동작 순서도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 종래의 모니터링 장치의 구성도이고, 도 2는 도 1의 모니터링 장치의 입력 영상과 보정 영상의 예를 나타낸다.
도 1과 도 2를 참조하면, 종래의 모니터링 장치(101)는 카메라(11)를 통해 촬영된 입력 영상(12)을 입력받아 입력 영상(12)의 왜곡 영역을 보정할 수 있다. 이때, 입력 영상(12)의 왜곡 영역에는 보행자 또는 방해물(13)이 위치할 수 있다. 그런데, 모니터링 장치(101)는 왜곡되지 않은 후방 영상을 운전자에게 제공하기 위하여 보행자 또는 방해물(13)이 포함된 왜곡 영역을 보정하며, 이와 같은 보정 과정에서 왜곡 영역에 포함된 보행자 또는 방해물(13)은 삭제된다. 따라서 종래 기술에 의하면 실제로 차량 후방에 보행자 또는 방해물(13)이 존재하는데도 불구하고 디스플레이 상에는 보행자 또는 방해물(13)이 존재하지 않는 영상(102)만이 나타나게 되어 사고 발생의 위험이 매우 높아진다.
도 3은 본 발명의 실시 예에 따른 모니터링 장치의 구성도이고, 도 4는 도 3의 모니터링 장치에서 객체, 보정 영상, 합성 영상을 생성하는 예를 나타낸다.
도 3 내지 도 4를 참조하면, 모니터링 장치(100)는 입력부(30), 객체 검출부(40), 왜곡 영상 보정부(50), 합성 영상 출력부(60)를 포함한다.
보다 구체적으로, 입력부(30)는 카메라(10)로부터 촬영된 입력 영상(31)을 입력받을 수 있다. 여기에서, 카메라(10)는 차량 주위를 촬영할 수 있는 렌즈(11)와 렌즈(11)를 통해 촬영된 이미지를 이용하여 입력 영상(31)을 생성하는 이미지 센서(12)를 포함한다. 실시 예에 따라, 카메라(10)는 차량의 전방 카메라, 후방 카메라 또는 측면 카메라일 수 있다.
그리고, 객체 검출부(40)는 입력부(30)로부터 입력받은 입력 영상(31)에 존재하는 보행자 또는 방해물(32)을 객체(42)로서 검출하고, 검출된 객체(42)의 위치정보를 획득할 수 있다. 여기에서, 객체(42)의 위치정보는 입력 영상(31)의 중앙을 기준으로 보행자 또는 방해물(32)에 대응되는 위치일 수 있다. 예컨대, 도 4에 도시된 객체(42)의 위치 정보는 입력 영상(31)의 중앙을 기준으로 좌측으로 특정된다. 다른 실시 예에 따라, 객체 검출부(40)는 초음파 센서부(45)를 포함한다. 보다 구체적으로, 객체 검출부(40)는 초음파 센서부(45)를 이용하여 객체(42)와 차량의 사이의 거리를 측정하고, 측정된 거리 정보를 검출할 수 있다. 여기에서, 초음파 센서부(45)는 검출된 객체(42)에 초음파 신호를 전송하고 객체(42)에 반사되어 되돌아온 초음파 신호의 시간에 기초하여 객체(42)와 차량의 사이의 거리 정보를 검출할 수 있다.
도 5는 다른 실시 예에 따른 객체 검출부의 동작 예이다.
도 5를 참조하면, 객체 검출부(40)는 입력 영상(31)을 미리 설정된 다수의 영역(41-5~41-6)으로 분할하고, 분할된 다수의 영역(41-5~41-6) 중 중심 영역(41-2~41-4)을 제외한 주변 영역(41-1, 41-6)에서 보행자 또는 방해물(32)을 검색할 수 있다. 이때, 객체 검출부(40)는 주변 영역(41-1, 41-6)에서 보행자 또는 방해물(32)이 검색되면, 보행자 또는 방해물(32)을 객체(42)로 검출할 수 있다.
다시 도 3과 도 4를 참조하면, 왜곡 영상 보정부(50)는 입력부(30)로부터 입력받은 입력 영상(31)의 왜곡 영역을 보정하여 보정 영상(51)을 생성할 수 있다. 여기에서, 보정 영상(51)은 화면의 왜곡이 보정된 영상을 의미할 수 있다. 즉, 왜곡 영상 보정부(50)는 입력부(30)로부터 입력받은 입력 영상(31)의 왜곡 영역을 보정하여 객체(42)가 삭제된 보정 영상(51)을 생성할 수 있다.
실시 예에 따라, 왜곡 영상 보정부(50)는 입력 영상(31)의 왜곡 영역을 보정하기 위하여 미리 저장된 왜곡 보정 알고리즘, 아핀 변환 알고리즘, 시점 변환 알고리즘을 포함하는 룩 업 테이블(LUT)을 통해 입력 영상(31)의 왜곡 영역을 보정하여 보정 영상(51)을 생성할 수 있다. 이때, 룩 업 테이블은 입력 영상(31)의 왜곡 영역에 따라 참조되는 데이터 테이블 또는 미리 설정된 데이터를 의미할 수 있다.
이후, 합성 영상 출력부(60)는 객체 검출부(40)로부터 검출된 객체(42)와 객체(42)의 위치정보에 기초하여 경고 표시 정보(62)를 생성하고, 왜곡 영상 보정부(50)로부터 보정된 보정 영상(51)에 경고 표시 정보(62)를 합성하여 합성 영상(61)을 출력할 수 있다. 여기에서, 경고 표시 정보(62)는 경고 이미지 또는 경고 텍스트 중 적어도 하나를 포함한다.
다른 실시 예에 따라, 합성 영상 출력부(60)는 객체 검출부(40)로부터 검출된 객체(42)와 차량 사이의 거리 정보를 경고 표시 정보(62)에 합성할 수 있다. 이때, 경고 표시 정보(62)는 경고 이미지 또는 경고 텍스트 및 객체(42)와 차량 사이의 거리를 포함한다.
이때, 합성 영상 출력부(60)는 객체 검출부(40)로부터 검출된 객체(42)의 위치 정보에 따라 보정 영상(51)에서 표시될 경고 표시 정보(62)의 위치를 결정할 수 있다.
이하, 도 6을 참조하여 경고 표시 정보(62)가 표시될 위치를 설명한다.
도 6은 보정 영상에 표시될 경고 표시 정보의 위치를 결정하는 방법을 나타내는 예이다.
도 6을 참조하면, 합성 영상 출력부(60)는 객체 검출부(40)에서 검출된 객체(42)의 위치정보가 좌측인 경우, 경고 표시 정보(62)의 위치를 합성 영상(61)의 좌측 상단영역으로 결정할 수 있다. 그리고, 합성 영상 출력부(60)는 객체 검출부(40)에서 검출된 객체(42)의 위치정보가 우측인 경우, 경고 표시 정보(62)의 위치를 합성 영상(61)의 우측 상단영역으로 결정할 수 있다.
또한, 합성 영상 출력부(60)는 객체 검출부(40)에서 검출된 객체(42)의 위치정보에 따라 합성 영상(61)에 표시될 경고 표시 정보(62)의 위치를 조절할 수 있다. 즉, 합성 영상 출력부(60)는 객체 검출부(40)에서 검출된 객체(42)의 위치정보가 우측인 경우, 경고 표시 정보(62)의 위치를 합성 영상(61)의 우측 하단영역으로 결정하고, 객체 검출부(40)에서 검출된 객체(42)의 위치정보가 좌측인 경우 경고 표시 정보(62)의 위치를 합성 영상(61)의 좌측 하단영역으로 결정할 수 있다.
이에 따라, 합성 영상 출력부(60)는 경고 표시 정보(62)를 보정 영상(51)에 표시될 영역에 합성하여 합성 영상(61)을 생성하고, 디스플레이(200)를 통해 합성 영상(61)을 출력할 수 있다. 즉, 합성 영상 출력부(60)는 왜곡 보정으로 인하여 왜곡 영상 보정부(50)에서 보행자 또는 방해물(32)이 삭제될 지라도, 카메라(10)에서 촬영된 보행자 또는 방해물(32)에 대응되는 경고 표시 정보(62)를 디스플레이(200)를 통해 사용자에게 제공할 수 있다. 이하, 도 6에서 본 발명의 실시 예에 따른 모니터링 방법을 설명한다.
도 7은 모니터링 장치의 동작 순서도이다.
도 7을 참조하면, 입력부(30)는 카메라(10)로부터 촬영된 입력 영상(31)을 입력받는다(S100). 그리고, 객체 검출부(40)는 입력 영상(31)에 존재하는 객체(42) 및 객체(42)의 위치정보를 검출한다(S110). 이때, 왜곡 영상 보정부(50)는 입력부(30)의 입력 영상(31)의 왜곡 영역을 보정하여 보정 영상(51)을 생성한다(S120). 이후, 합성 영상 출력부(60)는 객체(42) 및 객체(42)의 위치정보에 기초하여 생성된 경고 표시 정보를 보정 영상(51)에 합성하여 합성 영상(61)을 생성하고, 디스플레이(200)를 통해 합성 영상(61)을 출력한다(S130).
본 발명의 실시 예에 따라, 모니터링 장치(100)는 왜곡 보정 전의 입력 영상(31)의 보행자 또는 장애물(32)을 객체(42)로서 검출하고, 왜곡 보정을 통해 생성된 보정 영상(51)에 객체(42)에 대응되는 경고 표시 정보(62)를 합성하여 출력할 수 있으므로, 차량 이동 시 사고의 위험성을 줄일 수 있는 효과가 있다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

Claims (10)

  1. 카메라로부터 촬영된 입력 영상을 입력받는 단계;
    상기 입력 영상에 존재하는 객체 및 상기 객체의 위치정보를 검출하는 단계;
    상기 입력 영상의 왜곡 영역을 보정하여 보정 영상을 생성하는 단계; 및
    상기 객체 및 상기 위치정보에 기초하여 생성된 경고 표시 정보를 상기 보정 영상에 합성하여 합성 영상을 생성하고, 디스플레이를 통해 상기 합성 영상을 출력하는 단계를 포함하되,
    상기 객체의 위치정보를 검출하는 단계는,
    상기 입력 영상을 미리 설정된 다수의 영역으로 분할하는 단계; 및
    분할된 상기 다수의 영역 중 중심 영역을 제외한 주변 영역을 검출하여 보행자 또는 방해물을 검색하는 단계를 포함하고,
    상기 보정 영상을 생성하는 단계는, 입력 영상의 왜곡 영역을 보정하기 위하여 미리 저장된 왜곡 보정 알고리즘, 아핀 변환 알고리즘, 시점 변환 알고리즘을 포함하는 룩 업 테이블(LUT)을 통해 상기 입력 영상의 왜곡 영역을 보정하여 보정 영상을 생성하며,
    상기 룩 업 테이블은 상기 입력 영상의 왜곡 영역에 따라 참조되는 데이터 테이블 또는 미리 설정된 데이터인 것을 특징으로 하는 카메라를 이용한 모니터링 방법.
  2. 제1항에 있어서,
    상기 경고 표시정보는 경고 이미지 또는 경고 텍스트 중 적어도 하나를 포함하는
    카메라를 이용한 모니터링 방법.
  3. 제1항에 있어서,
    상기 경고 표시 정보는 상기 보정 영상에서 상기 위치정보에 대응되는 영역에 표시되는
    카메라를 이용한 모니터링 방법.
  4. 삭제
  5. 제1항에 있어서,
    검출된 상기 객체에 초음파 센서를 이용하여 초음파 신호를 전송하여 되돌아온 시간을 측정하는 단계; 및
    측정된 상기 시간에 기초하여 상기 객체와 차량의 거리 정보를 검출하는 단계
    를 포함하는 카메라를 이용한 모니터링 방법.
  6. 카메라로부터 촬영된 입력 영상을 입력받는 입력부;
    상기 입력 영상에 존재하는 객체 및 상기 객체의 위치정보를 검출하는 객체 검출부;
    상기 입력 영상의 왜곡 영역을 보정하여 보정 영상을 생성하는 왜곡 영상 보정부; 및
    상기 객체 및 상기 위치정보에 기초하여 생성된 경고 표시 정보를 상기 보정 영상에 합성하여 합성 영상을 생성하고, 디스플레이를 통해 상기 합성 영상을 출력하는 합성 영상 출력부를 포함하되,
    상기 객체 검출부는, 상기 입력 영상을 미리 설정된 다수의 영역으로 분할하고, 분할된 상기 다수의 영역 중 중심 영역을 제외한 주변 영역을 검출하여 보행자 또는 방해물을 검색하고,
    상기 왜곡 영상 보정부는, 입력 영상의 왜곡 영역을 보정하기 위하여 미리 저장된 왜곡 보정 알고리즘, 아핀 변환 알고리즘, 시점 변환 알고리즘을 포함하는 룩 업 테이블(LUT)을 통해 상기 입력 영상의 왜곡 영역을 보정하여 보정 영상을 생성하며,
    상기 룩 업 테이블은 상기 입력 영상의 왜곡 영역에 따라 참조되는 데이터 테이블 또는 미리 설정된 데이터인 것을 특징으로 하는 카메라를 이용한 모니터링 장치.
  7. 제6항에 있어서,
    상기 경고 표시정보는 경고 이미지 또는 경고 텍스트 중 적어도 하나를 포함하는
    카메라를 이용한 모니터링 장치.
  8. 제6항에 있어서,
    상기 경고 표시 정보는 상기 보정 영상에서 상기 위치정보에 대응되는 영역에 표시되는
    카메라를 이용한 모니터링 장치.
  9. 삭제
  10. 제6항에 있어서, 상기 객체 검출부는,
    검출된 상기 객체에 초음파 센서를 이용하여 초음파 신호를 전송하여 되돌아온 시간을 측정하고, 측정된 상기 시간에 기초하여 상기 객체와 차량의 거리 정보를 검출하는
    카메라를 이용한 모니터링 장치.


KR1020140177857A 2014-12-10 2014-12-10 카메라를 이용한 모니터링 방법 및 장치 KR101629577B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140177857A KR101629577B1 (ko) 2014-12-10 2014-12-10 카메라를 이용한 모니터링 방법 및 장치
DE102015120014.7A DE102015120014B4 (de) 2014-12-10 2015-11-18 Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera
CN201510888069.7A CN105691300B (zh) 2014-12-10 2015-12-07 利用摄像头的监控方法及装置
US14/961,149 US9818033B2 (en) 2014-12-10 2015-12-07 Monitoring method and apparatus using a camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140177857A KR101629577B1 (ko) 2014-12-10 2014-12-10 카메라를 이용한 모니터링 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101629577B1 true KR101629577B1 (ko) 2016-06-13

Family

ID=56081929

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140177857A KR101629577B1 (ko) 2014-12-10 2014-12-10 카메라를 이용한 모니터링 방법 및 장치

Country Status (4)

Country Link
US (1) US9818033B2 (ko)
KR (1) KR101629577B1 (ko)
CN (1) CN105691300B (ko)
DE (1) DE102015120014B4 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794993B1 (ko) * 2016-09-26 2017-11-07 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470335B2 (ja) * 2017-03-15 2019-02-13 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Ｓｕｂａｒｕ 車両の表示システム及び車両の表示システムの制御方法
TWM593949U (zh) * 2019-04-19 2020-04-21 帷享科技股份有限公司 用於車輛之影像整合警示系統
CN112793509B (zh) * 2021-04-14 2021-07-23 天津所托瑞安汽车科技有限公司 一种盲区监测方法、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0552707B2 (ko) * 1983-08-22 1993-08-06 Sony Corp
JP2009126493A (ja) * 2007-11-28 2009-06-11 Clarion Co Ltd 障害物検出装置
WO2011158285A1 (ja) * 2010-06-15 2011-12-22 三菱電機株式会社 車両周辺監視装置
KR20140048539A (ko) * 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
JP2004354236A (ja) * 2003-05-29 2004-12-16 Olympus Corp ステレオカメラ支持装置およびステレオカメラ支持方法ならびにステレオカメラシステム
JP4543147B2 (ja) * 2004-07-26 2010-09-15 ジーイーオー セミコンダクター インコーポレイテッド パノラマビジョンシステム及び方法
US8885045B2 (en) * 2005-08-02 2014-11-11 Nissan Motor Co., Ltd. Device and method for monitoring vehicle surroundings
JP4687411B2 (ja) * 2005-11-15 2011-05-25 株式会社デンソー 車両周辺画像処理装置及びプログラム
JP4846426B2 (ja) * 2006-04-20 2011-12-28 パナソニック株式会社 車両周囲監視装置
JP4714174B2 (ja) * 2007-03-27 2011-06-29 富士フイルム株式会社 撮像装置
JP4955471B2 (ja) * 2007-07-02 2012-06-20 株式会社デンソー 画像表示装置及び車載用画像表示装置
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
US9672432B2 (en) * 2011-06-09 2017-06-06 Aisin Seiki Kabushiki Kaisha Image generation device
JP5411976B1 (ja) * 2012-09-21 2014-02-12 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0552707B2 (ko) * 1983-08-22 1993-08-06 Sony Corp
JP2009126493A (ja) * 2007-11-28 2009-06-11 Clarion Co Ltd 障害物検出装置
WO2011158285A1 (ja) * 2010-06-15 2011-12-22 三菱電機株式会社 車両周辺監視装置
JP5052707B2 (ja) * 2010-06-15 2012-10-17 三菱電機株式会社 車両周辺監視装置
KR20140048539A (ko) * 2012-10-16 2014-04-24 에스케이텔레콤 주식회사 차량의 주변영상을 이용한 객체 인식장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101794993B1 (ko) * 2016-09-26 2017-11-07 현대오트론 주식회사 영상 왜곡 보정 장치 및 방법

Also Published As

Publication number Publication date
CN105691300A (zh) 2016-06-22
DE102015120014B4 (de) 2017-05-11
US9818033B2 (en) 2017-11-14
DE102015120014A1 (de) 2016-06-16
US20160171317A1 (en) 2016-06-16
CN105691300B (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
US10183621B2 (en) Vehicular image processing apparatus and vehicular image processing system
EP1961613B1 (en) Driving support method and driving support device
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
US8330816B2 (en) Image processing device
EP2544449B1 (en) Vehicle perimeter monitoring device
JP4475308B2 (ja) 表示装置
EP2045132B1 (en) Driving support device, driving support method, and computer program
US8396653B2 (en) Dynamic range display for automotive rear-view and parking systems
JP4719590B2 (ja) 車載周辺状況提示装置
KR101629577B1 (ko) 카메라를 이용한 모니터링 방법 및 장치
JP6379779B2 (ja) 車両用表示装置
KR20020033817A (ko) 운전지원장치
JP2011118482A (ja) 車載装置および認知支援システム
JP2006252389A (ja) 周辺監視装置
CN110378836B (zh) 获取对象的3d信息的方法、系统和设备
JP2007336466A (ja) 車両用周辺情報提示装置及び車両用周辺情報提示方法
KR20100033161A (ko) 차량용 후측방 감지시스템
KR101729030B1 (ko) 차량 주변의 위험요소 경고장치 및 경고방법
KR20160143595A (ko) 차량 주변의 위험요소 경고장치 및 경고방법
JP2006160193A (ja) 車両運転支援装置
KR102036593B1 (ko) 악천후 출동차량용 전후방 감시시스템
JP2007133644A (ja) 歩行者認識装置
KR20140033647A (ko) 스마트 리어뷰 시스템 및 제어방법
US20210075961A1 (en) System and method for visibility enhancement

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 4