KR101748674B1

KR101748674B1 - Method and apparatus for producing three-dimensional image

Info

Publication number: KR101748674B1
Application number: KR1020160060975A
Authority: KR
Inventors: 김은태; 조성진; 조형기; 조해민
Original assignee: 연세대학교 산학협력단
Priority date: 2016-05-18
Filing date: 2016-05-18
Publication date: 2017-06-19

Abstract

임의의 2차원 영상을 3차원 영상으로 매핑시키는 백플레인 모델에, 타겟과 관련하여 획득된 영상을 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계 및 상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하고, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 단계를 포함한다.A 3D target model is generated by mapping an image obtained with respect to a target to a backplane model that maps an arbitrary 2D image to a 3D image, and a target image modified according to a given time based on the 3D target model Acquiring a depth image of the target at the given point in time, and correcting the obtained depth image of the target using the modified target image.

Description

TECHNICAL FIELD [0001] The present invention relates to a method and apparatus for generating three-

본 발명은 3차원 영상 생성 방법 및 장치에 관한 것으로, 특히 3차원 영성 과정에서 발생하는 음영 영역으로 존재하는 배경을 복원하고, 보정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for generating a three-dimensional image, and more particularly, to a method and apparatus for restoring and correcting a background existing in a shadow region generated in a three-dimensional spiritual process.

현대에는 가상현실, 증강현실 등의 분야들이 점점 발달되고 있고, 그에 따라 환경을 3차원 적으로 표현하는 기술의 필요성이 증대되고 있다.In the modern age, fields such as virtual reality and augmented reality are being developed more and more and the necessity of technology for expressing environment in three dimensions is increasing.

이러한 3차원 환경을 재구성하기 위해 깊이(depth) 카메라를 이용하여 다양한 영상을 획득하여, 맵을 생성하여 고밀도의 3차원 환경을 모델링하여, 재구성하는 기술이 개발되고 있다.In order to reconstruct such a three-dimensional environment, a technique of acquiring various images using a depth camera, generating a map, modeling a high-density three-dimensional environment, and reconstructing the technology has been developed.

그러나, 깊이 카메라의 경우, 카메라가 인식할 수 있는 깊이의 범위가 있어, 먼 거리의 물체에 대한 정보는 제공할 수 없다.However, in the case of a depth camera, there is a range of depth that the camera can perceive, and information about an object at a long distance can not be provided.

따라서, 3차원 환경을 재구성 기술은 깊이 카메라에 의존적이므로, 깊이 카메라가 명확하게 인식할 수 없는 부분은 음영영역으로 제공되어, 상기 영상이 자연스럽지 못하고, 활용범위가 제한적이다.Therefore, since the 3D reconstruction technique is dependent on the depth camera, the portion that the depth camera can not clearly recognize is provided as a shaded area, the image is not natural and the utilization range is limited.

이처럼, 종래의 3차원 환경 재구성 기술은 특수한 작업환경 조건 즉, 좁은 환경에서만 활용될 수 있으며, 효과적인 작업을 위해 주변 환경에 대한 정보가 필요한 경우에는 활용하기 어려운 한계점이 존재한다.As described above, the conventional three-dimensional environment reconfiguration technology can be utilized only in a special working environment condition, that is, in a narrow environment, and there are limitations that it is difficult to utilize when information about the surrounding environment is needed for effective work.

한국 등록 특허 제 1223206호 (등록)Korean Registered Patent No. 1223206 (registered)

상술한 바와 같은 문제점을 해결하기 위해서, 본 발명은 새로운 개념의 3차원 영상 생성 장치를 이용하여, 정보가 불충분하여 재구성되지 않은 음영 영역을 보다 나은 영상으로 보정하여 제공함으로써, 원하는 시점에서의 적절한 영상으로 재구성하여, 사용자가 보다 효과적이고 유용한 정보를 획득할 수 있도록 한다.In order to solve the above-described problems, the present invention provides a three-dimensional image generation apparatus using a new concept, which provides a better image by correcting a non-reconstructed shaded area due to insufficient information, So that the user can obtain more effective and useful information.

이와 같은 본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시예에 따르는 3차원 영상 생성 방법은, 임의의 2차원 영상을 3차원 영상으로 매핑시키는 백플레인 모델에, 타겟과 관련하여 획득된 영상을 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계 및 상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하고, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 단계를 포함할 수 있다.According to an aspect of the present invention, there is provided a method of generating a three-dimensional image according to an embodiment of the present invention, including: generating a backplane model for mapping an arbitrary two- Dimensional target model, acquiring a modified target image at a given time based on the 3D target model, obtaining a depth image of the target at the given time, And correcting the obtained depth image of the target using the corrected depth image.

본 발명에서 타겟과 관련하여 획득된 영상은 타겟의 2차원 영상과 복수개의 깊이 영상을 포함할 수 있다.In the present invention, an image obtained in relation to a target may include a two-dimensional image of the target and a plurality of depth images.

본 발명에서 타겟 영상을 획득하는 단계는 2차원 영상을 3차원 영상으로 매핑시키기 위한 3차원 백플레인 모델을 생성하는 단계, 3차원 영상을 획득하고자 하는 타겟의 2차원 영상과 복수개의 깊이 영상을 획득하는 단계 및 상기 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하고, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 단계를 더 포함할 수 있다.The acquiring of the target image in the present invention includes generating a three-dimensional backplane model for mapping a two-dimensional image into a three-dimensional image, acquiring a two-dimensional image and a plurality of depth images of the target for acquiring the three- And mapping the obtained two-dimensional image to the three-dimensional backplane model to generate a three-dimensional target model, and acquiring a modified target image at a given time based on the three-dimensional target model have.

본 발명에서 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하는 것은, 상기 획득된 2차원 영상을 복수개의 블록들로 분할하는 단계 및 상기 블록들을 상기 3차원 백플레인 모델에 블록 단위로 매핑하는 단계를 더 포함할 수 있다.The generation of a three-dimensional target model by mapping the two-dimensional image obtained in the present invention to the three-dimensional backplane model may include dividing the obtained two-dimensional image into a plurality of blocks, In units of blocks.

본 발명에서 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 것은, 상기 2차원 영상을 획득하는 기준 시점과, 상기 주어진 시점간의 차이를 이용하여 상기 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 획득할 수 있다.In the present invention, acquiring a modified target image at a given time based on a three-dimensional target model may be performed by transforming the three-dimensional target model using a difference between a reference time for acquiring the two- A deformed target image can be obtained.

본 발명에서 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역을 제외한 영역을 깊이 값 예측 영역으로 결정하는 단계를 더 포함할 수 있고, 상기 획득된 타겟의 깊이 영상을 보정하는 단계는 상기 결정된 깊이 값 예측 영역과 상기 변형된 타겟 영상을 이용하여 상기 깊이 영상을 보정할 수 있다.The method may further include determining a region having no depth value or an area excluding a region smaller than a predetermined reference depth value as a depth value prediction region in the depth image obtained in the present invention, The depth image can be corrected using the determined depth value prediction region and the modified target image.

본 발명에서 깊이 값 예측 영역으로 결정하는 단계는, 상기 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성하는 단계를 더 포함할 수 있다.In the present invention, the step of determining the depth value prediction region may further include generating a mask image in an area having no depth value or an area smaller than a predetermined reference depth value in the obtained depth image.

본 발명에서 3차원 백플레인 모델을 생성하는 단계는, 상기 적어도 2차원 영상에서 왜곡이 일어나는 일부분에 각도 값을 높인 상기 3차원 백플레인 모델을 생성하여, 상기 영상의 왜곡을 보정하는 것을 특징으로 하는 것을 더 포함할 수 있다.In the present invention, the step of generating a three-dimensional backplane model may include generating the three-dimensional backplane model in which an angle value is increased in a part where distortion occurs in the at least two-dimensional image, and correcting the distortion of the image .

또한, 본 발명의 일 실시예에 따르는 3차원 영상 생성 장치는 2차원 영상을 3차원 영상으로 매핑시키기 위한 3차원 백플레인 모델을 생성하는 3차원 백플레인 생성부, 3차원 영상을 획득하고자 하는 타겟의 2차원 영상과 복수개의 깊이 영상을 획득하는 영상 획득부, 상기 획득된 2차원 영상을 상기 3차원 백플레인 모델에 매핑하여 3차원 타겟 모델을 생성하는 매핑부, 상기 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득하는 영상 변형부 및 상기 주어진 시점에서 상기 타겟의 깊이 영상을 획득하여, 상기 변형된 타겟 영상을 이용하여 상기 획득된 타겟의 깊이 영상을 보정하는 영상 보정부를 포함할 수 있다.In addition, a three-dimensional image generating apparatus according to an embodiment of the present invention includes a three-dimensional backplane generating unit for generating a three-dimensional backplane model for mapping a two-dimensional image into a three-dimensional image, A mapping unit for mapping the obtained two-dimensional image to the three-dimensional backplane model to generate a three-dimensional target model, and a mapping unit for mapping the three- An image modifying unit for obtaining a modified target image and an image modifying unit for obtaining the depth image of the target at the given point of time and correcting the obtained depth image of the target using the modified target image, .

본 발명에서 매핑부는, 상기 획득된 2차원 영상을 복수개의 블록들로 분할하여, 상기 분할한 블록들을 상기 3차원 백플레인 모델에 블록 단위로 매핑할 수 있다. 또한, 영상 변형부는, 상기 2차원 영상을 획득하는 기준 시점과, 상기 주어진 시점간의 차이를 이용하여 상기 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 획득할 수 있다. 영상 보정부는, 상기 주어진 시점에서의 상기 타겟의 깊이 영상과 상기 변형된 타겟 영상을 정합하여 상기 획득된 타겟의 깊이 영상을 보정하는 것을 특징으로 하는 것을 더 포함할 수 있다.In the present invention, the mapping unit may divide the obtained two-dimensional image into a plurality of blocks, and map the divided blocks to the three-dimensional backplane model block by block. Also, the image transforming unit may transform the three-dimensional target model using the difference between the reference time of acquiring the two-dimensional image and the given time point to acquire the modified target image. And the image correction unit may correct the depth image of the obtained target by matching the deformed target image with the depth image of the target at the given point in time.

본 발명의 3차원 영상 생성 장치는 획득된 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역을 제외한 영역을 깊이 값 예측 영역으로 결정하고, 상기 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성하는 것을 마스크 생성부를 더 포함할 수 있다. 상기 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에, 상기 3차원 타겟 모델을 정합하여, 상기 타겟의 깊이 영상을 보정하는 것을 특징으로 하는 것을 더 포함할 수 있다.The three-dimensional image generating apparatus of the present invention determines an area having no depth value or an area excluding an area smaller than a predetermined reference depth value as the depth value prediction area in the acquired depth image, And a mask generation unit for generating a mask image in an area smaller than the depth value. And correcting the depth image of the target by matching the 3D target model to an area having no depth value or an area smaller than a predetermined reference depth value.

또한, 본 발명의 또 다른 목적을 달성하기 위하여, 본 발명은 3차원 영상 생성 방법이 컴퓨터에서 수행되며, 컴퓨터에서 판독 가능한 기록 매체를 제공한다.According to another aspect of the present invention, there is provided a computer-readable recording medium on which a method of generating a three-dimensional image is performed by a computer.

상기와 같이 구성되는 본 발명의 적어도 하나의 실시예에 따르는 3차원 영상 생성 방법 및 장치는 두 장의 영상과 3차원 백플레인 모델을 이용해, 주어진 시점에서의 배경 영상을 생성하여, 음영 영역이 복원된 영상을 얻을 수 있다.The three-dimensional image generating method and apparatus according to at least one embodiment of the present invention configured as described above generates a background image at a given time point using two images and a three-dimensional backplane model, Can be obtained.

또한, 상기 복원된 영상을 얻을 수 있기 때문에 원격조정과 같은 기술을 이용하여, 사람이 직접 갈 수 없는 곳에 활용할 수 있다.In addition, since the reconstructed image can be obtained, it can be utilized in a place where a person can not go directly using a technique such as remote control.

도1 은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치에 따른 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 획득 방법을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 RGB 카메라와 타겟의 관계를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 백플레인 모델을 도시한 도면이다.
도 5은 본 발명의 일 실시예에 따른 2차원 영상과 3차원 백플레인 모델의 매핑을 도시한 도면이다.
도 6는 타겟의 깊이 영상을 보정하는 것을 나타내는 도면이다.
도 7는 본 발명의 일 실시예에 따른 3차원 영상 생성 방법의 흐름도이다.1 is a block diagram of a 3D image generating apparatus according to an embodiment of the present invention.
2 is a schematic view illustrating an image acquisition method according to an embodiment of the present invention.
3 is a diagram illustrating the relationship between an RGB camera and a target according to an embodiment of the present invention.
4 is a diagram illustrating a three-dimensional backplane model according to an embodiment of the present invention.
5 is a diagram illustrating a mapping between a two-dimensional image and a three-dimensional backplane model according to an exemplary embodiment of the present invention.
Fig. 6 is a view showing correction of the depth image of the target. Fig.
7 is a flowchart illustrating a method of generating a three-dimensional image according to an exemplary embodiment of the present invention.

첨부된 도면들을 참조하여 본 발명을 일 실시예에 따라 상세히 설명한다.The present invention will be described in detail with reference to the accompanying drawings.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.

본 발명의 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 해당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라 질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다.The term used in the specification of the present invention selects the general term that is widely used in the present invention while considering the function of the present invention, but it may be changed depending on the intention or custom of the technician engaged in the field or appearance of new technology . Also, in certain cases, there may be a term chosen arbitrarily by the applicant, in which case the meaning thereof will be described in the description of the corresponding invention. Therefore, it is intended that the terminology used herein should be interpreted based on the meaning of the term rather than on the name of the term, and on the entire contents of the specification. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment.

나아가, 도면들 중 참조번호 및 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다. 하기에서 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.Further, although the reference numerals and the like of the drawings are denoted by the same reference numerals and signs as possible, even if they are shown in different drawings, the same reference numerals and signs are used. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

따라서 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하에서는, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention.

도 1은 본 발명의 일 실시예에 따른 3차원 영상 생성 장치에 따른 구성을 나타내는 도면이다.1 is a block diagram of a 3D image generating apparatus according to an embodiment of the present invention.

도 1을 참고하면, 3차원 영상 생성 장치는 영상 획득부(300), 3차원 백플레인 생성부(400), 매핑부(500), 마스크 생성부(600), 영상 변형부(700) 및 영상 보정부(800)을 포함한다.1, the three-dimensional image generating apparatus includes an image obtaining unit 300, a three-dimensional backplane generating unit 400, a mapping unit 500, a mask generating unit 600, an image transforming unit 700, (800).

일 실시예에 따른, 영상 획득부(300)는 깊이 카메라(100)와 RGB 카메라(200)로부터 영상정보를 획득한다. The image acquisition unit 300 acquires image information from the depth camera 100 and the RGB camera 200 according to an embodiment.

여기서, 깊이 카메라(100)는 장면을 포착하기 위한 타겟의 깊이 정보를 포함하는 영상을 획득하는 카메라이다. 깊이 카메라는 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산하는 TOF(Time of Flight)방식을 이용하여, 장면에 대한 점이나 줄의 패턴을 감지함으로써 동작한다. 점이나 패턴들을 변형시키는 방법 또는 카메라에서 역 반사되는 빛을 취하는데 걸리는 시간을 통해서 장면에 대한 3차원 윤곽의 계산을 가능하도록 한다. 따라서, 깊이 카메라는(100)는 타겟의 깊이 정보를 포함하는 영상을 획득한다. 이 때, 일 실시예에 의한, 깊이 카메라(100)는 이동할 수 있고, 이동하며 다양한 시점에서의 타겟의 깊이 정보를 포함하는 복수개의 영상을 획득할 수 있다.Here, the depth camera 100 is a camera that acquires an image including depth information of a target for capturing a scene. The depth camera operates by detecting the dot or line pattern of the scene using TOF (Time of Flight) method which calculates the distance by measuring the reflected time by shooting the light. It allows calculation of a three-dimensional contour of a scene through a method of transforming points or patterns, or the time it takes to take back-reflected light from the camera. Thus, the depth camera 100 acquires an image containing depth information of the target. At this time, according to one embodiment, the depth camera 100 can move and acquire a plurality of images including moving and depth information of a target at various points in time.

여기서, 타겟(target)은 전경과 배경을 포함하는 깊이 정보를 포함하는 3차원 영상을 생성하고자 하는 시점에서의 장면을 말한다.Here, the target refers to a scene at a time when a 3D image including depth information including foreground and background is to be generated.

RGB 카메라(200)는 3차원 영상을 획득하고자 하는 타겟의 2차원 영상을 획득한다. RGB(Red-Green-Blue) 카메라는, 빨강, 초록 그리고 파랑색을 광원의 삼원색으로 정하고, 조합 정도에 따라 물체의 색상을 보다 효과적으로 표현할 수 있는 카메라이다. 여기서 실시예에 따른, 3차원 영상을 획득하고자 하는 타겟은 주어진 시점에 의해 깊이 카메라(100)의 기 설정된 위치에서 획득된 깊이 영상에서 전경에 의해 가려진 음영 영역을 포함하는 배경을 포함하는 타겟 영상을 말한다. 따라서, RGB 카메라(200)는 깊이 카메라(100)의 위치를 인지하고, 다른 위치에서 타겟의 2차원 영상을 획득할 수 있다. 여기에서, 2차원 영상은, 2차원 또는 3차원 영상을 포함하는 개념으로서, 일 예로 RGB 카메라로부터 획득되는 2차원 영상을 의미한다.The RGB camera 200 acquires a two-dimensional image of a target to acquire a three-dimensional image. RGB (Red-Green-Blue) camera is a camera that can red, green, and blue color to the three primary colors of a light source and express the color of an object more effectively according to the degree of combination. Here, the target to acquire a three-dimensional image according to the embodiment includes a target image including a background including a shaded area obscured by the foreground in a depth image obtained at a predetermined position of the depth camera 100 at a given time It says. Accordingly, the RGB camera 200 can recognize the position of the depth camera 100 and acquire a two-dimensional image of the target at another position. Here, the two-dimensional image is a concept including a two-dimensional or three-dimensional image, for example, a two-dimensional image obtained from an RGB camera.

영상 획득부(300)는 깊이 카메라(100)가 획득한 RGB 카메라(200)가 획득한 음영 영역을 포함하는 배경을 포함하는 타겟의 2차원 영상을 전달 받아 획득한다.The image acquiring unit 300 acquires and acquires a two-dimensional image of a target including a background including a shaded area acquired by the RGB camera 200 acquired by the depth camera 100.

여기에서, 일 실시예에 따른, 깊이 영상은 깊이 카메라(100)를 통해서 획득되는 영상으로서, RGB 카메라(200)와는 별개로 또는 동일한 장치로 구현될 수 있다.Here, according to one embodiment, the depth image is an image obtained through the depth camera 100, which may be implemented separately or in the same device as the RGB camera 200. [

3차원 백플레인 생성부(400)는 배경을 포함하는 타겟의 2차원 영상을 3차원 영상으로 매핑시키기 위한 3차원 백플레인 모델을 생성한다.The three-dimensional backplane generator 400 generates a three-dimensional backplane model for mapping a two-dimensional image of a target including a background into a three-dimensional image.

매핑부(500)는 3차원 백플레인 생성부(400)로부터 생성된 3차원 백플레인 모델과 상기 타겟의 2차원 영상을 매핑한다.The mapping unit 500 maps the three-dimensional backplane model generated from the three-dimensional backplane generator 400 and the two-dimensional image of the target.

여기서, 도 2를 참조하여 일 실시예에 따른 보다 상세한 설명을 한다.Hereinafter, a more detailed description will be given with reference to FIG. 2 according to an embodiment.

도 2는 본 발명의 일 실시예에 따른 영상 획득을 설명하기 위한 도면이다.2 is a view for explaining image acquisition according to an embodiment of the present invention.

도 2의 (a)는 깊이 카메라(100)와 RGB 카메라(200)에 의한 영상 획득 단계를 나타내는 도면이다.2 (a) is a view showing an image acquiring step by the depth camera 100 and the RGB camera 200. FIG.

전경(10)과 배경(11)을 포함하는 타겟의 주어진 시점에서의 장면을 깊이 카메라(100)가 담는다. RGB 카메라(200)는 깊이 카메라(100)의 위치를 인식하고, 깊이 카메라(100)보다 높은 위치에서 전경(10)과 전경에 의해 가려진 음영 영역을 포함하는 배경(11)의 장면을 2차원 영상으로 획득한다.The depth camera 100 captures a scene at a given time point of the target including the foreground 10 and the background 11. The RGB camera 200 recognizes the position of the depth camera 100 and recognizes the scene of the background 11 including the foreground 10 and the shaded area obscured by the foreground at a position higher than the depth camera 100, .

도 2의 (b)는 RGB 카메라(200)에서 획득한 2차원 영상(210)을 3차원 백플레인 생성부(400)에서 생성한 3차원 백플레인 모델(410)에 매핑하는 것을 나타낸다.2B illustrates mapping of the two-dimensional image 210 acquired by the RGB camera 200 to the three-dimensional backplane model 410 generated by the three-dimensional backplane generator 400. FIG.

도 3을 참조하여, 3차원 백플레인 모델(410)을 생성하는 방법을 구체적으로 설명한다.Referring to FIG. 3, a method for generating the three-dimensional backplane model 410 will be described in detail.

본 발명의 일 실시예에 따른 3차원 영상 생성 장치는 이동장치(20)에 탑재하여, 사용자에 의해 원격조정으로 획득하고자 하는 타겟의 영상을 얻을 수 있도록 구현할 수 있다.The 3D image generating apparatus according to an embodiment of the present invention may be implemented in the mobile device 20 so as to obtain a target image to be acquired by remote control by a user.

도 3에서, h_m는 바닥면으로부터 RGB 카메라(200)까지의 높이를 의미하며, R_v는 RGB 카메라(200)에서 타겟의 거리이고, R_m은 카메라 시야범위에서 최외각 시작점(0,0)에서부터 카메라와 바닥면에 수직하는 수직면 사이의 거리이고, h_n는 RGB 카메라(200)가 위치하는 곳에서부터 타겟의 최 상단까지의 높이이고, θ_m는 카메라 시야각을 정의하는 최외곽면, 그리고 바닥면에 수직하는 수직면이 이루는 각도이고, θ_v는 카메라의 시야각을 정의하는 또 다른 최외곽면과 바닥면이 이루는 각도이다. 3, h _m denotes the height from the bottom surface to the RGB camera 200, R _v denotes the distance of the target in the RGB camera 200, R _m denotes an outermost starting point (0, 0 , H _n is the height from the location of the RGB camera 200 to the top of the target, θ _m is the outermost plane defining the camera viewing angle, and Is the angle formed by the vertical plane perpendicular to the bottom surface, and [theta] _v is the angle between the bottom surface and another outermost plane defining the viewing angle of the camera.

도 3을 통해, 본 발명의 일 실시예에 따른 3차원 백플레인 모델(410)의 생성 방법을 설명한다. 일 예로, RGB 카메라(200)는 이동장치(20)의 상단에 설치되어, 타겟의 2차원 영상을 생성할 수 있다. 이 때, RGB 카메라(200)의 세로 화각은 θ_m과 θ_v그리고 직각 90°와의 합이 된다. 여기에서, 타겟의 최상단의 지점을 (H_v _,Rv)로 표현한다. 도 3에서 가로를 x축, 세로를 y축이라고 가정할 때, 시작점(0,0)은 RGB 카메라(200)에서 획득하는 이미지 중 제일 하단부분으로, 영상 정보 중 RGB 카메라(200)와 가장 가까운 위치이다.Referring to FIG. 3, a method of generating a three-dimensional backplane model 410 according to an embodiment of the present invention will be described. For example, the RGB camera 200 may be installed at the upper end of the mobile device 20 to generate a two-dimensional image of the target. At this time, the vertical angle of view of the RGB camera 200 is the sum of θ _m and θ _v and a right angle of 90 °. Here, it represents a point in the top of the target with (H _{_v,} Rv). 3, the starting point (0, 0) is the lowest part of the image acquired by the RGB camera 200, and the starting point (0, 0) is the closest to the RGB camera 200 Location.

하기의 수학식 1은 (Hv, Rv)의 좌표를 구할 수 있는 수학식이며, 이를 통해, (Hv, Rv)의 관계를 알 수 있다.The following equation (1) is a mathematical expression for obtaining the coordinates of (Hv, Rv), and thereby the relation of (Hv, Rv) can be known.

여기서, 시작점 (0,0)과 끝점(Hv, Rv)를 지나가는 타원의 방정식을 이용하여, 3차원 백플레인 모델(410)을 이루는 곡선을 생성할 수 있다.Here, a curve constituting the three-dimensional backplane model 410 can be generated using an ellipse equation passing through the start point (0, 0) and the end points (Hv, Rv).

수학식 2는 타원의 방정식을 나타내는 계산식이다.Equation (2) is a calculation formula representing an equation of an ellipse.

수학식 2의 타원의 방정식을 이용하여, x축으로 m만큼 이동하고, y축으로 n만큼 평행 이동하여, 수학식 3과 같이 3차원 백플레인 모델을 구성하는 원의 방정식을 구할 수 있다.The equation of the circle constituting the three-dimensional backplane model can be obtained as shown in Equation (3) by shifting by m in the x-axis and parallel by n in the y-axis using the elliptic equation of Equation (2).

본 발명의 일 실시예로서, 원의 방정식을 이루는 x축과 y축으로 이루어진 좌표계에 (x, y)좌표가 존재한다고 가정할 때, (x, y)좌표의 점은 x축과 일정한 각도를 이루고, 좌표와 각도 사이의 관계는 sin과 cos함수로 나타낼 수 있으므로, 각도를 조금씩 증가하면서, 식에 대입한다면, 해당 각도에 상응하는 좌표를 얻을 수 있고, 계속해서 반복하면, 점선의 경로를 따라 하나의 원을 이루는 점들을 얻게 된다. 이렇게, 복수개의 원을 생성하고, 기 설정된 기준에 의해, n번째의 원부터는 z축의 좌표를 추가하여, 3차원 백플레인 모델을 생성한다.As an embodiment of the present invention, assuming that (x, y) coordinates exist in a coordinate system composed of an x-axis and a y-axis constituting the original equation, a point of the (x, y) Since the relationship between the coordinates and angles can be expressed by the sin and cos functions, the coordinates corresponding to the angles can be obtained if the angles are incrementally increased, and if they are repeated repeatedly, I get the points that make up one circle. In this manner, a plurality of circles are generated, and coordinates of the z-axis are added from the n-th circle according to a predetermined reference, thereby generating a three-dimensional backplane model.

도 4는 본 발명의 일 실시예에 따른 3차원 백플레인 모델을 도시한 도면이다.4 is a diagram illustrating a three-dimensional backplane model according to an embodiment of the present invention.

여기에서, r은 최소 단위 원의 반지름을 의미하고, θ는 원을 등분했을 때 최소 단위 각도를 의미하며, i는 원을 등분했을 때, 최소 단위 블럭을 의미하고, Π/180는 육십분법에서 호도법으로 변환하기 위한 단위변환을 의미한다. Here, r means the radius of the smallest unit circle, θ means the smallest unit angle when the circle is equally divided, i means the smallest unit block when the circle is equally divided, and Π / Means a unit conversion to convert to a pseudo-code.

수학식 4를 참조하여 예를 들면, 본 발명의 3차원 백플레인 모델(410)이 12개의 원으로 구성하고, 원을 36등분할 때, 0부터 36까지 1씩 증가하여 i에 대입하면, 도 4와 같이 3차원 백플레인 모델(410)이 생성한다.For example, referring to Equation 4, when the three-dimensional backplane model 410 of the present invention is formed of twelve circles, and when the circle is divided into 36 equals, Dimensional backplane model 410 as shown in FIG.

이 때, 상기 생성된 3차원 백플레인 모델은 1/m등분으로 나누고, 획득한 2차원 영상(210)을 상기 나뉜 3차원 백플레인 모델(410)의 생성된 블록 수만큼 분할 할 수 있다.At this time, the generated three-dimensional backplane model can be divided by 1 / m equally divided and the obtained two-dimensional image 210 can be divided by the number of generated blocks of the divided three-dimensional backplane model 410.

여기서, 보다 구체적인 설명을 위해서 도 5를 참조하여, 설명한다.Here, a more detailed description will be given with reference to Fig.

도 5는 본 발명의 일 실시예에 따른 2차원 영상(210)과 3차원 백플레인 모델(410)의 매핑을 도시한 도면이다.FIG. 5 is a diagram illustrating a mapping of a two-dimensional image 210 and a three-dimensional backplane model 410 according to an embodiment of the present invention.

도 5의 (a)는 RGB 카메라(200)에서 획득된 타겟의 2차원 영상(210)을 블록 단위로 나눈 것을 나타내고, (b)는 3차원 백플레인 모델(410)을 나타낸다.5A shows a two-dimensional image 210 obtained by the RGB camera 200 divided into blocks, and FIG. 5B shows a three-dimensional backplane model 410. FIG.

도 5에 도시된 바와 같이, (a)에서 각 블록을 이루고 있는 꼭지점 a, b, c, d와 (b)에서 각 블록을 이루고 있는 꼭지점 a', b', c', d'이 존재한다. 여기서, 2차원 영상(210)을 3차원 백플레인 모델(410)에 매핑하는 매핑 방법은, 각 꼭지점에 대응하는, 즉 a는 a', b는 b', c는 c' 그리고 d는 d'에 위치할 수 있도록 블록 단위로 매핑할 수 있다. 이 때, 일 실시예에 따른, 각 블록은 호모그래피(Homography) 행렬이 곱해져 획득된 2차원 영상이 3차원 백플레인 모델(410)에 매핑할 수 있다.As shown in FIG. 5, vertices a ', b', c 'and d' constituting each block are vertexes a, b, c and d constituting each block in (a) . Here, a mapping method for mapping the two-dimensional image 210 to the three-dimensional backplane model 410 is a method of mapping a vertex corresponding to each vertex, that is, a is a ' It can be mapped on a block-by-block basis. At this time, each block may be multiplied by a homography matrix to map the obtained two-dimensional image to the three-dimensional backplane model 410 according to an exemplary embodiment.

본 발명에 따른 3차원 영상 생성 방법 및 장치는 당업자에 의해 구현되는 상황의 필요에 따라, 1/m등분으로 나뉜 3차원 백플레인 모델(410)을 복수개의 2차원 영상을 매핑함에 따라, 생성된 복수개의 3차원 타겟 모델을 조합하여, 상기 조합한 3차원 타겟 모델은 90도, 120도, 180도 및 360도 등 다양한 각도로 자유롭게 구현될 수 있다.The method and apparatus for generating a three-dimensional image according to the present invention may map a plurality of two-dimensional images to a three-dimensional backplane model 410 divided by 1 / m equally according to the needs of a situation implemented by a person skilled in the art, Dimensional target model can be freely combined at various angles such as 90 degrees, 120 degrees, 180 degrees, and 360 degrees by combining the three-dimensional target models.

RGB 카메라(200)로부터 타겟의 2차원 영상을 획득하여, 3차원 백플레인 영상으로 매핑함으로써, 3차원 타겟 모델을 생성하면, 깊이 카메라(100)가 획득한 타겟에 대한 복수개의 깊이 영상들 중 주어진 시점에 따른 하나의 영상의 일부에 마스크 이미지를 생성한다.When a three-dimensional target model is generated by acquiring a two-dimensional image of a target from the RGB camera 200 and mapping it to a three-dimensional backplane image, the depth camera 100 obtains a depth image And generates a mask image on a part of one image according to the image.

기 설정된 알고리즘에 따라, 마스크 생성부(600)는 상기 하나의 깊이 영상에서 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 깊이 값이 존재하는 영역을 보정 대상 영역으로 간주하고, 마스크 이미지를 생성한다.According to a predetermined algorithm, the mask generation unit 600 regards a region having no depth value or a region having a depth value smaller than a preset reference depth value in the one depth image as a region to be corrected, and generates a mask image do.

여기서, 깊이 값은 깊이 값을 나타내는 x축, y축 그리고 z축이 존재하는 좌표에서 영상 속에 존재하는 물체 또는 사물의 각 꼭지점에 해당하는 점의 좌표 (x, y, z) 중 z값에 따라 그 깊이 값을 확인할 수 있다.Here, the depth value depends on the z value among the coordinates (x, y, z) of a point corresponding to each vertex of an object or an object existing in the image at coordinates where x, y, The depth value can be confirmed.

따라서, 깊이 영상에서 보정 대상 영역을 제외한 영역을 깊이 값 예측 영역으로 결정할 수 있다.Therefore, the region excluding the region to be corrected in the depth image can be determined as the depth value prediction region.

영상 변형부(700)는 상기 마스크 이미지를 생성한 보정 대상 영역에 3차원 타겟 모델을 정합하기 위해, 상기 RGB 카메라(200)가 2차원 영상을 획득하는 기준 시점과 상기 주어진 시점간의 차이를 이용하여, 3차원 타겟 모델을 변형하여 변형된 타겟 영상을 얻을 수 있다.The image modifying unit 700 uses the difference between the reference time point at which the RGB camera 200 obtains the two-dimensional image and the given time point so as to match the three-dimensional target model to the region to be corrected that generated the mask image , A modified target image can be obtained by modifying the three-dimensional target model.

여기서, 일 예로, 도 2를 참조하면, 상기 주어진 시점이란, 이동하는 깊이 카메라(100)가 획득하는 다양한 시점에서의 복수개의 깊이 영상들 중 미리 설정된 시점에 따른 시점을 의미하고, 상기 2차원 영상을 획득하는 기준 시점이란, RGB 카메라(200)가 타겟의 2차원 영상을 획득하기 위해 깊이 카메라(100)와는 다른 위치에서 타겟의 영상을 획득하는 시점을 의미한다.2, the given viewpoint refers to a viewpoint according to a preset viewpoint among a plurality of depth images at various viewpoints acquired by the moving depth camera 100, Means a point in time at which the RGB camera 200 acquires the image of the target at a position different from the depth camera 100 in order to acquire a two-dimensional image of the target.

이 때, 주어진 시점에서의 3차원 상의 벡터와 기준 시점에서의 3차원 상의 벡터간의 비교를 통해, 3차원 타겟 모델을 변형할 수 있다.At this time, the three-dimensional target model can be modified through comparison between the three-dimensional vector at a given point in time and the three-dimensional vector at the reference point.

깊이 값을 가지는 3차원 타겟 모델을 깊이 영상의 보정 대상 영역에 정합하기 위하여, 영역 크기에 부합하도록 3차원 타겟 모델 영상을 늘여 변형할 수 있다.In order to match the 3D target model having the depth value to the region to be corrected of the depth image, the 3D target model image may be modified to fit the region size.

영상 보정부(800)는 상기 주어진 시점에서의 타겟의 깊이 영상과 변형된 타겟 영상을 정합하여, 영상 획득부(300)에서 획득한 타겟의 깊이 영상을 보정할 수 있다.The image correcting unit 800 may correct the depth image of the target acquired by the image acquiring unit 300 by matching the depth image of the target at the given time and the modified target image.

보다 상세한 설명을 위해, 도 6를 참조한다.For a more detailed description, refer to FIG.

본 발명의 일 실시예에 따른, 도 6는 타겟의 깊이 영상과 3차원 타겟 모델을 이용하여 상기 타겟의 깊이 영상을 보정하는 것을 나타내는 도면이다.6 is a diagram illustrating correction of a depth image of the target using a depth image of a target and a 3D target model according to an embodiment of the present invention.

도 6의 일 실시예에 따른 (a)는, 영상 획득부(300)가 획득한 타겟의 깊이 영상을 깊이 값 예측 영역은 보유하고, 보정 대상 영역은 픽셀만을 남겨둔다.In (a) according to the embodiment of FIG. 6, the depth value prediction area holds the depth image of the target acquired by the image acquisition part 300, and only the pixel remains in the correction area.

픽셀만을 남겨둔 보정 대상 영역에 대한 마스크 이미지(c)를 생성한다.And generates a mask image (c) for the region to be corrected in which only pixels are left.

생성한 마스크 이미지(c)는 3차원 타겟 모델(b)을 보는 시점에서 변형된 타겟 영상이 정합(d)되어, 획득한 타겟의 깊이 영상의 배경 음영영역에 해당하는 배경 이미지를 생성하여, 상기 타겟의 깊이 영상을 보정(e)할 수 있다.The generated mask image (c) matches the deformed target image at the time of viewing the 3D target model (b), generates a background image corresponding to the background shadow area of the obtained depth image of the target, The depth image of the target can be corrected (e).

도 7는 본 발명의 일 실시예에 따른 3차원 영상 생성 방법의 흐름도이다.7 is a flowchart illustrating a method of generating a three-dimensional image according to an exemplary embodiment of the present invention.

도 7를 참고하면, 3차원 백플레인 생성부는 2차원 영상을 3차원 영상으로 매핑하기 위한 3차원 백플레인 모델을 생성한다(S100).Referring to FIG. 7, the three-dimensional backplane generator generates a three-dimensional backplane model for mapping a two-dimensional image into a three-dimensional image (S100).

일 예로, RGB 카메라로 타겟의 2차원 영상을 획득하는 경우에, 상대적으로 거리가 먼 곳의 물체가 흐려져 보이거나 늘어져 보이는 왜곡이 발생될 수 있다. 이 때, 본 발명의 일 실시예에서는, 상기 2차원 영상의 왜곡을 보정하기 위해, 왜곡이 나타나는 일 부분에 각도를 높여, 3차원 백플레인 모델을 생성할 수 있다.For example, when acquiring a two-dimensional image of a target with an RGB camera, distortion may occur in which an object at a relatively far distance appears blurred or stretched. At this time, in one embodiment of the present invention, in order to correct the distortion of the two-dimensional image, a three-dimensional backplane model can be generated by raising the angle at a portion where the distortion appears.

상기 왜곡이 나타나는 영상의 부분에 각도를 높여, 상술한 바와 같이 3차원 백플레인 모델은, 기 설정된 기준에 따라 좌표계를 이용하여 생성할 수 있다.As described above, the three-dimensional backplane model can be generated using a coordinate system in accordance with a preset reference by raising the angle of a portion of the image in which the distortion appears.

다음으로, 이동하는 깊이 카메라로부터 여러 각도에서 획득된 복수개의 타겟의 깊이 영상들을 수신하고(S200), RGB 카메라로부터 3차원 영상을 획득하고자 하는 타겟의 2차원 영상을 수신한다(S300).Next, depth images of a plurality of targets obtained from various angles from the moving depth camera are received (S200), and a two-dimensional image of the target to acquire a three-dimensional image from the RGB camera is received (S300).

다음으로, 획득된 2차원 영상을 생성된 3차원 백플레인 모델에 매핑한다(S400). 이 때, 상기 획득된 2차원 영상을 생성된 3차원 백플레인 모델의 블록 수만큼 복수개의 블록들로 분할한다. 3차원 백플레인 모델의 각 블록들은 블록마다 스케일을 다르게 하여, 상기 2차원 영상의 블록들에 대응하는 생성된 3차원 백플레인 모델의 블록들로 매핑한다.Next, the obtained two-dimensional image is mapped to the generated three-dimensional backplane model (S400). At this time, the obtained two-dimensional image is divided into a plurality of blocks by the number of blocks of the generated three-dimensional backplane model. Each block of the three-dimensional backplane model is scaled differently for each block, and is mapped to blocks of the generated three-dimensional backplane model corresponding to the blocks of the two-dimensional image.

2차원 영상과 3차원 백플레인 모델의 블록들간 매핑 단계를 마치면, 3차원 타겟 모델이 생성한다.After the mapping between the blocks of the two-dimensional image and the three-dimensional backplane model is completed, a three-dimensional target model is generated.

다음으로, 3차원 타겟 모델을 기반으로 주어진 시점에 따라 변형된 타겟 영상을 획득한다(S500).Next, based on the 3D target model, a modified target image is acquired at a given time (S500).

일 실시예에 따른, 상기 변형된 타겟 영상은 RGB 카메라가 위치하는 곳에서 타겟을 바라보는 시점과, 깊이 카메라가 타겟을 바라보는 시점간의 차이를 이용하여, 변형하여 획득할 수 있다.According to an exemplary embodiment, the modified target image can be obtained by transforming using a difference between a time when the RGB camera is located and a time when the depth camera views the target.

다음으로, 여러 각도에서 획득된 깊이 영상들 중 상기 주어진 시점에서의 타겟의 하나의 깊이 영상을 획득한다(S600).Next, one depth image of the target at the given time point among the depth images obtained at various angles is acquired (S600).

획득한 하나의 깊이 영상의 음영 영역을 포함하는 배경의 깊이 값이 없는 영역 또는 기 설정된 기준 깊이 값보다 작은 영역에 마스크 이미지를 생성한다(S700).In operation S700, a mask image is generated in an area having no depth value of the background including the shaded area of one obtained depth image, or in an area smaller than a predetermined reference depth value.

따라서, 마스크 이미지가 생성된 영역에 변형된 타겟 영상을 정합하여, 획득된 타겟의 깊이 영상을 전경에 의해 가려진 음영 영역을 포함하는 배경에 깊이 값을 주어 보다 유용한 영상으로 보정한다(S800).Accordingly, the deformed target image is matched with the mask image generated region, and the obtained depth image of the target is corrected to a more useful image by giving a depth value to the background including the shaded area obscured by the foreground (S800).

본 발명의 3차원 백플레인 모델에 따른 어라운드 뷰(Around View)는 2차원 영상을 바닥에 투영하여, 3차원적 시각정보를 제공받을 수 있어, 보다 입체감이 있는 영상을 획득할 수 있다.Around view according to the three-dimensional backplane model of the present invention can project a two-dimensional image on the floor and be provided with three-dimensional visual information, thereby obtaining a stereoscopic image.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like can be included.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

100: 깊이 카메라
200: RGB 카메라
300: 영상 획득부
400: 3차원 백플레인 생성부
500: 매핑부
600: 마스크 생성부
700: 영상 변형부
800: 영상 보정부
210: 2차원 영상
410: 3차원 백플레인 모델
10: 전경
11: 배경100: Depth camera
200: RGB camera
300:
400: Three-dimensional backplane generator
500:
600: mask generation unit
700:
800: image correction unit
210: Two-dimensional image
410: 3D Backplane Model
10: Foreground
11: Background

Claims

Determining an equation of an ellipse including an outermost starting point in a camera view range for acquiring a two-dimensional image and a top point at which a target in the camera view range is located; Generating a backplane model that maps the three-dimensional image to a three-dimensional image;
Generating a 3D target model by mapping an image obtained with respect to the target to the backplane model, and obtaining a modified target image according to a given time based on the 3D target model; And
Acquiring a depth image of the target at the given time point, and correcting the obtained depth image of the target using the modified target image.

The method according to claim 1,
Wherein the image obtained in relation to the target includes a two-dimensional image of the target and a plurality of depth images.

2. The method of claim 1, wherein obtaining the target image comprises:
Acquiring a two-dimensional image of a target and a plurality of depth images to acquire a three-dimensional image; And
And mapping the obtained two-dimensional image to the three-dimensional backplane model to generate a three-dimensional target model, and acquiring a modified target image at a given time based on the three-dimensional target model, Dimensional image.

4. The method of claim 3, wherein mapping the obtained two-dimensional image to the three-dimensional backplane model to generate a three-
Dividing the obtained two-dimensional image into a plurality of blocks; And
Mapping the blocks to the three-dimensional backplane model block by block;
And generating the three-dimensional image.

4. The method of claim 3, wherein acquiring the transformed target image at a given time based on the three-
Wherein the transformed target image is obtained by transforming the 3D target model using a difference between a reference time for obtaining the 2D image and a given time point.

3. The method of claim 2,
Determining an area having no depth value or an area excluding an area smaller than a predetermined reference depth value as the depth value prediction area in the obtained depth image,
Wherein the step of correcting the depth image of the obtained target corrects the depth image using the determined depth value prediction area and the modified target image.

The method as claimed in claim 6, wherein the determining of the depth value prediction region comprises:
Generating a mask image in an area having no depth value or an area smaller than a predetermined reference depth value in the obtained depth image.

4. The method of claim 3, wherein generating the three-dimensional backplane model comprises:
Generating a three-dimensional backplane model in which an angle value is increased in a part where distortion occurs in the at least two-dimensional image, and correcting the distortion of the image.

An image acquiring unit acquiring a two-dimensional image and a plurality of depth images of a target for acquiring a three-dimensional image;
Determining an equation of an ellipse including an outermost starting point and a top point at which a target is located within the field of view of the camera in the field of view of the camera acquiring the 2D image, Dimensional backplane model for mapping an arbitrary two-dimensional image into a three-dimensional image;
A mapping unit for mapping the obtained two-dimensional image to the three-dimensional backplane model to generate a three-dimensional target model;
An image transforming unit for obtaining a transformed target image at a given time based on the 3D target model; And
Acquiring a depth image of the target at the given time point and correcting the obtained depth image of the target using the modified target image.

The apparatus of claim 9,
And dividing the obtained two-dimensional image into a plurality of blocks, and mapping the divided blocks to the three-dimensional backplane model on a block-by-block basis.

10. The image processing apparatus according to claim 9,
Wherein the transformed target image is obtained by transforming the 3D target model using a difference between a reference time for obtaining the 2D image and a given time point.

The apparatus of claim 9,
And corrects the obtained depth image of the target by matching the deformed target image with the depth image of the target at the given point in time.

10. The method of claim 9,
Determining an area in which the depth value is absent or an area excluding an area smaller than a predetermined reference depth value as the depth value prediction area in the obtained depth image,
A mask generating unit for generating a mask image in an area having no depth value or an area smaller than a predetermined reference depth value; Dimensional image.

14. The method of claim 13,
And corrects the depth image of the target by matching the 3D target model to an area having no depth value or an area smaller than a predetermined reference depth value.

9. A storage medium on which a computer-readable program for performing a three-dimensional image generation method according to any one of claims 1 to 8 is recorded on a computer.