KR20120072146A - Apparatus and method for generating stereoscopic image - Google Patents
Apparatus and method for generating stereoscopic image Download PDFInfo
- Publication number
- KR20120072146A KR20120072146A KR1020100133958A KR20100133958A KR20120072146A KR 20120072146 A KR20120072146 A KR 20120072146A KR 1020100133958 A KR1020100133958 A KR 1020100133958A KR 20100133958 A KR20100133958 A KR 20100133958A KR 20120072146 A KR20120072146 A KR 20120072146A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- panoramic
- cylinder
- generating
- frame
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
본 발명은 입체 영상 생성 장치 및 방법에 관한 것이다. 특히, 본 발명은 단일 카메라의 회전 촬영으로 획득한 회전 동영상으로부터 각 프레임 영상에 대한 양안시차 영상을 용이하게 생성할 수 있는 입체 영상 생성 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for generating stereoscopic images. In particular, the present invention relates to a stereoscopic image generating apparatus and method capable of easily generating a binocular parallax image for each frame image from a rotating video obtained by rotating photographing of a single camera.
2 차원 동영상을 입력으로 양안시차 입체 동영상을 생성하는 2D to 3D 입체변환은 크게 자동변환과 수동변환 방식으로 구분된다. 자동변환 방식은 2 차원 동영상이 입력되면 사용자의 개입 없이, 모든 과정이 자동으로 수행되는 방식이다. 그리고, 자동변환 방식은 압축 코덱의 모션벡터 정보를 이용하거나 입력영상 안의 블록별 움직임 정보를 비교하여 깊이 값을 할당하고 양안시차 영상을 생성한다. 이러한 자동변환 방식은 실시간 변환까지 가능하다는 장점이 있지만 깊이 값의 오차가 심하고, 시차로 인해 가려진 영역(홀 영역)의 처리가 어렵기 때문에 변환 결과물의 품질이 좋지 못하다는 단점이 있다. 수동변환 방식은 레이어 추출과 깊이 값 계산 등에서 일부 작업을 자동화하고, 그 외 부분들은 CG아티스트의 수작업에 의해서 양안시차 입체영상을 생성하는 방식이다. 수동변환 방식은 깊이지도 생성과 홀 영역 리터칭 등의 작업에서 많은 작업 시간이 소요되지만, 자동변환 방식에 비해서 상대적으로 고품질의 변환 결과물을 얻을 수 있다는 장점이 있다. 2D to 3D stereoscopic transformation that generates binocular disparity stereoscopic video with input of 2D video is largely divided into automatic conversion and manual conversion. The automatic conversion method is a method in which all processes are automatically performed when a 2D video is input without user intervention. In addition, the automatic conversion method allocates depth values by using motion vector information of a compression codec or compares motion information for each block in an input image and generates a binocular disparity image. This automatic conversion method has the advantage of real-time conversion, but there is a disadvantage in that the quality of the conversion result is not good because the error of the depth value is severe, and it is difficult to process the area (hole area) covered by the parallax. The manual conversion method automates some tasks such as layer extraction and depth value calculation, while the other parts generate binocular disparity stereoscopic images by manual CG artists. The manual conversion method takes a lot of time in the work such as the depth map generation and hole area retouching, but it has the advantage of obtaining a relatively high quality conversion result compared to the automatic conversion method.
수동변환 방식에서 변환 결과물의 품질을 결정하는 주요한 요소는 깊이지도의 정확성이다. 깊이지도는 입력영상 안의 각 요소들에 대해서 촬영 당시 카메라 중심으로부터의 거리인 깊이정보를 그레이 영상으로 표현한 영상이다. The key factor in determining the quality of the conversion result in the manual conversion method is the accuracy of the depth map. The depth map is an image in which the depth information, which is the distance from the center of the camera at the time of photographing, for each element in the input image is expressed as a gray image.
깊이지도를 자동으로 생성하는 방법은 크게 두 가지가 존재한다. 첫 번째 방법은 입체 카메라로 촬영한 좌안, 우안 두 동영상에 대해서 매 프레임에서 스테레오 매칭(Stereo Matching) 방식으로 깊이지도를 생성하는 방법이다. 이 방법은 정적배경 뿐 아니라 동적객체가 등장하는 영상에도 적용 가능하지만, 반드시 두 카메라로 촬영된 스테레오 동영상에서만 활용가능하다는 제약을 받으며 2D to 3D 입체변환 작업에서는 활용 불가능하다.There are two ways to automatically generate the depth map. The first method is to generate a depth map by stereo matching method every two frames for the left and right eye images captured by the stereoscopic camera. This method can be applied not only to static backgrounds but also to images with dynamic objects. However, this method is limited only to stereo videos taken by two cameras, and is not applicable to 2D to 3D stereoscopic conversion.
두 번째 방법은 단일 카메라로 촬영된 동영상에 대해서 카메라 트래킹 단계를 거쳐 카메라 움직임 정보를 예측하고 이 정보를 바탕으로 삼각법에 의하여 정적인 배경의 깊이정보를 추출하는 방법이다. 이 방법은 정적인 배경, 즉 움직이는 사람이나 자동차와 같은 동적인 객체가 아닌 고정된 정적 배경에 대해서만 깊이정보 추출이 가능하다. 또한 반드시 카메라의 이동(translation)이 있어야 하며 배경구조에 대한 거리 대비 카메라가 이동한 거리 비율에 비례해서 깊이지도의 정확도가 결정된다. 즉, 같은 배경영상에 대해서 카메라가 많이 이동하면 할수록 더 정확한 깊이지도를 생성 가능하다. 하지만 카메라가 삼각대에 고정된 채 회전만 하는 경우처럼, 카메라의 이동거리가 전혀 없거나 배경 물체와의 거리에 비해 이동거리가 매우 작은 상황에서는 깊이지도를 구하고 입체변환을 수행하는 것이 불가능하다. The second method is a method of predicting camera motion information through a camera tracking step for a video captured by a single camera and extracting static background depth information by triangulation based on this information. This method can extract depth information only for static backgrounds, fixed static backgrounds, not dynamic objects such as moving people or cars. In addition, there must be a translation of the camera, and the accuracy of the depth map is determined in proportion to the distance of the camera to the distance to the background structure. That is, the more the camera moves with respect to the same background image, the more accurate the depth map can be generated. However, it is impossible to obtain depth maps and perform stereoscopic transformations in situations where the camera has no movement distance or the movement distance is very small compared to the background object, such as when the camera is only fixed on a tripod.
상기한 과제를 해결하기 위하여 본 발명은, 고정 위치에서의 단일 카메라의 회전 동작 촬영에 의하여 획득한 회전 동영상을 바탕으로, 각 프레임에 대한 양안시차 영상을 간편하게 생성하는 것을 목적으로 한다. 즉, 본 발명은 카메라의 이동 없이 고정위치에서의 회전 동작만으로 획득한 회전 동영상으로부터 복수 개의 프레임에 대한 양안시차 영상의 생성을 용이하게 하는 것을 목적으로 한다. In order to solve the above problems, an object of the present invention is to easily generate a binocular parallax image for each frame based on a rotating video obtained by rotating motion photographing of a single camera at a fixed position. That is, an object of the present invention is to facilitate the generation of a binocular parallax image for a plurality of frames from a rotating video obtained only by the rotation operation in a fixed position without moving the camera.
그리고, 본 발명은 회전 동영상에 포함된 프레임들의 개수가 N 개이고, 생성된 파노라마 영상의 크기가 단일 프레임 영상의 M 배 크기라면, 본 발명에 따른 입체 영상 생성 장치 및 방법에 의할 경우, M/N 비율로 작업량을 감소시키는 것을 목적으로 한다.In the present invention, when the number of frames included in the rotated video is N and the size of the generated panoramic image is M times the size of the single frame image, according to the stereoscopic image generating apparatus and method according to the present invention, M / The purpose is to reduce the workload by the N ratio.
또한, 본 발명은 카메라 렌즈의 화각에 의해 발생하는 왜곡으로 인한 깊이지도의 오차를 줄이는 것을 목적으로 한다. In addition, an object of the present invention is to reduce the error of the depth map due to the distortion caused by the angle of view of the camera lens.
상기한 목적을 달성하기 위한 본 발명에 따른 입체 영상 생성 방법은 고정 위치에서 회전 동영상을 획득하는 단계; 상기 회전 동영상의 프레임 영상들을 실린더 와핑 함수를 이용하여 한 장의 파노라마 영상으로 변환하는 단계; 상기 파노라마 영상에 대한 파노라마 양안시차 영상을 생성하는 단계; 및 상기 실린더 와핑 함수의 역변환 수식을 이용하여, 상기 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of generating a stereoscopic image, including: obtaining a rotating video at a fixed position; Converting the frame images of the rotated video into a single panoramic image using a cylinder warping function; Generating a panoramic binocular parallax image for the panoramic image; And converting the panoramic binocular disparity image into a binocular disparity image for each frame image by using an inverse transform equation of the cylinder warping function.
이 때, 상기 프레임 영상들을 상기 파노라마 영상으로 변환하는 단계는, 상기 회전 동영상의 초점거리를 계산하는 단계; 상기 프레임 영상들을 반지름이 상기 초점거리인 실린더에 접하는 평면 영상으로 간주하여, 연속되는 상기 프레임 영상 간의 위치 정렬관계를 계산하는 단계; 상기 실린더 와핑 함수를 이용하여, 상기 프레임 영상들을 실린더 곡면 상에 와핑시키는 단계를 포함할 수 있다. The converting of the frame images into the panoramic image may include calculating a focal length of the rotating video; Calculating the positional alignment relationship between successive frame images by considering the frame images as planar images contacting a cylinder whose radius is the focal length; Using the cylinder warping function, the method may include warping the frame images on a curved surface of a cylinder.
이 때, 상기 프레임 영상들을 상기 파노라마 영상으로 변환하는 단계는, 상기 실린더 곡면 상의 동일 좌표에서 상기 프레임 영상들 각각의 픽셀 값이 중복되는 경우, 중복된 픽셀의 평균값을 사용하여 블렌딩 처리하는 단계를 더 포함할 수 있다.In this case, the converting of the frame images into the panoramic image may further include performing a blending process using an average value of the overlapping pixels when the pixel values of each of the frame images overlap at the same coordinates on the curved surface of the cylinder. It may include.
이 때, 상기 실린더 와핑 함수는 다음의 수학식일 수 있다. 
이 때, 상기 파노라마 양안시차 영상을 상기 프레임 영상에 대한 양안시차 영상으로 변환하는 단계는 다음의 수학식에 의하여 이루어질 수 있다. 
이 때, 상기 파노라마 양안시차 영상을 생성하는 단계는, 상기 파노라마 영상에 중첩되는 레이어를 생성하고, 상기 레이어에 상기 파노라마 영상에 대한 파노라마 깊이지도를 생성하는 단계; 및 상기 파노라마 깊이지도에 따라 픽셀마다 시차간격을 할당하고, 시차로 인해 가려진 홀 영역에 대하여 리터칭하여, 상기 파노라마 영상에 대한 상기 파노라마 양안시차 영상을 생성하는 단계를 포함할 수 있다.The generating of the panoramic binocular parallax image may include: generating a layer overlapping the panoramic image, and generating a panoramic depth map of the panoramic image on the layer; And generating a panoramic binocular parallax image for the panoramic image by allocating a parallax interval for each pixel according to the panoramic depth map, and retouching the hole area obscured by the parallax.
이 때, 상기 회전 동영상을 획득하는 단계는, 상기 고정 위치에서의 단일 카메라의 회전 동작 촬영에 의하여 상기 회전 동영상을 획득할 수 있다.
In this case, in the acquiring of the rotating video, the rotating video may be obtained by photographing the rotational motion of the single camera at the fixed position.
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 입체 영상 생성 장치는 고정 위치에서의 회전 동영상을 생성하는 영상 생성부; 상기 회전 동영상의 프레임 영상들을 실린더 와핑 함수를 이용하여 한 장의 파노라마 영상으로 변환하는 파노라마 영상 생성부; 상기 파노라마 영상에 대한 파노라마 양안시차 영상을 생성하는 파노라마 양안시차 영상 생성부; 및 상기 실린더 와핑 함수의 역변환 수식을 이용하여, 상기 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환하는 프레임 양안시차 영상 생성부를 포함한다.In addition, the stereoscopic image generating apparatus according to the present invention for achieving the above object is an image generating unit for generating a rotating video at a fixed position; A panoramic image generating unit converting the frame images of the rotated video into a single panoramic image using a cylinder warping function; A panoramic binocular disparity image generating unit generating a panoramic binocular disparity image with respect to the panoramic image; And a frame binocular disparity image generation unit for converting the panoramic binocular disparity image into a binocular disparity image for each frame image by using an inverse transform equation of the cylinder warping function.
이 때, 상기 파노라마 영상 생성부는 상기 회전 동영상의 초점거리를 계산하는 초점거리 계산부; 상기 프레임 영상들을 반지름이 상기 초점거리인 실린더에 접하는 평면 영상으로 간주하여, 연속되는 상기 프레임 영상 간의 위치 정렬관계를 계산하는 정렬관계 계산부; 및 상기 실린더 와핑 함수를 이용하여, 상기 프레임 영상들을 실린더 곡면 상에 와핑시키는 와핑부를 포함할 수 있다.In this case, the panorama image generating unit includes a focal length calculator for calculating a focal length of the rotating video; An alignment relationship calculation unit that considers the frame images as plane images contacting a cylinder whose radius is the focal length, and calculates a position alignment relationship between successive frame images; And a warping unit for warping the frame images on the curved surface of the cylinder by using the cylinder warping function.
이 때, 상기 파노라마 영상 생성부는 상기 실린더 곡면 상의 동일 좌표에서 상기 프레임 영상들 각각의 픽셀 값이 중복되는 경우, 중복된 픽셀의 평균값을 사용하여 블렌딩 처리하는 블렌딩 처리부를 더 포함할 수 있다.The panorama image generator may further include a blending processor configured to blend the pixel values of the frame images at the same coordinates on the curved surface of the cylinder using the average value of the overlapped pixels.
이 때, 상기 실린더 와핑 함수는 다음의 수학식일 수 있다. 
이 때, 상기 양안시차 영상 생성부는 다음의 수학식을 이용하여, 상기 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환할 수 있다. 
이 때, 상기 파노라마 양안시차 영상 생성부는 상기 파노라마 영상에 중첩되는 레이어를 생성하고, 상기 레이어에 상기 파노라마 영상에 대한 파노라마 깊이지도를 생성하는 깊이지도 생성부; 및 상기 파노라마 깊이지도에 따라 픽셀마다 시차간격을 할당하고, 시차로 인해 가려진 홀 영역에 대하여 리터칭하여, 상기 파노라마 영상에 대한 상기 파노라마 양안시차 영상을 생성하는 리터칭 작업부를 포함할 수 있다.In this case, the panoramic binocular parallax image generation unit generates a layer overlapping the panoramic image, the depth map generator for generating a panorama depth map of the panoramic image on the layer; And a retouching work unit for allocating a parallax interval for each pixel according to the panorama depth map, and retouching the hole area covered by the parallax to generate the panoramic binocular parallax image for the panoramic image.
이 때, 상기 회전 동영상은 상기 고정 위치에서의 단일 카메라의 회전 동작 촬영에 의하여 생성될 수 있다.In this case, the rotating video may be generated by photographing the rotational motion of the single camera in the fixed position.
본 발명에 따르면, 고정 위치에서의 단일 카메라의 회전 동작 촬영에 의하여 획득한 회전 동영상을 바탕으로, 각 프레임에 대한 양안시차 영상을 간편하게 생성할 수 있다. 즉, 본 발명은 카메라의 이동 없이 고정위치에서의 회전 동작만으로 획득한 회전 동영상으로부터 복수 개의 프레임에 대한 양안시차 영상의 생성을 용이하게 할 수 있다.According to the present invention, a binocular parallax image for each frame can be easily generated based on a rotating video obtained by photographing a rotational motion of a single camera at a fixed position. That is, the present invention can facilitate the generation of binocular parallax images for a plurality of frames from the rotated video obtained only by the rotation operation in the fixed position without moving the camera.
특히, 회전 동영상에 포함된 프레임들의 개수가 N 개이고, 생성된 파노라마 영상의 크기가 단일 프레임 영상의 M 배 크기라면, 본 발명에 따른 입체 영상 생성 장치 및 방법에 의할 경우, M/N 비율로 작업량이 감소할 수 있다.Particularly, if the number of frames included in the rotated video is N and the size of the generated panoramic image is M times the size of the single frame image, in the stereoscopic image generating apparatus and method according to the present invention, the M / N ratio The workload can be reduced.
그리고, 본 발명은 카메라 렌즈의 화각에 의해 발생하는 왜곡으로 인한 깊이지도의 오차를 줄일 수 있다.In addition, the present invention can reduce the error of the depth map due to the distortion caused by the angle of view of the camera lens.
도 1은 본 발명에 따른 입체 영상 생성 방법을 설명하기 위한 플로우챠트이다.
도 2는 본 발명에 따른 입체 영상 생성 방법에서 회전 카메라를 통하여 얻어진 회전 동영상의 프레임 영상들의 일 예를 도시한 것이다.
도 3은 본 발명에 따른 입체 영상 생성 방법에서 파노라마 영상을 생성하는 방법을 설명하기 위한 플로우챠트이다.
도 4는 본 발명에 따른 입체 영상 생성 방법에서 회전 동영상의 각 프레임 영상을 실린더 좌표계에 투영할 때의 기하학적 관계를 도시한 것이다.
도 5는 도 4의 기하학적 관계를 기반으로 인접한 프레임 영상 간의 정렬관계를 계산하기 위해서 영상 내에서 세로축으로 좁은 스트립 영상을 이동시키며 매칭을 수행하는 과정을 도시한 것이다.
도 6a 내지 도 6c는 본 발명에 따른 입체 영상 생성 방법에서 프레임 영상 평면상의 각 픽셀 좌표를 실린더 좌표계로 투영하기 위한 와핑 함수의 기하학적 관계를 도시한 것이다.
도 7은 본 발명에 따른 입체 영상 생성 방법을 통해 생성된 한 장의 파노라마 영상의 일 예를 도시한 것이다.
도 8은 본 발명에 따른 입체 영상 생성 방법에서 파노라마 양안시차 영상을 생성하는 방법을 설명하기 위한 플로우챠트이다.
도 9a 및 도 9b는 입력영상에서 깊이지도를 생성하는 일 예를 도시한 것이다.
도 10은 도 7의 파노라마 영상에 대하여 깊이지도를 생성한 일 예를 도시한 것이다.
도 11은 본 발명에 따른 입체 영상 생성 장치의 구성을 나타낸 블록도이다.1 is a flowchart illustrating a stereoscopic image generation method according to the present invention.
2 illustrates an example of frame images of a rotating video obtained through a rotating camera in the stereoscopic image generating method according to the present invention.
3 is a flowchart illustrating a method of generating a panoramic image in the stereoscopic image generating method according to the present invention.
FIG. 4 illustrates a geometric relationship when projecting each frame image of a rotating video in a cylinder coordinate system in the stereoscopic image generating method according to the present invention.
FIG. 5 illustrates a process of performing matching by moving a narrow strip image along the vertical axis in the image to calculate an alignment relationship between adjacent frame images based on the geometric relationship of FIG. 4.
6A to 6C illustrate geometric relationships of warping functions for projecting each pixel coordinate on a frame image plane into a cylinder coordinate system in the stereoscopic image generating method according to the present invention.
7 illustrates an example of a single panoramic image generated by the stereoscopic image generating method according to the present invention.
8 is a flowchart illustrating a method of generating a panoramic binocular disparity image in the stereoscopic image generating method according to the present invention.
9A and 9B illustrate an example of generating a depth map from an input image.
FIG. 10 illustrates an example of generating a depth map of the panoramic image of FIG. 7.
11 is a block diagram showing the configuration of a stereoscopic image generating apparatus according to the present invention.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.
이하에서는 본 발명에 따른 입체 영상 생성 방법에 대하여 설명하도록 한다. Hereinafter, a stereoscopic image generating method according to the present invention will be described.
도 1은 본 발명에 따른 입체 영상 생성 방법을 설명하기 위한 플로우챠트이다. 도 2는 본 발명에 따른 입체 영상 생성 방법에서 회전 카메라를 통하여 얻어진 회전 동영상의 프레임 영상들의 일 예를 도시한 것이다. 도 3은 본 발명에 따른 입체 영상 생성 방법에서 파노라마 영상을 생성하는 방법을 설명하기 위한 플로우챠트이다. 도 4는 본 발명에 따른 입체 영상 생성 방법에서 회전 동영상의 각 프레임 영상을 실린더 좌표계에 투영할 때의 기하학적 관계를 도시한 것이다. 도 5는 도 4의 기하학적 관계를 기반으로 인접한 프레임 영상 간의 정렬관계를 계산하기 위해서 영상 내에서 세로축으로 좁은 스트립 영상을 이동시키며 매칭을 수행하는 과정을 도시한 것이다. 도 6a 내지 도 6c는 본 발명에 따른 입체 영상 생성 방법에서 프레임 영상 평면상의 각 픽셀 좌표를 실린더 좌표계로 투영하기 위한 와핑 함수의 기하학적 관계를 도시한 것이다. 도 7은 본 발명에 따른 입체 영상 생성 방법을 통해 생성된 한 장의 파노라마 영상의 일 예를 도시한 것이다. 도 8은 본 발명에 따른 입체 영상 생성 방법에서 파노라마 양안시차 영상을 생성하는 방법을 설명하기 위한 플로우챠트이다. 도 9a 및 도 9b는 입력영상에서 깊이지도를 생성하는 일 예를 도시한 것이다. 도 10은 도 7의 파노라마 영상에 대하여 깊이지도를 생성한 일 예를 도시한 것이다.
1 is a flowchart illustrating a stereoscopic image generation method according to the present invention. 2 illustrates an example of frame images of a rotating video obtained through a rotating camera in the stereoscopic image generating method according to the present invention. 3 is a flowchart illustrating a method of generating a panoramic image in the stereoscopic image generating method according to the present invention. FIG. 4 illustrates a geometric relationship when projecting each frame image of a rotating video in a cylinder coordinate system in the stereoscopic image generating method according to the present invention. FIG. 5 illustrates a process of performing matching by moving a narrow strip image along the vertical axis in the image to calculate an alignment relationship between adjacent frame images based on the geometric relationship of FIG. 4. 6A to 6C illustrate geometric relationships of warping functions for projecting each pixel coordinate on a frame image plane into a cylinder coordinate system in the stereoscopic image generating method according to the present invention. 7 illustrates an example of a single panoramic image generated by the stereoscopic image generating method according to the present invention. 8 is a flowchart illustrating a method of generating a panoramic binocular disparity image in the stereoscopic image generating method according to the present invention. 9A and 9B illustrate an example of generating a depth map from an input image. FIG. 10 illustrates an example of generating a depth map of the panoramic image of FIG. 7.
도 1을 참조하면, 본 발명에 따른 입체 영상 생성 방법은 먼저, 특정 고정 위치에서 회전 동영상을 획득한다(S110). 이 때, 회전 동영상은 상기 특정 고정 위치에서 단일 카메라의 회전 동작 촬영에 의하여 획득될 수 있다. 이러한 회전 동영상은 연속되는 프레임 영상들로 이루어져있다. 도 2에는 회전 동영상을 구성하는 프레임 영상들의 예를 도시하고 있다. 도 2에서는 편의상 5개의 프레임 영상만을 샘플링하여 도시하였으나, 실제 입력이 되는 동영상은 연속되는 복수 개의 프레임 영상으로 구성되어 있다.
Referring to FIG. 1, in the stereoscopic image generating method according to the present invention, first, a rotating video is obtained at a specific fixed position (S110). In this case, the rotating video may be obtained by photographing a rotational motion of a single camera at the specific fixed position. This rotating video consists of successive frame images. 2 shows an example of frame images constituting a rotating video. In FIG. 2, only five frame images are sampled for convenience, but the actual video is composed of a plurality of continuous frame images.
그리고, 회전 동영상의 프레임 영상들을 소정 수식을 이용하여 한장의 파노라마 영상으로 변환한다(S120). The frame images of the rotated video are converted into a single panorama image using a predetermined equation (S120).
구체적으로 단계(S120)는 도 3과 함께 참조하면, 회전 동영상의 초점거리를 계산하는 단계(S121), 프레임 영상들을 반지름이 초점거리인 실린더에 접하는 평면 영상으로 간주하여서, 연속되는 프레임 영상 간의 위치 정렬관계를 계산하는 단계(S122), 실린더 와핑 함수를 이용하여, 프레임 영상들을 실린더 곡면 상에 와핑시키는 단계(S123)를 포함하여 이루어질 수 있다. 또한, 단계(S120)는 실린더 곡면 상의 동일 좌표에서 프레임 영상들 각각의 픽셀 값이 중복되는 경우, 중복된 픽셀의 평균값을 사용하여 블렌딩 처리하는 단계(S124)를 더 포함하여 이루어질 수 있다.Specifically, referring to FIG. 3, together with FIG. 3, calculating the focal length of the rotated video (S121), the frame images are regarded as planar images that are in contact with a cylinder whose radius is the focal length, and the positions between successive frame images. Computing the alignment relationship (S122), by using a cylinder warping function, the step of warping the frame images on the cylinder surface (S123) can be made. In addition, step S120 may further include blending using the average value of the overlapped pixels when the pixel values of each of the frame images overlap at the same coordinates on the curved surface of the cylinder (S124).
이 때, 회전 동영상의 초점거리를 계산하는 단계(S121)는 먼저 프레임 영상들간의 특징점 매칭을 통해 8 parameter 형식의 평면형 원근 왜곡관계(planar perspective transform)를 계산한다. 그리고, 회전행렬의 각각의 행 벡터는 동일한 크기성분(norm)을 갖고 직교(Orthogonal)한다는 조건으로부터, 각 프레임 영상에서의 초점거리를 계산할 수 있다. 두 영상간의 특징점 매칭을 통해서 선형적인 방법으로 하기의 수학식 1의 평면형 원근 왜곡관계 M을 계산할 수 있다. 그리고, 이 때 x, x'은 두 영상에서의 대응되는 특징점 좌표이다.At this time, the step of calculating the focal length of the rotating video (S121) first calculates a planar perspective transform of 8 parameter type through feature point matching between the frame images. In addition, a focal length in each frame image may be calculated based on a condition that each row vector of the rotation matrix has orthogonality with the same size component (norm). Through the matching of feature points between two images, the planar perspective distortion relationship M of
카메라의 중심을 공간 좌표계의 중심으로 설정하면 공간상의 하나의 포인트 p가 영상 평면(Image plane)의 특징점 x로 사영될 때의 카메라 식을 하기의 수학식 2와 같이 표현할 수가 있다. 수학식 2에서 (cx, cy)는 카메라가 사영될 때의 영상 중심을 의미하며, f는 초점 거리, rij는 3 * 3 회전 행렬 R의 i행 j열 원소를 의미한다.When the center of the camera is set to the center of the spatial coordinate system, a camera equation when one point p in space is projected as a feature point x of the image plane can be expressed as
이 때, 개념상 편의를 위해 픽셀의 식별체계 중심이 영상의 중심이라 설정하면, cx = cy = 0으로 설정할 수 있고 결과적으로 x~VRp 로 정리 가능하다. 여기에서 '~' 연산자는 homogeneous 벡터 표현법임을 의미하며 좌, 우 항 각 원소들간의 비율이 일치함을 의미한다. 연속되는 두 프레임 영상간에 앞 프레임 영상에서 R=I (identity matrix)로 가정하면, 수학식 1의 영상간의 원근 왜곡관계 M=V1RV0 -1로 표현 가능하다. 여기서, V0, V1은 두 프레임 영상의 내부변수 행렬인 수학식 2의 V를 의미한다. 이 수식을 정리하면 아래 수학식 3과 같이 전개 가능하다. In this case, if the center of the identification system of the pixel is set to the center of the image for conceptual convenience, c x = c y = 0 can be set and as a result, it can be arranged by x ~ VRp. Here, '~' operator means homogeneous vector expression and means that the ratio of elements of left and right sides is identical. Assuming that R = I (identity matrix) in the previous frame image between two consecutive frame images, it can be expressed as a perspective distortion relationship M = V 1 RV 0 -1 between the images of
위의 수학식 3에서 f0, f1은 앞 뒤 프레임에서의 초점거리를 의미한다. 그리고, 회전행렬 R의 두 행 벡터는 같은 크기성분(norm)을 갖고 직교(orthogonal)하다는 조건을 활용하면, 아래 수학식 4 의 관계를 얻고, f0에 관해서 수학식 5와 같이 정리할 수 있으며, 마찬가지 방식으로 f1값도 계산 가능하다.In Equation 3 above, f 0 and f 1 mean focal lengths in front and rear frames. Further, by utilizing the condition that the two row vectors of the rotation matrix R have the same size component (norm) and are orthogonal, the relation of Equation 4 can be obtained, and f 0 can be summarized as Equation 5, In the same way, the value of f 1 can be calculated.
만약 입력된 동영상에서 초점거리가 고정되어 있고, 위의 연산 결과 계산된 f0와 f1이 서로 다른 값이라면 아래 수학식 6과 같이 기하학적 평균(geometric mean)을 사용할 수 있으며 다수의 입력 프레임에 대해서는 중간순위 값(Median value)을 활용할 수 있다.If the focal length is fixed in the input video and f 0 and f 1 calculated from the above calculation are different values, the geometric mean can be used as shown in Equation 6 below. Median value can be used.
다음으로, 연속되는 프레임 영상 간의 위치 정렬관계를 계산하는 단계(S122)에서, 연속한 두 프레임 영상을 반지름이 초점거리인 실린더에 접하는 평면으로 간주할 경우 위에서 보면 도 4와 같은 기하학적 관계를 구성한다. 이때 P'(X',Y',Z')의 위치에 해당하는 공간상의 포인트들은 연속한 두 프레임 영상의 중앙으로부터 같은 거리상에 위치한다. 그렇기 때문에 도 5와 같이 연속된 두 프레임 영상의 중앙(a1, a2)으로부터 같은 거리만큼 이동시킨 블록 영역(b1, b2)의 픽셀들 간의 매칭을 통해서 두 영상간의 위치 정렬관계를 계산할 수 있다. 두 영상간의 위치 정렬 관계를 계산하는 구체적인 과정은 아래 수학식 7에서의 최적값 (Δx, Δy)를 구하는 방식을 통해 이루어진다. 이 수식에서 (Δx, Δy)는 영상중심으로부터의 수평과 수직 이동거리, W는 입력영상의 가로 길이, h,w는 비교될 스트립 영상의 수평, 수직 길이, k,s는 스트립 영상 안에서의 픽셀 식별자이며 (cx, cy)는 영상의 중심점이다. 카메라 회전은 기본적으로 X축 방향으로만 존재한다고 가정하지만 카메라 떨림 문제(Vertical jitter)를 해결하기 위해서 세로축의 검사영역 ε를 정의한다. Next, in the step (S122) of calculating the positional alignment relationship between successive frame images, when the two consecutive frame images are regarded as planes in contact with the cylinder whose radius is the focal length, the geometrical relationship as shown in FIG. . At this time, the spatial points corresponding to the positions of P '(X', Y ', Z') are located at the same distance from the center of two consecutive frame images. Therefore, as shown in FIG. 5, a position alignment relationship between two images may be calculated by matching pixels of the block regions b 1 and b 2 that are moved by the same distance from the centers a 1 and a 2 of two consecutive frame images. Can be. A specific process of calculating the positional alignment relationship between two images is performed by obtaining an optimal value (Δx, Δy) in Equation 7 below. In this equation, (Δx, Δy) is the horizontal and vertical moving distance from the image center, W is the horizontal length of the input image, h, w is the horizontal and vertical length of the strip image to be compared, and k, s is the pixel in the strip image. (C x , c y ) is the center point of the image. The camera rotation is basically assumed to exist only in the X-axis direction, but the inspection area ε of the vertical axis is defined to solve the vertical jitter.
그리고, 다음으로, 프레임 영상들을 실린더 곡면 상에 와핑시키는 단계(S123)는 카메라 영상 평면(Image plane)의 픽셀들을 실린더 영상에 투영하고 실린더 와핑 함수를 통해 파노라마 영상을 생성하는 단계이다. 이 때, 실리더 와핑 함수는 다음과 같이 구해진다. 먼저, 도 6a는 입력된 평면 영상을 실린더 상의 곡면 영상으로 투영하는 기하학적 관계를 보여준다. 도 6a에서 (x, y)는 평면 영상에서의 좌표이며, (u, v)는 실린더상의 곡면 영상으로 투영 되었을 때의 좌표이고, θ는 (x, 0)과 카메라 축이 이루는 각도이다. 도 6b는 도 6a의 상황을 위에서 바라본 수평좌표 관계이며, 도 6c는 도 6a의 상황을 옆에서 바라본 수직좌표 관계이다. 도 6a 내지 도 6c의 수평, 수직 좌표 관계로부터 비례식을 풀면 아래 수학식 8과 같은 실린더 와핑 함수식을 얻을 수 있다. 그리고, 수학식 8을 이용하여, 영상 평면의 각각의 픽셀 (x, y)를 실린더상의 곡면좌표 (u, v)로 대응시킬 수 있다. Next, the step of warping the frame images on the curved surface of the cylinder (S123) is a step of projecting pixels of the camera image plane onto the cylinder image and generating a panoramic image through the cylinder warping function. At this time, the cylinder warping function is obtained as follows. First, FIG. 6A illustrates a geometric relationship of projecting an input plane image into a curved image on a cylinder. In FIG. 6A, (x, y) is a coordinate in a planar image, (u, v) is a coordinate when projected on a cylindrical curved image, and θ is an angle formed by (x, 0) and the camera axis. FIG. 6B is a horizontal coordinate relationship seen from above of the situation of FIG. 6A, and FIG. 6C is a vertical coordinate relationship seen from the side of FIG. 6A. By solving the proportional expression from the horizontal and vertical coordinate relationships of FIGS. 6A to 6C, a cylinder warping function such as Equation 8 below can be obtained. Then, using Equation 8, each pixel (x, y) in the image plane can be mapped to the curved surface coordinates (u, v) on the cylinder.
모든 프레임에 대해서 상기와 같은 작업을 반복하면서 각각의 프레임 영상을 실린더 곡면상에 와핑시키게 된다. 그리고, 이 과정에서, 정수 좌표로 대응되지 않는 픽셀에 대해서는 선형 보간법을 사용하고, 곡면상의 동일 좌표에 여러 프레임의 픽셀 값이 중복되는 경우에는 간단하게 평균값을 사용하여 블렌딩 처리(S124)한다. The above operation is repeated for every frame, and each frame image is warped on the cylinder surface. In this process, linear interpolation is used for pixels that do not correspond to integer coordinates, and when pixel values of several frames overlap with the same coordinates on a curved surface, blending is performed using an average value (S124).
단계(S121) 내지 단계(S124)를 통해 도 2의 복수개의 프레임 영상으로 구성된 회전 동영상을 도 7과 같은 한 장의 파노라마 영상으로 생성할 수 있다.
In operation S121 to S124, a rotating video including a plurality of frame images of FIG. 2 may be generated as a single panoramic image as shown in FIG. 7.
또한, 단계(S120)를 통해 생성된 파노라마 영상에 대한 파노라마 양안시차 영상을 생성한다(S130). 구체적으로, 단계(S130)는 도 8과 함께 참조하면, 파노라마 깊이지도를 생성하는 단계(S131) 및 파노라마 양안시차 영상을 생성하는 단계(S132)를 포함하여 이루어질 수 있다. In addition, a panoramic binocular parallax image is generated for the panoramic image generated through operation S120 (S130). Specifically, referring to FIG. 8, the step S130 may include generating a panoramic depth map (S131) and generating a panoramic binocular parallax image (S132).
이 때, 구체적으로 단계(S131)는 파노라마 영상에 중첩되는 레이어를 생성하고, 상기 레이어에 상기 파노라마 영상에 대한 파노라마 깊이지도를 생성하는 단계이다. 깊이지도의 생성 예는 도 9a 및 도 9b에 나타나 있다. 도 9a는 입력 영상의 예이다. 그리고, 도 9b는 도 9a의 각 물체의 촬영 시점으로부터의 거리 즉, 깊이정보를 바탕으로 깊이지도를 생성한 예이다. 즉, 단계(S131)를 통해 도 7의 파노라마 영상에 중첩되는 레이어를 생성하고, 상기 레이어에 상기 파노라마 영상에 대한 파노라마 깊이지도를 생성할 수 있고, 이의 생성 예가 도 10에 도시되어 있다.In this case, in detail, operation S131 is a step of generating a layer overlapping the panoramic image and generating a panorama depth map of the panoramic image on the layer. An example of the generation of the depth map is shown in Figs. 9A and 9B. 9A is an example of an input image. 9B illustrates an example of generating a depth map based on a distance from a photographing time point of each object of FIG. 9A, that is, depth information. That is, a layer overlapping the panoramic image of FIG. 7 may be generated through step S131, and a panoramic depth map of the panoramic image may be generated on the layer, and an example of generating the same may be illustrated in FIG. 10.
그리고, 이 때, 구체적으로 단계(S132)는 상기 파노라마 깊이지도에 따라 픽셀마다 시차간격을 할당하고, 시차로 인해 가려진 홀 영역에 대하여 리터칭하여, 상기 파노라마 영상에 대한 상기 파노라마 양안시차 영상을 생성하는 단계이다. In this case, in detail, in operation S132, a parallax interval may be allocated for each pixel according to the panorama depth map, and retouched for the hole area obscured by the parallax to generate the panoramic binocular parallax image for the panoramic image. Step.
즉, 단계(S132)는 단계(S131)에서 생성된 파노라마 깊이지도에 대응하여 파노라마 영상의 각각의 픽셀에 시차를 적용하여 좌, 우 양안시차 영상을 생성하는 단계이다. 단계(S132)는 주어진 영상을 중앙 영상으로 간주하고 좌, 우 방향으로 절반씩의 시차를 갖는 좌, 우 영상을 생성하는 방법으로 이루어질 수 있다. 또는, 단계(S132)는 주어진 영상을 좌 또는 우 영상 중 하나로 간주하고 깊이지도에 따른 시차를 적용하여 다른 한 영상을 생성할 수도 있다. 본 발명의 실시예에서는 먼저 주어진 파노라마 영상을 좌 영상으로 간주하고, 나머지 우 영상을 새로 생성하는 방법을 사용한다. 생성된 파노라마 깊이지도와 픽셀 단위로 적용될 시차 간의 관계는, 생성하고자 하는 입체 영상의 가상 카메라 리그 변수인 카메라 축간 간격과 카메라 사이각도에 따라 변화한다. 그리고, 시청자의 피로감을 줄이기 위해 또는 연출자의 의도에 의해 어떠한 깊이감을 연출할지에 따라 깊이지도를 해석하여 시차를 적용하는 방식은 다양하게 변화될 수 있다. 파노라마 깊이지도에 따라 시차를 적용하여 새로운 우 영상을 생성하면 좌 영상의 정보만으로는 채워지지 않는 가려진 영역(occlusion region) 또는 홀 영역이 발생한다. 이러한 가려진 영역은 리터칭 작업을 통해 적절한 텍스쳐를 채워 넣음으로써, 파노라마 영상에서의 우 영상 생성을 완료할 수 있다. 즉, 파노라마 양안 시차 영상을 생성 완료하게 된다.
That is, step S132 is a step of generating left and right binocular parallax images by applying parallax to each pixel of the panoramic image corresponding to the panoramic depth map generated in step S131. Step S132 may be regarded as a center image, and may be performed by generating a left and right image having a parallax of half in left and right directions. Alternatively, step S132 may regard the given image as one of the left and right images, and generate another image by applying parallax according to the depth map. In an embodiment of the present invention, a given panorama image is first regarded as a left image, and a method of newly generating the remaining right image is used. The relationship between the generated panorama depth map and the parallax to be applied in units of pixels changes according to the distance between camera axes and the angle between cameras, which are virtual camera rig variables of the stereoscopic image to be generated. In addition, the method of applying the parallax by analyzing the depth map may be variously changed according to the depth of the viewer to reduce the fatigue of the viewer or the intention of the director. When a new right image is generated by applying parallax according to the panorama depth map, an occlusion region or a hole region is generated that is not filled only by the information of the left image. The masked area may be filled with an appropriate texture through a retouching operation to complete the creation of the right image in the panoramic image. That is, the panorama binocular disparity image is generated.
또한, 단계(S120)에서 사용된 소정 수식의 역변환 수식을 이용하여, 단계(S130)에서 생성된 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환한다(S140). 즉, 단계(S140)는 단계(S132)에서 생성된 파노라마 우 영상을 각각의 프레임 영상에서의 우 영상들로 역 변환하는 단계이다. 그리고, 단계(S140)는 단계(S120)의 수학식 7에서 구한 영상간의 정렬변수(Δx, Δy)와, 수학식 8에서 구한 실린더 와핑 함수의 역함수(수학식 9)를 이용하여 실린더 곡면상의 좌표(u, v)를 다시 각각의 프레임에서의 평면 영상에서의 좌표 (x, y)로 역변환한다. In operation S140, the panoramic binocular disparity image generated in step S130 is converted into a binocular disparity image for each frame image by using an inverse transform equation of the predetermined equation used in step S120. That is, step S140 is a step of inversely converting the panoramic right image generated in step S132 into right images in each frame image. In operation S140, the coordinates on the curved surface of the cylinder using the alignment variables Δx and Δy between the images obtained in Equation 7 and the inverse function (Equation 9) of the cylinder warping function obtained in Equation 8 are obtained. Invert (u, v) back to coordinates (x, y) in the planar image at each frame.
단계(S140)를 통해 각각의 프레임 영상에 대한 좌, 우 영상 즉, 양안시차 영상이 최종 생성된다.In operation S140, left and right images, i.e., binocular disparity images, of the respective frame images are finally generated.
상기와 같이, 본 발명은 회전 동영상의 프레임 영상들을 소정 수식을 이용하여 한 장의 파노라마 영상으로 생성하고, 상기 파노라마 영상에 대한 파노라마 양안시차 영상을 생성하며, 상기 소정 수식의 역 변환 수식으로 상기 파노라마 양안시차 영상을 각 프레임에 대한 양안시차 영상으로 변환한다. 이러한, 본 발명은 동영상에서 매 프레임 영상마다 수작업으로 양안시차 영상을 생성하는 방식과 비교하여, 보다 간편히 각 프레임 영상에 대한 양안시차 영상을 생성할 수 있다.
As described above, the present invention generates frame images of a rotating video as a single panoramic image using a predetermined formula, generates a panoramic binocular parallax image with respect to the panoramic image, and uses the inverse transform formula of the predetermined formula to determine the panoramic binocular. The parallax image is converted into a binocular parallax image for each frame. As described above, the present invention can more easily generate a binocular disparity image for each frame image compared to a method of manually generating a binocular disparity image for every frame image in a video.
이하에서는 본 발명에 따른 입체 영상 생성 장치의 구성 및 동작에 대하여 설명하도록 한다. Hereinafter, the configuration and operation of the stereoscopic image generating apparatus according to the present invention will be described.
도 11은 본 발명에 따른 입체 영상 생성 장치의 구성을 나타낸 블록도이다.
11 is a block diagram showing the configuration of a stereoscopic image generating apparatus according to the present invention.
도 11을 참조하면, 본 발명에 따른 입체 영상 생성 장치(1000)는 영상 생성부(100), 파노라마 영상 생성부(200), 파노라마 양안시차 영상 생성부(300) 및 프레임 양안시차 영상 생성부(400)를 포함하여 구성된다.
Referring to FIG. 11, the stereoscopic
영상 생성부(100)는 특정 고정 위치에서 회전 동영상을 획득한다. 이 때, 회전 동영상은 상기 특정 고정 위치에서 단일 카메라의 회전 동작 촬영에 의하여 획득될 수 있다. 이러한 회전 동영상은 연속되는 프레임 영상들로 이루어져있다.
The
파노라마 영상 생성부(200)는 영상 생성부(100)에서 획득한 회전 동영상의 프레임 영상들을 소정 수식을 이용하여 한 장의 파노라마 영상으로 변환한다. 이러한, 파노라마 영상 생성부(200)는 초점거리 계산부(210), 정렬관계 계산부(220) 및 와핑부(230)를 포함하여 구성된다. 그리고, 파노라마 영상 생성부(200)는 블렌딩 처리부(240)를 더 포함하여 구성될 수 있다. The
초점거리 계산부(210)는 회전 동영상의 초점거리를 계산한다. 정렬관계 계산부(220)는 프레임 영상들을 반지름이 초점거리인 실린더에 접하는 평면 영상으로 간주하여서, 연속되는 프레임 영상 간의 위치 정렬관계를 계산한다. 와핑부(230)는 실린더 와핑 함수를 이용하여, 프레임 영상들을 실린더 곡면 상에 와핑시킨다. 이 때, 실린더 와핑 함수는 상기의 수학식 8과 같다. 블렌딩 처리부(240)는 실린더 곡면 상의 동일 좌표에서 프레임 영상들 각각의 픽셀 값이 중복되는 경우, 중복된 픽셀의 평균값을 사용하여 블렌딩 처리한다.
The
파노라마 양안시차 영상 생성부(300)는 파노라마 영상 생성부(200)에서 생성한 파노라마 영상에 대한 파노라마 양안시차 영상을 생성한다. 이러한, 파노라마 양안시차 영상 생성부(300)는 깊이지도 생성부(310) 및 리터칭 작업부(320)를 포함하여 구성된다.The panoramic binocular
깊이지도 생성부(310)는 파노라마 영상에 중첩되는 레이어를 생성하고, 상기 레이어에 상기 파노라마 영상에 대한 파노라마 깊이지도를 생성한다. 리터칭 작업부(320)는 파노라마 깊이지도에 따라 픽셀마다 시차간격을 할당하고, 시차로 인해 가려진 홀 영역에 대하여 리터칭하여, 상기 파노라마 영상에 대한 상기 파노라마 양안시차 영상을 생성한다.
The
프레임 양안시차 영상 생성부(400)는 파노라마 영상 생성부(200)에서 사용된 소정 수식의 역변환 수식을 이용하여, 파노라마 양안시차 영상 생성부(300)에서 생성된 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환한다. 이 때, 역변환 수식은 상기의 수학식 9와 같다.
The frame binocular parallax
이상에서와 같이 본 발명에 따른 입체 영상 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the apparatus and method for generating a stereoscopic image according to the present invention may not be limitedly applied to the configuration and method of the embodiments described above, but the embodiments may be modified in various ways. All or part may be optionally combined.
100; 입체 영상 생성 장치
100; 영상 생성부
200; 파노라마 영상 생성부
210; 초점거리 계산부 220; 정렬관계 계산부
230; 와핑부 240; 블렌딩 처리부
300; 파노라마 양안시차 영상 생성부
310; 깊이지도 생성부 320; 리터칭 작업부
400; 프레임 양안시차 영상 생성부100; Stereoscopic image generator
100; Image generator
200; Panorama image generator
210;
230; Warping
300; Panoramic binocular parallax image generator
310; A
400; Frame binocular parallax image generator
Claims (14)
상기 회전 동영상의 프레임 영상들을 실린더 와핑 함수를 이용하여 한 장의 파노라마 영상으로 변환하는 단계;
상기 파노라마 영상에 대한 파노라마 양안시차 영상을 생성하는 단계; 및
상기 실린더 와핑 함수의 역변환 수식을 이용하여, 상기 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.Acquiring a rotating video at a fixed position;
Converting the frame images of the rotated video into a single panoramic image using a cylinder warping function;
Generating a panoramic binocular parallax image for the panoramic image; And
And converting the panoramic binocular disparity image into a binocular disparity image for each frame image by using an inverse transform equation of the cylinder warping function.
상기 프레임 영상들을 상기 파노라마 영상으로 변환하는 단계는,
상기 회전 동영상의 초점거리를 계산하는 단계;
상기 프레임 영상들을 반지름이 상기 초점거리인 실린더에 접하는 평면 영상으로 간주하여, 연속되는 상기 프레임 영상 간의 위치 정렬관계를 계산하는 단계;
상기 실린더 와핑 함수를 이용하여, 상기 프레임 영상들을 실린더 곡면 상에 와핑시키는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 1,
Converting the frame images into the panoramic image,
Calculating a focal length of the rotating video;
Calculating the positional alignment relationship between successive frame images by considering the frame images as planar images contacting a cylinder whose radius is the focal length;
And warping the frame images on a curved surface of the cylinder by using the cylinder warping function.
상기 프레임 영상들을 상기 파노라마 영상으로 변환하는 단계는,
상기 실린더 곡면 상의 동일 좌표에서 상기 프레임 영상들 각각의 픽셀 값이 중복되는 경우, 중복된 픽셀의 평균값을 사용하여 블렌딩 처리하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 2,
Converting the frame images into the panoramic image,
And when the pixel values of each of the frame images overlap at the same coordinates on the curved surface of the cylinder, blending using an average value of the overlapping pixels.
상기 실린더 와핑 함수는 다음의 수학식인 것을 특징으로 하는 입체 영상 생성 방법.
(u, v; 실린더 상에서의 곡면 좌표, x, y; 평면 프레임 영상에서의 좌표, f; 초점거리)The method according to claim 2,
The cylinder warping function is the following equation.
(u, v; curved coordinates on the cylinder, x, y; coordinates in the planar frame image, f; focal length)
상기 파노라마 양안시차 영상을 상기 프레임 영상에 대한 양안시차 영상으로 변환하는 단계는 다음의 수학식에 의하여 이루어지는 것을 특징으로 하는 입체 영상 생성 방법.
(x, y; 평면 프레임 영상에서의 좌표, u, v; 실린더 상에서의 곡면 좌표, f; 초점거리)The method of claim 4,
And converting the panoramic binocular parallax image into a binocular parallax image for the frame image by the following equation.
(x, y; coordinates in planar frame image, u, v; surface coordinates on cylinder, f; focal length)
상기 파노라마 양안시차 영상을 생성하는 단계는,
상기 파노라마 영상에 중첩되는 레이어를 생성하고, 상기 레이어에 상기 파노라마 영상에 대한 파노라마 깊이지도를 생성하는 단계; 및
상기 파노라마 깊이지도에 따라 픽셀마다 시차간격을 할당하고, 시차로 인해 가려진 홀 영역에 대하여 리터칭하여, 상기 파노라마 영상에 대한 상기 파노라마 양안시차 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 1,
Generating the panoramic binocular parallax image,
Generating a layer overlapping the panoramic image and generating a panorama depth map of the panoramic image in the layer; And
And generating a panoramic binocular parallax image for the panoramic image by allocating a parallax interval for each pixel according to the panorama depth map and retouching the hole area obscured by the parallax. .
상기 회전 동영상을 획득하는 단계는,
상기 고정 위치에서의 단일 카메라의 회전 동작 촬영에 의하여 상기 회전 동영상을 획득하는 것을 특징으로 하는 입체 영상 생성 방법.The method according to claim 1,
Acquiring the rotating video,
And obtaining the rotated video by rotating motion photographing of the single camera at the fixed position.
상기 회전 동영상의 프레임 영상들을 실린더 와핑 함수를 이용하여 한 장의 파노라마 영상으로 변환하는 파노라마 영상 생성부;
상기 파노라마 영상에 대한 파노라마 양안시차 영상을 생성하는 파노라마 양안시차 영상 생성부; 및
상기 실린더 와핑 함수의 역변환 수식을 이용하여, 상기 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환하는 프레임 양안시차 영상 생성부를 포함하는 것을 특지으로 하는 입체 영상 생성 장치.An image generator for generating a rotating video at a fixed position;
A panoramic image generating unit converting the frame images of the rotated video into a single panoramic image using a cylinder warping function;
A panoramic binocular disparity image generating unit generating a panoramic binocular disparity image with respect to the panoramic image; And
And a frame binocular disparity image generator for converting the panoramic binocular disparity image into a binocular disparity image for each frame image by using an inverse transform equation of the cylinder warping function.
상기 파노라마 영상 생성부는
상기 회전 동영상의 초점거리를 계산하는 초점거리 계산부;
상기 프레임 영상들을 반지름이 상기 초점거리인 실린더에 접하는 평면 영상으로 간주하여, 연속되는 상기 프레임 영상 간의 위치 정렬관계를 계산하는 정렬관계 계산부; 및
상기 실린더 와핑 함수를 이용하여, 상기 프레임 영상들을 실린더 곡면 상에 와핑시키는 와핑부를 포함하는 것을 특징으로 하는 입체 영상 생성 장치. The method according to claim 8,
The panoramic image generating unit
A focal length calculator for calculating a focal length of the rotating video;
An alignment relationship calculation unit that considers the frame images as plane images contacting a cylinder whose radius is the focal length, and calculates a position alignment relationship between successive frame images; And
And a warping unit for warping the frame images on a curved surface of the cylinder by using the cylinder warping function.
상기 파노라마 영상 생성부는
상기 실린더 곡면 상의 동일 좌표에서 상기 프레임 영상들 각각의 픽셀 값이 중복되는 경우, 중복된 픽셀의 평균값을 사용하여 블렌딩 처리하는 블렌딩 처리부를 더 포함하는 것을 특징으로 하는 입체 영상 생성 장치.The method according to claim 9,
The panoramic image generating unit
And a blending processor configured to blend the pixel values of the frame images at the same coordinates on the curved surface of the cylinder by using an average value of the overlapped pixels.
상기 실린더 와핑 함수는 다음의 수학식인 것을 특징으로 하는 입체 영상 생성 장치.
(u, v; 실린더 상에서의 곡면 좌표, x, y; 평면 프레임 영상에서의 좌표, f; 초점거리)The method according to claim 9,
The cylinder warping function is the following equation.
(u, v; curved coordinates on the cylinder, x, y; coordinates in the planar frame image, f; focal length)
상기 양안시차 영상 생성부는 다음의 수학식을 이용하여, 상기 파노라마 양안시차 영상을 각각의 프레임 영상에 대한 양안시차 영상으로 변환하는 것을 특징으로 하는 입체 영상 생성 장치.
(x, y; 평면 프레임 영상에서의 좌표, u, v; 실린더 상에서의 곡면 좌표, f; 초점거리)The method of claim 10,
The binocular parallax image generating unit converts the panoramic binocular parallax image into a binocular parallax image for each frame image by using the following equation.
(x, y; coordinates in planar frame image, u, v; surface coordinates on cylinder, f; focal length)
상기 파노라마 양안시차 영상 생성부는
상기 파노라마 영상에 중첩되는 레이어를 생성하고, 상기 레이어에 상기 파노라마 영상에 대한 파노라마 깊이지도를 생성하는 깊이지도 생성부; 및
상기 파노라마 깊이지도에 따라 픽셀마다 시차간격을 할당하고, 시차로 인해 가려진 홀 영역에 대하여 리터칭하여, 상기 파노라마 영상에 대한 상기 파노라마 양안시차 영상을 생성하는 리터칭 작업부를 포함하는 것을 특징으로 하는 입체 영상 생성 장치.The method according to claim 9,
The panoramic binocular parallax image generating unit
A depth map generator for generating a layer overlapping the panoramic image and generating a panoramic depth map of the panoramic image in the layer; And
And a retouching unit configured to allocate a parallax interval for each pixel according to the panorama depth map, and to retouch the hole area obscured by the parallax to generate the panoramic binocular parallax image for the panoramic image. Device.
상기 회전 동영상은 상기 고정 위치에서의 단일 카메라의 회전 동작 촬영에 의하여 생성된 것을 특징으로 하는 입체 영상 생성 장치.The method of claim 7,
The rotating video is generated by the rotational motion photographing of a single camera in the fixed position.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100133958A KR20120072146A (en) | 2010-12-23 | 2010-12-23 | Apparatus and method for generating stereoscopic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100133958A KR20120072146A (en) | 2010-12-23 | 2010-12-23 | Apparatus and method for generating stereoscopic image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120072146A true KR20120072146A (en) | 2012-07-03 |
Family
ID=46706942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100133958A KR20120072146A (en) | 2010-12-23 | 2010-12-23 | Apparatus and method for generating stereoscopic image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20120072146A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101370718B1 (en) * | 2012-10-26 | 2014-03-06 | 한국과학기술원 | Method and apparatus for 2d to 3d conversion using panorama image |
| KR20150010752A (en) * | 2012-07-04 | 2015-01-28 | 인텔 코오퍼레이션 | Panorama based 3d video coding |
| CN105007405A (en) * | 2014-04-18 | 2015-10-28 | 佳能株式会社 | Image processing method, image processing apparatus and image pickup apparatus |
| KR101648673B1 (en) * | 2015-06-26 | 2016-08-17 | 동서대학교산학협력단 | 360° vr image lossy image restoration and conversion methods for creating content |
| CN105979241A (en) * | 2016-06-29 | 2016-09-28 | 深圳市优象计算技术有限公司 | Cylinder three-dimensional panoramic video fast inverse transformation method |
| KR20160127690A (en) * | 2015-04-27 | 2016-11-04 | 주식회사바텍 | Producing panoramic radiograph |
| KR101694890B1 (en) * | 2016-03-29 | 2017-01-13 | 주식회사 비젼인 | Image processing system and method using 2D images from multiple points |
| KR20170025807A (en) * | 2015-08-31 | 2017-03-08 | 연세대학교 원주산학협력단 | Apparatus for obtaining high resolution image by synthesizing a plurality of captured image and method thereof |
| US10559063B2 (en) | 2014-09-26 | 2020-02-11 | Samsung Electronics Co., Ltd. | Image generating apparatus and method for generation of 3D panorama image |
| KR102360522B1 (en) * | 2021-03-04 | 2022-02-08 | 한남대학교 산학협력단 | 3D spatial information acquisition system using parallax phenomenon |
| KR20220129943A (en) * | 2021-03-17 | 2022-09-26 | (주)지비유 데이터링크스 | Apparatus and method for generating a panoramic video image by combining multiple video images |
-
2010
- 2010-12-23 KR KR1020100133958A patent/KR20120072146A/en not_active Application Discontinuation
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150010752A (en) * | 2012-07-04 | 2015-01-28 | 인텔 코오퍼레이션 | Panorama based 3d video coding |
| CN104350745A (en) * | 2012-07-04 | 2015-02-11 | 英特尔公司 | Panorama based 3D video coding |
| CN104350745B (en) * | 2012-07-04 | 2018-12-11 | 英特尔公司 | 3D video coding based on panorama |
| KR101370718B1 (en) * | 2012-10-26 | 2014-03-06 | 한국과학기술원 | Method and apparatus for 2d to 3d conversion using panorama image |
| US9894343B2 (en) | 2014-04-18 | 2018-02-13 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus, image pickup apparatus, and non-transitory computer-readable storage medium |
| CN105007405A (en) * | 2014-04-18 | 2015-10-28 | 佳能株式会社 | Image processing method, image processing apparatus and image pickup apparatus |
| US10559063B2 (en) | 2014-09-26 | 2020-02-11 | Samsung Electronics Co., Ltd. | Image generating apparatus and method for generation of 3D panorama image |
| KR20160127690A (en) * | 2015-04-27 | 2016-11-04 | 주식회사바텍 | Producing panoramic radiograph |
| KR101648673B1 (en) * | 2015-06-26 | 2016-08-17 | 동서대학교산학협력단 | 360° vr image lossy image restoration and conversion methods for creating content |
| KR20170025807A (en) * | 2015-08-31 | 2017-03-08 | 연세대학교 원주산학협력단 | Apparatus for obtaining high resolution image by synthesizing a plurality of captured image and method thereof |
| KR101694890B1 (en) * | 2016-03-29 | 2017-01-13 | 주식회사 비젼인 | Image processing system and method using 2D images from multiple points |
| CN105979241A (en) * | 2016-06-29 | 2016-09-28 | 深圳市优象计算技术有限公司 | Cylinder three-dimensional panoramic video fast inverse transformation method |
| KR102360522B1 (en) * | 2021-03-04 | 2022-02-08 | 한남대학교 산학협력단 | 3D spatial information acquisition system using parallax phenomenon |
| KR20220129943A (en) * | 2021-03-17 | 2022-09-26 | (주)지비유 데이터링크스 | Apparatus and method for generating a panoramic video image by combining multiple video images |
| KR20220146401A (en) * | 2021-03-17 | 2022-11-01 | (주)지비유 데이터링크스 | Apparatus and method for generating a panoramic video image by combining multiple video images, and performing video analysis on the generated panoramic video image |
| KR20220146403A (en) * | 2021-03-17 | 2022-11-01 | (주)지비유 데이터링크스 | Apparatus and method for generating a panoramic video image by combining multiple video images, and setting a region of interest in the generated panoramic video image |
| KR20220146402A (en) * | 2021-03-17 | 2022-11-01 | (주)지비유 데이터링크스 | Apparatus and method for generating a circular view panoramic video image by combining multiple video images |
| KR20220146404A (en) * | 2021-03-17 | 2022-11-01 | (주)지비유 데이터링크스 | Apparatus and method for generating a panoramic video image by combining multiple video images, and generating a seperated video image based on the generated panoramic video image |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20120072146A (en) | Apparatus and method for generating stereoscopic image | |
| US8581961B2 (en) | Stereoscopic panoramic video capture system using surface identification and distance registration technique | |
| US9357206B2 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3D display | |
| JP5156837B2 (en) | System and method for depth map extraction using region-based filtering | |
| US20190311497A1 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
| JP4828506B2 (en) | Virtual viewpoint image generation device, program, and recording medium | |
| CN110827392B (en) | Monocular image three-dimensional reconstruction method, system and device | |
| CN109360235A (en) | A kind of interacting depth estimation method based on light field data | |
| US20170223338A1 (en) | Three dimensional scanning system and framework | |
| JPWO2004114224A1 (en) | Virtual viewpoint image generation method, three-dimensional image display method and apparatus | |
| US9665967B2 (en) | Disparity map generation including reliability estimation | |
| CN105005964B (en) | Geographic scenes panorama sketch rapid generation based on video sequence image | |
| CN106170086B (en) | Method and device thereof, the system of drawing three-dimensional image | |
| WO2015179216A1 (en) | Orthogonal and collaborative disparity decomposition | |
| US8019180B2 (en) | Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager | |
| JP3561446B2 (en) | Image generation method and apparatus | |
| JP6285686B2 (en) | Parallax image generation device | |
| JP2022024688A (en) | Depth map generation device and program thereof, and depth map generation system | |
| EP3651119A1 (en) | Disparity estimation from a wide angle image | |
| US20220321859A1 (en) | Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof | |
| Limonov et al. | Stereoscopic realtime 360-degree video stitching | |
| JP7257272B2 (en) | DEPTH MAP GENERATION DEVICE AND PROGRAM THEREOF, AND 3D IMAGE GENERATION DEVICE | |
| KR20220133766A (en) | Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system therefore | |
| Baker et al. | A multi-imager camera for variable-definition video (xdtv) | |
| Kitahara et al. | Scalable 3D representation for 3D video in a large-scale space |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |