KR102022559B1 - Method and computer program for photographing image without background and taking composite photograph using digital dual-camera - Google Patents
Method and computer program for photographing image without background and taking composite photograph using digital dual-camera Download PDFInfo
- Publication number
- KR102022559B1 KR102022559B1 KR1020190060751A KR20190060751A KR102022559B1 KR 102022559 B1 KR102022559 B1 KR 102022559B1 KR 1020190060751 A KR1020190060751 A KR 1020190060751A KR 20190060751 A KR20190060751 A KR 20190060751A KR 102022559 B1 KR102022559 B1 KR 102022559B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- camera
- images
- cameras
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000002131 composite material Substances 0.000 title claims abstract description 11
- 238000004590 computer program Methods 0.000 title claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 abstract description 5
- 230000009977 dual effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000238814 Orthoptera Species 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H04N5/2258—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 디지털 촬영 장치에서 사진을 촬영하는 방법에 대한 것으로, 더 구체적으로는 사진 촬영 후의 별도 편집 과정 없이 복수의 카메라를 통해 획득되는 영상들을 이용하여 배경을 삭제한 사진이나 다른 영상과 합성한 사진을 실시간으로 촬영할 수 있도록 하는 영상 촬영 방법 및 컴퓨터 프로그램에 대한 것이다.The present invention relates to a method of capturing a photograph in a digital photographing apparatus, and more specifically, a photograph in which a background is deleted or another photograph is synthesized by using images acquired through a plurality of cameras without a separate editing process after photographing. The present invention relates to an image capturing method and a computer program for capturing images in real time.
최신 휴대폰에 탑재되는 듀얼 카메라는 카메라 렌즈가 2 개로 이루어진 스마트폰용 카메라 모듈이다. 2개의 렌즈를 이용해 촬영을 함으로써 사진의 품질을 개선하거나, 각각 다른 화각의 사진을 획득하거나, 정확한 안면 인식(길이 외에 깊이까지 인식)으로 보안이나 AI(Artificial Intelligence)의 사물 인식 등에 활용하거나, 3D 이미지를 생성함으로써 가상 현실, 증강 현실의 효과를 구현할 수 있다.The dual cameras in the latest mobile phones are camera modules for smartphones with two camera lenses. Shooting with two lenses improves the quality of photographs, acquires photos with different angles of view, utilizes accurate facial recognition (depth beyond length) for security or AI (Artificial Intelligence) object recognition, or 3D By generating images, the effects of virtual reality and augmented reality can be realized.
한편, 누끼(ぬき)란 '빼다'라는 뜻의 일본어로 글자에는 색을 빼고 배경에 색을 칠하는 인쇄 방법을 나타내며, 필요치 않은 부분은 빼내고 필요한 피사체만 인쇄되도록 하는 것이다. 그래픽 디자인 작업에서는 '누끼를 딴다'는 표현을 쓰는데, 배경이 있는 이미지에서 필요한 피사체만을 포토샵 등으로 잘라내는 작업, 즉 배경을 없애는 것을 누끼라고 한다.On the other hand, the word "누" is a Japanese word for "subtract" refers to the printing method to color the background without the color, and to remove the parts that are not necessary to print only the necessary subject. In the graphic design work, we use the expression 'picking up locusts', which is to remove only the necessary subjects from an image with a background, such as Photoshop, to remove the background.
그러나, 촬영해서 저장된 사진을 포토샵 등의 그래픽 편집 소프트웨어를 이용해 편집하여 누끼를 하는 작업은 전문 기술이 필요한 것은 물론, 그래픽 전문가라 하더라도 많은 소요 시간과 노력이 필요한 작업이며, 스마트폰 등의 디지털 촬영 장치로 사진을 찍는 일반적인 사용자는 고가의 그래픽 편집 소프트웨어를 가지고 있지도 않고 이를 이용한 그래픽 편집 작업 역시 수행하기가 어렵다.However, it is necessary not only to have professional skills but also to take a lot of time and effort even for graphic professionals, and to take pictures by editing them using graphic editing software such as Photoshop. The average user who takes a picture does not have expensive graphic editing software and it is difficult to perform graphic editing.
또한 촬영 영상을 별도로 가공, 편집하지 않고서는 이모티콘이나 아이콘, 디자인 합성작업 등에 촬영 영상을 디자인 소스로 직접 사용할 수가 없다.In addition, you cannot directly use the captured image as a design source for emoticons, icons, design synthesis, etc. without processing and editing the captured image separately.
본 발명은 상기와 같은 종래 기술의 문제점을 해소하기 위한 것으로, 복수의 카메라를 구비한 디지털 촬영 장치에서 사진 촬영 후에 별도의 편집 과정 없이 사용자가 원하는 오브젝트만을 배경 이미지가 없는 상태의 사진으로 실시간 촬영할 수 있도록 하는 영상 촬영 방법을 제공하기 위한 것이다.The present invention is to solve the problems of the prior art as described above, after taking a picture in a digital photographing device having a plurality of cameras can be taken in real time as a picture without the background image only the object desired by the user without a separate editing process. It is to provide a video recording method.
또한, 본 발명은 복수의 카메라를 구비한 디지털 촬영 장치에서 사진 촬영 후에 별도의 편집 과정 없이 각 오브젝트의 윤곽을 파악하고 사용자가 원하는 오브젝트들을 선별하여 포함시킨 사진을 실시간으로 촬영할 수 있도록 하는 영상 촬영 방법을 제공하기 위한 것이다.In addition, the present invention captures the contour of each object in the digital photographing device having a plurality of cameras after taking a picture without a separate editing process, and allows the user to shoot in real time to take a picture containing the selected objects included in real time It is to provide.
또한, 본 발명은 복수의 후방 카메라로 촬영되는 영상에서 배경 등 사용자가 원하지 않는 부분 영상을 소거하고, 소거된 배경 부분에 다른 촬영 이미지나 그래픽 이미지 등을 합성하여 실시간 영상 촬영하는 방법을 제공하기 위한 것이다.The present invention also provides a method of erasing partial images, such as a background, that are not desired by a user from images captured by a plurality of rear cameras, and synthesizing another shot image or graphic image on the erased background portion to provide a method of capturing real-time images. will be.
또한, 본 발명은 복수의 후방 카메라로 촬영되는 영상에서 배경 등 사용자가 원하지 않는 부분 영상을 소거하고 전방 카메라로 촬영한 전방 이미지에 합성할 수 있는 영상 촬영 방법을 제공하기 위한 것이다.In addition, the present invention is to provide an image capturing method capable of erasing a partial image, such as a background, that is not desired by a user from an image photographed by a plurality of rear cameras and combining the front image captured by a front camera.
상기와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른, 듀얼 카메라를 이용한 무배경 이미지 촬영과 이를 이용한 합성사진 촬영 방법은, 사용자로부터 사진 촬영이 요청되면, 상기 복수의 카메라를 통해 촬영되는 복수의 영상을 분석하여 깊이맵을 생성하는 단계와; 상기 깊이맵을 이용하여 영상을 구성하는 하나 이상의 부분 영상을 판별하는 단계와; 상기 디지털 촬영 장치의 화면에 디스플레이된 주영상 위에, 상기 하나 이상의 부분 영상을 구분하여 선택할 수 있는 사용자 인터페이스를 라이브뷰 영상으로 디스플레이하는 단계와; 상기 사용자 인터페이스를 통한 사용자의 입력을 수신하는 단계와; 상기 사용자로부터 사진 저장이 요청되면, 상기 사용자 인터페이스를 통한 사용자의 입력에 따라 상기 주영상에서 선택 배제된 부분 영상을 삭제한 사진을 새로운 주영상으로 생성하여 저장부에 저장하는 단계;를 포함할 수 있다.In order to achieve the above object, according to an embodiment of the present invention, a background-free image recording using a dual camera and a composite photo recording method using the same, when photographing is requested from the user, the camera photographed through the plurality of cameras Generating a depth map by analyzing a plurality of images; Determining at least one partial image constituting an image using the depth map; Displaying a user interface for classifying and selecting the one or more partial images as a live view image on the main image displayed on the screen of the digital photographing apparatus; Receiving a user input via the user interface; If the user is requested to save a photo, generating a new main image stored in the storage unit by deleting a partial image selected and excluded from the main image according to a user input through the user interface; have.
상기 저장 단계는, 상기 선택 배제된 부분 영상을 삭제한 사진과 상기 사용자에 의해 선택된 다른 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함할 수 있다.The storing may include storing a picture obtained by deleting the selected partial image and another picture selected by the user as a main image.
상기 저장 단계는, 상기 선택 배제된 부분 영상을 삭제한 사진과 상기 단말의 전방 카메라를 통해 촬영된 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함할 수 있다.The storing may include storing a picture obtained by deleting the partial excluded image and a picture obtained by synthesizing an image taken by the front camera of the terminal as a main image.
상기 저장 단계는, 상기 사용자에 의해 선택되지 않은 부분 영상까지 포함하는 오리지널 주영상을 상기 새로운 주영상의 레이어로 함께 저장하는 단계;를 포함할 수 있다.The storing may include storing an original main image including a partial image not selected by the user together as a layer of the new main image.
상기 깊이맵 생성 단계는, 상기 복수의 카메라가 다른 화각을 가지는 경우, 상기 복수의 카메라를 통해 촬영되는 복수의 영상에 포함되는 동일 오브젝트의 가로 또는 세로 크기가 동일해지도록 광각 카메라에 의해 촬영되는 영상을 크롭한 후에 상기 복수의 영상 내 동일 오브젝트들 간의 이격 거리를 파악하는 단계;를 포함할 수 있다.In the depth map generation step, when the plurality of cameras have different angles of view, the image photographed by the wide-angle camera so that the horizontal or vertical size of the same object included in the plurality of images photographed by the plurality of cameras is the same. After cropping, determining a separation distance between the same objects in the plurality of images.
상기 촬영 방법은, 상기 사용자에 의해 선택 배제된 부분 영상을 삭제한 사진을 상기 저장부로부터 독출하여 디스플레이하는 단계와; 상기 복수의 카메라 중 하나로 촬영되는 영상을 상기 디스플레이된 누끼 영상의 배경 이미지로 합성한 사진을 획득하는 단계;를 더 포함할 수 있다.The photographing method may further include: reading and displaying a picture from which the partial image selected and excluded by the user is deleted from the storage unit; The method may further include obtaining a photograph obtained by synthesizing an image photographed by one of the plurality of cameras into a background image of the displayed nucleus image.
상기 촬영 방법은, 상기 사용자 인터페이스를 통해 선택된 복수의 부분 영상에서 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 상기 선택된 부분 영상들의 크기를 자동으로 조정하는 단계;를 더 포함할 수 있다.The photographing method may further include recognizing a face of a subject in the plurality of partial images selected through the user interface and automatically adjusting the sizes of the selected partial images so that the sizes of the recognized faces are similar to each other. .
본 발명에 의하면, 복수의 카메라를 구비한 디지털 촬영 장치에서 사진 촬영 후에 별도의 편집 과정 없이 각 오브젝트의 윤곽을 파악하고 사용자가 원하는 오브젝트만을 선별하여 포함시킨 사진을 실시간으로 촬영할 수 있다.According to the present invention, after taking a picture in a digital photographing device having a plurality of cameras, it is possible to grasp the outline of each object without a separate editing process and to take a picture in which only a desired object is selected and included in real time.
또한, 본 발명에 의하면 복수의 후방 카메라로 촬영되는 영상에서 배경 등 사용자가 원하지 않는 부분 영상을 소거하고 전방 카메라로 촬영한 전방 이미지에 합성한 사진을 실시간으로 촬영할 수 있다. In addition, according to the present invention, a part of the image captured by the plurality of rear cameras may be erased in real time.
또는, 사용자가 원하지 않는 부분의 영상을 소거한 상태로 저장하였다가 복수의 카메라 가운데 어느 하나를 이용한 촬영시, 기저장된 영상을 인출하여 실시간으로 합성하는 방식으로 촬영하는 것도 가능하다.Alternatively, the user may store an image of a portion which is not desired by the user in a state of being erased, and then take a pre-stored image by synthesizing the stored image in real time.
이때, 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 크기를 자동으로 조정함으로써 이질감 없이 자연스러운 합성사진의 실시간 촬영이 가능해진다.At this time, by recognizing the face of the subject and automatically adjusts the sizes so that the size of the recognized faces are similar to each other, real-time shooting of natural composite pictures is possible without a sense of heterogeneity.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 구조를 설명하기 위한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 카메라 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 디지털 촬영 장치에서 실시간으로 영상을 합성하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 화각이 동일한 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따라 화각이 서로 다른 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스와 사용자가 원하는 부분 영상을 선택 또는 배제하는 화면을 예시한 것이다.
도 8은 본 발명의 일 실시예에 따라 촬영 영상을 선편집하는 화면을 예시한 것이다.
도 9는 본 발명의 일 실시예에 따라 전방 카메라를 포함하는 복수의 카메라로 사진을 촬영하는 동작을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 전방 카메라로 촬영한 영상과 후방 카메라로 촬영한 영상을 합성하는 화면을 예시한 것이다.1 is a block diagram illustrating a structure of a digital photographing apparatus according to an exemplary embodiment of the present invention.
2 is a view for explaining the camera configuration of the digital photographing apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a method of synthesizing an image in real time in a digital photographing apparatus according to an embodiment of the present invention.
4 is a view for explaining the operation of the digital photographing apparatus according to an embodiment of the present invention.
5 is a diagram for describing an image of photographing subjects by two cameras having the same angle of view according to an exemplary embodiment of the present invention.
FIG. 6 is a diagram illustrating an image of photographing subjects by two cameras having different angles of view according to an exemplary embodiment of the present invention.
7 illustrates a screen for selecting or excluding a user interface and a partial image desired by a user according to an embodiment of the present invention.
8 illustrates a screen for pre-editing a captured image according to an embodiment of the present invention.
9 is a view for explaining an operation of taking a picture with a plurality of cameras including a front camera according to an embodiment of the present invention.
10 illustrates a screen for synthesizing an image photographed by a front camera and an image photographed by a rear camera according to an embodiment of the present invention.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. Terms used herein will be briefly described and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as widely used general terms as possible in consideration of the functions in the present invention, but this may vary according to the intention or precedent of the person skilled in the art, the emergence of new technologies and the like. In addition, in certain cases, there is also a term arbitrarily selected by the applicant, in which case the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the contents throughout the present invention, rather than the names of the simple terms.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...수단", "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When any part of the specification is to "include" any component, this means that it may further include other components, except to exclude other components unless otherwise stated. In addition, the terms "... means", "... unit", "module", etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software, or hardware and software. It can be implemented as a combination of.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.
도 1은 본 발명의 일 실시예에 따른 디지털 촬영 장치의 구조를 설명하기 위한 블록도이다.1 is a block diagram illustrating a structure of a digital photographing apparatus according to an exemplary embodiment of the present invention.
도 1을 참조하면, 디지털 촬영 장치(100)는 카메라(110), 프로세서(120), 디스플레이(130) 및 메모리(140)를 포함할 수 있다.Referring to FIG. 1, the
디지털 촬영 장치(100)는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 카메라(camera), 및 웨어러블 장치(wearable device) 등을 포함할 수 있다. 그러나, 디지털 촬영 장치(100)는 이에 한정되지 않고, 렌즈 및 이미지 센서를 포함하여 피사체를 촬영하여 이미지를 생성할 수 있는 장치라면 어느 것이든 포함할 수 있다The
카메라(110)는 복수의 카메라를 포함할 수 있다. 여기서 카메라는 적어도 하나의 렌즈 및 이미지 센서를 포함하고, 이미지 센서를 통해 이미지 신호를 획득하는 구성 요소를 말한다. 도 1에서는 3개의 카메라가 구비되는 것으로 도시되어 있으나 이에 한정되는 것은 아니며, 2개 또는 그 이상의 카메라가 구비된 디지털 촬영 장치에 본 발명의 영상 촬영 방법이 구현될 수 있다.The
일 실시예에서 카메라(110)는 후방 카메라인 제1 카메라(111) 및 제2 카메라(112)를 포함하며, 다른 실시예에서는 전방 카메라인 제3 카메라(113)를 추가로 포함할 수 있다. In one embodiment, the
일 실시예에서 제1 카메라(111)와 제2 카메라(112)는 화각이 서로 다른 렌즈를 구비한 카메라일 수 있다. 예를 들어, 제1 카메라(111)는 광각 렌즈를 구비하여 주피사체를 포함하는 광각 영상을 획득할 수 있는 광각 카메라이고, 제2 카메라는 망원 렌즈를 구비한 망원 카메라일 수 있다. 다른 실시예에서 후방 카메라인 제1 카메라(111)와 제2 카메라(112)는 화각이 동일한 렌즈를 구비한 카메라일 수 있다. 또는, 제1 카메라(111)는 컬러 이미지를, 제2 카메라(112)는 흑백 이미지를 각각 촬영하는 카메라일 수도 있다.In an embodiment, the
프로세서(120)는 프로세서(120)에 연결된 카메라(110), 디스플레이(130) 및 메모리(140) 등을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서(120)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 프로세서(120)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다.The
프로세서(120)는 제1 카메라(111) 및 제2 카메라(112)를 통해 촬영되는 복수의 영상에 기초하여 영상에 포함되는 오브젝트들(피사체들)의 깊이 정보를 획득하고 이를 이용해 깊이맵(depth map)을 생성할 수 있다.The
또한, 프로세서(120)는 영상의 글로벌 모션 및 로컬 모션에 대한 정보를 획득할 수 있다. 이에 따라, 프로세서(120)는 영상 내에서 주피사체의 움직임 또는 손떨림에 따른 흔들림(blur)을 보정한 후에 깊이맵을 획득할 수 있다.In addition, the
프로세서(120)는 복수의 카메라(110)를 통해 촬영되는 영상들 중 하나를 주영상으로 결정하거나 복수의 영상들을 이용하여 생성한 영상을 주영상으로 결정하고, 상기에서 획득한 깊이맵에 기초하여 주영상을 구성하는 하나 이상의 부분 영상(각 오브젝트, 배경 등)을 구분하여 판별할 수 있다.The
프로세서(120)는 디스플레이(130)를 제어하여 주영상을 라이브뷰(live view) 영상으로 디스플레이할 수 있다. 또한, 프로세서(120)는 주영상을 구성하는 부분 영상들을 구분하고 사용자가 원하는 부분 영상을 선택하거나 삭제할 수 있도록 지원하는 사용자 인터페이스를 주영상 위에 중첩하여 디스플레이할 수 있다.The
메모리(140)는 내장 메모리 또는 외장 메모리를 포함할 수 있다. 메모리(140)는 프로세서(120)의 제어에 따라 주영상을 저장할 수 있는 저장부이며, 상기 사용자 인터페이스를 통해 선(先)편집된 영상을 촬영 버튼 클릭시 주영상으로 저장한다. 또한, 프로세서(120)의 제어에 따라 편집 후의 주영상에 더하여 오리지널 주영상을 레이어로 함께 저장할 수 있다.The
프로세서(120)는 본 발명의 다양한 실시예에 따른 이미지 촬영 방법을 수행하기 위해 메모리(140)에 저장된 전용 애플리케이션을 실행할 수 있으며, 아래 도 2 내지 도 10을 참조하여 전용 애플리케이션이 수행하는 이미지 촬영 방법을 설명하기로 한다.The
도 2는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 카메라 구성을 설명하기 위한 도면이다.2 is a view for explaining the camera configuration of the digital photographing apparatus according to an embodiment of the present invention.
도 2를 참조하면, 디지털 촬영 장치는 후면부에 2개의 후방 카메라(210, 220)를 구비하고 전면부에 1개의 전방 카메라(230)를 구비할 수 있으며, 프로세서가 실행하는 전용 애플리케이션의 제어에 따라 이들 카메라(210, 220, 230) 중 적어도 2개의 카메라가 촬영한 영상을 이용하여 사용자가 원하는 사진을 획득하도록 한다.Referring to FIG. 2, the digital photographing apparatus may include two
디지털 촬영 장치는 복수의 후방 카메라(210, 220)가 촬영한 영상에서 동일 객체의 좌표 차이를 이용하여 깊이(depth)를 판정하고 깊이에 따라 각 오브젝트와 배경을 나눈 다음, 촬영된 영상을 주영상으로 메모리에 저장하기 전에 사용자의 편집 입력을 수신하기 위한 사용자 인터페이스를 디스플레이하고 사용자의 의도에 따라 수정된 사진을 획득하도록 제어할 수 있다. The digital photographing apparatus determines the depth from the images captured by the plurality of
이때 배경이나 일부 오브젝트를 삭제한 이미지나 복수의 영상을 합성한 이미지를 실시간으로 사용자에게 보여준 후에 저장하므로, 별도의 후편집 과정 없이 배경을 없앤 사진이나 합성 사진을 실시간으로 촬영할 수 있다.In this case, the user deletes a background or some object or an image obtained by synthesizing a plurality of images in real time, and then stores the image in real time.
일 실시예에서, 디지털 촬영 장치는 복수의 후방 카메라(210, 220)를 통해 촬영된 영상에서 사용자 선택에 따라 배경이나 일부 오브젝트를 삭제하거나 기저장된 영상으로 대체할 수 있다. 이에 따라, 사용자는 배경이 없는 사진을 촬영하거나 자신이 선택한 오브젝트만 남겨 놓고 나머지 오브젝트는 지운 사진을 촬영할 수 있다. 또는, 사용자가 선택한 오브젝트에 기저장된 다른 배경 이미지와 실시간으로 합성한 사진을 획득할 수 있다.According to an embodiment, the digital photographing apparatus may delete a background or some object from the images photographed by the plurality of
일 실시예에서, 디지털 촬영 장치는 복수의 후방 카메라(210, 220)를 통해 촬영된 영상에서 사용자가 선택한 오브젝트만 포함되도록 선편집한 영상을 전방 카메라(230)를 통해 촬영한 영상과 실시간으로 합성할 수 있다.In one embodiment, the digital photographing apparatus synthesizes a pre-edited image of the image captured by the plurality of
도 3은 본 발명의 일 실시예에 따른 디지털 촬영 장치에서 실시간으로 영상을 촬영하는 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a method of capturing an image in real time in a digital photographing apparatus according to an embodiment of the present invention.
단계 S31에서는 복수의 카메라를 구비하는 디지털 촬영 장치의 사용자로부터 사진 촬영 요청이 수신된다. 사진 촬영 요청은 카메라 준비에 대응하며, 사용자가 카메라 아이콘을 선택하거나 전용 애플리케이션을 통해 사진 촬영을 준비하도록 요청하면, 복수의 후방 카메라로부터 각각 영상이 촬영된다. 복수의 후방 카메라를 통해 촬영되는 복수의 영상 중 하나 또는 복수의 영상을 기초로 생성된 영상이 주영상으로 결정되며 사용자의 입력에 따른 영상 합성을 위한 이하의 단계가 수행될 것이다.In step S31, a picture taking request is received from a user of a digital photographing apparatus including a plurality of cameras. The photographing request corresponds to camera preparation, and when a user selects a camera icon or requests to prepare for photographing through a dedicated application, images are respectively taken from the plurality of rear cameras. An image generated based on one or a plurality of images photographed by the plurality of rear cameras is determined as the main image, and the following steps for image synthesis according to a user's input will be performed.
단계 S32에서는, 복수의 카메라를 통해 촬영되는 복수의 영상을 분석하여 깊이맵을 생성한다. 스테레오 영상 및 히스토그램, 픽셀값, 기타 물리적 방법 등을 이용하여 피사체의 거리 정보를 검출하고 이를 이용하여 깊이맵을 생성할 수 있다. 깊이맵 영상은 두 시점 이상의 카메라를 이용해 획득하는 패시브 뎁쓰 센싱(passive depth sensing)과 스테레오 매칭(stereo matching)을 통해 획득할 수 있다.In step S32, a plurality of images captured by the plurality of cameras are analyzed to generate a depth map. The distance information of the subject may be detected using a stereo image, a histogram, pixel values, and other physical methods, and a depth map may be generated using the same. The depth map image may be obtained through passive depth sensing and stereo matching obtained using two or more cameras.
예컨대, 2개의 카메라로부터 획득되는 스테레오 영상을 이용하는 스테레오 매칭은, 제1 카메라로부터 주피사체를 포함하는 광각 영상을 획득하고 제2 카메라로부터 주피사체를 줌(zoom)한 망원 영상을 획득한다. 이들 광각 영상 및 망원 영상에 기초하여 주피사체의 거리 정보를 검출하고 거리 정보에 기초하여 깊이맵을 생성한다.For example, stereo matching using stereo images obtained from two cameras acquires a wide-angle image including a main subject from a first camera and a telephoto image obtained by zooming a main subject from a second camera. Based on these wide-angle images and telephoto images, distance information of the main subject is detected and a depth map is generated based on the distance information.
도 4는 본 발명의 일 실시예에 따른 디지털 촬영 장치의 동작을 설명하기 위한 도면이다.4 is a view for explaining the operation of the digital photographing apparatus according to an embodiment of the present invention.
도 4를 참조하면, 복수의 후방 카메라(410, 420)는 일정 간격 이격되어 있기 때문에 이들 카메라의 촬영 영상을 이용해 피사체(430)인 오브젝트들의 위치(거리)를 정확히 파악할 수 있게 된다.Referring to FIG. 4, since the plurality of
단계 S33에서는, 깊이맵을 이용하여 전체 영상을 구성하는 하나 이상의 부분 영상을 판별한다. 부분 영상은 배경, 오브젝트(피사체) 등을 포함할 수 있다. 각 오브젝트나 배경의 구분은 기본적으로 깊이맵을 이용하여 수행될 수 있으나, 밝기값, 컬러값, 대비값(contrast), 네거티브 이미지(negative image) 및 흑백 이미지 정보 등을 보조 지표로 사용하여 정밀도를 높일 수 있다. 즉, 피사체와의 거리가 일정 거리 이상 서로 근접해 있어 외곽선 구분이 불분명한 경우, 색상 정보, 밝기 정보 등을 조합ㆍ이용하여 평면인 그래픽을 누끼로 추출할 수 있으며, 이때 발생되는 피사체 각각의 잡음을 제거(손실 보정)함으로써 각 오브젝트별 영상의 외곽 형태를 정확히 구분 지을 수 있게 된다.In step S33, one or more partial images constituting the entire image are determined using the depth map. The partial image may include a background, an object (subject), and the like. Separation of each object or background can be basically performed using the depth map, but precision can be obtained by using brightness, color, contrast, negative image and black and white image as secondary indicators. It can increase. That is, when the distance to the subject is close to each other by a certain distance or more, the distinction of the outline is unclear, and the flat graphic can be extracted by combining and using color information and brightness information, and the noise of each subject generated can be extracted. By eliminating (loss correction), it is possible to accurately distinguish the outline shape of each object image.
도 5는 본 발명의 일 실시예에 따라 화각이 동일한 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.5 is a diagram for describing an image of photographing subjects by two cameras having the same angle of view according to an exemplary embodiment of the present invention.
좌우 이미지에서의 이격 거리 차이 비교를 통해 동일한 부분은 배경으로, 픽셀 차이가 근소한 것은 멀리 있는 오브젝트로, 픽셀 차이가 큰 것은 가까이 있는 오브젝트로 판정할 수 있다. 이때 픽셀 차이가 임계값 이내로 비슷한 것들은 분리 불가능하고 동일한 오브젝트로 판단할 수 있다.Through comparison of the separation distances in the left and right images, the same part may be determined as the background, the smallest pixel difference is a far object, and the large pixel difference is a close object. At this time, those with similar pixel differences within a threshold may be determined as inseparable and identical objects.
도 6은 본 발명의 일 실시예에 따라 화각이 서로 다른 2개의 카메라로 피사체들을 촬영한 영상을 설명하기 위한 도면이다.FIG. 6 is a diagram illustrating an image of photographing subjects by two cameras having different angles of view according to an exemplary embodiment of the present invention.
카메라들의 화각이 다른 경우는 각각의 영상을 비교하여 깊이맵을 생성하기 전에 광각으로 촬영한 영상을 다른 영상의 크기에 맞도록 크롭(crop)할 수 있다. 도 6을 참조하면, (a)의 영상은 광각 카메라를 통해 촬영한 것이므로 (b) 영상 내의 오브젝트와 크기가 동일해지도록 (a) 영상의 일부(600)를 크롭한 후에 크롭한 부분의 영상(600)과 (b) 영상을 비교 분석하여 깊이맵을 생성한다.If the cameras have different angles of view, the images taken at wide angles may be cropped to match the size of the other images before the respective images are compared and the depth map is generated. Referring to FIG. 6, since the image of (a) is captured by a wide-angle camera, (b) the cropped
일 실시예에서, 본 발명의 영상 합성 방법을 수행하는 전용 애플리케이션은 카메라 렌즈의 기본 배열 방향 정보와, 사진 촬영시 세로로 찍었는지 가로로 찍었는지에 대한 정보를 수집한다. 카메라 렌즈는 통상 단말의 좌우로 배열되므로 디폴트 값으로 좌우로 배열되는 걸로 설정하고, 사진 촬영시 중력 센서에 의해 세로로 찍고 있는지 가로로 찍고 있는지에 따라 오브젝트간 이격 픽셀을 가로로 카운트할지, 세로로 카운트할지 결정할 수 있다.In an embodiment, the dedicated application for performing the image synthesizing method collects basic array direction information of the camera lens and information about whether the picture is taken vertically or horizontally when the picture is taken. Since the camera lens is normally arranged left and right of the terminal, it is set to be arranged left and right by default, and whether the object is counted horizontally or vertically by the gravity sensor when taking a picture vertically or horizontally by a gravity sensor. You can decide whether to count.
이와 같은 방법으로, 깊이(depth)에 따라 각 오브젝트의 윤곽을 구분하여 획득할 수 있으며, 배경 부분이 어디인지도 구분하여 획득할 수 있다. 이처럼 영상에서 구분된 각 오브젝트나 배경은 영상의 부분 영상들로서, 사용자에 의해 선택 또는 배제될 수 있다.In this way, the contour of each object can be obtained by dividing the object according to the depth, and the background part can be obtained by distinguishing it. As described above, each object or background separated from the image is a partial image of the image and may be selected or excluded by the user.
도 3의 단계 S34에서는, 디지털 촬영 장치의 화면에 디스플레이된 주영상 위에, 부분 영상들을 구분하고 선택할 수 있는 사용자 인터페이스를 표시한다. 이때 주영상과 그 위에 오버레이된 사용자 인터페이스는 라이브뷰 영상으로 디스플레이될 수 있다.In step S34 of FIG. 3, a user interface for distinguishing and selecting partial images is displayed on the main image displayed on the screen of the digital photographing apparatus. In this case, the main image and the user interface overlaid thereon may be displayed as a live view image.
사용자 인터페이스는 각 부분 영상의 윤곽선을 포함하고 사용자가 원하는 부분 영상을 선택(select) 또는 선택 배제(unselect)하였을 경우 사용자가 터치한 지점에 대응하는 오브젝트 또는 배경 전체가 윤곽선을 기준으로 선택 또는 선택 배제되어 소거되는 모습을 보여줄 것이다.The user interface includes an outline of each partial image and when the user selects or unselects a desired partial image, the entire object or background corresponding to the point touched by the user is selected or excluded based on the outline. Will be erased.
도 3의 단계 S35에서는, 상기 사용자 인터페이스를 통해 사용자로부터 편집 입력을 수신한다. 사용자는 주영상 위에 표시되는 배경과 오브젝트들 가운데 원하는 것을 하나 이상 선택 또는 선택 배제할 수 있으며, 사용자의 입력에 따라 실시간으로 부분 영상의 선택 또는 소거를 반영하여 화면의 이미지를 동적으로 변경한다. 즉, 본 발명에서는 주영상, 깊이맵, 윤곽선 영상, 누끼 영상, 누끼 영상의 합성 영상 등을 라이브뷰 영상으로 디스플레이할 수 있다.In step S35 of FIG. 3, an edit input is received from a user through the user interface. The user may select or exclude one or more of the desired background and objects displayed on the main image, and dynamically change the image on the screen by reflecting the selection or deletion of the partial image in real time according to a user's input. That is, in the present invention, the main image, the depth map, the contour image, the nucleus image, a composite image of the nucleus image, and the like may be displayed as a live view image.
한편, 사용자 인터페이스를 통해 선택된 복수의 부분 영상에서 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 선택된 부분 영상들의 크기를 자동으로 조정하여 디스플레이할 수 있다. 예를 들어, 사용자가 사람의 모습과 레고 인형을 선택했는데 사람의 얼굴 크기와 레고 인형의 얼굴 크기가 다른 경우 레고 인형을 확대하거나 사람의 모습을 축소하여 두 피사체의 비율을 자동으로 맞춰줄 수 있다.Meanwhile, the plurality of partial images selected through the user interface may recognize the face of the subject and automatically adjust and display the selected partial images so that the sizes of the recognized faces are similar to each other. For example, if a user selects a person's figure and a Lego doll, but the person's face size is different from the Lego doll's face size, the Lego doll can be enlarged or the person's figure is automatically scaled to match the two subjects. .
도 7은 본 발명의 일 실시예에 따른 사용자 인터페이스와 사용자가 원하는 부분 영상을 선택 또는 배제하는 화면을 예시한 것이다.7 illustrates a screen for selecting or excluding a user interface and a partial image desired by a user according to an embodiment of the present invention.
도 7을 참조하면, 각 오브젝트의 윤곽선을 표시하여 사용자로 하여금 선택 가능한 부분 영상들(710, 720, 730, 740)을 구분할 수 있도록 하고 사용자의 터치 입력에 따라 원하는 오브젝트나 배경을 선택하거나 소거할 수 있는 사용자 인터페이스가 주영상 위에 표시된다. 이때, 각 오브젝트별로 색상이나 명암, 흐리기(blur) 적용여부를 달리하여 표시할 수도 있다.Referring to FIG. 7, an outline of each object is displayed to allow a user to distinguish selectable
전용 애플리케이션은 소정의 오브젝트 위에서 제1 사용자 입력(예: 710 터치)을 수신하면 해당 오브젝트를 선택하여 최종 주영상에 포함되며, 소정의 오브젝트 위에서 제2 사용자 입력(예: 720 터치)을 수신하면 해당 오브젝트가 최종 주영상에 포함되며 나머지 오브젝트 및 배경은 삭제된다. 이때 사용자의 선택 및 선택 배제가 화면의 영상에 실시간으로 반영되어 선편집 상황을 사용자가 직관적으로 알 수 있도록 할 수 있다.When the dedicated application receives a first user input (for example, 710 touch) on a predetermined object, the corresponding application is selected and included in the final main image, and when a second user input (for example, 720 touch) is received on a predetermined object, the corresponding application is selected. The object is included in the final main image, and the remaining objects and background are deleted. At this time, the user's selection and selection exclusion can be reflected in real time on the screen image so that the user can intuitively know the pre-editing situation.
또한, 사용자 인터페이스는 사용자가 선택 배제한 부분 영상의 위치에 대신 합성할 이미지를 선택할 수 있는 리스트 영역(750)을 포함할 수 있다. 예를 들어, 사용자는 배경(740)을 소거하고 리스트 영역(750)에서 기저장된 이미지를 선택하여 배경(740) 부분에 대신 들어가도록 할 수 있다.In addition, the user interface may include a
도 8은 본 발명의 일 실시예에 따라 촬영 영상을 선편집하는 화면을 예시한 것이다.8 illustrates a screen for pre-editing a captured image according to an embodiment of the present invention.
사용자는 주영상에 오버레이되어 표시되는 사용자 인터페이스를 통해 오브젝트를 선택하고 이를 다른 위치에 이동 배치할 수 있다. 도 8의 (a)의 예에서 사용자가 오브젝트를 드래그앤드롭하는 입력으로 해당 오브젝트를 이동시켰음을 알 수 있다.The user may select an object through the user interface displayed on the main image and move it to another position. In the example of FIG. 8A, it can be seen that the user has moved the corresponding object by input of dragging and dropping the object.
사용자는 도 8의 (b)와 같이 소정의 입력을 통해 오브젝트의 크기를 확대 또는 축소하거나 회전시킬 수 있다.The user may enlarge, reduce or rotate the size of the object through a predetermined input as shown in (b) of FIG. 8.
사용자는 도 8의 (c)와 같이 배경 리스트에서 새로운 배경 이미지를 선택하여 (d)에 도시된 바와 같이 선택된 배경 이미지가 소거된 배경 대신 주영상에 합성되도록 할 수 있다. 즉, 누끼된 부분 영상을 미리 저장되어 있는 영상과 합성하여 사진 파일을 생성하고 저장할 수 있다. The user may select a new background image from the background list as shown in (c) of FIG. 8 so that the selected background image is synthesized with the main image instead of the erased background as shown in (d). That is, the photographed partial image may be synthesized with a previously stored image to generate and store a photo file.
사용자가 배경 이미지 대신 배경색, 그래픽 이미지 또는 패턴을 선택한 경우는 누끼된 부분 영상의 배경에 색을 입히거나, 그래픽 이미지나 패턴이 배경이 되는 합성 사진을 생성하여 저장한다. 또한, 사용자가 선택한 부분 영상의 흐리기(blur) 설정이 있는 경우는 해당 부분 영상의 흐리기가 조정된 합성 사진을 생성하여 저장함으로써 망원렌즈를 사용한 촬영 영상과 같이 아웃포커싱(Out of focus)이 된 사진 이미지를 획득할 수 있게 된다. 이때, 사용자는 선택한 배경 이미지의 흐리기 정도를 설정하거나, 모션 블러(motion blur), 레디얼 블러(radial blur) 등 적용할 흐리기 효과의 종류를 설정하여 원하는 아웃포커싱 효과를 얻을 수 있다. When the user selects a background color, a graphic image, or a pattern instead of a background image, the user colors the background of the partial image, or generates and stores a composite picture in which the graphic image or pattern is the background. In addition, if there is a blur setting of the partial image selected by the user, an out-focused photo such as a captured image using a telephoto lens is generated by generating and storing a composite image in which the blur of the partial image is adjusted. The image can be acquired. In this case, the user may set a blurring degree of the selected background image or set a type of blurring effect to be applied such as a motion blur or a radial blur to obtain a desired outfocusing effect.
도 3의 단계 S36에서는, 사용자의 사진 저장 요청을 수신한다. 사용자가 주영상과 각 부분 영상을 선택 또는 소거할 수 있는 사용자 인터페이스를 라이브뷰 형태로 표시한 화면에서 자신이 원하는 대로 선편집을 마치고 나면, 촬영 버튼을 누를 것이다. 촬영 버튼의 터치 또는 클릭은 사진 저장 요청에 해당한다.In step S36 of FIG. 3, a request for storing a picture of a user is received. After the user has finished editing the line as he or she wants in the Live View format, the user interface for selecting or erasing the main image and each sub-image will be pressed. Touching or clicking the shooting button corresponds to a request to save a picture.
도 3의 단계 S37에서는, 촬영 버튼의 선택에 대한 응답으로 촬영된 사진이 저장된다. 이때 저장되는 사진은 화면에 디스플레이되어 있는 영상으로, 단계 S35에서의 사용자의 편집 입력에 따라 주영상으로부터 배경 및 오브젝트들 중 일부 부분 영상을 삭제한 영상이며, 이 영상을 새로운 주영상으로 생성하여 메모리에 저장한다. 피사체의 크기가 자동 조정된 경우에는 조정 후의 영상이 저장될 것이다. 새로운 주영상은 PNG(Portable Network Graphics), PSD(Photoshop Document) 등의 이미지 파일 형식으로 저장될 수 있다. 또한, 편집되기 전의 오리지널 주영상을 레이어 형식으로 새로운 주영상과 함께 저장할 수 있다.In step S37 of FIG. 3, the photographed picture is stored in response to the selection of the photographing button. At this time, the stored picture is an image displayed on the screen, which is a part of the background image and some partial images of the object are deleted from the main image according to the user's edit input in step S35. Store in If the size of the subject is automatically adjusted, the image after the adjustment will be stored. The new main image may be stored in an image file format such as PNG (Portable Network Graphics) or PSD (Photoshop Document). In addition, the original main image before editing can be stored together with the new main image in a layer format.
이와 같이 본 발명의 일 실시예에 따르면 사진 촬영중 영상을 확인하여 배경을 없애거나 원하지 않는 오브젝트가 삭제된 사진을 실시간으로 촬영하여 저장하는 것이 가능하다.As described above, according to an exemplary embodiment of the present invention, it is possible to check an image while taking a picture, to remove a background, or to store and store a picture in which an unwanted object is deleted in real time.
추가적으로, 사진 촬영을 완료하여 저장한 후에도 배경이나 오브젝트를 선택하도록 할 수 있다. 상기와 같이 사용자에 의해 선택 배제된 부분 영상을 삭제한 사진(누끼 영상)을 저장부에 저장했다가, 추후 사용자의 요청이 있을 때 저장부로부터 독출하여 화면에 디스플레이하고, 사용자의 조작에 따라 복수의 카메라 중 하나로 촬영되는 영상을 화면에 디스플레이중인 누끼 영상의 배경 이미지로 합성한 사진을 획득할 수 있는 것이다.In addition, the background or the object may be selected even after the photographing is completed and saved. As described above, the photograph (Luki image) from which the partial image that has been excluded by the user is deleted is stored in the storage unit, and when there is a request from the user, the photograph is read out from the storage unit and displayed on the screen, and the plurality of images is displayed according to the user's operation. Photographed with one of the cameras of the background image of the nucleus image being displayed on the screen can be obtained.
도 9는 본 발명의 일 실시예에 따라 전방 카메라를 포함하는 복수의 카메라로 사진을 촬영하는 동작을 설명하기 위한 도면이다.9 is a view for explaining an operation of taking a picture with a plurality of cameras including a front camera according to an embodiment of the present invention.
도 9를 참조하면, 사용자(910)가 전용 애플리케이션을 실행하고 디지털 촬영 장치(900)의 후방 카메라들을 켜서 레고 캐릭터 인형 등을 포함하는 피사체들(920)을 보면서 원하는 오브젝트만 선택하여 촬영하고, 전방 카메라를 켜서 자기 모습을 촬영하면, 후방 카메라로 촬영한 이미지와 전방 카메라로 촬영한 사용자의 이미지를 합성할 수 있다. Referring to FIG. 9, the
전용 애플리케이션은 피사체들(920)을 촬영한 영상에서 사용자가 원하는 부분 영상만 선택하고 전방 카메라로 촬영한 자신의 사진을 오버레이한 영상을 화면에 디스플레이하는 사용자 인터페이스를 제공할 것이다. 사용자가 합성되는 이미지를 확인한 후 사진 저장 요청을 하면 합성된 이미지가 주영상으로 생성되어 저장될 것이다. 이에 따라 사용자는 전방 카메라로 촬영한 이미지에 전단계에서 준비한 배경없는 캐릭터 이미지를 합성한 이미지를 완성하여 촬영할 수 있다.The dedicated application will provide a user interface for selecting only a partial image desired by the user from the images of the
도 10은 본 발명의 일 실시예에 따라 전방 카메라로 촬영한 영상과 후방 카메라로 촬영한 영상을 합성하는 화면을 예시한 것이다.10 illustrates a screen for synthesizing an image photographed by a front camera and an image photographed by a rear camera according to an embodiment of the present invention.
도 10을 참조하면, 전용 애플리케션은 사용자가 후방 카메라로 촬영한 영상에서 사용자가 원하는 오브젝트만을 선택한 후에 전방 카메라를 켜서 자신의 사진을 촬영하도록 하면, (a)와 같이 사용자 이미지(1010)와 선택된 오브젝트 이미지(1020)가 함께 표시되는 라이브뷰를 보여준다. 사용자는 (a)의 화면에서 오브젝트(1020)의 크기를 수정하거나 위치를 이동시키는 편집을 할 수 있다.Referring to FIG. 10, when the user selects only a desired object from an image captured by the rear camera, the user turns on the front camera to take a picture of himself, as shown in (a). The live view in which the
도 10의 (b)에서와 같이 오브젝트 이미지(1020)의 크기를 원하는 대로 확대한 후에 촬영 버튼을 터치 또는 클릭하면 사용자 이미지(1010)와 오브젝트 이미지1020)가 함께 있는 사진이 생성되어 메모리에 저장될 것이다. 이때 전용 애플리케이션은 라이브뷰 방식으로 미리보기를 제공하기 때문에 사용자는 자신의 표정이나 모습을 바꾸어서 촬영할 수 있다.As shown in (b) of FIG. 10, when the size of the
일 실시예에서, 사용자가 전방 카메라를 켜서 자기 얼굴을 촬영하면 전방 카메라와 후방 카메라가 촬영한 이미지의 방향이 반대이므로 전용 애플리케이션이 후방 이미지를 좌우 플립해줌으로써 사용자의 니즈에 맞는 최종 주영상을 획득할 수 있다.In one embodiment, when the user turns on the front camera and photographs his face, the direction of the images taken by the front and rear cameras is reversed, so that a dedicated application flips the rear image left and right to obtain a final main image that meets the user's needs. can do.
일 실시예에서, 전용 애플리케이션은 전방 카메라로 촬영한 피사체의 얼굴과 후방 카메라로 촬영한 피사체의 얼굴을 인식하고 양자의 비율을 자동으로 맞춰줄 수 있다. 도 10의 예에서와 같이 사용자가 레고 캐릭터 이미지(1020)의 크기를 자신의 얼굴 크기에 맞게 확대하지 않아도, 전용 애플리케이션이 사용자(1010)와 레고 캐릭터(1020)의 얼굴을 자동으로 인식하고 크기가 유사하도록 레고 캐릭터 이미지(1020)를 확대할 수 있다. 특히 전ㆍ후방 카메라의 렌즈 종류가 다르고 전ㆍ후방의 피사체 거리가 각각 다르기 때문에 얼굴의 크기가 서로 다르게 포착되지만, 전ㆍ후방으로 동시에 촬영되는 인물의 크기와 비례를 자동 조절하여 줌으로써 자연스러운 합성 촬영 이미지를 획득할 수 있게 된다.In one embodiment, the dedicated application may recognize the face of the subject photographed by the front camera and the face of the subject photographed by the rear camera and automatically adjust the ratio of both. As shown in the example of FIG. 10, even if the user does not enlarge the size of the
일 실시예에서, 전용 애플리케이션은 전방 이미지와 후방 이미지에 포함된 인물들의 어깨 위치 또는 코 높이 등을 기준으로 가로 세로 높이를 자동으로 맞춰줄 수 있다. 도 10에 도시된 것과 다르게 전방 카메라로 찍은 사용자(1010)의 얼굴 보다 후방 카메라로 찍은 레고 캐릭터(1020)의 얼굴이 위나 아래에 위치한 경우, 전용 애플리케이션은 레고 캐릭터(1020)의 얼굴이 사용자(1010)의 얼굴 옆에 위치하도록 이동시킬 것이다.In one embodiment, the dedicated application may automatically adjust the horizontal and vertical height based on the shoulder position or nose height of the persons included in the front image and the rear image. If the face of the
이때 전방 카메라와 후방 카메라를 함께 사용하지 않고, 이미 촬영ㆍ저장해 보유하고 있는 배경 없는 오브젝트(레고 캐릭터, 1020)의 누끼 사진 이미지를 디스플레이한 후 전방 카메라나 후방 카메라로 촬영할 경우, 누끼 오브젝트(1020)와 촬영 영상의 합성 이미지를 자연스럽고 즉각적으로 촬영할 수 있게 된다. 예를 들면, 배경이 없는 누끼 이미지의 오브젝트(예, 인물이나 캐릭터, 기물 등)를 디스플레이한 후 전방 카메라나 후방 카메라를 이용하여 오브젝트의 배경 이미지를 실시간 촬영함으로써 새로운 배경 이미지가 합성된 영상을 획득할 수 있게 된다. 즉, 오브젝트의 배경을 바꿔가면서 실시간 촬영을 할 수 있게 되므로 동일한 오브젝트에 각각 다른 배경 이미지가 합성된 이미지 사진을 손쉽게 만들 수 있게 된다. At this time, when using the front camera or the rear camera to display a photographic image of a backgroundless object (Lego character, 1020) that is already taken and stored without using the front camera and rear camera together, the
일 실시예에서, 전용 애플리케이션은 전방 카메라로 촬영한 전방 이미지와 후방 카메라로 촬영한 후방 이미지가 각각 차지할 좌우 면적을 자동으로 조정할 수 있다. 예를 들어, 전방 이미지와 후방 이미지에 포함된 얼굴의 개수를 인식하고 각 이미지가 포함하고 있는 얼굴의 수에 비례하여 가로 방향으로 면적을 차지하도록 자동 조절할 수 있다. In one embodiment, the dedicated application may automatically adjust the left and right areas to be occupied by the front image captured by the front camera and the rear image captured by the rear camera, respectively. For example, the number of faces included in the front image and the rear image may be recognized and automatically adjusted to occupy an area in the horizontal direction in proportion to the number of faces included in each image.
상기의 실시예들은 둘 이상 결합되어 구현될 수도 있다. 예를 들어, 전용 애플리케이션이 전방 이미지에서 1개의 사용자 얼굴을 인식하고 후방 이미지에서 선택된 오브젝트들에 2개의 얼굴이 포함된다고 판단하는 경우, 전방 이미지에 화면 가로 면적의 1/3을 할당하고 후방 이미지에는 화면 가로 면적의 2/3를 할당하는 식으로 양 이미지를 합성하고, 전방 이미지의 얼굴 높이와 후방 이미지의 얼굴 높이가 유사하도록 후방 이미지의 위치를 수정한 결과를 화면에 보여줄 수 있다.The above embodiments may be implemented in combination of two or more. For example, if the dedicated application recognizes one user's face in the front image and determines that the objects selected in the rear image include two faces, it allocates 1/3 of the screen's horizontal area to the front image and The two images may be synthesized by allocating two thirds of the horizontal area of the screen, and the rear image position may be displayed on the screen so that the face height of the front image and the face height of the rear image are similar.
이처럼 상기의 실시예들은 실제의 모습을 있는 그대로 재현하는데 그치는 종래기술에 의한 카메라와는 달리, 사용자가 의도하거나 상상한 이미지와 현재의 실사 이미지가 결합된 새로운 이미지를 실시간으로 획득할 수 있도록 한다.As described above, the embodiments of the present invention allow the user to acquire in real time a new image combining an image intended or imagined by the user with the actual photorealistic image, unlike a camera of the related art, which merely reproduces the actual state as it is.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. Method according to an embodiment of the present invention is implemented in the form of program instructions that can be executed by various computer means may be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
100: 디지털 촬영 장치
110: 카메라 모듈
111: 제1 카메라(후방 카메라)
112: 제2 카메라(후방 카메라)
113: 제3 카메라(전방 카메라)
120: 프로세서
130: 디스플레이
140: 메모리100: digital shooting device
110: camera module
111: first camera (rear camera)
112: second camera (rear camera)
113: third camera (front camera)
120: processor
130: display
140: memory
Claims (8)
사용자로부터 사진 촬영이 요청되면, 복수의 카메라를 통해 촬영되는 복수의 영상을 분석하여 깊이맵을 생성하는 단계와;
상기 깊이맵을 이용하여 영상을 구성하는 하나 이상의 부분 영상을 판별하는 단계와;
상기 부분 영상을 선택할 수 있도록 지원하여 선택된 부분 영상이 삭제된 사진을 저장하는 단계;를 포함하며,
상기 깊이맵을 생성하는 단계에서,
단말의 적어도 2개의 후방 카메라로부터 획득된 영상으로부터 깊이맵을 생성하되,
상기 후방 카메라의 화각이 동일한 경우,
각 영상의 동일 오브젝트의 이격 거리 차이 비교를 통해 픽셀 차이가 설정값 미만인 경우에는 멀리 있는 오브젝트로 판정하며, 픽셀 차이가 설정값 이상인 경우에는 가까이 있는 오브젝트로 판정하고,
상기 후방 카메라의 화각이 다른 경우,
상기 서로 다른 화각을 갖는 카메라를 통해 촬영된 각 영상의 동일 오브젝트의 가로 또는 세로 크기가 동일해지도록 처리하되, 기준이 되는 카메라보다 상대적으로 광각인 카메라를 통해 촬영된 영상을 확대하여 상기 기준이 되는 카메라를 통해 촬영된 동일 오브젝트의 가로 또는 세로 크기와 동일해지도록 처리하며,
상기 기준이 되는 카메라를 통해 촬영된 영상과 상기 확대된 영상의 동일 오브젝트의 좌표 차이를 이용하여 깊이를 판정하는 것을 특징으로 하는 촬영 방법.In the backgroundless image shooting using a camera and a method of taking a composite picture using the same,
Generating a depth map by analyzing a plurality of images photographed by a plurality of cameras when a photograph is requested from a user;
Determining at least one partial image constituting an image using the depth map;
And supporting the selection of the partial image to store a picture from which the selected partial image is deleted.
In generating the depth map,
A depth map is generated from images acquired from at least two rear cameras of the terminal,
When the angle of view of the rear camera is the same,
When the pixel difference is less than the set value, the object is determined to be far away through the comparison of the distance difference of the same object of each image.
If the angle of view of the rear camera is different,
The horizontal and vertical sizes of the same object of each image photographed by the cameras having different angles of view are processed to be the same, but the reference image is enlarged by expanding the image photographed by the camera having a relatively wide angle than the reference camera. To be equal to the horizontal or vertical size of the same object captured by the camera,
And a depth is determined using a coordinate difference between the same object of the image captured by the camera as the reference and the enlarged image.
상기 선택된 부분 영상이 삭제된 사진을 저장하는 단계는,
디지털 촬영 장치의 화면에 디스플레이된 주영상 위에, 상기 하나 이상의 부분 영상을 구분하여 선택할 수 있는 사용자 인터페이스를 라이브뷰 영상으로 디스플레이하는 단계와;
상기 사용자 인터페이스를 통한 사용자의 입력을 수신하는 단계와;
상기 사용자로부터 사진 저장이 요청되면, 상기 사용자 인터페이스를 통한 사용자의 입력에 따라 상기 주영상에서 선택 배제된 부분 영상을 삭제한 사진을 새로운 주영상으로 생성하여 저장부에 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.The method of claim 1,
The storing of the deleted picture of the selected partial image may include:
Displaying a user interface for classifying and selecting the one or more partial images as a live view image on the main image displayed on the screen of the digital photographing apparatus;
Receiving a user input via the user interface;
When the storage of the picture is requested from the user, generating a new main picture stored in the storage unit by deleting a partial image selected and excluded from the main image according to a user's input through the user interface; The shooting method characterized by the above.
상기 저장부에 저장하는 단계는,
상기 선택 배제된 부분 영상을 삭제한 사진과 상기 사용자에 의해 선택된 다른 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.The method of claim 2,
The storing in the storage unit,
And storing a photograph obtained by synthesizing the selected excluded partial image and another photograph selected by the user as a main image.
상기 저장부에 저장하는 단계는,
상기 선택 배제된 부분 영상을 삭제한 사진과 단말의 전방 카메라를 통해 촬영된 영상을 합성한 사진을 주영상으로 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.The method of claim 2,
The storing in the storage unit,
And storing a photograph obtained by deleting the selected partial image and a photograph obtained by synthesizing an image captured by the front camera of the terminal as a main image.
상기 저장부에 저장하는 단계는,
상기 사용자에 의해 선택되지 않은 부분 영상까지 포함하는 오리지널 주영상을 상기 새로운 주영상의 레이어로 함께 저장하는 단계;를 포함하는 것을 특징으로 하는 촬영 방법.The method of claim 2,
The storing in the storage unit,
And storing the original main image including the partial image not selected by the user as a layer of the new main image.
상기 사용자에 의해 선택 배제된 부분 영상을 삭제한 사진을 상기 저장부로부터 독출하여 디스플레이하는 단계와;
상기 복수의 카메라 중 하나로 촬영되는 영상을 상기 디스플레이된 누끼 영상의 배경 이미지로 합성한 사진을 획득하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 방법.The method of claim 2,
Reading and displaying a picture from which the partial image selected and excluded by the user is deleted from the storage unit;
And acquiring a photograph obtained by synthesizing the image photographed by one of the plurality of cameras into a background image of the displayed nucleus image.
상기 사용자 인터페이스를 통해 선택된 복수의 부분 영상에서 피사체의 얼굴을 인식하고 인식된 얼굴의 크기가 서로 유사하도록 상기 선택된 부분 영상들의 크기를 자동으로 조정하는 단계;를 더 포함하는 것을 특징으로 하는 촬영 방법.The method of claim 2,
And recognizing a face of a subject in the plurality of partial images selected through the user interface and automatically adjusting the sizes of the selected partial images so that the sizes of the recognized faces are similar to each other.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190060751A KR102022559B1 (en) | 2019-05-23 | 2019-05-23 | Method and computer program for photographing image without background and taking composite photograph using digital dual-camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190060751A KR102022559B1 (en) | 2019-05-23 | 2019-05-23 | Method and computer program for photographing image without background and taking composite photograph using digital dual-camera |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180108385 Division | 2018-09-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102022559B1 true KR102022559B1 (en) | 2019-09-18 |
Family
ID=68071067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190060751A KR102022559B1 (en) | 2019-05-23 | 2019-05-23 | Method and computer program for photographing image without background and taking composite photograph using digital dual-camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102022559B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210147843A (en) * | 2020-05-29 | 2021-12-07 | 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 | Method and apparatus for displaying an image, electronic device and computer-readable storage medium |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060070919A (en) * | 2004-12-21 | 2006-06-26 | 엘지전자 주식회사 | Panorama image display method for mobile communication terminal with dual camera system |
KR20140142538A (en) * | 2013-06-04 | 2014-12-12 | 삼성전자주식회사 | Apparatas and method for editing of dual image in an electronic device |
KR20160044316A (en) * | 2014-10-15 | 2016-04-25 | 한국과학기술연구원 | Device and method for tracking people based depth information |
-
2019
- 2019-05-23 KR KR1020190060751A patent/KR102022559B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20060070919A (en) * | 2004-12-21 | 2006-06-26 | 엘지전자 주식회사 | Panorama image display method for mobile communication terminal with dual camera system |
KR20140142538A (en) * | 2013-06-04 | 2014-12-12 | 삼성전자주식회사 | Apparatas and method for editing of dual image in an electronic device |
KR20160044316A (en) * | 2014-10-15 | 2016-04-25 | 한국과학기술연구원 | Device and method for tracking people based depth information |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210147843A (en) * | 2020-05-29 | 2021-12-07 | 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 | Method and apparatus for displaying an image, electronic device and computer-readable storage medium |
KR102557592B1 (en) * | 2020-05-29 | 2023-07-20 | 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 | Method and apparatus for displaying an image, electronic device and computer-readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11756223B2 (en) | Depth-aware photo editing | |
CN108764091B (en) | Living body detection method and apparatus, electronic device, and storage medium | |
CN106570110B (en) | Image duplicate removal method and device | |
EP3457683B1 (en) | Dynamic generation of image of a scene based on removal of undesired object present in the scene | |
US9516214B2 (en) | Information processing device and information processing method | |
CN106664376B (en) | Augmented reality device and method | |
CN106034206B (en) | Electronic device and image display method | |
CN105303161A (en) | Method and device for shooting multiple people | |
CN109934931B (en) | Method and device for collecting image and establishing target object recognition model | |
CN103916587A (en) | Photographing device for producing composite image and method using the same | |
KR102407190B1 (en) | Image capture apparatus and method for operating the image capture apparatus | |
CN110321768A (en) | For generating the arrangement of head related transfer function filter | |
CN103369238B (en) | Image creating device and image creating method | |
CN112017137A (en) | Image processing method, image processing device, electronic equipment and computer readable storage medium | |
CN108282622B (en) | Photo shooting method and device | |
CN111290659A (en) | Writing board information recording method and system and writing board | |
CN113810627B (en) | Video processing method, device, mobile terminal and readable storage medium | |
KR102022559B1 (en) | Method and computer program for photographing image without background and taking composite photograph using digital dual-camera | |
KR20210029905A (en) | Method and computer program for remove photo background and taking composite photograph | |
Chang et al. | Panoramic human structure maintenance based on invariant features of video frames | |
WO2018192244A1 (en) | Shooting guidance method for intelligent device | |
US9374525B2 (en) | Shooting apparatus and shooting method | |
CN114071009B (en) | Shooting method and equipment | |
KR20200114170A (en) | Method and computer program for photograph without background and taking composite photograph | |
WO2020107186A1 (en) | Systems and methods for taking telephoto-like images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant | ||
R401 | Registration of restoration |