JP2013062557A - Digital imaging apparatus and 3d imaging method - Google Patents

Digital imaging apparatus and 3d imaging method Download PDF

Info

Publication number
JP2013062557A
JP2013062557A JP2010005469A JP2010005469A JP2013062557A JP 2013062557 A JP2013062557 A JP 2013062557A JP 2010005469 A JP2010005469 A JP 2010005469A JP 2010005469 A JP2010005469 A JP 2010005469A JP 2013062557 A JP2013062557 A JP 2013062557A
Authority
JP
Japan
Prior art keywords
image
image data
viewpoint
subject
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010005469A
Other languages
Japanese (ja)
Inventor
Hiroshi Tasaka
啓 田坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010005469A priority Critical patent/JP2013062557A/en
Priority to PCT/JP2011/000094 priority patent/WO2011086898A1/en
Publication of JP2013062557A publication Critical patent/JP2013062557A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)

Abstract

PROBLEM TO BE SOLVED: To take a desired stereoscopic image without repetitive imaging.SOLUTION: A digital camera takes a stereoscopic image by taking plural still images from different view points, continuously in terms of time. In the case, the digital camera displays on a liquid crystal monitor a predictive image of a still image to be taken second or later. The predictive image in this case means a still image generated on the basis of a first still image among the still images to be taken continuously in terms of time. The digital camera assists imaging by the user, by displaying the predictive image on the liquid crystal monitor.

Description

本発明は、デジタル撮影装置及び、3D撮影方法に関し、特に1台の撮影装置により時差撮影によりステレオ画像を生成するデジタル撮影装置及び、3D撮影方法に関する。   The present invention relates to a digital photographing apparatus and a 3D photographing method, and more particularly to a digital photographing apparatus and a 3D photographing method that generate a stereo image by time difference photographing using a single photographing apparatus.

画像表示技術の向上により、大画面かつ高解像度な高品位ステレオ画像を視聴する環境が整いつつある。同時にステレオ画像のニーズも高まりつつある。そうした中、さまざまなステレオ画像撮影手法が提案されている。   With the improvement of image display technology, an environment for viewing high-quality stereo images with a large screen and high resolution is being prepared. At the same time, the need for stereo images is increasing. Under such circumstances, various stereo image capturing methods have been proposed.

主に、ステレオ画像撮影手法には、2眼式撮影手法と、1眼式撮影手法と、がある。   Mainly, stereo image photographing methods include a twin-lens photographing method and a single-lens photographing method.

2眼式撮影手法では、カメラレンズを2つ搭載するカメラで互いに異なる視点の画像データを撮影することでステレオ画像が撮影可能である。しかしながら、装置が大掛かりとなり、一般ユーザが利用するには不向きな側面もある。   In the two-lens photographing method, a stereo image can be photographed by photographing image data of different viewpoints with a camera equipped with two camera lenses. However, the apparatus becomes large and there are aspects that are not suitable for use by general users.

1眼式撮影手法は、従来どおりカメラレンズを1つ備えるカメラで互いに異なる視点の画像データを撮影する方式である。この方式では、異なる視点の画像データを撮影するために、カメラ本体を略水平方向に移動させることが必要となる。   The single-lens photographing method is a method of photographing image data of different viewpoints with a camera having one camera lens as in the past. In this method, it is necessary to move the camera body in a substantially horizontal direction in order to capture image data from different viewpoints.

1眼式撮影手法として、例えば特許文献1に記載の撮影方法がある。   As a monocular imaging method, for example, there is an imaging method described in Patent Document 1.

特開2000−228778号公報JP 2000-228778 A

しかしながら、特許文献1に開示されている撮影方法は、カメラを水平移動させるなかで連続撮影を行い、最も適切な2枚をステレオ画像として抽出する方式である。そのため、ステレオ画像を構成する画像データを使用者が選択する際の自由度が低いばかりか、少なくとも適切な2枚が撮影されていなければならない。また、使用者のカメラの動かすスピード若しくは、動かす方向が原因で、ぼけた画像データや、垂直方向にずれの大きい画像データが撮影されることがある。   However, the photographing method disclosed in Patent Document 1 is a method of performing continuous photographing while horizontally moving the camera and extracting the most appropriate two images as stereo images. Therefore, the degree of freedom when the user selects image data constituting a stereo image is low, and at least two appropriate images must be taken. Further, blurred image data or image data with a large deviation in the vertical direction may be captured due to the speed or direction in which the user moves the camera.

上記課題を解決するために、本発明は被写体を撮像し所定規格を有する記録画像データを生成するデジタル撮像装置であって、被写体を撮像し被写体像を形成する光学系と、前記光学系で形成される被写体像を基に、画像データを生成する撮像部と、前記画像データを画像処理することで記録画像データを生成する画像処理部と、前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、前記記録画像データを視聴する際の視聴環境条件と、被写体を撮像する際の画像サイズを格納するメモリと、第1視点において撮像することで第1視点画像を取得し、その後、第2視点において撮像することで第2視点画像を取得する3D撮像モードを備える制御部と、を備え、前記制御部は、前記光学系を制御し、前記第1視点における第1被写体像を形成させ、前記撮像部を制御し、前記第1被写体像を基に、第1画像データを生成させ、前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、前記表示部に、リアルタイムに撮像されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させるよう制御するデジタル撮像装置である。   In order to solve the above-described problems, the present invention is a digital imaging device that images a subject and generates recorded image data having a predetermined standard, and includes an optical system that images a subject and forms a subject image, and the optical system. An image capturing unit that generates image data based on a subject image that is generated, an image processing unit that generates recorded image data by performing image processing on the image data, and the image data or the image data A display unit that displays the recorded image data generated by processing in real time, a viewing environment condition when viewing the recorded image data, a memory that stores an image size when the subject is imaged, and a first viewpoint A control unit having a 3D imaging mode in which a first viewpoint image is acquired by imaging at a second viewpoint, and then a second viewpoint image is acquired by imaging at a second viewpoint. A control unit configured to control the optical system to form a first subject image at the first viewpoint, control the imaging unit, generate first image data based on the first subject image, and A processing unit is controlled to perform image processing on the first image data to generate a first viewpoint image, and based on the viewing environment condition, the image size, and the first image data or the first viewpoint image. , Generating a predicted image of the second viewpoint image, the image data obtained by being captured in real time on the display unit, or recorded image data obtained by processing the image data in the image processing unit, It is a digital imaging device that controls to display a predicted image simultaneously.

以上のように、本発明によれば、第1視点画像を撮影した後、第2視点画像の予測画像を生成することが出来る。さらに、予測画像を表示部に表示することで、ユーザにどの程度カメラを移動させれば、適切なステレオ画像が得られるのかを提示することが出来る。これにより、ユーザは繰り返し撮影することなく、所望のステレオ画像を撮影することが可能となる効果を奏する。   As described above, according to the present invention, after the first viewpoint image is captured, a predicted image of the second viewpoint image can be generated. Further, by displaying the predicted image on the display unit, it is possible to present to the user how much the camera is moved to obtain an appropriate stereo image. Thereby, the user can capture a desired stereo image without repeatedly capturing images.

デジタルカメラ100の構成を示すブロック図The block diagram which shows the structure of the digital camera 100 3D撮影モードにおける予測画像の作成動作を示すフローチャートFlowchart showing predicted image creation operation in 3D shooting mode デジタルカメラ100を用いて撮影する際の撮影環境を示す図The figure which shows the imaging | photography environment at the time of image | photographing using the digital camera 100. デジタルカメラ100で撮影した第1視点画像と、第2視点画像とを視聴する際の視聴環境を示す図The figure which shows the viewing environment at the time of viewing and listening to the 1st viewpoint image image | photographed with the digital camera 100, and a 2nd viewpoint image. デジタルカメラ100の予測画像を生成する際の動作を示すフローチャートThe flowchart which shows the operation | movement at the time of producing | generating the estimated image of the digital camera 100. 第1視点画像全体をシフトして予測画像を生成する動作を説明する図The figure explaining the operation | movement which shifts the whole 1st viewpoint image and produces | generates an estimated image. 第1視点画像の部分領域をシフトして予測画像を生成する動作を説明する図The figure explaining the operation | movement which shifts the partial area | region of a 1st viewpoint image, and produces | generates an estimated image. 第2視点画像を撮影する際の動作フローチャートOperation flowchart when photographing second viewpoint image

本実施の形態におけるデジタル撮影装置は、被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置であって、被写体を撮影し被写体像を形成する光学系と、前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、前記画像データを画像処理することで記録画像データを生成する画像処理部と、前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、前記制御部は、前記光学系を制御し、前記第1視点における第1被写体像を形成させ、前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させるよう制御する特徴を備える。   The digital photographing apparatus according to the present embodiment is a digital photographing apparatus that photographs a subject and generates recorded image data having a predetermined standard. The digital photographing device includes an optical system that photographs a subject and forms a subject image, and the optical system. An image capturing unit that generates image data based on a subject image, an image processing unit that generates recorded image data by performing image processing on the image data, and the image data or the image data in the image processing unit. In a first viewpoint, a display unit that displays recorded image data generated by processing in real time, a viewing environment condition when viewing the recorded image data, a memory that stores an image size when shooting a subject, and the first viewpoint A control unit having a 3D shooting mode for acquiring a first viewpoint image by shooting and then acquiring a second viewpoint image by shooting at the second viewpoint. The control unit controls the optical system to form a first subject image at the first viewpoint, controls the photographing unit, and generates first image data based on the first subject image; The image processing unit is controlled to perform image processing on the first image data to generate a first viewpoint image, and the viewing environment condition, the image size, and the first image data or the first viewpoint image. Based on this, the predicted image of the second viewpoint image is generated, and the display unit captures and acquires image data acquired in real time, or recorded image data obtained by processing the image data in the image processing unit The prediction image is controlled to be displayed simultaneously.

さらに、前記制御部は、前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、算出した視差量分、前記第1画像データ若しくは前記第1視点画像全体をシフトして予測画像を生成する構成にしても構わない。   Further, the control unit calculates a parallax amount of the subject at the time of shooting from the viewing environment condition and the image size, and shifts the first image data or the entire first viewpoint image by the calculated parallax amount. Thus, the prediction image may be generated.

さらに、前記制御部は、前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、算出した視差量分、前記第1画像データ若しくは前記第1視点画像のうち一部の領域をシフトして予測画像を生成する構成にしても構わない。   Further, the control unit calculates a parallax amount of the subject at the time of shooting from the viewing environment condition and the image size, and selects one of the first image data or the first viewpoint image by the calculated parallax amount. It may be configured to generate a predicted image by shifting the area of the part.

さらに、前記一部の領域は、前記光学系においてフォーカスされたフォーカス位置を少なくとも含む領域であることを特徴とする構成にしても構わない。   Furthermore, the partial area may be an area including at least a focus position focused in the optical system.

また、前記制御部は、前記視差量分、前記第1画像データ若しくは前記第1視点画像をシフトした結果、データのない領域に対して、任意のデータを設定することを特徴とする構成にしても構わない。   In addition, the control unit may set arbitrary data for an area without data as a result of shifting the first image data or the first viewpoint image by the amount of parallax. It doesn't matter.

また、前記制御部はさらにリアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、重なったと判定した時点での画像データを前記画像処理部で処理させ第2視点画像を生成させ、若しくは、当該記録画像データを第2視点画像とするよう制御する構成にしても構わない。   Further, the control unit determines that the image data acquired by being captured in real time or the recorded image data obtained by processing the image data in the image processing unit overlaps the predicted image. In this case, the image data at the time when it is determined that the images overlap each other may be processed by the image processing unit to generate the second viewpoint image, or the recording image data may be controlled to be the second viewpoint image.

前記制御部はさらに、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、前記表示部にアラートを表示するよう制御する構成にしても構わない。   When the control unit further determines that the image data acquired by capturing in real time or the recorded image data obtained by processing the image data in the image processing unit overlaps the predicted image The display unit may be controlled to display an alert.

また、被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置における3D撮影方法であって、前記デジタル撮影装置は、被写体を撮影し被写体像を形成する光学系と、前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、前記画像データを画像処理することで記録画像データを生成する画像処理部と、前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、前記3D撮影方法は、前記制御部を介して前記光学系を制御し、前記第1視点における第1被写体像を形成させ、前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させる3D撮影方法であっても構わない。   Also, a 3D imaging method in a digital imaging device that captures a subject and generates recorded image data having a predetermined standard, the digital imaging device includes an optical system that captures a subject and forms a subject image, and the optical system. An image capturing unit that generates image data based on a formed subject image, an image processing unit that generates recorded image data by performing image processing on the image data, and the image data or the image data A display unit that displays recorded image data generated by processing in real time, a viewing environment condition when viewing the recorded image data, a memory that stores an image size when shooting a subject, and a first Control provided with a 3D shooting mode in which the first viewpoint image is acquired by shooting at the viewpoint, and then the second viewpoint image is acquired by shooting at the second viewpoint. The 3D imaging method controls the optical system via the controller, forms a first subject image at the first viewpoint, controls the imaging unit, and controls the first subject image. Based on this, the first image data is generated, the image processing unit is controlled, the first image data is subjected to image processing to generate a first viewpoint image, the viewing environment condition, the image size, and the first Based on the image data or the first viewpoint image, a predicted image of the second viewpoint image is generated, and the display unit captures the image data acquired in real time or the image data as the image processing. It may be a 3D imaging method that simultaneously displays the recorded image data obtained by processing in the unit and the predicted image.

〔1.実施の形態1〕
以下、本発明であるデジタル撮影装置をデジタルカメラに適用した場合の実施の形態1について図面を用いて説明する。
[1. Embodiment 1]
Hereinafter, a first embodiment in which a digital photographing apparatus according to the present invention is applied to a digital camera will be described with reference to the drawings.

〔1−1.概要〕
本実施の形態にかかるデジタルカメラ100は、3D再生を行う際のステレオ画像信号を撮影することができる。デジタルカメラ100は、ステレオ画像を撮影する際、時間的に連続して、異なる視点における複数枚の静止画を撮影する。その際、デジタルカメラ100は、少なくとも2回目以降に撮影する静止画の予測画像を液晶モニタ270に表示する。ここで、予測画像とは、時間的に連続して撮影する静止画のうち、1枚目の静止画を基準に生成される静止画である。デジタルカメラ100は、予測画像を液晶モニタ270に表示することにより、使用者による撮影の補助をする。
[1-1. Overview〕
The digital camera 100 according to the present embodiment can capture a stereo image signal when performing 3D playback. When the digital camera 100 captures a stereo image, the digital camera 100 continuously captures a plurality of still images from different viewpoints. At that time, the digital camera 100 displays on the liquid crystal monitor 270 a predicted image of a still image to be taken at least for the second time or later. Here, the predicted image is a still image generated on the basis of the first still image among the still images taken continuously in time. The digital camera 100 assists the user in photographing by displaying the predicted image on the liquid crystal monitor 270.

本実施の形態にかかるデジタルカメラ100は、上記予測画像を必要なときにだけ生成する。   The digital camera 100 according to the present embodiment generates the predicted image only when necessary.

以下、説明の便宜上、ステレオ画像を構成する画像のうち、第1視点で撮影された画像を第1視点画像と称す。さらに、上記第1視点とは異なる第2視点で撮影された画像を第2視点画像と称す。   Hereinafter, for convenience of explanation, among images constituting a stereo image, an image taken from the first viewpoint is referred to as a first viewpoint image. Furthermore, an image taken at a second viewpoint different from the first viewpoint is referred to as a second viewpoint image.

[1−2.構成]
[1−2−1.電気的構成〕
本実施の形態にかかるデジタルカメラ100の電気的構成について、図1を用いて説明する。図1は、デジタルカメラ100の構成を示すブロック図である。デジタルカメラ100は、光学系110、ズームモータ120、OISアクチュエータ130、フォーカスモータ140、CCDイメージセンサ150、画像処理部160、メモリ200、コントローラ210、ジャイロセンサ220、カードスロット230、メモリカード240、操作部材250、ズームレバー260、液晶モニタ270、内部メモリ280、撮影モード設定ボタン290を備える構成となる。
[1-2. Constitution]
[1-2-1. Electrical configuration)
The electrical configuration of the digital camera 100 according to this embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of the digital camera 100. The digital camera 100 includes an optical system 110, a zoom motor 120, an OIS actuator 130, a focus motor 140, a CCD image sensor 150, an image processing unit 160, a memory 200, a controller 210, a gyro sensor 220, a card slot 230, a memory card 240, and an operation. The configuration includes a member 250, a zoom lever 260, a liquid crystal monitor 270, an internal memory 280, and a shooting mode setting button 290.

光学系110は、ズームレンズ111、OIS112、フォーカスレンズ113を含む。   The optical system 110 includes a zoom lens 111, an OIS 112, and a focus lens 113.

ズームレンズ111は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。ズームレンズ111は、ズームモータ120によって制御される。   The zoom lens 111 can enlarge or reduce the subject image by moving along the optical axis of the optical system. The zoom lens 111 is controlled by a zoom motor 120.

OIS112は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。OIS112は、デジタルカメラ100のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、OIS112内において最大Lだけ中心から移動することが出来る。OIS112は、OISアクチュエータ130によって制御される。   The OIS 112 has a correction lens that can move in a plane perpendicular to the optical axis. The OIS 112 reduces the blur of the subject image by driving the correction lens in a direction that cancels out the blur of the digital camera 100. The correction lens can move from the center by a maximum L within the OIS 112. The OIS 112 is controlled by the OIS actuator 130.

フォーカスレンズ113は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ113は、フォーカスモータ140によって制御される。   The focus lens 113 adjusts the focus of the subject image by moving along the optical axis of the optical system. The focus lens 113 is controlled by the focus motor 140.

ズームモータ120は、ズームレンズ111を駆動制御する。ズームモータ120は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ120は、カム機構やボールネジなどの機構を介してズームレンズ111を駆動するようにしてもよい。   The zoom motor 120 controls driving of the zoom lens 111. The zoom motor 120 may be realized by a pulse motor, a DC motor, a linear motor, a servo motor, or the like. The zoom motor 120 may drive the zoom lens 111 via a mechanism such as a cam mechanism or a ball screw.

OISアクチュエータ130は、OIS112内の補正レンズを光軸と垂直な面内で駆動制御する。OISアクチュエータ130は、平面コイルや超音波モータなどで実現できる。   The OIS actuator 130 drives and controls the correction lens in the OIS 112 in a plane perpendicular to the optical axis. The OIS actuator 130 can be realized by a planar coil or an ultrasonic motor.

フォーカスモータ140は、フォーカスレンズ113を駆動制御する。フォーカスモータ140は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。フォーカスモータ140は、カム機構やボールネジなどの機構を介してフォーカスレンズ113を駆動するようにしてもよい。   The focus motor 140 drives and controls the focus lens 113. The focus motor 140 may be realized by a pulse motor, a DC motor, a linear motor, a servo motor, or the like. The focus motor 140 may drive the focus lens 113 via a mechanism such as a cam mechanism or a ball screw.

CCDイメージセンサ150は、光学系110で形成された被写体像を撮影して、画像データを生成する。CCDイメージセンサ150は、露光、転送、電子シャッタなどの各種動作を行う。   The CCD image sensor 150 captures a subject image formed by the optical system 110 and generates image data. The CCD image sensor 150 performs various operations such as exposure, transfer, and electronic shutter.

画像処理部160は、CCDイメージセンサ150で生成された画像データに対して各種の処理を施す。画像処理部160は、CCDイメージセンサ150で生成された画像データに対して処理を施し、液晶モニタ270に表示するための画像データ(以下、レビュー画像と称す)を生成したり、メモリカード240に再格納するための画像データを生成したりする。例えば、画像処理部160は、CCDイメージセンサ150で生成された画像データに対してガンマ補正やホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部160は、CCDイメージセンサ150で生成された画像データに対して、JPEG規格に準拠した圧縮形式等により画像データを圧縮する。画像処理部160は、DSPやマイコンなどで実現可能である。なお、レビュー画像の解像度は、液晶モニタ270の画面解像度に設定しても構わないし、JPEG規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。   The image processing unit 160 performs various processes on the image data generated by the CCD image sensor 150. The image processing unit 160 processes the image data generated by the CCD image sensor 150 to generate image data (hereinafter referred to as a review image) to be displayed on the liquid crystal monitor 270, or to the memory card 240. Or generating image data for re-storage. For example, the image processing unit 160 performs various processes such as gamma correction, white balance correction, and flaw correction on the image data generated by the CCD image sensor 150. In addition, the image processing unit 160 compresses the image data with respect to the image data generated by the CCD image sensor 150 in a compression format or the like conforming to the JPEG standard. The image processing unit 160 can be realized by a DSP, a microcomputer, or the like. The resolution of the review image may be set to the screen resolution of the liquid crystal monitor 270, or may be set to the resolution of image data that is compressed and formed by a compression format or the like conforming to the JPEG standard.

メモリ200は、画像処理部160及びコントローラ210のワークメモリとして機能する。メモリ200は、例えば、画像処理部160で処理された画像データ若しくは、画像処理部160で処理される前のCCDイメージセンサ150から入力される画像データを一時的に蓄積する。また、メモリ200は、撮影時における光学系110及び、CCDイメージセンサ150の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ISO感度、シャッタースピード、EV値、F値等を示す。メモリ200は、例えば、DRAM、強誘電体メモリなどで実現できる。   The memory 200 functions as a work memory for the image processing unit 160 and the controller 210. For example, the memory 200 temporarily stores image data processed by the image processing unit 160 or image data input from the CCD image sensor 150 before being processed by the image processing unit 160. In addition, the memory 200 temporarily stores shooting conditions of the optical system 110 and the CCD image sensor 150 at the time of shooting. The shooting conditions indicate subject distance, field angle information, ISO sensitivity, shutter speed, EV value, F value, and the like. The memory 200 can be realized by, for example, a DRAM or a ferroelectric memory.

コントローラ210は、全体を制御する制御手段である。コントローラ210は、半導体素子などで実現可能である。コントローラ210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ210は、マイコンなどで実現できる。   The controller 210 is a control means for controlling the whole. The controller 210 can be realized by a semiconductor element or the like. The controller 210 may be configured only by hardware, or may be realized by combining hardware and software. The controller 210 can be realized by a microcomputer or the like.

ジャイロセンサ220は、圧電素子等の振動材等で構成される。ジャイロセンサ220は、圧電素子等の振動材を一定周波数で振動させコリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサ220から角速度情報を得、この揺れを相殺する方向にOIS内の補正レンズを駆動させることにより、使用者によりデジタルカメラ100に与えられる手振れは補正される。なお、ジャイロセンサ220は、少なくともピッチ角の角速度情報を計測可能なデバイスであればよい。また、ジャイロセンサ220がロール角の角速度情報を計測可能な場合、デジタルカメラ100の略水平方向に移動した際の回転について考慮することが可能となる。   The gyro sensor 220 is composed of a vibration material such as a piezoelectric element. The gyro sensor 220 vibrates a vibration material such as a piezoelectric element at a constant frequency, converts a force generated by the Coriolis force into a voltage, and obtains angular velocity information. By obtaining angular velocity information from the gyro sensor 220 and driving the correction lens in the OIS in a direction that cancels the shaking, the camera shake given to the digital camera 100 by the user is corrected. The gyro sensor 220 may be any device that can measure at least the angular velocity information of the pitch angle. Further, when the gyro sensor 220 can measure the angular velocity information of the roll angle, it is possible to consider the rotation when the digital camera 100 moves in a substantially horizontal direction.

カードスロット230は、メモリカード240を着脱可能である。カードスロット230は、機械的及び電気的にメモリカード240と接続可能である。   The card slot 230 is detachable from the memory card 240. The card slot 230 can be mechanically and electrically connected to the memory card 240.

メモリカード240は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。   The memory card 240 includes a flash memory, a ferroelectric memory, and the like, and can store data.

操作部材250は、使用者から画像の撮影指示を受け付ける部材である。操作部材250は、使用者から少なくとも撮影した静止画を所定の表示デバイス、例えば液晶テレビ、プラズマテレビ等で視聴する際の視聴距離、ディスプレイサイズ、被写体の目標視差量等の視聴環境条件と、CCDイメージセンサ150で撮影する画像データの画像サイズと、を受け付ける。なお、視聴距離を表示デバイスのディスプレイサイズから設定しても構わない。ディスプレイサイズを基に視聴距離を設定する場合、例えば、ディスプレイサイズのうち高さの約3倍の距離を視聴距離として設定することになる。ディスプレイサイズから視聴距離を設定する方法に関しては、上記の方法に限定されるものではなく、一般的な他の方法を用いても構わない。   The operation member 250 is a member that receives an image capturing instruction from the user. The operation member 250 includes viewing environment conditions such as a viewing distance, a display size, and a target parallax amount of a subject when a still image taken by a user is viewed on a predetermined display device such as a liquid crystal television or a plasma television, and a CCD. The image size of image data captured by the image sensor 150 is received. Note that the viewing distance may be set from the display size of the display device. When setting the viewing distance based on the display size, for example, a distance of about three times the height of the display size is set as the viewing distance. The method for setting the viewing distance from the display size is not limited to the above method, and other general methods may be used.

また、操作部材250は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、コントローラ210を介してAF制御及び、AE制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。   The operation member 250 includes a release button. The release button receives a user's pressing operation. When the release button is pressed halfway, AF control and AE control are started via the controller 210. When the release button is fully pressed, the subject is photographed.

ズームレバー260は、使用者からズーム倍率の変更指示を受け付ける部材である。   The zoom lever 260 is a member that receives a zoom magnification change instruction from the user.

液晶モニタ270は、CCDイメージセンサ150で生成した画像データが示す画像や、メモリカード240から読み出した画像データが示す画像を表示可能である。また、液晶モニタ270は、デジタルカメラ100の各種の設定情報を表示可能である。例えば、液晶モニタ270は、撮影時における撮影条件である、EV値、F値、シャッタースピード、ISO感度等を表示可能である。   The liquid crystal monitor 270 can display an image indicated by image data generated by the CCD image sensor 150 or an image indicated by image data read from the memory card 240. The liquid crystal monitor 270 can display various setting information of the digital camera 100. For example, the liquid crystal monitor 270 can display EV values, F values, shutter speeds, ISO sensitivity, and the like, which are shooting conditions at the time of shooting.

内部メモリ280は、フラッシュメモリや強誘電低メモリなどで構成される。内部メモリ280は、操作部材250で受け付けた視聴環境条件及び、画像サイズを格納する。また、内部メモリ280は、デジタルカメラ100全体を制御するための制御プログラム等を格納する。   The internal memory 280 is configured by a flash memory, a ferroelectric low memory, or the like. The internal memory 280 stores the viewing environment conditions received by the operation member 250 and the image size. The internal memory 280 stores a control program for controlling the entire digital camera 100 and the like.

撮影モード設定ボタン290は、デジタルカメラ100で撮影する際の撮影モードを設定するボタンである。「撮影モード」とは、ユーザが想定する撮影シーンを示すものであり、例えば、(1)人物モード、(2)子供モード、(3)ペットモード、(4)マクロモード、(5)風景モード、(6)3D撮影モードなどがある。デジタルカメラ100は、この撮影モードを基に、適切な撮影パラメータを設定して撮影を行う。なお、デジタルカメラ100が自動設定を行うカメラ自動設定モードを含めるようにしてもよい。   The shooting mode setting button 290 is a button for setting a shooting mode when shooting with the digital camera 100. The “shooting mode” indicates a shooting scene assumed by the user. For example, (1) portrait mode, (2) child mode, (3) pet mode, (4) macro mode, (5) landscape mode And (6) 3D shooting mode. The digital camera 100 performs shooting by setting appropriate shooting parameters based on this shooting mode. Note that an automatic camera setting mode in which the digital camera 100 performs automatic setting may be included.

[1−2−2.内部メモリ280に格納される視聴環境条件及び、画像サイズ]
以下、内部メモリ280に格納される視聴距離、ディスプレイサイズ、目標視差量である視聴環境条件及び、画像サイズについて図面を参照しながら説明する。
[1-2-2. Viewing environment conditions and image size stored in internal memory 280]
Hereinafter, viewing distances, display sizes, viewing environment conditions that are target parallax amounts, and image sizes stored in the internal memory 280 will be described with reference to the drawings.

ディスプレイサイズは、デジタルカメラ100で撮影したJPEG画像データを表示する表示デバイスの垂直及び、水平方向のサイズを示す。以下、説明の便宜上、ディスプレイサイズのうち、垂直方向のディスプレイサイズをh1、水平方向のディスプレイサイズをwとする。 The display size indicates the vertical and horizontal sizes of a display device that displays JPEG image data captured by the digital camera 100. For convenience of explanation, among the display size, the vertical display size h1, the horizontal display size and w 1.

視聴距離Lは、ステレオ画像を表示する表示デバイスと、視聴者と、の距離を示す。視聴距離Lは、使用者が撮影する際に設定しても構わない。また、視聴距離Lは、デジタルカメラ100の出荷時にメーカー側で、標準値を決められる値であっても構わない。また、視聴距離Lが、ディスプレイサイズから設定される場合、h1の約3倍つまり、3*h1と設定される構成にしても構わない。   The viewing distance L indicates the distance between the display device that displays the stereo image and the viewer. The viewing distance L may be set when the user takes a picture. Also, the viewing distance L may be a value that allows the manufacturer to determine a standard value when the digital camera 100 is shipped. Further, when the viewing distance L is set from the display size, it may be configured to be set to about 3 times h1, that is, 3 * h1.

目標視差量dは、使用者が所望するデジタルカメラ100で撮影する被写体における視差量を示す。目標視差量dは、使用者が撮影する際に設定する構成にしても構わない。また、目標視差量dは、所定の基準に応じてデジタルカメラ100で自動的に設定される値であっても構わない。例えば、使用者が安全性を重視する場合、目標視差量dは、撮影したステレオ画像を視聴した際に、視聴者が当該ステレオ画像を立体として認識可能な視差量若しくは、当該ステレオ画像を視聴した際に視聴者の身体の安全が保障される視差量となる。 Target parallax amount d 1 indicates the amount of parallax on a subject to be photographed by a digital camera 100 that the user desires. The target parallax amount d 1 may be set when the user takes a picture. Further, the target parallax amount d 1 may be a value automatically set by the digital camera 100 in accordance with a predetermined reference. For example, when the user places importance on safety, the target parallax amount d 1 is the amount of parallax that allows the viewer to recognize the stereo image as a three-dimensional image when viewing the captured stereo image, or view the stereo image. The amount of parallax that ensures the safety of the viewer's body.

なお、撮影環境条件としては少なくともディスプレイサイズ及び、目標視差量dを備える構成となる。 At least a display size and a configuration comprising a target parallax amount d 1 is as imaging environment conditions.

画像サイズは、画像処理部160においてJPEG規格に準拠した圧縮形式等で圧縮された画像データのサイズを示す。画像サイズは、例えば、1920×1080画素等、画像データの垂直及び、水平方向の画素数で標記される情報であっても構わないし、5M、1M等、画像データが有する総画素数で標記される情報であっても構わない。本実施の形態における画像サイズは、少なくとも水平方向の画像サイズwに関する情報を有するものとする。 The image size indicates the size of image data compressed by the image processing unit 160 in a compression format or the like conforming to the JPEG standard. The image size may be, for example, information indicated by the number of vertical and horizontal pixels of the image data, such as 1920 × 1080 pixels, or may be indicated by the total number of pixels of the image data, such as 5M, 1M, etc. It may be information. Image size in this embodiment is assumed to have an information about the image size w 2 of at least the horizontal direction.

[1−3.3D撮影モードにおける予測画像の表示動作]
次に、本実施の形態におけるデジタルカメラ100の3D撮影モードにおける予測画像の表示動作について、図面を参照しながら説明する。
[1-3.3D Prediction Image Display Operation in 3D Shooting Mode]
Next, a predicted image display operation in the 3D shooting mode of the digital camera 100 according to the present embodiment will be described with reference to the drawings.

図2は、3D撮影モードにおける予測画像の作成動作を示すフローである。   FIG. 2 is a flowchart showing the operation of creating a predicted image in the 3D shooting mode.

(S101)使用者によって撮影モード設定ボタン290が3D撮影モードに設定されると、デジタルカメラ100は3D撮影モードに移行する。   (S101) When the shooting mode setting button 290 is set to the 3D shooting mode by the user, the digital camera 100 shifts to the 3D shooting mode.

(S102)3D撮影モードに設定されると、コントローラ210は、操作部材250におけるレリーズボタンが全押しされるまで待機する。   (S102) When the 3D shooting mode is set, the controller 210 waits until the release button on the operation member 250 is fully pressed.

(S103)レリーズボタンが全押しされると、コントローラ210は、光学系110及び、CCDイメージセンサ150を介して撮影動作を行い、画像データを形成する。   (S103) When the release button is fully pressed, the controller 210 performs a photographing operation via the optical system 110 and the CCD image sensor 150 to form image data.

(S104)画像データが形成されると、画像処理部160は、形成された画像データに対して、圧縮処理などの画像処理を行い、JPEG画像データ(以下、第1視点画像と称す)を生成する。   (S104) When image data is formed, the image processing unit 160 performs image processing such as compression processing on the formed image data to generate JPEG image data (hereinafter referred to as a first viewpoint image). To do.

(S105)第1視点画像が生成されると、コントローラ210は、生成した第1視点画像をメモリカード240に格納する。   (S105) When the first viewpoint image is generated, the controller 210 stores the generated first viewpoint image in the memory card 240.

(S106)一方、第1視点画像が生成されると、コントローラ210は、生成した第1視点画像から予測画像を生成する。   (S106) On the other hand, when the first viewpoint image is generated, the controller 210 generates a predicted image from the generated first viewpoint image.

(S107)予測画像が生成されると、コントローラ210は、液晶モニタ270に生成した予測画像を表示する。   (S107) When the predicted image is generated, the controller 210 displays the generated predicted image on the liquid crystal monitor 270.

なお、コントローラ210は予測画像をJPEG画像データである第1視点画像から生成する構成に関して説明したが、メモリ200に格納されるCCDイメージセンサ150で生成される画像データを用いる構成にしても構わない。その場合、S106及び、S107の動作フローは、S103の後に行う構成となる。   Although the controller 210 has been described with respect to the configuration for generating the predicted image from the first viewpoint image that is JPEG image data, the controller 210 may be configured to use image data generated by the CCD image sensor 150 stored in the memory 200. . In that case, the operation flow of S106 and S107 is configured to be performed after S103.

[1−4.予測画像の生成動作]
次に、本実施の形態におけるデジタルカメラ100の予測画像の生成動作について図面を参照しながら説明する。
[1-4. Predictive image generation operation]
Next, a predicted image generation operation of the digital camera 100 in the present embodiment will be described with reference to the drawings.

図3は、デジタルカメラ100を用いて撮影する際の撮影環境を示す図である。   FIG. 3 is a diagram illustrating a shooting environment when shooting using the digital camera 100.

被写体距離lは、デジタルカメラ100から撮影対象である被写体までの距離を示す。被写体距離lは、撮影時において取得可能なパラメータである。水平方向の画像サイズw及び、視聴距離Lは、予め内部メモリ280に格納される情報である。また、デジタルカメラの撮影位置から仮想スクリーンまでの距離を視聴距離Lとして設定する。視差量dは、撮影時における被写体の視差量を示す。カメラ間距離Sは、視聴距離L、被写体距離l、視差量dを満たすために必要な第1視点から第2視点までの距離を示す。 The subject distance l indicates the distance from the digital camera 100 to the subject to be photographed. The subject distance l is a parameter that can be acquired at the time of shooting. The horizontal image size w 2 and the viewing distance L are information stored in the internal memory 280 in advance. The distance from the shooting position of the digital camera to the virtual screen is set as the viewing distance L. Parallax amount d 2 indicates the amount of parallax of a subject at the time of shooting. Camera distance S indicates viewing distance L, subject distance l, the distance from the first viewpoint required to meet the parallax amount d 2 to the second view point.

図4は、デジタルカメラ100で撮影した第1視点画像と、第2視点画像とを視聴する際の視聴環境を示す図である。   FIG. 4 is a diagram illustrating a viewing environment when viewing the first viewpoint image and the second viewpoint image captured by the digital camera 100.

視聴距離L、目標視差量d、水平方向のディスプレイサイズwは、予め内部メモリ280に格納される情報である。 The viewing distance L, the target parallax amount d 1 , and the horizontal display size w 1 are information stored in the internal memory 280 in advance.

次に、図面を参照しながらデジタルカメラ100の予測画像の生成動作について説明を行う。   Next, a predicted image generation operation of the digital camera 100 will be described with reference to the drawings.

図5は、デジタルカメラ100の予測画像を生成する際の動作を示すフローである。   FIG. 5 is a flowchart showing an operation when the predicted image of the digital camera 100 is generated.

(S201)使用者によって撮影モード設定ボタン290が3D撮影モードに設定され、第1視点画像が生成されると、予測画像の生成動作に移行する。   (S201) When the shooting mode setting button 290 is set to the 3D shooting mode by the user and the first viewpoint image is generated, the process proceeds to a predicted image generation operation.

(S202)予測画像の生成動作に移行すると、コントローラ210は、水平方向のディスプレイサイズwと、目標視差量dと、水平方向の画像サイズwと、を基に、視差量dを算出する。具体的に、コントローラ210は、次式を基に視差量dを算出する。 (S202) After the transition to the operation of generating the predicted image, the controller 210 includes a horizontal display size w 1, the target parallax amount d 1, based on the image size w 2 in the horizontal direction, and the parallax amount d 2 calculate. Specifically, the controller 210 calculates a parallax amount d 2 on the basis of the following equation.

Figure 2013062557
例えば、水平方向のディスプレイサイズwが1080画素、目標視差量dが12画素、水平方向の画像サイズwが640画素である場合、コントローラ210は、視差量dを8画素と算出する。
Figure 2013062557
For example, when the horizontal display size w 1 is 1080 pixels, the target parallax amount d 1 is 12 pixels, and the horizontal image size w 2 is 640 pixels, the controller 210 calculates the parallax amount d 2 as 8 pixels. .

(S203)視差量dを算出すると、コントローラ210は、第1視点画像と、視差量dを基に、予測画像の生成を行う。 (S203) After calculating the parallax amount d 2, the controller 210, based on the first viewpoint image, the parallax amount d 2, and generates the prediction image.

なお、コントローラ210は上記のように予測画像を生成する際、CCDイメージセンサ150において生成される画像データを用いる構成にしても構わない。   The controller 210 may be configured to use image data generated by the CCD image sensor 150 when generating a predicted image as described above.

[1−5.予測画像]
次に、生成した視差量dを基にコントローラ210が生成する予測画像及び、当該予測画像の表示動作について説明する。
[1-5. Predicted image]
Next, the controller 210 generates the parallax amount d 2 based on the predicted image to generate and, a description will be given of the display operation of the prediction image.

<第1視点画像全体をシフトして生成する予測画像>
図6は第1視点画像全体をシフトして予測画像を生成する動作を説明する図である。
<Predicted image generated by shifting the entire first viewpoint image>
FIG. 6 is a diagram for explaining the operation of generating the predicted image by shifting the entire first viewpoint image.

コントローラ210は、視差量dが生成された場合、予め得られる第1視点画像全体を視差量dだけシフトすることで予測画像を生成する構成となる。この場合、第1視点を視差量dだけシフトした結果、データがない領域601に対して、コントローラ210は、任意の値を設定する構成となる。例えば、コントローラ210は、データがない領域601に対して黒データ若しくは、グレーデータ、白データ等を設定する構成としても構わない。なお、コントローラ210は予測画像を生成する際、第1視点画像を略水平方向にシフトする構成となる。 When the amount of parallax d 2 is generated, the controller 210 is configured to generate a predicted image by shifting the entire first viewpoint image obtained in advance by the amount of parallax d 2 . In this case, the result obtained by shifting the first viewpoint by parallax amount d 2, with respect to data is not area 601, the controller 210 has a configuration to set an arbitrary value. For example, the controller 210 may be configured to set black data, gray data, white data, or the like for the area 601 where there is no data. The controller 210 is configured to shift the first viewpoint image in a substantially horizontal direction when generating the predicted image.

<第1視点画像の一部をシフトして生成する予測画像>
図7は第1視点画像の部分領域をシフトして予測画像を生成する動作を説明する図である。
<Predicted image generated by shifting a part of the first viewpoint image>
FIG. 7 is a diagram for explaining an operation of generating a predicted image by shifting a partial region of the first viewpoint image.

コントローラ210は、視差量dが生成された場合、予め得られる第1視点画像の部分領域を視差量dだけシフトすることで予測画像を生成する構成となる。部分領域は少なくとも被写体全体を含む領域であっても構わないし、被写体の一部を含む領域であっても構わない。例えば、図7に示すオブジェクト701が被写体の場合、コントローラ210は、当該オブジェクト701を略水平方向にシフトし、予測画像702を生成する構成となる。なお、コントローラ210は、第1視点画像の部分領域以外の領域703に関しては、黒データ若しくは、グレーデータ、白データ等を設定する構成としても構わない。なお、領域703は上記の構成に限定されるものではなく、例えばデジタルカメラ100で撮影する際にフォーカスした位置を中心に矩形状の領域を領域703と設定する構成にしても構わない。 When the amount of parallax d 2 is generated, the controller 210 is configured to generate a predicted image by shifting the partial region of the first viewpoint image obtained in advance by the amount of parallax d 2 . The partial area may be an area including at least the entire subject or an area including a part of the subject. For example, when the object 701 shown in FIG. 7 is a subject, the controller 210 shifts the object 701 in a substantially horizontal direction and generates a predicted image 702. The controller 210 may be configured to set black data, gray data, white data, or the like for the region 703 other than the partial region of the first viewpoint image. Note that the area 703 is not limited to the above-described configuration, and for example, a rectangular area centering on a position focused when the digital camera 100 captures an image may be set as the area 703.

なお、予測画像を生成する方法は上記方法に限定されるものではなく、第1視点画像の全体若しくは、一部をシフトした画像データが得られる方法であれば、どのような方法を用いても構わない。   Note that the method of generating the predicted image is not limited to the above method, and any method can be used as long as the image data obtained by shifting the whole or part of the first viewpoint image can be obtained. I do not care.

<予測画像の表示動作>
次に、コントローラ210による液晶モニタ270に予測画像を表示する際の表示動作に関して説明する。
<Prediction image display operation>
Next, a display operation when the predicted image is displayed on the liquid crystal monitor 270 by the controller 210 will be described.

コントローラ210は、第2視点画像を撮影する際、当該第2視点画像のレビュー画像と、予測画像と、を同時に液晶モニタ270に表示するよう制御する。予測画像をレビュー画像と同時に表示する際、コントローラ210は、例えばレビュー画像と予測画像とをアルファブレンディングして表示する。なお、レビュー画像と予測画像を液晶モニタ270に表示する際、コントローラ210は、予測画像に対しエッジ強調処理、輪郭抽出した画像への変換又は、ネガポジ反転処理を行なった後、表示する構成にしても構わない。このように処理することで、レビュー画像と予測画像とを同時に表示する際、予測画像の視認性を向上できる効果を奏する。   When the second viewpoint image is captured, the controller 210 controls to display the review image of the second viewpoint image and the predicted image on the liquid crystal monitor 270 at the same time. When displaying the predicted image simultaneously with the review image, the controller 210 displays, for example, the review image and the predicted image by alpha blending. When the review image and the predicted image are displayed on the liquid crystal monitor 270, the controller 210 displays the predicted image after performing edge enhancement processing, conversion to a contour-extracted image, or negative / positive inversion processing. It doesn't matter. By processing in this way, it is possible to improve the visibility of the predicted image when the review image and the predicted image are displayed simultaneously.

また、レビュー画像を液晶モニタ270に表示する際、レビュー画像の解像度が液晶モニタ270の画面解像度よりも大きい若しくは、小さい場合、コントローラ210は、当該レビュー画像の解像度を液晶モニタ270の画面解像度に設定する構成となる。   When the review image is displayed on the liquid crystal monitor 270, if the resolution of the review image is larger or smaller than the screen resolution of the liquid crystal monitor 270, the controller 210 sets the resolution of the review image to the screen resolution of the liquid crystal monitor 270. It becomes the composition to do.

また、レビュー画像と、予測画像とを同時に表示する際、コントローラ210は、視差量dを液晶モニタ270に表示する構成にしても構わない。また、コントローラ210は、画素単位で算出されている視差量dを国際単位系(SI)における長さの単位に換算して表示する構成にしても構わない。コントローラ210は、デジタルカメラ100の位置、被写体の位置、仮想スクリーン位置、視差量d、カメラ間距離Sから得られる幾何学的特徴を基に、画素を長さの単位に換算する。 Further, when displaying the review image and the predicted image at the same time, the controller 210 may be configured to display the parallax amount d 2 on the liquid crystal monitor 270. The controller 210 may be configured to display by converting the parallax amount d 2 that is calculated in pixel units into units of length in International System of Units (SI). The controller 210 converts the pixel into a unit of length based on the geometric characteristics obtained from the position of the digital camera 100, the position of the subject, the virtual screen position, the parallax amount d 2 , and the inter-camera distance S.

[1−6.第2視点画像の撮影動作]
次に、デジタルカメラ100における第2視点画像を撮影する際の動作について図面を参照しながら説明する。
[1-6. Shooting operation of second viewpoint image]
Next, an operation when the digital camera 100 captures the second viewpoint image will be described with reference to the drawings.

図8は、第2視点画像を撮影する際の動作フローを示す。以下、説明の便宜上、レビュー画像と予測画像の解像度は同一のものとする。   FIG. 8 shows an operation flow when shooting the second viewpoint image. Hereinafter, for convenience of explanation, it is assumed that the review image and the predicted image have the same resolution.

(S801)使用者によって3D撮影モードが設定され、第1視点画像が撮影されると、デジタルカメラ100は、第2視点画像を撮影するモードに移行する。   (S801) When the 3D shooting mode is set by the user and the first viewpoint image is shot, the digital camera 100 shifts to a mode for shooting the second viewpoint image.

(S802)第2視点画像を撮影するモードに移行すると、デジタルカメラ100は、画像処理部160で生成されるレビュー画像を取得する。レビュー画像は、デジタルカメラ100の位置に応じて変換する画像データである。   (S802) When the mode is switched to the mode for photographing the second viewpoint image, the digital camera 100 acquires the review image generated by the image processing unit 160. The review image is image data to be converted according to the position of the digital camera 100.

(S803)レビュー画像を取得すると、デジタルカメラ100は、レビュー画像と、予測画像とを基に画素マッチングを行い、レビュー画像と予測画像との視差量を取得する。画素マッチングは、画面間差分の絶対値総和により実現することが出来る。ここで、レビュー画像の(x、y)における画素データをF(x、y)とし、予測画像の(x、y)における画素データをP(x、y)とする。さらに、x、yのオフセット値をそれぞれoffset_x、offset_yとする。上記のように設定した場合、コントローラ210は、offset_x、offset_yを所定の範囲で変更した際、次式で得られる値が最小となるoffset_x、offset_yの値を視差量Vとして取得する。   (S803) When the review image is acquired, the digital camera 100 performs pixel matching based on the review image and the predicted image, and acquires a parallax amount between the review image and the predicted image. Pixel matching can be realized by the sum of absolute values of differences between screens. Here, the pixel data at (x, y) of the review image is F (x, y), and the pixel data at (x, y) of the predicted image is P (x, y). Furthermore, the offset values of x and y are set to offset_x and offset_y, respectively. When set as described above, the controller 210 obtains the values of offset_x and offset_y that minimize the values obtained by the following equations as the parallax amount V when the offset_x and offset_y are changed within a predetermined range.

Figure 2013062557
なお、SAD(x、y)は、xと、yとの絶対値差分を示す演算記号である。
Figure 2013062557
SAD (x, y) is an arithmetic symbol indicating an absolute value difference between x and y.

(S804)画素マッチングを行った後、デジタルカメラ100は、視差量Vを基に、レビュー画像と、予測画像とが重なったか否かを判定する。レビュー画像と、予測画像との重なりを判定する方法は、視差量Vが所定値以下か否かを判定することで実現できる。例えば、視差量Vが略零値であれば、レビュー画像と予測画像とが重なっていると判定できる。視差量Vの値はどのような値を設定してもよく、視差量dの10%等、視差量dを基準に設定される構成でも構わない。また、レビュー画像と予測画像とが重なっている精度を使用者が多段的に変更できる構成にしても構わない。例えば、使用者は重なり大、重なり中、重なり小から変更することが出来る。この場合、視差量Vが所定値以下と判定する基準はそれぞれ異なる値に設定される。 (S804) After performing pixel matching, the digital camera 100 determines, based on the parallax amount V, whether the review image and the predicted image overlap each other. The method for determining the overlap between the review image and the predicted image can be realized by determining whether or not the parallax amount V is equal to or less than a predetermined value. For example, if the parallax amount V is approximately zero, it can be determined that the review image and the predicted image overlap. The value of the parallax amount V may be set any value may be adapted to be set 10% or the like of the parallax amount d 2, the parallax amount d 2 to the reference. Moreover, you may make it the structure which a user can change the precision which the review image and the prediction image have overlapped in multiple steps. For example, the user can change from overlapping large, overlapping, and small overlapping. In this case, the criteria for determining that the parallax amount V is equal to or less than a predetermined value are set to different values.

(S805)レビュー画像と、予測画像とが重なったと判定すると、デジタルカメラ100は、CCDイメージセンサ150を介して撮影動作を行い、画像データを自動的に形成する。さらに、デジタルカメラ100は、画像処理部160を介して、形成された画像データに対して、圧縮処理などの画像処理を行い、JPEG画像データ(以下、第2視点画像と称す)を生成する。   (S805) If it is determined that the review image and the predicted image overlap, the digital camera 100 performs a photographing operation via the CCD image sensor 150 to automatically form image data. Further, the digital camera 100 performs image processing such as compression processing on the formed image data via the image processing unit 160 to generate JPEG image data (hereinafter referred to as a second viewpoint image).

(S806)第2視点画像が生成されると、コントローラ210は、生成した第2視点画像をメモリカード240に格納する。   (S806) When the second viewpoint image is generated, the controller 210 stores the generated second viewpoint image in the memory card 240.

なお、デジタルカメラ100は、レビュー画像と、予測画像とが重なったと判定した際、さらに使用者にレリーズボタンが押されると第2視点画像を生成する構成にしても構わない。また、デジタルカメラ100は、レビュー画像と、予測画像とが重なったと判定した際、液晶モニタ270に、アラートを表示する構成にしても構わない。この場合、使用者が直感的にレビュー画像と、予測画像とが重なったと認識することが可能となる効果を奏する。   Note that the digital camera 100 may be configured to generate the second viewpoint image when it is determined that the review image and the predicted image overlap each other and the release button is further pressed by the user. The digital camera 100 may be configured to display an alert on the liquid crystal monitor 270 when it is determined that the review image and the predicted image overlap. In this case, the user can intuitively recognize that the review image and the predicted image overlap each other.

なお、デジタルカメラ100は、レビュー画像と予測画像とを同時に表示している際、視差量Vの大きさに応じて音を出力する構成にしても構わない。このように構成することで、使用者はどのぐらいレビュー画像と予測画像とが近づいているかを直感的に認識することが可能となる効果を奏する。   The digital camera 100 may be configured to output sound according to the amount of the parallax amount V when the review image and the predicted image are displayed simultaneously. With this configuration, the user can intuitively recognize how close the review image and the predicted image are.

本発明は、デジタルスチルカメラやデジタルカメラ等のデジタル画像を撮影する撮影装置に適用可能である。   The present invention can be applied to a photographing apparatus for photographing a digital image such as a digital still camera or a digital camera.

100 デジタルカメラ
110 光学系
111 ズームレンズ
112 OIS
113 フォーカスレンズ
120 ズームモータ
130 OISアクチュエータ
140 フォーカスモータ
150 CCD
160 画像処理部
200 メモリ
210 コントローラ
220 ジャイロセンサ
230 カードスロット
240 メモリカード
250 操作部材
260 ズームレバー
270 液晶モニタ
280 内部メモリ
290 撮影モード設定ボタン
601 データがない領域
701 オブジェクト
702 予測画像
703 領域
100 Digital Camera 110 Optical System 111 Zoom Lens 112 OIS
113 Focus lens 120 Zoom motor 130 OIS actuator 140 Focus motor 150 CCD
160 Image processing unit 200 Memory 210 Controller 220 Gyro sensor 230 Card slot 240 Memory card 250 Operation member 260 Zoom lever 270 Liquid crystal monitor 280 Internal memory 290 Shooting mode setting button 601 No data area 701 Object 702 Predictive image 703 area

Claims (8)

被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置において、
被写体を撮影し被写体像を形成する光学系と、
前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、
前記画像データを画像処理することで記録画像データを生成する画像処理部と、
前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、
前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、
第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、
前記制御部は、
前記光学系を制御し、前記第1視点における第1被写体像を形成させ、
前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、
前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、
前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、
前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させるよう制御する、
デジタル撮影装置。
In a digital photographing apparatus for photographing a subject and generating recorded image data having a predetermined standard,
An optical system for photographing a subject and forming a subject image;
An imaging unit that generates image data based on a subject image formed by the optical system;
An image processing unit that generates recorded image data by performing image processing on the image data;
A display unit that displays the image data or recorded image data generated by processing the image data in the image processing unit in real time;
A viewing environment condition for viewing the recorded image data, and a memory for storing an image size for photographing the subject;
A control unit having a 3D shooting mode for acquiring a first viewpoint image by shooting at the first viewpoint and then acquiring a second viewpoint image by shooting at the second viewpoint;
The controller is
Controlling the optical system to form a first subject image at the first viewpoint;
Controlling the photographing unit to generate first image data based on the first subject image;
Controlling the image processing unit, image-processing the first image data, generating a first viewpoint image,
Generating a predicted image of the second viewpoint image based on the viewing environment condition, the image size, and the first image data or the first viewpoint image;
Controlling the display unit to display simultaneously the image data captured and acquired in real time, or the recorded image data obtained by processing the image data in the image processing unit, and the predicted image;
Digital photography device.
前記制御部は、
前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、
算出した視差量分、前記第1画像データ若しくは前記第1視点画像全体をシフトして予測画像を生成すること特徴とする請求項1に記載のデジタル撮影装置。
The controller is
A parallax amount of the subject at the time of shooting is calculated from the viewing environment condition and the image size;
The digital image capturing apparatus according to claim 1, wherein the predicted image is generated by shifting the first image data or the entire first viewpoint image by the calculated amount of parallax.
前記制御部は、
前記視聴環境条件と、前記画像サイズと、から撮影時における被写体の視差量を算出し、
算出した視差量分、前記第1画像データ若しくは前記第1視点画像のうち一部の領域をシフトして予測画像を生成すること特徴とする請求項1に記載のデジタル撮影装置。
The controller is
A parallax amount of the subject at the time of shooting is calculated from the viewing environment condition and the image size;
The digital photographing apparatus according to claim 1, wherein a predicted image is generated by shifting a part of the first image data or the first viewpoint image by the calculated amount of parallax.
前記一部の領域は、前記光学系においてフォーカスされたフォーカス位置を少なくとも含む領域であることを特徴とする請求項3に記載のデジタル撮影装置   The digital photographing apparatus according to claim 3, wherein the partial area is an area including at least a focus position focused in the optical system. 前記制御部は、前記視差量分、前記第1画像データ若しくは前記第1視点画像をシフトした結果、データのない領域に対して、任意のデータを設定することを特徴とする請求項2から請求項4に記載のデジタル撮影装置。   3. The control unit according to claim 2, wherein the control unit sets arbitrary data for a region having no data as a result of shifting the first image data or the first viewpoint image by the amount of parallax. Item 5. The digital photographing device according to Item 4. 前記制御部はさらに、
リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、重なったと判定した時点での画像データを前記画像処理部で処理させ第2視点画像を生成させ、若しくは、当該記録画像データを第2視点画像とするよう制御する
請求項1から請求項5に記載のデジタル撮影装置。
The control unit further includes:
When it is determined that the image data acquired by capturing in real time or the recorded image data obtained by processing the image data in the image processing unit and the predicted image overlap, 6. The digital photographing apparatus according to claim 1, wherein the image data is processed by the image processing unit to generate a second viewpoint image, or the recorded image data is controlled to be a second viewpoint image. 7.
前記制御部はさらに、
リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、が重なっていると判定した場合、前記表示部にアラートを表示するよう制御する
請求項1から請求項5に記載のデジタル撮影装置。
The control unit further includes:
When it is determined that image data captured and acquired in real time, or recorded image data obtained by processing the image data in the image processing unit, and the predicted image overlap, the display unit is alerted The digital photographing device according to claim 1, wherein the digital photographing device is controlled to display.
被写体を撮影し所定規格を有する記録画像データを生成するデジタル撮影装置における3D撮影方法であって、
前記デジタル撮影装置は、
被写体を撮影し被写体像を形成する光学系と、
前記光学系で形成される被写体像を基に、画像データを生成する撮影部と、
前記画像データを画像処理することで記録画像データを生成する画像処理部と、
前記画像データ又は、当該画像データを前記画像処理部で処理して生成される記録画像データをリアルタイムに表示する表示部と、
前記記録画像データを視聴する際の視聴環境条件と、被写体を撮影する際の画像サイズを格納するメモリと、
第1視点において撮影することで第1視点画像を取得し、その後、第2視点において撮影することで第2視点画像を取得する3D撮影モードを備える制御部と、を備え、
前記3D撮影方法は、前記制御部を介して
前記光学系を制御し、前記第1視点における第1被写体像を形成させ、
前記撮影部を制御し、前記第1被写体像を基に、第1画像データを生成させ、
前記画像処理部を制御し、前記第1画像データを画像処理させ第1視点画像を生成させ、
前記視聴環境条件と、前記画像サイズと、前記第1画像データ若しくは前記第1視点画像と、を基に、前記第2視点画像の予測画像を生成し、
前記表示部に、リアルタイムに撮影されて取得される画像データ又は、当該画像データを前記画像処理部で処理して得られる記録画像データと、前記予測画像と、を同時に表示させる
3D撮影方法。
A 3D image capturing method in a digital image capturing apparatus for capturing a subject and generating recorded image data having a predetermined standard,
The digital photographing device includes:
An optical system for photographing a subject and forming a subject image;
An imaging unit that generates image data based on a subject image formed by the optical system;
An image processing unit that generates recorded image data by performing image processing on the image data;
A display unit that displays the image data or recorded image data generated by processing the image data in the image processing unit in real time;
A viewing environment condition for viewing the recorded image data, and a memory for storing an image size for photographing the subject;
A control unit having a 3D shooting mode for acquiring a first viewpoint image by shooting at the first viewpoint and then acquiring a second viewpoint image by shooting at the second viewpoint;
In the 3D imaging method, the optical system is controlled via the control unit to form a first subject image at the first viewpoint,
Controlling the photographing unit to generate first image data based on the first subject image;
Controlling the image processing unit, image-processing the first image data, generating a first viewpoint image,
Generating a predicted image of the second viewpoint image based on the viewing environment condition, the image size, and the first image data or the first viewpoint image;
A 3D imaging method in which the display unit simultaneously displays image data acquired by capturing in real time, or recorded image data obtained by processing the image data in the image processing unit, and the predicted image.
JP2010005469A 2010-01-14 2010-01-14 Digital imaging apparatus and 3d imaging method Pending JP2013062557A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010005469A JP2013062557A (en) 2010-01-14 2010-01-14 Digital imaging apparatus and 3d imaging method
PCT/JP2011/000094 WO2011086898A1 (en) 2010-01-14 2011-01-12 3d image capturing device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010005469A JP2013062557A (en) 2010-01-14 2010-01-14 Digital imaging apparatus and 3d imaging method

Publications (1)

Publication Number Publication Date
JP2013062557A true JP2013062557A (en) 2013-04-04

Family

ID=44304176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010005469A Pending JP2013062557A (en) 2010-01-14 2010-01-14 Digital imaging apparatus and 3d imaging method

Country Status (2)

Country Link
JP (1) JP2013062557A (en)
WO (1) WO2011086898A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5891645B2 (en) * 2011-08-09 2016-03-23 株式会社ニコン Imaging apparatus and program
US9191649B2 (en) * 2011-08-12 2015-11-17 Qualcomm Incorporated Systems and methods to capture a stereoscopic image pair
JP2016504828A (en) * 2012-11-30 2016-02-12 トムソン ライセンシングThomson Licensing Method and system for capturing 3D images using a single camera

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (en) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd Imaging apparatus
JP2004128588A (en) * 2002-09-30 2004-04-22 Seiko Epson Corp Imaging unit
JP4181446B2 (en) * 2003-05-14 2008-11-12 シャープ株式会社 Stereoscopic image display device
GB2405764A (en) * 2003-09-04 2005-03-09 Sharp Kk Guided capture or selection of stereoscopic image pairs.
JP2006238086A (en) * 2005-02-25 2006-09-07 Casio Comput Co Ltd Digital camera for stereoscopic photography and stereoscopic photography method

Also Published As

Publication number Publication date
WO2011086898A1 (en) 2011-07-21

Similar Documents

Publication Publication Date Title
JP5789793B2 (en) Three-dimensional imaging device, lens control device, and program
JP2012186612A (en) Imaging device
JP2011188481A (en) Imaging device
JP5374641B2 (en) 3D video recording apparatus and 3D video signal processing apparatus
US20130050536A1 (en) Compound-eye imaging device
JP6432038B2 (en) Imaging device
JP2013046292A (en) Compound-eye image pickup device
US20120026300A1 (en) Imaging apparatus
US9602799B2 (en) Device, method, and computer program for three-dimensional video processing
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
JP5552197B2 (en) 3D image processing apparatus and method
JP2013062557A (en) Digital imaging apparatus and 3d imaging method
JP2015017999A (en) Imaging device
JP2012114896A (en) Three-dimensional imaging apparatus and three-dimensional reproduction apparatus
JP5221827B1 (en) Stereoscopic image capturing apparatus and zoom operation control method
US20130076867A1 (en) Imaging apparatus
CN110278374B (en) Image processing method and device, electronic equipment and computer readable storage medium
JP2012220603A (en) Three-dimensional video signal photography device
JP5325336B2 (en) 3D image processing apparatus, method, and program
JP2012054919A (en) Imaging device
JP2012054911A (en) Imaging apparatus
JP2012151538A (en) Three-dimensional imaging apparatus
JP2011135374A (en) Three-dimensional digital camera
JP2012209896A (en) Image processor, imaging apparatus and program
JP2013145372A (en) Imaging apparatus