JP6166985B2 - Image generating apparatus and image generating program - Google Patents
Image generating apparatus and image generating program Download PDFInfo
- Publication number
- JP6166985B2 JP6166985B2 JP2013175058A JP2013175058A JP6166985B2 JP 6166985 B2 JP6166985 B2 JP 6166985B2 JP 2013175058 A JP2013175058 A JP 2013175058A JP 2013175058 A JP2013175058 A JP 2013175058A JP 6166985 B2 JP6166985 B2 JP 6166985B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- depth
- subject
- element image
- storage unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 claims description 177
- 230000008447 perception Effects 0.000 claims description 91
- 230000015572 biosynthetic process Effects 0.000 claims description 40
- 238000003786 synthesis reaction Methods 0.000 claims description 40
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 claims description 7
- 238000000034 method Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 17
- 238000012545 processing Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 239000002131 composite material Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明は、画像生成装置および画像生成プログラムに関する。 The present invention relates to an image generation apparatus and an image generation program.
従来のインテグラルフォトグラフィ(Integral Photography;IP)では、1台のカメラで、複数の微小レンズ(要素レンズともいう。)が配列されたレンズアレイを通して被写体を撮影する。この場合、カメラはレンズアレイの焦平面を撮影するため、各微小レンズは微小なカメラと同様な働きをする。その結果、レンズアレイ越しに被写体を撮像することによって得られる画像は、微小レンズの位置に応じた微小画像(以下、要素画像という。)が並んだ画像(以下、要素画像群という。)となる。この要素画像群は、被写体からの光線情報を記録した画像である。よって、要素画像群に記録できる光線数は、カメラの解像度に依存する。また、インテグラルフォトグラフィ方式における再生像の解像度は、再生する光線数、すなわちカメラの解像度に依存する。このように、一台のカメラおよびレンズアレイの代わりに、複数の微小カメラを密に並べたカメラアレイを用いることで、撮像部の多画素化を実現することができる。 In conventional integral photography (IP), a subject is photographed with a single camera through a lens array in which a plurality of microlenses (also referred to as element lenses) are arranged. In this case, since the camera takes an image of the focal plane of the lens array, each minute lens functions in the same manner as the minute camera. As a result, an image obtained by imaging the subject through the lens array is an image (hereinafter referred to as an element image group) in which minute images (hereinafter referred to as element images) corresponding to the position of the minute lens are arranged. . This elemental image group is an image in which light information from a subject is recorded. Therefore, the number of rays that can be recorded in the element image group depends on the resolution of the camera. Further, the resolution of the reproduced image in the integral photography system depends on the number of light beams to be reproduced, that is, the resolution of the camera. In this way, by using a camera array in which a plurality of micro cameras are arranged closely instead of a single camera and lens array, it is possible to realize a large number of pixels in the imaging unit.
一方、コンピュータグラフィックス(Computer Graphics;CG)によるIP立体像の要素画像を生成する技術が、研究されている。この技術によれは、コンピュータが、仮想空間において、三次元の被写体およびセットが実世界と同様な動作をするように再現し、その仮想空間において被写体からの光線を追跡することによって要素画像を生成する。このCGを用いた技術による要素画像の生成において、表示装置の表示面よりも飛び出す映像を生成するために、被写体からの光線を制御するための奥行き制御レンズを通して被写体からの光線を追跡する計算方法が知られている(例えば、非特許文献1参照)。 Meanwhile, a technique for generating an element image of an IP stereoscopic image by computer graphics (CG) has been studied. According to this technology, a computer reproduces a three-dimensional subject and set in a virtual space so that they operate in the same way as in the real world, and generates an element image by tracking rays from the subject in the virtual space. To do. In the generation of an element image by the technique using the CG, a calculation method for tracing light rays from a subject through a depth control lens for controlling light rays from the subject in order to generate an image that protrudes from the display surface of the display device Is known (see, for example, Non-Patent Document 1).
上記のとおり、従来のCGによる要素画像の生成方法においては、実世界と同様に、三次元の被写体およびセットを仮想空間に再現する。一方で、IP方式においては、表示装置の表示面よりも手前側および奥側の立体像の解像度が、奥行きが増すにしたがって低下してしまう。そのため、実世界と同様に再現しようとしても、解像度が低すぎて立体像の奥行きが知覚されないという問題がある。
本発明が解決しようとする課題は、観視者に奥行感を知覚させるとともにIP立体像の解像度の劣化を防ぐ、画像生成装置および画像生成プログラムを提供することである。
As described above, in the conventional element image generation method using CG, a three-dimensional subject and set are reproduced in a virtual space, as in the real world. On the other hand, in the IP system, the resolution of the three-dimensional image on the near side and the far side from the display surface of the display device decreases as the depth increases. For this reason, there is a problem that even when attempting to reproduce in the same manner as in the real world, the resolution is too low to perceive the depth of the stereoscopic image.
The problem to be solved by the present invention is to provide an image generation apparatus and an image generation program that allow a viewer to perceive a sense of depth and prevent deterioration of the resolution of an IP stereoscopic image.
[1]上記の課題を解決するため、本発明の一態様である画像生成装置は、インテグラルフォトグラフィ立体映像表示装置用の要素画像を生成する画像生成装置であって、仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部と、前記仮想空間における仮想カメラアレイの第1の位置を表す第1のカメラ情報と前記仮想空間において前記仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部と、前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部と、前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第1の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第1のカメラ情報とに基づいて算出する奥側算出部と、前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第2の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大奥側算出部と、前記奥側算出部が算出した前記第1の要素画像と、前記最大奥側算出部が算出した前記第2の要素画像とを合成する奥側合成部と、を備える。 [1] In order to solve the above-described problem, an image generation apparatus according to one aspect of the present invention is an image generation apparatus that generates an element image for an integral photography stereoscopic video display apparatus, and includes an object in a virtual space. A subject information storage unit for storing subject information representing a position and a shape; first camera information representing a first position of the virtual camera array in the virtual space; and the virtual space provided in front of the virtual camera array. A virtual camera array information storage unit for storing monocular camera information representing the position of the virtual monocular camera and depth perception information representing the degree of perception of the depth of the integral photography stereoscopic image, and depth for reproducing the three-dimensional information of the subject The depth side maximum depth perception position in the reproduction range is set as the depth perception information stored in the virtual camera array information storage unit. And a virtual imaging lens is disposed at a position corresponding to each lens of the lens array of the integral photography stereoscopic image display device, and a virtual imaging surface is located on the back side of the virtual imaging lens. A first element image of a subject existing from the position of the virtual imaging surface to the depth side maximum depth perceived position calculated by the depth reproduction range calculation unit is assumed to be the arranged virtual arrangement, and the subject information storage unit From the back side maximum depth perceived position as the virtual arrangement, and a back side calculation unit that calculates based on the subject information stored in the virtual camera array information storage unit and the first camera information stored in the virtual camera array information storage unit The second element image of the subject existing on the back side is also converted into subject information stored in the subject information storage unit and a monocular stored in the virtual camera array information storage unit. A maximum back side calculation unit that is calculated based on the camera information and the first camera information, the first element image that is calculated by the back side calculation unit, and the second value that is calculated by the maximum back side calculation unit. A back side synthesis unit that synthesizes the element image.
[2]上記[1]記載の画像生成装置において、前記奥行再現範囲算出部は、前記奥行再現範囲における前側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいてさらに算出し、前記仮想配置であるとして、前記仮想撮像レンズの位置から前記奥行再現範囲算出部が算出した前記前側最大奥行知覚位置までに存在する被写体による第3の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第1のカメラ情報とに基づいて算出する前側算出部と、前記仮想配置であるとして、前記前側最大奥行知覚位置よりも前側に存在する被写体の第4の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大前側算出部と、前記前側算出部が算出した前記第3の要素画像と、前記最大前側算出部が算出した前記第4の要素画像とを合成する前側合成部と、前記奥側合成部が合成して得た要素画像と前記前側合成部が合成して得た要素画像とを合成する合成部と、をさらに備える。
[3]上記[2]記載の画像生成装置において、前記仮想カメラアレイ情報記憶部は、前記仮想空間における仮想カメラアレイの第1の位置よりも前側である第2の位置を表す第2のカメラ情報をさらに記憶し、前記最大奥側算出部は、前記第2の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第2のカメラ情報とに基づいて算出し、前記最大前側算出部は、前記第4の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第2のカメラ情報とに基づいて算出する。
[4]上記[2]または[3]いずれか記載の画像生成装置において、前記奥側合成部は、前記第2の要素画像に前記第1の要素画像を上書きすることによって合成し、前記前側合成部は、前記第3の要素画像に前記第4の要素画像を上書きすることによって合成し、前記奥側合成部が合成して得た要素画像に前記前側合成部が合成して得た要素画像を上書きすることによって合成する。
[2] In the image generation device according to [1], the depth reproduction range calculation unit may convert a front maximum depth perception position in the depth reproduction range to the depth perception information stored in the virtual camera array information storage unit. A third elemental image of a subject existing from the position of the virtual imaging lens to the front maximum depth perceived position calculated by the depth reproduction range calculation unit as the virtual arrangement is calculated based on the subject. A front-side calculation unit that calculates based on subject information stored in the information storage unit and first camera information stored in the virtual camera array information storage unit; and the front-side maximum depth perception position as the virtual arrangement The fourth element image of the subject existing in front of the subject information is stored in the subject information stored in the subject information storage unit and the virtual camera array information storage unit A maximum front side calculation unit that is calculated based on the obtained monocular camera information and the first camera information, the third element image that is calculated by the front side calculation unit, and the fourth element that is calculated by the maximum front side calculation unit. The image processing apparatus further includes a front side synthesis unit that synthesizes the element image, and a synthesis unit that synthesizes the element image obtained by the synthesis of the back side synthesis unit and the element image obtained by synthesis of the front side synthesis unit.
[3] In the image generating device according to [2] above, the virtual camera array information storage unit is a second camera that represents a second position in front of the first position of the virtual camera array in the virtual space. Information is further stored, and the maximum depth side calculation unit, the second element image, the subject information stored in the subject information storage unit and the second camera information stored in the virtual camera array information storage unit The maximum front side calculation unit calculates the fourth element image from subject information stored in the subject information storage unit and second camera information stored in the virtual camera array information storage unit. Based on and.
[4] In the image generating device according to any one of [2] and [3], the back side synthesis unit synthesizes the second element image by overwriting the first element image, and the front side The combining unit combines the third element image by overwriting the fourth element image, and the element obtained by combining the element image obtained by combining the back side combining unit with the element image obtained by the front side combining unit. Synthesize by overwriting the image.
[5]上記の課題を解決するため、本発明の一態様である画像生成プログラムは、仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部と、前記仮想空間における仮想カメラアレイの第1の位置を表す第1のカメラ情報と前記仮想空間において前記仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部と、を備えたコンピュータを、前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部、前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第1の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第1のカメラ情報とに基づいて算出する奥側算出部、前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第2の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大奥側算出部、前記奥側算出部が算出した前記第1の要素画像と、前記最大奥側算出部が算出した前記第2の要素画像とを合成する奥側合成部、として機能させる。 [5] In order to solve the above-described problem, an image generation program according to an aspect of the present invention includes a subject information storage unit that stores subject information representing the position and shape of a subject in a virtual space, and a virtual camera in the virtual space. The first camera information representing the first position of the array, the monocular camera information representing the position of the virtual monocular camera provided in front of the virtual camera array in the virtual space, and the perception of the depth of the integral photography stereoscopic image. A virtual camera array information storage unit for storing depth perception information representing the degree, and the virtual camera array information indicating the maximum depth perception position on the depth side in the depth reproduction range for reproducing the three-dimensional information of the subject. A depth reproduction range calculation unit for calculating based on the depth perception information stored in the storage unit; The position of the virtual imaging surface is assumed to be a virtual arrangement in which a virtual imaging lens is arranged at a position corresponding to each lens of the lens array of the photographic stereoscopic image display device, and a virtual imaging surface is arranged on the back side of the virtual imaging lens. To the subject information stored in the subject information storage unit and the virtual camera array information storage unit, the first element image by the subject existing up to the depth side maximum depth perception position calculated by the depth reproduction range calculation unit. A back side calculation unit that calculates based on the stored first camera information, the second element image of the subject existing on the back side from the back side maximum depth perceived position as the virtual arrangement, Maximum back side calculation calculated based on the subject information stored in the subject information storage unit, the monocular camera information stored in the virtual camera array information storage unit, and the first camera information , Said first element images the far side calculation unit has calculated, the far side combining unit where the maximum back side calculating section combines the second image element is calculated, to function as a.
本発明によれば、観視者に奥行感を知覚させるとともにIP立体像の解像度の劣化を防ぐことができる。 According to the present invention, it is possible to make a viewer perceive a sense of depth and to prevent degradation of the resolution of an IP stereoscopic image.
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
[第1の実施形態]
テレビ等、映像が表示される表示画面を観視する観視者が奥行きを知覚する生理的要因は、主に、調節、輻輳、両眼視差である。一方、インテグラルフォトグラフィ(Integral Photography;IP)表示装置が十分な解像度を有していない場合、表示装置の表示面(レンズアレイの焦平面)から光軸方向に離れるにしたがってIP立体像の解像度および鮮鋭度は低下する。まず、この現象について説明する。
Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the drawings.
[First Embodiment]
Physiological factors perceiving depth by a viewer viewing a display screen on which video is displayed, such as a television, are mainly adjustment, convergence, and binocular parallax. On the other hand, when the integral photography (IP) display device does not have sufficient resolution, the resolution of the IP stereoscopic image increases as the distance from the display surface of the display device (focal plane of the lens array) in the optical axis direction increases. And sharpness decreases. First, this phenomenon will be described.
図1は、IP立体像の奥行きに対する鮮鋭度および解像度を示すグラフである。具体的に、同図のグラフは、458(dot per inch;dpi)の解像度を有する液晶ディスプレイ装置にレンズアレイを組み合わせたIP立体像表示装置を液晶ディスプレイ装置の表示面から60cm離れた場所から観視した場合の、主観評価によるIP立体像の鮮鋭度、および計算上の限界解像度を示している。同図のグラフにおいて、横軸は、表示面を基準にしたIP立体像の提示位置を示す。横軸における負方向が観視者から見た場合の後方であり、正方向が前方である。同図のグラフにおいて、左側の縦軸は、“0”から“1”までの値に正規化された鮮鋭度の評価値である。また、同図のグラフにおいて、右側の縦軸は、IP立体像の空間周波数(cycle per degree;cpd)である。同図のグラフにおいて、“○”マーカは、表示面に対して後方18cmから前方18cmまで3cmごとにIP立体像を提示した場合の鮮鋭度の評価値である。また、破線は、IP方式における解像度特性である。 FIG. 1 is a graph showing the sharpness and resolution with respect to the depth of an IP stereoscopic image. Specifically, the graph of the figure shows an IP stereoscopic image display device in which a lens array is combined with a liquid crystal display device having a resolution of 458 (dot per inch; dpi) when viewed from a location 60 cm away from the display surface of the liquid crystal display device. It shows the sharpness of the IP stereoscopic image by subjective evaluation and the limit resolution in calculation when viewed. In the graph of the figure, the horizontal axis indicates the presentation position of the IP stereoscopic image with reference to the display surface. The negative direction on the horizontal axis is the rear when viewed from the viewer, and the positive direction is the front. In the graph of the figure, the vertical axis on the left is an evaluation value of sharpness normalized to a value from “0” to “1”. In the graph of the figure, the right vertical axis represents the spatial frequency (cycle per degree; cpd) of the IP stereoscopic image. In the graph of the figure, a “◯” marker is an evaluation value of the sharpness when an IP stereoscopic image is presented every 3 cm from the rear 18 cm to the front 18 cm on the display surface. A broken line is a resolution characteristic in the IP system.
図1のグラフから明らかなように、鮮鋭度の評価結果は、IP方式における解像度特性と同様に、表示面から離れるにしたがって低下する。すなわち、観視者は、表示面から離れたIP立体像を、解像度が低下したぼやけた立体像として知覚する。 As is apparent from the graph of FIG. 1, the sharpness evaluation result decreases with increasing distance from the display surface, as with the resolution characteristics in the IP method. That is, the viewer perceives the IP stereoscopic image away from the display surface as a blurred stereoscopic image with reduced resolution.
また、例えば視距離10m以下の観視条件では、両眼視差による奥行知覚が最大の生理的要因となる。すなわち、両眼視差を含めた奥行知覚の生理的要因によって奥行きが知覚されない距離に提示される立体像を二次元像に置き換えても、観視者は置き換える前と同程度の奥行感を得るものといえる。 For example, under viewing conditions with a viewing distance of 10 m or less, depth perception due to binocular parallax becomes the greatest physiological factor. In other words, even if a stereoscopic image presented at a distance where depth is not perceived due to physiological factors of depth perception, including binocular parallax, is replaced with a two-dimensional image, the viewer can obtain the same depth feeling as before replacement. It can be said.
図2は、IP立体像の奥行きに対する奥行知覚を示すグラフである。具体的に、同図のグラフは、458(dpi)、229(dpi)、および153(dpi)の解像度を有する液晶ディスプレイ装置それぞれに同一仕様のレンズアレイを組み合わせたIP立体像表示装置を液晶ディスプレイ装置の表示面から60cm離れた場所から観視した場合の、主観評価によるIP立体像の奥行知覚を示している。同図のグラフにおいて、横軸は、図1と同様に、表示面を基準にしたIP立体像の提示位置を示す。図2のグラフにおいて、縦軸は、“−1”から“1”までの値に正規化された奥行知覚の評価値である。同図のグラフにおいて、“○”マーカは、解像度が458(dpi)である液晶ディスプレイ装置の表示面に対して後方18cmから前方18cmまで3cmごとにIP立体像を提示した場合の奥行知覚の評価値である。また、“△”マーカは、液晶ディスプレイ装置の解像度が229(dpi)である場合の奥行知覚の評価値である。また、“×”マーカは、液晶ディスプレイ装置の解像度が153(dpi)である場合の奥行知覚の評価値である。 FIG. 2 is a graph showing depth perception with respect to the depth of the IP stereoscopic image. Specifically, the graph in the figure shows an IP stereoscopic image display device in which a lens array having the same specifications is combined with each of liquid crystal display devices having resolutions of 458 (dpi), 229 (dpi), and 153 (dpi). The depth perception of the IP stereoscopic image by subjective evaluation when viewed from a location 60 cm away from the display surface of the apparatus is shown. In the graph of the figure, the horizontal axis indicates the presentation position of the IP stereoscopic image with reference to the display surface, as in FIG. In the graph of FIG. 2, the vertical axis represents the depth perception evaluation value normalized to a value from “−1” to “1”. In the graph of the figure, the “◯” marker indicates the depth perception evaluation when an IP stereoscopic image is presented every 3 cm from the rear 18 cm to the front 18 cm on the display surface of the liquid crystal display device having a resolution of 458 (dpi). Value. The “Δ” marker is a depth perception evaluation value when the resolution of the liquid crystal display device is 229 (dpi). The “x” marker is an evaluation value of depth perception when the resolution of the liquid crystal display device is 153 (dpi).
図2のグラフによれば、いずれの解像度においても、IP立体像の提示位置が表示面から離れるにしたがって奥行知覚の変化率が概ね小さくなる。言い換えると、表示装置の解像度によらず、IP立体像の提示位置が表示面から離れるにしたがって、観視者が知覚する奥行感が弱まる傾向にある。また、任意の提示位置における奥行知覚は、解像度が高いほど大きい(奥行感が強い)といえる。 According to the graph of FIG. 2, at any resolution, the change rate of the depth perception becomes smaller as the presentation position of the IP stereoscopic image moves away from the display surface. In other words, the depth perception perceived by the viewer tends to weaken as the presentation position of the IP stereoscopic image moves away from the display surface regardless of the resolution of the display device. Moreover, it can be said that the depth perception at an arbitrary presentation position is larger (the sense of depth is stronger) as the resolution is higher.
図2のグラフにおいて、IP立体像の奥行きの知覚可能範囲(奥行知覚可能範囲)を、危険率5%の有意差検定により求めると、解像度458(dpi)では表示面後方15cmから表示面前方15cmまで、解像度229(dpi)では表示面後方12cmから表示面前方12cmまで、解像度153(dpi)では表示面後方12cmから表示面前方6cmまでとなる。すなわち、解像度が高くなるにしたがって、奥行き知覚可能範囲は広くなるという結果が得られる。 In the graph of FIG. 2, when the perceivable range (depth perceptible range) of the IP stereoscopic image is obtained by a significant difference test with a risk rate of 5%, the resolution 458 (dpi) is 15 cm behind the display surface and 15 cm ahead of the display surface. In the resolution 229 (dpi), the display surface is 12 cm behind the display surface 12 cm in front, and in the resolution 153 (dpi) is 12 cm behind the display surface 6 cm in front of the display surface. That is, the result that the perceptible range of depth becomes wider as the resolution becomes higher is obtained.
図1および図2によれば、画質(例えば、鮮鋭度)はIP立体像の提示位置に応じて変化するが、奥行知覚はある一定の奥行位置に達するまでに徐々に飽和する傾向がある。また、表示装置の解像度が低いほど奥行き知覚が飽和する奥行距離が短いことがわかる。すなわち、IP立体像の提示位置が表示面から離れた場合、画質の低下は知覚され易いが奥行位置の変化は知覚され難い。 According to FIGS. 1 and 2, the image quality (for example, sharpness) changes according to the presentation position of the IP stereoscopic image, but the depth perception tends to be gradually saturated until reaching a certain depth position. It can also be seen that the depth distance at which the depth perception is saturated is shorter as the resolution of the display device is lower. That is, when the presentation position of the IP stereoscopic image is away from the display surface, the deterioration of the image quality is easily perceived, but the change in the depth position is difficult to perceive.
そこで、第1実施形態では、奥行きが知覚されなくなる位置を最大奥行知覚位置とし、この位置よりも知覚されない方の位置にある被写体を最大奥行知覚位置において二次元像として表示することにより、奥行きが知覚されない場所にある被写体に対する主観的な(見かけ上の)画質の改善をはかる。 Therefore, in the first embodiment, the position where the depth is not perceived is set as the maximum depth perceived position, and the subject at the position where the depth is not perceived is displayed as a two-dimensional image at the maximum depth perceived position. Improve subjective (apparent) image quality for subjects in unperceived places.
図3は、第1の実施形態である画像生成装置を適用したIP立体映像表示システムの概略の機能構成を示すブロック図である。同図に示すように、IP立体映像表示システム1は、画像生成装置10と、IP立体映像表示装置20とを含む。IP立体映像表示装置20は、IP立体映像を表示する表示装置である。画像生成装置10は、IP立体映像表示装置20用のコンピュータグラフィックス(Computer Graphics;CG)による要素画像群を生成し、この要素画像群を時系列に並べて得られるIP映像信号をIP立体映像表示装置20に入力する。
FIG. 3 is a block diagram illustrating a schematic functional configuration of the IP stereoscopic video display system to which the image generation apparatus according to the first embodiment is applied. As shown in FIG. 1, the IP stereoscopic
画像生成装置10は、仮想カメラアレイ情報記憶部101と、被写体情報記憶部102と、奥行再現範囲算出部103と、奥側算出部104と、最大奥側算出部105と、前側算出部106と、最大前側算出部107と、奥側合成部108と、前側合成部109と、合成部110と、映像信号生成部111とを備える。
The
仮想カメラアレイ情報記憶部101は、仮想空間における第1の仮想カメラアレイの第1の位置を表す第1のカメラ情報と、この仮想空間において第1の仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とを記憶する。第1の実施形態において、第1のカメラ情報は、第1の仮想カメラアレイにおける各仮想撮像レンズの主点の位置を表す情報と各主点に対応する仮想撮像面の位置を表す情報とを含む。また、単眼カメラ情報は、仮想単眼カメラにおける仮想単眼撮像レンズの主点の位置を表す情報とその主点に対応する仮想単眼撮像面の位置を表す情報とを含む。仮想カメラアレイ情報記憶部101が記憶する第1のカメラ情報が表す各仮想撮像レンズの主点の位置は、要素画像を算出するための仮想空間にIP立体映像表示装置20を配置したときに、IP立体映像表示装置20のレンズアレイを構成する各レンズの主点の位置に対応する。また、第1のカメラ情報が表す各仮想撮像面の位置は、仮想空間にIP立体映像表示装置20を配置したときに、IP立体映像表示装置20により要素画像が表示される表示面の位置に対応する。すなわち、仮想撮像面は、IP立体映像表示装置20のレンズアレイを構成するレンズの焦点距離だけ、仮想撮像レンズから離れた場所に位置する。なお、仮想レンズの主点の位置および仮想撮像面の位置は、仮想空間における時間の経過とともに変化してもよい。
The virtual camera array
また、仮想カメラアレイ情報記憶部101は、IP立体像の奥行きに対する知覚(奥行知覚)の度合を表す奥行知覚情報を記憶する。具体的に、仮想カメラアレイ情報記憶部101は、IP立体映像表示装置20の解像度に応じた、IP立体像の表示面からの奥行距離に対する奥行知覚の評価値(例えば、図2に示したグラフデータ)を記憶する。
In addition, the virtual camera array
被写体情報記憶部102は、例えば、仮想空間における被写体の位置、形状、色、輝度、光学的な特性を表す情報を記憶する。例えば、被写体の仮想空間における位置および形状として、ポリゴンや自由曲面を用いてもよいし、CAD(Computer Assisted Drafting)データを用いてもよいし、その他の形式で表してもよい。なお、被写体の仮想空間における位置、形状、色、輝度、光学的な特性は、仮想空間における時間の経過とともに変化してもよい。
The subject
奥行再現範囲算出部103は、仮想カメラアレイ情報記憶部101に記憶された奥行知覚情報に基づいて、被写体の三次元情報を再現する奥行再現範囲を算出する。具体的に、奥行再現範囲算出部103は、奥行知覚情報に基づいて、奥行方向の前側最大奥行知覚位置および奥側最大奥行知覚位置を算出する。前側最大奥行知覚位置は、第1の仮想カメラアレイの各仮想撮像レンズよりも手前側に位置する奥行再現範囲の限界位置である。奥側最大奥行知覚位置は、第1の仮想カメラアレイの各仮想撮像面よりも奥側に位置する奥行再現範囲の限界位置である。より具体的に、例えば、奥行再現範囲算出部103は、仮想カメラアレイ情報記憶部101から奥行知覚情報を読み込み、この奥行知覚情報に基づく奥行知覚可能範囲を危険度5%の有意差検定により計算し、前側最大奥行知覚位置および奥側最大奥行知覚位置を得る。奥行再現範囲算出部103は、奥側最大奥行知覚位置を示す情報を奥側算出部104および最大奥側算出部105に供給する。また、奥行再現範囲算出部103は、前側最大奥行知覚位置を示す情報を前側算出部106および最大前側算出部107に供給する。
Based on the depth perception information stored in the virtual camera array
前側算出部106は、奥行再現範囲算出部103が供給する前側最大奥行知覚位置を示す情報を取り込み、仮想撮像レンズの位置から前側最大奥行知覚位置までに存在する被写体による前側要素画像(第3の要素画像)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第1のカメラ情報とに基づいて算出する。前側要素画像は、第1の仮想カメラの仮想撮像レンズよりも前側、且つ前側最大奥行知覚位置よりも奥側に位置する被写体による要素画像である。前側算出部106は、前側要素画像の各画素の画素値を、仮想撮像面における当該画素と仮想撮像レンズの主点とを通る直線が、その仮想撮像レンズの主点より手前側で被写体と交差する点のうち、当該仮想撮像レンズの主点から最も遠い点に関する情報を参照して算出する。これは、通常の陰面処理とは逆の処理となる。第1の実施形態では、最も遠い点に関する情報を参照して画素値を算出する方法の一例として、最も遠い点における被写体の色を、被写体情報記憶部12から読み出し、その色を表す値を画素値とする方法を用いる。前側算出部106は、1フレーム分の前側要素画像群を算出する。
The
なお、前側算出部106は、上述のように、仮想撮像レンズの主点から最も遠い点の色を表す値を画素値とする際に、デプスマップ(Depth Map)を用いるようにしてもよい。まず、前側算出部106は、仮想撮像面あるいは仮想撮像レンズから無限遠の場合が“1.0”であり、仮想撮像面あるいは仮想撮像レンズに近づくにしたがって小さくなる値(ただし、“0”より大きい値)をデプス値として被写体の表面に対して割り当てておく。前側算出部106は、被写体の表面を走査して、その表面の色を表す画素値を、前側要素画像の各画素の画素値とする。
Note that, as described above, the front
通常の陰面処理では、デプス値を“1.0”に初期化しておき、画素値を取得した被写体のデプス値が、当該画素値を書き込むべき画素の、デプスマップにおけるデプス値よりも小さいときのみ、取得した画素値で更新する。しかし、第1の実施形態では、通常の陰面処理とは逆の処理を行うので、前側算出部106は、前側要素画像の各画素に対応するデプス値を有するデプスマップのデプス値を全て“0”に予め初期化しておく。そして、前側算出部106は、画素値を取得した被写体のデプス値が、当該画素値を書き込むべき画素の、デプスマップにおけるデプス値よりも大きいときのみ、前側要素画像における画素の画素値を取得した画素値で更新し、デプスマップにおける画素のデプス値を当該被写体のデプス値で更新する。
In normal hidden surface processing, the depth value is initialized to “1.0”, and only when the depth value of the subject from which the pixel value is acquired is smaller than the depth value in the depth map of the pixel to which the pixel value is to be written. Update with the acquired pixel value. However, in the first embodiment, since processing opposite to the normal hidden surface processing is performed, the
最大前側算出部107は、奥行再現範囲算出部103が供給する前側最大奥行知覚位置を示す情報を取り込み、この前側最大奥行知覚位置よりも前側に存在する被写体の最大前側要素画像(第4の要素画像)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する。最大前側算出部107は、1フレーム分の最大前側要素画像群を算出する。
The maximum front
奥側算出部104は、奥行再現範囲算出部103が供給する奥側最大奥行知覚位置を示す情報を取り込み、仮想撮像面の位置から奥側最大奥行知覚位置までに存在する被写体による奥側要素画像(第1の要素画像)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第1のカメラ情報とに基づいて算出する。奥側要素画像は、第1の仮想カメラの仮想撮像面よりも奥側、且つ奥側最大奥行知覚位置よりも前側に位置する被写体による要素画像である。奥側算出部104は、仮想撮像面におけるある画素を通った後に、仮想撮像レンズの主点を通る光線を、公知の手法(例えば、レイトレーシング法、フォトンマッピング法)により算出し、当該光線の色を表す値を、要素画像における該画素の画素値とする。奥側算出部104は、1フレーム分の奥側要素画像群を算出する。
The depth
最大奥側算出部105は、奥行再現範囲算出部103が供給する奥側最大奥行知覚位置を示す情報を取り込み、この奥側最大奥行知覚位置よりも奥側に存在する被写体の最大奥側要素画像(第2の要素画像)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する。最大奥側算出部105は、1フレーム分の最大奥側要素画像群を算出する。
The maximum depth
前側合成部109は、前側算出部106が算出した前側要素画像に、最大前側算出部107が算出した最大前側要素画像を重ねて合成し、合成前側要素画像を生成する。前側合成部109は、1フレーム分の合成前側要素画像群を生成する。ただし、前側合成部109が前側要素画像に重ねる最大前側要素画像は、同じ仮想カメラに対応するものである。具体的に、前側合成部109は、最大前側要素画像において“0”でない画素値で前側要素画像を上書きする。
なお、前側合成部109は、最大前側要素画像において被写体が存在する領域の画素値が“1”であり、被写体が存在しない領域の画素値が“0”であるマスク画像を生成し、このマスク画像において画素値が“0”である画素の前側要素画像の画素値を、最大前側要素画像に上書きすることで要素画像を合成してもよい。
The
The
奥側合成部108は、最大奥側算出部105が算出した最大奥側要素画像に、奥側算出部104が算出した奥側要素画像を重ねて合成し、合成奥側要素画像を生成する。奥側合成部108は、1フレーム分の合成奥側要素画像群を生成する。ただし、奥側合成部108が最大奥側要素画像に重ねる奥側要素画像は、同じ仮想カメラに対応するものである。具体的に、奥側合成部108は、奥側要素画像において“0”でない画素値で最大奥側要素画像を上書きする。
なお、奥側合成部108は、奥側要素画像において被写体が存在する領域の画素値が“1”であり、被写体が存在しない領域の画素値が“0”であるマスク画像を生成し、このマスク画像において画素値が“0”である画素の最大奥側要素画像の画素値を、奥側要素画像に上書きすることで要素画像を合成してもよい。
The back
Note that the back
合成部110は、奥側合成部108が合成して得た合成奥側要素画像に、前側合成部109が合成して得た合成前側要素画像を重ねて合成し、要素画像を生成する。合成部110は、1フレーム分の要素画像群を生成する。ただし、合成部110が合成奥側要素画像に重ねる合成前側要素画像は、同じ仮想カメラに対応するものである。具体的に、合成部110は、合成前側要素画像において“0”でない画素値で合成奥側要素画像を上書きする。
なお、合成部110は、合成前側要素画像において被写体が存在する領域の画素値が“1”であり、被写体が存在しない領域の画素値が“0”であるマスク画像を生成し、このマスク画像において画素値が“0”である画素の合成奥側要素画像の画素値を、合成前側要素画像に上書きすることで要素画像を合成してもよい。
The synthesizing
Note that the synthesizing
映像信号生成部111は、合成部110が生成した要素画像群を時系列に並べたIP映像信号を生成し、このIP映像信号をIP立体映像表示装置20に供給する。
The video
図4は、IP立体映像表示装置20の構成を示す分解模式図である。同図に示すように、IP立体映像表示装置20は、例えば、液晶ディスプレイ、有機EL(Electro−Luminescence)ディスプレイ等の画像表示デバイスである表示パネル210と、表示パネル210の前面に配置されるレンズアレイ220とを含む。表示パネル210は、IP立体映像表示装置20に入力されたIP映像信号にしたがって、要素画像21−1〜21−Nからなる要素画像群を表示する。
FIG. 4 is an exploded schematic view showing the configuration of the IP stereoscopic
レンズアレイ220は、要素画像21−1〜21−Nの各々に対応する凸レンズ22−1〜22−Nを含んで構成される。レンズアレイ220は、表示パネル210から凸レンズ22−1〜22−Nの焦点距離だけ離した前面に設置される。これにより、観視者からは、要素画像21−1〜21−Nそれぞれの、視点に応じた一部分のみが見えるようになる。
The
なお、第1の実施形態では、凸レンズ22−1〜22−Nの配列および要素画像21−1〜21−Nの配列は、デルタ配置としたが、正方格子配置やこれ以外の配置としてもよい。また、IP立体映像表示装置20は、表示パネル210に代えて、それぞれが要素画像を投射する複数のプロジェクタおよび当該要素画像が投射されるスクリーンを備えるもの等、IP立体映像を表示するものであれば、その他の構成であってもよい。
In the first embodiment, the arrangement of the convex lenses 22-1 to 22-N and the arrangement of the element images 21-1 to 21-N are delta arrangement, but may be a square lattice arrangement or other arrangement. . In addition, the IP stereoscopic
図5および図6は、奥側算出部104および最大奥側算出部105の動作を説明する模式図である。図5は、図中右手方向に向かってIP立体映像表示装置20が表示する要素画像を算出するための仮想空間の上面図である。被写体O(オー)1は、仮想撮像面P1よりも奥側、且つ奥側最大奥行知覚位置を含む仮想平面Kよりも手前にある。詳細には、被写体O1は、仮想撮像レンズの主点L1および仮想撮像面P1(第1の仮想カメラ)によって形成される第1の仮想撮像領域を、仮想平面Kで切った場合の奥側算出領域A内にある。奥側算出部104は、仮想撮像面P1における画素を通った後、仮想撮像レンズの主点L1を通る光を逆に追跡することによって被写体O1に対する奥側要素画像を算出する。
5 and 6 are schematic diagrams for explaining the operations of the back
被写体O(オー)2は、仮想平面Kよりも奥側、つまり、奥行再現範囲外にある。詳細には、被写体O2は、仮想撮像面P1を含む全ての仮想撮像面の最も外側の光線が対応する主点を通って交差する点に仮想単眼撮像レンズの主点L’を設けるとともに、その主点L’に対応する位置に仮想単眼撮像面P’を設けた場合に、仮想単眼撮像レンズの主点L’および仮想単眼撮像面P’によって形成される仮想単眼撮像領域のうち仮想平面Kよりも奥側の領域Bにある。第1の実施形態では、仮想単眼撮像レンズの主点L’および仮想単眼撮像面P’(仮想単眼カメラ)によって被写体O2を仮想的に撮像する。具体的に、図6を参照して説明する。 The subject O (O) 2 is behind the virtual plane K, that is, outside the depth reproduction range. Specifically, the subject O2 is provided with a principal point L ′ of the virtual monocular imaging lens at a point where the outermost rays of all the virtual imaging surfaces including the virtual imaging surface P1 intersect through the corresponding principal points, When the virtual monocular imaging plane P ′ is provided at a position corresponding to the principal point L ′, the virtual plane K of the virtual monocular imaging area formed by the principal point L ′ of the virtual monocular imaging lens and the virtual monocular imaging plane P ′. It exists in the area | region B of the back | inner side. In the first embodiment, the subject O2 is virtually imaged by the principal point L ′ of the virtual monocular imaging lens and the virtual monocular imaging surface P ′ (virtual monocular camera). Specifically, this will be described with reference to FIG.
図6において、符号Sは、仮想平面K上に設けられた仮想板(テクスチャ)を指す。最大奥側算出部105は、仮想単眼撮像レンズの主点L’および仮想単眼撮像面P’によって仮想的に撮像した被写体O2を仮想板Sに写す(テクスチャマッピング)。この状態で、奥側算出部104は、仮想撮像面P1における画素を通った後、仮想撮像レンズの主点L1を通る光を逆に追跡することによって被写体O1および仮想板Sに対する奥側要素画像を算出する。
In FIG. 6, a symbol S indicates a virtual plate (texture) provided on the virtual plane K. The maximum back
なお、図示しないが、被写体O(オー)3が、前側最大奥行知覚位置を含む仮想平面K’よりも前側、つまり、奥行再現範囲外にある場合、最大前側算出部107は、仮想単眼撮像レンズの主点L’および仮想単眼撮像面P’によって仮想的に撮像した被写体O2を仮想平面K’上に設けられた仮想板S’に写す。この状態で、前側算出部106は、前側要素画像の各画素の画素値を、仮想撮像面P1における画素と、仮想撮像レンズの主点L1とを通る直線が、この主点L1より前側で被写体O3と交差する点のうち、主点L1から最も遠い点に関する情報を参照して算出する。
Although not shown, when the subject O (O) 3 is in front of the virtual plane K ′ including the front-side maximum depth perception position, that is, outside the depth reproduction range, the maximum front-
図7は、第1の実施形態である画像生成装置10の処理手順を示す概略のフローチャートである。
ステップS1において、奥行再現範囲算出部103は、仮想カメラアレイ情報記憶部101に記憶された奥行知覚情報に基づいて、被写体の三次元情報を再現する奥行再現範囲を示す前側最大奥行知覚位置(最大前:Zf)および奥側最大奥行知覚位置(最大奥:Zb)を算出する。
次に、奥行再現範囲算出部103は、奥側最大奥行知覚位置を示す情報を奥側算出部104および最大奥側算出部105に供給する。また、奥行再現範囲算出部103は、前側最大奥行知覚位置を示す情報を前側算出部106および最大前側算出部107に供給する。
FIG. 7 is a schematic flowchart showing a processing procedure of the
In step S1, the depth reproduction
Next, the depth reproduction
ステップS2において、最大奥側算出部105は、奥行再現範囲算出部103が供給する奥側最大奥行知覚位置を示す情報を取り込み、この奥側最大奥行知覚位置よりも奥側に存在する被写体の最大奥側要素画像(Bim_max)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する。最大奥側算出部105は、1フレーム分の最大奥側要素画像群を算出する。
In step S <b> 2, the maximum
ステップS3において、奥側算出部104は、奥行再現範囲算出部103が供給する奥側最大奥行知覚位置を示す情報を取り込み、仮想撮像面の位置から奥側最大奥行知覚位置までに存在する被写体による奥側要素画像(Bim)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第1のカメラ情報とに基づいて算出する。奥側算出部104は、1フレーム分の奥側要素画像群を算出する。
In step S <b> 3, the depth-
ステップS4において、前側算出部106は、奥行再現範囲算出部103が供給する前側最大奥行知覚位置を示す情報を取り込み、仮想撮像レンズの位置から前側最大奥行知覚位置までに存在する被写体による前側要素画像(Fim)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第1のカメラ情報とに基づいて算出する。前側算出部106は、1フレーム分の前側要素画像群を算出する。
In step S <b> 4, the
ステップS5において、最大前側算出部107は、奥行再現範囲算出部103が供給する前側最大奥行知覚位置を示す情報を取り込み、この前側最大奥行知覚位置よりも前側に存在する被写体の最大前側要素画像(Fim_max)を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する。最大前側算出部107は、1フレーム分の最大前側要素画像群を算出する。
In step S5, the maximum front
ステップS6において、奥側合成部108は、最大奥側算出部105が算出した最大奥側要素画像に、奥側算出部104が算出した奥側要素画像を重ねて合成し、合成奥側要素画像(Bim_fin)を生成する。具体的に、奥側合成部108は、奥側要素画像において“0”でない画素値で最大奥側要素画像を上書きする。奥側合成部108は、1フレーム分の合成奥側要素画像群を生成する。
In step S <b> 6, the back
ステップS7において、前側合成部109は、前側算出部106が算出した前側要素画像に、最大前側算出部107が算出した最大前側要素画像を重ねて合成し、合成前側要素画像(Fim_fin)を生成する。具体的に、前側合成部109は、最大前側要素画像において“0”でない画素値で前側要素画像を上書きする。前側合成部109は、1フレーム分の合成前側要素画像群を生成する。
In step S <b> 7, the
ステップS8において、合成部110は、奥側合成部108が合成して得た合成奥側要素画像に、前側合成部109が合成して得た合成前側要素画像を重ねて合成し、要素画像を生成する。具体的に、合成部110は、合成前側要素画像において“0”でない画素値で合成奥側要素画像を上書きする。合成部110は、1フレーム分の要素画像群を生成する。
次に、映像信号生成部111は、合成部110が生成した要素画像群を時系列に並べたIP映像信号を生成し、このIP映像信号をIP立体映像表示装置20に供給する。
In step S <b> 8, the
Next, the video
なお、図7のフローチャートにおいて、最大奥側算出部105が実行するステップS2の処理と、奥側算出部104が実行するステップS3の処理とは、並列であってもよいし、直列であってもよい。同様に、前側算出部106が実行するステップS4の処理と、最大前側算出部107が実行するステップS5の処理とは、並列であってもよいし、直列であってもよい。同様に、ステップS2、ステップS3、およびステップS6の処理群と、ステップS4、ステップS5、およびステップS7の処理群とは、並列であってもよいし、直列であってもよい。
In the flowchart of FIG. 7, the process of step S2 executed by the maximum back
図8は、奥側算出部104の動作を説明する模式図である。同図は、表示方向Ar1が示す方向(右手方向)に向かってIP立体映像表示装置20が表示する要素画像を算出するための仮想空間の上面図である。被写体O1,O2は、仮想撮像面P1〜P5よりも奥側にあり、被写体O3は、仮想撮像レンズの主点L1〜L5よりも手前側にある。奥側算出部104が、仮想撮像面における画素を通った後、仮想撮像レンズの主点を通る光を、逆に追跡するレイトレーシング法を用いる形態を例に説明する。
FIG. 8 is a schematic diagram for explaining the operation of the back
例えば、図8の符号R1が付された矢印は、仮想撮像面P3のある画素を通った後、仮想撮像面P3に対応する仮想撮像レンズの主点L3を通る光線である。奥側算出部104は、光線R1を、何かに突き当たるまで逆に辿る。ここでは、被写体O2に突き当たるので、奥側算出部104は、被写体O2の突き当たった点P21における光学的な特性(反射率、拡散率、透過率、屈折率等)を、被写体情報記憶部102から読み出す。そして、奥側算出部104は、読み出した特性に基づき、当該突き当たった点における反射、拡散、透過、屈折等により光線R1となる光線の方向を算出する。
For example, the arrow denoted by reference numeral R1 in FIG. 8 is a light beam that passes through a certain pixel on the virtual imaging plane P3 and then passes through the principal point L3 of the virtual imaging lens corresponding to the virtual imaging plane P3. The back
図8では、点P21で鏡面反射が起きている場合の例であり、反射により光線R1となる光線R2を、さらに逆に辿るというようにして、光の光量や色が予め与えられている領域(例えば、光源)に到達するまで、逆に辿ることを繰り返す。このようにすることで、奥側算出部104は、光線R1に含まれる光の成分を求め、光線R1の色を算出することができる。奥側算出部104は、このような処理を全ての仮想撮像面の全ての画素に対して行うことで、全ての奥側要素画像を算出する。
FIG. 8 shows an example in the case where specular reflection occurs at the point P21, and a region in which the light quantity and color of light are given in advance by tracing the light ray R2 that becomes the light ray R1 by reflection further reversely. The process of tracing back is repeated until reaching (for example, a light source). By doing in this way, the back
図9は、前側算出部106の動作を説明するフローチャートである。同図に示すフローチャートは、1フレーム分の前側要素画像を生成する処理のフローチャートである。まず、前側算出部106は、1フレーム分の前側要素画像の全ての画素値を初期化する(Sa1)。そして、前側算出部106は、それまでに未選択の仮想撮像面の中から一つを以降の処理対象の仮想撮像面として選択する(Sa2)。次に、前側算出部106は、処理対象の仮想撮像面の画素のうち、未選択のものの中から一つを以降の処理対象の画素として選択する(Sa3)。
FIG. 9 is a flowchart for explaining the operation of the
次に、前側算出部106は、処理対象の画素と、処理対象の仮想撮像面に対応する仮想撮像レンズの主点とを通る直線と、仮想撮像レンズより手前側の被写体との交差点を検出する(Sa4)。次に、前側算出部106は、ステップSa4にて交差点が検出されたか否かを判定する(Sa5)。交差点が検出されていないと判定したときは(Sa5:NO)、ステップSa6を飛ばして、ステップSa7に進む。
Next, the
一方、ステップSa5にて、交差点が検出されたと判定したときは(Sa5:YES)、前側算出部106は、検出した交差点のうち、仮想撮像レンズから最も遠いものを選択する。そして、前側算出部106は、選択した交差点における被写体の色を示す値を、被写体情報記憶部12から読み出し、当該値を、対象の画素の画素値とし(Sa6)、ステップSa7に進む。ステップSa7では、処理対象の仮想撮像面に、ステップSa3にて未選択の画素があるときは、ステップSa3に戻り、ないときはステップSa8に進む。
On the other hand, when it is determined in step Sa5 that an intersection has been detected (Sa5: YES), the
ステップSa8では、ステップSa2にて未選択の仮想撮像面があるときは、ステップSa2に戻り、ないときは、処理を終了する。これにより、ステップSa5において、交差点があると判定された画素の画素値は、ステップSa6にて決定した値となり、ステップSa5において、交差点がないと判定された画素の画素値は、ステップSa1にて初期化された値となる。 In step Sa8, if there is an unselected virtual imaging surface in step Sa2, the process returns to step Sa2, and if not, the process ends. Thereby, the pixel value of the pixel determined to have an intersection in step Sa5 becomes the value determined in step Sa6, and the pixel value of the pixel determined to have no intersection in step Sa5 is determined in step Sa1. It is an initialized value.
図10は、前側算出部106の動作を説明する模式図である。同図は、図9のフローチャートにおけるステップSa4,Sa6の処理を説明する模式図である。図10は、図8と同様に、表示方向Ar1が示す方向(右手方向)に向かってIP立体映像表示装置20が表示するための要素画像を算出するための仮想空間の上面図である。被写体O1,O2、仮想撮像面P1〜P5、仮想撮像レンズの主点L1〜L5は、図8と同様である。
FIG. 10 is a schematic diagram for explaining the operation of the
前側算出部106が仮想撮像面P3の一画素PEを処理対象としているときを考える。図10において、主点L3の仮想撮像レンズが仮想撮像面P3に対応しているので、矢印R1’が、処理対象の画素と、処理対象の仮想撮像面に対応する仮想撮像レンズの主点とを通る直線である。したがって、ステップSa4の処理において前側算出部106が検出する、直線R1’と仮想撮像レンズL3より手前側の被写体O3との交差点は、点P31と点P32となる。
Consider the case where the front
ステップSa6では、前側算出部106は、これらの交差点P31,P32のうち、仮想撮像レンズL3から最も遠いものを選択し、その点における色を表す値を、被写体情報記憶部12から読み出し、処理対象の画素の画素値とする。このように、交差点のうち最も遠いものを選択することで、矢印R1’の先に視点があったときに、その視点から見て、被写体O3の陰面となって見えない領域RO3に属する交差点P31ではなく、当該視点から見える交差点P32を選択することができる。
In step Sa6, the front
以上、説明したように、第1の実施形態である画像生成装置10は、IP立体映像表示装置20用の要素画像を生成する装置である。そして、画像生成装置10は、仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部102を備える。また、画像生成装置10は、仮想空間における仮想カメラアレイの第1の位置を表す第1のカメラ情報と仮想空間において仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部101を備える。また、画像生成装置10は、被写体の三次元情報を再現する奥行再現範囲を示す、前側最大奥行知覚位置および奥側最大奥行知覚位置を、仮想カメラアレイ情報記憶部101に記憶された奥行知覚情報に基づいて算出する奥行再現範囲算出部103を備える。また、画像生成装置10は、IP立体映像表示装置20のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、この仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、仮想撮像レンズの位置から奥行再現範囲算出部103が算出した前側最大奥行知覚位置までに存在する被写体による第3の要素画像を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第1のカメラ情報とに基づいて算出する前側算出部106を備える。また、画像生成装置10は、前記の仮想配置であるとして、前側最大奥行知覚位置よりも前側に存在する被写体の第4の要素画像を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大前側算出部107を備える。また、画像生成装置10は、前記の仮想配置であるとして、仮想撮像面の位置から奥行再現範囲算出部103が算出した奥側最大奥行知覚位置までに存在する被写体による第1の要素画像を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第1のカメラ情報とに基づいて算出する奥側算出部104を備える。また、画像生成装置10は、前記の仮想配置であるとして、奥側最大奥行知覚位置よりも奥側に存在する被写体の第2の要素画像を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大奥側算出部105を備える。また、画像生成装置10は、前側算出部106が算出した第3の要素画像と、最大前側算出部107が算出した第4の要素画像とを合成する前側合成部109と、奥側算出部104が算出した第1の要素画像と、最大奥側算出部105が算出した第2の要素画像とを合成する奥側合成部108とを備える。また、画像生成装置10は、前側合成部109が合成して得た要素画像と、奥側合成部108が合成して得た要素画像とを合成する合成部110を備える。
As described above, the
この構成により、画像生成装置10は、奥行再現範囲内のIP立体像を高精度に再生するとともに、奥行再現範囲外において奥行きを圧縮して再生させるため、IP再生像の解像度の低下を抑えて且つ奥行感を観視者に与えることができる。
With this configuration, the
[第2の実施形態]
第2の実施形態におけるIP立体映像表示システムは、図3のIP立体映像表示システム1と同様の構成を有する。よって、第2の実施形態の説明においては、図3の構成図を用いることとする。第2の実施形態におけるIP立体映像表示システム1では、画像生成装置10における最大奥側算出部105および最大前側算出部107の動作が第1の実施形態と一部異なる。また、仮想カメラアレイ情報記憶部101が記憶する情報の一部が第1の実施形態と異なる。
[Second Embodiment]
The IP stereoscopic video display system in the second embodiment has the same configuration as the IP stereoscopic
第2の実施形態である画像生成装置10は、奥行再現範囲外の三次元モデルおよびセットに対し、奥行きを圧縮して最大奥側要素画像および最大前側要素画像を生成する。
The
第2の実施形態において、仮想カメラアレイ情報記憶部101は、第1の実施形態における第1の仮想カメラアレイの第1の位置よりも前側にある第2の仮想カメラアレイの第2の位置を表す第2のカメラ情報を、さらに記憶する。第2の実施形態において、第2のカメラ情報は、第2の仮想カメラアレイにおける各仮想撮像レンズの主点の位置を表す情報と各主点に対応する仮想撮像面の位置を表す情報とを含む。
In the second embodiment, the virtual camera array
図11は、第2の実施形態における最大奥側算出部105の動作を説明する模式図である。同図は、図中右手方向に向かってIP立体映像表示装置20が表示する要素画像を算出するための仮想空間の上面図である。被写体O(オー)1は、仮想撮像面P1よりも奥側、且つ奥側最大奥行知覚位置を含む仮想平面Kよりも手前にある。詳細には、被写体O1は、仮想撮像レンズの主点L1および仮想撮像面P1(第1の仮想カメラ)によって形成される第1の仮想撮像領域を、仮想平面Kで切った場合の奥側算出領域A内にある。
FIG. 11 is a schematic diagram for explaining the operation of the maximum back
被写体O(オー)2は、第1の仮想カメラよりも前側に設けた、仮想撮像レンズの主点L1’および仮想撮像面P1’(第2の仮想カメラ)によって形成される第2の仮想撮像領域を仮想平面Kで切った場合の、最大奥側算出領域B’内にある。ただし、奥側算出領域Aが仮想平面Kに接する面と、最大奥側算出領域B’が仮想平面Kに接する面とは同一である。 The subject O (O) 2 is a second virtual imaging formed by the principal point L1 ′ of the virtual imaging lens and the virtual imaging plane P1 ′ (second virtual camera) provided in front of the first virtual camera. When the area is cut by the virtual plane K, it is within the maximum depth calculation area B ′. However, the surface in which the back side calculation area A is in contact with the virtual plane K and the surface in which the maximum back side calculation area B ′ is in contact with the virtual plane K are the same.
第1の仮想カメラおよび被写体O1を取り除いた状態で、最大奥側算出部105は、最大奥側要素画像を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第2のカメラ情報とに基づいて算出する。具体的に、最大奥側算出部105は、仮想撮像面P1’における画素を通った後、仮想撮像レンズの主点L1’を通る光を逆に追跡することによって被写体O2に対する最大奥側要素画像を算出する。
With the first virtual camera and the subject O1 removed, the maximum back
第1の仮想カメラアレイの各仮想撮像レンズは、IP立体映像表示装置20のレンズアレイの各レンズに対応している。よって、第2実施形態である画像生成装置10が生成したIP映像信号をIP立体映像表示装置20が取り込んでIP映像を表示した場合、最大奥側算出領域B’内の被写体O2の奥行きが圧縮される。
Each virtual imaging lens of the first virtual camera array corresponds to each lens of the lens array of the IP stereoscopic
なお、図示しないが、被写体O(オー)3が、前側最大奥行知覚位置を含む仮想平面K’よりも前側、つまり、奥行再現範囲外にある場合、最大前側算出部107は、最大前側要素画像を、被写体情報記憶部102に記憶された被写体情報と仮想カメラアレイ情報記憶部101に記憶された第2のカメラ情報とに基づいて算出する。具体的に、最大前側算出部107は、最大前側要素画像の各画素の画素値を、仮想撮像面P1’における画素と、仮想撮像レンズの主点L1’とを通る直線が、この主点L1’より前側で被写体O3と交差する点のうち、主点L1’から最も遠い点に関する情報を参照して算出する。
Although not shown, when the subject O (O) 3 is in front of the virtual plane K ′ including the front maximum depth perception position, that is, outside the depth reproduction range, the maximum
[第2の実施形態の第1変形例]
第1の変形例である画像生成装置10は、奥行再現範囲外の三次元モデルおよびセットに対し、段階的に圧縮率を変えて奥行きを圧縮し、最大奥側要素画像および最大前側要素画像を生成する。具体的に、最大奥側算出部105は、仮想撮像面から離れるほど奥行きが圧縮されるように最大奥側要素画像を生成する。また、最大前側算出部107は、仮想撮像レンズの主点から離れるほど奥行きが圧縮されるように最大前側要素画像を生成する。
[First Modification of Second Embodiment]
The
図12は、第2の実施形態の第1変形例における最大奥側算出部105の動作を説明する模式図である。同図は、図中右手方向に向かってIP立体映像表示装置20が表示する要素画像を算出するための仮想空間の上面図である。被写体O(オー)1は、仮想撮像面P1よりも奥側、且つ奥側最大奥行知覚位置を含む仮想平面K1よりも手前にある。詳細には、被写体O1は、仮想撮像レンズの主点L1および仮想撮像面P1(第1の仮想カメラ)によって形成される第1の仮想撮像領域を、仮想平面K1で切った場合の奥側算出領域A内にある。
FIG. 12 is a schematic diagram for explaining the operation of the maximum back
被写体O(オー)2は、第1の仮想カメラよりも前側に設けた、仮想撮像レンズの主点L1’および仮想撮像面P1’(第2の仮想カメラ)によって形成される第2の仮想撮像領域を仮想平面K1と仮想平面K1より奥側の仮想平面K2とで切り取った場合の、第1の最大奥側算出領域B’内にある。ただし、奥側算出領域Aが仮想平面K1に接する面と、第1の最大奥側算出領域B’が仮想平面K1に接する面とは同一である。 The subject O (O) 2 is a second virtual imaging formed by the principal point L1 ′ of the virtual imaging lens and the virtual imaging plane P1 ′ (second virtual camera) provided in front of the first virtual camera. The region is in the first maximum back side calculation region B ′ when the region is cut out by the virtual plane K1 and the virtual plane K2 on the back side from the virtual plane K1. However, the surface where the back side calculation area A is in contact with the virtual plane K1 and the surface where the first maximum back side calculation area B ′ is in contact with the virtual plane K1 are the same.
被写体O(オー)3は、第2の仮想カメラよりも前側に設けた、仮想撮像レンズの主点L1’’および仮想撮像面P1’’(第3の仮想カメラ)によって形成される第3の仮想撮像領域を仮想平面K2で切った場合の、第2の最大奥側算出領域B’’内にある。ただし、第1の最大奥側算出領域B’が仮想平面K2に接する面と、第2の最大奥側算出領域B’’が仮想平面K2に接する面とは同一である。 The subject O (O) 3 is formed by a third point formed by the principal point L1 ″ of the virtual imaging lens and the virtual imaging plane P1 ″ (third virtual camera) provided in front of the second virtual camera. When the virtual imaging area is cut along the virtual plane K2, it is within the second maximum depth calculation area B ″. However, the surface where the first maximum back side calculation region B ′ is in contact with the virtual plane K2 and the surface where the second maximum back side calculation region B ″ is in contact with the virtual plane K2 are the same.
第1の仮想カメラおよび被写体O1を取り除いた状態で、最大奥側算出部105は、仮想撮像面P1’における画素を通った後、仮想撮像レンズの主点L1’を通る光を逆に追跡することによって被写体O2に対する第1の最大奥側要素画像を算出する。
In a state where the first virtual camera and the subject O1 are removed, the maximum back
また、第1の仮想カメラ、被写体O1、第2の仮想カメラ、および被写体O2を取り除いた状態で、最大奥側算出部105は、仮想撮像面P1’’における画素を通った後、仮想撮像レンズの主点L1’’を通る光を逆に追跡することによって被写体O3に対する第2の最大奥側要素画像を算出する。
Further, in a state where the first virtual camera, the subject O1, the second virtual camera, and the subject O2 are removed, the maximum back
第1の仮想カメラアレイの各仮想撮像レンズは、IP立体映像表示装置20のレンズアレイの各レンズに対応している。よって、第2の実施形態の第1変形例である画像生成装置10が生成したIP映像信号をIP立体映像表示装置20が取り込んでIP映像を表示した場合、第1の最大奥側算出領域B’内の被写体O2の奥行きが圧縮され、第2の最大奥側算出領域B’’内の被写体O3の奥行きがさらに圧縮される。
Each virtual imaging lens of the first virtual camera array corresponds to each lens of the lens array of the IP stereoscopic
なお、図示しないが、前側最大奥行知覚位置を含む仮想平面K1’よりも前側、つまり、奥行再現範囲外にある場合についても、第2の実施形態および第1変形例と同様に、最大前側算出部107は、最大前側要素画像の各画素の画素値を算出する。
Although not shown, the maximum front side calculation is also performed in the case of the front side of the virtual plane K1 ′ including the front maximum depth perception position, that is, outside the depth reproduction range, as in the second embodiment and the first modification. The
[第2の実施形態の第2変形例]
第2の実施形態では、最大奥側算出部105が被写体O2に対する最大奥側要素画像を算出する際に、第1の仮想カメラおよび被写体O1を取り除く必要があった。第2の実施形態の第2変形例では、図13に示す上面図のように、表示方向と垂直の方向に第2の仮想カメラCを設け、表示方向から45度傾けて仮想的なハーフミラーMを設けることにより、第1の仮想カメラを取り除く必要がなくなる。
[Second Modification of Second Embodiment]
In the second embodiment, when the maximum depth
図2に示したように、奥行知覚は、ある一定の奥行位置に達するまでに徐々に飽和する傾向があるため、第2の実施形態である画像生成装置10が、奥行知覚の度合に応じて奥行きを圧縮することにより、IP再生像の見かけ上の画質の劣化を防ぐことができる。また、CGによる要素画像の生成の際に、被写体の奥行位置の検出精度を高めることができる。
As shown in FIG. 2, since the depth perception tends to be gradually saturated before reaching a certain depth position, the
なお、上述した実施形態である画像生成装置10の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するための画像生成プログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録された画像生成プログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することにより、当該機能を実現してもよい。なお、このコンピュータシステムとは、オペレーティングシステム(Operating System;OS)や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記の画像生成プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。
Note that some functions of the
各実施形態および変形例によれば、画像生成装置は、インテグラルフォトグラフィ立体像の解像度を劣化させることなく、観視者に奥行感を知覚させることができる。 According to each embodiment and modification, the image generation device can make the viewer perceive depth without degrading the resolution of the integral photography stereoscopic image.
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。 As mentioned above, although embodiment of this invention was explained in full detail with reference to drawings, the specific structure is not restricted to that embodiment, The design of the range which does not deviate from the summary of this invention, etc. are included.
1 IP立体映像表示システム
10 画像生成装置
20 IP立体映像表示装置
101 仮想カメラアレイ情報記憶部
102 被写体情報記憶部
103 奥行再現範囲算出部
104 奥側算出部
105 最大奥側算出部
106 前側算出部
107 最大前側算出部
108 奥側合成部
109 前側合成部
110 合成部
111 映像信号生成部
DESCRIPTION OF
Claims (5)
仮想空間における被写体の位置および形状を表す被写体情報を記憶する被写体情報記憶部と、
前記仮想空間における仮想カメラアレイの第1の位置を表す第1のカメラ情報と前記仮想空間において前記仮想カメラアレイよりも前に設けられる仮想単眼カメラの位置を表す単眼カメラ情報とインテグラルフォトグラフィ立体像の奥行きに対する知覚の度合を表す奥行知覚情報とを記憶する仮想カメラアレイ情報記憶部と、
前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部と、
前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第1の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第1のカメラ情報とに基づいて算出する奥側算出部と、
前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第2の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大奥側算出部と、
前記奥側算出部が算出した前記第1の要素画像と、前記最大奥側算出部が算出した前記第2の要素画像とを合成する奥側合成部と、
を備える画像生成装置。 An image generation device for generating an elemental image for an integral photography stereoscopic video display device,
A subject information storage unit for storing subject information representing the position and shape of the subject in the virtual space;
First camera information representing a first position of a virtual camera array in the virtual space, monocular camera information representing a position of a virtual monocular camera provided in front of the virtual camera array in the virtual space, and an integral photography stereoscopic A virtual camera array information storage unit for storing depth perception information representing the degree of perception with respect to the depth of the image;
A depth reproduction range calculation unit for calculating a depth side maximum depth perception position in a depth reproduction range for reproducing the three-dimensional information of the subject based on the depth perception information stored in the virtual camera array information storage unit;
Assuming that the virtual imaging lens is arranged at a position corresponding to each lens of the lens array of the integral photography stereoscopic video display device, and the virtual imaging surface is arranged on the back side of the virtual imaging lens, the virtual imaging lens The first element image of the subject existing from the position of the imaging surface to the depth side maximum depth perceived position calculated by the depth reproduction range calculation unit, subject information stored in the subject information storage unit, and the virtual camera array A back side calculation unit for calculating based on the first camera information stored in the information storage unit;
As the virtual arrangement, the second element image of the subject existing behind the maximum depth perception position on the back side is stored in the subject information stored in the subject information storage unit and the virtual camera array information storage unit. A maximum back side calculation unit for calculating based on the stored monocular camera information and the first camera information;
A back side combining unit that combines the first element image calculated by the back side calculating unit and the second element image calculated by the maximum back side calculating unit;
An image generation apparatus comprising:
前記仮想配置であるとして、前記仮想撮像レンズの位置から前記奥行再現範囲算出部が算出した前記前側最大奥行知覚位置までに存在する被写体による第3の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第1のカメラ情報とに基づいて算出する前側算出部と、
前記仮想配置であるとして、前記前側最大奥行知覚位置よりも前側に存在する被写体の第4の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大前側算出部と、
前記前側算出部が算出した前記第3の要素画像と、前記最大前側算出部が算出した前記第4の要素画像とを合成する前側合成部と、
前記奥側合成部が合成して得た要素画像と前記前側合成部が合成して得た要素画像とを合成する合成部と、
をさらに備える請求項1記載の画像生成装置。 The depth reproduction range calculation unit further calculates a front maximum depth perception position in the depth reproduction range based on the depth perception information stored in the virtual camera array information storage unit,
As the virtual arrangement, a third element image by a subject existing from the position of the virtual imaging lens to the front maximum depth perception position calculated by the depth reproduction range calculation unit is stored in the subject information storage unit. A front side calculation unit for calculating based on the subject information and the first camera information stored in the virtual camera array information storage unit,
As the virtual arrangement, the fourth element image of the subject existing in front of the front maximum depth perception position is stored in the subject information stored in the subject information storage unit and the virtual camera array information storage unit. A maximum front side calculation unit for calculating based on the monocular camera information and the first camera information;
A front side synthesis unit that synthesizes the third element image calculated by the front side calculation unit and the fourth element image calculated by the maximum front side calculation unit;
A combining unit that combines the element image obtained by combining the back side combining unit and the element image obtained by combining the front side combining unit;
The image generation apparatus according to claim 1, further comprising:
前記最大奥側算出部は、前記第2の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第2のカメラ情報とに基づいて算出し、
前記最大前側算出部は、前記第4の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第2のカメラ情報とに基づいて算出する、
請求項2記載の画像生成装置。 The virtual camera array information storage unit further stores second camera information representing a second position that is a front side of the first position of the virtual camera array in the virtual space,
The maximum depth side calculation unit calculates the second element image based on subject information stored in the subject information storage unit and second camera information stored in the virtual camera array information storage unit. ,
The maximum front side calculation unit calculates the fourth element image based on subject information stored in the subject information storage unit and second camera information stored in the virtual camera array information storage unit.
The image generation apparatus according to claim 2.
前記前側合成部は、前記第3の要素画像に前記第4の要素画像を上書きすることによって合成し、
前記奥側合成部が合成して得た要素画像に前記前側合成部が合成して得た要素画像を上書きすることによって合成する、
請求項2または請求項3いずれか記載の画像生成装置。 The back side synthesis unit synthesizes the second element image by overwriting the first element image,
The front side synthesis unit synthesizes the third element image by overwriting the fourth element image,
Synthesize by overwriting the element image obtained by the front side composition unit over the element image obtained by the back side composition unit,
The image generation apparatus according to claim 2.
前記被写体の三次元情報を再現する奥行再現範囲における奥側最大奥行知覚位置を、前記仮想カメラアレイ情報記憶部に記憶された前記奥行知覚情報に基づいて算出する奥行再現範囲算出部、
前記インテグラルフォトグラフィ立体映像表示装置のレンズアレイの各レンズに対応した位置に仮想撮像レンズが配置され、前記仮想撮像レンズの奥側に仮想撮像面が配置された仮想配置であるとして、前記仮想撮像面の位置から前記奥行再現範囲算出部が算出した前記奥側最大奥行知覚位置までに存在する被写体による第1の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された第1のカメラ情報とに基づいて算出する奥側算出部、
前記仮想配置であるとして、前記奥側最大奥行知覚位置よりも奥側に存在する被写体の第2の要素画像を、前記被写体情報記憶部に記憶された被写体情報と前記仮想カメラアレイ情報記憶部に記憶された単眼カメラ情報と第1のカメラ情報とに基づいて算出する最大奥側算出部、
前記奥側算出部が算出した前記第1の要素画像と、前記最大奥側算出部が算出した前記第2の要素画像とを合成する奥側合成部、
として機能させるための画像生成プログラム。 A subject information storage unit for storing subject information representing the position and shape of the subject in the virtual space; first camera information representing a first position of the virtual camera array in the virtual space; and the virtual camera array in the virtual space. A virtual camera array information storage unit for storing monocular camera information indicating the position of the virtual monocular camera provided in front and depth perception information indicating the degree of perception of the depth of the integral photography stereoscopic image; ,
A depth reproduction range calculation unit for calculating a depth side maximum depth perception position in a depth reproduction range for reproducing the three-dimensional information of the subject based on the depth perception information stored in the virtual camera array information storage unit;
Assuming that the virtual imaging lens is arranged at a position corresponding to each lens of the lens array of the integral photography stereoscopic video display device, and the virtual imaging surface is arranged on the back side of the virtual imaging lens, the virtual imaging lens The first element image of the subject existing from the position of the imaging surface to the depth side maximum depth perceived position calculated by the depth reproduction range calculation unit, subject information stored in the subject information storage unit, and the virtual camera array A back side calculation unit for calculating based on the first camera information stored in the information storage unit,
As the virtual arrangement, the second element image of the subject existing behind the maximum depth perception position on the back side is stored in the subject information stored in the subject information storage unit and the virtual camera array information storage unit. A maximum depth side calculation unit for calculating based on the stored monocular camera information and the first camera information;
A back side combining unit that combines the first element image calculated by the back side calculating unit and the second element image calculated by the maximum back side calculating unit;
Image generation program to function as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013175058A JP6166985B2 (en) | 2013-08-26 | 2013-08-26 | Image generating apparatus and image generating program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013175058A JP6166985B2 (en) | 2013-08-26 | 2013-08-26 | Image generating apparatus and image generating program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015043187A JP2015043187A (en) | 2015-03-05 |
JP6166985B2 true JP6166985B2 (en) | 2017-07-19 |
Family
ID=52696680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013175058A Active JP6166985B2 (en) | 2013-08-26 | 2013-08-26 | Image generating apparatus and image generating program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6166985B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6585938B2 (en) * | 2015-06-23 | 2019-10-02 | 日本放送協会 | Stereoscopic image depth conversion apparatus and program thereof |
JP6814036B2 (en) * | 2016-12-07 | 2021-01-13 | 日本放送協会 | Element image group generator and its program |
JP7061445B2 (en) * | 2017-02-15 | 2022-04-28 | 日本放送協会 | Stereoscopic image generator and its program |
JP7030010B2 (en) * | 2018-05-09 | 2022-03-04 | 日本放送協会 | Stereoscopic image depth compression device and stereoscopic image depth compression program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5325145B2 (en) * | 2010-03-10 | 2013-10-23 | 株式会社コナミデジタルエンタテインメント | GAME DEVICE, OPERATION METHOD, AND PROGRAM |
JP5541974B2 (en) * | 2010-06-14 | 2014-07-09 | 任天堂株式会社 | Image display program, apparatus, system and method |
JP2012175358A (en) * | 2011-02-21 | 2012-09-10 | Nintendo Co Ltd | Display control program, display control device, display control method and display control system |
JP5759797B2 (en) * | 2011-06-03 | 2015-08-05 | 任天堂株式会社 | Image generation program, image generation method, image generation apparatus, and image generation system |
-
2013
- 2013-08-26 JP JP2013175058A patent/JP6166985B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015043187A (en) | 2015-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5572094B2 (en) | One-source multi-use (OSMU) type stereo camera and method for producing stereo image content thereof | |
JP4835659B2 (en) | 2D-3D combined display method and apparatus with integrated video background | |
US10397545B2 (en) | 3-D light field camera and photography method | |
JP4328311B2 (en) | Method and program for creating multi-viewpoint image for 3D image display | |
WO2010084724A1 (en) | Image processing device, program, image processing method, recording method, and recording medium | |
JP2019079552A (en) | Improvements in and relating to image making | |
CN108141578B (en) | Presentation camera | |
JP2014093779A (en) | Image processing method and image processing apparatus | |
KR20150068299A (en) | Method and system of generating images for multi-surface display | |
JP2012079291A (en) | Program, information storage medium and image generation system | |
WO2013108285A1 (en) | Image recording device, three-dimensional image reproduction device, image recording method, and three-dimensional image reproduction method | |
JP6585938B2 (en) | Stereoscopic image depth conversion apparatus and program thereof | |
JP6166985B2 (en) | Image generating apparatus and image generating program | |
JP5396877B2 (en) | Image processing apparatus, program, image processing method, and recording method | |
JP2017199958A (en) | Imaging apparatus, control method thereof, and control program | |
KR20120093693A (en) | Stereoscopic 3d display device and method of driving the same | |
KR101567002B1 (en) | Computer graphics based stereo floting integral imaging creation system | |
CN114637391A (en) | VR content processing method and equipment based on light field | |
JP2005026772A (en) | Method and apparatus of displaying stereoscopic video image | |
KR20070010306A (en) | Device taking a picture and method to generating the image with depth information | |
US12143561B2 (en) | Image generation system and method | |
KR100939080B1 (en) | Method and Apparatus for generating composited image, Method and Apparatus for displaying using composited image | |
US20220232201A1 (en) | Image generation system and method | |
JP5222718B2 (en) | Stereoscopic image reproduction apparatus, stereoscopic image reproduction program, and imaging apparatus | |
JP7336871B2 (en) | All-dome video processing device and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6166985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |