JPH11220758A - Method and device for stereoscopic image display - Google Patents
Method and device for stereoscopic image displayInfo
- Publication number
- JPH11220758A JPH11220758A JP10019338A JP1933898A JPH11220758A JP H11220758 A JPH11220758 A JP H11220758A JP 10019338 A JP10019338 A JP 10019338A JP 1933898 A JP1933898 A JP 1933898A JP H11220758 A JPH11220758 A JP H11220758A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- omnidirectional image
- omnidirectional
- image
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、広視野の画像の立
体視を実現する技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a technique for realizing stereoscopic viewing of a wide-field image.
【0002】[0002]
【従来の技術】デジタルカメラなどで撮影された2次元
画像をもとにしたステレオ(立体)画像表示を実現する
方法としては、視点の異なる2枚の画像の組を用意し、
左右の目に、それぞれ異なる視点の画像を見せるという
方法が一般的である。しかし、2枚の画像を用意するだ
けでは、広い視野角度をカバーすること、例えば360
度パノラマ画像の立体視を実現することは不可能であっ
た。広い視野角度をカバーするためには、各方位毎に2
枚の画像の組を用意し、方位に応じて観察者に見せる画
像の組を切り替える必要があった。例えば、360度パ
ノラマ画像の立体視には、15組(30枚)以上の画像
を用意する必要があった。2. Description of the Related Art As a method of realizing a stereo (stereoscopic) image display based on a two-dimensional image captured by a digital camera or the like, a set of two images having different viewpoints is prepared.
In general, a method of showing images of different viewpoints to the left and right eyes, respectively. However, simply preparing two images covers a wide viewing angle, for example, 360
It was impossible to realize stereoscopic viewing of a panoramic image. In order to cover a wide viewing angle, two
It is necessary to prepare a set of images and switch the set of images to be shown to the observer according to the azimuth. For example, for stereoscopic viewing of a 360-degree panoramic image, it was necessary to prepare 15 sets (30 images) or more.
【0003】関連技術として、2次元画像から手前画像
を抽出し、それを背景画像に対し相対的に左右に移動し
かつ拡大することによって左目画像と右目画像を作成
し、それらを3次元画像表示装置に出力することによ
り、ステレオ画像表示を実現する方法が特開平7−18
2533号公報に記載されている。As a related technique, a left-eye image and a right-eye image are created by extracting a front image from a two-dimensional image, moving the left-right image relative to a background image, and enlarging it, and displaying them in a three-dimensional image. A method for realizing a stereo image display by outputting to a device is disclosed in
No. 2533.
【0004】[0004]
【発明が解決しようとする課題】上に述べたように、各
方位毎に2枚の画像の組を用意し、方位に応じて観察者
に見せる画像の組を切り替える方法では、方位が変化す
る時に視野が途切れるという問題がある。つまり、連続
して周囲を立体的に見渡すようことができない。As described above, in the method of preparing two sets of images for each azimuth and switching the set of images to be shown to the observer according to the azimuth, the azimuth changes. There is a problem that the visual field is sometimes interrupted. That is, the surroundings cannot be continuously viewed in three dimensions.
【0005】本発明の目的は、そのような視野の途切れ
を生じることなく、360度パノラマ画像のような広視
野画像の立体視を可能にする手段を提供することにあ
る。It is an object of the present invention to provide means for enabling stereoscopic viewing of a wide-field image such as a 360-degree panoramic image without causing such a break in the visual field.
【0006】[0006]
【課題を解決するための手段】上記目的を達成するた
め、本発明においては、撮影地点がずれた3つ以上の全
方位画像データを用意する。それぞれの全方位画像デー
タは、例えば、固定した地点からデジタルカメラなどで
水平面に沿って撮影方位を変えながら撮影した多数の画
像データを、撮影地点を中心とした球面又は円筒面に投
影して貼り合わせ合成した360度パノラマ画像データ
などである。そして、本発明では、これら3つ以上の全
方位画像データの中から、観察者の視線の方位に基づい
て、左目用の全方位画像データと右目用の全方位画像デ
ータを選択し、それぞれを観察者の左目と右目に画像と
して見せることにより、360度パノラマ画像などの広
視野画像の立体視を実現する。In order to achieve the above-mentioned object, in the present invention, three or more omnidirectional image data whose shooting points are shifted are prepared. Each omnidirectional image data is, for example, a large number of image data taken while changing the shooting direction along a horizontal plane with a digital camera etc. from a fixed point, projected on a spherical or cylindrical surface centering on the shooting point and pasted The image data includes 360-degree panoramic image data combined and combined. Then, in the present invention, the omnidirectional image data for the left eye and the omnidirectional image data for the right eye are selected from the three or more omnidirectional image data based on the direction of the line of sight of the observer. By showing the image as an image to the left and right eyes of the observer, stereoscopic viewing of a wide-field image such as a 360-degree panoramic image is realized.
【0007】[0007]
【発明の実施の形態】以下、添付図面を参照し、本発明
の実施の形態を説明する。Embodiments of the present invention will be described below with reference to the accompanying drawings.
【0008】本発明においては、撮影地点のずれた全方
位画像データを少なくとも3つ用意するが、この全方位
画像データの作成方法の例を図1により説明する。In the present invention, at least three pieces of omnidirectional image data in which the photographing points are shifted are prepared. An example of a method of creating the omnidirectional image data will be described with reference to FIG.
【0009】全方位画像データを作成する場合、固定し
た撮影地点から、デジタルカメラなどで、例えば水平面
に沿って一周するように撮影方位を変えながら、多数の
画像を撮影する。そして、本発明の一実施例によれば、
例えば、デジタルカメラなどのレンズ中心を中心O、レ
ンズと撮像面までの距離に等しいか、あるいは、その任
意倍率の半径をもつ球面Aに、各画像データを投影して
貼り合わせ合成することにより、全方位画像データが作
成される。このような貼り合わせ合成は、本出願人の特
願平9−303893号及び特願平9−234095号
の明細書に詳述されているように、隣り合う画像データ
のオーバーラップ領域内の画素の相対位置関係を利用し
て画像間の方位角度座標の変換マトリクスを求め、これ
を利用して各画像データを統一した方位角度座標に変換
することによって行うことができる。なお、水平面から
上の全天をカバーするような3次元的なパノラマ画像の
立体視を実現したい場合には、デジタルカメラなどで画
像を撮影する際に、撮影方位を垂直方向へも振って撮影
し、撮影した各画像データを同様に球面B上で貼り合わ
せ合成すればよい。When creating omnidirectional image data, a large number of images are photographed from a fixed photographing point using a digital camera or the like while changing photographing directions so as to make a round along a horizontal plane, for example. And according to one embodiment of the present invention,
For example, by projecting each image data onto a spherical surface A having a center O as the center of the lens of a digital camera or the like and a distance between the lens and the imaging surface, or a radius of an arbitrary magnification, and bonding and combining them, Omnidirectional image data is created. As described in detail in the specification of Japanese Patent Application Nos. 9-303893 and 9-234095 of the applicant of the present invention, such a composite image is obtained by combining pixels in the overlap area of adjacent image data. The conversion matrix of the azimuth angle coordinate between the images is obtained by using the relative positional relationship described above, and each image data is converted into the unified azimuth angle coordinate by using the matrix. If you want to realize a stereoscopic view of a three-dimensional panoramic image that covers the whole sky above the horizontal plane, when shooting an image with a digital camera or the like, you can also change the shooting direction in the vertical direction and shoot Then, the captured image data may be similarly pasted and combined on the spherical surface B.
【0010】立体視を実現するには、全方位画像データ
を記憶装置などに保存する必要がある。本発明の一実施
例によれば、上に述べたように球面に投影して貼り合わ
せ合成された全方位画像データは、本出願人の特願平9
−234095号の明細書に詳述されているように、水
平面C上の円盤Dに平射投影されたデータとして保存さ
れる。In order to realize stereoscopic vision, it is necessary to store omnidirectional image data in a storage device or the like. According to one embodiment of the present invention, as described above, the omnidirectional image data projected onto the spherical surface and stitched and synthesized is applied to the present applicant's Japanese Patent Application No. Hei 9 (1994) -93207.
As detailed in the specification of US Pat. No. 2,340,955, it is stored as data projected onto a disk D on a horizontal plane C.
【0011】本発明の一実施例によれば、例えば、撮影
地点をずらした4つの全方位画像データが上に述べたよ
うな球面投影の方法によって作成され、それぞれが平射
射影データの形で保存される。これを図2に示す。図2
において、P1,P2,P3,P4はそれぞれ4つの全
方位画像データの撮影地点に対応している。これら撮影
地点のずれは、人間の左右の目の視差を考慮して決定さ
れるもので、代表的には10cmから50cmの範囲に
選ばれる。各撮影地点P1,P2,P3,P4からの全
方位画像データは、それぞれ図1中の円Q1,Q2,Q
3,Q4に対応する円盤上に平射投影された形で保存さ
れる。これら4つの全方位画像データは、撮影地点が近
接しているから、互いに極めて類似している。According to an embodiment of the present invention, for example, four omnidirectional image data in which the photographing points are shifted are created by the above-described spherical projection method, and each of them is stored in the form of plane projection data. Is done. This is shown in FIG. FIG.
, P1, P2, P3, and P4 respectively correspond to the photographing points of four omnidirectional image data. These shifts of the photographing point are determined in consideration of the parallax between the left and right eyes of a human, and are typically selected in a range of 10 cm to 50 cm. The omnidirectional image data from each of the photographing points P1, P2, P3, and P4 are respectively represented by circles Q1, Q2, and Q in FIG.
3, and are stored in the form of orthographic projection on the disk corresponding to Q4. These four omnidirectional image data are very similar to each other because the photographing points are close to each other.
【0012】本発明の一実施例によれば、視線の方位が
指定されると、保存された4つの全方位画像データの中
から、左目用の一つの全方位データと右目用の一つの全
方位画像データを選択し、観察者の左目と右目の視線に
対応する位置に、対応した全方位画像データを見せるこ
とにより、広視野の画像の立体視を実現する。これを図
2により説明する。According to one embodiment of the present invention, when the direction of the line of sight is specified, one omnidirectional data for the left eye and one omnidirectional data for the right eye are selected from the four stored omnidirectional image data. By selecting azimuth image data and displaying the corresponding omnidirectional image data at positions corresponding to the line of sight of the left and right eyes of the observer, stereoscopic viewing of a wide-field image is realized. This will be described with reference to FIG.
【0013】視線の方位が、例えばD3方向±22.5
゜の範囲内であれば、撮影地点P1からの全方位画像デ
ータを左目用の全方位画像データとして選択し、そのD
3方向の近辺の領域を左目に見せ、同時に、撮影地点P
2からの全方位画像データを右目用の全方位画像データ
として選択し、そのD3方向の近辺の領域を右目に見せ
れば、立体視が可能となる。また、視線の方位がD4方
向±22.5゜の範囲内であれば、撮影地点P1からの
全方位画像データを左目用の全方位画像データとして選
択し、そのD4方向の近辺の領域を左目に見せ、同時
に、撮影地点P4からの全方位画像データを右目用の全
方位画像データとして選択し、そのD4方向の近辺の領
域を右目に見せれば、立体視が可能である。このように
視線の方位が変わることによって、観察者に観察される
一方の全方位画像データが別の全方位画像データに切り
替わるが(上に述べた例の場合、方位D3+22.5゜
を境に右目に観察される全方位画像データが、撮影地点
P2のものから撮影地点P4のものに切り替わる)、左
目に観察される全方位画像データは変化せず、かつ、撮
影地点P2からの全方位画像データと撮影地点P4から
の全方位画像データとが極めて類似しているため、観察
者は全方位画像データの切り替わりに殆ど気付かない。
同様にして、観察者は、その周囲360度の範囲のシー
ンを、切れ目なく連続的に立体視することが可能とな
る。The sight line direction is, for example, ± 22.5 in the D3 direction.
If it is within the range of ゜, the omnidirectional image data from the shooting point P1 is selected as the omnidirectional image data for the left eye, and its D
The area near the three directions is shown to the left eye, and at the same time, the shooting point P
If the omnidirectional image data from 2 is selected as the omnidirectional image data for the right eye, and the region near the D3 direction is shown to the right eye, stereoscopic vision becomes possible. If the azimuth of the line of sight is within the range of ± 22.5 ° in the D4 direction, the omnidirectional image data from the photographing point P1 is selected as the omnidirectional image data for the left eye, and an area near the D4 direction is selected as the left eye. At the same time, the omnidirectional image data from the photographing point P4 is selected as the omnidirectional image data for the right eye, and an area near the D4 direction is shown to the right eye, whereby stereoscopic vision is possible. By changing the azimuth of the line of sight in this way, one omnidirectional image data observed by the observer is switched to another omnidirectional image data (in the case of the example described above, the omnidirectional image data is separated from the azimuth D3 + 22.5 °). The omnidirectional image data observed by the right eye is switched from that of the photographing point P2 to that of the photographing point P4), the omnidirectional image data observed by the left eye does not change, and the omnidirectional image data from the photographing point P2 is not changed. Since the data and the omnidirectional image data from the photographing point P4 are very similar, the observer hardly notices the switching of the omnidirectional image data.
Similarly, the observer can continuously and stereoscopically view a scene within a range of 360 degrees around the observer.
【0014】なお、視線移動の途中で右目又は左目に見
せる全方位画像データを急に切り替ずに、切り替わる前
と後の2つの全方位画像データをオーバーラップさせて
表示しながら連続的に画像データを切り替えてもよい。
例えば、図2において、視線方位をD3方向からD4方
向に順次変える際に、その中間的な方位で、撮影地点P
2から全方位画像データと撮影地点P4からの全方位画
像データをオーバーラップさせて表示しながら徐々に一
つの全方位画像データへ切り替えるようにする。このよ
うにすれば、全方位画像データの切り替わりに一層気付
きにくくなり、より滑らかに全方位の画像の立体視が可
能である。It is to be noted that the omnidirectional image data shown to the right eye or the left eye during the movement of the line of sight is not suddenly switched, but the two omnidirectional image data before and after the switching are overlapped and displayed continuously. May be switched.
For example, in FIG. 2, when the line-of-sight direction is sequentially changed from the D3 direction to the D4 direction, the photographing point P is set in an intermediate direction.
2, the omnidirectional image data and the omnidirectional image data from the photographing point P4 are overlapped and displayed, and are gradually switched to one omnidirectional image data. This makes it more difficult to notice the switching of the omnidirectional image data, thereby enabling a smoother omnidirectional image to be stereoscopically viewed.
【0015】また、平射投影された全方位画像データを
観察者に見せる場合には、それを元の球面に再投影する
必要がある。ヘッドマウント型(ゴーグル型)の立体視
可能な表示装置や、球面の表示面を持つ立体視可能な表
示装置で画像を観測する場合には、球面に再投影された
全方位画像データをそのまま表示すればよい。ただし、
平面的な表示面を持つ表示装置で画像を観測する場合に
は、全方位画像データを球面に再投影した後、さらに表
示平面へ投影してから表示するほうが、歪みの少ない画
像を観測できるであろう。When the omnidirectional image data projected in a plan view is shown to an observer, it is necessary to reproject the data onto the original spherical surface. When observing images on a head-mounted (goggles) type stereoscopic display device or a stereoscopic display device with a spherical display surface, the omnidirectional image data reprojected onto the spherical surface is displayed as it is. do it. However,
When observing an image on a display device having a flat display surface, it is better to reproject the omnidirectional image data onto a spherical surface and then project it on the display plane before displaying the image, since an image with less distortion can be observed. There will be.
【0016】本発明の他の実施例によれば、固定した撮
影地点からデジタルカメラなどで撮影された多数の画像
データを、図1に示すような、中心Oを通り水平面Cと
垂直な中心軸を持ち、レンズ中心と撮像面との距離に等
しいか、あるいは、その任意倍率の半径を持つ円筒面B
に投影して貼り合わせ合成することにより、全方位画像
データが作成される。そして、この全方位画像データ
は、円筒面Bの展開図に対応した2次元の記憶空間に保
存される。なお、水平面Cからの仰角の大きな方位の画
素は、円筒面B上の水平面Cから遠く離れた位置に投影
される形になるため、全方位画像データの保存のために
非常に大きな記憶空間が必要となる。したがって、水平
面よりかなり上までの画像をカバーしたい場合には、前
述のような球面投影により全方位画像データを作成し、
それを平射投影した形で保存する方が有利であろう。According to another embodiment of the present invention, a large number of image data shot by a digital camera or the like from a fixed shooting point is converted into a central axis passing through a center O and perpendicular to a horizontal plane C as shown in FIG. And a cylindrical surface B having a radius equal to or equal to the distance between the lens center and the imaging surface, or having an arbitrary magnification.
, And the images are combined together to create omnidirectional image data. The omnidirectional image data is stored in a two-dimensional storage space corresponding to the developed view of the cylindrical surface B. Note that a pixel having a large azimuth from the horizontal plane C is projected at a position far away from the horizontal plane C on the cylindrical surface B, so that a very large storage space is required for storing omnidirectional image data. Required. Therefore, if you want to cover an image considerably above the horizontal plane, create omnidirectional image data by spherical projection as described above,
It would be advantageous to save it in a projected form.
【0017】このような全方位画像データは、例えば、
図2に関連して説明したように、撮影地点をわずかにず
らしたものが4つ作成されて保存される。このような4
つの全方位画像データから、前述のように視線の方位に
応じた左目と右目用の全方位画像データを選択して観察
者の左目と右目に見せることにより、広視野の立体視が
実現される。Such omnidirectional image data includes, for example,
As described with reference to FIG. 2, four shooting locations slightly shifted are created and stored. Such 4
From the three omnidirectional image data, as described above, the omnidirectional image data for the left eye and the right eye corresponding to the azimuth of the line of sight is selected and shown to the left and right eyes of the observer, thereby realizing a stereoscopic view with a wide visual field. .
【0018】なお、円筒面投影の全方位画像データを用
いる場合も、球面投影の全方位画像データを用いる場合
と同様、視線移動の途中で右目又は左目に見せる全方位
画像データを急に切り替えずに、切り替わる前と後の2
つの全方位画像データをオーバーラップさせて表示しな
がら連続的に画像データを切り替えてもよい。また、円
筒面投影の全方位画像データは、そのまま表示させるこ
ともできるし、表示平面に投影したものを表示させるこ
ともできる。In the case of using the omnidirectional image data of the cylindrical projection, similarly to the case of using the omnidirectional image data of the spherical projection, the omnidirectional image data shown to the right eye or the left eye is not suddenly switched during the movement of the line of sight. Before and after the switch
The image data may be continuously switched while the two omnidirectional image data are overlapped and displayed. Further, the omnidirectional image data of the cylindrical surface projection can be displayed as it is, or the data projected on the display plane can be displayed.
【0019】以上に述べたような本発明の方法により広
視野のステレオ画像表示を行うステレオ画像表示装置の
一例を図3乃至図6によって説明する。An example of a stereo image display apparatus for displaying a stereo image with a wide field of view by the method of the present invention as described above will be described with reference to FIGS.
【0020】図3はステレオ画像表示装置の概略ブロッ
ク図である。図3において、100は全方位画像データ
の記憶装置であり、前述したような僅かにずれた撮影地
点からの全方位画像データを例えば4つ記憶している。
102は観察者の視線の方位を入力する視線入力装置で
ある。この視線入力装置102は、キーボード等の人手
操作によって視線方位を入力する装置でもよいし、観察
者の視線の方位を光学的手法などにより自動的に検出し
て入力する公知の視線検知装置などでもよい。104は
左目用画像データと右目用画像データを作成して出力す
る画像処理装置である。この画像処理装置としては、一
般的なコンピュータを用いてもよいし、専用の装置を用
いてよい。コンピュータが用いられる場合には、図4乃
至図6に関連して後述するような処理の各ステップを実
行するためのプログラムがロードされることになる。な
お、そのようなプログラムが記録された媒体も、本発明
に包含されることは当然である。106は左目用画像デ
ータと右目用画像データを立体視可能に表示するための
表示装置である。この表示装置106としては、左目画
像を左目に、右目画像を右目に、それぞれ分離して観察
できる、偏光方式やヘッドマウント型(ゴーグル型)な
どの公知の画像表示装置を用いることができる。FIG. 3 is a schematic block diagram of a stereo image display device. In FIG. 3, reference numeral 100 denotes a storage device for omnidirectional image data, which stores, for example, four omnidirectional image data from a slightly shifted photographing point as described above.
Reference numeral 102 denotes a line-of-sight input device for inputting the direction of the line of sight of the observer. The line-of-sight input device 102 may be a device for inputting the line-of-sight direction by manual operation such as a keyboard, or a known line-of-sight detecting device for automatically detecting and inputting the line-of-sight direction of an observer by an optical method or the like. Good. An image processing apparatus 104 creates and outputs left-eye image data and right-eye image data. As this image processing device, a general computer may be used, or a dedicated device may be used. When a computer is used, a program for executing each step of the processing described later with reference to FIGS. 4 to 6 is loaded. It should be noted that a medium on which such a program is recorded is naturally included in the present invention. A display device 106 displays the left-eye image data and the right-eye image data in a stereoscopic manner. As the display device 106, a known image display device such as a polarization type or a head mounted type (goggle type) that can separately observe a left eye image for a left eye and a right eye image for a right eye can be used.
【0021】図4は、このステレオ画像表示装置の全体
的な処理フロー図である。全体的な処理フローは次の通
りである。まず、視線方位入力装置102より、観察者
の視線の方位が画像処理装置104に入力される(ステ
ップ200)。画像処理装置104において、入力され
た視線の方位に基づいて、記憶装置100に記憶されて
いる4つの全方位画像データの中から、図2に関連して
説明したように左目用の全方位画像データと右目用の全
方位画像データが選択され(ステップ202)、左目用
全方位画像データから左目用画像データが作成されて出
力され、また右目用全方位画像データから右目用画像デ
ータが作成されて出力される(ステップ204)。この
左目用画像データと右目用画像データが表示装置106
によりステレオ画像として表示される(ステップ20
6)。前述のように、視線方位を連続的に変更すること
により、全方位の画像を立体視することが可能である。FIG. 4 is an overall processing flowchart of the stereo image display device. The overall processing flow is as follows. First, the gaze direction of the observer is input from the gaze direction input device 102 to the image processing device 104 (step 200). In the image processing device 104, the omnidirectional image for the left eye is selected from the four omnidirectional image data stored in the storage device 100 as described with reference to FIG. The data and the omnidirectional image data for the right eye are selected (step 202), the image data for the left eye is created and output from the omnidirectional image data for the left eye, and the image data for the right eye is created from the omnidirectional image data for the right eye. Is output (step 204). The left-eye image data and the right-eye image data are displayed on the display device 106.
Is displayed as a stereo image (step 20).
6). As described above, by continuously changing the line-of-sight direction, it is possible to stereoscopically view an image in all directions.
【0022】記憶装置100に記憶されている全方位画
像データが平射投影データの場合、ステップ204では
図5に示すような処理が行われる。すなわち、選択され
た右目用と左目用の全方位画像データ(平射投影されて
いる)から、左目と右目の視野領域をそれぞれ切り出し
(ステップ300)、それぞれを球面に再投影し(ステ
ップ302)、それをそのまま出力するか(ステップ3
06)、あるいは、必要ならばさらに視線方向と垂直な
表示平面に投影し(ステップ304)、しかる後に出力
する(ステップ306)。表示平面への投影を行うか否
かを観察者から指示できるようにしてもよい。When the omnidirectional image data stored in the storage device 100 is the projection data, the processing shown in FIG. That is, from the selected omnidirectional image data for the right eye and the left eye (projected in a plan view), the visual field regions of the left eye and the right eye are respectively cut out (step 300), and each is reprojected onto a spherical surface (step 302). Do you want to output it as is (Step 3
06) Alternatively, if necessary, the image is projected on a display plane perpendicular to the line of sight (step 304), and then output (step 306). An observer may be able to instruct whether or not to perform projection on the display plane.
【0023】記憶装置100に記憶されている全方位画
像データが、円筒面に投影された全方位画像データの場
合、ステップ204では図6に示すような処理が行われ
る。すなわち、選択された右目用と左目用の全方位画像
データから、左目と右目の視野領域をそれぞれ切り出し
(ステップ400)、それをそのまま出力するか(ステ
ップ404)、あるいは、必要ならばさらに視線方向と
垂直な表示平面に投影し(ステップ402)、しかる後
に出力する(ステップ404)。表示平面への投影を行
うか否かを観察者からの指示できるようにしてもよい。If the omnidirectional image data stored in the storage device 100 is omnidirectional image data projected on a cylindrical surface, the process shown in FIG. 6 is performed in step 204. That is, from the selected omnidirectional image data for the right eye and the left eye, the visual field regions of the left eye and the right eye are respectively cut out (step 400), and are output as they are (step 404), or if necessary, the visual line direction is further increased. Are projected on a display plane perpendicular to the above (step 402), and then output (step 404). An observer may be able to instruct whether or not to perform projection on the display plane.
【0024】なお、記憶装置100に記憶される複数
(ここでは例えば4つ)の全方位画像データは、前述の
ように、球面投影のものであっても円筒面投影のもので
あっても、相互に極めて類似している。したがって、あ
る一つの撮影地点からの全方位画像データを基準にし、
それを公知の静止画像圧縮方式でデータ圧縮し、他の撮
影地点からの全方位画像データは基準の全方位画像デー
タとの差分データをとって、それを適宜変換してデータ
圧縮するならば、極めて高い圧縮率を期待でき、記憶や
伝送を効率的に行うことができる。このような圧縮デー
タを記憶装置100に保存しておくようにしてもよい。
この場合、画像処理装置104において、必要な撮影地
点からの全方位画像データを、圧縮データから復元する
処理を別に行う必要がある。As described above, a plurality of (here, for example, four) omnidirectional image data stored in the storage device 100 may be either spherical projection or cylindrical projection. Very similar to each other. Therefore, based on omnidirectional image data from a certain shooting point,
If the data is compressed by a known still image compression method, and the omnidirectional image data from the other photographing points take difference data from the reference omnidirectional image data, if it is appropriately converted and data compressed, An extremely high compression ratio can be expected, and storage and transmission can be performed efficiently. Such compressed data may be stored in the storage device 100.
In this case, in the image processing device 104, it is necessary to separately perform a process of restoring omnidirectional image data from a required shooting point from the compressed data.
【0025】[0025]
【発明の効果】以上の説明から明らかなように、本発明
によれば、360゜パノラマ画像のような広視野の画像
を視野の途切れを生じさせることなく立体視することが
可能になるという効果を得られる。As is apparent from the above description, according to the present invention, it is possible to stereoscopically view a wide-field image such as a 360-degree panoramic image without causing a break in the field of view. Can be obtained.
【図1】全方位画像データの作成と保存の説明のための
図である。FIG. 1 is a diagram for explaining creation and storage of omnidirectional image data.
【図2】撮影地点の異なる全方位画像データと、その視
線方位による選択を説明するための図である。FIG. 2 is a diagram for explaining omnidirectional image data at different photographing points and selection based on a line-of-sight direction;
【図3】ステレオ画像表示装置の一例を示すブロック図
である。FIG. 3 is a block diagram illustrating an example of a stereo image display device.
【図4】ステレオ画像表示装置の全体的な処理フローを
示すフローチャートである。FIG. 4 is a flowchart illustrating an overall processing flow of the stereoscopic image display device.
【図5】平射投影の全方位画像データから左目用と右目
用の画像データを作成し出力する処理のフローチャート
である。FIG. 5 is a flowchart of a process for creating and outputting image data for the left eye and the right eye from omnidirectional image data of the orthographic projection.
【図6】円筒面投影の全方位画像データから左目用と右
目用の画像データを作成し出力する処理のフローチャー
トである。FIG. 6 is a flowchart of a process for creating and outputting left-eye and right-eye image data from omnidirectional image data projected on a cylindrical surface.
100 全方位画像データの記憶装置 102 視線方位入力装置 104 画像処理装置 106 表示装置 A 画像が投影合成される球面 B 画像の投影合成される円筒面 C 水平面 D 合成画像が平射投影される円盤 REFERENCE SIGNS LIST 100 storage device for omnidirectional image data 102 gaze direction input device 104 image processing device 106 display device A spherical surface on which image is projected and synthesized B cylindrical surface on which image is projected and synthesized C horizontal plane D disk on which synthesized image is projected and projected
Claims (2)
上の全方位画像データより、観察者の視線の方位に基づ
いて選択した左目用の全方位画像データと右目用の全方
位画像データを観察者の左目と右目にそれぞれ見せるこ
とを特徴とするステレオ画像表示方法。1. An omnidirectional image data for a left eye and an omnidirectional image data for a right eye selected from three or more omnidirectional image data in which photographing points prepared in advance are shifted based on the direction of a line of sight of an observer. A stereoscopic image display method, wherein the left and right eyes of the observer are shown respectively.
データを記憶する記憶手段と、観察者の視線の方位を入
力する視線方位入力手段と、該視線方位入力手段により
入力された視線の方位に基づいて、該記憶手段に記憶さ
れている3つ以上の全方位画像データより左目用の全方
位画像データと右目用の全方位画像データを選択し、選
択した全方位画像データから左目用画像データと右目用
画像データをそれぞれ作成して出力する画像処理手段
と、該画像処理手段より出力された左目用画像データと
右目用画像データをそれぞれ観察者の左目と右目に画像
として見せる表示手段とを具備するステレオ画像表示装
置。2. A storage means for storing three or more omnidirectional image data in which photographing points are shifted, a gaze direction input means for inputting a gaze direction of an observer, and a gaze input by the gaze direction input means. Omnidirectional image data for the left eye and omnidirectional image data for the right eye are selected from the three or more omnidirectional image data stored in the storage means, and the left eye omnidirectional image data is selected from the selected omnidirectional image data. Processing means for creating and outputting image data for the right eye and image data for the right eye, and a display for displaying the image data for the left eye and the image data for the right eye output from the image processing means as images for the left and right eyes of the observer, respectively. Stereo image display device comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01933898A JP3600422B2 (en) | 1998-01-30 | 1998-01-30 | Stereo image display method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01933898A JP3600422B2 (en) | 1998-01-30 | 1998-01-30 | Stereo image display method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11220758A true JPH11220758A (en) | 1999-08-10 |
JP3600422B2 JP3600422B2 (en) | 2004-12-15 |
Family
ID=11996627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01933898A Expired - Lifetime JP3600422B2 (en) | 1998-01-30 | 1998-01-30 | Stereo image display method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3600422B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004514384A (en) * | 2000-11-29 | 2004-05-13 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Method and apparatus for monitoring the surroundings of a vehicle |
US20080298674A1 (en) * | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
JP2014095809A (en) * | 2012-11-09 | 2014-05-22 | Nintendo Co Ltd | Image creation method, image display method, image creation program, image creation system, and image display device |
JP2018522429A (en) * | 2015-05-27 | 2018-08-09 | グーグル エルエルシー | Capture and render panoramic virtual reality content |
US10375381B2 (en) | 2015-05-27 | 2019-08-06 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
-
1998
- 1998-01-30 JP JP01933898A patent/JP3600422B2/en not_active Expired - Lifetime
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004514384A (en) * | 2000-11-29 | 2004-05-13 | ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング | Method and apparatus for monitoring the surroundings of a vehicle |
US7362215B2 (en) | 2000-11-29 | 2008-04-22 | Robert Bosch Gmbh | System and method for monitoring the surroundings of a vehicle |
US20080298674A1 (en) * | 2007-05-29 | 2008-12-04 | Image Masters Inc. | Stereoscopic Panoramic imaging system |
JP2014095809A (en) * | 2012-11-09 | 2014-05-22 | Nintendo Co Ltd | Image creation method, image display method, image creation program, image creation system, and image display device |
JP2018522429A (en) * | 2015-05-27 | 2018-08-09 | グーグル エルエルシー | Capture and render panoramic virtual reality content |
US10375381B2 (en) | 2015-05-27 | 2019-08-06 | Google Llc | Omnistereo capture and render of panoramic virtual reality content |
Also Published As
Publication number | Publication date |
---|---|
JP3600422B2 (en) | 2004-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11528468B2 (en) | System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view | |
EP1048167B1 (en) | System and method for generating and displaying panoramic images and movies | |
JP4488996B2 (en) | Multi-view image creation apparatus, multi-view image creation method, and multi-view image creation program | |
JP3452244B2 (en) | Three-dimensional display method and apparatus | |
AU2018390994B2 (en) | Camera projection technique system and method | |
JP2001236521A (en) | Virtual reality system based on image dividing system | |
JP3600422B2 (en) | Stereo image display method and apparatus | |
CN108572460B (en) | Image display system | |
JP2986659B2 (en) | Stereoscopic image imaging and display system | |
JP4975256B2 (en) | 3D image presentation device | |
JP4183466B2 (en) | Method for generating omnidirectional binocular stereoscopic image | |
JP2004258594A (en) | Three-dimensional image display device realizing appreciation from wide angle | |
JPH08116556A (en) | Image processing method and device | |
JPH09205660A (en) | Electronic animation stereoscopic vision system and stereoscopic vision eyeglass | |
WO1997031484A1 (en) | Wide visual-field recognizing system | |
JP2005107463A (en) | Integral photography | |
JP2014116818A (en) | Whole-sky three-dimensional image display device, method for displaying whole-sky three-dimensional image, and image data correction program | |
JP2656787B2 (en) | 3D image communication device | |
KR100462574B1 (en) | System and method for displaying combination 2D and 3D multi-view image displays and image converting method its | |
JPH10271535A (en) | Image conversion method and image conversion device | |
KR20230087795A (en) | Apparatus and method for producting and displaying integral image capable of 3d/2d conversion | |
JPH08160353A (en) | Image display device and image recorder | |
JP2002027494A (en) | System for imaging and presenting stereoscopic image | |
JP2001052192A (en) | Photographing display system, three-dimensional image display method and storage medium | |
JPH08116554A (en) | Pseudo stereoscopic image generating method and pseudo stereoscopic image generating device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040525 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040916 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080924 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090924 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100924 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110924 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120924 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |