JP4657258B2

JP4657258B2 - Stereoscopic image display apparatus and method

Info

Publication number: JP4657258B2
Application number: JP2007163778A
Authority: JP
Inventors: 友子青野; 敏男野村; 裕之堅田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2007-06-21
Filing date: 2007-06-21
Publication date: 2011-03-23
Anticipated expiration: 2022-04-25
Also published as: JP2007312407A

Description

本発明は、立体画像用の左眼用画像および右眼用画像を作成して表示する技術に関し、特に、符号化データを復号してフォーマット変換を行った後に立体画像を表示する立体画像表示装置およびその方法に関する。 The present invention relates to a technique for creating and displaying a left-eye image and a right-eye image for a stereoscopic image, and in particular, a stereoscopic image display device that displays a stereoscopic image after decoding encoded data and performing format conversion. And its method.

近年、立体画像を表示する技術が盛んに研究されている。その１つとして、ユーザの左眼と右眼との視差を利用して立体画像を作成し、表示する立体画像装置を挙げることができる。 In recent years, techniques for displaying stereoscopic images have been actively studied. One of them is a stereoscopic image device that creates and displays a stereoscopic image using the parallax between the user's left eye and right eye.

図６は、従来の立体画像装置における画像データの作成方法を説明するための図である。この立体画像装置は、立体画像を作成する立体画像作成装置と、立体画像作成装置によって作成された立体画像を表示する立体画像表示装置とに分けられる。 FIG. 6 is a diagram for explaining a method of creating image data in a conventional stereoscopic image apparatus. This stereoscopic image device is divided into a stereoscopic image creation device that creates a stereoscopic image and a stereoscopic image display device that displays a stereoscopic image created by the stereoscopic image creation device.

立体画像作成装置は、画像データ作成時に２台のカメラで左眼用と右眼用との画像を各々撮影する。そして、図６（ａ）に示すように、１画素毎に画素を間引いて、左眼用画像および右眼用画像の水平方向のサイズを各々１／２にする。次に、水平方向に半分のサイズになった左眼用画像と右眼用画像とを各々符号化し、これらの符号化データを多重化し、多重化データを伝送、または記録媒体に記録する。 The stereoscopic image creation device captures images for the left eye and for the right eye with two cameras when creating image data. Then, as shown in FIG. 6A, the pixels are thinned out for each pixel, and the horizontal size of the left-eye image and the right-eye image is halved. Next, the image for the left eye and the image for the right eye that are halved in the horizontal direction are encoded, the encoded data is multiplexed, and the multiplexed data is transmitted or recorded on a recording medium.

立体画像表示装置は、立体画像作成装置によって作成された多重化データを受信または記録媒体から読出し、左眼用画像と右眼用画像とを各々再生する。そして、図６（ｂ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを１画素ずつ水平方向に交互に並べたり、図６（ｃ）に示すように、１ライン毎に垂直方向に交互に並べたりして、立体表示用の画像を作成する。立体画像表示装置は、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式等を用いて、ユーザの左眼には左眼用の画像だけが見え、ユーザの右眼には右眼用の画像だけが見えるようにすることで、ユーザに画像を立体として見せることができる。 The stereoscopic image display device receives the multiplexed data created by the stereoscopic image creation device or reads it from the recording medium, and reproduces the left-eye image and the right-eye image, respectively. Then, as shown in FIG. 6B, the left-eye image (L) and the right-eye image (R) are alternately arranged in the horizontal direction pixel by pixel, or as shown in FIG. An image for stereoscopic display is created by alternately arranging each line in the vertical direction. The stereoscopic image display device uses a lenticular method, a parallax barrier method, a shutter (time division) method, etc., and only the left eye image is visible to the user's left eye, and the right eye image is visible to the user's right eye. By making only visible, the image can be shown to the user as a solid.

このような立体画像装置の一例としては、特開平１１−１８１１１号公報に開示された立体映像伝送装置を挙げることができる。この特開平１１−１８１１１号公報に開示された立体映像伝送装置においては、圧縮回路が左眼用画像および右眼用画像をそれぞれ１画素毎に間引き処理を行なって、画像を水平走査線方向に圧縮する。 As an example of such a stereoscopic image apparatus, a stereoscopic video transmission apparatus disclosed in Japanese Patent Laid-Open No. 11-18111 can be cited. In the stereoscopic video transmission apparatus disclosed in Japanese Patent Application Laid-Open No. 11-18111, the compression circuit performs a thinning process on the left-eye image and the right-eye image for each pixel, and the image is moved in the horizontal scanning line direction. Compress.

たとえば、図６（ｄ）に示すように、撮影した画像の左から偶数番目のＲＧＢ画素値のみを抽出して、左眼用画像と右眼用画像とを作成する。また、図６（ｅ）に示すように、左眼用画像と右眼用画像とのＲＧＢのうち、画素のＧ値をＲＢ値に対して１画素分ずらして間引くことによって、左眼用画像と右眼用画像とを作成している。ここで、図６（ｄ）および図６（ｅ）に示すＲ、Ｇ、Ｂの後に付加されている数字は、１ライン上でのＲ、Ｇ、Ｂの各座標を示している。
特開平１１−１８１１１号公報 For example, as shown in FIG. 6D, only the even-numbered RGB pixel values from the left of the captured image are extracted to create a left-eye image and a right-eye image. Further, as shown in FIG. 6E, the left eye image is obtained by thinning out the G value of the pixel by one pixel from the RB value among the RGB of the left eye image and the right eye image. And an image for the right eye. Here, the numbers added after R, G, and B shown in FIGS. 6D and 6E indicate the coordinates of R, G, and B on one line.
Japanese Patent Laid-Open No. 11-18111

しかし、画像、特に動画像を伝送、または記録媒体に記録する場合には、画像のデータ量が非常に大きいため符号化処理を施すのが一般的である。一般的な符号化アルゴリズムであるＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、およびデジタルビデオカメラで使われるＤＶ方式の圧縮は、全て入力画像データとしてＹＵＶデータが用いられる。 However, when an image, particularly a moving image, is transmitted or recorded on a recording medium, the data amount of the image is very large, and therefore an encoding process is generally performed. In general compression algorithms such as MPEG (Moving Picture Experts Group) -1, MPEG-2, MPEG-4, and DV compression used in digital video cameras, YUV data is used as input image data.

また、カメラで撮影された画像もＲＧＢデータであるとは限らず、ＹＵＶデータであることが多い。さらには、ＹＵＶデータのフォーマットは、４：４：４、４：２：２、４：２：０、４：１：１等のように１種類ではないため、入力画像がＹＵＶデータであってもフォーマットが異なり、従来の立体画像表示装置が正しく立体画像を表示するためには適切なフォーマット変換が必要な場合があるといった問題点があった。 In addition, an image photographed by a camera is not necessarily RGB data, and is often YUV data. Furthermore, since the format of YUV data is not one type such as 4: 4: 4, 4: 2: 2, 4: 2: 0, 4: 1: 1, etc., the input image is YUV data. However, the format is different, and there is a problem that an appropriate format conversion may be necessary for a conventional stereoscopic image display apparatus to display a stereoscopic image correctly.

本発明は、上記問題点を解決するためになされたものであり、その目的は、色情報が最適となるように立体画像用データを補間して表示することが可能な立体画像表示装置およびその方法を提供することである。 The present invention has been made to solve the above problems, and an object of the present invention is to provide a stereoscopic image display device capable of interpolating and displaying stereoscopic image data so that color information is optimized, and the same Is to provide a method.

本発明のある局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するための逆多重化手段と、逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、逆多重化手段によって抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、復号手段によって復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するためのフォーマット変換手段と、フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む。 According to an aspect of the present invention, there is provided a stereoscopic image display device that displays a composite image of a left-eye image and a right-eye image in which luminance information and color information are separated, and demultiplexes the multiplexed data Demultiplexing means for extracting the encoded left-eye image, the encoded right-eye image, and the left-eye image and the right-eye image color information interpolation method; Decoding means for decoding the encoded left-eye image and encoded right-eye image extracted by the demultiplexing means, and the left-eye image and right-eye extraction extracted by the demultiplexing means Format conversion means for interpolating the color information of the left-eye image and right-eye image decoded by the decoding means and converting them into an image of a predetermined format with reference to the image color information interpolation method, and format conversion Left-eye image converted by means Synthesizing means for synthesizing fine right-eye image, in accordance with the synthesized image by synthesizing means and a display means for displaying a stereoscopic image.

本発明の別の局面に従えば、立体画像表示装置は、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示装置であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するための逆多重化手段と、逆多重化手段によって抽出された符号化された左眼用画像および符号化された右眼用画像を復号するための復号手段と、逆多重化手段によって抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、復号手段によって復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するためのフォーマット変換手段と、フォーマット変換手段によって変換された左眼用画像および右眼用画像を合成するための合成手段と、合成手段によって合成された画像に応じて立体画像を表示するための表示手段とを含む。 According to another aspect of the present invention, a stereoscopic image display device is a stereoscopic image display device that combines and displays a left-eye image and a right-eye image in which luminance information and color information are separated, The encoded data is demultiplexed to extract the encoded image for the left eye, the encoded image for the right eye, and information regarding the positions of the sampled pixels of the image for the left eye and the image for the right eye Demultiplexing means, decoding means for decoding the encoded left-eye image and encoded right-eye image extracted by the demultiplexing means, and demultiplexing means The left-eye image and the right-eye image decoded by the decoding means are horizontally expanded with reference to the information on the positions of the sampled pixels of the left-eye image and the right-eye image to obtain an image of a predetermined format. Former to convert Converting means, combining means for combining the left-eye image and right-eye image converted by the format converting means, and display means for displaying a stereoscopic image in accordance with the image combined by the combining means including.

本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像の色情報の補間方法とを抽出するステップと、抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、抽出された左眼用画像および右眼用画像の色情報の補間方法を参照して、復号された左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するステップと、所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、合成された画像に応じて立体画像を表示するステップとを含む。 According to yet another aspect of the present invention, there is provided a stereoscopic image display method for combining and displaying a left-eye image and a right-eye image in which luminance information and color information are separated, wherein multiplexed data is displayed. Extracting the left-eye image encoded, the encoded right-eye image, and the interpolation method of the color information of the left-eye image and the right-eye image by performing demultiplexing; The decoded left-eye image and the encoded right-eye image are decoded, and the decoded left-eye image and the right-eye image color information are interpolated by referring to the interpolation method of the color information of the extracted left-eye image and right-eye image. Interpolating the color information of the image for the eye and the image for the right eye to convert it to an image of a predetermined format, the step of combining the image for the left eye and the image for the right eye converted to the predetermined format, and the combined image And a step of displaying a stereoscopic image according to.

本発明のさらに別の局面に従えば、輝度情報と色情報とが分離された左眼用画像および右眼用画像を合成して表示する立体画像表示方法であって、多重化されたデータを逆多重化して、符号化された左眼用画像と、符号化された右眼用画像と、左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報とを抽出するステップと、抽出された符号化された左眼用画像および符号化された右眼用画像を復号するステップと、抽出された左眼用画像および右眼用画像のサンプリングした画素の位置に関する情報を参照して、復号された左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するステップと、所定フォーマットに変換された左眼用画像および右眼用画像を合成するステップと、合成された画像に応じて立体画像を表示するステップとを含む。 According to yet another aspect of the present invention, there is provided a stereoscopic image display method for combining and displaying a left-eye image and a right-eye image in which luminance information and color information are separated, wherein multiplexed data is displayed. Extracting the extracted left-eye image encoded, the encoded right-eye image, and the information about the position of the sampled pixel of the left-eye image and the right-eye image; A step of decoding the encoded left-eye image and the encoded right-eye image, and referring to information regarding the positions of the sampled pixels of the extracted left-eye image and right-eye image, Expanding the decoded left-eye image and right-eye image in the horizontal direction to convert the image into a predetermined format; synthesizing the left-eye image and right-eye image converted into a predetermined format; Composite image Depending on and displaying a stereoscopic image.

本発明のある局面によれば、フォーマット変換手段が、色情報の補間方法を参照して、左眼用画像および右眼用画像の色情報を補間して所定フォーマットの画像に変換するので、色情報が最適となるように立体画像用データを補間してより立体に見えやすい画像を表示することが可能となった。 According to an aspect of the present invention, the format conversion means refers to the color information interpolation method and interpolates the color information of the image for the left eye and the image for the right eye to convert it into an image of a predetermined format. It has become possible to display an image that can be viewed more stereoscopically by interpolating the stereoscopic image data so that the information is optimal.

本発明の別の局面によれば、フォーマット変換手段が、サンプリングした画素の位置に関する情報を参照して、左眼用画像および右眼用画像を水平方向に拡大して所定フォーマットの画像に変換するので、立体画像作成装置と立体画像表示装置とで位相のずれを防ぐことが可能となった。 According to another aspect of the present invention, the format conversion means refers to the information relating to the sampled pixel positions, expands the left-eye image and the right-eye image in the horizontal direction, and converts the image into a predetermined format. Therefore, it is possible to prevent a phase shift between the stereoscopic image creating apparatus and the stereoscopic image display apparatus.

（第１の実施の形態）
図１は、本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。この立体画像装置は、立体画像作成装置（以下、立体画像用データ作成部と呼ぶ。）１１１と、立体画像表示装置（以下、立体画像用データ表示部と呼ぶ。）１１２とを含む。 (First embodiment)
FIG. 1 is a block diagram showing a schematic configuration of a stereoscopic image apparatus according to the first embodiment of the present invention. The stereoscopic image device includes a stereoscopic image creation device (hereinafter referred to as a stereoscopic image data creation unit) 111 and a stereoscopic image display device (hereinafter referred to as a stereoscopic image data display unit) 112.

立体画像用データ作成部１１１は、カメラ１０１ａおよび１０１ｂと、左眼用画像作成部１０２と、右眼用画像作成部１０３と、エンコーダ１０４ａおよび１０４ｂと、多重化部１０５とを含む。カメラ１０１ａは、左眼用の画像を撮影する。また、カメラ１０１ｂは、右眼用の画像を撮影する。 The stereoscopic image data creation unit 111 includes cameras 101a and 101b, a left eye image creation unit 102, a right eye image creation unit 103, encoders 104a and 104b, and a multiplexing unit 105. The camera 101a captures an image for the left eye. The camera 101b captures an image for the right eye.

左眼用画像作成部１０２は、カメラ１０１ａによって撮影された左眼用の画像データを、エンコーダ１０４ａがエンコード可能なフォーマットに変換する。同様にして、右眼用画像作成部１０３は、カメラ１０１ｂによって撮影された右眼用の画像データを、エンコーダ１０４ｂがエンコード可能なフォーマットに変換する。 The left-eye image creation unit 102 converts left-eye image data captured by the camera 101a into a format that can be encoded by the encoder 104a. Similarly, the right-eye image creation unit 103 converts the right-eye image data captured by the camera 101b into a format that can be encoded by the encoder 104b.

エンコーダ１０４ａは、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、カメラ１０１ａによって撮影された画像をエンコードする。エンコーダ１０４ｂは、エンコーダ１０４ａと同様のアルゴリズムを利用して、カメラ１０１ｂによって撮影された画像をエンコードする。 The encoder 104a encodes an image photographed by the camera 101a using an algorithm such as MPEG-1, MPEG-2, MPEG-4, DV compression method or the like. The encoder 104b encodes an image photographed by the camera 101b using the same algorithm as the encoder 104a.

多重化部１０５は、エンコーダ１０４ａによってエンコードされた左眼用画像の符号化データ、エンコーダ１０４ｂによってエンコードされた右眼用画像の符号化データ、および各種制御情報を多重化する。多重化部１０５によって多重化されたデータは、立体画像用データ表示部１１２に送信されたり、記録メディアに記録されたりする。 The multiplexing unit 105 multiplexes the encoded data of the left-eye image encoded by the encoder 104a, the encoded data of the right-eye image encoded by the encoder 104b, and various control information. The data multiplexed by the multiplexing unit 105 is transmitted to the stereoscopic image data display unit 112 or recorded on a recording medium.

また、立体画像用データ表示部１１２は、逆多重化部１０６と、デコーダ１０７ａおよび１０７ｂと、フォーマット変換部１０８ａおよび１０８ｂと、合成部１０９と、表示部１１０とを含む。 The stereoscopic image data display unit 112 includes a demultiplexing unit 106, decoders 107 a and 107 b, format conversion units 108 a and 108 b, a combining unit 109, and a display unit 110.

逆多重化部１０６は、立体画像用データ作成部１１１から受信した多重化データや、記録メディアから読出した多重化データを逆多重化し、左眼用画像の符号化データ、右眼用画像の符号化データおよび各種制御情報を抽出する。抽出された左眼用画像の符号化データはデコーダ１０７ａに転送され、右眼用画像の符号化データはデコーダ１０７ｂに転送され、制御情報はフォーマット変換部１０８ａおよび１０８ｂに転送される。 The demultiplexing unit 106 demultiplexes the multiplexed data received from the stereoscopic image data creation unit 111 and the multiplexed data read from the recording medium, and encodes the left-eye image data and the right-eye image code. Data and various control information are extracted. The extracted encoded data of the left-eye image is transferred to the decoder 107a, the encoded data of the right-eye image is transferred to the decoder 107b, and the control information is transferred to the format converters 108a and 108b.

デコーダ１０７ａは、エンコーダ１０４ａに対応しており、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＤＶ圧縮方式等のアルゴリズムを利用して、逆多重化部１０６から受けた左眼用画像の符号化データを復号する。デコーダ１０７ｂは、エンコーダ１０４ｂに対応しており、デコーダ１０７ａと同様のアルゴリズムを利用して、逆多重化部１０６から受けた右眼用画像の符号化データを復号する。 The decoder 107a corresponds to the encoder 104a, and encodes the image for the left eye received from the demultiplexing unit 106 using an algorithm such as MPEG-1, MPEG-2, MPEG-4, or DV compression system. Decrypt the data. The decoder 107b corresponds to the encoder 104b, and decodes the encoded data of the right-eye image received from the demultiplexing unit 106 using the same algorithm as the decoder 107a.

フォーマット変換部１０８ａは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ａによって復号された左眼用画像を、表示部１１０が表示可能なフォーマットに変換する。同様に、フォーマット変換部１０８ｂは、逆多重化部１０６から受けた制御情報を参照して、デコーダ１０７ｂによって復号された右眼用画像を、表示部１１０が表示可能なフォーマットに変換する。 The format conversion unit 108 a refers to the control information received from the demultiplexing unit 106 and converts the left-eye image decoded by the decoder 107 a into a format that can be displayed by the display unit 110. Similarly, the format conversion unit 108b refers to the control information received from the demultiplexing unit 106, and converts the right-eye image decoded by the decoder 107b into a format that can be displayed by the display unit 110.

合成部１０９は、フォーマット変換部１０８ａによってフォーマット変換された左眼用画像と、フォーマット変換部１０８ｂによってフォーマット変換された右眼用画像とを合成し、立体画像用データを作成する。 The synthesizing unit 109 synthesizes the left-eye image converted by the format converting unit 108a and the right-eye image converted by the format converting unit 108b to create stereoscopic image data.

表示部１１０は、ＬＣＤ（Liquid Crystal Display）モジュールなどによって構成され、レンチキュラ方式、パララクスバリア方式、シャッタ（時分割）方式などを用いて、立体画像を表示する。 The display unit 110 is configured by an LCD (Liquid Crystal Display) module or the like, and displays a stereoscopic image using a lenticular method, a parallax barrier method, a shutter (time division) method, or the like.

図２および図３は、各種画像フォーマットの一例を示す図である。各画素の上の数値はその画素の左端からの座標を表しており、本明細書では画素の位置を画像の左端からの座標で表すことにする。また、特に断らない限り、Ｕ成分とＶ成分とをまとめてＣ（クロマ成分）と表すことにする。なお、図２においては、ＹとＣとの関係が全てのラインで同じなので、１ラインのみを記載している。 2 and 3 are diagrams showing examples of various image formats. The numerical value above each pixel represents the coordinate from the left end of the pixel, and in this specification, the position of the pixel is represented by the coordinate from the left end of the image. Unless otherwise specified, the U component and the V component are collectively expressed as C (chroma component). In FIG. 2, since the relationship between Y and C is the same for all lines, only one line is shown.

図２（ａ）は、ＹＵＶ４：２：２フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２に削減したものである。図２（ｄ）は、ＹＵＶ４：１：１フォーマットを示す図であり、Ｙに対してＣを水平方向に１／４に削減したものである。図３（ａ）はＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを示す図であり、Ｙに対してＣを水平方向に１／２、垂直方向に１／２に削減したものである。 FIG. 2A is a diagram showing a YUV 4: 2: 2 format, in which C is reduced to 1/2 in the horizontal direction with respect to Y. FIG. 2D is a diagram showing a YUV 4: 1: 1 format, in which C is reduced to 1/4 in the horizontal direction with respect to Y. FIG. 3A is a diagram showing a YUV 4: 2: 0 (for MPEG-2) format, in which C is reduced to 1/2 in the horizontal direction and 1/2 in the vertical direction with respect to Y.

図２（ａ）および図２（ｄ）に示すように、ＹＵＶ４：２：２フォーマットやＹＵＶ４：１：１フォーマットにおいては、各ライン上でＹとＣとが同じ位置でサンプリングされている。しかし、図３（ａ）に示すように、ＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットにおいては、Ｃを垂直方向にも間引くために、ＹとＣとの垂直方向のサンプリング位置は異なっている。ここで、図３（ａ）の左端の数値は、その画素の画像の上端からの座標を示す数値である。 As shown in FIGS. 2A and 2D, in the YUV 4: 2: 2 format and the YUV 4: 1: 1 format, Y and C are sampled at the same position on each line. However, as shown in FIG. 3 (a), in the YUV 4: 2: 0 (for MPEG-2) format, since C is thinned out in the vertical direction as well, the vertical sampling positions of Y and C are different. Yes. Here, the numerical value at the left end of FIG. 3A is a numerical value indicating coordinates from the upper end of the image of the pixel.

図２（ａ）と図３（ａ）とを比較すればわかるように、水平方向のＹとＣとの関係では、ＹＵＶ４：２：２フォーマットとＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットとが同じである。本発明においては水平方向の処理しか関係しないため、以下の説明ではＹＵＶ４：２：２フォーマットの中にＹＵＶ４：２：０（ＭＰＥＧ−２用）フォーマットを含めることにする。 As can be seen by comparing FIG. 2A and FIG. 3A, the YUV4: 2: 2 format and the YUV4: 2: 0 (for MPEG-2) format are used in the relationship between Y and C in the horizontal direction. Is the same. In the present invention, since only the processing in the horizontal direction is concerned, the following description will include the YUV 4: 2: 0 (for MPEG-2) format in the YUV 4: 2: 2 format.

本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：２フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ａ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：２フォーマットである場合には、図２（ｂ）または図２（ｃ）に示すものとなる。また、間引きを行なった後の画像データがＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。 In the present embodiment, the cameras 101a and 101b output YUV 4: 2: 2 format data. When the image data shown in FIG. 2A is input, the left-eye image creation unit 102 and the right-eye image creation unit 103 perform 1/2 thinning on the image data in the horizontal direction. When the image data after the thinning is also in the YUV 4: 2: 2 format, it is as shown in FIG. 2B or 2C. Further, when the image data after thinning is in the YUV 4: 1: 1 format, it is as shown in FIG. 2 (e) or FIG. 2 (f).

ここで、間引き処理をする前の座標ｉの画素のＹをＹ（ｉ）、座標ｉの画素のＣをＣ（ｉ）と表すことにする。図２（ｂ）においては、Ｙ（０）、Ｙ（２）、Ｙ（４）、Ｙ（６）、Ｙ（８）…が存在すると共に、Ｃ（０）、Ｃ（４）、Ｃ（８）…が存在する。また、図２（ｃ）においては、Ｙ（１）、Ｙ（３）、Ｙ（５）、Ｙ（７）、Ｙ（９）…が存在すると共に、Ｃ（１）、Ｃ（５）、Ｃ（９）…が存在する。 Here, Y of the pixel at the coordinate i before the thinning process is expressed as Y (i), and C of the pixel at the coordinate i is expressed as C (i). In FIG. 2B, Y (0), Y (2), Y (4), Y (6), Y (8)... Exist, and C (0), C (4), C ( 8) ... exists. In FIG. 2C, Y (1), Y (3), Y (5), Y (7), Y (9)... Exist, and C (1), C (5), C (9) ... exists.

図２（ｂ）と図２（ｃ）との違いは、偶数番目の画素をサンプリングするか、奇数番目の画素をサンプリングするかの違いである。左眼用画像と右眼用画像との組合わせにおいて、左眼用画像として図２（ｂ）に示す画像を使い、右眼用画像として図２（ｃ）に示す画像を使うようにしてもよい。また、左眼用画像として図２（ｃ）に示す画像を使い、右眼用画像として図２（ｂ）に示す画像を使うようにしてもよい。 The difference between FIG. 2B and FIG. 2C is whether the even-numbered pixels are sampled or the odd-numbered pixels are sampled. In the combination of the left eye image and the right eye image, the image shown in FIG. 2B may be used as the left eye image, and the image shown in FIG. 2C may be used as the right eye image. Good. Alternatively, the image shown in FIG. 2C may be used as the left eye image, and the image shown in FIG. 2B may be used as the right eye image.

また、左眼用画像および右眼用画像の双方とも図２（ｂ）に示す画像を使ってもよいし、双方とも図２（ｃ）に示す画像を使ってもよい。左眼用画像と右眼用画像との組み合わせの選択は自由である。本発明の実施の形態２以降についても同様である。 Further, both the left-eye image and the right-eye image may use the image shown in FIG. 2B, or both may use the image shown in FIG. The combination of the left eye image and the right eye image can be freely selected. The same applies to the second and subsequent embodiments of the present invention.

また、間引いた後の画像として、図２（ｂ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｃ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｃ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｃ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。 Further, when the image shown in FIG. 2B is used as the image after thinning, it is sufficient to use data at the same position before sampling for Y and C as they are. Even when the image shown in FIG. 2C is used as the image after thinning, Y may use data at the same position before sampling. However, when the image shown in FIG. 2C is used as the thinned image, the position of C differs before and after sampling, and there is no data at the same position before sampling. Therefore, C in the image shown in FIG. 2C is obtained from C (0), C (2), C (4), C (6), C (8). 5), C (9)... Must be calculated.

たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｃ）に示す画像のＣをＣｃと表すと、ＣａとＣｃとの関係は次に示す式（１）〜（３）のいずれかとなる。 For example, when C in the image shown in FIG. 2A is expressed as Ca and C in the image shown in FIG. 2C is expressed as Cc, the relationship between Ca and Cc is expressed by the following equations (1) to (3). )

Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４） …（１）
Ｃｃ（ｉ＊４＋１）＝Ｃａ（ｉ＊４＋２） …（２）
Ｃｃ（ｉ＊４＋１）＝（Ｃａ（ｉ＊４）＋Ｃａ（ｉ＊４＋２））／２
…（３）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。式（１）、式（２）または式（３）のように、図２（ｃ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１）は左隣のＣの画素値を用いる場合、式（２）は右隣のＣの画素値を用いる場合、式（３）は両隣のＣの平均画素値を用いる場合を示している。 Cc (i * 4 + 1) = Ca (i * 4) (1)
Cc (i * 4 + 1) = Ca (i * 4 + 2) (2)
Cc (i * 4 + 1) = (Ca (i * 4) + Ca (i * 4 + 2)) / 2
... (3)
Here, Ca (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2A, and Cc (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2C. As shown in Equation (1), Equation (2), or Equation (3), the pixel corresponding to the position C in the image shown in FIG. Become. That is, Formula (1) uses the left C pixel value, Formula (2) uses the right C pixel value, and Formula (3) uses the C average pixel value on both sides. Show.

同様に、左眼用画像作成部１０２および右眼用画像作成部１０３がＹＵＶ４：１：１フォーマットで画像を作成する場合も、左眼用画像と右眼用画像との組み合わせの選択は自由である。間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、画素のＣに関してはサンプリング前後で位置が異なるため、サンプリング前の同じ位置のデータが存在しない。従って、図２（ｆ）に示す画像のＣについては、サンプリング前のＣ（０）、Ｃ（２）、Ｃ（４）、Ｃ（６）、Ｃ（８）…から、Ｃ（１）、Ｃ（９）…を計算する必要がある。 Similarly, when the left-eye image creation unit 102 and the right-eye image creation unit 103 create an image in the YUV 4: 1: 1 format, the combination of the left-eye image and the right-eye image can be freely selected. is there. When the image shown in FIG. 2E is used as the thinned image, the data at the same position before sampling may be used as they are for Y and C. Even when the image shown in FIG. 2F is used as the image after thinning, Y may use data at the same position before sampling. However, when the image shown in FIG. 2F is used as the image after thinning, since the position of pixel C differs before and after sampling, there is no data at the same position before sampling. Therefore, for C of the image shown in FIG. 2 (f), C (0), C (2), C (4), C (6), C (8). It is necessary to calculate C (9).

たとえば、図２（ａ）に示す画像のＣをＣａと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣａとＣｆとの関係は次に示す式（４）〜（６）のいずれかとなる。 For example, when C in the image shown in FIG. 2A is expressed as Ca and C in the image shown in FIG. 2F is expressed as Cf, the relationship between Ca and Cf is expressed by the following equations (4) to (6). )

Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８） …（４）
Ｃｆ（ｉ＊８＋１）＝Ｃａ（ｉ＊８＋２） …（５）
Ｃｆ（ｉ＊８＋１）＝（Ｃａ（ｉ＊８）＋Ｃａ（ｉ＊８＋２））／２
…（６）
ここで、Ｃａ（ｉ）は図２（ａ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。式（４）、式（５）または式（６）に示すように、図２（ｆ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（４）は左隣のＣの画素値を用いる場合、式（５）は右隣のＣの画素値を用いる場合、式（６）は両隣のＣの平均画素値を用いる場合を示している。 Cf (i * 8 + 1) = Ca (i * 8) (4)
Cf (i * 8 + 1) = Ca (i * 8 + 2) (5)
Cf (i * 8 + 1) = (Ca (i * 8) + Ca (i * 8 + 2)) / 2
(6)
Here, Ca (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2A, and Cf (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2F. As shown in Expression (4), Expression (5), or Expression (6), calculation is performed using the pixel value of the pixel corresponding to the position C in FIG. That is, Formula (4) uses the left C pixel value, Formula (5) uses the C pixel value on the right, and Formula (6) uses the C average pixel value on both sides. Show.

２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｂ）および図２（ｃ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）および図２（ｆ）に示す画像）のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。 In order to convert the images photographed by the two cameras 101a and 101b into a left-eye image and a right-eye image, respectively, the images (YUV4: 1: 1 shown in FIGS. 2B and 2C) are used. In the case of the format, the user selects which of the images shown in FIG. 2 (e) and FIG. 2 (f) is selected according to the situation. Then, a flag indicating which one has been selected is output to the multiplexing unit 105. The multiplexing unit 105 multiplexes the flag into the encoded data of the left-eye image and the encoded data of the right-eye image as control information.

光軸を並行にして撮影する場合には、左眼用画像として図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）、右眼用画像として図２（ｃ）に示す画像（ＹＵＶフォーマット４：１：１の場合には、図２（ｆ）に示す画像）を選択すると、高い精度の画像が得られる。 When photographing in parallel with the optical axis, the image shown in FIG. 2B (the image shown in FIG. 2E in the case of YUV4: 1: 1 format) is used for the left eye. When an image shown in FIG. 2C (an image shown in FIG. 2F in the case of YUV format 4: 1: 1) is selected as an image, an image with high accuracy is obtained.

また、左眼用画像および右眼用画像とも、図２（ｂ）に示す画像（ＹＵＶ４：１：１フォーマットの場合には、図２（ｅ）に示す画像）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。 For both the left-eye image and the right-eye image, if the image shown in FIG. 2B (in the case of YUV4: 1: 1 format, the image shown in FIG. 2E) is selected, the processing is simple. is there. In this way, the user may select an image suitable for the situation each time.

以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：２フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。 As described above, in the stereoscopic image device according to the present embodiment, when the images captured by the cameras 101a and 101b are in the YUV 4: 2: 2 format, the left-eye image creation unit 102 and the right-eye image creation unit Since the color information is calculated in accordance with the position of the color information of the image created by performing the thinning process when the image for the left eye and the image for the right eye are created by 103, a highly accurate stereoscopic image can be obtained. It became possible to create.

また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる。 Also, control information including information indicating which YUV format the image corresponds to and information indicating which pixel of the position is encoded is encoded data of the left-eye image and encoding of the right-eye image. Since it is multiplexed with data, when the stereoscopic image data display unit 112 displays a stereoscopic image, it is possible to improve convenience when the user determines which combination of images is likely to appear stereoscopic. It became possible. Further, by feeding back to the stereoscopic image data creation unit 111 information on which combination is likely to be seen as a stereoscopic image, the left-eye image and the right-eye image in the left-eye image creation unit 102 and the right-eye image creation unit 103 It is possible to easily select an image.

（第２の実施の形態）
本発明の第２の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。 (Second Embodiment)
The schematic configuration of the stereoscopic image device according to the second embodiment of the present invention is the same as the schematic configuration of the stereoscopic image device according to the first embodiment shown in FIG. Therefore, detailed description of overlapping configurations and functions will not be repeated.

本実施の形態においては、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：１：１フォーマットの画像データを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図２（ｄ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：１：１フォーマットである場合には、図２（ｅ）または図２（ｆ）に示すものとなる。 In this embodiment, the cameras 101a and 101b output YUV4: 1: 1 format image data. When the image data shown in FIG. 2D is input, the left-eye image creation unit 102 and the right-eye image creation unit 103 perform ½ thinning out on the image data in the horizontal direction. When the image data after the thinning is also in the YUV 4: 1: 1 format, it is as shown in FIG. 2 (e) or FIG. 2 (f).

間引いた後の画像として、図２（ｅ）に示す画像を使う場合には、ＹおよびＣともサンプリング前の同じ位置のデータをそのまま使えばよい。間引いた後の画像として、図２（ｆ）に示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、間引いた後の画像として、図２（ｆ）に示す画像を使う場合には、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。したがって、図２（ｆ）に示す画像のＣは、サンプリング前のＣ（０）、Ｃ（４）、Ｃ（８）…からＣ（１）、Ｃ（９）…を計算する必要がある。 When the image shown in FIG. 2E is used as the thinned image, the data at the same position before sampling may be used as they are for Y and C. Even when the image shown in FIG. 2F is used as the image after thinning, Y may use data at the same position before sampling. However, when the image shown in FIG. 2F is used as the image after thinning, the position of C differs before and after sampling, and there is no data at the same position before sampling. Therefore, for C in the image shown in FIG. 2 (f), it is necessary to calculate C (1), C (9)... From C (0), C (4), C (8).

たとえば、図２（ｄ）に示す画像のＣをＣｄと表し、図２（ｆ）に示す画像のＣをＣｆと表すと、ＣｄとＣｆとの関係は次に示す式（７）〜式（９）のいずれかとなる。 For example, when C in the image shown in FIG. 2D is represented as Cd and C in the image shown in FIG. 2F is represented as Cf, the relationship between Cd and Cf is expressed by the following equations (7) to ( 9).

Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８） …（７）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８＋４） …（８）
Ｃｆ（ｉ＊８＋１）＝Ｃｄ（ｉ＊８）＊Ｗ１＋Ｃｄ（ｉ＊８＋４）＊Ｗ２ …（９）
ここで、Ｃｄ（ｉ）は図２（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（７）、式（８）または式（９）のように、図２（ｆ）に示す画像のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（７）は左隣のＣの画素値を用いる場合、式（８）は右隣のＣの画素値を用いる場合、式（９）は両隣のＣの平均画素値を用いる場合である。 Cf (i * 8 + 1) = Cd (i * 8) (7)
Cf (i * 8 + 1) = Cd (i * 8 + 4) (8)
Cf (i * 8 + 1) = Cd (i * 8) * W1 + Cd (i * 8 + 4) * W2 (9)
Here, Cd (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2 (d), and Cf (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2 (f). W1 and W2 are weighting factors, and W1 + W2 = 1. As shown in Expression (7), Expression (8), or Expression (9), the pixel corresponding to the position of C in the image shown in FIG. Become. That is, Equation (7) uses the pixel value of the adjacent C on the left, Equation (8) uses the pixel value of the adjacent C on the right, and Equation (9) shows the case of using the average pixel value of the adjacent C. is there.

ＹＵＶ４：１：１フォーマットの場合はもともとＣの情報が少なく、水平方向に１／２に間引くと情報量がさらに少なくなるので、間引いた後の画像が図２（ｅ）に示す画像の場合でも、Ｃに関してはサンプリング前の近傍画素の重み付和等を計算した方が画質はよくなる。 In the case of the YUV4: 1: 1 format, the information of C is originally small, and the amount of information is further reduced by thinning in half in the horizontal direction. Therefore, even when the thinned image is the image shown in FIG. As for C, the image quality is better when the weighted sum of neighboring pixels before sampling is calculated.

２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図２（ｅ）および図２（ｆ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。 Which of the images shown in FIGS. 2 (e) and 2 (f) is selected in order to convert the images captured by the two cameras 101a and 101b into a left-eye image and a right-eye image, respectively. Is selected by the user according to the situation. Then, a flag indicating which one has been selected is output to the multiplexing unit 105. The multiplexing unit 105 multiplexes the flag into the encoded data of the left-eye image and the encoded data of the right-eye image as control information.

光軸を並行にして撮影する場合には、左眼用画像として図２（ｅ）に示す画像、右眼用画像として図２（ｆ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図２（ｅ）に示す画像を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。 When photographing with the optical axes in parallel, a high-accuracy image can be obtained by selecting the image shown in FIG. 2E as the left-eye image and the image shown in FIG. 2F as the right-eye image. . Further, both the left-eye image and the right-eye image can be easily processed by selecting the image shown in FIG. In this way, the user may select an image suitable for the situation each time.

以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：１：１フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。 As described above, in the stereoscopic image device according to the present embodiment, when the images captured by the cameras 101a and 101b are in the YUV4: 1: 1 format, the left-eye image creation unit 102 and the right-eye image creation unit Since the color information is calculated in accordance with the position of the color information of the image created by performing the thinning process when the image for the left eye and the image for the right eye are created by 103, a highly accurate stereoscopic image can be obtained. It became possible to create.

また、画像がどのＹＵＶフォーマットに相当するかを示す情報およびどの位置の画素を符号化したかを示す情報を含んだ制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、どの組合わせの画像が立体に見えやすいか等をユーザが決定する際の利便性を向上させることが可能となった。また、どの組合せが立体に見えやすいかの情報を立体画像用データ作成部１１１にフィードバックすることによって、左眼用画像作成部１０２および右眼用画像作成部１０３における左眼用画像および右眼用画像の選択を容易に行なうことが可能となる等、第１の実施の形態において説明した効果と同様の効果を得ることが可能となった。 Also, control information including information indicating which YUV format the image corresponds to and information indicating which pixel of the position is encoded is encoded data of the left-eye image and encoding of the right-eye image. Since it is multiplexed with data, when the stereoscopic image data display unit 112 displays a stereoscopic image, it is possible to improve convenience when the user determines which combination of images is likely to appear stereoscopic. It became possible. Further, by feeding back to the stereoscopic image data creation unit 111 information on which combination is likely to be seen as a stereoscopic image, the left-eye image and the right-eye image in the left-eye image creation unit 102 and the right-eye image creation unit 103 It is possible to obtain the same effect as that described in the first embodiment, such as making it possible to easily select an image.

（第３の実施の形態）
本発明の第３の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。 (Third embodiment)
The schematic configuration of the stereoscopic image device according to the third embodiment of the present invention is the same as the schematic configuration of the stereoscopic image device according to the first embodiment shown in FIG. Therefore, detailed description of overlapping configurations and functions will not be repeated.

本実施の形態において、カメラ１０１ａおよび１０１ｂが、ＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットのデータを出力する場合のものである。左眼用画像作成部１０２および右眼用画像作成部１０３は、図３（ｂ）に示す画像データが入力されると、この画像データに対して水平方向に１／２の間引きを行なう。間引きを行なった後の画像データもＹＵＶ４：２：０フォーマットである場合には、図３（ｃ）または図３（ｄ）に示すものとなる。 In this embodiment, the cameras 101a and 101b output data in the YUV 4: 2: 0 (for MPEG-1) format. When the image data shown in FIG. 3B is input, the left-eye image creation unit 102 and the right-eye image creation unit 103 thin out the image data by 1/2 in the horizontal direction. When the image data after the thinning is also in the YUV 4: 2: 0 format, it is as shown in FIG. 3C or 3D.

また、間引いた後の画像として、図３（ｃ）および図３（ｄ）のいずれに示す画像を使う場合にも、Ｙはサンプリング前の同じ位置のデータをそのまま使えばよい。しかし、Ｃに関してはサンプリング前後で位置が異なり、サンプリング前の同じ位置のデータが存在しない。 In addition, in the case where the image shown in either FIG. 3C or FIG. 3D is used as the image after thinning, Y can use data at the same position before sampling as it is. However, the position of C differs before and after sampling, and there is no data at the same position before sampling.

したがって、図３（ｃ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（１）、Ｃ（５）、Ｃ（９）…を計算する必要がある。ここで、Ｃ（ｉ＿（ｉ＋１））は座標ｉと座標（ｉ＋１）の中間位置を意味する。 Therefore, C in the image shown in FIG. 3C is obtained from C (0_1), C (2_3), C (4_5), C (6_7), C (8_9). 5), C (9)... Must be calculated. Here, C (i_ (i + 1)) means an intermediate position between coordinates i and coordinates (i + 1).

たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｃ）に示す画像のＣをＣｃと表すと、ＣｂとＣｃとの関係は次に示す式（１０）〜（１２）のいずれかとなる。 For example, when C in the image shown in FIG. 3B is expressed as Cb and C in the image shown in FIG. 3C is expressed as Cc, the relationship between Cb and Cc is expressed by the following equations (10) to (12). )

Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））…（１０）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１１）
Ｃｃ（ｉ＊４＋１）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１２）
ここで、Ｃｃ（ｉ）は図３（ｃ）の座標ｉのＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。 Cc (i * 4 + 1) = Cb ((i * 4) _ (i * 4 + 1)) (10)
Cc (i * 4 + 1) = Cb ((i * 4 + 2) _ (i * 4 + 3)) (11)
Cc (i * 4 + 1) = Cb ((i * 4) _ (i * 4 + 1)) * W1 + Cb ((i * 4 + 2) _ (i * 4 + 3)) * W2 (12)
Here, Cc (i) represents C of the coordinate i in FIG. W1 and W2 are weighting factors, and W1 + W2 = 1.

また、図３（ｄ）に示す画像のＣは、サンプリング前のＣ（０＿１）、Ｃ（２＿３）、Ｃ（４＿５）、Ｃ（６＿７）、Ｃ（８＿９）…からＣ（２）、Ｃ（６）、Ｃ（１０）…を計算する必要がある。 Also, C in the image shown in FIG. 3 (d) is C (0_1), C (2_3), C (4_5), C (6_7), C (8_9),. 6) It is necessary to calculate C (10).

たとえば、図３（ｂ）に示す画像のＣをＣｂと表し、図３（ｄ）に示す画像のＣをＣｄと表すと、ＣｂとＣｄとの関係は次に示す式（１３）〜（１５）のいずれかとなる。 For example, when C in the image shown in FIG. 3B is expressed as Cb and C in the image shown in FIG. 3D is expressed as Cd, the relationship between Cb and Cd is expressed by the following equations (13) to (15). )

Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１）） …（１３）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））…（１４）
Ｃｄ（ｉ＊４＋２）＝Ｃｂ（（ｉ＊４）＿（ｉ＊４＋１））＊Ｗ１＋Ｃｂ（（ｉ＊４＋２）＿（ｉ＊４＋３））＊Ｗ２ …（１５）
ここで、Ｃｄ（ｉ）は図３（ｄ）の座標ｉのＣを表している。Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。 Cd (i * 4 + 2) = Cb ((i * 4) _ (i * 4 + 1)) (13)
Cd (i * 4 + 2) = Cb ((i * 4 + 2) _ (i * 4 + 3)) (14)
Cd (i * 4 + 2) = Cb ((i * 4) _ (i * 4 + 1)) * W1 + Cb ((i * 4 + 2) _ (i * 4 + 3)) * W2 (15)
Here, Cd (i) represents C at the coordinate i in FIG. W1 and W2 are weighting factors, and W1 + W2 = 1.

式（１０）〜（１５）に示すように、図３（ｂ）のＣの位置に対応する画素の、サンプリング前の近傍の画素値を使って計算することになる。すなわち、式（１０）および式（１３）は左隣のＣの画素値を用いる場合、式（１１）および式（１４）は右隣のＣの画素値を用いる場合、式（１２）および式（１５）は両隣のＣの平均画素値を用いる場合である。 As shown in Expressions (10) to (15), the calculation is performed using the pixel values in the vicinity of the pixel corresponding to the position C in FIG. 3B before sampling. That is, when Expression (10) and Expression (13) use the C pixel value on the left side, Expression (11) and Expression (14) use the C pixel value on the right side, and when Expression (12) and Expression (14) are used. (15) is a case where the average pixel value of C on both sides is used.

２台のカメラ１０１ａおよび１０１ｂで撮影した画像を、各々左眼用画像と右眼用画像とに変換するために、図３（ｃ）および図３（ｄ）に示す画像のいずれを選択するかについては、ユーザが状況に応じて選択する。そして、いずれを選択したかを示すフラグが多重化部１０５に出力される。多重化部１０５は、このフラグを制御情報として左眼用画像の符号化データおよび右眼用画像の符号化データに多重化する。 Which of the images shown in FIG. 3 (c) and FIG. 3 (d) is selected in order to convert the images captured by the two cameras 101a and 101b into a left-eye image and a right-eye image, respectively. Is selected by the user according to the situation. Then, a flag indicating which one has been selected is output to the multiplexing unit 105. The multiplexing unit 105 multiplexes the flag into the encoded data of the left-eye image and the encoded data of the right-eye image as control information.

光軸を並行にして撮影する場合には、左眼用画像として図３（ｃ）に示す画像、右眼用画像として図３（ｄ）に示す画像を選択すると、高い精度の画像が得られる。また、左眼用画像および右眼用画像とも、図３（ｃ）を選択すると、処理が簡単である。このように、ユーザがその都度、状況にあった画像を選択するようにすればよい。 When photographing with the optical axes in parallel, a high-accuracy image can be obtained by selecting the image shown in FIG. 3C as the left-eye image and the image shown in FIG. 3D as the right-eye image. . Further, when both the left-eye image and the right-eye image are selected as shown in FIG. In this way, the user may select an image suitable for the situation each time.

以上説明したように、本実施の形態における立体画像装置においては、カメラ１０１ａおよび１０１ｂが撮影した画像がＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合に、左眼用画像作成部１０２および右眼用画像作成部１０３が左眼用画像および右眼用画像を作成するときに、間引き処理を行なって作成される画像の色情報の位置に合わせて色情報を計算するようにしたので、精度の高い立体画像を作成することが可能となった。 As described above, in the stereoscopic image device according to the present embodiment, when the images photographed by the cameras 101a and 101b are in the YUV 4: 2: 0 (for MPEG-1) format, When the right eye image creation unit 103 creates the left eye image and the right eye image, the color information is calculated according to the position of the color information of the image created by performing the thinning process. It became possible to create a highly accurate stereoscopic image.

なお、本発明の第１の実施の形態から第３の実施の形態を通じて、立体画像用データ作成部１１１と立体画像用データ表示部１１２とで通信をする場合は、左眼用画像と右眼用画像との組合せを立体画像用データ作成部１１１で変更して、立体画像用データ表示部１１２で最も立体に見えやすい組合せがわかった時点で、その組合わせを立体画像用データ表示部１１２からフィードバックしてもらい、いずれを選択したかを示すフラグを多重化部１０５で多重化してもよい。 In the case where communication is performed between the stereoscopic image data creation unit 111 and the stereoscopic image data display unit 112 through the first embodiment to the third embodiment of the present invention, the left eye image and the right eye When the combination with the image for use is changed in the stereoscopic image data creation unit 111 and the combination that is most likely to be seen in the stereoscopic image is found in the stereoscopic image data display unit 112, the combination is read from the stereoscopic image data display unit 112. The multiplexing unit 105 may multiplex a flag indicating which one has been selected by feedback.

（第４の実施の形態）
本発明の第４の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。 (Fourth embodiment)
The schematic configuration of the stereoscopic image device according to the fourth embodiment of the present invention is the same as the schematic configuration of the stereoscopic image device according to the first embodiment shown in FIG. Therefore, detailed description of overlapping configurations and functions will not be repeated.

本実施の形態においては、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合のものである。デコーダ１０７ａおよび１０７ｂから図２（ｂ）に示すＹＵＶ４：２：２フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがその画像データを、ＹＵＶ４：４：４フォーマットの画像データに拡張する。 In this embodiment, the display unit 110 corresponds to a lenticular method or a parallax barrier method. The YUV 4: 2: 2 format image data shown in FIG. 2B is output from the decoders 107a and 107b, and the format converters 108a and 108b extend the image data to the YUV 4: 4: 4 format image data.

図４は、第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図４（ａ）に示すように、デコーダ１０７ａおよび１０７ｂからの出力データは、座標２、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。 FIG. 4 is a diagram for explaining the interpolation processing of the format conversion units 108a and 108b in the fourth embodiment. As shown in FIG. 4A, the output data from the decoders 107a and 107b does not include C of the pixel at coordinates 2, coordinates 6. FIG. 4C shows an example in which C of this pixel is interpolated.

たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ａ）に示す画像のＣをＣａと表すと、ＣｃとＣａとの関係は次に示す式（１６）〜（１８）のいずれかとなる。なお、式（１６）および式（１７）は近傍の画素値をそのままコピーする場合を示しており、式（１８）は複数の画素値の重み付和を計算する場合を示している。 For example, when C in the image shown in FIG. 4C is expressed as Cc and C in the image shown in FIG. 4A is expressed as Ca, the relationship between Cc and Ca is expressed by the following equations (16) to (18). ) Equations (16) and (17) show a case where neighboring pixel values are copied as they are, and Equation (18) shows a case where a weighted sum of a plurality of pixel values is calculated.

Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ） …（１６）
Ｃｃ（４＊ｉ＋２）＝Ｃａ（４＊ｉ＋４） …（１７）
Ｃｃ（４＊ｉ＋２）＝Ｗ１＊Ｃａ（４＊ｉ）＋Ｗ２＊Ｃａ（４＊ｉ＋４） …（１８）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃａ（ｉ）は図４（ａ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。 Cc (4 * i + 2) = Ca (4 * i) (16)
Cc (4 * i + 2) = Ca (4 * i + 4) (17)
Cc (4 * i + 2) = W1 * Ca (4 * i) + W2 * Ca (4 * i + 4) (18)
Here, Cc (i) represents C of the pixel at the coordinate i of the image shown in FIG. 4C, and Ca (i) represents C of the pixel at the coordinate i of the image shown in FIG. 4A. W1 and W2 are weighting factors, and W1 + W2 = 1.

また、デコーダ１０７ａおよび１０７ｂから図２（ｃ）に示すＹＵＶ４：２：２フォーマットの画像データが出力される場合、式（１６）〜式（１８）は以下のようになる。 When the YUV 4: 2: 2 format image data shown in FIG. 2C is output from the decoders 107a and 107b, Expressions (16) to (18) are as follows.

Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋１） …（１９）
Ｃｄ（４＊ｉ＋３）＝Ｃｃ（４＊ｉ＋５） …（２０）
Ｃｄ（４＊ｉ＋３）＝Ｗ１＊Ｃｃ（４＊ｉ＋１）＋Ｗ２＊Ｃｃ（４＊ｉ＋５） …（２１）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｃ（ｉ）は図２（ｃ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１である。式（１６）および式（１９）は左隣のＣの画素値を用いる場合、式（１７）および式（２０）は右隣のＣの画素値を用いる場合、式（１８）および式（２１）は両隣のＣの平均画素値を用いる場合を示している。 Cd (4 * i + 3) = Cc (4 * i + 1) (19)
Cd (4 * i + 3) = Cc (4 * i + 5) (20)
Cd (4 * i + 3) = W1 * Cc (4 * i + 1) + W2 * Cc (4 * i + 5) (21)
Here, Cd (i) represents C of the pixel at the coordinate i of the image shown in FIG. 4D, and Cc (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2C. W1 and W2 are weighting factors, and W1 + W2 = 1. When Expression (16) and Expression (19) use the pixel value of the adjacent C on the left, Expression (17) and Expression (20) indicate when the pixel value of the adjacent C on the right is used, Expression (18) and Expression (21) ) Shows a case where the average pixel value of C on both sides is used.

次に、デコーダ１０７ａおよび１０７ｂから図２（ｅ）に示すＹＵＶ４：１：１フォーマットの画像データが出力され、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データに拡張する場合について説明する。 Next, a description will be given of a case where the image data in the YUV4: 1: 1 format shown in FIG. 2E is output from the decoders 107a and 107b, and the format conversion units 108a and 108b extend the image data to the YUV4: 4: 4 format. To do.

図４（ｂ）に示すように、デコーダ１０７ａおよび１０７ｂの出力データは座標２、座標４、座標６…における画素のＣを含まない。図４（ｃ）は、この画素のＣを補間した一例を示している。 As shown in FIG. 4B, the output data of the decoders 107a and 107b do not include C of the pixels at coordinates 2, 4, 6,. FIG. 4C shows an example in which C of this pixel is interpolated.

たとえば、図４（ｃ）に示す画像のＣをＣｃと表し、図４（ｂ）に示す画像のＣをＣｂと表すと、ＣｃとＣｂとの関係は次に示す式（２２）〜式（２４）のいずれかとなる。なお、式（２２）および式（２３）は近傍の画素値をそのままコピーする場合を示しており、式（２４）は複数の画素値の重み付和を計算する場合を示している。 For example, if C in the image shown in FIG. 4C is expressed as Cc and C in the image shown in FIG. 4B is expressed as Cb, the relationship between Cc and Cb is expressed by the following equations (22) to ( 24). Equations (22) and (23) show the case where the neighboring pixel values are copied as they are, and Equation (24) shows the case where the weighted sum of a plurality of pixel values is calculated.

Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ） …（２２）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｃｂ（８＊ｉ＋８） …（２３）
Ｃｃ（８＊ｉ＋２＊ｋ）＝Ｗ１＊Ｃｂ（８＊ｉ）＋Ｗ２＊Ｃｂ（８＊ｉ＋８） …（２４）
ここで、Ｃｃ（ｉ）は図４（ｃ）に示す画像の座標ｉの画素のＣ、Ｃｂ（ｉ）は図４（ｂ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。 Cc (8 * i + 2 * k) = Cb (8 * i) (22)
Cc (8 * i + 2 * k) = Cb (8 * i + 8) (23)
Cc (8 * i + 2 * k) = W1 * Cb (8 * i) + W2 * Cb (8 * i + 8) (24)
Here, Cc (i) represents C of the pixel at the coordinate i of the image shown in FIG. 4C, and Cb (i) represents C of the pixel at the coordinate i of the image shown in FIG. 4B. W1 and W2 are weighting factors, and W1 + W2 = 1 and k = 1, 2, 3.

また、デコーダ１０７ａおよび１０７ｂから図２（ｆ）に示すＹＵＶ４：１：１フォーマットの画像データが出力される場合、式（２２）〜式（２４）は以下のようになる。 When the decoder 107a and 107b output YUV4: 1: 1 format image data shown in FIG. 2F, equations (22) to (24) are as follows.

Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋１） …（２５）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｃｆ（８＊ｉ＋９） …（２６）
Ｃｄ（８＊ｉ＋２＊ｋ＋１）＝Ｗ１＊Ｃｆ（８＊ｉ＋１）＋Ｗ２＊Ｃｆ（８＊ｉ＋９） …（２７）
ここで、Ｃｄ（ｉ）は図４（ｄ）に示す画像の座標ｉの画素のＣ、Ｃｆ（ｉ）は図２（ｆ）に示す画像の座標ｉの画素のＣを表している。また、Ｗ１およびＷ２は重み係数であり、Ｗ１＋Ｗ２＝１、ｋ＝１、２、３である。 Cd (8 * i + 2 * k + 1) = Cf (8 * i + 1) (25)
Cd (8 * i + 2 * k + 1) = Cf (8 * i + 9) (26)
Cd (8 * i + 2 * k + 1) = W1 * Cf (8 * i + 1) + W2 * Cf (8 * i + 9) (27)
Here, Cd (i) represents C of the pixel at the coordinate i of the image shown in FIG. 4D, and Cf (i) represents C of the pixel at the coordinate i of the image shown in FIG. 2F. W1 and W2 are weighting factors, and W1 + W2 = 1 and k = 1, 2, 3.

補間画素の計算方法の選び方は、どの計算方法を選択した時に立体として見えやすいかが判断基準となる。図１の表示部１１０の特性に大きく依存する場合には、立体画像用データ表示部１１２で一意に決まっていればよい。また、ユーザの個人差に大きく依存する場合は、立体画像用データ表示部１１２内でユーザが補間方法を選択するようにしてもよい。 The method of selecting the interpolation pixel calculation method is based on which calculation method is selected so that it can be easily seen as a solid. In the case where it greatly depends on the characteristics of the display unit 110 in FIG. 1, it may be determined uniquely by the stereoscopic image data display unit 112. In addition, when greatly depending on individual differences among users, the user may select an interpolation method in the stereoscopic image data display unit 112.

また、最適な補間方法が、立体画像用データ作成部１１１が作成するデータに依存する場合には、最適な補間方法を示す情報を多重化部１０５であらかじめ多重化しておく。そして、立体画像用データ表示部１１２内の逆多重化部１０６でこの情報を取り出し、これに従ってフォーマット変換部１０８ａおよび１０８ｂが補間方法を選択するようにしてもよい。 If the optimum interpolation method depends on data created by the stereoscopic image data creation unit 111, information indicating the optimum interpolation method is multiplexed in advance by the multiplexing unit 105. Then, this information may be extracted by the demultiplexing unit 106 in the stereoscopic image data display unit 112, and the format conversion units 108a and 108b may select the interpolation method according to this information.

合成部１０９は、ＹＵＶ４：４：４フォーマットに変換した画像データを、図４（ｅ）に示すように、左眼用画像と右眼用画像とを１画素列ずつ水平方向に交互に並べて、表示用の画像を作成する。この表示用画像を表示部１１０に表示することで、ユーザは立体画像を見ることができる。 As shown in FIG. 4E, the combining unit 109 alternately arranges the left eye image and the right eye image in the horizontal direction pixel by pixel, as shown in FIG. 4 (e). Create an image for display. By displaying the display image on the display unit 110, the user can view a stereoscopic image.

以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：２：２フォーマットの画像データまたはＹＵＶ４：１：１フォーマットの画像データを補間して、ＹＵＶ４：４：４フォーマットの画像データを生成するようにしたので、表示部１１０がレンチキュラ方式やパララクスバリア方式に対応している場合に、精度の高い立体画像を表示することが可能となった。 As described above, in the stereoscopic image device according to the present embodiment, the format converters 108a and 108b interpolate YUV4: 2: 2 format image data or YUV4: 1: 1 format image data to obtain YUV4: Since the image data in the 4: 4 format is generated, it is possible to display a highly accurate stereoscopic image when the display unit 110 is compatible with the lenticular method or the parallax barrier method.

また、どのように色情報を補間するかを示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することが可能となった。 In addition, since the control information indicating how to interpolate the color information is multiplexed with the encoded data of the left eye image and the encoded data of the right eye image, the stereoscopic image data display unit 112 When displaying a stereoscopic image, it is possible to interpolate the image so that the color information is optimal.

（第５の実施の形態）
本発明の第５の実施の形態における立体画像装置の概略構成は、図１に示す第１の実施の形態における立体画像装置の概略構成と同様である。したがって、重複する構成および機能の詳細な説明は繰返さない。 (Fifth embodiment)
The schematic configuration of the stereoscopic image device according to the fifth embodiment of the present invention is the same as the schematic configuration of the stereoscopic image device according to the first embodiment shown in FIG. Therefore, detailed description of overlapping configurations and functions will not be repeated.

本実施の形態においては、表示部１１０がシャッタ（時分割）方式に対応している場合のものである。 In the present embodiment, the display unit 110 corresponds to the shutter (time division) method.

図５は、第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。図５（ｄ）に示すように、垂直方向に１ラインずつ左眼用画像と右眼用画像とを交互に並べるため、デコーダ１０７ａおよび１０７ｂの出力データを垂直方向に１／２に間引き、水平方向には２倍に拡大する（左眼用画像および右眼用画像を作成する前のサイズに戻す）ことが必要である。 FIG. 5 is a diagram for explaining the interpolation processing of the format conversion units 108a and 108b in the fifth embodiment. As shown in FIG. 5D, in order to alternately arrange the left-eye image and the right-eye image one line at a time in the vertical direction, the output data of the decoders 107a and 107b is thinned by half in the vertical direction, and the horizontal In the direction, it is necessary to enlarge twice (return to the size before creating the left-eye image and the right-eye image).

したがって、フォーマット変換部１０８ａおよび１０８ｂは、第４の実施の形態において説明したのと同様の方法で、ＹＵＶ４：４：４フォーマットの画像データとなるようにＣを補間する以外に、ＹＵＶともに垂直方向に１／２に間引き、さらに水平方向に２倍に拡大する処理が新たに必要である。 Therefore, the format converters 108a and 108b perform the YUV vertical direction in addition to interpolating C so as to obtain YUV4: 4: 4 format image data in the same manner as described in the fourth embodiment. Therefore, it is necessary to newly perform a process of thinning out to 1/2 and further enlarging the horizontal direction twice.

図５（ａ）は、図２（ｂ）または図２（ｅ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｃ）に対応している。また、図５（ｂ）は、図２（ｃ）または図２（ｆ）に示す画像データを第４の実施の形態と同様の方法でＹＵＶ４：４：４フォーマットの画像データに変換した場合を示しており、図４（ｄ）に対応している。 FIG. 5A shows a case where the image data shown in FIG. 2B or FIG. 2E is converted into YUV 4: 4: 4 format image data by the same method as in the fourth embodiment. This corresponds to FIG. FIG. 5B shows a case where the image data shown in FIG. 2C or FIG. 2F is converted into YUV 4: 4: 4 format image data by the same method as in the fourth embodiment. This corresponds to FIG. 4 (d).

ここで、図２（ｂ）および図２（ｅ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が、偶数番目の画素をサンプリングして作成されたものである。また、図２（ｃ）および図２（ｆ）は、左眼用画像作成部１０２および右眼用画像作成部１０３が奇数番目の画素をサンプリングして作成されたものである。このいずれのサンプリング方法を選択したかを示すフラグが、多重化部１０５で符号化データの中に多重化される。 Here, FIG. 2B and FIG. 2E are created by sampling the even-numbered pixels by the left-eye image creating unit 102 and the right-eye image creating unit 103. FIGS. 2C and 2F are created by sampling the odd-numbered pixels by the left-eye image creating unit 102 and the right-eye image creating unit 103. A flag indicating which sampling method has been selected is multiplexed in the encoded data by the multiplexing unit 105.

そのため、第４の実施の形態においてＣが補間された画素を、フォーマット変換部１０８ａおよび１０８ｂがこのフラグにしたがって配置する。すなわち、図４（ｃ）の場合には図５（ａ）に示すように各画素を配置し、図４（ｄ）の場合には図５（ｂ）に示すように各画素を配置することによって、ＹおよびＣともに水平方向に補間する画素を計算する。これによって、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防ぐことができる。 Therefore, the format conversion units 108a and 108b arrange the pixels in which C is interpolated in the fourth embodiment in accordance with this flag. That is, in the case of FIG. 4C, each pixel is arranged as shown in FIG. 5A, and in the case of FIG. 4D, each pixel is arranged as shown in FIG. 5B. The pixel to be interpolated in the horizontal direction is calculated for both Y and C. Thereby, it is possible to prevent a phase shift between the stereoscopic image data creation unit 111 and the stereoscopic image data display unit 112.

以上は、ＹＵＶ４：２：２フォーマットまたはＹＵＶ４：１：１フォーマットについての説明であったが、図３（ｃ）および図３（ｄ）に示すようなＹＵＶ４：２：０（ＭＰＥＧ−１用）フォーマットの場合も同様である。 The above is a description of the YUV4: 2: 2 format or the YUV4: 1: 1 format, but YUV4: 2: 0 (for MPEG-1) as shown in FIGS. 3 (c) and 3 (d). The same applies to the format.

なお、以上の説明において、まず画像データをＹＵＶ４：４：４フォーマットに変換した後、垂直方向に間引き、水平方向に拡大して左眼用画像および右眼用画像を作成したが、処理の順番はこれに限らず、例えば、水平方向に拡大した後、垂直方向の間引きをするような順序であってもよい。 In the above description, the image data is first converted into the YUV 4: 4: 4 format, then thinned out in the vertical direction and expanded in the horizontal direction to create a left-eye image and a right-eye image. However, the order is not limited to this. For example, the order may be such that the image is vertically thinned and then thinned in the vertical direction.

合成部１１０は、このようにして作成された画像を図５（ｄ）に示すように、左眼用画像（Ｌ）と右眼用画像（Ｒ）とを垂直方向に１ラインずつ交互に配置して、立体表示用画像を作成する。 As shown in FIG. 5D, the combining unit 110 alternately arranges the left-eye image (L) and the right-eye image (R) one line at a time in the vertical direction. Thus, a stereoscopic display image is created.

以上説明したように、本実施の形態における立体画像装置においては、フォーマット変換部１０８ａおよび１０８ｂがＹＵＶ４：４：４フォーマットの画像データとなるように補間した後、ＹＵＶを垂直方向に１／２に間引き、さらに水平方向に２倍に拡大するようにしたので、表示部１１０がシャッタ（時分割）方式に対応している場合に、精度の高い立体画像を表示することが可能となった。 As described above, in the stereoscopic image device according to the present embodiment, after the format conversion units 108a and 108b interpolate to obtain YUV 4: 4: 4 format image data, YUV is halved in the vertical direction. Since the thinning is further performed and the image is enlarged twice in the horizontal direction, it is possible to display a highly accurate stereoscopic image when the display unit 110 supports the shutter (time division) method.

また、サンプリングした画素の位置を示す制御情報を、左眼用画像の符号化データおよび右眼用画像の符号化データに多重化するようにしたので、立体画像用データ表示部１１２が立体画像を表示するときに、色情報が最適となるように画像を補間することができるとともに、立体画像データ作成部１１１と立体画像データ表示部１１２とで位相がずれるのを防止することが可能となった。 In addition, since the control information indicating the position of the sampled pixel is multiplexed with the encoded data of the left-eye image and the encoded data of the right-eye image, the stereoscopic image data display unit 112 displays the stereoscopic image. When displaying, it is possible to interpolate the image so that the color information is optimal, and to prevent the stereo image data creation unit 111 and the stereo image data display unit 112 from being out of phase. .

なお、以上の実施の形態においては、２眼視の場合について説明したが、これに限らずＮ眼視（Ｎ≧２）の場合にも同様である。 In the above embodiment, the case of binocular vision has been described.

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

本発明の第１の実施の形態における立体画像装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the stereo image apparatus in the 1st Embodiment of this invention. ＹＵＶ４：２：２フォーマットおよびＹＵＶ４：１：１フォーマットの一例を示す図である。It is a figure which shows an example of a YUV4: 2: 2 format and a YUV4: 1: 1 format. ＹＵＶ４：２：０フォーマットの一例を示す図である。It is a figure which shows an example of a YUV4: 2: 0 format. 第４の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。It is a figure for demonstrating the interpolation process of the format conversion parts 108a and 108b in 4th Embodiment. 第５の実施の形態におけるフォーマット変換部１０８ａおよび１０８ｂの補間処理を説明するための図である。It is a figure for demonstrating the interpolation process of the format conversion parts 108a and 108b in 5th Embodiment. 従来の立体画像装置における画像データの作成方法を説明するための図である。It is a figure for demonstrating the production method of the image data in the conventional stereo image apparatus.

Explanation of symbols

１０１ａ，１０１ｂカメラ、１０２左眼用画像作成部、１０３右眼用画像作成部、１０４ａ，１０４ｂエンコーダ、１０５多重化部、１０６逆多重化部、１０７ａ，１０７ｂデコーダ、１０８ａ，１０８ｂフォーマット変換部、１０９合成部、１１０表示部、１１１立体画像用データ作成部、１１２立体画像用データ表示部。 101a, 101b Camera, 102 Left eye image creation unit, 103 Right eye image creation unit, 104a, 104b Encoder, 105 Multiplexing unit, 106 Demultiplexing unit, 107a, 107b Decoder, 108a, 108b Format conversion unit, 109 A composition unit, a 110 display unit, a 111 stereoscopic image data creation unit, and a 112 stereoscopic image data display unit.

Claims

A stereoscopic image display device that combines and displays a left-eye image and a right-eye image in which luminance information and color information are separated,
The multiplexed data is demultiplexed to extract the encoded left eye image, the encoded right eye image, and the interpolation method of the color information of the left eye image and the right eye image. Demultiplexing means for,
Decoding means for decoding the encoded left-eye image and encoded right-eye image extracted by the demultiplexing means;
Referring to the interpolation method of the color information of the left eye image and the right eye image extracted by the demultiplexing means, the color information of the left eye image and the right eye image decoded by the decoding means Format conversion means for interpolating and converting to an image of a predetermined format;
Combining means for combining the left-eye image and the right-eye image converted by the format conversion means;
A stereoscopic image display apparatus including display means for displaying a stereoscopic image in accordance with the image synthesized by the synthesizing means.

A stereoscopic image display device that combines and displays a left-eye image and a right-eye image in which luminance information and color information are separated,
The multiplexed data is demultiplexed to obtain an encoded left-eye image, an encoded right-eye image, and information about the positions of the sampled pixels of the left-eye image and the right-eye image. Demultiplexing means for extracting;
Decoding means for decoding the encoded left-eye image and encoded right-eye image extracted by the demultiplexing means;
The left eye image and the right eye image decoded by the decoding means are referred to by referring to the information about the positions of the sampled pixels of the left eye image and the right eye image extracted by the demultiplexing means. Format conversion means for enlarging in the horizontal direction and converting the image into a predetermined format;
Combining means for combining the left-eye image and the right-eye image converted by the format conversion means;
A stereoscopic image display apparatus including display means for displaying a stereoscopic image in accordance with the image synthesized by the synthesizing means.

A stereoscopic image display method for combining and displaying a left-eye image and a right-eye image in which luminance information and color information are separated,
Demultiplexing the multiplexed data, and encoding the left-eye image, the encoded right-eye image, and the interpolation method of the color information of the left-eye image and the right-eye image. Extracting, and
Decoding the extracted encoded left-eye image and encoded right-eye image;
Referring to the color information interpolation method of the extracted left eye image and right eye image, the color information of the decoded left eye image and right eye image is interpolated and converted into an image of a predetermined format. And steps to
Synthesizing the left-eye image and the right-eye image converted into the predetermined format;
A method of displaying a stereoscopic image according to the synthesized image.

A stereoscopic image display method for combining and displaying a left-eye image and a right-eye image in which luminance information and color information are separated,
The multiplexed data is demultiplexed to obtain an encoded left-eye image, an encoded right-eye image, and information about the positions of the sampled pixels of the left-eye image and the right-eye image. Extracting, and
Decoding the extracted encoded left-eye image and encoded right-eye image;
With reference to information regarding the positions of the sampled pixels of the extracted left-eye image and right-eye image, the decoded left-eye image and right-eye image are expanded in the horizontal direction to obtain an image in a predetermined format Converting to
Synthesizing the left-eye image and the right-eye image converted into the predetermined format;
A method of displaying a stereoscopic image according to the synthesized image.