JP4104895B2

JP4104895B2 - Stereo image encoding device and stereo image decoding device

Info

Publication number: JP4104895B2
Application number: JP2002123816A
Authority: JP
Inventors: 典男伊藤; 敏男野村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-04-25
Filing date: 2002-04-25
Publication date: 2008-06-18
Anticipated expiration: 2022-04-25
Also published as: JP2003319416A

Description

【０００１】
【発明の属する技術分野】
本発明は、立体画像を表示するための左画像と右画像とを含む複数の画像データを、通信路や記録媒体を介して、立体画像復号装置へ送出する技術に関し、特に、立体表示のために必要な画像情報が異なる複数の立体画像復号装置に、少ない情報量の画像データを送出する技術に関する。
【０００２】
【従来の技術】
物体を人の目に立体的に認知させる立体画像を複数のカメラを用いて生成して、この立体画像情報を記録媒体に保存または通信路を介して伝送して、立体画像を表示する立体画像を表示するための処理装置がある。このような処理装置における立体画像の表示方式として主として２つの方法がある。
【０００３】
第１番目は、パララックスバリア法やレンチキュラー板を用いた方法など、液晶等のディスプレイの前に縦長のスリットが数多く開けられたスリット板を配置し、視聴者の右側からはディスプレイ上の右用の画像が、左側からはディスプレイ上の左用の画像が、それぞれ見えるように構成されたものである。
【０００４】
特開平１１−１８１１１号公報は、このような原理により立体画像を表示する装置を開示する。この公報に開示された立体画像表示装置は、撮影した右画像情報と左画像情報とをそれぞれ、水平方向に１画素毎の間引き処理を行い、右用の画像情報と左用の画像情報とが一走査線上に交互に出現するように配置する。これにより、視聴者の右眼には右用の画像が、左眼には左用の画像が入力される光学系が構成されて、視聴者は、立体画像が認知することができる。
【０００５】
第２番目は、表示装置に左用画像と右用画像を時間的に交互に表示させ、その切換え時に液晶シャッタなどのシャッタを同期させたゴーグルによって左右の画像を区別し、視聴者の網膜上の残像によって立体感を得るものがある。
【０００６】
特開平９−９２９３号公報は、このような原理により立体画像を表示する装置を開示する。この公報に開示された立体画像表示装置は、撮影された右画像および左画像の水平ラインを１ライン単位で間引き、得られた画像のそれぞれをフィールド画像に対応させ、インタレース方式のモニタに表示させて予め定められた時間毎に左右を切換えて表示する。これにより、このように表示された画像とゴーグルのシャッタとを同期させることにより、視聴者が立体画像を認知できるようになる。
【０００７】
立体画像情報は、左右の両眼に対する画像情報が必要であるため、画像情報のデータ量が膨大である。このため、立体画像情報を保存、伝送するためには、これを高圧縮することが不可欠である。立体画像の圧縮方式として、左右両眼の画像をＭＰＥＧ（Moving Picture Experts Group）やＪＰＥＧ（Joint Photographic Experts Group）規格に準拠して、左右個々に圧縮する方法が考えられる。また、ＩＥＯ／ＩＥＣＭＰＥＧ−２では、マルチビュープロファイルという枠組で立体画像の圧縮手法が規格化されている。ＭＰＥＧ−２では、時間階層性（Temporal Scalability）技術を用い、左画像情報（もしくは右画像情報）のみを通常方式で符号化し、これに対応する右画像情報（もしくは左画像情報）と左画像情報との差分情報を別途符号化する。
【０００８】
【発明が解決しようとする課題】
しかしながら、前述のように例示した２つの立体画像符号化方式においても、立体画像表示装置の立体画像表現方式の種類が異なると、水平方向の解像度が半分にする必要であったり、垂直方向の解像度が半分にする必要であったりするなど、表示装置において必要な画像情報の種類が異なる。そのため、従来は表示方式毎に（たとえば、レンチキュラー板を用いる場合、水平方向の解像度を半分にして符号化する必要があるのに対し、電子シャッターを用いる場合には垂直方向の解像度を半分にして符号化する必要があるので）、異なる左右画像情報が必要となる。
【０００９】
このため、レンチキュラー板を用いた立体画像表示装置と電子シャッターを用いた立体画像表示装置などの立体画像の表示方式の異なる少なくとも２台の立体画像表示装置に同時に画像情報を送出する場合、同一の立体画像であってもそれぞれの方式に対応した画像情報を別途作成して送出する必要がある。その結果、送出側の装置における画像情報の保存領域のサイズが大きくなったり、通信路を用いて送信する場合回線容量を無駄に消費することになる。
【００１０】
本発明は、前述の課題を解決するためになされたものであって、立体表示のために必要な画像情報が異なる複数の立体画像復号装置に送出される画像情報を少なくできる立体画像符号化装置およびその立体画像符号化装置により符号化されたビットストリームを復号する立体画像復号装置を提供することである。
【００１１】
【課題を解決するための手段】
第１の発明に係る立体画像符号化装置は、複数の視点のそれぞれに対応した２以上の画像データを符号化する。この立体画像符号化装置は、各画像データに基づいて、ｎ個の画像情報（ｎは２以上の整数）を作成するための作成手段と、各視点に対応させてｎ個の画像情報を結合して、ｎ個の結合画像情報を作成するための画像結合手段と、ｎ個の結合画像情報を符号化して、ｎ個のビットストリームを作成するための符号化手段とを含む。
【００１２】
第１の発明によると、たとえば、作成手段は、２つの視点（左眼の視点および右眼の視点）の画像データのそれぞれに基づいて、たとえば４個の画像情報を作成する。この４個の画像情報は、たとえば、（Ａ）画面の垂直方向および水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｂ）画面の垂直方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｃ）画面の水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｄ）画面の垂直方向および水平方向の解像度を変化させていない画像情報である。画像結合手段は、左右の視点に対応させて、このような４個の画像情報を組合せた結合画像情報を作成する。符号化手段は、結合画像情報を符号化処理する。これにより、たとえば、レンチキュラー板を用いた立体画像表示装置（水平方向の解像度が半分）には、（Ａ）の画像データを符号化したビットストリームと、（Ｂ）の画像データを符号化したビットストリームとを送出し、電子シャッターを用いた立体画像表示装置（垂直方向の解像度が半分）には、（Ａ）の画像データを符号化したビットストリームと、（Ｃ）の画像情報を符号化したビットストリームとを送出すればよい。このようにすると、レンチキュラー板を用いた立体画像表示装置と電子シャッターを用いた立体画像表示装置とが接続された伝送路に、（Ａ）の画像データを符号化したビットストリームを１回送出するだけでよい。また、立体画像符号化装置においても、[（Ａ）の画像データを符号化したビットストリーム＋（Ｂ）の画像データを符号化したビットストリーム]、[（Ａ）の画像データを符号化したビットストリーム＋（Ｃ）の画像データを符号化したビットストリーム]の両方を記憶する必要がなく、（Ａ）の画像データを符号化したビットストリームを重複して記憶する領域を削減できる。その結果、立体表示のために必要な画像情報が異なる複数の立体画像復号装置に送出される画像情報を少なくできる立体画像符号化装置を提供することができる。
【００１３】
第２の発明に係る立体画像符号化装置は、第１の発明の構成に加えて、作成手段は、ビットストリームを復号して立体画像を表示する装置に対応させて、ｎ個の画像情報を作成するための手段を含む。
【００１４】
第２の発明によると、立体画像符号化装置がビットストリームを送出するレンチキュラー板を用いた立体画像表示装置、電子シャッターを用いた立体画像表示装置などに対応させて、水平方向の解像度を１／ｎにしたｎ個の画像情報を作成できる。これにより、立体画像符号化装置は、送出先の立体画像表示装置が必要とする画像情報を符号化したビットストリームを作成して、送出できる。
【００１５】
第３の発明に係る立体画像符号化装置は、第１または第２の発明の構成に加えて、ビットストリームを復号して立体画像を表示する装置に対応させて、符号化手段により符号化されたｎ個のビットストリームの中から必要なビットストリームを選択して、装置に送出するための送出手段をさらに含む。
【００１６】
第３の発明によると、送出手段は、送出先の立体画像表示装置が必要とする画像情報を符号化したビットストリームを、その送出先の立体画像表示装置に対応させて選択して、選択されたビットストリームを送出する。立体画像表示装置は、立体画像符号化装置から送出されたビットストリームを復号処理して立体画像を表示する。
【００１７】
第４の発明に係る立体画像符号化装置は、第１または第２の発明の構成に加えて、ビットストリームを復号して立体画像を表示する装置に対応させて、符号化手段により符号化されたｎ個のビットストリームの中から必要なビットストリームを選択して、選択されたビットストリームを表わす情報を含むビットストリームを装置に送出するための送出手段をさらに含む。
【００１８】
第４の発明によると、送出手段は、送出先の立体画像表示装置が必要とする画像情報を符号化したビットストリームを、その送出先の立体画像表示装置に対応させて選択して、選択されたビットストリームを表わす情報を含むビットストリームを送出する。立体画像表示装置は、立体画像符号化装置から送出されたビットストリームの中から選択されたビットストリームを表わす情報を復号処理して、必要な画像情報のみを復号することができる。
【００１９】
第５の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、作成手段は、画像データを、水平方向のサンプル位置によりｎ個の画像データに分離するための手段と、水平方向に分離して作成されたｎ個の画像データのそれぞれを、垂直方向のサンプル位置によりｍ個の画像データ（ｍは２以上の整数）に分離するための手段と、水平方向および垂直方向に分離して作成された画像データを、ｎ×ｍ個の画像情報として作成するための手段とを含む。
【００２０】
第５の発明によると、作成手段は、たとえば、複数の視点の画像データのそれぞれに基づいて、４個（ｎ＝２、ｍ＝２）の画像情報を作成する。この４個の画像情報は、（Ａ）画面の垂直方向および水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｂ）画面の垂直方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｃ）画面の水平方向の解像度が１／２になるように画像データを抽出した画像情報、（Ｄ）画面の垂直方向および水平方向の解像度を変化させていない画像情報である。このような４つの画像情報がそれぞれ符号化処理されて、レンチキュラー板を用いた立体画像表示装置や電子シャッターを用いた立体画像表示装置に、必要なビットストリームが送出される。
【００２１】
第６の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、作成手段は、画像データを、水平方向における、低域バンドと高域バンドとに分割するための第１のサブバンド分割手段と、画像データを、垂直方向における、低域バンドと高域バンドとに分割するための第２のサブバンド分割手段と、第１のサブバンド分割手段および第２のサブバンド分割手段を組合せて、水平方向低域バンドかつ垂直方向低域バンドにサブバンド分割された画像データ、水平方向低域バンドかつ垂直方向高域バンドにサブバンド分割された画像データ、水平方向高域バンドかつ垂直方向低域バンドにサブバンド分割された画像データ、および水平方向高域バンドかつ垂直方向高域バンドにサブバンド分割された画像データを生成し、第１のサブバンド分割手段および第２のサブバンド分割手段とからなる組み合わせを再帰的に繰り返して得られた画像データをｎ個の画像情報として作成するための手段とを含む。
【００２２】
第６の発明によると、第１のサブバンド分割手段および第２のサブバンド分割手段を組合せて、水平方向低域バンドかつ垂直方向低域バンドの画像データ、水平方向低域バンドかつ垂直方向高域バンドの画像データ、水平方向高域バンドかつ垂直方向低域バンドの画像データ、水平方向高域バンドかつ垂直方向高域バンドの４つの画像データが生成される。このようにすると、画像情報の低周波成分を集中して符号化することができるので、高能率の符号化処理を実行できる。
【００２３】
第７の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、符号化手段は、ｎ個の結合画像情報の中の基本結合画像情報を符号化するための手段と、基本結合画像情報を復号した基本結合画像情報と結合画像情報との差分情報を符号化するための手段とを含む。
【００２４】
第７の発明によると、符号化手段は、基本結合画像情報および基本結合画像情報からの差分情報を符号化して、ビットストリームを生成する。通常、基本結合画像情報からの差分は少ないため、差分情報についてのビットストリームのデータ量を低減することができる。
【００２５】
第８の発明に係る立体画像符号化装置は、第１〜第４のいずれかの発明の構成に加えて、作成手段は、画像データを、水平方向に縮小するための第１の縮小手段と、画像データを、垂直方向に縮小するための第２の縮小手段と、第１の縮小手段により縮小された画像データ、第２の縮小手段により縮小された画像データ、第１の縮小手段および第２の縮小手段により縮小された画像データ、および入力された画像データを、ｎ個の画像情報（ｎ＝４）として作成するための手段とを含む。
【００２６】
第８の発明によると、立体画像表示装置の画面の大きさに対応させて、画像データを水平方向に縮小した画像情報を符号化したビットストリームと、画像データを垂直方向に縮小した画像情報を符号化したビットストリームと、水平方向および垂直方向の両方向に縮小した画像情報を符号化したビットストリームとを作成して、立体画像表示装置の画面の大きさに対応させて、必要なビットストリームのみを送出できる。
【００２７】
第９の発明に係る立体画像符号化装置は、第１の視点と第２の視点のそれぞれに対応した２以上の画像データを符号化する。この立体画像符号化装置は、第１の視点に対応した画像データに基づいてｎ個の画像情報（ｎは２以上の整数）を作成するとともに、第２の視点に対応した画像データに基づいてｎ個の画像情報を作成するための作成手段と、第１の視点に対応したｎ個の画像情報を符号化して、ｎ個のビットストリームを作成するための第１の符号化手段と、第１の視点に対応するｋ番目（ｋ＝１〜ｎ）の画像情報と、第２の視点に対応するｋ番目の画像情報との差分情報を符号化するための第２の符号化手段とを含む。
【００２８】
第９の発明によると、第１の視点（たとえば左眼の視点）の画像情報を基準として、第２の視点（たとえば右眼の視点）の画像情報は、第１の視点の画像情報との差分情報が符号化される。通常、視点が異なる画像情報の間においては相関関係が非常に強いため、差分は少なく、差分情報についてのビットストリームのデータ量を低減することができる。
【００２９】
第１０の発明に係る立体画像復号装置は、ｎ個のビットストリーム（ｎは２以上の整数）を復号して、複数の視点のそれぞれに対応した２以上の画像データを生成する。この画像復号装置は、ｎ個のビットストリームの中から、必要なビットストリームを選択するための選択手段と、選択されたビットストリームを復号して、結合画像情報を作成するための復号手段と、作成された結合画像情報を分離して、各視点に対応させた画像情報を作成するための画像分離手段と、作成された画像情報に基づいて、各視点に対応させた出力画像情報を作成するための作成手段と、出力画像情報を出力フォーマットに合致するように変換するための変換手段とを含む。
【００３０】
第１０の発明によると、たとえば、選択手段は、２つの視点（左眼の視点および右眼の視点）の、たとえば４つのビットストリームの中から、必要なビットストリームを選択する。この４個のビットストリームは、たとえば、（Ａ）画面の垂直方向および水平方向の解像度が１／２になるように抽出された画像情報を符号化したビットストリーム、（Ｂ）画面の垂直方向の解像度が１／２になるようにを抽出された画像情報を符号化したビットストリーム、（Ｃ）画面の水平方向の解像度が１／２になるように抽出された画像情報を符号化したビットストリーム、（Ｄ）画面の垂直方向および水平方向の解像度を変化させていない画像情報を符号化したビットストリームである。これらのビットストリームの中から立体画像復号装置の立体表現方式に適合する画像情報を符号化したビットストリームを選択する。選択されたビットストリームは、復号手段により復号され、画像分離手段により、たとえば左右の視点に対応させた画像情報に分離される。作成手段は、複数の視点に対応させた出力画像情報を作成し、変換手段により出力フォーマットに合致するように（たとえば、左画像情報と右画像情報との並べ方を規定したフォーマット）、出力画像情報を変換する。これにより、（Ａ）のビットストリームと（Ｂ）のビットストリームと（Ｃ）のビットストリームとを受取った立体画像復号装置は、その装置が、たとえば、レンチキュラー板を用いた装置（水平方向の解像度が半分）の場合には、（Ａ）の画像データを符号化したビットストリームと、（Ｂ）の画像データを符号化したビットストリームとが選択される。また、その装置が、たとえば、電子シャッターを用いた装置（垂直方向の解像度が半分）の場合には、（Ａ）の画像データを符号化したビットストリームと、（Ｃ）の画像情報を符号化したビットストリームとが選択される。このようにすると、画像符号化装置から立体画像復号装置に送信されるビットストリームのデータ量を小さくできる。その結果、立体表示のために必要な画像情報が異なる場合において、画像情報を少なくできる立体画像符号化装置に対応した立体画像復号装置を提供することができる。
【００３１】
第１１の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、選択手段により選択されて復号手段により復号された画像情報を、予め定められた条件を満足するように組合せた出力画像情報を作成するための手段を含む。
【００３２】
第１１の発明によると、作成手段は、選択された複数の画像情報を、レンチキュラー板を用いた立体画像表示方式および電子シャッターを用いた立体画像表示方式などに対応させて、たとえば、解像度が予め定められた条件を満足するように、右画像情報と左画像情報とを交互に組合せるなどして、出力画像情報を作成する。
【００３３】
第１２の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、選択手段により選択されて復号手段により復号された画像情報を、予め定められた解像度に関する条件を満足するように組合せた出力画像情報を作成するための手段を含む。
【００３４】
第１２の発明によると、作成手段は、水平方向の解像度、垂直方向の解像度が、立体画像復号装置の出力フォーマットに適合するように、画像情報を適宜組合せて出力画像情報を作成する。
【００３５】
第１３の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、選択手段により選択された複数の画像情報を、水平方向および垂直方向の少なくとも１の方向に、複数の画像情報が互い違いになるように組合せた出力画像情報を作成するための手段を含む。
【００３６】
第１３の発明によると、水平方向の解像度、垂直方向の解像度が、立体画像復号装置の出力フォーマットに適合するように、複数の画像情報を水平方向および垂直方向の少なくとも１の方向に組合せて、水平方向および垂直方向の解像度が出力フォーマットに適合する出力画像情報を作成する。
【００３７】
第１４の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、水平方向にサブバンド合成するための第１のサブバンド合成手段と、垂直方向にサブバンド合成するための第２のサブバンド合成手段と、予め定められた条件を満足するように、第１のサブバンド合成手段および第２のサブバンド合成手段によりサブバンド合成して、出力画像情報を作成するための手段とを含む。
【００３８】
第１４の発明によると、第１のサブバンド合成手段および第２のサブバンド合成手段を組合せて、水平方向低域バンドかつ垂直方向低域バンドの画像データ、水平方向低域バンドかつ垂直方向高域バンドの画像データ、水平方向高域バンドかつ垂直方向低域バンドの画像データ、水平方向高域バンドかつ垂直方向高域バンドの４つの画像データを合成する。このようにすると、画像情報の低周波成分を集中して符号化されているので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００３９】
第１５の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、復号手段は、ｎ個のビットストリームの中から基本結合画像情報を復号するための手段と、結合画像情報に対応する差分情報を復号するための手段と、復号された基本結合画像情報と差分情報とに基づいて、ｎ個の結合画像情報を作成するための手段とを含む。
【００４０】
第１５の発明によると、復号手段は、基本結合画像情報および基本結合画像情報からの差分情報を復号して、画像情報を生成する。通常、基本結合画像情報からの差分は少ないため、差分情報についてのビットストリームのデータ量を低減されているので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００４１】
第１６の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、作成手段は、画像データを、水平方向に補間するための第１の補間手段と、画像データを、垂直方向に補間するための第２の補間手段と、選択手段により選択されて復号手段により復号された複数の画像情報を、予め定められた条件を満足するように組合せて、第１の補間手段および第２の補間手段によりデータを補完して出力画像情報を作成するための手段とを含む。
【００４２】
第１６の発明によると、作成手段は、立体画像を表示する画面の大きさに基づいて、ビットストリームを復号して得られた画像データを水平方向に補間したり、垂直方向に補間したりして、出力画像情報を作成する。補間される前の画像データは、データ量が低減されてその画像データを符号化したビットストリームもデータ量が少ないので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００４３】
第１７の発明に係る立体画像復号装置は、第１０の発明の構成に加えて、複数の視点に対応する画像情報の中から必要な画像情報を選択することにより、立体画像表示用の画像情報および２次元画像表示用の画像情報のいずれかを作成するための画像作成手段をさらに含む。
【００４４】
第１７の発明によると、画像作成手段は、画像表示装置が立体画像表示用回路を有していない場合、２次元画像表示用の画像情報を、画像表示装置が立体画像表示用回路を有している場合、立体画像表示用の画像情報を作成する。これにより、画像表示装置が立体画像表示用回路を有していない場合であっても、２次元画像を表示させることができる。
【００４５】
第１８の発明に係る立体画像復号装置は、第１の視点と第２の視点のそれぞれに対応したｎ個のビットストリーム（ｎは２以上の整数）を復号して、第１の視点および第２の視点のそれぞれに対応した２以上の画像データを生成する。この画像復号装置は、第１の視点に対応したｎ個のビットストリームを復号してｎ個の画像情報を作成するための第１の復号手段と、第２の視点に対応したｎ個のビットストリームを復号してｎ個の差分情報を作成するための第２の復号手段と、第１の復号手段により復号された第１の視点に対応するｋ番目（ｋ＝１〜ｎ）の画像情報と、第２の復号手段により復号された第２の視点に対応するｋ番目（ｋ＝１〜ｎ）の差分情報とに基づいて、第２の視点に対応する画像情報を作成するための作成手段とを含む。
【００４６】
第１８の発明によると、第１の視点（たとえば左眼の視点）の画像情報を基準として、第２の視点（たとえば右眼の視点）の画像情報は、第１の視点の画像情報との差分情報が符号化される。通常、視点が異なる画像情報の間においては相関関係が非常に強いため、差分は少なく、差分情報についてのビットストリームのデータ量が低減されるので、高能率の符号化処理を実行できる立体画像符号化装置に対応する立体画像復号装置を提供できる。
【００４７】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００４８】
＜第１の実施の形態＞
図１に、本実施の形態に係る立体画像符号化装置の制御ブロック図を示す。この立体画像符号化装置は、被写体を撮影する右カメラ１０１および左カメラ１０２と、撮影された画像を表わす画像情報を処理して複数の画像情報（基本右画像情報１、拡張右画像情報２〜拡張右画像情報ｎ）を生成する入力右画像生成部１０３と、撮影された画像情報を処理して複数の画像情報（基本左画像情報１、拡張左画像情報２〜拡張左画像情報ｎ）を生成する入力左画像生成部１０４と、それぞれ対応する右画像情報と左画像情報とを結合する第１の画像結合部１０５〜第ｎの画像結合部１０７と、第１の画像結合部１０５〜第ｎの画像結合部１０７により生成された符号化情報１〜符号化情報ｎをそれぞれ符号化する第１の符号化部１０８〜第ｎの符号化部１１０とを含む。
【００４９】
右カメラ１０１および左カメラ１０２で撮影された右画像を表わす右画像情報および左画像を表わす左画像情報は、それぞれの入力右画像生成部１０３および入力左画像生成部１０４に入力される。
【００５０】
入力右画像生成部１０３は、右カメラ１０１から入力された右画像情報から、基本右画像情報１および拡張右画像情報２〜拡張右画像情報ｎのｎ個の画像情報を生成して、第１の画像結合部１０５、第２の画像結合部１０６〜第ｎの画像結合部１０７に出力する。
【００５１】
入力左画像生成部１０４は、左カメラ１０２から入力された左画像情報から、基本左画像情報１および拡張左画像情報２〜拡張左画像情報ｎのｎ個の画像情報を生成して、第１の画像結合部１０５、第２の画像結合部１０６〜第ｎの画像結合部１０７に出力する。
【００５２】
図２に、入力右画像生成部１０３の詳細な制御ブロック図を示す。図２に示すように、入力右画像生成部１０３は、入力された右画像情報を処理する水平分離部２０１と、水平分離部２０１から出力された右画像情報を処理する垂直分離部２０２および垂直分離部２０３とを含む。
【００５３】
水平分離部２０１は、入力された右画像情報から、水平方向の解像度が半分の画像情報を２つ生成し、垂直分離部２０２および垂直分離部２０３にそれぞれ入力する。図３に示すように、水平分離部２０１は、入力された右画像情報の垂直ラインを１ライン毎に抽出して、画像情報を分割する。垂直分離部２０２および垂直分離部２０３は、水平分離部２０１から入力された右画像情報から、垂直方向の解像度が半分の画像を２つ生成する。図４に示すように、垂直分離部２０２および垂直分離部２０３は、入力された右画像情報の水平ラインを１ライン毎に抽出して分割する。このようにして、水平方向および垂直方向の解像度がそれぞれ半分の画像が４個生成される。
【００５４】
このような４つの画像を生成した場合、図２に示す画像情報１〜画像情報４のいずれかを、基本右画像情報１に設定する。なお、４つの画像情報を生成した場合、いずれを基本右画像情報１にしても良いが、画像情報１〜画像情報４の中から、基本左画像情報１に対応した画像情報を選択する必要がある。また、拡張右画像情報２〜拡張右画像情報４と拡張左画像情報２〜拡張左画像情報４もそれぞれ対応させる必要がある。
【００５５】
水平分離部２０１と、垂直分離部２０２および垂直分離部２０３との順序は、図２に示した順序の逆でもよい。すなわち、垂直分離の処理をしてから、水平分離の処理をしてもよい。さらに、前述のように４つの画像情報を抽出するものとして説明したがこれに限定されない。例えば、水平ライン間引きの周期をｎとし（ｎは２以上の整数）ライン位置をｎで割った余りが０のラインを集めた画像、ライン位置をｎで割った余りが１のラインを集めた画像、…、ライン位置をｎで割った余りがｎ−１のラインを集めた画像のｎ個に分け、また各々の画像を垂直ラインを間引いて同様にｍ個（ｍは２以上の整数）に分け、ｎ×ｍの画像情報を生成することができる。
【００５６】
入力左画像生成部１０４の構成は、前述した入力右画像生成部１０３において、右画像を左画像にしたものであるため、入力左画像生成部１０４についての詳細な説明は繰返さない。
【００５７】
第１の画像結合部１０５は、入力右画像生成部１０３および入力左画像生成部１０４から入力された基本右画像情報１および基本左画像情報１を、図５に示すように左右に並列させて結合させて、符号化情報１として、第１の符号化部１０８に出力する。また、左右の画像を別の時刻の画像として時間方向に並べ直して、右左右左…という順序で出力しても良い。
【００５８】
第２の画像結合部１０９〜第ｎの画像結合部１１０は、前述した第１の画像結合部１０５において、基本右画像情報１を拡張右画像情報２〜拡張右画像情報ｎに、基本左画像情報１を拡張左画像情報２〜拡張左画像情報ｎにしたものであるため、第２の画像結合部１０９〜第ｎの画像結合部１１０についての詳細な説明は繰返さない。
【００５９】
第１の符号化部１０８は、入力された符号化情報１を符号化して、基本ビットストリーム１を生成する。第１の符号化部１０８で使用される符号化方式としては、たとえばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などのＩＳＯ／ＩＥＣで標準化された符号化方式を用いることが可能である。ただし、符号化方式は、これらに限定されない。
【００６０】
第２の符号化部１０９〜第ｎの符号化部１１０は、生成される基本ビットストリーム１を拡張ビットストリーム２〜拡張ビットストリームｎにしたものであるため、第２の符号化部１０９〜第ｎの符号化部１１０についてのここでの詳細な説明は繰返さない。
【００６１】
基本ビットストリーム１および拡張ビットストリーム２〜拡張ビットストリームｎは、記録媒体に保存されるか通信路に送出される。
【００６２】
以上のような構造を有する本実施の形態に係る立体画像符号化装置の動作について説明する。なお、以下の説明においては、ｎ＝４と想定して説明する。
【００６３】
右カメラ１０１および左カメラ１０２により撮像された右画像情報および左画像情報は、それぞれ入力右画像生成部１０３および入力左画像生成部１０４に入力される。入力右画像生成部１０３により、水平方向および垂直方向の解像度が１／２にされた画像情報１〜画像情報４が生成される。このうちの１つが基本右画像情報１として設定される。同じようにして、基本右画像情報１に対応する基本左画像情報１が設定される。これら設定された基本右画像情報１と基本左画像情報１とは、対応する画像情報である。
【００６４】
入力右画像生成部１０３により、基本右画像情報１に対応して、基本右画像情報１と組合せることにより、水平方向の解像度が２倍になる拡張右画像情報２、垂直方向の解像度が２倍になる拡張右画像情報３、元の解像度になる拡張右画像情報４が生成される。同様にして、入力右画像生成部１０４により、基本左画像情報１に対応して、基本左画像情報１と組合せることにより、水平方向の解像度が２倍になる拡張左画像情報２、垂直方向の解像度が２倍になる拡張左画像情報３、元の解像度になる拡張左画像情報４が生成される。
【００６５】
第１の画像結合部１０５は、基本右画像情報１と基本左画像情報１とを結合させて、符号化情報１を第１の符号化部１０８に出力する。第１の符号化部１０８は、符号化情報１を予め定められた方式で符号化処理して、基本ビットストリーム１を出力する。第１の画像結合部１０６は、拡張右画像情報２と拡張左画像情報２とを結合させて、符号化情報２を第２の符号化部１０９に出力する。第２の符号化部１０９は、符号化情報２を予め定められた規格で符号化処理して、拡張ビットストリーム２を出力する。同じようにして、第３の符号化部から拡張ビットストリーム３が出力され、第４の符号化部から拡張ビットストリーム４が出力される。
【００６６】
このような動作の結果、４つのストリームは、以下のように構成される。
・ストリーム１（基本ビットストリーム１）
・ストリーム２（拡張ビットストリーム２。ストリーム１と組み合わせて水平方向の解像度が２倍の画像を復号できる）
・ストリーム３（拡張ビットストリーム３。ストリーム１と組み合わせて垂直方向の解像度が２倍の画像を復号できる）
・ストリーム４（拡張ビットストリーム４。ストリーム１〜ストリーム３と組み合わせて元の解像度の画像を復号できる）
立体画像符号化装置は、水平方向にのみ解像度が半分の画像情報が必要な立体画像復号装置Ａ、垂直方向にのみ解像度が半分の画像情報が必要な立体画像復号装置Ｂ、水平方向および垂直方向に解像度が半分の画像情報が必要な立体画像復号装置Ｃが接続された通信路に、これらの３つのストリーム（ストリーム１、ストリーム２およびストリーム３）を送出する。このようにすると、ストリーム１、ストリーム２、ストリーム３が分離されているので、これらストリーム１、ストリーム２、ストリーム３を１回送出すれば、以下のような問題が発生しない。
【００６７】
すなわち、このようにしてストリームが分離されていない場合、水平方向のみ解像度が半分の画像が必要な立体画像復号装置Ａには、（ストリーム１＋ストリーム２）に相当する情報を、垂直方向の解像度が半分の画像が必要な立体画像復号装置Ｂには（ストリーム１＋ストリーム３）に相当する情報をそれぞれ送出するため、結果として、放送などで立体画像復号装置Ａおよび立体画像復号装置Ｂの両方にデータを送信する場合、ストリーム１に相当する情報を２度送出することになる。
【００６８】
これに対して、本実施の形態に係る立体画像符号化装置は、ストリーム１を複数回分送る必要がなく、複数の異なる方式の立体画像復号装置に対して同時に送信する情報を、これらの方式に共通して必要な情報と、それぞれの立体画像復号装置固有の情報とに分離することにより共通な情報が１つになる。その結果、立体画像符号化装置における保存領域もしくは必要な伝送帯域を削減できる。
【００６９】
なお、通信路に送出する際、基本ビットストリームおよび全ての拡張ビットストリームを送出してもよいが、基本ビットストリームおよび立体画像復号装置が必要とする拡張ビットストリームを予め選択して送出することで、必要とする伝送帯域をさらに低減できる。
【００７０】
また、本実施の形態に係る立体画像符号化装置を用いて符号化処理することにより、基本ビットストリームと複数の拡張ビットストリームを生成することができる。立体画像復号装置は、適切なビットストリームのみを復号するだけで必要サイズの画像を復号できる。この時、立体画像符号化装置では、たとえば、基本ビットストリームおよび複数の拡張ビットストリームを互いに識別する情報を、ビットストリームに埋め込んでおき、立体画像復号装置は、この埋め込まれた情報を参照して、必要なビットストリームを選択するようにできる。
【００７１】
また、第１の符号化部〜第ｎの符号化部が生成する基本ビットストリーム１、拡張ビットストリーム２〜拡張ビットストリームｎの蓄積時のファイルフォーマットおよび通信路にて送出される通信方式については、既存の標準方式を用いることが可能であるが、それぞれ標準方式に限定されるものではない。
【００７２】
＜第２の実施の形態＞
以下、本発明の第２の実施の形態に係る立体画像符号化装置について説明する。図６に、本実施の形態に係る立体画像符号化装置における入力右画像生成部および入力左画像生成部の制御ブロック図を示す。図６に示す立体画像符号化装置は、前述の第１の実施の形態に係る立体画像符号化装置における入力右画像生成部１０３および入力左画像生成部１０４を、図６のように構成したものである。これ以外の構成については、前述の第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【００７３】
図６を参照して、入力右画像生成部および入力左画像生成部について説明する。なお、以下の説明では、左右共通の構成であるため、特に記述しない限り、左右を区別しないで説明する。
【００７４】
入力画像生成部は、水平方向にローパスフィルタ処理を実行するＨ−ＬＰＦ６０１と、水平方向にハイパスフィルタ処理を実行するＨ−ＨＰＦ６０２と、垂直方向にローパスフィルタ処理を実行するＶ−ＬＰＦ６０５およびＶ−ＬＰＦ６０９と、垂直方向にハイパスフィルタ処理を行うＶ−ＨＰＦ６０６およびＶ−ＨＰＦ６１０と、水平方向に画素間引きを行うダウンサンプル部６０３およびダウンサンプル部６０４と、垂直方向に画素間引きを行うダウンサンプル部６０７、ダウンサンプル部６０８、ダウンサンプル部６１１およびダウンサンプル部６１２と含む。
【００７５】
Ｈ−ＬＰＦ６０１は、入力された左画像情報または右画像情報に対して、水平方向のローパスフィルタ処理を実行する。Ｈ−ＨＰＦ６０２は、入力された左画像情報または右画像情報に対して、水平方向のハイパスフィルタ処理を実行する。
【００７６】
ダウンサンプリング部６０３は、Ｈ−ＬＰＦ６０１によりローパスフィルタ処理された画像情報が入力されると、水平方向に画素間引きを行って水平方向の解像度が半分の画像情報を生成する。ダウンサンプリング部６０４は、Ｈ−ＨＰＦ６０２によりハイパスフィルタ処理された画像情報が入力されると、水平方向に画素間引きを行って水平方向の解像度が半分の画像を生成する。
【００７７】
Ｖ−ＬＰＦ６０５は、ダウンサンプリング部６０３から入力された、水平方向の解像度が半分の画像情報に対して、垂直方向にローパスフィルタ処理を実行する。Ｖ−ＨＰＦ６０６は、ダウンサンプリング部６０３から入力された、水平方向の解像度が半分の画像情報に対して、垂直方向にハイパスフィルタ処理を実行する。
【００７８】
ダウンサンプル部６０７は、Ｖ−ＬＰＦ６０５によりローパスフィルタ処理された画像情報が入力されると、垂直方向に画素間引きを行って垂直方向の解像度が半分の画像を生成する。ダウンサンプリング部６０８は、Ｖ−ＨＰＦ６０６によりハイパスフィルタ処理された画像を入力されると、垂直方向に画素間引きを行って垂直方向の解像度が半分の画像を生成する。
【００７９】
Ｖ−ＬＰＦ６０９、Ｖ−ＨＰＦ６１０、ダウンサンプル部６１１、ダウンサンプル部６１２の機能は、Ｖ−ＬＰＦ６０５、Ｖ−ＨＰＦ６０６、ダウンサンプル部６０７、ダウンサンプル部６０８とそれぞれ同じであるのでここでの詳細な説明は繰返さない。
【００８０】
このような構成により、ダウンサンプル部６０７から画像情報１が、ダウンサンプル部６０８から画像情報２が、ダウンサンプル部６１１から画像情報３が、ダウンサンプル部６１２から画像情報４が、それぞれ出力される。これらの画像情報１〜画像情報４は、水平、垂直方向の解像度がそれぞれ半分である。
【００８１】
Ｖ−ＬＰＦ、Ｈ−ＬＰＦ、Ｖ−ＨＰＦおよびＨ−ＬＰＦは、たとえば、サブバンド符号化で用いられるＱＭＦ（Quadrature Mirror Filter）などである。
【００８２】
このような構成により、生成された画像情報１〜画像情報４のうち、画像情報１には多くの符号化すべき情報が集中するため、残りの画像情報２〜画像情報４の符号量は少なくなり、結果として全体の符号化効率は高くなる。
【００８３】
また、本実施の形態において、出力されるビットストリームは４つの例を説明したが、図６に示す入力画像生成部を複数段組み合わせ、画像情報１〜画像情報４のおのおのに対し、もしくはその一部を次段の入力画像生成部の入力にする構成とすることで、４つ以上のビットストリームを生成することも可能である。
【００８４】
このようにして、本実施の形態に係る立体画像符号化装置を用いて符号化すると、画像情報１に画像情報の低周波成分が集中するので、多くの符号化すべき情報を集中させることができるため、より高能率な符号化を行うことが可能である。
【００８５】
＜第３の実施の形態＞
以下、本発明の第３の実施の形態に係る立体画像符号化装置について説明する。図７に、本実施の形態に係る立体画像符号化装置の制御ブロック図を示す。図７に示す立体画像符号化装置は、前述の第１の実施の形態に係る立体画像符号化装置に第１の復号部が追加されるとともに、第１の復号部からの復号画像出力が、第２の符号化部〜第ｎの符号化部に入力される点が異なる。これ以外の構成については、前述の第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【００８６】
第１の復号部７０１から出力される基本ビットストリームは、この立体画像符号化装置に保存されるか、通信路に送出されると同時に、第１の復号部７０２に入力される。第１の復号部７０２は、入力された基本ビットストリームを復号して、復号画像情報を第２の符号化部７０３〜第ｎの符号化部７０５へそれぞれ入力する。
【００８７】
第２の符号化部７０３は、第１の復号部７０２により入力された復号画像情報を利用して、第２の画像結合部から出力された符号化情報２を符号化して、拡張ビットストリーム２を出力する。第３の符号化部７０３〜第ｎの符号化部７０５も、第２の符号化部７０３と同じであるので、ここでの詳細な説明は繰返さない。この復号画像情報は、入力された基本ビットストリームを復号したものであって、すべての立体画像方式で共通して必要な情報である。したがって、この復号画像情報を復号するための基本ビットストリームは、すべての立体画像方式を採用した立体画像復号装置に送出される。
【００８８】
本実施の形態に係る立体画像符号化装置においては、第１の復号部７０２から出力された基本右画像情報１および基本左画像情報１と、拡張右画像情報２〜拡張右画像情報ｎおよび拡張左画像情報２〜拡張左画像情報ｎとの差分情報を符号化する。すなわち、拡張右画像情報２〜拡張右画像情報ｎおよび拡張左画像情報２〜拡張左画像情報ｎを符号化するにあたり、画像情報そのものを符号化する代わりに差分情報を符号化する。この場合、その差分情報は、対応する画素単位で引き算をした画像を用いることが考えられる。また、入力された画像間の動ベクトルを算出し、動き補償画像を生成して対応する画素単位で引き算をした画像および動ベクトルとする方法も考えられる。前述のように、基本ビットストリームは、すべての立体画像方式を採用した立体画像復号装置に送出されているので、立体画像復号装置は、この基本ビットストリームを復号した基本右画像情報１および基本左画像情報１と差分情報とに基づいて、拡張右画像情報２〜拡張右画像情報ｎおよび拡張左画像情報２〜拡張左画像情報ｎを得ることができる。
【００８９】
本実施の形態に係る立体画像符号化装置によると、符号化情報と復号画像の差分を符号化するため、効率的に符号化することが可能である。
【００９０】
なお、本実施の形態に係る立体画像符号化装置の第１の復号部７０１は、基本ビットストリーム１を復号して復号情報を取得するようにしたが、第１の符号化部が局部復号部を備える場合は、第１の復号部を追加せず、その局部復号部にて得られた復号情報を、第２の符号化部〜第ｎの符号化部に入力するようにしてもよい。
【００９１】
＜第４の実施の形態＞
以下、本発明の第４の実施の形態に係る立体画像符号化装置について説明する。図８に、本実施の形態に係る立体画像符号化装置における入力右画像生成部および入力左画像生成部の制御ブロック図を示す。図８に示す立体画像符号化装置は、前述の第３の実施の形態に係る立体画像符号化装置における入力右画像生成部および入力左画像生成部を、図８のように構成したものである。これ以外の構成については、前述の第３の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【００９２】
図８を参照して、入力右画像生成部および入力左画像生成部について説明する。なお、以下の説明では、左右共通の構成であるため、特に記述しない限り、左右を区別しないで説明する。
【００９３】
入力画像生成部は、水平方向にローパスフィルタ処理を行うＨ−ＬＰＦ８０１と、垂直方向にローパスフィルタ処理を行うＶ−ＬＰＦ８０２およびＶ−ＬＰＦ８０５と、水平方向に画素間引きを行うダウンサンプル部８０３と、垂直方向に画素間引きを行うダウンサンプル部８０４およびダウンサンプル部８０６とを含む。
【００９４】
Ｈ−ＬＰＦ８０１は、入力された左画像情報または右画像情報に対して、水平方向のローパスフィルタ処理を実行する。
【００９５】
ダウンサンプリング部８０３は、Ｈ−ＬＰＦ８０１により水平方向にローパスフィルタ処理された画像情報が入力されると、水平方向に画素間引きを行って水平方向の解像度が半分の画像情報を生成する。生成された画像情報は、Ｖ−ＬＰＦ８０５に入力されると同時に、画像情報２として出力される。
【００９６】
Ｖ−ＬＰＦ８０５は、ダウンサンプル部８０３により水平方向に画素間引きされた画像情報が入力されると、垂直方向のローパスフィルタ処理を実行する。
【００９７】
ダウンサンプル部８０６は、垂直方向にローパスフィルタ処理された画像に対して、垂直方向に画素間引きを行い、垂直方向の解像度が半分の画像情報を生成する。生成された画像情報は、画像情報１として出力される。
【００９８】
Ｖ−ＬＰＦ８０２は、入力された左画像情報または右画像情報に対して、垂直方向のローパスフィルタ処理を実行する。
【００９９】
ダウンサンプリング部８０４は、Ｖ−ＬＰＦ８０２によりローパスフィルタ処理された画像情報が入力されると、垂直方向に画素間引きを行って垂直方向の解像度が半分の画像情報を生成する。生成された画像情報は、画像情報３として出力される。
【０１００】
また、入力画像生成部に入力された左画像情報または右画像情報は、そのまま画像情報４として出力される。
【０１０１】
図９は、前述した入力画像生成部が生成する画像のサイズを表わす。図９に示すように、左画像もしくは右画像の画像サイズは水平方向にＸ画素、垂直方向にＹ画素であるものとする。このような画像情報が作成されるため、第２の符号化部７０３〜第ｎの符号化部７０６では画像結合部から入力される画像サイズが異なる。このため、事前に入力画像を補完してサイズを合わせた後に符号化を行う。
【０１０２】
本実施の形態に係る立体画像符号化装置によると、必要な画像サイズ毎にビットストリームを生成しているため、立体画像復号装置で基本ビットストリームと適切なビットストリームを１つ復号するだけで必要なサイズの画像を得ることができ、立体画像復号装置の構成を簡略化できる。なお、適切なビットストリームは、立体画像復号装置で選択してもよいし、立体画像復号装置にビットストリームを送出する際に適切なビットストリームを選択するようにしてもよい。立体画像復号装置で基本ビットストリームと適切なビットストリームとを選択する場合、たとえば、立体画像符号化装置で基本ビットストリームおよび複数の拡張ビットストリームを互いに識別する情報をビットストリームに埋め込んでおき、立体画像復号装置は、この情報を参照して必要なビットストリームを選択するようにするとよい。
【０１０３】
＜第５の実施の形態＞
以下、本発明の第５の実施の形態に係る立体画像符号化装置について説明する。図１０に、本実施の形態に係る立体画像符号化装置の制御ブロック図を示す。図１０に示す立体画像符号化装置は、被写体を撮影する右カメラ１００１および左カメラ１００２と、撮影された画像を処理して複数の画像を生成する入力右画像生成部１００３および入力左画像生成部１００４と、生成された画像を符号化する第１の符号化部１０１２〜第２ｎの符号化部１０１７と、生成されたビットストリームを復号する第１の復号部１００６、第３の復号部１００８、…、第（２ｎ−１）の復号部１０１０と、画像情報と復号された画像情報の差分を算出する第２の減算部１００７、第４の減算部１００９、…、第２ｎの減算部１０１１とを含む。これ以外の構成については、前述の第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。また、右カメラ１００１、左カメラ１００２、入力右画像生成部１００３および入力左画像生成部１００４は、第１の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【０１０４】
第１の符号化部１０１２は、入力された右画像情報１を符号化して、基本ビットストリーム１を生成する。ここで使用される符号化方式としては、例えばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などのＩＳＯ／ＩＥＣで標準化された符号化方式を用いることが可能である。ただし、符号化方式としてはこれらに限定されない。
【０１０５】
第１の符号化部１０１２で生成された基本ビットストリーム１は、記録媒体に保存されるか、通信路に送出されると同時に、第１の復号部１００６に入力される。第１の復号部１００６は、入力された基本ビットストリームを復号し、復号画像情報１を生成する。
【０１０６】
第２の減算部１００７は、生成された復号画像情報１と左画像情報（ｎ＋１）の差分である符号化情報２を生成し、第２の符号化部１０１３に入力する。減算の方法としては、前述したように、対応する画素単位で引き算することが考えられる。また、入力した画像間の動ベクトルを算出し、動き補償画像を生成して対応する画素単位で引き算をした画像および動ベクトルとする方法も考えられる。
【０１０７】
第２の符号化部１０１３は、入力された符号化情報２を符号化し、拡張ビットストリーム２を生成する。ここで使用される符号化方式としては、たとえばＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４などのＩＳＯ／ＩＥＣで標準化された符号化方式を用いることが可能であるが。これらに限定されない。
【０１０８】
第３の符号化部１０１４〜第２ｎの符号化部１０１７、第４の減算部１００９〜第２ｎの減算部１０１１の構成は、第１の符号化部１０１２、第２の符号化部１０１３および第２の減算部１００７と同じであるため、これらについての詳細な説明は繰返さない。
【０１０９】
基本ビットストリーム１および拡張ビットストリーム２〜拡張ビットストリーム２ｎは、記録媒体に保存されるか通信路に送出される。蓄積時のファイルフォーマット、通信路にて送出される通信方式も既存の標準方式を用いることが可能である。ただし、それらの標準方式に限定されない。
【０１１０】
本実施の形態に係る立体画像符号化装置によると、右画像と左画像を分けて符号化し、右または左の画像のみを伝送することで、立体表示に対応していない表示装置でも画像表示が可能となる。
【０１１１】
＜第６の実施の形態＞
以下、本発明の第６の実施の形態に係る立体画像復号装置について説明する。図１１に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１１に示す立体画像復号装置は、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１１２】
本実施の形態に係る立体画像復号装置は、入力された拡張ビットストリームから必要なビットストリームのみを選択するビットストリーム選択部１１０１と、選択されたビットストリームを復号する第１の復号部１１０２〜第ｋの復号部１１０４と、復号画像から左右の画像情報を分離する第１の分離部１１０６〜第ｋの分離部１１０９と、入力された画像情報から表示に必要な画像情報を生成する出力右画像変換部１１１０および出力左画像変換部１１１１と、入力された左右画像から表示装置が必要なフォーマットにデータの並べ替えを行う並べ替え変換部１１１２とを含む。
【０１１３】
記録媒体に保存あるいは通信路を介して送信された基本ビットストリーム１は、第１の復号部１１０２に入力される。記録媒体に保存あるいは通信路を介して送信された拡張ビットストリーム２〜拡張ビットストリームｎは、ビットストリーム選択部１１０１に入力される。
【０１１４】
ビットストリーム選択部１１０１は、入力された複数のビットストリームのうち（ｋ−１）個を選択し、第２の復号部１１０３〜第ｋの復号部１１０５へそれぞれ入力する。ここで、ｋは、この立体画像復号装置が必要とするストリームの個数である。
【０１１５】
第１の復号部１１０２は、入力された基本ビットストリーム１を復号し、復号情報１を出力する。出力された復号情報１は、第１の画像分離部１１０６にて、基本右画像情報１および基本左画像情報１に分離され、基本右画像情報１は出力右画像変換部１１１０に、基本左画像情報１は出力左画像変換部１１１１にそれぞれ入力される。
【０１１６】
第１の画像分離部１１０６は、図１に示す第１の画像結合部１０５の機能と逆の機能を有する。
【０１１７】
第２の復号部１１０３は、入力された拡張ストリームをそれぞれ復号して、復号情報２を出力する。出力された復号情報２は、第２の画像分離部１１０７にて拡張右画像情報２および拡張左画像情報２に分離され、拡張右画像情報２は出力右画像変換部１１１０に、拡張左画像情報２は出力左画像変換部１１１１にそれぞれ入力される。
【０１１８】
第２の画像分離部１１０７は、図１に示す第２の画像結合部１０６の機能と逆の機能を有する。
【０１１９】
第３の復号部１１０４〜第ｋの復号部１１０５は第１の復号部１１０２と、第３の画像分離部１１０８〜第ｋの画像分離部１１０９は第１の画像分離部１１０６と、それぞれ同じ構成であるため、それらについてのここでの詳細な説明は繰返さない。
【０１２０】
出力右画像変換部１１１０は、入力された基本右画像情報１および拡張右画像情報２〜拡張右画像情報ｋとから、表示装置が必要とするサイズの右画像を生成する。たとえば、基本画像情報１のサイズに対して水平方向に２倍のサイズの右画像もしくは左画像を生成する場合、図２に示す間引きの逆処理を行うことになる。すなわち、入力された基本画像情報１と、水平方向の解像度を２倍にする差分画像情報を水平方向に互い違いに重ね合わせて所望の画像を得る。
【０１２１】
また、基本画像情報１のサイズに対して垂直方向に２倍のサイズの右画像もしくは左画像が必要な場合、図３に示した間引き処理の逆処理を行うことになる。すなわち、入力された基本画像情報１と、垂直方向の解像度を２倍にする差分画像情報を垂直方向に互い違いに重ね合わせて所望のサイズの画像を得る。
【０１２２】
出力左画像変換部１１１１は、出力右画像変換部の機能と同じであるため、ここでの詳細な説明は繰返さない。
【０１２３】
並べ替え処理部１１１２は、生成された左画像および右画像を変換し、表示装置が必要とするフォーマットを生成する。図１２に、表示装置がパララックスバリア方法やレンチキュラー板を配置方法を用いた場合の処理方法を示す。この場合、入力された右画像、および左画像を垂直ラインに分け、右画像の垂直ラインと左画像の垂直ラインを交互に並べて出力する。また、電子シャッターにより左右の画像を交互に出力する表示装置の場合、左画像および右画像を時系列方向に交互に出力する。
【０１２４】
本実施の形態に係る立体画像復号装置によると、基本ビットストリームと適切な拡張ビットストリームのみを復号するだけで表示装置が必要とするサイズの画像を復号できる。
【０１２５】
＜第７の実施の形態＞
以下、本発明の第７の実施の形態に係る立体画像復号装置について説明する。図１３に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１３に示す立体画像復号装置は、前述の第２の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第２の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１２６】
図１３に示す立体画像復号装置は、前述の第６の実施の形態に係る立体画像復号装置の出力右画像生成部１１１０および出力左画像生成部１１１１を、図１３に示す構成にしたものである。これ以外の構成については、前述の第６の実施の形態と同じである。したがって、それらについてのここでの詳細な説明は繰返さない。
【０１２７】
図１３を参照して、出力右画像生成部および出力左画像生成部について説明する。なお、以下の説明では、左右共通の構成であるため、特に記述しない限り、左右を区別しないで説明する。
【０１２８】
出力画像変換部の構成は、表示装置が必要とする画像サイズにより、図１３（１）、（２）、（３）の３通りの構成が考えられる。このうち、図１３（２）、（３）は、図１３（１）のサブセットであるため、以下、図１３（１）のみ説明する。
【０１２９】
図１３（１）に示す出力画像変換部は、水平方向にローパスフィルタ処理を行うＨ−ＬＰＦ１３０５およびＨ−ＬＰＦ１３０７と、水平方向にハイパスフィルタ処理を行うＨ−ＨＰＦ１３０６およびＨ−ＨＰＦ１３０８と、垂直方向にローパスフィルタ処理を行うＶ−ＬＰＦ１３１３と、垂直方向にハイパスフィルタ処理を行うＶ−ＨＰＦ１３１４と、水平方向に画素をアップサンプルするアップサンプル部１３０１〜アップサンプル部１３０４と、垂直方向に画素をアップサンプルするアップサンプル部１３１１およびアップサンプル部１３１２、画像を合成する合成部１３０９と、合成部１３１０および合成部１３１５とを含む。
【０１３０】
アップサンプル部１３０１〜アップサンプル部１３０４は、入力された基本右画像情報１および差分右画像情報２〜差分右画像情報４に対して、水平方向にアップサンプリング処理を実行する。これにより、水平方向の解像度が２倍の画像が生成される。
【０１３１】
Ｈ−ＬＰＦ１３０５、Ｈ−ＬＰＦ１３０７およびＨ−ＨＰＦ１３０６、Ｈ−ＨＰＦ１３０８は、アップサンプルされた入力画像に対して、それぞれローパスフィルタおよびハイパスフィルタを適用して処理した画像情報を、合成部１３０９および合成部１３１０に入力する。
【０１３２】
合成部１３０９および合成部１３１０は、入力された画像の水平方向偶数位置サンプルの画素と、もう一方画像の水平方向奇数位置サンプルの画素とからなる画像を合成する。合成部１３０９および合成部１３１０の出力を、アップサンプル部１３１１およびアップサンプル部１３１２で垂直方向にアップサンプルした後、Ｖ−ＬＰＦ１３１３でローパスフィルタを、Ｖ−ＨＰＦ１３１４ではハイパスフィルタを適用して処理した画像情報を合成部１３１５に入力する。
【０１３３】
合成部１３１５は、入力された画像の垂直方向偶数位置サンプルの画素と、もう一方画像の垂直方向奇数位置サンプルの画素とからなる画像を合成出力して、垂直方向の解像度を２倍にする。このような構成により、出力画像は水平方向および垂直方向とも２倍の解像度となる。
【０１３４】
本実施の形態に係る立体画像復号装置を用いることで、基本ビットストリームおよびより高能率に符号化された適切な拡張ビットストリームのみを復号するだけで表示装置が必要とするサイズの画像を復号できる。
【０１３５】
＜第８の実施の形態＞
以下、本発明の第８の実施の形態に係る立体画像復号装置について説明する。図１４に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１４に示す立体画像復号装置は、前述の第３の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第３の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１３６】
図１４に示す立体画像復号装置は、前述の第６の実施の形態に係る立体画像復号装置の第１の復号部〜第ｋの復号部を図１５に示す構成としたものである。これ以外の構成については、前述の第６の実施の形態と同じである。したがって、それらについての詳細な説明は繰返さない。
【０１３７】
図１４に示す第２の復号部１４０１は、第１の復号部で復号された復号情報１を利用し、ビットストリーム選択部１１０１で選択された拡張ビットストリームを復号し、復号情報２を生成して第２の画像分離部１１０７へ出力する。
【０１３８】
図１５は、第２の復号部１４０１の制御ブロック図である。第２の復号部１４０１は、復号処理部１５０１と加算部１５０２とを含む。復号処理部１５０１は、入力された拡張ビットストリームを復号し復号画像情報を生成する。加算部１５０２は、復号画像情報と別途入力された復号情報１と足し合わせて画像情報を生成し、生成された画像情報を差分画像情報２として出力する。
【０１３９】
第３の復号部１４０２〜第ｋの復号部１４０３は、第２の復号部１１０７と同じ構成であるため、それらについてのここでの詳細な説明は繰返さない。
【０１４０】
本実施の形態に係る立体画像復号装置によると、基本ビットストリームと適切な基本ビットストリームから復号される画像との差分から成る拡張ビットストリームのみを復号するだけで表示装置が必要とするサイズの画像を復号することができる。
【０１４１】
＜第９の実施の形態＞
以下、本発明の第９の実施の形態に係る立体画像復号装置について説明する。図１６に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１６に示す立体画像復号装置は、前述の第４の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第４の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１４２】
本実施の形態に係る立体画像復号装置は、複数の拡張ビットストリームから適切な拡張ビットストリームを１つだけ選択するビットストリーム選択部１６０１と、ビットストリームの復号を行う第１の復号部１１０２および第２の復号部１６０２と、復号された画像から右画像および左画像を抽出する第１の画像分離部１１０６と、表示装置が必要とする形式に変換する並べ替え処理部１１１２とを含む。このうち、第１の復号部１１０２、第１の画像分離部１１０６、並べ替え処理部１１１２は、第６の実施の形態と同じである。したがって、それらについての詳細な説明なここでは繰返さない。
【０１４３】
ビットストリーム選択部１６０１は、入力された拡張ビットストリーム２〜拡張ビットストリームｎから、適切なビットストリーム１つだけを選択し、選択ビットストリームとして第２の復号部１６０２に入力する。
【０１４４】
第２の復号部１６０２は、第１の復号部１１０２で復号された復号情報１を利用し、選択ビットストリームを復号した復号情報２を生成する。
【０１４５】
図１７は、第２の復号部１６０２の詳細な制御ブロック図である。第２の復号部１６０２は、復号処理部１７０１と、補間部１７０２と、加算部１７０３とを含む。
【０１４６】
復号処理部１７０１は、選択ビットストリームを復号して復号画像を生成する。補間部１７０２は、復号情報１の画素を補間して、復号画像と同じサイズの画像を生成する。加算部１７０３は、補間部１７０２により補間された復号情報１と、復号処理部１７０１により復号された画像とを足し合わせて、復号情報２を生成する。
【０１４７】
本実施の形態に係る立体画像復号装置によると、基本ビットストリームと適切なビットストリームを１つ選択するだけで必要なサイズの画像を得ることができ、装置の構成を簡略化できる。
【０１４８】
＜第１０の実施の形態＞
以下、本発明の第１０の実施の形態に係る立体画像復号装置について説明する。図１８に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１８に示す立体画像復号装置は、前述の第５の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第５の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１４９】
本実施の形態に係る立体画像復号装置は、入力された拡張ビットストリームから必要なビットストリームのみを選択するビットストリーム選択部１８０１と、選択されたビットストリームを復号する第１の復号部１８０２〜第２ｋの復号部１８０７と、復号された画像の加算処理を行う第（ｋ＋１）の加算部１８０８〜第２ｋの加算部１８１０と、入力された画像情報から表示に必要な画像情報を生成する出力右画像変換部１８１１および出力左画像変換部１８１２と、入力された左右画像から表示装置が必要なフォーマットにデータの並べ替えを行う並べ替え変換部１８１３とから構成される。
【０１５０】
第１の復号部１８０２は、記録媒体に保存、通信回線を介して送信された基本ビットストリーム１が入力されると、復号情報１を生成する。ビットストリーム選択部１８０１は、記録媒体に保存、通信回線を介して送信された拡張ビットストリーム２〜拡張ビットストリーム２ｎが入力されると、入力された（２ｎ−１）個の拡張ビットストリームのうち（２ｋ−１）個を選択し、第２の復号部１８０２〜第２ｋの復号部１８０７へそれぞれ入力する。ここで、２ｋは、この立体画像復号装置が必要とするストリームの個数である。
【０１５１】
第１の復号部１８０２は、入力された基本ビットストリーム１を復号し、復号情報１を出力して、復号情報１は、出力左画像変換部１８１１に入力される。第（ｋ＋１）の復号部１８０５は、入力された拡張ビットストリームを復号し、復号情報（ｋ＋１）を生成する。
【０１５２】
第（ｋ＋１）の加算部１８０８は、復号情報１と復号情報ｋ＋１を足し合わせ、出力右画像変換部に出力する。第２の復号部１８０３〜第ｋの復号部１８０４は、第１の復号部１８０２と、第（ｋ＋２）の復号部１８０６〜第２ｋの復号部１８０７は、第（ｋ＋１）の復号部１８０５と、第（ｋ＋２）の加算部１８０９〜第２ｋの加算部１８１０は、第（ｋ＋１）の加算部１８０８と、それぞれ同じ構成であるため、それらについてのここでの詳細な説明は繰返さない。
【０１５３】
出力右画像変換部１８１１、出力左画像変換部１８１２および並べ替え処理部１８１３は、前述の第６の実施の形態と同じであるため、それらについてのここでの詳細な説明は繰返さない。
【０１５４】
本実施の形態に係る立体画像復号装置によると、右画像用のビットストリームを復号する復号装置と、左画像用のビットストリームを復号する復号装置を別の構成としたため、より汎用性の高い立体画像の復号が可能となる。
【０１５５】
＜第１１の実施の形態＞
以下、本発明の第１１の実施の形態に係る立体画像復号装置について説明する。図１９に、本実施の形態に係る立体画像復号装置の制御ブロック図を示す。図１９に示す立体画像復号装置は、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームを復号する装置である。ただし、本実施の形態に係る立体画像復号装置が復号処理するビットストリームは、前述の第１の実施の形態に係る立体画像符号化装置により符号化されたビットストリームに限定されない。
【０１５６】
本実施の形態に係る立体画像復号装置は、図１１に示した立体画像復号装置に、２Ｄ／３Ｄ選択部１９０３を追加した構成を有する。これ以外の構成については、前述の第６の実施の形態と同じである。したがって、それらについてのここでの詳細な説明は繰返さない。
【０１５７】
図１９に示す２Ｄ／３Ｄ選択部１９０２は、表示装置が立体画像を表示する場合、出力右画像変換部１９０１および出力左画像変換部１９０２が出力する画像情報をそのまま出力し、並べ替え変換部１９０４へ入力する。２Ｄ／３Ｄ選択部１９０２は、表示装置が２次元画像を表示する場合、出力右画像変換部１９０１および出力左画像変換部１９０２のいずれかから出力される画像情報のみを出力する。
【０１５８】
本実施の形態に係る立体画像復号装置によると、２Ｄ／３Ｄの表示情報を切り替えることが可能な構成としているため、立体表示機能を有しない復号装置でも、２次元画像としてコンテンツを表示することが可能となる。
【０１５９】
＜その他の変形例＞
前述した実施の形態において、図１１、１４、１６、１８、１９に示した立体画像復号装置は、ビットストリーム選択部を備えたものとして説明したが、これに限定されるものではない。たとえば、拡張ビットストリームの送出時にビットストリームを選択して立体画像復号装置に入力するようにすると、ビットストリーム選択部を備える必要はなくなる。
【０１６０】
また、図１、７、１０に示した立体画像符号化装置は、立体画像が左右２つの画像から構成されるものとして説明したが、これに限定されない。たとえば、カメラおよび入力画像生成部を追加することで、２つ以上の多眼の立体画像符号化装置とすることもできる。同様にして、図１１、１４、１６、１８に示した立体画像復号装置は、立体画像が左右２つの画像から構成されるものとして説明したが、これに限定されない。たとえば、出力画像変換部を追加することで、２つ以上の多眼の立体画像復号装置とすることもできる。このような多眼式の立体画像復号装置によると、視聴者が移動した場合に、それまで見えなかった部分の立体表示が可能になる。
【０１６１】
さらに、前述した説明においては、説明の便宜上、各ビットストリームに対応した複数の符号化部や複数の復号部を備えているものとしたが、これに限定されない。たとえば、複数の符号化部や複数の復号部をまとめて、一つの符号化部や一つの復号部で実現してもよい。この場合、たとえば、時分割処理によって各ビットストリームを符号化あるいは復号するようにするとよい。
【０１６２】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る立体画像符号化装置の制御ブロック図である。
【図２】図１に示す入力画像生成部の詳細な制御ブロック図である。
【図３】図１に示す入力画像生成部における水平方向の間引き処理を説明するための図である。
【図４】図１に示す入力画像生成部における垂直方向の間引き処理を説明するための図である。
【図５】図１の画像結合部の結合処理を説明するための図である。
【図６】本発明の第２の実施の形態に係る立体画像符号化装置における入力画像生成部の詳細な制御ブロック図である。
【図７】本発明の第３の実施の形態に係る立体画像符号化装置の制御ブロック図である。
【図８】本発明の第４の実施の形態に係る立体画像符号化装置における入力画像生成部の詳細な制御ブロック図である。
【図９】図８の入力画像生成部の生成処理を説明するための図である。
【図１０】本発明の第５の実施の形態に係る立体画像符号化装置の制御ブロック図である。
【図１１】本発明の第６の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１２】図１１の並べ替え処理部の並べ替え処理を説明するための図である。
【図１３】本発明の第７の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１４】本発明の第８の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１５】図１４に示す第２の復号部〜第ｋの復号部の詳細な制御ブロック図である。
【図１６】本発明の第９の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１７】図１６に示す第２の復号部の詳細な制御ブロック図である。
【図１８】本発明の第１０の実施の形態に係る立体画像復号装置の制御ブロック図である。
【図１９】本発明の第１１の実施の形態に係る立体画像復号装置の制御ブロック図である。
【符号の説明】
１０１、１００１右カメラ、１０２、１００２左カメラ、１０３、１００３入力右画像変換部、１０４、１００４入力左画像変換部、１０５第１の画像結合部、１０６第２の画像結合部、１０７第ｎの画像結合部、１０８、７０１、１０１２第１の符号化部、１０９、７０３、１０１３第２の符号化部、１１０、７０５第ｎの符号化部、２０１水平分離部、２０２、２０３垂直分離部、６０１、８０１、１３０５、１３０７Ｈ−ＬＰＦ、６０２、１３０６、１３０８Ｈ−ＨＰＦ、６０３、６０４、６０７、６０８、６１１、６１２、８０３、８０４、８０６ダウンサンプリング部、６０５、６０９、８０２、８０５、１３１３Ｖ−ＬＰＦ、６０６、６１０、１３１４Ｖ−ＨＰＦ、７０２、１００６第１の復号部、１００７第２の減算部、１００８第３の復号部、１００９第４の減算部、１０１０第（２ｎ−１）の復号部、１０１１第２ｎの減算部、１０１６第（２ｎ−１）の符号化部、１０１７第２ｎの符号化部、１１０１、１６０１、１８０１ビットストリーム選択部、１１０２、１８０２第１の復号部、１１０３、１４０１、１６０２、１８０３第２の復号部、１１０４、１４０２第３の復号部、１１０５、１４０３、１８０４第ｋの復号部、１１０６第１の画像分離部、１１０７第２の画像分離部、１１０８第３の画像分離部、１１０９第ｋの画像分離部、１１１０出力右画像変換部、１１１１出力左画像変換部、１１１２、１８１３、１９０４並べ替え処理部、１３０１、１３０２、１３０３、１３０４、１３１１、１３１２アップサンプル部、１３０９、１３１０、１３１５合成部、１５０１、１７０１復号処理部、１５０２、１７０３、１８０８、１８０９、１８１０加算部、１７０２補間部、１８０５第（ｋ＋１）の復号部、１８０６第（ｋ＋２）の復号部、１８０７第２ｋの復号部、１８１１、１８１２、１９０１、１９０２出力画像変換部、１９０３２Ｄ／３Ｄ選択部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for sending a plurality of image data including a left image and a right image for displaying a stereoscopic image to a stereoscopic image decoding apparatus via a communication path or a recording medium, and particularly for stereoscopic display. The present invention relates to a technique for transmitting image data having a small amount of information to a plurality of stereoscopic image decoding apparatuses having different image information necessary for the above.
[0002]
[Prior art]
A stereoscopic image that displays a stereoscopic image by generating a stereoscopic image that allows a human eye to perceive an object stereoscopically using a plurality of cameras and storing the stereoscopic image information in a recording medium or transmitting it via a communication channel. There is a processing device for displaying. There are mainly two methods for displaying stereoscopic images in such a processing apparatus.
[0003]
First, a slit plate with a lot of vertical slits is placed in front of a liquid crystal display such as a parallax barrier method or a method using a lenticular plate. The left image on the display can be seen from the left side.
[0004]
Japanese Patent Application Laid-Open No. 11-18111 discloses an apparatus for displaying a stereoscopic image based on such a principle. The stereoscopic image display device disclosed in this publication performs a thinning process for each pixel in the horizontal direction for each of the captured right image information and left image information, and the right image information and the left image information are combined. It arrange | positions so that it may appear alternately on a scanning line. Thus, an optical system in which a right image is input to the viewer's right eye and a left image is input to the left eye is configured, and the viewer can recognize the stereoscopic image.
[0005]
Second, the left and right images are displayed alternately on the display device in time, and the left and right images are distinguished by goggles that synchronize shutters such as liquid crystal shutters at the time of switching. Some obtain a three-dimensional effect by an afterimage.
[0006]
Japanese Patent Laid-Open No. 9-9293 discloses an apparatus for displaying a stereoscopic image based on such a principle. The stereoscopic image display device disclosed in this publication thins out the horizontal lines of the photographed right image and left image in units of one line, and each of the obtained images corresponds to a field image and is displayed on an interlaced monitor. The left and right are switched and displayed at predetermined time intervals. Thereby, the viewer can recognize the stereoscopic image by synchronizing the displayed image and the shutter of the goggles.
[0007]
Since stereoscopic image information requires image information for both the left and right eyes, the data amount of the image information is enormous. For this reason, in order to store and transmit stereoscopic image information, it is indispensable to highly compress it. As a stereoscopic image compression method, a method of compressing left and right binocular images individually on the left and right sides according to MPEG (Moving Picture Experts Group) or JPEG (Joint Photographic Experts Group) standards can be considered. In addition, in IEO / IEC MPEG-2, a stereoscopic image compression technique is standardized in a framework called a multi-view profile. In MPEG-2, temporal image (Temporal Scalability) technology is used, only left image information (or right image information) is encoded by a normal method, and corresponding right image information (or left image information) and left image information are encoded. The difference information is encoded separately.
[0008]
[Problems to be solved by the invention]
However, even in the two stereoscopic image encoding methods exemplified above, if the type of the stereoscopic image display method of the stereoscopic image display device is different, the horizontal resolution needs to be halved or the vertical resolution is The type of image information required in the display device is different. Therefore, conventionally, for each display method (for example, when using a lenticular plate, it is necessary to encode the horizontal resolution in half, whereas when using an electronic shutter, the vertical resolution is halved. Because it needs to be encoded), different left and right image information is required.
[0009]
Therefore, when image information is simultaneously sent to at least two stereoscopic image display devices having different stereoscopic image display methods, such as a stereoscopic image display device using a lenticular plate and a stereoscopic image display device using an electronic shutter, the same information is sent. Even for a stereoscopic image, it is necessary to separately create and send image information corresponding to each method. As a result, the size of the image information storage area in the transmission-side apparatus becomes large, or the line capacity is wasted when transmitting using the communication path.
[0010]
The present invention has been made to solve the above-described problem, and a stereoscopic image encoding apparatus capable of reducing image information sent to a plurality of stereoscopic image decoding apparatuses having different image information necessary for stereoscopic display. And a stereoscopic image decoding device that decodes a bitstream encoded by the stereoscopic image encoding device.
[0011]
[Means for Solving the Problems]
The stereoscopic image encoding device according to the first invention encodes two or more image data corresponding to each of a plurality of viewpoints. This stereoscopic image encoding device combines n pieces of image information corresponding to each viewpoint, with creation means for creating n pieces of image information (n is an integer of 2 or more) based on each piece of image data. Then, image combining means for generating n pieces of combined image information and encoding means for generating n bit streams by encoding n pieces of combined image information are included.
[0012]
According to the first invention, for example, the creation unit creates, for example, four pieces of image information based on the image data of two viewpoints (left eye viewpoint and right eye viewpoint). The four pieces of image information include, for example, (A) image information obtained by extracting image data so that the vertical and horizontal resolutions of the screen are halved, and (B) the vertical resolution of the screen is 1 /. Image information from which image data is extracted so as to be 2, (C) image information from which image data is extracted so that the horizontal resolution of the screen is halved, and (D) vertical and horizontal resolution of the screen The image information is not changed. The image combining means creates combined image information combining such four pieces of image information in correspondence with the left and right viewpoints. The encoding means encodes the combined image information. Thus, for example, in a stereoscopic image display device using a lenticular plate (horizontal resolution is half), a bit stream obtained by encoding the image data of (A) and a bit encoded by the image data of (B) A 3D image display device using an electronic shutter (vertical resolution is half), a bit stream obtained by encoding the image data of (A) and an image information of (C). Send a bit stream. In this case, a bit stream obtained by encoding the image data (A) is sent once to a transmission path in which a stereoscopic image display device using a lenticular plate and a stereoscopic image display device using an electronic shutter are connected. Just do it. Also in the stereoscopic image encoding apparatus, [a bit stream obtained by encoding the image data of (A) + a bit stream obtained by encoding the image data of (B)], [a bit obtained by encoding the image data of (A) It is not necessary to store both of the stream + the bit stream obtained by encoding the image data of (C)], and the area for storing the bit stream obtained by encoding the image data of (A) can be reduced. As a result, it is possible to provide a stereoscopic image encoding apparatus that can reduce image information sent to a plurality of stereoscopic image decoding apparatuses having different image information necessary for stereoscopic display.
[0013]
In the stereoscopic image encoding device according to the second aspect of the invention, in addition to the configuration of the first aspect, the creating means stores n pieces of image information in correspondence with the device that displays the stereoscopic image by decoding the bitstream. Including means for creating.
[0014]
According to the second invention, the resolution in the horizontal direction is reduced to 1/3 in correspondence with a stereoscopic image display device using a lenticular plate for transmitting a bit stream by a stereoscopic image encoding device, a stereoscopic image display device using an electronic shutter, or the like. n pieces of image information can be created. As a result, the stereoscopic image encoding apparatus can create and transmit a bitstream in which image information required by the transmission destination stereoscopic image display apparatus is encoded.
[0015]
In addition to the configuration of the first or second invention, the stereoscopic image encoding device according to the third aspect of the invention is encoded by the encoding means so as to correspond to the device that displays the stereoscopic image by decoding the bitstream. Further, it further includes sending means for selecting a necessary bit stream from the n bit streams and sending it to the apparatus.
[0016]
According to the third invention, the sending means selects and selects a bitstream obtained by encoding image information required by the destination stereoscopic image display device in correspondence with the destination stereoscopic image display device. Send a bitstream. The stereoscopic image display device decodes the bit stream sent from the stereoscopic image encoding device and displays a stereoscopic image.
[0017]
In addition to the configuration of the first or second invention, the stereoscopic image encoding device according to the fourth aspect of the invention is encoded by the encoding means in correspondence with the device that displays the stereoscopic image by decoding the bitstream. And a sending means for selecting a necessary bit stream from the n bit streams and sending a bit stream including information representing the selected bit stream to the apparatus.
[0018]
According to the fourth aspect of the invention, the sending means selects and selects a bitstream in which image information required by the destination stereoscopic image display device is encoded corresponding to the destination stereoscopic image display device. A bit stream including information representing the bit stream is transmitted. The stereoscopic image display apparatus can decode only necessary image information by decoding information representing a bitstream selected from the bitstreams sent from the stereoscopic image encoding apparatus.
[0019]
In the stereoscopic image encoding device according to the fifth invention, in addition to the configuration of any one of the first to fourth inventions, the creating means separates the image data into n image data according to the horizontal sample position. Means for separating each of the n pieces of image data created separately in the horizontal direction into m pieces of image data (m is an integer of 2 or more) according to the sample position in the vertical direction; And means for creating image data created separately in the horizontal direction and the vertical direction as n × m pieces of image information.
[0020]
According to the fifth invention, the creating means creates, for example, four (n = 2, m = 2) image information based on each of the image data of a plurality of viewpoints. The four pieces of image information are (A) image information obtained by extracting image data so that the vertical and horizontal resolutions of the screen are halved, and (B) the vertical resolution of the screen is halved. The image information from which the image data has been extracted, (C) the image information from which the image data has been extracted so that the horizontal resolution of the screen is halved, and (D) the vertical and horizontal resolutions of the screen are changed. This is image information that is not used. Such four pieces of image information are encoded, and a necessary bit stream is sent to a stereoscopic image display device using a lenticular plate or a stereoscopic image display device using an electronic shutter.
[0021]
In the stereoscopic image encoding device according to the sixth invention, in addition to the configuration of any one of the first to fourth inventions, the creating means converts the image data into a low frequency band and a high frequency band in the horizontal direction. First subband dividing means for dividing, second subband dividing means for dividing image data into a low band and a high band in the vertical direction, and first subband dividing means And image data divided into subbands into a horizontal low band and a vertical low band by combining the second subband dividing means, and an image subband divided into a horizontal low band and a vertical high band Data, image data that has been sub-band divided into a horizontal high band and a vertical low band, and image data that has been sub-band divided into a horizontal high band and a vertical high band And means for creating image data obtained by repeating the combination consisting of a first sub-band division unit and the second sub-band dividing means recursively as n pieces of image information.
[0022]
According to the sixth aspect of the invention, the first sub-band dividing means and the second sub-band dividing means are combined to obtain image data of a horizontal low band and a vertical low band, a horizontal low band and a vertical high band. Four image data are generated: image data of a high-frequency band, image data of a high-frequency band in the horizontal direction and low-frequency band in the vertical direction, and high-frequency band in the horizontal direction and high-frequency band in the vertical direction. In this way, since low frequency components of image information can be concentrated and encoded, highly efficient encoding processing can be executed.
[0023]
In the stereoscopic image encoding device according to the seventh invention, in addition to the configuration of any one of the first to fourth inventions, the encoding means encodes basic combined image information in n pieces of combined image information. And means for encoding difference information between the basic combined image information obtained by decoding the basic combined image information and the combined image information.
[0024]
According to the seventh invention, the encoding means encodes the basic combined image information and the difference information from the basic combined image information to generate a bitstream. Usually, since the difference from the basic combined image information is small, the data amount of the bit stream for the difference information can be reduced.
[0025]
In the stereoscopic image encoding device according to the eighth invention, in addition to the configuration of any one of the first to fourth inventions, the creation means includes a first reduction means for reducing the image data in the horizontal direction. The second reduction means for reducing the image data in the vertical direction, the image data reduced by the first reduction means, the image data reduced by the second reduction means, the first reduction means and the first reduction means Image data reduced by the reduction means 2 and means for creating the input image data as n pieces of image information (n = 4).
[0026]
According to the eighth invention, the bit stream obtained by encoding the image information obtained by reducing the image data in the horizontal direction and the image information obtained by reducing the image data in the vertical direction in accordance with the size of the screen of the stereoscopic image display device. Create an encoded bitstream and a bitstream that encodes image information reduced in both the horizontal direction and the vertical direction, corresponding to the screen size of the stereoscopic image display device, and only the necessary bitstream Can be sent.
[0027]
A stereoscopic image encoding device according to a ninth aspect encodes two or more image data corresponding to each of the first viewpoint and the second viewpoint. The stereoscopic image encoding device generates n pieces of image information (n is an integer of 2 or more) based on image data corresponding to the first viewpoint, and based on image data corresponding to the second viewpoint. a creating means for creating n pieces of image information, a first encoding means for coding n pieces of image information corresponding to the first viewpoint and creating n pieces of bitstreams; Second encoding means for encoding difference information between k-th (k = 1 to n) image information corresponding to one viewpoint and k-th image information corresponding to a second viewpoint; Including.
[0028]
According to the ninth aspect, on the basis of the image information of the first viewpoint (for example, the viewpoint of the left eye), the image information of the second viewpoint (for example, the viewpoint of the right eye) is the same as the image information of the first viewpoint. Difference information is encoded. Usually, since the correlation is very strong between image information with different viewpoints, the difference is small, and the data amount of the bit stream for the difference information can be reduced.
[0029]
A stereoscopic image decoding apparatus according to a tenth aspect of the invention decodes n bit streams (n is an integer of 2 or more), and generates two or more image data corresponding to each of a plurality of viewpoints. The image decoding apparatus includes: a selecting unit for selecting a necessary bit stream from n bit streams; a decoding unit for decoding the selected bit stream to create combined image information; Separating the created combined image information to create image information corresponding to each viewpoint, and creating output image information corresponding to each viewpoint based on the created image information Creating means, and conversion means for converting the output image information to match the output format.
[0030]
According to the tenth aspect, for example, the selection unit selects a necessary bit stream from, for example, four bit streams of two viewpoints (left eye viewpoint and right eye viewpoint). These four bit streams are, for example, (A) a bit stream obtained by encoding image information extracted so that the vertical and horizontal resolutions of the screen are halved, and (B) the vertical direction of the screen. A bitstream obtained by encoding image information extracted so that the resolution becomes 1/2, and (C) a bitstream obtained by encoding image information extracted so that the horizontal resolution of the screen becomes 1/2. (D) A bit stream obtained by encoding image information in which the vertical and horizontal resolutions of the screen are not changed. From these bit streams, a bit stream obtained by encoding image information conforming to the stereoscopic representation method of the stereoscopic image decoding apparatus is selected. The selected bit stream is decoded by a decoding unit, and is separated into image information corresponding to, for example, left and right viewpoints by an image separation unit. The creation means creates output image information corresponding to a plurality of viewpoints, and the output image information is matched with the output format by the conversion means (for example, a format that defines how the left image information and the right image information are arranged). Convert. As a result, the stereoscopic image decoding apparatus that has received the bit stream of (A), the bit stream of (B), and the bit stream of (C) is an apparatus that uses, for example, a lenticular plate (horizontal resolution). Is half), a bit stream obtained by encoding the image data (A) and a bit stream obtained by encoding the image data (B) are selected. For example, when the apparatus is an apparatus using an electronic shutter (the resolution in the vertical direction is half), the bit stream obtained by encoding the image data of (A) and the image information of (C) are encoded. Selected bitstream is selected. In this way, the data amount of the bit stream transmitted from the image encoding device to the stereoscopic image decoding device can be reduced. As a result, it is possible to provide a stereoscopic image decoding apparatus corresponding to a stereoscopic image encoding apparatus that can reduce image information when image information necessary for stereoscopic display is different.
[0031]
In the stereoscopic image decoding device according to the eleventh invention, in addition to the configuration of the tenth invention, the creation means satisfies the predetermined condition for the image information selected by the selection means and decoded by the decoding means Means for creating output image information combined in this way.
[0032]
According to the eleventh invention, the creating means associates the selected plurality of pieces of image information with a stereoscopic image display method using a lenticular plate, a stereoscopic image display method using an electronic shutter, etc. The output image information is created by alternately combining the right image information and the left image information so as to satisfy the predetermined condition.
[0033]
In the stereoscopic image decoding device according to the twelfth invention, in addition to the configuration of the tenth invention, the creation means sets the image information selected by the selection means and decoded by the decoding means to a condition relating to a predetermined resolution. Means for creating output image information combined to satisfy.
[0034]
According to the twelfth aspect, the creating means creates output image information by appropriately combining image information so that the horizontal resolution and the vertical resolution match the output format of the stereoscopic image decoding apparatus.
[0035]
In the stereoscopic image decoding device according to the thirteenth invention, in addition to the configuration of the tenth invention, the creating means outputs a plurality of pieces of image information selected by the selecting means in at least one of a horizontal direction and a vertical direction. Means for creating output image information in which a plurality of pieces of image information are combined in a staggered manner is included.
[0036]
According to the thirteenth invention, a plurality of pieces of image information are combined in at least one of the horizontal direction and the vertical direction so that the horizontal resolution and the vertical resolution match the output format of the stereoscopic image decoding device, Output image information whose horizontal and vertical resolutions match the output format is created.
[0037]
In the stereoscopic image decoding device according to the fourteenth invention, in addition to the configuration of the tenth invention, the creating means includes first subband synthesizing means for synthesizing subbands in the horizontal direction, and subband synthesis in the vertical direction. Second subband synthesizing means and subband synthesizing by the first subband synthesizing means and the second subband synthesizing means so as to satisfy a predetermined condition to generate output image information Means.
[0038]
According to the fourteenth aspect, the first subband synthesizing means and the second subband synthesizing means are combined to generate image data of a horizontal low-frequency band and a vertical low-frequency band, a horizontal low-frequency band, and a vertical high-frequency band. The image data of the high frequency band, the horizontal high frequency band and the vertical low frequency band image data, and the horizontal high frequency band and the vertical high frequency band are combined. In this way, since the low-frequency components of the image information are encoded in a concentrated manner, it is possible to provide a stereoscopic image decoding device corresponding to a stereoscopic image encoding device that can perform highly efficient encoding processing.
[0039]
In addition to the configuration of the tenth invention, the stereoscopic image decoding device according to the fifteenth invention includes decoding means for decoding basic combined image information from n bitstreams, combined image information Means for decoding the corresponding difference information, and means for creating n pieces of combined image information based on the decoded basic combined image information and the difference information.
[0040]
According to the fifteenth aspect, the decoding means decodes the basic combined image information and the difference information from the basic combined image information to generate image information. Usually, since the difference from the basic combined image information is small, the data amount of the bit stream for the difference information is reduced, so that the stereoscopic image decoding device corresponding to the stereoscopic image encoding device capable of performing highly efficient encoding processing Can provide.
[0041]
In the stereoscopic image decoding device according to the sixteenth invention, in addition to the configuration of the tenth invention, the creating means includes a first interpolation means for interpolating the image data in the horizontal direction, and the image data in the vertical direction. A plurality of pieces of image information selected by the selection means and decoded by the decoding means so as to satisfy a predetermined condition, and the first interpolation means and the first interpolation means And means for generating output image information by complementing the data by the two interpolation means.
[0042]
According to the sixteenth aspect, the creating means interpolates the image data obtained by decoding the bitstream in the horizontal direction or in the vertical direction based on the size of the screen displaying the stereoscopic image. Output image information. Since the image data before interpolation is reduced in the data amount and the bit stream obtained by encoding the image data also has a small amount of data, the stereoscopic image corresponding to the stereoscopic image encoding device capable of performing highly efficient encoding processing. A decoding device can be provided.
[0043]
In addition to the configuration of the tenth invention, the stereoscopic image decoding device according to the seventeenth invention selects image information from among image information corresponding to a plurality of viewpoints, thereby displaying image information for stereoscopic image display. And image creating means for creating either of the image information for displaying the two-dimensional image.
[0044]
According to the seventeenth invention, when the image display device does not have a stereoscopic image display circuit, the image creating means has image information for two-dimensional image display, and the image display device has a stereoscopic image display circuit. If so, image information for stereoscopic image display is created. Thereby, even when the image display device does not have a stereoscopic image display circuit, a two-dimensional image can be displayed.
[0045]
The stereoscopic image decoding device according to the eighteenth aspect of the invention decodes n bit streams (n is an integer of 2 or more) corresponding to each of the first viewpoint and the second viewpoint, Two or more image data corresponding to each of the two viewpoints are generated. The image decoding apparatus includes a first decoding unit for decoding n bit streams corresponding to the first viewpoint to generate n image information, and n bits corresponding to the second viewpoint. A second decoding unit for decoding the stream to create n pieces of difference information, and k-th (k = 1 to n) image information corresponding to the first viewpoint decoded by the first decoding unit And creation for creating image information corresponding to the second viewpoint based on the kth (k = 1 to n) difference information corresponding to the second viewpoint decoded by the second decoding means Means.
[0046]
According to the eighteenth aspect, on the basis of the image information of the first viewpoint (for example, the viewpoint of the left eye), the image information of the second viewpoint (for example, the viewpoint of the right eye) is the same as the image information of the first viewpoint. Difference information is encoded. Usually, since the correlation between image information with different viewpoints is very strong, the difference is small, and the amount of bitstream data for the difference information is reduced, so that a stereoscopic image code capable of performing highly efficient encoding processing A stereoscopic image decoding apparatus corresponding to the conversion apparatus can be provided.
[0047]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[0048]
<First Embodiment>
FIG. 1 shows a control block diagram of the stereoscopic image coding apparatus according to the present embodiment. This stereoscopic image coding apparatus processes a plurality of pieces of image information (basic right image information 1, extended right image information 2 and 2) by processing image information representing a photographed image by a right camera 101 and a left camera 102 that photograph a subject. An input right image generation unit 103 that generates extended right image information n) and a plurality of pieces of image information (basic left image information 1, extended left image information 2 to extended left image information n) by processing captured image information. The input left image generation unit 104 to be generated, the first image combining unit 105 to the nth image combining unit 107 for combining the corresponding right image information and left image information, and the first image combining unit 105 to the first image combining unit. 1st encoding part 108-nth encoding part 110 which respectively encode the encoding information 1-the encoding information n produced | generated by the n image combination part 107 are included.
[0049]
The right image information representing the right image photographed by the right camera 101 and the left camera 102 and the left image information representing the left image are input to the input right image generation unit 103 and the input left image generation unit 104, respectively.
[0050]
The input right image generation unit 103 generates n pieces of image information of the basic right image information 1 and the extended right image information 2 to the extended right image information n from the right image information input from the right camera 101. Are output to the second image combining unit 105 and the second image combining unit 106 to the n-th image combining unit 107.
[0051]
The input left image generation unit 104 generates n pieces of image information of the basic left image information 1 and the extended left image information 2 to the extended left image information n from the left image information input from the left camera 102. Are output to the second image combining unit 105 and the second image combining unit 106 to the n-th image combining unit 107.
[0052]
FIG. 2 shows a detailed control block diagram of the input right image generation unit 103. As shown in FIG. 2, the input right image generation unit 103 includes a horizontal separation unit 201 that processes input right image information, a vertical separation unit 202 that processes right image information output from the horizontal separation unit 201, and a vertical And a separation unit 203.
[0053]
The horizontal separation unit 201 generates two pieces of image information with half the horizontal resolution from the input right image information, and inputs the two pieces of image information to the vertical separation unit 202 and the vertical separation unit 203, respectively. As shown in FIG. 3, the horizontal separation unit 201 extracts vertical lines of the input right image information for each line, and divides the image information. The vertical separation unit 202 and the vertical separation unit 203 generate two images having half the vertical resolution from the right image information input from the horizontal separation unit 201. As shown in FIG. 4, the vertical separation unit 202 and the vertical separation unit 203 extract and divide the horizontal line of the input right image information for each line. In this way, four images each having half the horizontal and vertical resolutions are generated.
[0054]
When such four images are generated, any one of the image information 1 to image information 4 shown in FIG. 2 is set as the basic right image information 1. When four pieces of image information are generated, any of them may be the basic right image information 1, but it is necessary to select image information corresponding to the basic left image information 1 from the image information 1 to the image information 4. is there. Also, it is necessary to correspond the extended right image information 2 to the extended right image information 4 and the extended left image information 2 to the extended left image information 4 respectively.
[0055]
The order of the horizontal separation unit 201, the vertical separation unit 202, and the vertical separation unit 203 may be the reverse of the order shown in FIG. In other words, the horizontal separation process may be performed after the vertical separation process. Furthermore, although it has been described that four pieces of image information are extracted as described above, the present invention is not limited to this. For example, when the horizontal line thinning cycle is n (n is an integer of 2 or more), the line position is divided by n and the remainder is 0. The line position is divided by n and the remainder is 1. Image, ... Divide the line position by n into n images of n-1 collected lines, and each image is similarly thinned out by vertical lines (m is an integer of 2 or more) N × m image information can be generated.
[0056]
The configuration of the input left image generation unit 104 is obtained by changing the right image into a left image in the input right image generation unit 103 described above, and thus the detailed description of the input left image generation unit 104 will not be repeated.
[0057]
The first image combining unit 105 parallels the basic right image information 1 and the basic left image information 1 input from the input right image generation unit 103 and the input left image generation unit 104 side by side as shown in FIG. These are combined and output to the first encoding unit 108 as encoded information 1. Alternatively, the left and right images may be rearranged in the time direction as images at different times and output in the order of right, left, left, and so on.
[0058]
In the first image combining unit 105, the second image combining unit 109 to the nth image combining unit 110 convert the basic right image information 1 into the extended right image information 2 to the extended right image information n, and the basic left image. Since information 1 is expanded left image information 2 to expanded left image information n, detailed description of second image combining unit 109 to nth image combining unit 110 will not be repeated.
[0059]
The first encoding unit 108 encodes the input encoding information 1 to generate the basic bitstream 1. As an encoding method used in the first encoding unit 108, for example, an encoding method standardized by ISO / IEC such as MPEG-1, MPEG-2, MPEG-4, or the like can be used. However, the encoding method is not limited to these.
[0060]
Since the second encoding unit 109 to the n-th encoding unit 110 are obtained by converting the generated basic bit stream 1 into the extension bit stream 2 to the extension bit stream n, the second encoding unit 109 to the n-th encoding unit 110 The detailed description of n encoding unit 110 will not be repeated here.
[0061]
The basic bit stream 1 and the extended bit stream 2 to the extended bit stream n are stored in a recording medium or transmitted to a communication path.
[0062]
The operation of the stereoscopic image coding apparatus according to the present embodiment having the above structure will be described. In the following description, it is assumed that n = 4.
[0063]
The right image information and the left image information captured by the right camera 101 and the left camera 102 are input to the input right image generation unit 103 and the input left image generation unit 104, respectively. The input right image generation unit 103 generates image information 1 to image information 4 in which the horizontal and vertical resolutions are halved. One of them is set as basic right image information 1. Similarly, basic left image information 1 corresponding to basic right image information 1 is set. The set basic right image information 1 and basic left image information 1 are corresponding image information.
[0064]
In combination with the basic right image information 1 corresponding to the basic right image information 1 by the input right image generation unit 103, the extended right image information 2 in which the horizontal resolution is doubled, and the vertical resolution is 2 Extended right image information 3 that is doubled and extended right image information 4 that is the original resolution are generated. Similarly, by the input right image generation unit 104 corresponding to the basic left image information 1 and combining with the basic left image information 1, the extended left image information 2 in which the horizontal resolution is doubled, the vertical direction The extended left image information 3 in which the resolution is doubled and the extended left image information 4 in which the resolution is the original resolution are generated.
[0065]
The first image combining unit 105 combines the basic right image information 1 and the basic left image information 1 and outputs the encoded information 1 to the first encoding unit 108. The first encoding unit 108 encodes the encoded information 1 using a predetermined method, and outputs the basic bitstream 1. The first image combining unit 106 combines the extended right image information 2 and the extended left image information 2 and outputs the encoded information 2 to the second encoding unit 109. The second encoding unit 109 encodes the encoded information 2 according to a predetermined standard and outputs the extended bit stream 2. Similarly, the extended bit stream 3 is output from the third encoding unit, and the extended bit stream 4 is output from the fourth encoding unit.
[0066]
As a result of such an operation, the four streams are configured as follows.
-Stream 1 (basic bit stream 1)
-Stream 2 (enhanced bit stream 2; combined with stream 1 can decode images with double horizontal resolution)
-Stream 3 (enhanced bit stream 3; in combination with stream 1, an image with double vertical resolution can be decoded)
Stream 4 (enhanced bit stream 4, combined with stream 1 to stream 3 can decode the original resolution image)
The stereoscopic image encoding apparatus includes a stereoscopic image decoding apparatus A that requires image information with half the resolution only in the horizontal direction, a stereoscopic image decoding apparatus B that requires image information with half the resolution only in the vertical direction, and the horizontal and vertical directions. These three streams (stream 1, stream 2, and stream 3) are sent to a communication path to which a stereoscopic image decoding device C that requires half resolution image information is connected. In this way, since stream 1, stream 2, and stream 3 are separated, if these stream 1, stream 2, and stream 3 are sent once, the following problem does not occur.
[0067]
That is, when the streams are not separated in this way, the information corresponding to (stream 1 + stream 2) is transmitted to the stereoscopic image decoding apparatus A that requires an image having half the resolution only in the horizontal direction. Since information corresponding to (stream 1 + stream 3) is sent to the stereoscopic image decoding apparatus B that requires half of the images, as a result, data is transmitted to both the stereoscopic image decoding apparatus A and the stereoscopic image decoding apparatus B by broadcasting or the like. Is transmitted twice, the information corresponding to stream 1 is transmitted twice.
[0068]
On the other hand, the stereoscopic image encoding device according to the present embodiment does not need to send the stream 1 a plurality of times, and transmits information to be transmitted simultaneously to a plurality of different types of stereoscopic image decoding devices in these methods. By separating the information that is commonly required and the information unique to each stereoscopic image decoding apparatus, the common information becomes one. As a result, a storage area or a necessary transmission band in the stereoscopic image encoding device can be reduced.
[0069]
Note that the basic bitstream and all the extended bitstreams may be sent when they are sent to the communication path. However, the basic bitstream and the extended bitstream required by the stereoscopic image decoding apparatus can be selected and sent in advance. The required transmission band can be further reduced.
[0070]
Also, a basic bit stream and a plurality of extended bit streams can be generated by performing encoding processing using the stereoscopic image encoding device according to the present embodiment. The stereoscopic image decoding apparatus can decode an image of a necessary size by only decoding an appropriate bit stream. At this time, in the stereoscopic image encoding device, for example, information for identifying the basic bitstream and the plurality of extended bitstreams is embedded in the bitstream, and the stereoscopic image decoding device refers to the embedded information. The required bitstream can be selected.
[0071]
In addition, regarding the file format and the communication method transmitted on the communication path when storing the basic bit stream 1 and the extended bit stream 2 to the extended bit stream n generated by the first to n-th encoding units Existing standard methods can be used, but the method is not limited to the standard method.
[0072]
<Second Embodiment>
Hereinafter, the stereoscopic image coding apparatus according to the second embodiment of the present invention will be described. FIG. 6 is a control block diagram of the input right image generation unit and the input left image generation unit in the stereoscopic image encoding device according to the present embodiment. The stereoscopic image encoding device shown in FIG. 6 is configured by configuring the input right image generation unit 103 and the input left image generation unit 104 in the stereoscopic image encoding device according to the first embodiment as shown in FIG. It is. Other configurations are the same as those in the first embodiment. Therefore, detailed description thereof will not be repeated.
[0073]
The input right image generation unit and the input left image generation unit will be described with reference to FIG. In the following description, since the configuration is common to the left and right, the description will be made without distinguishing the left and right unless otherwise specified.
[0074]
The input image generation unit includes an H-LPF 601 that executes a low-pass filter process in the horizontal direction, an H-HPF 602 that executes a high-pass filter process in the horizontal direction, and a V-LPF 605 and a V-LPF 609 that execute a low-pass filter process in the vertical direction. V-HPF 606 and V-HPF 610 that perform high-pass filter processing in the vertical direction, down-sample unit 603 and down-sample unit 604 that perform pixel decimation in the horizontal direction, down-sample unit 607 that performs pixel decimation in the vertical direction, down A sample portion 608, a down sample portion 611, and a down sample portion 612 are included.
[0075]
The H-LPF 601 performs horizontal low-pass filter processing on the input left image information or right image information. The H-HPF 602 performs horizontal high-pass filter processing on the input left image information or right image information.
[0076]
When the image information subjected to the low-pass filter processing by the H-LPF 601 is input to the down-sampling unit 603, the down-sampling unit 603 performs pixel thinning in the horizontal direction to generate image information with half the horizontal resolution. When the image information that has been subjected to the high-pass filter processing by the H-HPF 602 is input to the downsampling unit 604, the downsampling unit 604 performs pixel thinning in the horizontal direction and generates an image with half the horizontal resolution.
[0077]
The V-LPF 605 performs low-pass filter processing in the vertical direction on the image information input from the downsampling unit 603 and having a horizontal resolution of half. The V-HPF 606 performs high-pass filter processing in the vertical direction on the image information input from the down-sampling unit 603 and having half the horizontal resolution.
[0078]
When the image information subjected to the low-pass filter processing by the V-LPF 605 is input to the down-sampling unit 607, the down-sampling unit 607 performs pixel thinning in the vertical direction and generates an image with half the vertical resolution. When the image that has been subjected to the high-pass filter processing by the V-HPF 606 is input to the down-sampling unit 608, the down-sampling unit 608 performs pixel thinning in the vertical direction and generates an image with half the vertical resolution.
[0079]
The functions of the V-LPF 609, the V-HPF 610, the down-sampling unit 611, and the down-sampling unit 612 are the same as those of the V-LPF 605, the V-HPF 606, the down-sampling unit 607, and the down-sampling unit 608, respectively. Does not repeat.
[0080]
With such a configuration, the image information 1 is output from the downsampler 607, the image information 2 is output from the downsampler 608, the image information 3 is output from the downsampler 611, and the image information 4 is output from the downsampler 612. . These image information 1 to image information 4 have half the horizontal and vertical resolutions, respectively.
[0081]
V-LPF, H-LPF, V-HPF, and H-LPF are, for example, QMF (Quadrature Mirror Filter) used in subband coding.
[0082]
With such a configuration, among the generated image information 1 to image information 4, a large amount of information to be encoded is concentrated on the image information 1, so that the code amount of the remaining image information 2 to image information 4 is reduced. As a result, the overall coding efficiency is increased.
[0083]
In the present embodiment, four examples of the output bit stream have been described. However, the input image generation unit shown in FIG. 6 is combined in a plurality of stages, and each of the image information 1 to image information 4 or one of them. It is also possible to generate four or more bitstreams by using the configuration as the input of the input image generation unit in the next stage.
[0084]
In this way, when encoding is performed using the stereoscopic image encoding device according to the present embodiment, the low frequency components of the image information are concentrated on the image information 1, so that a lot of information to be encoded can be concentrated. Therefore, more efficient encoding can be performed.
[0085]
<Third Embodiment>
Hereinafter, a stereoscopic image encoding device according to the third embodiment of the present invention will be described. FIG. 7 shows a control block diagram of the stereoscopic image coding apparatus according to the present embodiment. In the stereoscopic image encoding device illustrated in FIG. 7, the first decoding unit is added to the stereoscopic image encoding device according to the first embodiment described above, and the decoded image output from the first decoding unit is The difference is that the signals are input to the second encoding unit to the n-th encoding unit. Other configurations are the same as those in the first embodiment. Therefore, detailed description thereof will not be repeated.
[0086]
The basic bitstream output from the first decoding unit 701 is stored in the stereoscopic image encoding device or is transmitted to the communication path and is input to the first decoding unit 702 at the same time. The first decoding unit 702 decodes the input basic bitstream, and inputs the decoded image information to the second encoding unit 703 to the nth encoding unit 705, respectively.
[0087]
The second encoding unit 703 uses the decoded image information input from the first decoding unit 702 to encode the encoded information 2 output from the second image combining unit, and generates an extended bitstream 2 Is output. Third encoding unit 703 to nth encoding unit 705 are also the same as second encoding unit 703, and thus detailed description thereof will not be repeated. This decoded image information is obtained by decoding the input basic bit stream, and is necessary information in common for all stereoscopic image systems. Therefore, the basic bitstream for decoding the decoded image information is sent to a stereoscopic image decoding apparatus that employs all stereoscopic image methods.
[0088]
In the stereoscopic image encoding apparatus according to the present embodiment, basic right image information 1 and basic left image information 1 output from first decoding section 702, extended right image information 2 to extended right image information n, and extended Difference information between the left image information 2 and the extended left image information n is encoded. That is, when encoding the extended right image information 2 to the extended right image information n and the extended left image information 2 to the extended left image information n, the difference information is encoded instead of encoding the image information itself. In this case, it is conceivable that the difference information uses an image obtained by subtraction in the corresponding pixel unit. Further, a method of calculating a motion vector between input images, generating a motion compensated image, and subtracting the corresponding pixel unit to obtain a motion vector is also conceivable. As described above, since the basic bit stream is transmitted to the stereoscopic image decoding apparatus that employs all the stereoscopic image methods, the stereoscopic image decoding apparatus decodes the basic right image information 1 and the basic left image obtained by decoding the basic bit stream. Based on the image information 1 and the difference information, extended right image information 2 to extended right image information n and extended left image information 2 to extended left image information n can be obtained.
[0089]
According to the stereoscopic image encoding device according to the present embodiment, since the difference between the encoded information and the decoded image is encoded, it is possible to efficiently encode.
[0090]
In addition, although the 1st decoding part 701 of the stereo image coding apparatus which concerns on this Embodiment decodes the basic bit stream 1 and acquires decoding information, a 1st encoding part is a local decoding part. In the case where the first decoding unit is added, the decoding information obtained by the local decoding unit may be input to the second to n-th encoding units.
[0091]
<Fourth embodiment>
Hereinafter, a stereoscopic image encoding device according to the fourth embodiment of the present invention will be described. FIG. 8 is a control block diagram of the input right image generation unit and the input left image generation unit in the stereoscopic image encoding device according to the present embodiment. The stereoscopic image encoding device illustrated in FIG. 8 is configured by configuring the input right image generation unit and the input left image generation unit in the stereoscopic image encoding device according to the third embodiment described above as illustrated in FIG. . Other configurations are the same as those in the third embodiment described above. Therefore, detailed description thereof will not be repeated.
[0092]
The input right image generation unit and the input left image generation unit will be described with reference to FIG. In the following description, since the configuration is common to the left and right, the description will be made without distinguishing the left and right unless otherwise specified.
[0093]
The input image generation unit includes an H-LPF 801 that performs low-pass filter processing in the horizontal direction, V-LPF 802 and V-LPF 805 that perform low-pass filter processing in the vertical direction, a down-sampling unit 803 that performs pixel skipping in the horizontal direction, A down-sampling unit 804 and a down-sampling unit 806 that perform pixel thinning in the direction are included.
[0094]
The H-LPF 801 performs horizontal low-pass filter processing on the input left image information or right image information.
[0095]
When the image information that has been low-pass filtered in the horizontal direction by the H-LPF 801 is input to the down-sampling unit 803, the down-sampling unit 803 performs pixel thinning in the horizontal direction to generate image information with half the horizontal resolution. The generated image information is input to the V-LPF 805 and output as image information 2 at the same time.
[0096]
The V-LPF 805 executes the low-pass filter process in the vertical direction when the image information thinned out in the horizontal direction by the down-sampling unit 803 is input.
[0097]
The down-sampling unit 806 performs pixel thinning in the vertical direction on an image that has been low-pass filtered in the vertical direction, and generates image information with half the vertical resolution. The generated image information is output as image information 1.
[0098]
The V-LPF 802 performs vertical low-pass filter processing on the input left image information or right image information.
[0099]
When the image information that has been low-pass filtered by the V-LPF 802 is input to the down-sampling unit 804, the down-sampling unit 804 performs pixel thinning in the vertical direction to generate image information with half the vertical resolution. The generated image information is output as image information 3.
[0100]
Further, the left image information or the right image information input to the input image generation unit is output as image information 4 as it is.
[0101]
FIG. 9 shows the size of the image generated by the input image generation unit described above. As shown in FIG. 9, the image size of the left image or the right image is assumed to be X pixels in the horizontal direction and Y pixels in the vertical direction. Since such image information is created, the second encoding unit 703 to the n-th encoding unit 706 have different image sizes input from the image combining unit. For this reason, encoding is performed after the input image is complemented in advance to match the size.
[0102]
According to the stereoscopic image encoding device according to the present embodiment, a bit stream is generated for each necessary image size, so it is only necessary to decode a basic bit stream and an appropriate bit stream by the stereoscopic image decoding device. An image of a large size can be obtained, and the configuration of the stereoscopic image decoding apparatus can be simplified. An appropriate bit stream may be selected by the stereoscopic image decoding device, or an appropriate bit stream may be selected when the bit stream is transmitted to the stereoscopic image decoding device. When selecting a basic bit stream and an appropriate bit stream in the stereoscopic image decoding device, for example, the stereoscopic image encoding device embeds information for identifying the basic bit stream and the plurality of extended bit streams in the bit stream, and The image decoding apparatus may select a necessary bit stream with reference to this information.
[0103]
<Fifth embodiment>
Hereinafter, a stereoscopic image encoding device according to the fifth embodiment of the present invention will be described. FIG. 10 shows a control block diagram of the stereoscopic image coding apparatus according to the present embodiment. The stereoscopic image encoding device illustrated in FIG. 10 includes a right camera 1001 and a left camera 1002 that capture a subject, an input right image generation unit 1003 and an input left image generation unit that process the captured images and generate a plurality of images. 1004, a first encoding unit 1012 to 2n encoding unit 1017 that encodes the generated image, a first decoding unit 1006 that decodes the generated bitstream, a third decoding unit 1008, ..., a (2n-1) -th decoding unit 1010, a second subtraction unit 1007 for calculating a difference between the image information and the decoded image information, a fourth subtraction unit 1009, ..., a second n-subtraction unit 1011 including. Other configurations are the same as those in the first embodiment. Therefore, detailed description thereof will not be repeated. The right camera 1001, the left camera 1002, the input right image generation unit 1003, and the input left image generation unit 1004 are the same as those in the first embodiment. Therefore, detailed description thereof will not be repeated.
[0104]
The first encoding unit 1012 encodes the input right image information 1 to generate a basic bitstream 1. As an encoding method used here, for example, an encoding method standardized by ISO / IEC such as MPEG-1, MPEG-2, MPEG-4, or the like can be used. However, the encoding method is not limited to these.
[0105]
The basic bitstream 1 generated by the first encoding unit 1012 is stored in a recording medium or transmitted to a communication path and is input to the first decoding unit 1006 at the same time. The first decoding unit 1006 decodes the input basic bitstream and generates decoded image information 1.
[0106]
The second subtraction unit 1007 generates encoded information 2 that is a difference between the generated decoded image information 1 and left image information (n + 1), and inputs the encoded information 2 to the second encoding unit 1013. As a subtraction method, as described above, it is conceivable to perform subtraction in a corresponding pixel unit. Also, a method of calculating a motion vector between input images, generating a motion compensated image, and subtracting the corresponding pixel unit to obtain a motion vector is also conceivable.
[0107]
The second encoding unit 1013 encodes the input encoded information 2 to generate an extended bit stream 2. As an encoding method used here, for example, an encoding method standardized by ISO / IEC such as MPEG-1, MPEG-2, MPEG-4, etc. can be used. It is not limited to these.
[0108]
The configuration of the third encoding unit 1014 to the 2nth encoding unit 1017 and the fourth subtracting unit 1009 to the 2nth subtracting unit 1011 includes the first encoding unit 1012, the second encoding unit 1013, and the Since it is the same as 2 subtraction unit 1007, detailed description thereof will not be repeated.
[0109]
The basic bit stream 1 and the extended bit stream 2 to the extended bit stream 2n are stored in a recording medium or transmitted to a communication path. The existing standard method can be used as the file format at the time of storage and the communication method transmitted on the communication path. However, it is not limited to those standard methods.
[0110]
According to the stereoscopic image encoding device according to the present embodiment, the right image and the left image are encoded separately, and only the right or left image is transmitted. It becomes possible.
[0111]
<Sixth Embodiment>
Hereinafter, a stereoscopic image decoding apparatus according to the sixth embodiment of the present invention will be described. FIG. 11 shows a control block diagram of the stereoscopic image decoding apparatus according to the present embodiment. The stereoscopic image decoding apparatus shown in FIG. 11 is an apparatus that decodes the bitstream encoded by the stereoscopic image encoding apparatus according to the first embodiment described above. However, the bitstream decoded by the stereoscopic image decoding apparatus according to the present embodiment is not limited to the bitstream encoded by the stereoscopic image encoding apparatus according to the first embodiment described above.
[0112]
The stereoscopic image decoding apparatus according to the present embodiment includes a bit stream selection unit 1101 that selects only a necessary bit stream from the input extended bit stream, and first decoding units 1102 to 1102 that decode the selected bit stream. k decoding unit 1104, first separation unit 1106 to k-th separation unit 1109 that separates left and right image information from the decoded image, and an output right image that generates image information necessary for display from the input image information It includes a conversion unit 1110 and an output left image conversion unit 1111, and a rearrangement conversion unit 1112 that rearranges data from the input left and right images into a format required by the display device.
[0113]
The basic bit stream 1 stored in the recording medium or transmitted via the communication path is input to the first decoding unit 1102. The extended bit stream 2 to the extended bit stream n stored in the recording medium or transmitted via the communication path are input to the bit stream selection unit 1101.
[0114]
The bitstream selection unit 1101 selects (k−1) pieces of the input bitstreams and inputs them to the second decoding unit 1103 to the kth decoding unit 1105, respectively. Here, k is the number of streams required by the stereoscopic image decoding apparatus.
[0115]
The first decoding unit 1102 decodes the input basic bitstream 1 and outputs decoded information 1. The output decoded information 1 is separated into basic right image information 1 and basic left image information 1 by the first image separation unit 1106, and the basic right image information 1 is sent to the output right image conversion unit 1110. Information 1 is input to the output left image conversion unit 1111.
[0116]
The first image separating unit 1106 has a function opposite to the function of the first image combining unit 105 shown in FIG.
[0117]
The second decoding unit 1103 decodes each of the input extension streams and outputs decoded information 2. The output decoded information 2 is separated into extended right image information 2 and extended left image information 2 by the second image separation unit 1107, and the extended right image information 2 is output to the output right image conversion unit 1110. 2 is input to the output left image converter 1111.
[0118]
The second image separating unit 1107 has a function opposite to that of the second image combining unit 106 shown in FIG.
[0119]
The third decoding unit 1104 to k-th decoding unit 1105 have the same configuration as the first decoding unit 1102, and the third image separation unit 1108 to k-th image separation unit 1109 have the same configuration as the first image separation unit 1106, respectively. Therefore, detailed description thereof will not be repeated here.
[0120]
The output right image conversion unit 1110 generates a right image having a size required by the display device from the input basic right image information 1 and extended right image information 2 to extended right image information k. For example, when a right image or a left image having a size twice as large as the size of the basic image information 1 is generated in the horizontal direction, the thinning reverse process shown in FIG. 2 is performed. That is, the input basic image information 1 and the difference image information that doubles the horizontal resolution are alternately superimposed in the horizontal direction to obtain a desired image.
[0121]
Further, when a right image or a left image that is twice the size in the vertical direction with respect to the size of the basic image information 1 is necessary, the reverse process of the thinning process shown in FIG. 3 is performed. That is, the input basic image information 1 and the difference image information for doubling the vertical resolution are alternately superimposed in the vertical direction to obtain an image of a desired size.
[0122]
Since output left image conversion unit 1111 has the same function as the output right image conversion unit, detailed description thereof will not be repeated here.
[0123]
The rearrangement processing unit 1112 converts the generated left image and right image, and generates a format required by the display device. FIG. 12 shows a processing method when the display device uses a parallax barrier method or a lenticular plate arrangement method. In this case, the input right image and left image are divided into vertical lines, and the vertical lines of the right image and the vertical lines of the left image are alternately arranged and output. In the case of a display device that alternately outputs left and right images using an electronic shutter, the left image and the right image are alternately output in a time series direction.
[0124]
According to the stereoscopic image decoding apparatus according to the present embodiment, it is possible to decode an image having a size required by the display apparatus by decoding only the basic bit stream and the appropriate extended bit stream.
[0125]
<Seventh embodiment>
The stereoscopic image decoding apparatus according to the seventh embodiment of the present invention will be described below. FIG. 13 shows a control block diagram of the stereoscopic image decoding apparatus according to the present embodiment. The stereoscopic image decoding apparatus shown in FIG. 13 is an apparatus that decodes the bitstream encoded by the stereoscopic image encoding apparatus according to the second embodiment described above. However, the bit stream decoded by the stereoscopic image decoding apparatus according to the present embodiment is not limited to the bit stream encoded by the stereoscopic image encoding apparatus according to the second embodiment described above.
[0126]
The stereoscopic image decoding device shown in FIG. 13 has the configuration shown in FIG. 13 for the output right image generation unit 1110 and the output left image generation unit 1111 of the stereoscopic image decoding device according to the sixth embodiment described above. . Other configurations are the same as those in the sixth embodiment. Therefore, detailed description thereof will not be repeated here.
[0127]
The output right image generation unit and the output left image generation unit will be described with reference to FIG. In the following description, since the configuration is common to the left and right, the description will be made without distinguishing the left and right unless otherwise specified.
[0128]
As the configuration of the output image conversion unit, three configurations shown in FIGS. 13 (1), (2), and (3) are conceivable depending on the image size required by the display device. Among these, since FIGS. 13 (2) and (3) are subsets of FIG. 13 (1), only FIG. 13 (1) will be described below.
[0129]
The output image conversion unit illustrated in FIG. 13A includes an H-LPF 1305 and an H-LPF 1307 that perform low-pass filter processing in the horizontal direction, an H-HPF 1306 and H-HPF 1308 that perform high-pass filter processing in the horizontal direction, and a vertical direction. V-LPF 1313 that performs low-pass filter processing, V-HPF 1314 that performs high-pass filter processing in the vertical direction, up-sampling units 1301 to 1304 that up-sample pixels in the horizontal direction, and up-samples pixels in the vertical direction An upsampling unit 1311 and an upsampling unit 1312, a synthesizing unit 1309 that synthesizes images, and a synthesizing unit 1310 and a synthesizing unit 1315 are included.
[0130]
The upsampling unit 1301 to the upsampling unit 1304 perform an upsampling process in the horizontal direction on the input basic right image information 1 and difference right image information 2 to difference right image information 4. As a result, an image having twice the horizontal resolution is generated.
[0131]
The H-LPF 1305, the H-LPF 1307, the H-HPF 1306, and the H-HPF 1308 respectively apply image information obtained by applying a low-pass filter and a high-pass filter to the upsampled input image, and a combining unit 1309 and a combining unit 1310. To enter.
[0132]
The synthesizing unit 1309 and the synthesizing unit 1310 synthesize an image composed of pixels of the even-numbered horizontal position samples of the input image and the pixels of the odd-numbered horizontal position samples of the other image. The output of the synthesis unit 1309 and the synthesis unit 1310 is up-sampled in the vertical direction by the up-sampling unit 1311 and the up-sampling unit 1312, and then processed by applying a low-pass filter with the V-LPF 1313 and a high-pass filter with the V-HPF 1314. Information is input to the synthesis unit 1315.
[0133]
The synthesizing unit 1315 synthesizes and outputs an image composed of pixels of the even-numbered vertical position sample of the input image and the pixels of the odd-numbered vertical position sample of the other image, thereby doubling the vertical resolution. With such a configuration, the output image has double resolution in both the horizontal and vertical directions.
[0134]
By using the stereoscopic image decoding device according to the present embodiment, it is possible to decode an image having a size required by the display device only by decoding only the basic bitstream and an appropriate extended bitstream encoded with higher efficiency. .
[0135]
<Eighth Embodiment>
The stereoscopic image decoding apparatus according to the eighth embodiment of the present invention will be described below. FIG. 14 shows a control block diagram of the stereoscopic image decoding apparatus according to the present embodiment. The stereoscopic image decoding apparatus illustrated in FIG. 14 is an apparatus that decodes the bitstream encoded by the stereoscopic image encoding apparatus according to the above-described third embodiment. However, the bitstream that is decoded by the stereoscopic image decoding apparatus according to the present embodiment is not limited to the bitstream encoded by the stereoscopic image encoding apparatus according to the third embodiment described above.
[0136]
The stereoscopic image decoding device shown in FIG. 14 has the configuration shown in FIG. 15 for the first decoding unit to the k-th decoding unit of the stereoscopic image decoding device according to the sixth embodiment described above. Other configurations are the same as those in the sixth embodiment. Therefore, detailed description thereof will not be repeated.
[0137]
The second decoding unit 1401 illustrated in FIG. 14 uses the decoding information 1 decoded by the first decoding unit, decodes the extended bitstream selected by the bitstream selection unit 1101, and generates decoding information 2 To the second image separation unit 1107.
[0138]
FIG. 15 is a control block diagram of the second decoding unit 1401. Second decoding unit 1401 includes a decoding processing unit 1501 and an adding unit 1502. The decoding processing unit 1501 decodes the input extended bitstream and generates decoded image information. The adding unit 1502 adds the decoded image information and the separately input decoded information 1 to generate image information, and outputs the generated image information as difference image information 2.
[0139]
Since third decoding unit 1402 to kth decoding unit 1403 have the same configuration as second decoding unit 1107, detailed description thereof will not be repeated here.
[0140]
According to the stereoscopic image decoding device according to the present embodiment, an image having a size required by the display device can be obtained only by decoding only an extended bit stream including a difference between a basic bit stream and an image decoded from an appropriate basic bit stream. Can be decrypted.
[0141]
<Ninth embodiment>
The stereoscopic image decoding device according to the ninth embodiment of the present invention will be described below. FIG. 16 shows a control block diagram of the stereoscopic image decoding apparatus according to the present embodiment. The stereoscopic image decoding apparatus shown in FIG. 16 is an apparatus that decodes the bitstream encoded by the stereoscopic image encoding apparatus according to the above-described fourth embodiment. However, the bit stream that is decoded by the stereoscopic image decoding apparatus according to the present embodiment is not limited to the bit stream encoded by the stereoscopic image encoding apparatus according to the above-described fourth embodiment.
[0142]
The stereoscopic image decoding apparatus according to the present embodiment includes a bit stream selection unit 1601 that selects only one appropriate extension bit stream from a plurality of extension bit streams, a first decoding unit 1102 that decodes a bit stream, and 2 decoding unit 1602, a first image separation unit 1106 that extracts a right image and a left image from the decoded image, and a rearrangement processing unit 1112 that converts the format into a format required by the display device. Among these, the first decoding unit 1102, the first image separation unit 1106, and the rearrangement processing unit 1112 are the same as those in the sixth embodiment. Therefore, detailed description thereof will not be repeated here.
[0143]
The bit stream selection unit 1601 selects only one appropriate bit stream from the input extended bit stream 2 to extended bit stream n, and inputs the selected bit stream to the second decoding unit 1602 as a selected bit stream.
[0144]
The second decoding unit 1602 generates decoding information 2 obtained by decoding the selected bitstream using the decoding information 1 decoded by the first decoding unit 1102.
[0145]
FIG. 17 is a detailed control block diagram of the second decoding unit 1602. The second decoding unit 1602 includes a decoding processing unit 1701, an interpolation unit 1702, and an adding unit 1703.
[0146]
The decoding processing unit 1701 generates a decoded image by decoding the selected bitstream. The interpolation unit 1702 interpolates the pixels of the decoding information 1 and generates an image having the same size as the decoded image. The adding unit 1703 adds the decoding information 1 interpolated by the interpolation unit 1702 and the image decoded by the decoding processing unit 1701 to generate decoding information 2.
[0147]
According to the stereoscopic image decoding apparatus according to the present embodiment, an image having a necessary size can be obtained by selecting only one basic bit stream and an appropriate bit stream, and the configuration of the apparatus can be simplified.
[0148]
<Tenth Embodiment>
The stereoscopic image decoding apparatus according to the tenth embodiment of the present invention will be described below. FIG. 18 shows a control block diagram of the stereoscopic image decoding apparatus according to the present embodiment. The stereoscopic image decoding apparatus shown in FIG. 18 is an apparatus that decodes the bitstream encoded by the stereoscopic image encoding apparatus according to the fifth embodiment described above. However, the bit stream that is decoded by the stereoscopic image decoding device according to the present embodiment is not limited to the bit stream encoded by the stereoscopic image encoding device according to the fifth embodiment described above.
[0149]
The stereoscopic image decoding apparatus according to the present embodiment includes a bit stream selection unit 1801 that selects only a necessary bit stream from the input extended bit stream, and a first decoding unit 1802 to a second decoding unit that decodes the selected bit stream. 2k decoding unit 1807, (k + 1) th adding unit 1808 to 2k adding unit 1810 for adding the decoded image, and output right for generating image information necessary for display from input image information The image conversion unit 1811 and the output left image conversion unit 1812 include a rearrangement conversion unit 1813 that rearranges data from the input left and right images into a format required by the display device.
[0150]
The first decoding unit 1802 generates decoding information 1 when a basic bitstream 1 stored in a recording medium and transmitted via a communication line is input. When the bit stream selection unit 1801 receives the extension bit stream 2 to the extension bit stream 2n stored in the recording medium and transmitted via the communication line, the bit stream selection unit 1801 receives the (2n-1) extension bit streams. (2k-1) are selected and input to the second decoding unit 1802 to the 2k decoding unit 1807, respectively. Here, 2k is the number of streams required by the stereoscopic image decoding apparatus.
[0151]
The first decoding unit 1802 decodes the input basic bitstream 1 and outputs decoded information 1, and the decoded information 1 is input to the output left image conversion unit 1811. The (k + 1) -th decoding unit 1805 decodes the input extended bitstream and generates decoding information (k + 1).
[0152]
The (k + 1) -th adding unit 1808 adds the decoded information 1 and the decoded information k + 1, and outputs the sum to the output right image converting unit. The second decoding unit 1803 to the kth decoding unit 1804 are the first decoding unit 1802, the (k + 2) th decoding unit 1806 to the 2kth decoding unit 1807 are the (k + 1) th decoding unit 1805, Since the (k + 2) -th adding unit 1809 to the 2k-th adding unit 1810 have the same configuration as the (k + 1) -th adding unit 1808, detailed description thereof will not be repeated here.
[0153]
Since output right image conversion unit 1811, output left image conversion unit 1812, and rearrangement processing unit 1813 are the same as those in the sixth embodiment described above, detailed description thereof will not be repeated here.
[0154]
According to the stereoscopic image decoding device according to the present embodiment, the decoding device that decodes the bit stream for the right image and the decoding device that decodes the bit stream for the left image have different configurations. The image can be decoded.
[0155]
<Eleventh embodiment>
The stereoscopic image decoding apparatus according to the eleventh embodiment of the present invention will be described below. FIG. 19 shows a control block diagram of the stereoscopic image decoding apparatus according to the present embodiment. The stereoscopic image decoding apparatus illustrated in FIG. 19 is an apparatus that decodes the bitstream encoded by the stereoscopic image encoding apparatus according to the first embodiment described above. However, the bitstream decoded by the stereoscopic image decoding apparatus according to the present embodiment is not limited to the bitstream encoded by the stereoscopic image encoding apparatus according to the first embodiment described above.
[0156]
The stereoscopic image decoding apparatus according to the present embodiment has a configuration in which a 2D / 3D selection unit 1903 is added to the stereoscopic image decoding apparatus shown in FIG. Other configurations are the same as those in the sixth embodiment. Therefore, detailed description thereof will not be repeated here.
[0157]
When the display device displays a stereoscopic image, the 2D / 3D selection unit 1902 illustrated in FIG. 19 outputs the image information output by the output right image conversion unit 1901 and the output left image conversion unit 1902 as it is, and the rearrangement conversion unit 1904. Enter. When the display device displays a two-dimensional image, the 2D / 3D selection unit 1902 outputs only image information output from either the output right image conversion unit 1901 or the output left image conversion unit 1902.
[0158]
According to the stereoscopic image decoding device according to the present embodiment, since the 2D / 3D display information can be switched, a decoding device that does not have a stereoscopic display function can display content as a two-dimensional image. It becomes possible.
[0159]
<Other variations>
In the above-described embodiment, the stereoscopic image decoding apparatus illustrated in FIGS. 11, 14, 16, 18, and 19 has been described as including the bitstream selection unit, but the present invention is not limited to this. For example, when the bit stream is selected and transmitted to the stereoscopic image decoding apparatus when the extended bit stream is transmitted, it is not necessary to provide a bit stream selection unit.
[0160]
In addition, although the stereoscopic image encoding device illustrated in FIGS. 1, 7, and 10 has been described as a stereoscopic image including two left and right images, the present invention is not limited to this. For example, by adding a camera and an input image generation unit, two or more multi-view stereoscopic image encoding devices can be provided. Similarly, although the stereoscopic image decoding apparatus illustrated in FIGS. 11, 14, 16, and 18 has been described as a stereoscopic image including two left and right images, the present invention is not limited to this. For example, two or more multi-view stereoscopic image decoding devices can be obtained by adding an output image conversion unit. According to such a multi-view type stereoscopic image decoding apparatus, when a viewer moves, a stereoscopic display of a portion that has not been seen before is possible.
[0161]
Further, in the above description, for convenience of explanation, it is assumed that a plurality of encoding units and a plurality of decoding units corresponding to each bit stream are provided, but the present invention is not limited to this. For example, a plurality of encoding units or a plurality of decoding units may be combined and realized by one encoding unit or one decoding unit. In this case, for example, each bit stream may be encoded or decoded by time division processing.
[0162]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a control block diagram of a stereoscopic image encoding device according to a first embodiment of the present invention.
FIG. 2 is a detailed control block diagram of an input image generation unit shown in FIG.
FIG. 3 is a diagram for explaining horizontal thinning processing in the input image generation unit shown in FIG. 1;
4 is a diagram for explaining a thinning process in the vertical direction in the input image generation unit shown in FIG. 1; FIG.
FIG. 5 is a diagram for explaining a combining process of the image combining unit in FIG. 1;
FIG. 6 is a detailed control block diagram of an input image generation unit in the stereoscopic image encoding device according to the second embodiment of the present invention.
FIG. 7 is a control block diagram of a stereoscopic image encoding device according to a third embodiment of the present invention.
FIG. 8 is a detailed control block diagram of an input image generation unit in a stereoscopic image encoding device according to a fourth embodiment of the present invention.
FIG. 9 is a diagram for explaining a generation process of an input image generation unit in FIG. 8;
FIG. 10 is a control block diagram of a stereoscopic image encoding device according to a fifth embodiment of the present invention.
FIG. 11 is a control block diagram of a stereoscopic image decoding device according to a sixth embodiment of the present invention.
12 is a diagram for explaining a rearrangement process of the rearrangement processing unit in FIG. 11. FIG.
FIG. 13 is a control block diagram of a stereoscopic image decoding device according to a seventh embodiment of the present invention.
FIG. 14 is a control block diagram of a stereoscopic image decoding device according to an eighth embodiment of the present invention.
FIG. 15 is a detailed control block diagram of a second decoding unit to a k-th decoding unit shown in FIG. 14;
FIG. 16 is a control block diagram of a stereoscopic image decoding device according to a ninth embodiment of the present invention.
FIG. 17 is a detailed control block diagram of a second decoding unit shown in FIG. 16;
FIG. 18 is a control block diagram of a stereoscopic image decoding device according to a tenth embodiment of the present invention.
FIG. 19 is a control block diagram of a stereoscopic image decoding device according to an eleventh embodiment of the present invention.
[Explanation of symbols]
101, 1001 Right camera, 102, 1002 Left camera, 103, 1003 Input right image converter, 104, 1004 Input left image converter, 105 First image combiner, 106 Second image combiner, 107 nth Image combining unit, 108, 701, 1012 First encoding unit, 109, 703, 1013 Second encoding unit, 110, 705 nth encoding unit, 201 Horizontal separation unit, 202, 203 Vertical separation unit, 601, 801, 1305, 1307 H-LPF, 602, 1306, 1308 H-HPF, 603, 604, 607, 608, 611, 612, 803, 804, 806 Downsampling unit, 605, 609, 802, 805, 1313 V-LPF, 606, 610, 1314 V-HPF, 702, 1006 first decoding unit, 1007 second Subtracting unit, 1008 third decoding unit, 1009 fourth subtracting unit, 1010 second (2n-1) decoding unit, 1011 second n subtracting unit, 1016th (2n-1) encoding unit, 1017 second n Encoding unit, 1101, 1601, 1801 bit stream selection unit, 1102, 1802 first decoding unit, 1103, 1401, 1602, 1803 second decoding unit, 1104, 1402 third decoding unit, 1105, 1403, 1804 k-th decoding unit, 1106 first image separation unit, 1107 second image separation unit, 1108 third image separation unit, 1109 k-th image separation unit, 1110 output right image conversion unit, 1111 output left image Conversion unit, 1112, 1813, 1904 Rearrangement processing unit, 1301, 1302, 1303, 1304, 1311, 1312 Upsampling unit, 309, 1310, 1315 Combining unit, 1501, 1701 Decoding processing unit, 1502, 1703, 1808, 1809, 1810 Adding unit, 1702 Interpolating unit, 1805 (k + 1) decoding unit, 1806 (k + 2) decoding unit, 1807 2k decoding unit, 1811, 1812, 1901, 1902 output image conversion unit, 1903 2D / 3D selection unit.

Claims

A stereoscopic image encoding device corresponding to a plurality of stereoscopic image representation type display devices, and when the stereoscopic image representation method is different, image information required for stereoscopically displaying an image differs. Obtained by decoding the stream,
The stereoscopic image encoding device includes:
Based on image data picked up corresponding to each of the left and right viewpoints, the resolution is coarser than that of the original image and is different n pieces of image information (n is an integer of 2 or more), and the image information is Creating means for creating n pieces of image information, which can be combined to obtain an image having a resolution necessary for the stereoscopic image representation method;
Image combining means for generating n combined image information by combining the n pieces of image information for each of the viewpoints in correspondence with the viewpoint;
Encoding means for encoding the combined image information to create a bitstream;
A stereoscopic image encoding apparatus, comprising: a sending unit configured to send a bit stream including information representing the selected bit stream to a display device having the stereoscopic image representation method.

The creating means includes
Means for separating the image data into n pieces of image data based on a horizontal sample position , where n is a thinning period in the horizontal direction ;
Each of the n pieces of image data created separately in the horizontal direction is represented by m pieces of image data (m is an integer equal to or greater than 2), where m is the vertical thinning cycle based on the vertical sample position. And means for separating
The stereoscopic image encoding apparatus according to claim 1, further comprising: means for generating image data created separately in the horizontal direction and the vertical direction as n × m pieces of image information.

The creating means includes
First subband dividing means for dividing the image data into a low-frequency band and a high-frequency band in the horizontal direction;
Second subband dividing means for dividing the image data into a low band and a high band in the vertical direction;
A combination of the first subband splitting means and the second subband splitting means, image data that is subband split into a horizontal low band and a vertical low band, a horizontal low band and a vertical high band Image data divided into sub-bands into image bands, image data divided into sub-bands into horizontal high-frequency bands and vertical low-frequency bands, and images divided into sub-bands into horizontal high-frequency bands and vertical high-frequency bands Means for generating data and generating image data obtained by recursively repeating a combination of the first subband dividing means and the second subband dividing means as n pieces of image information; The stereoscopic image encoding device according to claim 1, comprising:

The encoding means includes means for encoding basic combined image information , which is image information necessary for a plurality of stereoscopic image representation methods, among the n pieces of combined image information, and the basic combined image. The stereoscopic image encoding apparatus according to claim 1, comprising: basic combined image information obtained by decoding information and means for encoding difference information between the combined image information.

The creating means includes
First reduction means for reducing the image data in a horizontal direction;
Second reduction means for reducing the image data in the vertical direction;
Image data reduced by the first reduction means, image data reduced by the second reduction means, image data reduced by the first reduction means and the second reduction means, and input The stereoscopic image encoding apparatus according to claim 1, further comprising: means for generating image data as n pieces of image information (n = 4).

The creating means includes means for creating n pieces of image information based on image data corresponding to one viewpoint, and creating n pieces of image information based on image data corresponding to the other viewpoint. ,
The encoding means includes
A first encoding means for encoding n pieces of image information corresponding to the one viewpoint to generate n bitstreams;
Second encoding means for encoding difference information between the k-th (k = 1 to n) image information corresponding to the one viewpoint and the k-th image information corresponding to the other viewpoint; The stereoscopic image encoding device according to claim 1, comprising:

An image decoding device that decodes the bitstream encoded by the stereoscopic image encoding device according to claim 1 and generates image data corresponding to each of the left and right viewpoints,
Selection means for selecting a necessary bitstream from the n bitstreams so that an image having a resolution necessary for stereoscopic image display can be obtained;
Decoding means for decoding the selected bitstream to create combined image information;
Image separating means for separating the created combined image information and creating image information corresponding to each of the left and right viewpoints;
Creation for creating output image information corresponding to each of the left and right viewpoints, which can obtain an image having a resolution necessary for stereoscopic image display by combining the image information based on the created image information Means,
A stereoscopic image decoding apparatus, comprising: conversion means for converting the output image information so as to match an output format.

The stereoscopic image decoding apparatus is an apparatus that decodes a bitstream encoded by the stereoscopic image encoding apparatus according to claim 2,
The creation means includes means for creating output image information obtained by combining the image information so that the plurality of pieces of image information are staggered in at least one of a horizontal direction and a vertical direction. The three-dimensional image decoding apparatus described in 1.

The stereoscopic image decoding device is a device that decodes a bitstream encoded by the stereoscopic image encoding device according to claim 3,
The creating means includes
First subband synthesizing means for synthesizing subbands in the horizontal direction;
Second subband synthesizing means for synthesizing subbands in the vertical direction;
Means for generating output image information by performing sub-band synthesis by the first sub-band synthesizing unit and the second sub-band synthesizing unit so as to satisfy a predetermined condition. The stereoscopic image decoding device according to 7.

The stereoscopic image decoding device is a device that decodes a bitstream encoded by the stereoscopic image encoding device according to claim 4,
The decoding means includes
means for decoding basic combined image information from n bitstreams;
Means for decoding difference information corresponding to the combined image information;
The stereoscopic image decoding device according to claim 7, further comprising: means for creating n pieces of combined image information based on the decoded basic combined image information and the difference information.

The stereoscopic image decoding device is a device that decodes a bitstream encoded by the stereoscopic image encoding device according to claim 5,
The creating means includes
First interpolation means for interpolating the image data in a horizontal direction;
Second interpolation means for interpolating the image data in the vertical direction;
A plurality of pieces of image information selected by the selection means and decoded by the decoding means are combined so as to satisfy a predetermined condition, and the data is complemented by the first interpolation means and the second interpolation means. The stereoscopic image decoding apparatus according to claim 7, further comprising: means for generating output image information.

The stereoscopic image decoding device is a device that decodes a bitstream encoded by the stereoscopic image encoding device according to claim 6,
The decoding means includes
First decoding means for decoding n bitstreams corresponding to the one viewpoint to generate n pieces of image information;
A second decryption means for creating the difference information;
K-th image information corresponding to the one viewpoint decoded by the first decoding unit (k = 1 to n) and k-th image corresponding to the other viewpoint decoded by the second decoding unit The stereoscopic image decoding apparatus according to claim 7, further comprising: means for creating image information corresponding to the other viewpoint based on the difference information of (k = 1 to n).