JP5409577B2 - パノラマ画像生成装置およびパノラマ画像生成方法 - Google Patents

Description

この発明は、パノラマ画像を生成する装置および方法に関する。

デジタルスチルカメラやデジタルビデオカメラが普及しており、撮影した静止画や動画をコンピュータに保存して閲覧、加工したり、ゲーム機やテレビジョン（ＴＶ）システムの画面に表示する機会が多くなっている。また、撮影した動画をインターネットの投稿サイトにアップロードし、他のユーザと動画を共有することも盛んである。

デジタルカメラの中には、パノラマ画像の撮影が可能なものもあり、手軽に視野角の広いパノラマ画像を撮影することができるようになってきた。また、撮影方向を変えながら、デジタルカメラの撮影した複数の画像を貼り合わせることでパノラマ画像を生成するソフトウエアツールもよく利用されている。

ユーザが撮影したこのようなパノラマ画像の投稿を受け付け、インターネットで公開する３６０ｃｉｔｉｅｓというサイト（http;//www.360cities.net）もあり、世界中のユーザが投稿したパノラマ画像を閲覧することができる。

パノラマ画像は全天球の画像であるため、屋外で撮影すると、太陽が写り込んだり、街灯が写り込むため、明るい部分と暗い部分の差が大きく、ダイナミックレンジが非常に広くなる。そのため、特定の対象物に露出を合わせてパノラマ画像を撮影すると、明るい部分は「白とび」が生じ、暗い部分は「黒つぶれ」が生じることがある。「白とび」とは、強い光が当たった部分が真っ白になることであり、「黒つぶれ」とは、光がほとんど当たっていない暗い部分が真っ黒になることである。

通常の写真撮影では、白とびや黒つぶれが生じないように被写体を適正露出のもとで撮影するか、視野内に強い光が入らないように調整するが、全方位を撮影するパノラマ画像の撮影では、特定の被写体に合わせて適正露出を決めるわけにはいかない。そこで、パノラマ画像を生成する際、たとえば、ハイダイナミックレンジ合成の手法を採用して、露出を変えつつ複数枚の低ダイナミックレンジの写真を撮影し、それらを合成することで白とびや黒つぶれのない高ダイナミックレンジを持つ画像を生成することが必要である。しかし、ハイダイナミックレンジ合成は、高価なカメラが必要であったり、撮影時間や処理時間がかかるという問題があった。

本発明はこうした課題に鑑みてなされたものであり、その目的は、白とびや黒つぶれのないパノラマ画像を効率良く生成することのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様のパノラマ画像生成装置は、パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶部と、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するハイダイナミックレンジ合成部と、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成するパノラマ画像合成部とを含む。

本発明の別の態様は、パノラマ画像生成方法である。この方法は、パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスからプロセッサが複数の低ダイナミックレンジ画像集合を読み出すステップと、プロセッサが、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するステップと、プロセッサが、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成するステップとを含む。

本発明のさらに別の態様は、プログラムである。このプログラムは、パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスから複数の低ダイナミックレンジ画像集合を読み出す機能と、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成する機能と、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成する機能と、高ダイナミックレンジのパノラマ画像を生成する場合は、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成し、低ダイナミックレンジのパノラマ画像を生成する場合は、トーンマッピングにより生成された、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像をつなぎ合わせて、低ダイナミックレンジのパノラマ画像を生成する機能とをコンピュータに実現させる。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、白とびや黒つぶれのないパノラマ画像を効率良く生成することができる。

実施の形態に係るパノラマ画像表示装置の構成図である。 図１のパノラマ画像表示装置に接続される入力デバイスの一例であるコントローラの構成図である。 図３（ａ）〜（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システムの機構と撮影方向を説明する図である。 図４（ａ）はカメラの方位角θ、図４（ｂ）はカメラの仰角φを説明する図である。 図５（ａ）〜（ｃ）は、カメラの初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。 図６（ａ）〜（ｃ）は、カメラの仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。 図１のパノラマ画像表示装置によるパノラマ画像生成手順を説明するフローチャートである。 図９（ａ）、（ｂ）は、２つの隣接する分割画像間で検出されたコントロールポイントを示す図である。 ２つの隣接する分割画像をコントロールポイントにもとづいてアライメントして合成する様子を示す図である。 図１１（ａ）、（ｂ）は、パノラマ画像の両端を重複させた拡張パノラマ画像を説明する図である。 低ダイナミックレンジの分割画像から高ダイナミックレンジのパノラマ画像を生成する従来手法を説明する図である。 低ダイナミックレンジの分割画像から高ダイナミックレンジのパノラマ画像を生成する本実施の形態の手法を説明する図である。 低ダイナミックレンジの分割画像から低ダイナミックレンジのパノラマ画像を生成する本実施の形態の手法を説明する図である。

本発明の実施の形態の概要を説明する。本実施の形態では、露出の異なる低ダイナミックレンジの分割画像に対してハイダイナミックレンジ合成を行って、いったん高ダイナミックレンジの分割画像を生成してから、分割画像をつなぎ合わせてパノラマ画像を生成する。

図１は、実施の形態に係るパノラマ画像表示装置１００の構成図である。図１に示すパノラマ画像表示装置１００の機能構成は、一例として、パーソナルコンピュータ、ゲーム機、携帯機器、携帯端末などにハードウェア、ソフトウェアまたはその組み合わせによって実装することができる。これらの機能構成の一部がサーバに実装され、一部がクライアントに実装され、パノラマ画像表示装置１００は、ネットワークを介してサーバ−クライアントシステムとして実現されてもよい。

パノラマ画像表示装置１００のＨＤＲ合成部２０、トーンマッピング部２１、コントロールポイント検出部２２、パノラマ画像合成部２３、画像符号化部２５、およびＬＤＲ画像データ記憶部２６は、実施の形態に係るパノラマ画像生成装置を構成する。パノラマ画像生成装置のこれらの機能構成は、パノラマ画像表示装置１００とは別のコンピュータ、ゲーム機、携帯機器、携帯端末に実装され、ネットワークや接続ケーブルなどでパノラマ画像表示装置１００と接続されてもよい。また、パノラマ画像生成装置の機能構成は、デジタルカメラのＣＰＵやメモリを用いて実装されてもよい。

ＬＤＲ画像データ記憶部２６は、カメラをパンまたはチルトして撮影された複数の低ダイナミックレンジ（ＬＤＲ；low dynamic range)の分割画像を含むＬＤＲ画像集合を保持する。ＬＤＲ画像データ記憶部２６には、露出の異なる複数のＬＤＲ画像集合が保持されている。パン角とチルト角の異なる分割画像をつなぎ合わせるとパノラマ画像が得られるが、隣接する分割画像のつなぎ目に当たる領域は合成しやすいように重複して撮影されている。ＬＤＲ画像集合は、撮影すべきパン角またはチルト角に対応させた複数のカメラを用いて撮影されたものであってもよい。ここでは、一つのカメラをパンまたはチルトして撮影した分割画像であっても、撮影すべきパン角またはチルト角に対応させた複数のカメラを用いて撮影された分割画像であっても、単に「パン角またはチルト角の異なる分割画像」と呼ぶ。

ＨＤＲ合成部２０は、ＬＤＲ画像データ記憶部２６から露出の異なる複数のＬＤＲ画像集合を読み出し、分割画像が撮影されたパン角およびチルト角の組み合わせのそれぞれについて、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジ（ＨＤＲ；high dynamic range)の分割画像を生成する。

トーンマッピング部２１は、低ダイナミックレンジのパノラマ画像を生成する場合に動作する構成であり、高ダイナミックレンジのパノラマ画像を生成する場合は動作しない。

まず、高ダイナミックレンジのパノラマ画像を生成する場合を説明する。

ＨＤＲ合成部２０は、生成されたパン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像をコントロールポイント検出部２２に供給する。コントロールポイント検出部２２は、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する高ダイナミックレンジの分割画像を対応付けるためのコントロールポイントを検出する。

特徴点抽出処理には画像マッチングで用いられる公知の技術を用いることができる。特徴点抽出処理が終わると、抽出された特徴点の中から、隣接する分割画像を対応づけるのに適したコントロールポイントを選択する。特徴点は多数抽出されるが、コントロールポイントとしては、隣接する分割画像のつなぎ目領域全体に偏りなく分散していることが望ましい。コントロールポイントがつなぎ目領域全体に分散していれば、隣接する分割画像を高い精度でアライメントすることが可能になる。

パノラマ画像合成部２３は、検出されたコントロールポイントにもとづいて隣接する高ダイナミックレンジの分割画像のアライメントを調整して合成することにより、高ダイナミックレンジのパノラマ画像を生成する。具体的には隣接する分割画像間で対応するコントロールポイントができるだけ一致するように、言い換えれば、隣接する分割画像間の対応するコントロールポイントのずれの総和が最小になるように、分割画像を回転させて合成する。

次に、低ダイナミックレンジのパノラマ画像を生成する場合を説明する。

低ダイナミックレンジのパノラマ画像を生成する場合は、トーンマッピング部２１が動作する。ＨＤＲ合成部２０は、生成されたパン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像をトーンマッピング部２１に供給する。トーンマッピング部２１は、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成する。

コントロールポイント検出部２２は、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接するダイナミックレンジ圧縮された分割画像を対応付けるためのコントロールポイントを検出する。

パノラマ画像合成部２３は、検出されたコントロールポイントにもとづいて隣接するダイナミックレンジ圧縮された分割画像のアライメントを調整して合成することにより、低ダイナミックレンジのパノラマ画像を生成する。

画像符号化部２５は、パノラマ画像合成部２３により合成された高ダイナミックレンジまたは低ダイナミックレンジのパノラマ画像を符号化する。このとき、パノラマ画像の左端には右端の領域の一部を付加し、右端には左端の領域の一部を付加した拡張パノラマ画像に対して圧縮符号化する。パノラマ画像が動画像である場合は、画像符号化部２５は、拡張パノラマ画像に対して、マクロブロック単位で動き補償予測して圧縮符号化する。画像符号化部２５は、符号化されたパノラマ画像をパノラマ画像・付加データ記憶部２４に記憶する。

パノラマ画像・付加データ記憶部２４は、撮影場所に関する情報と撮影方位に関する情報が関連付けられたパノラマ画像を保持する。撮影場所や撮影方位に関する情報などの付加データはパノラマ画像のデータファイルに直接付加されてもよく、付加データはパノラマ画像とは別のファイルとして管理されてもよい。

撮影場所に関する情報は、たとえば、ＧＰＳ（Global Positioning System）により与えられる緯度・経度情報を含む。撮影方位に関する情報は、たとえば、方位センサなどから得られるパノラマ画像の中心点の方位角の情報を含み、それ以外に撮影時のカメラの仰角やロール角の情報を含んでもよい。

撮影方位に関する情報としてパノラマ画像の中心点の方位角が与えられれば、カメラを左右方向にパンした角度にもとづいて、パノラマ画像の任意の点の方位を計算上、求めることができる。パノラマ画像の中心点の方位角とパン角にもとづいて計算された、パノラマ画像の真北、真南、真東、真西の方位にあるピクセルの座標値を撮影方位に関する情報としてパノラマ画像にもたせてもよい。

パノラマ画像取得部１０は、表示対象のパノラマ画像をパノラマ画像・付加データ記憶部２４から取得する。表示対象のパノラマ画像は、たとえば、ユーザが地図などで撮影場所を指定することで特定される。

画像復号部１２は、パノラマ画像取得部１０により取得された拡張パノラマ画像を復号し、拡張パノラマ画像の両端の重複した領域をトリミングし、再生されたパノラマ画像をマッピング処理部１４に供給する。パノラマ画像取得部１０により取得された拡張パノラマ画像が動き補償予測により符号化された動画像である場合、画像復号部１２は、動画像を復号し、両端の重複した領域をトリミングし、再生された動画像のフレームをマッピング処理部１４に供給する。

マッピング処理部１４は、パノラマ画像をテクスチャとして３次元パノラマ空間にマッピングする処理を行う。

全天球パノラマ画像の場合は、３次元パノラマ空間として球を想定し、球面マッピングにより、パノラマ画像を球面にテクスチャマッピングする。あるいは、３次元パノラマ空間として立方体を想定し、キューブマッピングにより、パノラマ画像を立方体表面にテクスチャマッピングしてもよい。また、パノラマ画像がチルト方向の成分をもたず、パン方向にのみ広がる画像である場合、３次元パノラマ空間として円柱を想定し、パノラマ画像を円柱面にテクスチャマッピングしてもよい。パノラマ画像がパン方向の成分をもたず、チルト方向にのみ広がる画像である場合も同様である。

３次元画像生成部１６は、マッピング処理部１４によりパノラマ画像がマッピングされた３次元パノラマ空間内を指定された視線方向に見たときの３次元パノラマ画像を生成する。３次元パノラマ空間が球の場合、視点は球の中心に置かれ、立方体の場合、視点は立方体内部の中心に置かれ、円柱の場合、視点は円柱の中心軸上に置かれる。視点は表示対象のパノラマ画像を撮影した場所であり、視線方向は、その撮影場所から周囲を見る方向であり、方位角と仰角で特定される。３次元画像生成部１６は、方位角と仰角で特定される視線方向で３次元パノラマ空間を見たときの３次元画像を生成する。

表示制御部１８は、生成された３次元パノラマ画像をディスプレイ装置の画面に表示させる。

ユーザインタフェース部４０は、ディスプレイの画面に表示されるグラフィックスに対して、ユーザが入力デバイスを用いて操作することを可能にするグラフィカルユーザインタフェースである。ユーザインタフェース部４０は、画面に表示された地図や３次元パノラマ画像に対するゲーム機のコントローラ、マウス、キーボードなどの入力デバイスからユーザの指示を受け付ける。図２は、入力デバイスの一例であるコントローラ１０２を示し、その構成の詳細については後述する。

ユーザインタフェース部４０は、指定されたパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。

ユーザは、たとえば、コントローラ１０２のアナログスティック１１８または方向キー群１１６などを操作することにより、３次元パノラマ空間を見る視線方向を変更する指示を入力することができる。ユーザインタフェース部４０の視線方向設定部３２は、ユーザが指示する視線方向を３次元画像生成部１６に与える。３次元画像生成部１６は、３次元パノラマ空間を指定された視線方向から見た場合の画像を生成する。

画角設定部３１は、ユーザが表示されたパノラマ画像に対してズーム操作をしたときの画角を設定し、パノラマ画像取得部１０と３次元画像生成部１６に設定された画角の情報を与える。画角の異なるパノラマ画像がパノラマ画像・付加データ記憶部２４に記憶されている場合、パノラマ画像取得部１０は、設定された画角にもっとも近い画角のパノラマ画像を読み出し、表示対象のパノラマ画像を切り替える。３次元画像生成部１６は、設定された画角に応じて３次元パノラマ画像を拡大・縮小することで、ズームイン・ズームアウトの視覚効果を実現する。

パノラマ画像には、撮影高度に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して異なる高度で撮影されたパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の左側にあるＬ１／Ｌ２ボタン１６１、１６２を操作することにより、高度を変更する指示を入力することができる。Ｌ１ボタン１６１を押すことにより、高度を上げる指示を、Ｌ２ボタン１６２を押すことにより、高度を下げる指示を与えることができる。

表示制御部１８は、現在表示されているパノラマ画像について、同一撮影場所で異なる高度で撮影したパノラマ画像があることを、たとえば、画面の上部、下部に小さな矢印を示すことでユーザに知らせてもよい。画面の上部に上向きの矢印があれば、現在よりも撮影高度の高い画像があることを示し、画面の下部に下向きの矢印があれば、現在よりも撮影高度の低い画像があることを示す。

ユーザインタフェース部４０の高度設定部３４は、ユーザから高度を変更する指示を受け取ると、同一撮影位置であるが、指定された高度に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｌ１ボタン１６１が押された場合は、現在表示されているパノラマ画像よりも撮影高度のより高いパノラマ画像を取得し、Ｌ２ボタン１６２が押された場合は、撮影高度のより低いパノラマ画像を取得する。

表示制御部１８は、撮影高度の異なるパノラマ画像に切り替えて表示する際、たとえば、ユーザがエレベータで上下しているかのような感覚を与えるために、特別なエフェクトを画像に施してもよい。たとえば、より高度の高いパノラマ画像に切り替える場合、現在表示されているパノラマ画像を下にスクロールさせて、より高度の高いパノラマ画像が上から降りてくるように表示させることで、ユーザはあたかも階上に行ったかのような感覚をもつことができる。

パノラマ画像には、撮影日時に関する情報も付与されており、パノラマ画像・付加データ記憶部２４は、同一の撮影位置に対して撮影日時の異なるパノラマ画像を保持してもよい。その場合、ユーザは、たとえば、コントローラ１０２の筐体前面の右側にあるＲ１／Ｒ２ボタン１５１、１５２を操作することにより、撮影日時を変更する指示を入力することができる。Ｒ１ボタン１５１を押すことにより、遅い日時にシフトする指示を、Ｒ２ボタン１５２を押すことにより、早い日時にシフトする指示を与えることができる。

表示制御部１８は、現在表示されているパノラマ画像について、異なる日時に撮影したパノラマ画像があることを、たとえば、時計やカレンダーのアイコンを画面の隅に示すことでユーザに知らせてもよい。朝、昼、夜など時間帯の異なるパノラマ画像が存在するときは時計のアイコンを、春、夏、秋、冬など季節の異なるパノラマ画像が存在するときはカレンダーのアイコンを表示する。

ユーザインタフェース部４０の日時設定部３６は、ユーザから日時を変更する指示を受け取った場合、同一撮影位置であるが、指定された日時に対応するパノラマ画像をパノラマ画像・付加データ記憶部２４から取得するように、パノラマ画像取得部１０に指示する。パノラマ画像取得部１０は、Ｒ１ボタン１５１が押された場合は、現在表示されているパノラマ画像よりも撮影日時のより遅いパノラマ画像を取得し、Ｒ２ボタン１５２が押された場合は、撮影日時のより早いパノラマ画像を取得する。

これにより、たとえば、同一撮影場所であっても、朝の時間帯に撮影されたパノラマ画像から夜の時間帯にパノラマ画像に切り替えたり、春に撮影されたパノラマ画像から秋に撮影されたパノラマ画像に切り替えるなど、時間帯や季節などが異なるパノラマ画像に切り替えることができる。表示制御部１８は、パノラマ画像を切り替えるとき、フェイドイン・フェイドアウトなどのエフェクトを画像に施してもよい。

視点位置設定部３０は、パノラマ画像の撮影場所を視点位置に設定し、視点位置を３次元画像生成部１６に通知する。視線方向設定部３２は、指定された視線方向を３次元画像生成部１６に与える。

図２は、図１のパノラマ画像表示装置１００に接続される入力デバイスの一例であるコントローラ１０２の構成図である。パノラマ画像表示装置１００は、一例としてゲーム機であってもよい。

コントローラ１０２は、パノラマ画像表示装置１００に対する操作入力を行うための複数のボタンやキーを有する。ユーザがコントローラ１０２のボタンやキーを操作すると、その操作入力が無線または有線によりパノラマ画像表示装置１００に送信される。

コントローラ１０２の筐体上面１２２には、方向キー群１１６、アナログスティック１１８、操作ボタン群１２０が設けられている。方向キー群１１６は、「上」、「下」、「左」、「右」方向指示キーを含む。操作ボタン群１２０は、○ボタン１２４、×ボタン１２６、□ボタン１２８、および△ボタン１３０を含む。

ユーザは左手で左側把持部１３４ｂを把持し、右手で右側把持部１３４ａを把持して、筐体上面１２２上の方向キー群１１６、アナログスティック１１８、および操作ボタン群１２０を操作する。

さらに、コントローラ１０２の筐体前面には、右側操作部１５０と左側操作部１６０が設けられている。右側操作部１５０はＲ１ボタン１５１とＲ２ボタン１５２を含み、左側操作部１６０はＬ１ボタン１６１とＬ２ボタン１６２を含む。

ユーザは、方向キー群１１６を操作することにより、画面上の表示されたポインタを上下左右の各方向に移動させることができる。たとえば、パノラマ画像内に表示された複数のマーカーのいずれかを選択する際、方向キー群１１６を操作して画面上で複数のマーカー間を移動することができる。ユーザは所望のマーカー上にポインタが来たときに、○ボタン１２４を押すことでそのマーカーを選択することができる。

操作ボタン群１２０の各ボタンには、パノラマ画像表示アプリケーションプログラムによりそれぞれ異なる機能が割り付けられてもよい。たとえば、△ボタン１３０にはメニューの表示を指定する機能、×ボタン１２６には、選択した項目の取り消し等を指定する機能、○ボタン１２４には選択した項目の決定等を指定する機能、□ボタン１２８には、目次等の表示／非表示を指定する機能がそれぞれ割り付けられる。

アナログスティック１１８は、ユーザによって傾倒操作されたとき、アナログ値を出力する手段を備える。コントローラ１０２は、アナログスティック１１８を傾倒したときの方向と量に応じたアナログ出力信号をパノラマ画像表示装置１００に送る。たとえば、ユーザは、アナログスティック１１８を所望の方向に傾倒することで、ディスプレイに表示された３次元パノラマ画像内で視点を所望の方向に移動させることができる。

筐体上面１２２には、さらにＬＥＤ付きボタン１３６、セレクトボタン１４０、スタートボタン１３８が設けられる。ＬＥＤ付きボタン１３６は、たとえば、ディスプレイにメニュー画面を表示させるためのボタンとして利用される。スタートボタン１３８は、パノラマ画像表示アプリケーションの起動、パノラマ画像の再生開始、一時停止などをユーザが指示するためのボタンである。セレクトボタン１４０は、ディスプレイに表示されたメニュー表示の選択等をユーザが指示するためのボタンである。

図３（ａ）〜（ｄ）は、パノラマ画像を撮影するために用いられる全方位撮影システム２３０の機構と撮影方向を説明する図である。

図３（ｄ）に示すように、全方位撮影システム２３０において、カメラ２００は操作盤２１０に固定されており、操作盤２１０をＺ軸周りに回転させることでカメラのパン角を変え、Ｘ軸周りに回転させることでカメラのチルト角を変え、Ｙ軸周りに回転させることでカメラのロール角を変えることができる。ここでＺ軸は鉛直軸（重力方向軸）である。

図３（ａ）は、操作盤２１０に設置されたカメラ２００の上面図であり、操作盤の初期位置（Ｙ軸方向）をパン角０°とし、Ｚ軸の周りに−１８０°〜＋１８０°の範囲でパン角を変えることができる。

図３（ｂ）は、操作盤２１０に設置されたカメラ２００の正面図であり、操作盤２１０が水平に置かれた状態をロール角０°とし、Ｙ軸の周りに−１８０°〜＋１８０°の範囲でロール角を変えることができる。

図３（ｃ）は、操作盤２１０に設置されたカメラ２００の側面図であり、操作盤２１０が水平に置かれた状態をチルト角０°とし、Ｘ軸の周りに−９０°〜＋９０°の範囲でチルト角を変えることができる。

図３（ｄ）の全方位撮影システム２３０により撮影されるパノラマ画像に撮影方位に関する情報を付与するためには、カメラ２００が撮影時にどの方位に向いていたかを記録しておく必要がある。そのために、全方位撮影システム２３０は、方位を測定するための方位センサや傾斜角を測定するための加速度センサなどを備える。さらに、撮影位置や撮影時間を測定するためにＧＰＳセンサなども備える。

図４（ａ）はカメラ２００の方位角θ、図４（ｂ）はカメラ２００の仰角φを説明する図である。図４（ａ）はカメラ２００の上面図であり、カメラ２００は撮影の初期位置において、真北から東へ方位角θだけずれた方向２２０を向いており、この方向がパン角０°に相当する。すなわちパン角の基準方向２２０の方位角はθである。パノラマ画像を撮影するとき、この方位角θの基準方向２２０に対して−１８０°〜＋１８０°の範囲でパン角を変えながら、被写体をパノラマ撮影する。

図４（ｂ）はカメラ２００の側面図であり、仰角φは、Ｘ軸周りにカメラ２００を回転させた場合に、チルト０°の方向、すなわちＹ軸方向に対して上方向を正と定義する角度である。通常、カメラ２００を水平ポジションに設定して撮影するので仰角φ＝０°であるが、全天球のパノラマ画像を撮影するには、カメラをチルトさせて仰角φを変えて被写体を撮影する必要がある。

図５（ａ）〜（ｃ）は、カメラ２００の初期位置が方位角θの方向にある場合に撮影されるパノラマ画像を説明する図である。

図５（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図５（ｂ）の側面図に示すように、カメラ２００の仰角φ＝０°である。仰角φ＝０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を−１８０°から＋１８０°の範囲で変化させながら、仰角φ＝０°における全方位のパノラマ画像を撮影する。図５（ｃ）は、このようにして撮影されたパノラマ画像３００を示す。パノラマ画像３００の中心はパン角０°であり、パノラマ画像３００の左半分はパン角を０°から−１８０°まで変えて撮影された画像であり、右半分はパン角を０°から１８０°まで変えて撮影された画像である。

パノラマ画像３００のパン角０°の中心位置は、真北から方位角θだけ東にずれているから、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）の位置は点線で示す箇所になる。パノラマ画像３００は、撮影方位に関する情報として、パン角０°の中心位置の方位角θをもってさえいれば、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置は、方位角θのずれを考慮して計算で求めることができる。あるいは、方位角θの代わりに、北（Ｎ）、南（Ｓ）、東（Ｅ）、西（Ｗ）のピクセル位置の座標値を撮影方位に関する情報としてもうようにしてもよい。

全天球のパノラマ画像を得るためには、カメラ２００の仰角を変えて撮影する必要がある。たとえば、カメラ２００の画角が６０°であるとすると、原理的にはカメラ２００を上下に±６０°チルトさせた上で、パン角を−１８０°〜１８０°の範囲で変えながら同様の撮影を行えば、全天球のパノラマ画像を得ることができる。

図６（ａ）〜（ｃ）は、カメラ２００の仰角φ＝６０°の場合に撮影されるパノラマ画像を説明する図である。図６（ａ）の上面図に示すように、初期位置においてカメラ２００は方位角θの方向２２０を向いており、図６（ｂ）の側面図に示すように、カメラ２００の仰角φ＝６０°である。仰角φ＝６０°に保ちながら、基準方向２２０に対してカメラ２００のパン角を−１８０°から＋１８０°の範囲で変化させながら、図６（ｃ）に示すような、仰角φ＝６０°におけるパノラマ画像３０２を撮影する。

同様にして、カメラ２００の仰角をφ＝−６０°に保ちながら、パン角を−１８０°から＋１８０°の範囲で変化させながら、仰角φ＝−６０°におけるパノラマ画像を撮影する。仰角φ＝０°、６０°、−６０°のパノラマ画像を組み合わせれば、全天球パノラマ画像が得られる。もっとも、実装上は、画角の境界部分で画像を貼り合わせる際にレンズの歪みから生じる不整合を補正するために、境界付近をだぶらせて撮影する方法を採ることが多い。

このようにして得られた全天球パノラマ画像には、方位角および仰角の情報が付与されており、その情報にもとづいてパノラマ画像の任意のピクセルについて方位と仰角を特定可能である。また、パノラマ画像には撮影場所の位置情報としてＧＰＳにより測定された緯度・経度情報も付与される。パノラマ画像に付与すべき付加情報は、一例として、Ｅｘｉｆ（Exchangeable Image File Format）と呼ばれる画像ファイルの規格にしたがって記録してもよい。撮影場所の地名はファイル名の一部に記録し、撮影日時、撮影場所の緯度・経度、高度、方位角などをＥｘｉｆ形式のデータとして記録することができる。仰角はＥｘｉｆ形式では定義されていないが、拡張データとして記録する。

図７Ａおよび図７Ｂは、複数の画像をつなぎ合わせてパノラマ画像を作成する方法を説明する図である。

図７Ａの例では、カメラ２００をチルト（またはパン）させながら撮影された７枚の画像３４１〜３４７を円筒にマッピングした後、つなぎ合わせて円筒状の画像３４０を作成する。画像をつなぎ合わせるとき、画像の境界付近をオーバーラップさせる。

図７Ｂに示すように、カメラ２００をパン（またはチルト）させて撮影することで、図７Ａで示した円筒状の画像がパン（またはチルト）方向に複数得られる。これらの円筒状の画像３４０ａ〜３４０ｆを画像の境界付近をオーバーラップさせて合成することで、全方位のパノラマ画像３６０が最終的に得られる。

図８は、パノラマ画像表示装置１００によるパノラマ画像生成手順を説明するフローチャートである。図９（ａ）、（ｂ）〜図１１（ａ）、（ｂ）を参照しながら、図８のパノラマ画像生成手順の各ステップを説明する。図８に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１４のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１４のＮ）と表示する。

露出の異なる複数のＬＤＲ画像集合を入力する（Ｓ１０）。各ＬＤＲ画像集合は、パン角およびチルト角の少なくとも一方の異なる複数の低ダイナミックレンジの分割画像を含む。

ＨＤＲ合成部２０は、分割画像が撮影されたパン角およびチルト角の組み合わせのそれぞれについて、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を生成する（Ｓ１２）。ハイダイナミックレンジ合成には、公知の技術を用いる。露出の異なる複数枚のＬＤＲ画像から明らかに黒つぶれや白とびのあるセグメントを除いた領域を選択して合成することですべての領域にわたって黒つぶれや白とびのないＨＤＲ画像を生成する。

出力画像フォーマットがＬＤＲパノラマ画像である場合（Ｓ１４のＹ）、ステップＳ１６のトーンマッピング処理を実行する。トーンマッピング部２１は、ＨＤＲ合成部２０が生成した高ダイナミックレンジの分割画像に対してトーンマッピング処理を施してダイナミックレンジを圧縮することで、ダイナミックレンジ圧縮された分割画像に変換する。トーンマッピング処理の手法として、たとえば、画像全体のコントラストを下げる方法や、人間の視覚特性を模倣して非線形に変換する方法がある。ステップＳ１６のトーンマッピング処理が終わると、ステップＳ１８に進む。

出力画像フォーマットがＨＤＲパノラマ画像である場合（Ｓ１４のＮ）、ステップＳ１６のトーンマッピング処理をスキップし、ステップＳ１８に進む。

コントロールポイント検出部２２は、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像／高ダイナミックレンジの分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する分割画像を対応付けるためのコントロールポイントを検出する（Ｓ１８）。

図９（ａ），（ｂ）は、２つの隣接する分割画像４０１、４０２間で検出されたコントロールポイントを示す図である。ここでは、９個のコントロールポイントが検出されている。

パノラマ画像合成部２３は、検出されたコントロールポイントにもとづいて隣接するダイナミックレンジ圧縮された分割画像／高ダイナミックレンジの分割画像のアライメントを調整して合成することにより、ＬＤＲ／ＨＤＲのパノラマ画像を生成する（Ｓ２０）。

図１０は、２つの隣接する分割画像４０１、４０２をコントロールポイントにもとづいてアライメントして合成する様子を示す図である。隣接する分割画像４０１、４０２の重複領域において、両画像のコントロールポイント（同図で丸印で示した）ができるだけ合うように、一方の分割画像４０１に対して他方の分割画像４０２を回転させて合成する。

画像符号化部２５は、パノラマ画像合成部２３により合成されたＬＤＲ／ＨＤＲのパノラマ画像を符号化する（Ｓ２２）。このとき、パノラマ画像の左端には右端の領域の一部を付加し、右端には左端の領域の一部を付加した拡張パノラマ画像に対して、圧縮符号化することで、ブロックノイズを軽減する。パノラマ画像が動画像である場合、画像符号化部２５は、拡張パノラマ画像に対してマクロブロック単位で動き補償予測して圧縮符号化することで、パノラマ画像の両端の境界線をまたいだ動きがある場合でも、ブロックノイズを抑えた動き補償予測ができる。

図１１（ａ）、（ｂ）は、パノラマ画像の両端を重複させた拡張パノラマ画像を説明する図である。図１１（ａ）は、カメラを３６０度パンさせて撮影されたパノラマ画像５００である。パノラマ画像５００が動画像である場合、マクロブロック単位で動きベクトルにより周辺領域の画素を参照して予測符号化されるが、パノラマ画像５００の右端／左端はそれよりも右側／左側に周辺画素がないため、ブロックノイズが生じる。そのため、パノラマ画像５００を全天球に貼り付けたとき、動画再生中につなぎ目に不自然な境界線が現れる。

そこで、パノラマ画像５００の右端領域５０２、左端領域５０４をそれぞれパノラマ画像５００の左端、右端にコピーしてパノラマ画像５００を拡張する。図１１（ｂ）は、拡張パノラマ画像５１０である。右端領域５０２、左端領域５０４がそれぞれパン角２０度分の領域である場合、拡張パノラマ画像５１０は、パン角が４００度まで拡張された形になる。この拡張パノラマ画像５１０に対して、マクロブロック単位で動き補償予測符号化すれば、パノラマ画像５００の右端および左端で発生するブロックノイズを最小化することができる。

図１１（ｂ）の拡張パノラマ画像５１０に対して動き補償予測符号化が終われば、コピーした右端領域５０２、左端領域５０４は削除して、図１１（ａ）のパノラマ画像５００に戻す。その後、パノラマ画像５００を全天球に貼り付けても、つなぎ目はブロックノイズが最小化されているため、動画再生中でもつなぎ目に境界線は現れなくなる。

次に、図１２〜図１４を参照して、パン角またはチルト角の異なる複数のＬＤＲ分割画像からＨＤＲ／ＬＤＲパノラマ画像を生成する本実施の形態の手法の利点について詳しく説明する。

図１２は、比較のために、ＬＤＲ分割画像からＨＤＲパノラマ画像を生成する従来手法を説明する図である。

ここでは、パン角またはチルト角の異なる複数のＬＤＲ分割画像の集合が露出を変えて３種類用意されている。ＬＤＲ分割画像集合４１１、４１２、４１３は、それぞれ露出値がＥＶ１、ＥＶ２、ＥＶ３であり、この順で露出値が低くなる。各ＬＤＲ分割画像集合４１１、４１２、４１３には、パン角またはチルト角の異なる６枚のＬＤＲ分割画像が含まれる。たとえば、パン角を３段階（ｐ１、ｐ２、ｐ３）に変え、チルト角を２段階（ｔ１，ｔ２）に変えて、６枚の分割画像を撮影した場合である。

ここでは、説明の便宜上、露出値を３段階だけ設けたが、実装上は、露出段数Ｎは、８段階程度以上にする必要がある。また、パン方向の撮影枚数ＰはＰ＝３６０／（水平画角×０．８）で与えられ、チルト方向の撮影枚数ＴはＴ＝１８０／（垂直画角×０．８）で与えられる。チルト方向には、これ以外に天頂、真下に１枚ずつ撮影することもある。係数０．８を掛けるのは、隣接する分割画像に重複領域をもたせるためである。分割画像の総撮影枚数ＭはＮ×Ｐ×Ｔで与えられる。

従来手法では、露出値ＥＶ１のＬＤＲ分割画像集合４１１を合成してＬＤＲパノラマ画像４２１を生成する。同様に、露出値ＥＶ２、ＥＶ３のＬＤＲ分割画像集合４１２、４１３を合成してＬＤＲパノラマ画像４２２、４２３を生成する。分割画像を合成してパノラマ画像を生成する際、隣接する分割画像の重複領域でコントロールポイントを検出して、マッチングを取る。

このとき、ある露出値のもとで撮影されたＬＤＲ分割画像集合内で、一部の分割画像は露出が適正でないために、白とびや黒つぶれが生じている可能性がある。パン角またはチルト角を変えて撮影した分割画像の中には、強い光が写っている部分や極端に暗くなっている部分があるためである。白とびや黒つぶれが生じている分割画像に対しては特徴点抽出が困難になるため、コントロールポイントが設定できないか、設定できてもコントロールポイントの設定場所が偏っていたり、コントロールポイントの数が少なくなる。そのため、隣接する分割画像をうまくつなげることができず、生成されたパノラマ画像は合成の精度が悪く、きれいなものにはならない。

次に、露出値ＥＶ１のＬＤＲパノラマ画像４２１、露出値ＥＶ２のＬＤＲパノラマ画像４２２、露出値ＥＶ３のＬＤＲパノラマ画像４２３をハイダイナミックレンジ合成することで、ＨＤＲパノラマ画像４３０を生成する。しかし、ＬＤＲパノラマ画像４２１、４２２、４２３の中には、上述のように白とびや黒つぶれのために合成の精度が悪いものが混ざっている可能性があり、最終的に生成されるＨＤＲパノラマ画像４３０の精度も悪くなることがある。

図１３は、ＬＤＲ分割画像からＨＤＲパノラマ画像を生成する本実施の形態の手法を説明する図である。

本実施の形態では、露出値の異なるＬＤＲ分割画像の集合に対してハイダイナミックレンジ合成を施して、まずＨＤＲ分割画像の集合を生成した後、パノラマ画像に合成することでＨＤＲパノラマ画像を生成する。

露出値ＥＶ１、ＥＶ２、ＥＶ３のＬＤＲ分割画像集合４１１、４１２、４１３をハイダイナミックレンジ合成することで、ＨＤＲ分割画像集合４４０を生成する。ＨＤＲ分割画像集合４４０には、パン角またはチルト角の異なる６枚のＨＤＲ分割画像が含まれる。次に、ＨＤＲ分割画像集合４４０を合成してＨＤＲパノラマ画像４５０を生成する。

この方法によれば、たとえば、パン角ｐ１、チルト角ｔ１のＬＤＲ分割画像についてみれば、３つの露出値ＥＶ１、ＥＶ２、ＥＶ３のＬＤＲ分割画像をハイダイナミックレンジ合成することにより、パン角ｐ１、チルト角ｔ１のＨＤＲ分割画像を生成している。そのため、ＨＤＲ分割画像を生成する時点で、ＬＤＲ分割画像に発生した白とびや黒つぶれの問題を解消することができる。ＨＤＲ分割画像集合４４０を合成してＨＤＲパノラマ画像４５０を生成する際、６枚のＨＤＲ分割画像には白とびや黒つぶれがないため、隣接する分割画像の重複領域から確実に特徴点を抽出して、高い精度でコントロールポイントを検出することができ、合成されるＨＤＲパノラマ画像４５０はきれいなものになる。

図１４は、ＬＤＲ分割画像からＬＤＲパノラマ画像を生成する本実施の形態の手法を説明する図である。図１３と異なるのは、露出値ＥＶ１、ＥＶ２、ＥＶ３のＬＤＲ分割画像集合４１１、４１２、４１３をハイダイナミックレンジ合成して得られたＨＤＲ分割画像集合４４０に対してトーンマッピング処理を施して、ＬＤＲ分割画像集合４６０に変換した上で、ＬＤＲパノラマ画像４７０に合成する点である。この場合も、ＨＤＲ分割画像集合４４０を生成する段階で、白とびや黒つぶれの問題がなくなっているため、その後、ダイナミックレンジを下げたＬＤＲ分割画像集合４６０を合成するときに、コントロールポイントが検出できないという問題は発生しない。

このように、図１２の従来手法に比べて、図１３および図１４の本実施の形態の手法では、上述のように合成されるパノラマ画像の精度が著しく改善する。本実施の形態のパノラマ画像生成方法には、処理効率その他の面でも利点がある。

従来手法では、各露出値のＬＤＲ分割画像集合に対して、コントロールポイントの検出処理を行ってＬＤＲパノラマ画像を生成するため、処理時間がかかる。それに対して、本実施の形態の手法では、あらかじめＨＤＲ分割画像集合を生成してから、コントロールポイントの検出処理を行ってＨＤＲパノラマ画像を生成するため、露出段数をＮとすると、従来手法に比べて処理時間は１／Ｎに削減される。

また、従来手法では、各露出値において複数のＬＤＲ分割画像からＬＤＲパノラマ画像を生成するため、総撮影枚数Ｍ＝露出段数Ｎ×パン段数Ｐ×チルト段数Ｔの撮影が必要であり、撮影時間がかかる。さらに、撮影時間が長くなるため、被写体が動いた場合、異なる露出値のＬＤＲパノラマ画像間で被写体の位置がずれてしまい、ＨＤＲパノラマ画像に合成したときに被写体がぶれたような画像が生成される。

それに対して、本実施の形態の手法では、白とび、黒つぶれしてしまうような露出値の画像は必要ではないので、その露出値での撮影を省いても、十分な精度のＨＤＲ分割画像を生成することができる。全天球をスキャンして各撮影方向における適切な露出値をあらかじめ測定したり、光の方向などにもとづいて各撮影方向における適切な露出値を決定して撮影すればよく、すべての露出値について撮影する必要はない。そのため、撮影時間を短縮し、また、ＨＤＲ合成の処理時間も短縮することができる。

さらに、本実施の形態の手法では、撮影時間を短縮できるため、高速に移動する鳥や飛行機などの物体が写り込む可能性を減らすことができる。仮にそのような移動物体が写り込んだＬＤＲ分割画像があったとしても、その画像は削除しても、他の露出値で同じ領域を撮影したＬＤＲ分割画像があるため、十分な精度でＨＤＲ分割画像を生成することができる。

以上述べたように、本実施の形態のパノラマ画像表示装置によれば、ＬＤＲ分割画像から高い精度で効率良くＨＤＲ／ＬＤＲパノラマ画像を生成することができる。低ダイナミックレンジでパノラマ画像を撮影すると、正面が明るくても、背面が暗い場合には、全方位で適切な露出で撮影できないので、きれいなパノラマ画像を得ることはできなかった。本実施の形態のパノラマ画像生成手法によれば、露出を変えて撮影されたＬＤＲ分割画像からいったんＨＤＲ分割画像を生成してから、パノラマ画像に合成するため、全方位に対して露出値が適正に調整されたきれいなパノラマ画像を得ることができる。

ＬＤＲ分割画像に生じた白とびや黒つぶれの問題がハイダイナミックレンジ処理で解決するため、ＨＤＲ分割画像からパノラマ画像を合成するときにも精度良く合成することができる。また、白とびや黒つぶれするような露出値での撮影は行わないことで、撮影時間を大幅に短縮することができる。さらに、予期しない高速移動物体が写り込んだＬＤＲ分割画像があってもその画像は削除してＨＤＲ分割画像を生成できるので、ノイズにも強い。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

上記の説明では、パノラマ画像を球面などの３次元パノラマ空間にマッピングし、指定された視線方向から３次元パノラマ空間を見た場合の３次元パノラマ画像を画面に表示したが、パノラマ画像を単に２次元表示するだけでもよい。この場合、マッピング処理部１４および３次元画像生成部１６の構成は不要であり、パノラマ画像表示装置１００を簡素化できる。

パノラマ画像は図３のような全方位撮影システムで撮影されたものに限らず、魚眼レンズを用いて撮影された画像や、撮影方向を変えながら通常のデジタルカメラで撮影された複数の画像を合成した画像であってもよい。

パノラマ画像表示装置１００の機能構成の内、主にＨＤＲ合成、トーンマッピング処理、コントロールポイント検出、パノラマ画像合成、画像符号化の処理に係る構成をサーバに実装し、主にパノラマ画像を復号して再生する処理に係る構成をクライアントに実装することで、パノラマ画像表示装置１００を、ネットワークを介したサーバ−クライアントシステムとして実現することもできる。サーバが、ＬＤＲ分割画像からＨＤＲ／ＬＤＲパノラマ画像を生成して符号化し、クライアントが、サーバからパノラマ画像の符号化ストリームを受信し、復号して表示してもよい。

１０ パノラマ画像取得部、 １２ 画像復号部、 １４ マッピング処理部、 １６ ３次元画像生成部、 １８ 表示制御部、 ２０ ＨＤＲ合成部、 ２１ トーンマッピング部、 ２２ コントロールポイント検出部、 ２３ パノラマ画像合成部、 ２４ パノラマ画像・付加データ記憶部、 ２５ 画像符号化部、 ２６ ＬＤＲ画像データ記憶部２６、 ３０ 視点位置設定部、 ３１ 画角設定部、 ３２ 視線方向設定部、 ３４ 高度設定部、 ３６ 日時設定部、 ４０ ユーザインタフェース部、 １００ パノラマ画像表示装置、 ２００ カメラ。

Claims (6)

1. パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶部と、
   露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するハイダイナミックレンジ合成部と、
   隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成するパノラマ画像合成部と、
   パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成するトーンマッピング部とを含み、
   低ダイナミックレンジのパノラマ画像を生成する場合は、前記パノラマ画像合成部は、前記トーンマッピング部により生成された、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像をつなぎ合わせて、低ダイナミックレンジのパノラマ画像を生成することを特徴とするパノラマ画像生成装置。
2. パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像の内、隣接する分割画像の間で特徴点を抽出することにより、隣接する高ダイナミックレンジの分割画像を対応付けるためのコントロールポイントを検出する検出部をさらに含み、
   前記パノラマ画像合成部は、前記コントロールポイントにもとづいて隣接する高ダイナミックレンジの分割画像のアライメントを調整して合成することにより、高ダイナミックレンジのパノラマ画像を生成することを特徴とする請求項１に記載のパノラマ画像生成装置。
3. 前記パノラマ画像がカメラを３６０度パンさせて撮影された動画像である場合、前記パノラマ画像合成部により生成されたパノラマ画像の左端には右端の領域の一部を付加し、右端には左端の領域の一部を付加した拡張パノラマ画像に対して、動き補償による画像圧縮符号化を行う画像符号化部をさらに含むことを特徴とする請求項１または２に記載のパノラマ画像生成装置。
4. パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスからプロセッサが複数の低ダイナミックレンジ画像集合を読み出すステップと、
   プロセッサが、露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成するステップと、
   プロセッサが、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成するステップと、
   プロセッサが、高ダイナミックレンジのパノラマ画像を生成する場合は、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成し、低ダイナミックレンジのパノラマ画像を生成する場合は、トーンマッピングにより生成された、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像をつなぎ合わせて、低ダイナミックレンジのパノラマ画像を生成するステップとを含むことを特徴とするパノラマ画像生成方法。
5. パン角またはチルト角の異なる複数の低ダイナミックレンジの分割画像を含む低ダイナミックレンジ画像集合を、露出を異ならせて複数用意して保持する記憶デバイスから複数の低ダイナミックレンジ画像集合を読み出す機能と、
   露出の異なる複数の低ダイナミックレンジの分割画像を合成することにより、パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像を含む高ダイナミックレンジ画像集合を生成する機能と、
   パン角またはチルト角の異なる複数の高ダイナミックレンジの分割画像のダイナミックレンジをトーンマッピングにより圧縮することにより、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像を生成する機能と、
   高ダイナミックレンジのパノラマ画像を生成する場合は、隣接する高ダイナミックレンジの分割画像をつなぎ合わせて、高ダイナミックレンジのパノラマ画像を生成し、低ダイナミックレンジのパノラマ画像を生成する場合は、トーンマッピングにより生成された、パン角またはチルト角の異なる複数のダイナミックレンジ圧縮された分割画像の内、隣接する分割画像をつなぎ合わせて、低ダイナミックレンジのパノラマ画像を生成する機能とをコンピュータに実現させることを特徴とするプログラム。
6. 請求項５のプログラムを格納したことを特徴とする記録媒体。