JP2005175620A - 画像処理方法及び装置 - Google Patents

Abstract

【課題】 複数の撮影画像を変換し繋ぎ合わせてパノラマ画像を合成する際に、パノラマ画像の継ぎ目部分に不要領域の影響が現れることを防止すること。
【解決手段】
繋ぎ合わされる画像の重複領域において実際に混合に使用する領域を設定可能とし、設定された領域のみを用いて画像の繋ぎ合わせを行う。これにより、不要領域が繋ぎ目に与える影響を低減もしくは防止することが可能となる。
【選択図】 図１１

Description

本発明は、複数の画像を合成してパノラマ画像を生成するための画像処理技術に関し、特に元画像の継ぎ目における色合い又は明るさの不連続性を軽減することの可能な画像処理技術に関する。

移動体に搭載された撮像装置によって現実空間を撮像し、撮像された実写画像データをもとに、撮像した現実空間を計算機を用いて仮想空間として表現する試みが提案されている（たとえば、非特許文献１又は非特許文献２等を参照）。

移動体に搭載された撮像装置によって撮像された実写画像データをもとに、撮像した現実空間を仮想空間として表現する手法としては、実写画像データをもとに現実空間の幾何形状モデルを再現し、従来のＣＧ技術で表現する手法が挙げられるが、モデルの正確性や精密度、写実性などの点で限界がある。一方、モデルを用いた再現を行わずに、実写画像を用いて仮想空間を表現するImage-Based Rendering（ＩＢＲ）技術が近年注目を集めている。ＩＢＲ技術は、複数の実写画像をもとに、任意の視点から見た画像を生成する技術である。ＩＢＲ技術は実写画像に基づいているために、写実的な仮想空間の表現が可能である。

このようなＩＢＲ技術を用いてウォークスルー可能な仮想空間を構築するためには、使用者（ウォークスルーを体験する者）の、仮想空間内の位置に応じた画像の生成・呈示を行う必要がある。そのため、この種のシステムにおいては、実写画像データの各フレームと仮想空間内の位置とを対応付けて保存しておき、使用者の仮想空間における位置と視線方向に基づいて対応するフレームを取得し、これを再生する。

現実空間内の位置データを得る手法としては、カー・ナビゲーション・システムなどにも用いられているＧＰＳ（Global Positioning System）に代表される人工衛星を用いた測位システムを利用するのが一般的である。ＧＰＳなどから得られる位置データと、実写画像データを対応付ける手法としては、例えば特許文献１に示されるように、タイムコードを用いて対応付ける手法が提案されている。この手法では、位置データに含まれる時刻データと、実写画像データの各フレームに付加したタイムコードとを対応付けることで、実写画像データの各フレームと位置データとの対応付けを行う。

このような仮想空間内のウォークスルーにおいては、使用者が各位置で所望の方向を見ることができるようにする。このようにするために、各位置の画像を、再生時の画角よりも広い範囲をカバーするパノラマ実写画像で保存しておき、使用者の仮想空間における位置と視線方向とに基づいてパノラマ実写画像から再生すべき部分画像を切り出し、これを表示することが考えられる。

従来パノラマ実写画像を得る場合、たとえば複数のカメラを用いていた。一般にはまず所望の視界（たとえば全周方向の視界等）を複数のカメラの視界で網羅できるように夫々のカメラを放射状に配置する。そして夫々のカメラで得られる画像を例えば光学又は磁気記憶媒体を用いる記憶装置に一時的に記憶しておく。

そして同一位置において夫々のカメラで撮像した画像を繋ぎ合わせることで、当該位置におけるパノラマ実写画像を得ることができる。その際、夫々のカメラで撮像した画像同士の繋ぎ目に発生する色合い又は明るさの不連続性を軽減させるために、隣接するカメラで撮影した画像の重なり部分を、画像の端からの距離に応じた重み付けで混合する処理が一般に行われていた。

ここで、パノラマ実写画像のデータ形式としては、単一視点からの同時刻における広視野（全周を含む）画像であることが望ましい。このような画像を撮像したい場合、多角錐ミラーの各面の反射像をそれぞれ１台のカメラで撮像する装置が用いられていた。このような装置の例を図１に示す。

図１に示すように、多角錐ミラー１２はカメラ部１１を構成する複数のカメラと同じ数の平面鏡から構成される。カメラ部１１を構成するそれぞれのカメラは、対応する平面鏡に反射した周囲の情景を撮像する。各平面鏡による各カメラのレンズ中心の虚像が一致するようにカメラを配置すれば、各カメラで撮像された画像は１つの視点からの同時刻の画像となる。従って、各カメラで撮像された画像を合成することにより、単一視点からの同時刻における全周パノラマ画像を生成できる。

特開平１１-１６８７５４号公報 遠藤、片山、田村、廣瀬、渡辺、谷川："移動車輌搭載カメラを用いた都市空間の電脳映像化について"（信学ソサイエティ、PA-3-4、pp.276-277、1997年） 廣瀬、渡辺、谷川、遠藤、片山、田村："移動車輌搭載カメラを用いた電脳映像都市空間の構築(2)−実写画像を用いた広域仮想空間の生成−"（日本バーチャルリアリティ学会第2回大会論文集、pp.67-70、1997年）

しかしながら、放射状に配置した複数のカメラで撮影された画像をコンピュータなどの記憶装置に一時的に記憶する際に、各カメラが撮影した画像の端に黒い帯状の領域が発生する場合がある。また、図１に示すような複数のカメラの視界を多角錐ミラーによって反射させて撮影する装置で撮影すると、対応する平面鏡に反射した情景とは異なる情景が画像の端に写り込む場合がある。このように、重なり部分に不要領域を含む画像について、単純に画像の端からの距離に応じた重み付けで混合する処理を行うと、得られたパノラマ画像の繋ぎ目部分に不要領域の影響が現れ、不連続性が十分に解消できない場合があるという問題があった。

本発明はこのような従来技術の課題に鑑みてなされたものであり、複数の撮影画像を変換し繋ぎ合わせてパノラマ画像を合成する際に、パノラマ画像の継ぎ目部分に不要領域の影響が現れることを防止することを主な目的とする。

上述の目的は、互いに重複を有する複数の画像を取得する画像取得ステップと、複数の画像の重複する領域のうち、複数の画像の繋ぎ合わせに使用しない領域を除いた領域を混合して複数の画像を繋ぎ合わせる画像繋ぎ合わせステップとを有することを特徴とする画像処理方法によって達成される。

さらに、上述の目的は、互いに重複を有する複数の画像を取得する画像取得手段と、複数の画像の重複する領域のうち、複数の画像の繋ぎ合わせに使用しない領域を除いた領域を混合して複数の画像を繋ぎ合わせる画像繋ぎ合わせ手段とを有することを特徴とする画像処理装置によっても達成される。

また、上述の目的は、コンピュータに本発明の画像処理方法を実行させるプログラム及び、当該プログラムを格納するコンピュータ読み取り可能な記録媒体によっても達成される。

以上説明したように、本発明によれば、複数の撮影画像を変換し繋ぎ合わせてパノラマ画像を合成する際に、パノラマ画像の継ぎ目部分に不要領域の影響が現れることを防止できる。

以下、添付図面に従って、本発明をその好適な実施形態に基づいて詳細に説明する。
［第１の実施形態］
本実施形態では、複数の撮影画像を繋ぎ合わせてパノラマ画像を合成する際に、画像同士の重複部分のうちの混合に使用する割合を指定することによって、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止する画像処理方法を示す。

まず、画像処理装置の実施形態としてのパノラマ画像生成システムについて説明する。図２は本実施形態によるパノラマ画像生成システムの機能構成を説明するブロック図である。本システムは、画像収集システム９０と画像処理装置１とを含んで構成される。画像処理装置１は、撮影画像保存部１０、画像繋ぎ合わせ部２０、操作部３０、表示部４０、パラメータ保存部５０、パノラマ画像生成部６０、パノラマ画像保存部７０を有する。

撮影画像保存部１０は、後で説明する画像収集システム９０によって得られた実写画像を格納する。
画像繋ぎ合わせ部２０は、パノラマ画像を生成するための各種パラメータを設定する。つまり、撮影画像保存部１０に保存されている、同一時刻において複数の撮影装置から得られた画像を変換して繋ぎ合わせるためのパラメータなどを設定する。処理の詳細は後で説明する。

操作部３０は、マウス、キーボード等、通常指示入力装置として用いられる装置を備える。画像繋ぎ合わせ部２０では、操作部３０からの操作入力に従って、表示部４０の表示を見ながら、撮影画像保存部１０に保存された画像を変換して繋ぎ合わせるためのパラメータなどを設定する。

パラメータ保存部５０は、画像繋ぎ合わせ部２０で設定した各種パラメータを格納する。
パノラマ画像生成部６０は、パラメータ保存部５０に格納された各種パラメータを用いて、連続する複数のフレームにおけるパノラマ画像の生成処理を行う。処理の詳細は後で説明する。
パノラマ画像保存部７０は、パノラマ画像生成部６０で生成したパノラマ画像を格納する。

図３は、撮影画像保存部１０に保存される画像を収集するための画像収集システム９０の構成例を示す図である。図３に示されるように、この画像収集システム９０は、撮影部９１、記録部９２、キャプチャ部９３の３つの部分に分けられる。以下、各部について、図４〜図７を参照して詳細に説明する。

図４は、撮影部９１の構成例を示すブロック図である。撮影部９１は周囲の情景を移動しながら撮影するのに用いられる。撮影部９１は、ｎ台（ｎ≧２）のカメラ（９１−１〜９１−ｎ）と同期信号発生部９４を有する。カメラ９１−１〜９１−ｎにはそれぞれ同期信号発生部９４からの外部同期信号を入力することが可能であり、本実施形態では、同期信号発生部９４より出力される外部同期信号を用いて、カメラ９１−１〜９１−ｎのｎ台のシャッタータイミングを同期させている。カメラ９１−１〜９１−ｎはたとえば放射状に配置することができる。または、図１に示すように、カメラ９１−１〜９１−ｎの視界を多角錐ミラーで反射させることによって、夫々の視点を一致させてもよい。

図５は、記録部９２の構成例を示すブロック図である。記録部９２はタイムコード発生部９５と、カメラ９１−１〜９１−ｎに対応する録画部（本例ではビデオカセットレコーダＶＣＲ）９２−１〜９２−ｎとを備える。撮影部９１のｎ台のカメラ９１−１〜９１−ｎからの画像出力は、それぞれ録画部９２−１〜９２−ｎの入力となる。また、タイムコード発生部９５は、撮影時刻を表すタイムコードを各ＶＣＲ９２−１〜９２−ｎに供給する。ＶＣＲ９２−１〜９２−ｎは、対応するカメラからの画像入力とタイムコード発生部９５からのタイムコードを取り込み、タイムコード付きの画像として記録する。

ここで、各ＶＣＲ９２−１〜９２−ｎにタイムコードを入力することが不可能な場合には、図６に示すように、各ＶＣＲ９２−１〜９２−ｎは、各ＶＣＲ内に組み込まれているタイムコード発生部９５−１〜９５−ｎからのタイムコードを画像と対応付けて記録する。

以上のようにしてＶＣＲ９２−１〜９２−ｎのそれぞれに収集された画像は、キャプチャ部９３によってディジタル化や圧縮符号化など、所定の処理が施された後、画像処理装置１の撮影画像保存部１０に保存される。図７は、キャプチャ部９３の構成例を示すブロック図である。キャプチャ部９３は、パーソナルコンピュータ（以下ＰＣ）９６と、ＶＣＲ９２−１〜９２−ｎの各々に対応するビデオ・キャプチャ・ボード（以下、キャプチャ・ボード）９３−１〜９３−ｎを有する。キャプチャ・ボードは必ずしもカメラの台数と等しい数必要という訳ではなく、ＰＣに搭載できる数のキャプチャ・ボードをｎ台のＶＣＲで共有してもよい。キャプチャ部９３は、各ＶＣＲから供給される画像をたとえばＡＶＩフォーマットのデータに変換し、ＰＣ９６にアクセス可能に接続された、ハードディスク等を含んで構成される撮影画像保存部１０またはその他の記憶媒体に保存する。

なお、画像がキャプチャ・ボード９３−１〜９３−ｎを通じてＰＣ９６内に取り込まれる際には、画像とともに記録されているタイムコードを用いてキャプチャ開始部分、終了部分を決定し、ｎ台のＶＣＲ９２−１〜９２−ｎおよびキャプチャ・ボード９３−１〜９３−ｎを介して取得される画像の開始時刻及び終了時刻が全て同一である、同じ長さの画像データがキャプチャされるようにする。

次に、画像処理装置１について説明する。図８は、本実施形態による画像処理装置１のハードウェア構成例を示すブロック図である。図８からわかるように、画像処理装置１は通常のパーソナルコンピュータと同等の構成を有する。図８において、ディスク１０５はハードディスクを代表とする大容量記憶装置であり、撮影画像保存部１０を構成する。すなわち、ディスク１０５には、図３〜図７に関連して説明した画像収集システム９０によって得られた画像が記憶されている。なお、ディスク１０５は撮影画像保存部１０のみならず、図２に示したパラメータ保存部５０やパノラマ画像保存部７０をも構成する。

ＣＰＵ１０１は、ディスク１０５またはＲＯＭ１０６、または外部記憶装置（不図示）に保存されているプログラムを実行することにより、同一時刻の画像を繋ぎ合わせて各視点位置のパノラマ画像を生成する画像繋ぎ合わせ部２０として機能する。

ＣＰＵ１０１が表示コントローラ（ＣＲＴＣ）１０２に対して各種の表示指示を行うことにより、表示コントローラ１０２およびフレームバッファ１０３によって表示器１０４に所望の表示がなされる。なお、図では表示コントローラ１０２としてＣＲＴＣ、表示器１０４としてＣＲＴを示したが、表示器としては陰極線管に限らず、ＬＣＤ等を用いてもよいことはもちろんである。なお、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲＴ１０４は、図２における表示部４０を構成する。マウス１０８およびキーボード１０９は、当該画像処理装置１へのユーザの操作入力を行うためのものであり、図２の操作部３０を構成する。

次に、画像繋ぎ合わせ部２０における基本的な処理の詳細を、図９に示す同処理のフローチャートを用いて説明する。
まずステップＳ１０１において処理するフレーム番号を設定する。次にステップＳ１０２において、カメラ９１−１〜９１−ｎによって得られた画像を、撮影画像保存部１０より取得する。ここで、撮影部９１が、カメラ９１−１〜９１−ｎを光軸回りに略９０度回転させて縦長の映像を撮影する構成である場合には、取得した画像を９０度回転させることによってロールの角度を調整しておく。また、撮影部９１が、カメラ９１−１〜９１−ｎの視界を多角錐ミラーで反射させる図１に示したような構成である場合には、取得した画像（鏡像）を反転させて向きを直しておく。

次にステップＳ１０３で、各種パラメータの設定用ＧＵＩ(Graphical User Interface)を表示部４０に提示する。ここで設定可能なパラメータとしては、たとえば縦横比の補正係数、樽型歪曲の補正係数、各画像面の回転角（ロール角、ピッチ角、ヨー角）、各レンズの画角、各画像の上下左右シフト量、パノラマ画像上下の不要領域の切り取り幅などがある。さらに本実施形態では、画像同士の重なり部分のうちの混合に使用する割合も設定可能とする。ユーザは、操作部３０を操作しながら各種パラメータを設定することができる。

パラメータ設定用ＧＵＩの例を図２１に示す。ユーザは操作部３０に含まれるキーボードやマウスを用い、パラメータの値を対応する入力領域に直接数値で入力することによって指定可能である。ＧＵＩの上部には繋ぎ合わされる２つの実際の画像（もしくはその縮小画像）を表示し、パラメータ設定値の変化をその表示にフィードバックさせるようにしてより対話的に設定が行えるようにしてもよい。また、画像上に設定用の補助画像（例えば２つの画像の重畳領域及び混合に使用する領域として設定された部分が画像とどのように対応するかを表す図中の点線など）を表示させ、その画像をマウスでドラッグして移動することによって設定値を決定するなど、画像表示領域での操作を設定値に反映させることも可能である。

例えば、図２１の例において混合領域の割合（％）を設定する際には、対応する入力領域へ重複領域の幅全体に占める混合に使用する領域の幅の割合を示す数値を直接キーボードから入力した場合、その数値に対応して画像に重畳表示された混合に使用する領域の両端を示す点線の表示位置が変化する。また、逆にこの点線の一方をマウスでドラッグして移動すると、対応するもう一方の点線も同様に移動し、かつ入力領域中の数値も変化する。他のパラメータの設定についても混合領域の割合と同様の方法で設定が可能なように構成すればよい。

上述したように、元画像の端部に不要領域（換言すれば、パノラマ画像の生成に使用すべきでない領域）が含まれる場合、不要領域を含めて単純に変換画像の端からの距離に応じた重み付けで混合する処理を行うと、図１０に示すように、得られたパノラマ画像の繋ぎ目部分に不要領域の影響が現れ、継ぎ目部分が目立ってしまう。そこで本実施形態では、変換画像同士の重複部分のうち混合に使用する領域を、重複領域の全体幅に対する割合として設定可能とするとともに、混合に使用するとされた領域のみを混合して２つの画像を繋ぎ合わせる。

本実施形態においては、重複領域の幅全体に占める、混合に使用する領域の幅の割合を指定することで、混合に使用する領域を指定する。そして、混合に使用する領域の両端は、重複領域の両端から均等の距離を保つものとする。具体的には、図１１に示すように、たとえば重複領域のうちの両端１５パーセントが不要領域である場合には、混合に使用する割合が７０パーセント以下の場合、不要領域は完全に混合に使用されなくなる。

ステップＳ１０４〜Ｓ１０８では、ステップＳ１０３で設定された各種パラメータに従って画像を順次変換して変換画像を生成し、それらを繋ぎ合わせた結果を表示部４０に表示する。ステップＳ１０４では画像の縦横比の補正を行い、ステップＳ１０５では樽型歪曲の補正を行い、ステップＳ１０６では画像面の回転を行う。そしてステップＳ１０７では、ステップＳ１０３で設定された画角に応じて画像を平面から円筒面に投影し、変換画像を生成する。さらにステップＳ１０８では、ステップＳ１０３で設定された上下左右シフト量を用いて、複数の変換画像を繋ぎ合わせる。繋ぎ合わせは、たとえば、隣接する変換画像の重複領域で、夫々の画像の画素値を、画像の端からの距離に応じた重み付けで混合することによって行う。

ステップＳ１０９では、繋ぎ合わされたパノラマ画像を表示部４０で確認し、パラメータを設定し直す場合にはステップＳ１０１へ戻る。
最後にステップＳ１１０で、設定した各種パラメータを、パラメータ保存部５０に保存する。
以上の処理により、繋ぎ合わせの際に使用する各種パラメータが設定される。

次に、パノラマ画像生成部６０における基本的な処理の詳細を、図１２に示す同処理のフローチャートを用いて説明する。パノラマ画像生成部６０では、連続する複数のフレームに対して以下の処理を順次行うことにより、パノラマ画像シーケンスを生成する。

まずステップＳ２０１において、パラメータ保存部５０から各種パラメータを読み込み、ステップＳ２０２において、カメラの番号を指すｉを初期値「１」に設定する。

次にステップＳ２０３において、カメラ９１−ｉによって得られた画像を撮影画像保存部２０より取得する。ここで、撮影部９１が、カメラ９１−１〜９１−ｎを光軸回りに略９０度回転させて縦長の映像を撮影する構成である場合には、取得した画像を９０度回転させることによってロールの角度を調整しておく。また、撮影部９１が、カメラ９１−１〜９１−ｎの視界を多角錐ミラーで反射させる構成である場合には、取得した画像を反転させておく。

そしてステップＳ２０４では読み込んだ画像の縦横比を補正し、ステップＳ２０５ではレンズの歪曲を補正する。本実施形態では樽型歪曲を修正する。さらにステップＳ２０６で画像面の回転を行い、ステップＳ２０７では、画像繋ぎ合わせ部２０で設定した画角に応じて、画像を平面から円筒面に投影し、変換画像を生成する。

ステップＳ２０８では、カメラの番号を指すｉに「１」を足し、ステップＳ２０９で、全てのカメラの画像に対して処理を行ったかをチェックする。処理を終えていない場合にはステップＳ２０３へ戻る。

最後にステップＳ２１０において、画像繋ぎ合わせ部２０で設定された上下左右シフト量と混合割合を用いて、ｎ枚（カメラの台数分）の変換画像を繋ぎ合わせる。そしてステップＳ２１１で、生成されたパノラマ画像を、パノラマ画像保存部７０に保存する。
以上の処理により、各種パラメータに基づいて、パノラマ画像を生成することができる。

なお、図１２に示すような方法で、元画像に対して変換を複数回にわたって繰り返すと、生成される変換画像の画質が劣化する。そこで、元画像そのものを順次変換していくのではなく、変換画像の各画素を元画像のどの画素を参照して生成すればよいかを追跡する方法を採ってもよい。その方法によれば、変換を繰り返すことによる画質の劣化を防止することができる。

そのような方法を採る場合の、パノラマ画像生成部６０における基本的な処理の詳細を、図１３に示す同処理のフローチャートを用いて説明する。パノラマ画像生成部６０では、連続する複数のフレームに対して以下の処理を順次行うことにより、パノラマ画像シーケンスを生成する。

まずステップＳ３０１において、パラメータ保存部５０から各種パラメータを読み込み、ステップＳ３０２において、カメラの番号を指すｉを初期値「１」に設定する。
次にステップＳ３０３において、カメラ９１−ｉによって得られた画像を撮影画像保存部２０より取得する。ここで、撮影部９１が、カメラ９１−１〜９１−ｎを光軸回りに略９０度回転させて縦長の映像を撮影する構成である場合には、取得した画像を９０度回転させることによってロールの角度を調整しておく。また、撮影部９１が、カメラ９１−１〜９１−ｎの視界を多角錐ミラーで反射させる構成である場合には、取得した画像を反転して向きを直しておく。

ステップＳ３０４では変換画像のｙ座標を「１」に設定し、ステップＳ３０５では変換画像のｘ座標を「１」に設定する。
ステップＳ３０６〜Ｓ３０９では、変換画像の座標（ｘ、ｙ）の画素が元画像のどの座標（ｘ’、ｙ’）の画素に相当するかを計算する。ステップＳ３０６では、画像繋ぎ合わせ部２０で設定した画角に応じて、変換画像の座標（ｘ、ｙ）を円筒面から平面に投影する。ステップＳ３０７では、画像面を、ステップＳ２０６の場合とは逆向きに回転させる。ステップＳ３０８では、ステップＳ２０５におけるレンズ歪曲補正とは逆の変換を施す。そしてステップＳ３０９では、ステップＳ２０４における縦横比補正とは逆の変換を施す。

以上の計算で求められた（ｘ’、ｙ’）は一般に整数とはならないため、ステップＳ３１０では、（ｘ’、ｙ’）周辺の複数の画素値を基に、たとえばキュービック補間法などを用いて（ｘ、ｙ）の画素値を計算する。
ステップＳ３１１では、ｘに「１」を足し、ステップＳ３１２で、全てのｘ座標に対して処理を行ったかをチェックする。処理を終えていない場合にはステップＳ３０６へ戻る。

ステップＳ３１３では、ｙに「１」を足し、ステップＳ３１４で、全てのｙ座標に対して処理を行ったかをチェックする。処理を終えていない場合にはステップＳ３０５へ戻る。
ステップＳ３１５では、カメラの番号を指すｉに「１」を足し、ステップＳ３１６で、全てのカメラの映像に対して処理を行ったかをチェックする。処理を終えていない場合にはステップＳ３０３へ戻る。

最後にステップＳ３１７において、画像繋ぎ合わせ部２０で設定された上下左右シフト量と混合割合に従って、ｎ枚（カメラの台数分）の変換画像を繋ぎ合わせる。そしてステップＳ３１８で、生成されたパノラマ画像をパノラマ画像保存部７０に保存する。
以上の処理により、各種パラメータに基づいて、画質をほとんど劣化させることなく、パノラマ画像を生成することができる。

［第１の実施形態の変形例］
なお、第１の実施形態において、変換画像同士の重なり部分のうちの混合に使用する割合を設定する際に、左右で不要領域の幅が異なる場合には混合に使用する領域の中心を左右にずらしてもよい。図１４に示すように、たとえば重複領域のうちの左端から１０パーセント、右端から２０パーセントまでが不要領域である場合には、混合に使用する割合を７０パーセント以下とし、その領域の中心を重複領域の中心から左に５パーセントだけずらせば、不要領域が混合に使用されることを防止できる。この様な設定は、例えば図２１の設定画面において、混合領域の端部を左右独立して設定可能とすることによって実現できる。具体的には、画像に重複表示される混合領域両端の点線を左右独立して移動可能としたり、中心位置のずれ量を指定する入力領域を設けるなど、様々な方法を用いることができる。
また、不要領域または混合に使用する領域を、図１１や図１４のような長方形ではなく、他の形状、例えば台形や平行四辺形を用いて設定してもよい。

以上のように、第１の実施形態によれば、変換画像同士の重複部分のうち混合に使用する領域を、重複領域の全体幅に対する割合として設定可能とするとともに、混合に使用するとされた領域のみを混合して２つの画像を繋ぎ合わせることで、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止できる。

［第２の実施形態］
第１の実施形態では、変換画像同士の重複部分のうち混合に使用する領域を、重複領域の全体幅に対する割合として設定可能とした。本実施形態は、変換画像同士の重複部分のうち混合に使用する領域を、不要領域を表すマスク画像を指定することにより設定可能としたものである。なお、本実施形態に係るパノラマ画像生成システムの機能構成及びハードウェア構成は第１の実施形態と共通でよいため説明を省略する。

マスク画像を用いた繋ぎ合わせの例を図１５に示す。マスク画像は元画像と同じ縦横サイズとし、混合に使用しない領域に対応する画素値をたとえば「０」（図中黒い領域）、使用する領域の画素値をたとえば「１」（図中白い領域）とした画像である。そして、パノラマ画像の合成時に、元画像のうち、指定されたマスク画像の画素値が「０」の領域に対応する領域は混合に使用しないようにする。

なお、マスク画像を使用せずに、単純に画像の端からの距離に応じた重み付けで混合する処理を行うと、図１６に示すように、得られたパノラマ画像の繋ぎ目部分に不要領域の影響が現れてしまう。

本実施形態における、画像繋ぎ合わせ部２０における基本的な処理の流れは、図９に示す、第１の実施形態におけるフローチャートと同一である。ただし、ステップＳ１０３におけるパラメータの設定にはマスク画像の指定処理が追加される。具体的には、混合に使用しない領域を折れ線などで近似して指定する。またステップＳ１０３〜Ｓ１０７では、元画像と同一の変換をマスク画像に対しても施すことにより、変換画像のうちの混合に使用しない領域が、変換したマスク画像によって正しく指定できるようにする。そしてステップＳ１０８では、変換画像のうち、変換したマスク画像の画素値が「０」である座標の画素を混合に使用しないという条件の下で、複数の変換画像を繋ぎ合わせる。

ここで、ステップＳ１０３におけるマスク画像の指定画面として提示するＧＵＩの例を図１７に示す。図１７に示すように、画面内には元画像表示部１７０１が表示される。元画像表示部１７０１には、カメラ番号選択リストボックス１７０２で指定した番号のカメラで撮影した映像の、フレーム番号入力ボックス１７０３で入力したフレーム番号の画像が表示される。そして、元画像表示部１７０１の上下左右に設けられているスクロールバー１７０４、１７０５、１７０６、１７０７、１７１５、１７１６を操作部３０が備える不図示のマウスによって操作することによって、混合に使用しない領域を指定することができる。

たとえば、スクロールバー１７０５と１７０６によって線分１７０８を指定して、削除ボタン１７０９を押すことにより、領域１７１０に対応するマスク画像の画素値を「０」に設定する。その際、元画像表示部１７０１では、領域１７１０をたとえば斜線や網かけで表示して、削除された部分が判別できるようにする。同様に、スクロールバー１７０４と１７０７によって線分１７１１を指定して、削除ボタン１７０９を押せば、領域１７１２に対応するマスク画像の画素値が「０」に設定される。

スクロールバーこのような処理を繰り返すことにより、混合に使用しない領域の境界を折れ線で近似したマスク画像を指定することができる。なお、スクロールバーは水平位置指定用及び垂直位置指定用のいずれも追加することが可能であり、ユーザは必要な数の対のスクロールバーによって混合に使用しない領域を指定することが可能である。

なお、マスク画像の指定方法は、上述のようなスクロールバーを使用した方法に限定されるものではない。たとえば画面内の２点をマウスクリックして線分を指定する作業を繰り返すことによって、混合に使用しない領域の境界を折れ線で近似したマスク画像を指定する方法などを用いてもよい。

ここで、マスク画像の指定は厳密に正確である必要はなく、大まかでよい。つまり、不要部分が確実に画素値「０」に設定され、かつ混合に使用する領域が重複していさえすればよい。

例えば図１７のＧＵＩにおいて「設定終了」が指示されると、混合に使用しない領域として指定された領域の画素値が「０」、その他の領域の画素値が「１」のマスク画像が生成され、元画像に対応付けされて例えばパラメータ保存部５０に保存される。なお、共通のマスク画像を全ての元画像に適用する場合には、個々の画像に対応付けする必要はなく、共通に利用するマスク画像として保存すればよい。

本実施形態における、パノラマ画像生成部６０における基本的な処理の流れは、図１２に示す、第１の実施形態におけるフローチャートと同一である。ただし、ステップＳ２０３での処理に、マスク画像に対する処理が追加される。具体的には、読み込んだ元画像に対応付けされたマスク画像をメモリ上に用意する。またステップＳ２０３〜Ｓ２０７では、元画像に対して行われるものと同一の変換をマスク画像に対しても施すことにより、変換画像のうちの混合に使用しない領域が、変換したマスク画像によって正しく指定できるようにする。そしてステップＳ２１０では、変換画像のうち、変換したマスク画像の画素値が「０」である座標の画素を混合に使用しないという条件の下で、複数の変換画像を繋ぎ合わせる。

本実施形態においても、第１の実施形態において図１３に示すフローチャートを用いて説明したように、元画像そのものを順次変換していくのではなく、変換画像の各画素を元画像のどの画素を参照して生成すればよいかを追跡する方法を採ってもよい。その場合、本実施形態では、ステップＳ３０３にマスク画像の処理を追加する。具体的には、読み込んだ元画像に対応づけされたマスク画像をメモリ上に用意する。またステップＳ３０６〜Ｓ３０９では、元画像と同一の変換をマスク画像に対しても施すことにより、変換画像のうちの混合に使用しない領域が、変換したマスク画像によって正しく指定できるようにする。そしてステップＳ３１７では、変換画像のうち、変換したマスク画像の画素値が「０」である座標の画素を混合に使用しないという条件の下で、複数の変換画像を繋ぎ合わせる。

なお、本実施形態において、マスク画像の混合に使用する領域の画素値を全て「１」にするのではなく、混合に使用する割合に応じた値としてもよい。たとえば画素値が「0.3」の場合には、対応する画像の画素値を「0.3」の割合で混合に使用することもできる。この場合、ステップＳ１０８およびＳ２１０およびＳ３１７においては、隣接する変換画像の重複領域で、夫々の画像の画素値を、変換したマスク画像の画素値の割合で混合することによって繋ぎ合わせる。この場合には、変換したマスク画像に対して、混合に使用する割合を設定した後、基のマスク画像に逆変換することによって、基のマスク画像の画素値を設定する。

変換マスク画像の画素値の設定方法の例を図１８に示す。図１８（ａ）に示すような、隣接する変換画像ｍと変換画像ｍ＋１が、ステップＳ１０３で設定した上下左右シフト量を用いて、図１８（ｂ）に示すように重ね合わされているとする。図１８（ｃ）に示すように、この重複領域１８０１の上下左右にスクロールバー１８０２、１８０３、１８０４、１８０５を設けて、不図示のマウスによって操作すれば、図１７の場合と同様に、混合に使用しない領域を指定することができる。

なお、図１８（ｃ）では、変換画像ｍに対応するマスク画像ｍの画素値の設定の方法について説明するが、変換マスク画像ｍ＋１の画素値についても同様の方法で設定することができる。変換マスク画像ｍとｍ＋１のどちらの画素値を設定するかについては、たとえば不図示の選択ボタンによって選択することができる。

まず、スクロールバー１８０２と１８０４によって線分１８０６を指定する。そして、不図示の削除ボタンを押すことにより、領域１８０７が混合に使用しない領域に設定され、対応する変換マスク画像ｍの画素値が「０」に設定される。その際、画面上では領域１８０７をたとえば斜線や網かけで表示して、削除された部分が判別できるようにする。同様に、領域１８０８は変換画像ｍ＋１の不要領域となっている。このような領域についてもスクロールバー１８０５、１８０９によって指定し、変換マスク画像ｍの画素値が「０」に設定される。

最後まで値が設定されずに残った領域、すなわち混合に使用する領域に対応するマスク画像ｍの画素値は、たとえば「０」から「１」まで連続的に変化させた画素値を設定する。その際、矢印などの図形１８０９をマウスなどで操作して方向を変えることにより、画素値を変化させる方向を変化させてもよい。この際、矢印の向きに応じて表示のグラデーションを変化させることが好ましい。

なお、同じ座標における、変換マスク画像ｍと変換マスク画像ｍ＋１の画素値の和は、通常は「１」とすることが望ましいが、「１」とは異なる値になるように設定してもよい。たとえば「１」より大きい値に設定すれば、重複領域の輝度を上げることができるため、元画像の周辺減光の影響を補正する目的に用いることもできる。

以上のように、第２の実施形態によれば、元画像の不要領域をマスク画像で指定して、その領域を混合に使用しないので、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止できる。

変換画像同士の重複部分のうち混合に使用する領域を、マスク画像を用いて設定可能とするとともに、混合に使用するとされた領域のみを混合して２つの画像を繋ぎ合わせることで、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止できる。また、マスク画像の画素によって混合時に画素値に与える重み付けを指定することが可能になる。

［第３の実施形態］
第１の実施形態では、重複領域のうち、混合に使用する割合を指定することによって、そして第２の実施形態では、不要領域を表すマスク画像を指定することによって、それぞれ重複領域のうち混合に使用する領域（又は使用しない領域）を設定可能とし、使用する領域のみを用いて画像を繋ぎ合わせることにより、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止した。本実施形態では、第１の実施形態と第２の実施形態を組み合わせ、混合割合の指定とマスク画像の指定を併用することによって、マスクの指定作業をより簡便にしつつ、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止する。

ここで、混合割合の指定とマスク画像の指定を併用した繋ぎ合わせの例を図１９に示す。マスク画像は元画像と同じ縦横サイズとし、混合に使用しない領域の画素値をたとえば「０」、使用する領域の画素値をたとえば「１」に指定する。そして、パノラマ画像の合成時に、混合割合の指定外の領域およびマスク画像の画素値が「０」の領域を混合に使用しないようにする。

第２の実施形態では、図１５に示すように、マスク画像の指定に折れ線などが必要であった。これに対し、第３の実施形態では、図１９に示すように、マスク画像の指定を折れ線よりも単純な直線などで行うことができる。つまり、マスク画像の指定作業がより簡便となっている。

本実施形態における、画像繋ぎ合わせ部２０における基本的な処理の流れは、第２の実施形態で説明した処理の流れと同一である。ただし、本実施形態では、ステップＳ１０３において、変換画像同士の重なり部分のうちの混合に使用する割合も指定する。また、ステップＳ１０８において複数の変換画像を繋ぎ合わせる際に、混合割合のパラメータも使用する。

また、本実施形態における、パノラマ画像生成部６０における基本的な処理の流れは、第２の実施形態で説明した処理の流れと同一である。ただし、本実施形態では、ステップＳ２０８またはＳ３１７において複数の変換画像を繋ぎ合わせる際に、混合割合のパラメータも使用する。
このように、第１の実施形態と第２の実施形態とを組み合わせると、図１９に示すようにマスク画像が単純化される。従って、マスク画像の指定が容易になる。

以上のように、第３の実施形態によれば、混合割合の指定とマスク画像の指定を併用することによって、マスクの指定作業をより簡便にしつつ、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止できる。

［第４の実施形態］
本実施形態は、第３の実施形態における混合割合の指定処理の代わりに、予め元画像から矩形領域を切り出す処理を行うことによって、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止する。

矩形切り出しとマスク画像の指定を併用した繋ぎ合わせの例を図２０に示す。マスク画像は矩形切り出し後の元画像と同じ縦横サイズとし、混合に使用しない領域の画素値をたとえば「０」、使用する領域の画素値をたとえば「１」に指定する。そして、パノラマ画像の合成時に、マスク画像の画素値が「０」の領域を混合に使用しないようにする。

矩形切り出し処理は、ＧＵＩを利用したユーザによる指定に基づいてもよいし、端部に現れる不要領域が例えば黒い帯のような領域であれば、端部からの距離に上限を設け、端部から連続する黒の領域を不要領域として自動的に認識し、残りの領域を自動的に切り出すようにしてもよい。或いは、自動的に切り出すべき矩形を認識し、その結果をユーザに提示し、必要に応じて修正可能なようにして最終的な切り出し領域を決定するようにしてもよい。

本実施形態においても、第３の実施形態で説明したように、マスク画像において指定すべき領域の形状が単純化され、マスク画像の指定作業がより簡単に行える。
本実施形態における、画像繋ぎ合わせ部２０における基本的な処理の流れは、第２の実施形態で説明した処理の流れと同一である。ただし、本実施形態では、ステップＳ１０２において、元画像を読み込んだ後、矩形領域を切り出す処理が追加される。そして、ステップＳ１０３において用意するマスク画像は、矩形切り出し後の元画像と同じ縦横サイズとなる。

また、本実施形態における、パノラマ画像生成部６０における基本的な処理の流れは、第２の実施形態で説明した処理の流れと同一である。ただし、本実施形態では、ステップＳ２０３またはＳ３０３において、元画像を読み込んだ後、矩形領域を切り出す処理が追加される。そして、ステップＳ２０３またはＳ３０３において用意するマスク画像は、矩形切り出し後の元画像と同じ縦横サイズとなる。

以上のように、第４の実施形態によれば、元画像からの矩形領域の切り出しとマスク画像の指定を併用することによって、マスクの指定作業をより簡便にしつつ、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止できる。

なお、本実施例では、矩形切り出しとマスク画像の指定を併用した場合について説明したが、矩形切り出しのみで不要領域を全て削除できる場合には、マスク画像の指定を併用しないことも可能である。マスク画像を用いない実施形態は、第１の実施形態における混合に使用する領域の割合指定を矩形切り出し処理によって行う実施形態に相当する。

［第５の実施形態］
第２〜第４の実施形態では、マスク画像を元画像とは別に用意していた。しかしながら、マスク情報の持ち方は、このような手法に限られるものではない。マスクの情報を画像として元画像とは別に用意するのではなく、元画像のアルファプレーンとして持つ方法も考えられる。この場合には、第２〜第４の実施形態のように元画像とマスク画像の両方に同じ変換を施すのではなく、アルファプレーンを付加した元画像のみを変形すればよい。

以上のように、第５の実施形態によれば、マスクの情報を元画像のアルファプレーンに埋め込むことによって、画像変換の処理をより簡便にしつつ、パノラマ画像の継ぎ目部分に画像端の不要領域の影響が現れることを防止できる。

［第６の実施形態］
上記第１〜第５の実施形態では、複数の画像が実質的に一つの視点位置から撮影される場合を想定していた。しかしながら、複数の画像を撮影する際の視点位置は、必ずしも実質的に一つである必要はない。対象物が平面状である場合などには、撮影する際の視点位置が実質的に一つでなかったとしても、互いに重複を有していれば、パノラマ画像を合成することが可能である。

［他の実施形態］
上述の実施形態における、パノラマ画像生成システムは、画像収集システムを有していたが、画像収集システムが撮影画像保存部１０に保存するのと同等の画像が得られさえすれば、画像収集システムを有していなくてもよい。例えば、事前に撮影された画像が保存された外部の記憶装置から元画像を取得するような構成であってもよい。

上述の実施形態においては、画像処理装置１が１つの機器から構成される場合のみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現してもよい。

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。

有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

複数のカメラの視界を多角錐ミラーによって反射させて広視野を撮像する従来の構成例を示す図である。 本発明の実施形態に係る画像処理装置としてのパノラマ画像生成システムの機能構成例を説明するブロック図である。 画像収集システム９０の構成例を示す図である。 撮影部９１の構成例を示すブロック図である。 記録部９２の構成例を示すブロック図である。 記録部９２の別の構成例を示すブロック図である。 キャプチャ部９３の構成例を示すブロック図である。 画像処理装置１のハードウェア構成例を示すブロック図である。 画像繋ぎ合わせ部２０における処理を説明するフローチャートである。 従来の、単純に画像の端からの距離に応じた重み付けで混合する処理を行った場合の結果を説明する図である。 第１の実施形態における繋ぎ合わせ処理を説明する図である。 第１の実施形態におけるパノラマ画像生成部６０の処理例を説明するフローチャートである。 第１の実施形態におけるパノラマ画像生成部６０の別の処理例を説明するフローチャートである。 第１の実施形態の変形例における繋ぎ合わせ処理処理を説明する図である。 第２の実施形態における、マスク画像を用いた繋ぎ合わせの例を示す図である。 従来の、単純に画像の端からの距離に応じた重み付けで混合する処理を行った場合の結果を説明する図である。 第２の実施形態におけるマスク画像の指定方法の例を説明する図である。 変換マスク画像の画素値の設定方法の例を説明する図である。 第３の実施形態における混合割合の指定とマスク画像の指定を併用した繋ぎ合わせの例を示す図である。 第４の実施形態における、矩形切り出しとマスク画像の指定を併用した繋ぎ合わせの例を示す図である。 第１の実施形態において提示される各種パラメータの設定画面例を示す図である。

Claims (10)

1. 互いに重複を有する複数の画像を取得する画像取得ステップと、
   前記複数の画像の重複する領域のうち、前記複数の画像の繋ぎ合わせに使用しない領域を除いた領域を混合して前記複数の画像を繋ぎ合わせる画像繋ぎ合わせステップとを有することを特徴とする画像処理方法。
2. 前記複数の画像の繋ぎ合わせに使用しない領域を指定するためのユーザインタフェースを提示するユーザインタフェース提示ステップと、
   前記ユーザインタフェースを介して指定された、前記複数の画像の繋ぎ合わせに使用しない領域を表すパラメータを保存するパラメータ保存ステップとをさらに有し、
   前記画像繋ぎ合わせステップが、前記パラメータに基づいて前記複数の画像を繋ぎ合わせることを特徴とする請求項１記載の画像処理方法。
3. 前記パラメータが、矩形状の前記重複する領域の幅に占める、前記複数の画像の繋ぎ合わせに使用する領域の幅の割合を表す値であることを特徴とする請求項２記載の画像処理方法。
4. 前記パラメータが、前記複数の画像の、前記重複する領域の外周と前記重複する領域を横切る直線とによって囲まれる領域をマスクするマスク画像であることを特徴とする請求項２又は請求項３記載の画像処理方法。
5. 前記画像繋ぎ合わせステップが、
   前記複数の画像の各々から、端部に存在する不要領域を除いた矩形画像を切り出す切り出しステップを有し、
   前記切り出された矩形画像の重複する領域を混合して繋ぎ合わせることにより、前記複数の画像の繋ぎ合わせを行うことを特徴とする請求項１記載の画像処理方法。
6. 前記矩形画像の重複する領域中、前記繋ぎ合わせに使用しない領域を指定するためのユーザインタフェースを提示するユーザインタフェース提示ステップと、
   前記ユーザインタフェースを介して指定された、前記画像の繋ぎ合わせに使用しない領域を表すパラメータを保存するパラメータ保存ステップとをさらに有し、
   前記画像繋ぎ合わせステップが、前記パラメータに基づいて前記複数の矩形画像を繋ぎ合わせることを特徴とする請求項５記載の画像処理方法。
7. 前記パラメータが、前記複数の矩形画像の、前記重複する領域の外周と前記重複する領域を横切る直線とによって囲まれる領域をマスクするマスク画像であることを特徴とする請求項６記載の画像処理方法。
8. 互いに重複を有する複数の画像を取得する画像取得手段と、
   前記複数の画像の重複する領域のうち、前記複数の画像の繋ぎ合わせに使用しない領域を除いた領域を混合して前記複数の画像を繋ぎ合わせる画像繋ぎ合わせ手段とを有することを特徴とする画像処理装置。
9. コンピュータに請求項１乃至請求項７のいずれか１項に記載の画像処理方法を実行させるプログラム。
10. 請求項９記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。