JP7415707B2 - 撮像装置、補正方法、及び、プログラム - Google Patents

Description

本発明は、撮像装置、補正方法、及び、プログラムに関する。

３６０°のあらゆる方向を撮像可能な撮像装置として、全天球撮像カメラが知られている。全天球撮像カメラは、複数の広角レンズ又は魚眼レンズを用い、複数の撮像素子で撮像し、得られた複数の画像に対して歪み補正や射影変換等を行い、それらを結合して１枚の全天球画像を生成する。隣接する撮像素子で撮像して得られた画像には、画像の一部が重複した画像重複領域が存在し、全天球撮像カメラでは、その画像重複領域で各画像を結合している。

２つの画像の輝度の際を補正する技術が知られている（例えば、特許文献１参照。）。特許文献１には、複数のイメージセンサーの重複領域の輝度値を用い、明るい方は暗く、暗い方は明るくする補正を行うことでイメージセンサー間の輝度値を近づけ、繋ぎ目の違和感をなくす技術が開示されている。

しかしながら、従来の技術は、光量の違いにより繋ぎ目の輝度又は色に差が生じやすいという問題があった。

全天球撮像カメラでは、広角レンズや魚眼レンズを用いて広い範囲を撮像することから、その撮像範囲内に太陽や照明等の光源が入りやすい。このため、画像の一部が白くぼやけ、光が滲んだように見えるフレアが発生する可能性が高いことが知られている。フレアは、各画素に均一に発生するものではないため、フレアが発生した画像は暗く補正されてしまう。この結果、フレが発生した画像は実際の輝度、色味よりも暗くなり、違和感のある画像となってしまう。

本発明は、上記課題に鑑み、繋ぎ目の輝度又は色の差を低減することができる撮像装置を提供することを目的とする。

上記課題に鑑み、本発明は、複数の撮像素子が撮像した画像を合成して１つの画像を作成する撮像装置であって、合成の際に重複する重複領域と前記重複領域の内側の補正量を算出する補正量算出部と、第一の画像の前記重複領域の内側の画素の画素値に基づいて、前記画素と同じ被写体が写っている、第二の画像の前記重複領域の外側の画素の補正値を算出する領域外補正値算出部と、前記補正量及び前記補正値を用いて前記第一の画像と前記第二の画像を補正する補正部と、前記補正部が補正した前記第一の画像と前記第二の画像の前記重複領域を重複させて合成する合成画像生成部と、を有することを特徴とする。

繋ぎ目の輝度又は色の差を低減することができる撮像装置を提供することができる。

撮像装置を示す断面図の一例である。 撮像装置の構成例を示す図である。 撮像装置が有する機能を説明する図である。 魚眼レンズについて説明する図である。 全天球画像について説明する図である。 魚眼画像を射影変換する際に使用される変換テーブルを説明する図である。 撮像素子により撮像された２つの魚眼画像の重複領域について説明する図の一例である。 ２つの矩形の画像データが合成された場合の重複領域を示す図の一例である。 撮像装置が行う処理の全体の流れを説明するフローチャート図の一例である。 フレア画像の判断に使用される画像データの一例である。 フレア画像の判断に必要な情報が算出された評価領域の一例である。 フレア画像判断部がフレア画像か否かを判断する処理を説明するフローチャート図の一例である。 フレア画像があると判断された場合の、初期状態の補正除外マップを示す図の一例である。 補正除外マップを模式的に示す図の一例である。 補正除外マップ作成部が補正除外マップを作成する手順を示すフローチャート図の一例である。 補正量の算出方法を説明する図の一例である。 重複領域の内側について補正マップを作成する方法を示す図の一例である。 従来技術として、重複領域の外側の補正マップを説明する図の一例である。 重複領域を示す図の一例である。 重複領域、及び、重複領域の外側のケラレ領域の合成について説明する図の一例である。 重複領域の外側の補正値の算出方法を示す図の一例である。 h'の別の求め方を説明する図の一例である。 仮作成した補正マップ、補正除外対象マップ、及び、補正マップの一例を示す図である。 補正マップを解像度の変換方法を説明する図の一例である。 合成画像生成部が合成画像を生成する処理の流れを説明するフローチャート図の一例である。

以下、本発明を実施するための形態の一例として、撮像装置と撮像装置が行う補正方法について説明する。

＜用語について＞
合成とは２つ以上のものを合わせてして１つのものにすることをいう。

重複領域は２つの画像で同じ被写体が写っている領域である。このうち、更に、歪み等が少ない領域としてもよい。重複領域は画像ごとに一定でも可変でもよい。

重複領域の内側とは、魚眼レンズで撮像され等距離射影方式等で射影された場合に像高ｈが小さくなる方向である。重複領域の外側とは像高ｈが大きくなる方向である。

補正量又は補正値とは、２つの画像の輝度や色など画像の見え方を近づけるに使用される値である。

＜構成例＞
図１は、本実施例による撮像装置１０を示す断面図である。図１に示す撮像装置１０は、撮像体１２と、撮像体１２及びコントローラやバッテリなどの部品を保持する筐体１４と、上記筐体１４に設けられたシャッターボタン１８とを備えている。

図１に示す撮像体１２は、２つのレンズ光学系２０Ａ，２０Ｂ（レンズ光学系２０ともいう）と、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの２つの撮像素子２２Ａ，２２Ｂ（撮像素子２２ともいう）とを含む。本実施例において、レンズ光学系２０と撮像素子２２とを１個ずつ組み合わせたものを撮像光学系と称する。レンズ光学系２０は、それぞれ、例えば６群７枚で魚眼レンズとして構成することができる。上記魚眼レンズは、図１に示す例では、１８０度（＝３６０度／ｎ；ｎ＝２）より大きい全画角を有し、好適には、１８５度以上の画角を有し、より好適には、１９０度以上の画角を有する。

２つのレンズ光学系２０Ａ，２０Ｂの光学素子（レンズ、プリズム、フィルタ及び開口絞り）は、その光軸が、対応する撮像素子２２の受光領域の中心部に直交して位置するように、かつ、受光領域が、対応する魚眼レンズの結像面となるように、撮像素子２２Ａ，２２Ｂに対して位置関係が定められている。撮像素子２２は、それぞれ、受光領域が面積エリアを成す２次元の撮像素子であり、組み合わせられるレンズ光学系２０により集光された光を画像信号に変換する。

図１に示す実施例では、レンズ光学系２０Ａ，２０Ｂは、同一仕様のものであり、それぞれの光軸が合致するように、互いに逆向きに組み合わせられる。撮像素子２２Ａ，２２Ｂは、受光した光分布を画像信号に変換して、コントローラ上の画像処理手段に出力する。画像処理手段では、撮像素子２２Ａ，２２Ｂからそれぞれ入力される撮像画像を繋ぎ合わせて合成し、立体角４πラジアンの画像（以下「全天球画像」と称する）を生成する。全天球画像は、撮像地点から見渡すことのできる全ての方向を撮像したものとなる。

上記したように、魚眼レンズが１８０度を超える全画角を有するため、全天球画像を構成する際には、各撮像光学系で撮像した撮像画像において、重複する画像部分が、同一像を表す基準データとして画像の繋ぎ合わせの参考とされる。生成された全天球画像は、例えば、撮像体１２に備えられているか、又は撮像体１２に接続されているディスプレイ装置、印刷装置、ＳＤ（登録商標）カードやコンパクトフラッシュ（登録商標）などの外部記憶媒体などに出力される。

＜以下の画像処理を行う構成＞
図２は、以下で説明する処理を実行する撮像装置１０の構成例を示す。撮像装置１０は、撮像素子１，２（符号は２２Ａ，２２Ｂ）、受信部１，２（符号は２３Ａ，２３Ｂ）、ＩＳＰ（Image Signal Processing）１，２（符号は２４Ａ，２４Ｂ）、ＳＲＡＭ２５、輝度測定部２６、画像処理部１、２（符号は２７Ａ，２７Ｂ）、ＭＥＭＣ２８、ＤＲＡＭ２９、輝度補正回路３０、任意変形回路３１、画像処理部２（符号は３２）、及び、送信部３３を有している。

撮像素子１，２は図１の撮像素子２２Ａ，２２Ｂが対応する。受信部１，２は撮像素子１，２から画像データを受け付けるチャンネルである。ＩＳＰ１，２はRAWデータ（生データ）に対してホワイトバランス、ガンマ補正、ベイヤー補完、等を行う。画像処理部１は、レンズなど光学系の補正処理や、黒レベル補正、撮像素子のばらつき補正、傷補正などを行う。

輝度測定部２６はフレア画像の判断、補正除外マップの作成、及び、補正値の算出等を行う。ＭＥＭＣ２８はメモリコントローラであり、ＤＲＡＭ２９を使用して画像データの流れを制御する。輝度補正回路３０は輝度測定部２６の測定結果に応じて、全天球画像の輝度を補正する。任意変形回路３１は画像データの変形を行う。画像処理部２は２つの魚眼画像を合成して正距円筒画像を作成する。送信部３３は外部に画像データを送信したり、外部メモリに記憶したりする。

＜撮像装置が有する機能について＞
図３は、撮像装置１０が有する機能を説明する図である。図３に示すように、輝度測定部２６はフレア画像判断部４１、補正除外マップ作成部４２、補正量算出部４３、及び、領域外補正値算出部４４を有する。輝度補正回路３０は補正除外マップ適用部４５、及び、補正部４６を有する。画像処理部２は合成画像生成部４７を有する。図３に示す各機能は、ハードウェア的に実現されるが、一部または全部の機能を、撮像装置１０が有するＳＳＤ（Solid State Drive）などの記憶部に記憶されたプログラムをＣＰＵが実行することで実現されてもよい。

フレア画像判断部４１は、２つの魚眼画像のうちフレアが含まれる画像があるか否かと、ある場合にはどちらがフレア画像かを判断する。補正除外マップ作成部４２は、魚眼画像のうち補正すべきでない画素が特定された補正除外マップを作成する。補正量算出部４３は、重複領域と重複領域の内側の補正量を算出する。領域外補正値算出部４４は、重複領域の外側の補正値を算出する。補正除外マップ適用部４５は補正除外マップを魚眼画像に適用する。補正部４６は、補正が除外されていない画素に対し、補正量と補正値に基づく輝度の補正を行う（２つの魚眼画像の輝度が同程度になるように補正する）。合成画像生成部４７は、２つの魚眼画像を１つの正距円筒画像に合成する。

＜魚眼レンズを使って撮像される魚眼画像について＞
図４を参照して、魚眼レンズについて説明する。なお、魚眼レンズ１１は同様のものであるため、図４では１つの魚眼レンズ１１のみ説明する。１８０°を超える画角をもつ魚眼レンズを有する撮像素子２２Ａ，２２Ｂで撮像された魚眼画像は、撮像位置を中心として、略半球分の被写体の画像となる。

ここで、図４（ａ）に示すように、魚眼レンズ１１への光の入射角度をφ、画像の中心と像点との距離を像高ｈ、射影関数をｆとすると、これらの関係は、下記式（Ａ）のように表すことができる。

ｈ＝ｆ（φ）・・・式（Ａ）

射影関数ｆは、魚眼レンズ１１の性質により異なり、例えば、等距離射影方式の魚眼レンズを採用した場合、図４（ｂ）に示すように、入射角度φが矢線に示すように大きくなる程、像高ｈが大きくなるという比例関係で表される。なお、図４（ｂ）において円の外側の黒く塗り潰された領域は、光が入射されない領域である。

魚眼レンズ１１は、１８０°を超える画角をもっているため、撮像素子２２Ａ，２２Ｂで撮像された魚眼画像には、重複領域が含まれる。

次に、図５を参照して、全天球画像について説明する。魚眼画像は、図５（ａ）に示す略半分の球面を円形で表したフォーマットを有し、地球儀でいう経度が水平角度θに相当し、緯度が垂直角度φに相当している。水平角度θは０～３６０°の範囲とされ、垂直角度φは、０～１８０°の範囲とされている。

全天球画像は、図５（ｂ）に示す矩形で表したフォーマットとされ、水平方向が水平角度、垂直方向が垂直角度とされる２つの半天球画像を撮像装置が合成することにより生成される画像である。実際には、重複領域がある分、半天球画像より大きい画像であるが、ここでは半天球画像と呼ぶものとする。

２つの半天球画像は、魚眼画像の水平角度と垂直角度に対応する画素が有する画素値と同じ画素値を、図５（ｂ）に示す矩形で表したフォーマットの同じ水平角度と垂直角度に対応する画素が有する画像として生成される。この半天球画像は、撮像装置１０が魚眼画像を射影変換することにより生成することができ、生成した２つの半天球画像を結合することで、水平方向及び垂直方向に３６０°の全方位を表す全天球画像を生成することができる。

魚眼画像を射影変換する際に使用される変換テーブルを、図６に例示する。変換テーブルは、図６（ａ）に示すように、変更前画像である魚眼画像の水平角度と垂直角度の値である座標値と、変更後画像である半天球画像の座標値とを画素ごとに対応付けたテーブルである。変更前画像の座標値は、（ｘ,ｙ）で表され、変更後画像の座標値は、（θ,φ）で表される。図６（ｂ）に示すように、いずれの画像も左上隅の座標（０,０）を基準とし、変更前画像における画素と、変更後画像における対応する画素とを決定し、それらの画素の座標値の組み合わせを、変換テーブルにデータとして保持する。対応関係は、変換前画像と変換後画像との射影関係から求めることができる。

変換テーブルは、２つの魚眼レンズ１１、及び撮像素子２２Ａ，２２Ｂの各々に対してレンズ設計データ等を基に設計者等が事前に作成することができ、図２に示したＳＲＡＭ２５に格納しておき、撮像装置１０が必要に応じて読み出して使用することができる。この変換テーブルを用いることで、魚眼画像を射影変換して、魚眼画像の歪みを補正することができる。この補正をした画像を結合することで、全天球画像を生成することができる。

全天球画像を生成する処理の流れについて説明する。２つの撮像素子２２Ａ，２２Ｂにより２つの魚眼画像を撮像し、２つの魚眼画像が入力されることにより、処理が開始される。まず、合成画像生成部４７は、ＳＲＡＭ２５に格納された図６（ａ）に示したような変換テーブルを用いて各魚眼画像を射影変換して歪み補正を行う。この歪み補正により、図６（ｂ）に示す半天球画像が２つ得られる。

次に、合成画像生成部４７は、得られた２つの半天球画像の重複領域で繋ぎ合わせるために、繋ぎ位置の検出を行う。繋ぎ位置の検出結果に基づき、上記の変換テーブルを補正する。次に、合成画像生成部４７は、補正した変換テーブルに対して回転変換を行い、画像生成用の変換テーブルを作成する。なお、回転変換を行う目的は、画像生成用の変換テーブルにおいて、画像の上下方向と、撮像装置１０の天頂方向とを一致させるためである。

次に、合成画像生成部４７は、２つの魚眼画像に対して、画像生成用の変換テーブルを用いて射影変換を行い、画像の歪みを補正する。そして、歪みが補正された２つの画像を合成するためのブレンド処理を実行する。２つの画像は、その重複領域において結合されるが、一方の画像の重複領域にしかデータが存在しない場合、そのデータをそのまま使用して結合を行う。以上の流れにより全天球画像が生成する。

＜重複領域について＞
図７（ａ）（ｂ）を参照して、撮像素子２２Ａ，２２Ｂにより撮像された２つの魚眼画像１３Ａ及び１４ａの重複領域について説明する。

図７（ａ）は、撮像素子２２Ａ，２２Ｂで撮像された魚眼画像１３Ａ及び１４ａで、黒く塗り潰された領域は、光が入射されない領域、白い領域が入射角度９０°までの領域、斜線で示される領域が入射角度９０°を超える領域を示している。

図７（ａ）の斜線で示される領域は、２つの魚眼画像の重複する画像領域を示すことから、重複領域として定義することができる。しかしながら、魚眼レンズ１１は、像高ｈが大きくなり、像点が画像の中心から離れるほど歪みや収差が発生しやすくなる。また、魚眼レンズ１１の周囲の外枠等が写り込む場合もある。歪みや収差が発生した領域や外枠等の画像は、画像を繋ぎ合わせるために使用することはできない。

そこで、図７（ｂ）に示すように、重複領域５０としては、その内側の所定幅を有する縦縞で示されるリング状の領域に限定することができる。これは、像点が画像の中心から離れるほど歪みや収差が発生しやすいこと、及び、魚眼レンズの外枠などが移りこむ可能性があるためである。したがって図７（ｂ）に示すように重複領域５０は、その内側の所定幅を有する斜線でしめされた領域に限定される。

ちなみに、図７（ｂ）の２つの魚眼画像１３Ａ及び１４ａは、撮像素子２２Ａ，２２Ｂを同時に露光し、撮像しているため、重複領域５０は基本的に同じ被写体の画像となる。重複領域５０は画素単位で設定されることが好ましい。画素単位で設定することにより、光学設計における誤差によるずれを吸収することができる。

図８は、２つの矩形の画像データが合成された場合の重複領域５０を示す。前述したように魚眼画像を合成画像生成部４７が歪み補正することで矩形の画像データを得ることができる。合成画像生成部４７が２つの魚眼画像を矩形画像データへと歪み補正し、重複領域５０を重ねたものが図８である。

重複領域５０では、２つの矩形の画像データの同じ被写体が重なるように、テンプレートマッチングなどの処理で類似箇所が検出される。テンプレートマッチングを行う単位は任意の分割画像サイズ単位でよい。テンプレートマッチングで相対位置が決まると、合成画像生成部４７が２枚の画像をブレンド処理で合成する。以上で、全天球画像を得る。

なお、図６～図８の処理は実際には魚眼画像の輝度補正の後に行われるが、重複領域５０を説明するためにここで説明した。

＜処理の全体＞
図９は撮像装置１０が行う処理の全体の流れを説明するフローチャート図の一例である。撮像装置１０は画像処理部１が処理した２つの魚眼画像に対し、フレア画像の判断（ステップＳ１）、補正除外マップの作成（ステップＳ２）、補正量の算出（ステップＳ３）、重複領域外の補正値の算出（ステップＳ４）、補正除外マップの適用（ステップＳ５）、補正（ステップＳ６）、及び、合成画像の生成（ステップＳ７）を行う。以下では、各処理を詳細に説明する。

＜Ｓ１ フレア画像の判断＞
図１０～図１２を参照して、フレア画像の判断方法を説明する。図１０はフレア画像の判断に使用される画像データである。前述したように魚眼画像において、画像外枠付近は重複領域５０となっている。フレア画像判断部４１はこの重複領域５０の画素値に基づいて、２枚の魚眼画像のどちらがフレア画像かを判断する。入力画像データフォーマットはRGBでもよいし、YCbCrでもよい。

まず、フレア画像判断部４１は入力された魚眼画像に対し、図１０のようなエリア単位で処理を行う。エリア２０１の大きさはレジスタ等で任意の値に設定されている。上下左右に等間隔で区分された１つのマスがエリア２０１である。フレア画像判断部４１はエリア単位で画素値の平均値や分散値などのフレア画像の判断に必要な情報の算出を行う。

図１１は、フレア画像の判断に必要な情報が算出された評価領域２０２である。平均値は算出したエリアが画像データのどこに位置するかで異なる。上記のように、フレア画像判断部４１は２枚の魚眼画像のうち、どちらが補正対象であるかを判断するために重複領域付近の評価領域２０２の算出値を用いる。

具体的には２枚の魚眼画像において、フレア画像判断部４１は、同じ被写体が写っているエリア同士の平均値や分散値の差分の絶対値を求め、その値が閾値を超える場合、フレア画像があると判断する。また、平均や分散が大きい方の魚眼画像を補正対象画像(フレア画像)であると判断することができる。一方が補正対象画像（第二の画像の一例）であれば、他方の画像を補正基準画像（第一の画像の一例）として決定する。

基本的に同時露光により撮像した場合、重複領域５０は同じ被写体の画像が同じ明るさで撮像されるはずであるが、一方の画像にフレアが発生している際は重複領域５０の平均値が大きくなるため、前述した閾値を設け、その閾値より大きい魚眼画像をフレア画像であると判断する。

図１２は、フレア画像判断部４１がフレア画像か否かを判断する処理を説明するフローチャート図の一例である。

フレア画像判断部４１は重複領域５０の付近の評価領域２０２の輝度値に対し例えば平均値を算出する（Ｓ１－１）。フレア画像判断部４１は２つの魚眼画像の輝度値の平均値を比較する（Ｓ１－２）。

次に、フレア画像判断部４１は平均値の差分が閾値より大きいか否かを判断する（Ｓ１－３）。

平均値の差分が閾値より大きい場合、フレア画像判断部４１は平均値が大きい方をフレア画像と判断する（Ｓ１－４）。平均値が小さい方を補正基準画像と判断する。

平均値の差分が閾値以下の場合、フレア画像判断部４１はフレア画像ではないと判断する（Ｓ１－５）。

＜Ｓ２ 補正除外マップの作成＞
図１３～図１５は、補正除外マップの作成方法を説明する図である。図１３はフレア画像があると判断された場合の、初期状態の補正除外マップを示す図である。フレア画像に対して補正部４６が補正を行う際、フレア画像全体を補正するため、画像が全体的に暗くなる。すると、２枚の魚眼画像を結合した場合に目で見て不自然な画像になることがある。そこでフレア補正をする必要がない箇所(光源など)を区別するために、補正除外マップ作成部４２が補正除外マップを作成する。

補正除外マップは前述した重複領域外の魚眼画像内のエリアにおける輝度値最大値で求めることができる。補正除外領域の条件は、
(i) 「閾値より高輝度かつ無彩色」又は
(ii) 「閾値より高輝度かつ輝度の最大値が閾値以上」
とする。補正除外マップ作成部４２はこの判断をマス状のエリア２０１ごとに行う。高輝度であるか否かの閾値はレジスタ等で設定できるとしてもよい。

補正除外条件としては(i)(ii)の両方で判断することが望ましい。１つの評価領域全体が均一な輝度や色を有している場合は(i)のみで判断することができる。しかし、１つの評価領域内に光源などの高輝度の被写体と木などの低輝度の被写体が存在する場合、(i)に適合しなくなるため、光源の画像が補正され、光源が暗く不自然な画像になってしまうからである。(ii)を含めることで光源と木などを含む画像も補正除外領域として適切に抽出できる。

図１４は、補正除外マップを模式的に示す。補正除外マップは補正の対象から除外するかしないかをフラグ（１，０）の値で示す。補正除外マップは補正対象画像が複数のエリア２０１に分割された際と同様に分割されている。補正除外マップ作成部４２は補正除外するエリアに１を配置し、そうでないブロックには０を配置する。また補正除外マップには、除外するか否かを示すフラグ１、０だけでなく、ブロックごとの画素値の平均値又は分散値も格納される。

補正除外マップは図２に示されたように外部記憶装置(ＳＲＡＭ２５)に格納されてもよいし、レジスタとして回路内に保持してもかまわない。

図１５は、補正除外マップ作成部４２が補正除外マップを作成する手順を示すフローチャート図の一例である。

補正除外マップ作成部４２は、補正対象画像について、エリア２０１に分割された初期状態の補正除外マップを作成する（Ｓ２－１）。

補正除外マップ作成部４２は、エリアごとに上記(i)(ii)の判断条件に基づいて、補正の除外対象かどうかを判断する（Ｓ２－２）。

補正除外対象の場合、補正除外マップ作成部４２は、着目しているエリアにフラグ１を設定する（Ｓ２－３）。

補正除外対象でない場合、補正除外マップ作成部４２は、着目しているエリアにフラグ０を設定する（Ｓ２－４）。

また、補正除外マップ作成部４２は、着目しているエリアに評価値（平均値又は分散値）も設定する（Ｓ２－５）。

補正除外マップ作成部４２は、全てのエリアを終了したか否かを判断し（Ｓ２－６）、終了していない場合はステップＳ２－２に戻る。

＜Ｓ３ 補正量の算出＞
図１６は補正量の算出方法を説明する図である。補正量の算出はフレア画像と基準画像の重複領域５０を比較して行われる。図１６（ａ）（ｂ）では、魚眼画像１３Ａと１３Ｂの重複領域５０で繋ぎ合わせられる領域２１０，２１１を破線枠で示している。図１６（ｃ）（ｄ）は各領域２１０，２１１の拡大図を示している。

全天球撮像カメラでは２つの撮像素子が背中合わせになっているので、魚眼画像１３Ａと１３Ｂを背中合わせにした場合に同じ位置の領域２１０，２１１に同じ被写体が写る。図１６（ｃ）（ｄ）のＡ～Ｌは２つの魚眼画像１３Ａ，１３Ｂで対応する画素を示す。

２つの魚眼画像を繋ぎ合わせる際、図１１で示された評価領域２０２の値は、一方はフレアが発生しているため高い値、もう一方がそれより低い値を示す。補正量算出部４３はこれを同じ値にするような補正を行う。補正に用いる値は以下の式(1)(2)のいずれかにより算出される。
補正量 = 基準画像の評価値/フレア画像の評価値 …(1)
補正量 = 基準画像の評価値 － フレア画像の評価値 …(2)
式(1)は比率を補正量とし、式(2)は差分を補正量とする。補正量の求め方に応じて補正部４６が行う補正方法も変わる。補正量算出部４３は算出された補正量の値をフレア画像の図１１の評価領域２０２に格納する。補正量算出部４３はこの処理を全ての重複領域５０に対して実施する。

＜Ｓ４ 重複領域外の補正値の算出＞
図１７～図２２は補正マップと重複領域外の補正値の算出を説明する図である。図１７は重複領域５０の内側について補正マップを作成する方法を示す。補正マップの算出方法は、図１７に示すように重複領域５０に関して算出された補正量の値をもとに画像中心方向に向かって距離による重み付け演算を行う方法である。中心に近いほど、補正量が小さくなる。補正量算出部４３このようにして、重複領域内側の補正マップを仮作成する。仮作成なので、最終的な補正マップは後に作成される。

図１８は、従来技術（特許文献２）として、重複領域５０の外側の補正マップを説明する図である。重複領域５０の外側について、従来、重複領域５０の値をそのままコピーする方法がある。図１８におけるxの画素は１つ上の画素の補正量と同値を用い、ｙの画素は１つ左の画素の補正量と同値を用いる。しかしながらこの補正方法では、光量の違いによる繋ぎ目の輝度色差を補正しきれない。

図１９、図２０を参照して、従来の重複領域５０の外側の補正マップの作成方法が好ましくない理由を説明する。図１９は重複領域５０を示す図である。図１９（ａ）（ｂ）に示すように重複領域５０は入力された２枚の魚眼画像における有効画像領域５１とケラレ領域５２Ａ，５２Ｂの境目より内側に取られている。ケラレ領域とは画面の隅にレンズフードやフィルターが黒く写り込んでしまう領域をいう。

上記のように、重複領域５０を元に２つの魚眼画像１３Ａ，１３Ｂは射影変換により１つの正距円筒画像に変換される。合成の際、重複領域５０をアルファブレンドにおけるα=50%で合成画像生成部４７は合成する。合成時、図１９（ｃ）（ｄ）に示すように、重複領域５０の外側のケラレ領域５２Ａ，５２Ｂは破棄されるわけではない。実際はα＜50%以下の値で、もう一方の魚眼画像との合成に使用される領域となっている。

図２０は重複領域５０、及び、重複領域５０の外側のケラレ領域５２Ａ，５２Ｂの合成について説明する図である。図２０（ａ）は図１９の魚眼画像１３Ａの正距円筒画像であり、図２０（ｂ）は図１９の魚眼画像１３Ｂの正距円筒画像である。帯状のハッチングは重複領域５０と、重複領域５０の外側のケラレ領域５２Ａ，５２Ｂを表している。上記のように、魚眼画像１３Ａ、１３Ｂの重複領域５０はα=50％で合成され、ケラレ領域５２Ａは魚眼画像１３Ｂとα＜５０％で合成され、ケラレ領域５２Ｂは魚眼画像１３Ａとα＜５０％で合成される。図２０（ｃ）は２つの画像の合成で得られた１つの正距円筒画像を示す。

重複領域５０の画素値は補正マップの値をh、補正対象を魚眼画像１３Ａ側とした場合、以下で示される。ただし、h=pixB/pixA α=50%の重複領域５０とする。
pixo = α x pixA x h + (1－α) x pixB
このように重複領域５０の外側も合成に使用されるため、重複領域５０の外側の補正値を、重複領域５０の補正値をコピーするだけだと合成画像のつなぎ目部分に輝度段差が発生する可能性がある。

そこで本実施形態では、領域外補正値算出部４４が重複領域５０の外側も演算によって補正マップを作成する。具体的には補正対象ではない画像の重複領域５０の内側の補正値を求めることで、補正対象の画像の外側の補正値を求める。

図２１は、重複領域５０の外側の補正値の算出方法を示す。図２１のように一方の魚眼画像１３Ａにおける重複領域５０の内側は他方の魚眼画像１３Ｂの重複領域５０の外側に対応する（図２０参照）。このことを用いて、領域外補正値算出部４４は重複領域５０の外側の補正値を求める。なお、図２１では魚眼画像１３Ｂをフレア画像とする。補正値ｈは比較画像（フレア画像）の重複領域５０の外側の画素の補正値である。
・補正値h = 比較画像（フレア画像）の重複領域の外側の画素値 / 基準画像の重複領域の内側の画素値 …(3)
魚眼画像１３Ｂの重複領域５０の外側の画素ａ'～ｏ'の補正値は、このｈである。

基準画像用の補正値h'は以下により変換される。
・補正値h' = 1/h …(4)
すなわち、補正値ｈの逆数を、魚眼画像１３Ａの重複領域５０の外側の補正値とする。魚眼画像１３Ａの重複領域５０の外側の画素ａ～ｏの補正値は補正値h'である。

なお、一方の補正マップはあくまで本来の補正マップを作成するためのマップであるため、基準補間線などは、本来の補正マップ側のものを使用する。図２１において、片側の補正マップの画素ａ～ｏと、もう片側への補正マップの画素ａ'～ｏ'の対応は一例であり、どの領域の補正量を使用するかは予め設定などにより変更可能である。

魚眼画像１３Ａの重複領域５０の内側の画素ａ～ｏは、重複領域５０に接している画素を含み、画素ａ～ｏと同じ被写体が写っている魚眼画像１３Ｂの画素ａ'～ｏ'は重複領域５０に接している画素を含む。なお、画素ａ～ｏ及び画素ａ'～ｏ'よりも外側の画素の補正値は重複領域から離れるほど小さい値にしても良いし、式(3)(4)と同様に算出しても良い。

図２２はh'の別の求め方を説明する図である。図２２（ａ）はブレンド値を有する変換テーブルを示し、図２２（ｂ）は合成された正距円筒画像と２つの魚眼画像１３Ａ、１３Ｂの画素の対応を説明する図である。

h'の求め方として、図２２のような変換テーブルのブレンド値を参考に求めてもよい。変換テーブルは、上記した合成画像を作る際に参照されるものであり、元の魚眼画像に対してブレンド値αをもっている。ブレンド値αは0～1.0ものとして、定義されており、
ブレンド値を参考にし、
h'=（1－α）x1/ｈ （ｈ ＞1.0）
h'=（1+α）x1/ｈ （ｈ ＜1.0）
として基準画像の重複領域５０の外側の補正値とする。

こうすることにより、補正する側のブレンド係数を加味することができ、ブレンド後の繋ぎ目位置の画素値において、繋ぎ目の輝度や色の差分がより少なくなる。

なお、補正マップは図２に示されたように外部記憶装置(ＳＲＡＭ２５)に格納されてもよいし、レジスタとして回路内に保持してもかまわない。

＜Ｓ５ 補正除外マップの適用＞
図２３は仮作成した補正マップ（図２３（ａ））、補正除外対象マップ（図２３（ｂ））、及び、補正マップ（図２３（ｃ））の一例を示す。補正除外マップ適用部４５は、重複領域５０、重複領域５０の内側、及び、重複領域５０の外側について以上のように作成した仮の補正マップと補正除外マップを用いて最終的な補正マップを作成する。

すなわち、補正除外マップ適用部４５は、仮作成した補正マップの各エリアにおいて、補正除外マップが１であれば仮作成した補正マップの値を1.0に置き換える。0であれば仮作成した補正マップで得られた値をそのまま用いる。補正除外マップ適用部４５は、これをエリア全体に対して実施し、補正マップを作成する。

なお、図２３は補正量の算出に式(1)が使用された場合の補正マップを示し、式(2)が使用された場合の補正マップでは、差分が格納される。また、補正除外マップが１であれば、補正除外マップ適用部４５は仮作成した補正マップの値を0.0に置き換える。補正除外マップが0であれば仮作成した補正マップで得られた値をそのまま用いる。

補正除外マップ適用後の補正マップは分割エリア間で値が大きく変動している場合がある。そのため、算出された補正マップに対してガウシアンフィルタなどの平滑化フィルターをかけてもよい。

図２４は、補正マップを解像度の変換方法を説明する図である。作成された補正マップは任意のブロックサイズの解像度（エリア２０１の解像度）になっている。これを補正対象画像全域に適用するために、補正除外マップ適用部４５は、補正マップを変倍し、補正対象画像の解像度へと変換する。変倍方法としてはニアレストネイバー、バイリニア、バイキュービックなどの変倍方法を用いる。

＜Ｓ６ 補正＞
補正部４６は、作成した補正マップを補正対象画像全体に適用し、補正後の画像を得る。補正量を算出する際に式(1)を使用したのであれば、補正画像に対して補正量の乗算を行う。式(2)を使用したのであれば、補正画像に対して補正量の加算を行う。

なお、算出値が極端に小さい又は大きくなりすぎないように上限、下限を設けて算出される算出値の量を制限してもよい。

＜Ｓ７ 合成画像の生成＞
合成画像生成部４７は、以上のように補正された２つの魚眼画像を、図６～図８で説明したように合成する。

図２５は、合成画像生成部４７が合成画像を生成する処理の流れを説明するフローチャート図の一例である。

合成画像生成部４７は、図６（ａ）のテーブルを参照して魚眼画像を正距円筒画像に変換する歪み補正を行う（Ｓ７－１）。次に、合成画像生成部４７は重複領域５０をパターンマッチングして繋ぎ部分を決定する（Ｓ７－２）。次に、ブレンド処理部はα値を使って重複領域５０をブレンド処理する（Ｓ７－３）。

＜主な効果＞
全天球カメラでは広角レンズや魚眼レンズを用いて広い範囲を撮像することから、その撮像範囲内に太陽や照明等の光源が入りやすい。このため、画像の一部が白くぼやけ、光が滲んだように見えるフレアが発生する可能性が高いことが知られている。 フレアは、各画像に均一に発生するものではないため、フレアが発生した画像とフレアが発生していない画像とは、輝度の差だけではなく、色差も生じる。

従来技術は複数の撮像素子２２Ａ，２２Ｂ間の個体差を補正することについては有効であると考えられる。しかし、複数の撮像素子２２Ａ，２２Ｂのうち、いずれかに強い光源が入った場合、光源の入った明るい画像は暗く補正されてしまうため、実際の輝度、色味よりも暗くなり、違和感のある画像となってしまう可能性がある。

本実施形態は従来技術と異なり、撮像範囲内に太陽や照明等の高原が入った際、色味を自然に保ちつつ、より繋ぎ目を目立たなくすることができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態ではフレアが発生した画像に対し、補正を行っているが、フレアが発生していない画像を補正してもよい。

また、本実施形態では全ての補正を撮像装置が行っているが、補正に関する全て又は一部の処理を、ネットワークを介して通信される情報処理装置（サーバ）が行ってもよい。

また、以上の実施例で示した図３などの構成例は、撮像装置１０の処理の理解を容易にするために、主な機能に応じて分割したものである。しかし、各処理単位の分割の仕方や名称によって本願発明が制限されることはない。撮像装置１０は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

１０ 撮像装置
４１ フレア画像判断部
４２ 補正除外マップ作成部
４３ 補正量算出部
４４ 領域外補正値算出部
４５ 補正除外マップ適用部
４６ 補正部
４７ 合成画像生成部
５０ 重複領域

特表２０１３－５４０３９０号公報 特開２０１５－２２６１４４号公報

Claims (8)

1. 複数の撮像素子が撮像した画像を合成して１つの画像を作成する撮像装置であって、
   合成の際に重複する重複領域と前記重複領域の内側の補正量を算出する補正量算出部と、
   第一の画像の前記重複領域の内側の画素の画素値に基づいて、前記画素と同じ被写体が写っている、第二の画像の前記重複領域の外側の画素の補正値を算出する領域外補正値算出部と、
   前記補正量及び前記補正値を用いて前記第一の画像と前記第二の画像を補正する補正部と、
   前記補正部が補正した前記第一の画像と前記第二の画像の前記重複領域を重複させて合成する合成画像生成部と、
   を有することを特徴とする撮像装置。
2. 前記第一の画像の前記重複領域の内側の画素は、前記重複領域に接している画素を含み、前記画素と同じ被写体が写っている前記第二の画像の画素は前記重複領域に接している画素を含むことを特徴とする請求項１に記載の撮像装置。
3. 前記領域外補正値算出部は、
   補正値 ＝ 前記第二の画像の重複領域の外側の画素値 / 前記第一の画像の重複領域の内側の画素値
   により前記補正値を算出することを特徴とする請求項２に記載の撮像装置。
4. 前記領域外補正値算出部は、
   前記補正値の逆数を、前記第一の画像の重複領域の外側の補正値とすることを特徴とする請求項３に記載の撮像装置。
5. 魚眼レンズで撮像された前記第一の画像及び前記第二の画像を正距円筒画像に変換するテーブルを有し、前記テーブルに前記第一の画像及び前記第二の画像のブレンド値が画素ごとに登録されている場合、
   前記領域外補正値算出部は、
   h'=（1－α）x1 / 補正値 （補正値 > 1.0）
   h'=（1+α）x1 / 補正値 （補正値 < 1.0）
   を前記第一の画像の重複領域の外側の補正値とすることを特徴とする請求項３に記載の撮像装置。
6. 前記第二の画像はフレアが検出された画像であることを特徴とする請求項１～５のいずれか１項に記載の撮像装置。
7. 複数の撮像素子が撮像した画像を合成して１つの画像を作成する撮像装置が行う補正方法であって、
   補正量算出部が、合成の際に重複する重複領域と前記重複領域の内側の補正量を算出するステップと、
   第一の画像の前記重複領域の内側の画素の画素値に基づいて、領域外補正値算出部が、前記画素と同じ被写体が写っている、第二の画像の前記重複領域の外側の画素の補正値を算出するステップと、
   補正部が、前記補正量及び前記補正値を用いて前記第一の画像と前記第二の画像を補正するステップと、
   合成画像生成部が、前記補正部が補正した前記第一の画像と前記第二の画像の前記重複領域を重複させて合成するステップと、
   を有することを特徴とする補正方法。
8. 複数の撮像素子が撮像した画像を合成して１つの画像を作成する撮像装置を、
   合成の際に重複する重複領域と前記重複領域の内側の補正量を算出する補正量算出部と、
   第一の画像の前記重複領域の内側の画素の画素値に基づいて、前記画素と同じ被写体が写っている、第二の画像の前記重複領域の外側の画素の補正値を算出する領域外補正値算出部と、
   前記補正量及び前記補正値を用いて前記第一の画像と前記第二の画像を補正する補正部と、
   前記補正部が補正した前記第一の画像と前記第二の画像の前記重複領域を重複させて合成する合成画像生成部、として機能させるためのプログラム。

Images