JP2014010776A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

画像処理装置、画像処理方法、及び、プログラム Download PDF

Info

Publication number
JP2014010776A
JP2014010776A JP2012148808A JP2012148808A JP2014010776A JP 2014010776 A JP2014010776 A JP 2014010776A JP 2012148808 A JP2012148808 A JP 2012148808A JP 2012148808 A JP2012148808 A JP 2012148808A JP 2014010776 A JP2014010776 A JP 2014010776A
Authority
JP
Japan
Prior art keywords
image processing
histogram
image
image signal
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012148808A
Other languages
English (en)
Inventor
Kosei Sugimoto
光勢 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012148808A priority Critical patent/JP2014010776A/ja
Publication of JP2014010776A publication Critical patent/JP2014010776A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】歪みのある画像内における物体の画像処理後の画素値が、物体の位置によって変化することを抑制することのできる技術を提供する。
【解決手段】本発明の画像処理装置は、画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する取得手段と、前記入力画像信号が歪んだ画像の信号である場合に、前記分割領域毎に、前記取得手段で取得されたヒストグラムを、画像が歪んだ状態での分割領域の面積と、画像が歪んでない状態での分割領域の面積とに基づいて補正する補正手段と、前記分割領域毎に、前記補正手段による補正後のヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理手段と、を有し、前記補正手段は、画像が歪んでない状態での分割領域の面積が、画像が歪んだ状態での分割領域の面積よりも大きいときに、ヒストグラムの度数を増やす。
【選択図】図1

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
デジタルカメラで撮影する場合に、魚眼レンズなどを用いて、意図的に歪みを持つ画像を撮影することがある。このような意図的な歪みを持つ画像に対する画像処理に関する技術は、例えば、特許文献1,2に開示されている。具体的には、特許文献1には、画像の歪みを補正した後に画像の特徴量を抽出する技術が開示されている。特許文献2には、魚眼像の手ぶれを補正する技術が開示されている。
また近年、デジタル一眼レフカメラを用いた動画の撮影が行われており、魚眼レンズを使用した動画の撮影も行われている。動画を高画質化するための技術には、局所ダイナミックガンマ処理がある。局所ダイナミックガンマ処理では、画像を分割して得られる分割領域毎に、画素値の統計量(具体的には画素値のヒストグラム)が取得される。そして、分割領域毎に、取得した統計量に基づいて階調変換処理が行われる。局所ダイナミックガンマ処理により、見かけ上の動画の階調性を向上させることができる。従って、魚眼レンズを使用して撮影した動画に対しても局所ダイナミックガンマ処理を行うことが望ましい。局所ダイナミックガンマ処理に関する従来技術は、例えば、特許文献3に開示されている。特許文献3に開示の技術では、階調変換処理の階調変換特性が時間方向に平均化される。即ち、特許文献3に開示の技術では、階調変換処理の階調変換特性の時間に対する変化が抑制される。それにより、物体が動いたときに生じる明るさのちらつきを抑えることができる。
しかしながら、魚眼レンズを用いて撮影された画像のように歪みのある画像では、同じ物体でも、物体のサイズは画像内の位置によって異なる。そのため、物体の位置によって、当該物体を含む分割領域のヒストグラムにおける、当該物体の画素値の度数が異なってしまう。その結果、物体が移動する動画像において、当該物体を含む分割領域の階調変換特性が変化し、当該物体の明るさが変化してしまう(明るさのちらつきが生じてしまう)。例えば、図13のように、魚眼レンズを用いた画像では、物体は、画像の中央部で大きく、画像の端部で小さくなる。ここで、階調変換処理では、分割領域に含まれる低階調画素(階調値の低い画素)が少ない場合に、低階調側の階調性が下げられるものとする。また、分割領域に含まれる低階調画素が多い場合に、低階調側の階調性が高められるものとする。画像の背景の色を白色(高階調)とし、物体の色を灰色(低階調)とすると、物体が画像の中央部に位置する場合には、物体を含む分割領域内の物体の画素(階調値の低い画素)が多くなる。その結果、物体を含む分割領域では、低階調側の階調性が高められ、物体の明るさが明るくなる。一方、物体が画像の端部に位置する場合には、物体を含む分割領域内の物体の画素が少なくなる。その結果、物体を含む分割領域では、低階調側の階調性が下げられ、物体の明るさが暗くなる。そのため、物体が中央部から端部に移動する動画像では、物体の明るさが徐々に暗くなるという明るさのちらつきが生じてしまう。また、物体が端部から中央部に移動する動画像では、物体の明るさが徐々に明るくなるという明るさのちらつきが生じてしまう。特許文献3に開示の技術は歪みのある画像を想定した技術ではないため、特許文献3に開示の技術を用いても、上記課題を解決することはできない。
また、階調変換処理に限らず、分割領域毎の画素値(階調値)のヒストグラムに基づいて行う画像処理においては、上記課題と同様の課題が生じてしまう。具体的には、歪みのある画像内における物体の画像処理後の画素値が、当該物体の位置によって変化してしまう。
特開2007−306199号公報 特開2006−295626号公報 特開2006−165828号公報
本発明は、歪みのある画像内における物体の画像処理後の画素値が、物体の位置によって変化することを抑制することのできる技術を提供することを目的とする。
本発明の第1の態様は、
画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する取得手段と、
前記入力画像信号が歪んだ画像の信号である場合に、前記分割領域毎に、前記取得手段で取得されたヒストグラムを、画像が歪んだ状態での分割領域の面積と、画像が歪んでない状態での分割領域の面積とに基づいて補正する補正手段と、
前記分割領域毎に、前記補正手段による補正後のヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理手段と、
を有し、
前記補正手段は、画像が歪んでない状態での分割領域の面積が、画像が歪んだ状態での分割領域の面積よりも大きいときに、ヒストグラムの度数を増やす
ことを特徴とする画像処理装置である。
本発明の第2の態様は、
画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する第1取得手段と、
入力画像信号の画像全体の画素値のヒストグラムを取得する第2取得手段と、
前記入力画像信号が歪んだ画像の信号でない場合に、前記第1取得手段で取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施し、前記入力画像信号が歪んだ画像の信号である場合に、前記第2取得手段で取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理手段と、
を有することを特徴とする画像処理装置である。
本発明の第3の態様は、
コンピュータが、画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する取得ステップと、
コンピュータが、前記入力画像信号が歪んだ画像の信号である場合に、前記分割領域毎に、前記取得ステップで取得されたヒストグラムを、画像が歪んだ状態での分割領域の面積と、画像が歪んでない状態での分割領域の面積とに基づいて補正する補正ステップと、
コンピュータが、前記分割領域毎に、前記補正ステップによる補正後のヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理ステップと、
を有し、
前記補正ステップでは、画像が歪んでない状態での分割領域の面積が、画像が歪んだ状態での分割領域の面積よりも大きいときに、ヒストグラムの度数が増やされる
ことを特徴とする画像処理方法である。
本発明の第4の態様は、
コンピュータが、画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する第1取得ステップと、
コンピュータが、入力画像信号の画像全体の画素値のヒストグラムを取得する第2取得ステップと、
コンピュータが、前記入力画像信号が歪んだ画像の信号でない場合に、前記第1取得ステップで取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施し、前記入力画像信号が歪んだ画像の信号である場合に、前記第2取得ステップで取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理ステップと、
を有することを特徴とする画像処理方法である。
本発明の第5の態様は、
上記画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
本発明によれば、歪みのある画像内における物体の画像処理後の画素値が、物体の位置によって変化することを抑制することができる。
実施例1に係る画像処理装置の機能構成の一例を示すブロック図 入力画像信号の一例を示す図 入力画像信号の一例を示す図 補正係数の求め方の一例を説明するための図 補正前のヒストグラムの一例を示す図 実施例1の階調変換パラメータ決定部の処理フローの一例を示すフロー図 階調変換処理の一例を説明するための図 入力画像信号の一例を示す図 入力画像信号の一例を示す図 実施例1の効果の一例を示す図 黒側変換カーブの一例を示す図 実施例2に係る画像処理装置の機能構成の一例を示すブロック図 歪みのある画像内における物体のサイズの変化の一例を示す図
<実施例1>
本発明の実施例1に係る画像処理装置及び画像処理方法について図を参照して説明する。なお、本実施例では、画像処理装置により局所ダイナミックガンマ処理が行われる場合について説明する。局所ダイナミックガンマ処理では、画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムが取得される。そして、分割領域毎のヒストグラムに基づいて、分割領域毎に、階調変換パラメータ(例えばガンマ値(ガンマカーブ))が決定される。その後、分割領域毎の階調変換パラメータに基づいて、分割領域毎に、その分割領域内の画素値(階調値)が変換される(階調変換処理)。
なお、画像処理は、階調変換処理に限らない。画像処理はどのような画像処理であってもよい。例えば、画像処理は画像の色を変換する色変換処理であってもよい。
図1は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。本実施例に係る画像処理装置は、ケラレ検出部101、ヒストグラム取得部102、補正係数算出部103、ヒストグラム補正部104、階調変換パラメータ仮決定部105,106、階調変換パラメータ決定部107、階調変換部108、などを有する。
図1の各機能部は、不図示のCPU(中央演算処理装置;コンピュータ)が、不図示の
メモリ等の記録媒体に記憶されたプログラムを読み出して実行することにより実現される。
本実施例では、入力画像信号のY値、Cb値、Cr値(各8ビット)のうち、Y値の階調を変換する。具体的には、画像処理装置の入力端子に、入力画像信号としてYCbCr信号が入力される。そして、Y値が階調変換部108で変換(階調変換)され、階調変換後のYCbCr信号が、画像処理装置の出力端子から出力される。
なお、入力画像信号はYCbCr信号に限らない。例えば、入力画像信号はRGB信号であってもよい。そして、RGB信号に画像処理が施されて、画像処理後のRGB信号が出力されてもよい。具体的には、入力画像信号であるRGB信号からY値を算出し、算出したY値のヒストグラムに基づいてR値、G値、B値に画像処理が施されてもよい。また、入力画像信号であるRGB信号がYCbCr信号に変換され、変換後のYCbCr信号に画像処理が施されてもよい。そして、画像処理後のYCbCr信号が出力されてもよい。画像処理後のYCbCr信号がRGB信号に変換され、変換後のYCbCr信号が出力されてもよい。
また、本実施例では、階調変換部108は画素単位で階調変換を行うものとする。ケラレ検出部101、ヒストグラム取得部102、ヒストグラム補正部104、階調変換パラメータ仮決定部105は、入力画像信号がデジタル写真などの静止画の信号である場合には、画像毎(入力画像信号毎)に処理を行い、処理結果を更新する。即ち、入力画像信号(静止画)が変更されたタイミングで処理が行われ、処理結果が更新される。入力画像信号が動画の信号である場合には、フレーム毎やフィールド毎に処理が行われ、処理結果が更新される。また、補正係数算出部103は、入力の画像の歪み方が変わったタイミングで処理を行い、処理結果を更新する。
なお、処理の実行タイミングや処理結果の更新タイミングは、上記タイミングに限らない。例えば、ケラレ検出部101、ヒストグラム取得部102、ヒストグラム補正部104、階調変換パラメータ仮決定部105は、入力画像信号が静止画の信号か動画の信号かに拘わらず、フレーム毎やフィールド毎に処理を行い、処理結果を更新してもよい。但し、入力画像信号が静止画の信号である場合には、更新前後の処理結果は同じとなる。また、補正係数算出部103は、フレーム毎やフィールド毎に処理を行い、処理結果を更新してもよい。但し、入力画像信号の画像の歪み方が変わらない間は、更新前後の処理結果は同じとなる。
ケラレ検出部101について説明する。
図2,3は、入力画像信号の一例を示す図である。図2,3は、入力画像信号が歪んだ画像の信号である場合の例である。具体的には、図2,3は、魚眼レンズを用いて撮影された入力画像信号の例である。図2,3の中央の白色領域は、撮影された画像の領域(撮影領域)である。斜線の領域は、撮影された画像の領域以外の領域(非撮影領域;典型的には黒色の領域)である。非撮影領域は、一般的に、ケラレ(口径蝕)と呼ばれる。ケラレ検出部101は、撮影領域と非撮影領域の境界を検出する。撮影領域と非撮影領域の境界は、例えば、画像の上下左右の端から画素値が黒でなくなる位置を探すことで検出することができる。ケラレ検出部101は、撮影領域と非撮影領域の境界を表す境界情報kzを出力する。
ヒストグラム取得部102について説明する。
ヒストグラム取得部102は、画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラム(a_yh)を取得する。本実施例では、画像を水平方向10個×垂直方向6個の計60個の分割領域に分割するものとする。また、本実施例では、ヒストグラム取得部102は、境界情報kzに基づいて、撮影領域の画素値のみのヒストグラムを取得する(非撮影領域の画素値はヒストグラムに含めない)。
なお、本実施例ではマトリクス状に画像を分割するものとしたが、画像の分割方法はこれに限らない。例えば、画像は短冊状に分割されてもよい。また、分割領域の数は60個に限らない。分割領域の数は、30個や90個など、60個より多くても少なくてもよい。
なお、ヒストグラムは、外部から取得されてもよいし、入力画像信号から取得(検出)されもよい。
補正係数算出部103とヒストグラム補正部104について説明する。
補正係数算出部103とヒストグラム補正部104は、入力画像信号が歪んだ画像の信号である場合に、分割領域毎に、ヒストグラム取得部102で取得されたヒストグラムa_yhを補正する。本実施例では、画像が歪んだ状態での分割領域の面積と、画像が歪んでない状態での分割領域の面積とに基づいて、ヒストグラムa_yhが補正される。
補正係数算出部103は、入力画像信号に対応する歪曲収差情報を参照して、分割領域毎の補正係数a_gainを算出する。補正係数a_gainは、ヒストグラムを補正する際に使用する補正係数である。本実施例では、補正係数a_gainとして、画像が歪んだ状態での分割領域の面積に対する、画像が歪んでない状態での分割領域の面積の比が算出される。歪曲収差情報は、撮影に使用したレンズなどによって決まる情報であり、画像の歪み方(画像の歪みの度合い)を表す情報である。歪曲収差情報は、例えば、歪曲座標から通常座標への変換表と、通常座標から歪曲座標への変換表とを含む情報である。通常座標は、歪みの無い画像に対応する歪みの無い空間内の座標である。歪曲座標は、魚眼レンズで撮影したような歪みのある画像に対応する歪みのある空間内の座標である。本実施例では、歪曲座標から通常座標への変換を(x’,y’)=g(x,y)、通常座標から歪曲座標への変換を(x,y)=f(x’,y’)と表記する。ここで、(x,y)は歪曲座標である。(x’,y’)は、歪曲座標(x,y)に対応する通常座標である。g、fは変換係数である。
なお、歪曲収差情報は、外部から入力されてもよいし、画像処理装置内に予め記憶されていてもよい。例えば、歪曲収差情報は入力画像信号にメタデータとして付加されていてもよい。画像処理装置内に予め記憶された複数の歪曲収差情報の中から、ユーザ操作に応じて使用する歪曲収差情報が選択されてもよい。
具体的な補正係数の求め方について、図4を用いて説明する。
図4の領域blk1(座標a1,a2,a3,a4を頂点とする長方形(正方形を含む)の領域)は、画像が歪んだ状態での分割領域(歪曲分割領域)である。ここで、分割領域blk1の垂直方向のサイズをa_v、水平方向のサイズをa_hとする。
まず、補正係数算出部103は、歪曲分割領域から通常分割領域を求める。通常分割領域は、画像が歪んでない状態での分割領域、即ち、歪曲分割領域内の画像の歪みを補正(除去)して得られる領域である。なお、矩形の歪曲分割領域に対応する通常分割領域は必ずしも矩形にはならないが、本実施例では、計算を簡略化するために、通常分割領域として矩形の領域を求める。
具体的には、補正係数算出部103は、分割領域blk1の四隅の座標a1,a2,a3,a4(歪曲座標)を、歪曲収差情報の(x’,y’)=g(x,y)を用いて通常座標a1’,a2’,a3’,a4’に変換する。そして、補正係数算出部103は、歪曲座標a1,a2,a3,a4に対応する通常座標a1’,a2’,a3’,a4’に基づいて、通常分割領域として矩形の領域を求める。本実施例では、通常座標a1’,a2’,a3’,a4’を頂点とする四角形blk3の対角位置にある2点を対角位置とする矩形の領域blk2が、通常分割領域とされる。領域blk2の垂直方向のサイズはa_v2であり、水平方向のサイズはa_h2である。
そして、補正係数算出部103は、式1を用いて、補正係数a_gainとして、歪曲分割領域に対する通常分割領域の比を求める。

a_gain=(a_v2×a_h2)/(a_v×a_h) ・・・(式1)

補正係数算出部103は、分割領域毎(歪曲分割領域毎)に、補正係数a_gainを求める。
なお、通常分割領域の求め方は上記方法に限らない。例えば、通常座標a1’,a2’,a3’,a4’を頂点とする四角形blk3の各辺の中点を通る矩形の領域が、通常分割領域とされてもよい。四角形blk3の領域が通常分割領域とされてもよい。歪曲分割領域の輪郭上の複数の位置(歪曲座標)を複数の通常座標に変換し、当該複数の通常座標を繋いで得られる領域が通常分割領域とされてもよい。
ヒストグラム補正部104は、分割領域毎に、補正係数a_gainを用いて、ヒストグラムa_yhを補正する。本実施例では、補正後のヒストグラムを補正ヒストグラムh_yhと記載する。具体的には、ヒストグラム補正部104は、分割領域毎に、ヒストグラムa_yhの度数に補正係数a_gainを乗算することにより、補正ヒストグラムh_yhを算出する。
なお、ヒストグラムa_yhの補正方法は上記方法に限らない。通常分割領域の面積が、当該通常分割領域に対応する歪曲分割領域の面積よりも大きいときに、ヒストグラムa_yhの度数が増やされればよい。例えば、通常分割領域の面積が、当該通常分割領域に対応する歪曲分割領域の面積よりも大きいときに、それらの面積の差に基づいてヒストグラムa_yhが補正されてもよい。具体的には、上記面積の差が大きいほど度数が多くなるように、ヒストグラムa_yhが補正されてもよい。上記面積の差が大きいほど大きい補正係数a_gainが算出されてもよい。くなるように、歪曲分割領域に対する通常分割領域の比が大きいほど大きい補正係数a_gain(歪曲分割領域に対する通常分割領域の比とは異なる値)が算出されてもよい。ヒストグラムa_yhに補正係数a_gainが乗算されるのではなく、ヒストグラムa_yhに補正値が加算されてもよい。
階調変換パラメータ仮決定部105,106、階調変換パラメータ決定部107、及び、階調変換部108について説明する。
階調変換パラメータ仮決定部105,106、階調変換パラメータ決定部107、及び、階調変換部108により、分割領域毎に、補正ヒストグラムh_yhに基づいて、入力画像信号に画像処理(階調変換処理)が施される。
階調変換パラメータ仮決定部105は、分割領域毎に、ヒストグラムa_yh(補正前のヒストグラム)から、階調変換パラメータを仮決定する。具体的には、階調変換パラメータ仮決定部105は、分割領域毎に、黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrvとを決定する。黒側変換カーブ番号a_kcrvは、低階調範囲のガンマカーブを示す番号である。白側変換カーブ番号a_wcrvは、高階調範囲のガンマカーブを示す番号である。
なお、本実施例では、低階調範囲が階調値0〜128の範囲であり、高階調範囲が階調値192〜255の範囲であるものとするが、低階調範囲と高階調範囲はこれに限らない。低階調範囲は、階調値0〜64の範囲や階調値0〜160の範囲など、階調値0〜128の範囲より狭くても広くてもよい。また、低階調範囲の階調値の最小値は、5や10など、0でなくてもよい。高階調範囲は、階調値224〜255の範囲や階調値160〜255の範囲など、階調値192〜255の範囲より狭くても広くてもよい。また、高階調範囲の階調値の最大値は、245や250など、255でなくてもよい。
階調変換パラメータ仮決定部105は、処理対象の分割領域のヒストグラムa_yhから、当該分割領域の黒側局所MAX階調値、白側局所MAX階調値を求める。黒側局所MAX階調値は、低階調範囲内の階調値であって、ヒストグラムa_yhにおいて最も低階
調側にあるピークの階調値である。白側局所MAX階調値は、高階調範囲内の階調値であって、ヒストグラムa_yhにおいて最も高階調側にあるピークの階調値である。
そして、階調変換パラメータ仮決定部105は、黒側局所MAX階調値から黒側変換カーブ番号a_kcrvを決定し、白側局所MAX階調値から白側変換カーブ番号a_wcrvを決定する。本実施例では、不図示のRead Only Memory(ROM)に、低階調範囲の階調性を変換するガンマカーブ(黒側変換カーブ)と、高階調範囲の階調性を変換するガンマカーブ(白側変換カーブ)とが記憶されている。本実施例では、低階調範囲の129個の階調値(階調値0〜128)に対応する129本の黒側変換カーブと、高階調範囲の64個の階調値(階調値192〜255)に対応する64本の白側変換カーブとが用意されている。階調変換パラメータ仮決定部105は、黒側局所MAX階調値を黒側変換カーブ番号a_kcrvとし、白側局所MAX階調値を白側変換カーブ番号a_wcrvとする。
階調変換パラメータ仮決定部105は、全ての分割領域について、黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrvを決定する。
黒側局所MAX階調値と白側局所MAX階調値の求め方の具体例について説明する。
まず、階調変換パラメータ仮決定部105は、局所MAX判定条件を満たす階調値(局所MAX階調値)をヒストグラムa_yhから検出する。局所MAX判定条件は、例えば、以下の3つの条件(条件1〜3)である。以下の条件1〜3において、hist[n]は、ヒストグラムの階調値nの度数である。閾値lim1と調整値magは定数である。MAX()は最大値を得るための関数である。
条件1:hist[n]>lim1
条件2:MAX(hist[n−4]〜hist[n+4])=hist[n]
条件3:(hist[n−4]+hist[n+4])×mag>hist[n]
条件1は、度数の低い階調値を局所MAX階調値から除外するための条件である。条件2は、ピーク(ピークの階調値)を検出するための条件である。条件3は、グラフィック画像のようなベタ画像の階調値を局所MAX階調値から除外するための条件である。なお、n−Xが0より小さい場合には、hist[n−X]としてhist[n+X]を用いればよい。n+Xが255より大きい場合には、hist[n+X]としてhist[n−X]を用いればよい。なお、閾値lim1と調整値magは、メーカやユーザ等により適宜設定される。
そして、階調変換パラメータ仮決定部105は、検出した局所MAX階調値のうち、階調値0〜128の範囲内の階調値であって、最も低階調側の階調値を、黒側局所MAX階調値とする。階調値0〜128の範囲内に局所MAX階調値が無い場合には、階調値128が黒側局所MAX階調値とされる。
また、階調変換パラメータ仮決定部105は、検出した局所MAX階調値のうち、階調値192〜255の範囲内の階調値であって、最も高階調側の階調値を、白側局所MAX階調値とする。階調値192〜255の範囲内に局所MAX階調値が無い場合には、階調値192が白側局所MAX階調値とされる。
例えば、ヒストグラムa_yhが図5に示すヒストグラムである場合には、階調値24が黒側局所MAX階調値とされ、階調値232が白側局所MAX階調値とされる。
階調変換パラメータ仮決定部106は、分割領域毎に、補正ヒストグラムh_yh(補正後のヒストグラム)から、階調変換パラメータを仮決定する。具体的には、階調変換パラメータ仮決定部106は、分割領域毎に、黒側変換カーブ番号h_kcrvと白側変換カーブ番号h_wcrvとを決定する。黒側変換カーブ番号h_kcrvと白側変換カーブ番号h_wcrvの決定方法は、黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrvの決定方法と同様のため、その説明は省略する。
階調変換パラメータ決定部107は、分割領域毎の黒側変換カーブ番号a_kcrv、白側変換カーブ番号a_wcrv、黒側変換カーブ番号h_kcrv、及び、白側変換カーブ番号h_wcrvと、静動情報とを用いて、分割領域毎の階調変換パラメータsを決定する。階調変換パラメータsは、例えば、全階調範囲の階調性を変換するガンマカーブである。静動情報は入力画像信号が静止画の信号か動画の信号かを表す情報である。静動情報は、外部から入力されてもよいし、画像処理装置内で生成されてもよい。例えば、静動情報は、入力画像信号にメタデータとして付加されていてもよいし、ユーザ操作に応じて画像信号とは別に入力されてもよい。画像処理装置が、入力画像信号を解析することにより当該入力画像信号が静止画の信号か否かを判定し、判定結果に応じて静動情報を生成してもよい。本実施例では、静動情報に応じて、階調変換パラメータsの決定方法が切り替えられる。
入力画像信号が動画の信号である場合について説明する。
図6は、入力画像信号が動画の信号である場合の階調変換パラメータ決定部107の処理フローの一例を示すフローチャートである。階調変換パラメータ決定部107は、フレーム毎に図6の処理を行う。
まず、階調変換パラメータ決定部107は、目標黒側変換カーブ番号m_kcrvを決定する(S101)。目標黒側変換カーブ番号m_kcrvは、目標とする黒側変換カーブ番号である。基本的には、黒側変換カーブ番号a_kcrvが目標黒側変換カーブ番号m_kcrvとされる。但し、a_kcrvがh_kcrvから大きく離れていた場合は、m_kcrvの値が制限される。具体的には、黒側変換カーブ番号a_kcrvが(h_kcrv−k_th)〜(h_kcrv+k_th)の間の番号である場合には、黒側変換カーブ番号a_kcrvがそのまま目標黒側変換カーブ番号m_kcrvとされる。黒側変換カーブ番号a_kcrvが(h_kcrv−k_th)よりも小さい場合には、(h_kcrv−k_th)が目標黒側変換カーブ番号m_kcrvとされる。黒側変換カーブ番号a_kcrvが(h_kcrv+k_th)よりも大きい場合には、(h_kcrv+k_th)が目標黒側変換カーブ番号m_kcrvとされる。k_thは、例えば、h_kcrvのガンマカーブとの違い(画像処理結果の違い)が気にならないガンマカーブの範囲を示す値であり、実験的に予め求められた値である。
次に、階調変換パラメータ決定部107は、目標白側変換カーブ番号m_wcrvを決定する(S102)。目標白側変換カーブ番号m_wcrvの決定方法は、目標黒側変換カーブ番号m_kcrvの決定方法と同様である。具体的には、白側変換カーブ番号a_wcrvが(h_wcrv−w_th)〜(h_wcrv+w_th)の間の番号である場合には、白側変換カーブ番号a_wcrvがそのまま目標白側変換カーブ番号m_wcrvとされる。白側変換カーブ番号a_wcrvが(h_wcrv−w_th)よりも小さい場合には、(h_wcrv−w_th)が目標白側変換カーブ番号m_wcrvとされる。白側変換カーブ番号a_wcrvが(h_wcrv+w_th)よりも大きい場合には、(h_wcrv+w_th)が目標白側変換カーブ番号m_wcrvとされる。w_thはk_thと同じ値であってもよい。しかし、低階調側と高階調側とでガンマカーブの違いと階調処理結果の違いとの間の関係は異なるため、k_thとは別にw_thが定められていることが好ましい。
なお、S102の処理の後にS101の処理が行われてもよい。
本実施例では、目標黒側変換カーブ番号m_kcrvと目標白側変換カーブ番号m_wcrvに基づいて階調変換パラメータsが決定され、階調変換パラメータsを用いて入力画像信号の画素値(階調値)が変換される。即ち、低階調領域では、目標黒側変換カーブ番号m_kcrvに基づく階調補正パラメータを用いて入力画像信号の画素値(階調値)が変換される。高階調領域では、目標白側変換カーブ番号m_wcrvに基づく階調補正
パラメータを用いて入力画像信号の画素値(階調値)が変換される。そのため、S101とS102の処理の結果、本実施例では、以下のように画像処理が行われることとなる。即ち、補正前のヒストグラムに基づく画像処理パラメータ(階調変換パラメータ)が、補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値である場合に、補正前のヒストグラムに基づく画像処理パラメータを用いて入力画像信号に画像処理が施される。補正前のヒストグラムに基づく画像処理パラメータが、補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値でない場合には、補正前のヒストグラムに基づく画像処理パラメータが上記所定範囲内の値に変換される。具体的には、補正前のヒストグラムに基づく画像処理パラメータが、上記所定範囲内の値のうち最も補正前のヒストグラムに基づく画像処理パラメータに近い値に変換される。そして、変換後の画像処理パラメータを用いて入力画像信号に画像処理が施される。
次に、階調変換パラメータ決定部107は、変換カーブ番号の時間方向の変動(時間による変換カーブ番号の変化)を低減する処理(変動低減処理)を行う(S103)。
具体的には、目標黒側変換カーブ番号m_kcrvに基づいて、前フレームに対するS104の処理で使用された黒側変換カーブ番号old_kcrvから所定範囲内の黒側変換カーブ番号が、現黒側変換カーブ番号c_kcrvとして決定される。同様に、目標白側変換カーブ番号m_wcrvに基づいて、前フレームに対するS104の処理で使用された白側変換カーブ番号old_wcrvから所定範囲内の白側変換カーブ番号が、現白側変換カーブ番号c_wcrvとして決定される。
より具体的には、m_kcrv>old_kcrvの場合には、c_kcrv=(old_kcrv+1)とされる。m_kcrv<old_kcrvの場合には、c_kcrv=(old_kcrv−1)とされる。m_kcrv=old_kcrvの場合には、c_kcrv=old_kcrvとされる。同様に、m_wcrv>old_wcrvの場合には、c_wcrv=(old_wcrv+1)とされる。m_wcrv<old_wcrvの場合には、c_wcrv=(old_wcrv−1)とされる。m_wcrv=old_wcrvの場合には、c_wcrv=old_wcrvとされる。
なお、現黒側変換カーブ番号c_kcrvと現白側変換カーブ番号c_wcrvの決定方法は上記方法に限らない。例えば、目標黒側変換カーブ番号m_kcrvを基準として現黒側変換カーブ番号c_kcrvが決定され、目標白側変換カーブ番号m_wcrvを基準として現白側変換カーブ番号c_wcrvが決定されてもよい。具体的には、m_kcrv>old_kcrvの場合に、c_kcrv=(m_kcrv−1)とされてもよい。
なお、上記例では、所定範囲が、前フレームに対するS104の処理で使用された変換カーブ番号から±1の範囲であるが、所定範囲はこれに限らない。例えば、所定範囲は、基準とする変換カーブ番号から±3の範囲であってもよい。所定範囲は、基準とする変換カーブ番号毎に異なっていてもよい。
なお、本処理(S103の処理)は省略してもよい。目標黒側変換カーブ番号m_kcrvが現黒側変換カーブ番号c_kcrvとされてもよい。目標白側変換カーブ番号m_wcrvが現白側変換カーブ番号c_wcrvとされてもよい。
そして、階調変換パラメータ決定部107は、現黒側変換カーブ番号c_kcrvと現白側変換カーブ番号c_wcrvとから階調変換パラメータsを決定する(S104)。具体的には、現黒側変換カーブ番号c_kcrvに対応する黒側変換カーブと、現白側変換カーブ番号c_wcrvに対応する白側変換カーブとが、前述した不図示のROMから取得される。そして、取得した黒側変換カーブを低階調領域の階調変換パラメータとし、取得した白側変換カーブを高階調領域の階調変換パラメータとする階調変換パラメータsが生成される。低階調領域と高階調領域の間の階調領域(本実施例では階調値129〜191)の階調変換パラメータは、例えば、黒側変換カーブと白側変換カーブの間を補間することにより決定される。黒側変換カーブと白側変換カーブの間は直線で補間されてもよ
いし、曲線で補間されてもよい。
入力画像信号が静止画(例えばデジタル写真)の信号である場合について説明する。
入力画像信号が静止画の信号である場合は、黒側変換カーブ番号a_kcrv、白側変換カーブ番号a_wcrvをそのまま現黒側変換カーブ番号、現白側変換カーブ番号とし、階調変換パラメータsを決定する。その結果、本実施例では、入力画像信号が静止画の信号である場合に、補正前のヒストグラムに基づいて、入力画像信号に画像処理が施される。
階調変換パラメータ決定部107は、分割領域毎に上記処理を行い、分割領域毎の階調変換パラメータsを決定する。そして、階調変換パラメータ決定部107は、分割領域毎の階調変換パラメータsを階調変換部108に設定する。
階調変換部108は、階調変換パラメータ決定部107から分割領域毎の階調変換パラメータsを受信する。そして、階調変換部108は、分割領域毎の階調変換パラメータsを用いて、入力画像信号(具体的には入力画像信号のY値)の階調を変換する。なお、階調変換部108は、ケラレ検出部101から撮影領域と非撮影領域の境界を表す境界情報kzを受信し、撮影領域に対してのみ階調変換処理を施す。
本実施例では、画素毎に、4つの分割領域の4つ階調変換パラメータsを用いて、当該画素の階調値が変換される。上記4つの分割領域は、対象画素の属す分割領域、及び、当該分割領域に隣接する分割領域のうちの対象画素に近い3つの分割領域である。例えば、図7の例では、対象画素の属す分割領域(i,j)、分割領域(i,j)の右に隣接する分割領域(i,j+1)、分割領域(i,j)の上に隣接する分割領域(i−1,j)、分割領域(i,j)の右上に隣接する分割領域(i−1,j+1)の4つの分割領域の4つの階調変換パラメータsが用いられる。
具体的には、上記4つの階調変換パラメータをそれぞれ用いて、対象画素の階調値が変換される。それにより、対象画素の変換後の階調値として、4つの値が得られる。その後、上記4つの値が、分割領域の中心位置と対象画素の位置との距離に応じた重み(距離が短いほど大きくなる重み)で重み付け合成される。それにより、対象画素の階調変換処理後の階調値が得られる。
なお、対象画素の位置が分割領域の中心位置である場合には、対象画素の属す分割領域の階調変換パラメータsのみを用いて対象画素の階調値が変換されてもよい。対象画素の水平位置が分割領域の水平方向の中心位置であり、対象画素の垂直位置が分割領域の垂直方向の中心位置でない場合には、4つではなく2つの階調変換パラメータsを用いて対象画素の階調値が変換されてもよい。具体的には、対象画素の属す分割領域の階調変換パラメータsと、当該分割領域の上下に隣接する2つの分割領域のうち対象画素に近い分割領域の階調変換パラメータsとを用いて対象画素の階調値が変換されてもよい。対象画素の垂直位置が分割領域の垂直方向の中心位置であり、対象画素の水平位置が分割領域の水平方向の中心位置でない場合には、4つではなく2つの階調変換パラメータsを用いて対象画素の階調値が変換されてもよい。具体的には、対象画素の属す分割領域の階調変換パラメータsと、当該分割領域の左右に隣接する2つの分割領域のうち対象画素に近い分割領域の階調変換パラメータsとを用いて対象画素の階調値が変換されてもよい。
なお、階調変換処理の方法は上記方法に限らない。例えば、変換後の階調値を重み付け合成するのではなく、階調変換パラメータを重み付け合成し、重み付け合成後の階調変換パラメータを用いて対象画素の階調値が変換されてもよい。対象画素の属す分割領域の階調変換パラメータsと、当該分割領域に隣接する8つの分割領域の8つの階調変換パラメータsとの計9つの階調変換パラメータsを用いて、対象画素の階調値が変換されてもよい。分割領域毎に、その分割領域の階調変換パラメータsのみを用いて、当該分割領域内
の画素の階調値が変換されてもよい。
本実施例の効果について説明する。
図8,9は、入力画像信号の一例を示す図である。図8,9は、入力画像信号が歪んだ画像の信号である場合の例である。具体的には、図8,9は、魚眼レンズを用いて撮影された入力画像信号の例である。図8,9の中央の白色領域(及び白色領域内のドットで示された領域)は、撮影領域である。斜線の領域は、非撮影領域である。図8,9の破線で囲まれた領域は分割領域である。説明を簡単にするために、図8,9では、画像が水平方向5個×垂直方向3個の計15個の分割領域に分割されている。図8,9のドットで示された領域は同じ物体の画像の領域である。図8では、物体が撮影領域の左端に位置している。図9では、物体が撮影領域の中央に位置している。図8,9では、撮影領域の中央から端に向かうにつれて画像の歪みが大きくなっている。そのため、図8では物体の歪みが大きく、図9では物体の歪みは小さい。画像の歪みにより、図8では、図9に比べ物体の面積が小さくなっている。
図8の分割領域A(物体を含む分割領域)のヒストグラムa_yhは、図10(A)のようになる。図10(A)の階調値16は非撮影領域の階調値、階調値48は物体の階調値、階調値240は背景(撮影領域内の物体以外の領域)の階調値である。lim1は、図10(A)〜10(C)の破線で示す度数である。本発明を適応せずに局所ダイナミックガンマ処理を行った場合、分割領域Aの黒側局所MAX階調値は16になる。非撮影領域の画素値をヒストグラムから除外したとしても、階調値48は、度数がlim1より小さいため、黒側局所MAX階調値として検出されない。そのため、階調値128が黒側局所MAX階調値とされる。白側局所MAX階調値については説明を省略する。
また、図9の分割領域B(物体を含む分割領域)のヒストグラムa_yhは、図10(B)のようになる。図9の例では、階調値48の度数がlim1より大きいため、分割領域Bの黒側局所MAX階調値は48となる。
通常、黒側局所MAX階調値に対応する黒側変換カーブは、黒側局所MAX階調値より低階調側の階調数を減らし、黒側局所MAX階調値付近の階調数を増やすような特性を有する(例えば図11)。換言すれば、黒側局所MAX階調値に対応する黒側変換カーブは、黒側局所MAX階調値より低階調側の階調性を低減し、黒側局所MAX階調値付近の階調性を高める特性を有する。そのため、黒側局所MAX階調値が128の分割領域Aでは、低階調領域の階調性が全体的に低減される。その結果、物体の明るさが暗くなる。一方、黒側局所MAX階調値が48の分割領域Bでは、物体の階調値である階調値48付近の階調数が増やされる。その結果、物体の明るさが分割領域Aよりも明るくなる。このように、従来の方法では、同じ物体でも場所によって明るさが異なってしまう。その結果、物体が移動する動画像において、当該物体の明るさがフレーム間で異なってしまう(明るさのちらつきが生じてしまう)。
一方、本発明を適応した場合の分割領域Aの補正ヒストグラムh_yhは、図10(C)のようになる。非撮影領域の画素値はヒストグラムから除外されているため、階調値16はピークとはならない(階調値16の度数は0となる)。また、分割領域Aの補正ヒストグラムh_yhは、分割領域Aのヒストグラムa_yhの度数に分割領域Aの補正係数a_gainを乗算したものである。ヒストグラムa_yhの度数に補正係数a_gainを乗算したことにより、補正ヒストグラムh_yhにおける階調値48の度数は、ヒストグラムa_yhにおける階調値48の度数よりも多くなっている。具体的には、補正ヒストグラムh_yhにおける階調値48の度数はlim1より多くなっている。そのため、分割領域Aの黒側局所MAX階調値は48になる。即ち、分割領域Aと分割領域Bとで、黒側局所MAX階調値は同じ値となる。その結果、物体が分割領域Aにあるときと、分割領域Bにあるときとで、物体の画像処理後の画素値を一致(ほぼ一致)させることがで
きる。
なお、本実施例では、k_thを用いて黒側局所MAX階調値が変換される。例えば、ヒストグラムa_yhから求まる黒側変換カーブ番号a_kcrvは128であるため、k_th=5の場合、黒側変換カーブ番号(目標黒側変換カーブ番号m_kcrv)は53(=48+5)となる。物体が分割領域Bにあるときの分割領域Bの黒側変換カーブ番号が48であったとすると、物体が分割領域Aにあるときと、分割領域Bにあるときとで、物体の領域を含む分割領域の黒側変換カーブ番号が異なることとなる。しかしながら、k_thは、ガンマカーブ(画像処理結果)の違いが気にならない程度の値である。そのため、物体が分割領域Aにあるときと、分割領域Bにあるときとで、物体の画像処理後の画素値はほぼ一致する。
その結果、本実施例では、歪みのある画像内における物体の画像処理後の画素値が、物体の位置によって変化することを抑制することができる。ひいては、物体が移動する動画像において、当該物体の明るさがフレーム間で異なってしまう(明るさのちらつきが生じてしまう)ことを抑制することができる。
なお、図10(A)〜10(C)の例では、説明を簡単にするため、1つの階調値に度数が集中しているが、実際には、そのような階調値は局所MAX階調値とされない(条件3を満たさないため)。実際には、ある程度の幅を有する階調範囲に度数を有し、当該階調範囲内において度数が最大となる階調値がピークの階調値とされる。
以上述べたように、本実施例によれば、画像が歪んでない状態での分割領域の面積が、画像が歪んだ状態での分割領域の面積よりも大きいときに、ヒストグラムの度数が増やされる。具体的には、ヒストグラムの度数に、画像が歪んだ状態での分割領域の面積に対する、画像が歪んでない状態での分割領域の面積の比が乗算される。それにより、歪みのある画像内における物体の画像処理後の画素値が、物体の位置によって変化することを抑制することができる。ひいては、物体が移動する動画像において、当該物体の明るさや色がフレーム間で異なってしまう(明るさや色のちらつきが生じてしまう)ことを抑制することができる。
また、本実施例では、補正前のヒストグラムに基づく画像処理パラメータが、補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値である場合に、補正前のヒストグラムに基づく画像処理パラメータを用いて入力画像信号に画像処理が施される。補正前のヒストグラムに基づく画像処理パラメータを用いて入力画像信号に画像処理を施すことにより、入力画像信号に応じた画像処理を行うことができる。また、ヒストグラムの補正による画像処理パラメータの変化が小さいときには、補正前のヒストグラムに基づく画像処理パラメータを用いても、位置の違いによる物体の画素値(画像処理後の画素値)の違いは目立たない。
また、本実施例では、補正前のヒストグラムに基づく画像処理パラメータが、補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値でない場合に、補正前のヒストグラムに基づく画像処理パラメータが上記所定範囲内の値に変換され、変換後の画像処理パラメータを用いて入力画像信号に画像処理が施される。ヒストグラムの補正による画像処理パラメータの変化が大きいときには、補正前のヒストグラムに基づく画像処理パラメータを用いた場合に、位置の違いによる物体の画素値の違いが目立ってしまう。そのため、そのような場合に、補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値を用いて入力画像信号に画像処理を施すことにより、位置の違いによる物体の画素値の違いを目立たなくすることができる。
また、本実施例では、補正前のヒストグラムに基づく画像処理パラメータが、補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値でない場合に、補正前のヒストグラムに基づく画像処理パラメータが、上記所定範囲内の値のうち最も補正前のヒストグラムに基づく画像処理パラメータに近い値に変換される。それにより、入力画像信号に応じた画像処理結果に近い画像処理結果を得ることができ、且つ、位置の違いによる物体の画素値の違いを目立たなくすることができる。
なお、全ての分割領域について、補正前のヒストグラムに基づく画像処理パラメータを用いたり、変換したりせずに、補正後のヒストグラムに基づく画像処理パラメータを用いて画像処理が行われてもよい。そのような構成であっても、物体の位置によって画像処理後の画素値が変化することを抑制することができる。
また、本実施例では、撮影領域の画素値のみのヒストグラムが取得される。即ち、非撮影領域の画素がヒストグラムから除外される。それにより、非撮影領域の画素による画像処理パラメータへの影響を無くすことができる。具体的には、非撮影領域の画素値が入力画像信号のヒストグラムのピークの画素値として誤検出されることを防ぐことができる。その結果、入力画像信号に対してより適切な画像処理を施すことができる。
なお、ヒストグラムはこれに限らない。例えば、画素値が撮影領域の画素値か非撮影領域の画素値かを判断せずに、ヒストグラムが取得されてもよい。分割領域内の全画素値のヒストグラムが取得されてもよい。分割領域内に設定された一部の領域内の全画素値のヒストグラムが取得されてもよい。そのような構成であっても、入力画像信号が非撮影領域を含んでいなければ、適切な画像処理を行うことができる。
また、本実施例では、入力画像信号が静止画の信号である場合に、補正前のヒストグラムに基づいて、入力画像信号に画像処理が施される。そのような構成により、入力画像信号が動画の信号である場合に設定できない分割領域毎の画像処理パラメータを設定することができ、入力画像信号に応じた画像処理結果を得ることができる。なお、入力画像信号が静止画の信号である場合には、物体の動きはないため、補正前のヒストグラムに基づいて画像処理を行ったとしても、物体の明るさや色のちらつきが生じることはない。
なお、入力画像信号が静止画の信号か動画の信号かに依らず、補正後のヒストグラムに基づいて画像処理が行われてもよい。そのような構成とすれば、例えば、画像内の物体の位置が互いに異なる複数の静止画間で、物体の画素値の差を目立たなくすることができる。
<実施例2>
本発明の実施例2に係る画像処理装置及び画像処理方法について図を参照して説明する。本実施例では、入力画像信号が歪んだ画像の信号か否かに応じて、画像処理を切り替える。
図12は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。本実施例に係る画像処理装置は、ケラレ検出部201、分割ヒストグラム取得部202、分割階調変換パラメータ決定部203、全体ヒストグラム取得部204、全体階調変換パラメータ決定部205、階調変換方式決定部206、階調変換パラメータ決定部207、階調変換部208、などを有する。
ケラレ検出部201は、実施例1のケラレ検出部101と同様の機能を有する。
階調変換部208は、実施例1の階調変換部108と同様の機能を有する。
分割ヒストグラム取得部202は、実施例1のヒストグラム取得部102と同様の機能を有する。即ち、分割ヒストグラム取得部202は、分割領域毎に、入力画像信号の画素
値のヒストグラムa_yhを取得する(第1取得)。
分割階調変換パラメータ決定部203は、実施例1の階調変換パラメータ仮決定部105と同様の機能を有する。即ち、分割階調変換パラメータ決定部203は、分割領域毎に、分割ヒストグラム取得部202で取得されたヒストグラムa_yhから、黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrvを決定する。
全体ヒストグラム取得部204は、入力画像信号の画像全体の画素値のヒストグラムz_yhを取得する(第2取得)。具体的には、全体ヒストグラム取得部204は、分割ヒストグラム取得部202で取得された分割領域毎のヒストグラムa_yh(分割ヒストグラム)を足し合わせて、入力画像信号の画像全体の画素値のヒストグラムz_yh(全体ヒストグラム)を算出する。
なお、全体ヒストグラムz_yhの取得方法はこれに限らない。例えば、全体ヒストグラムz_yhは、外部から取得されてもよいし、分割ヒストグラムa_yhとは別に入力画像信号から取得(検出)されてもよい。
全体階調変換パラメータ決定部205は、全体ヒストグラムz_yhから、画像全体の黒側変換カーブ番号z_kcrvと白側変換カーブ番号z_wcrvを決定する。黒側変換カーブ番号z_kcrvと白側変換カーブ番号z_wcrvの決定方法は、黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrvの決定方法と同じである。
階調変換方式決定部206は、静動情報、及び、レンズ情報または歪曲収差情報に応じて、階調変換部208で行う階調変換処理の方式(階調変換方式m)を決定する。具体的には、階調変換方式決定部206は、静動情報から、入力画像信号が静止画の信号か否かを判断し、レンズ情報または歪曲収差情報から、入力画像信号の画像の歪みを判断する。そして、階調変換方式決定部206は、それらの判断の結果に応じて、階調変換方式mを決定する。レンズ情報は、入力画像信号を撮影する際に使用したレンズの種類を表す情報である。レンズ情報は、外部から入力されてもよいし、画像処理装置内に予め記憶されていてもよい。例えば、レンズ情報は、入力画像信号にメタデータとして付加されていてもよいし、ユーザにより入力されてもよい。画像処理装置内に予め記憶された複数のレンズ情報の中から、ユーザ操作に応じて使用するレンズ情報が選択されてもよい。階調変換方式mには、“分割方式”や“全体方式”などがある。
“分割方式”は、分割ヒストグラム取得部202で取得された分割ヒストグラムa_yhに基づいて、入力画像信号に画像処理(階調変換処理)を施す方式である。“全体方式”は、全体ヒストグラム取得部204で取得された全体ヒストグラムz_yhに基づいて、入力画像信号に画像処理(階調変換処理)を施す方式である。
入力画像信号が静止画(例えばデジタル写真)の信号である場合には、階調変換方式決定部206は、画像の歪みに拘わらず、階調変換方式mとして“分割方式”を設定する。
入力画像信号が動画の信号である場合には、階調変換方式決定部206は、レンズ情報または歪曲収差情報に応じて階調変換方式mを決定する。
レンズ情報に応じて階調変換方式mを決定する場合について説明する。
階調変換方式決定部206は、レンズ情報から、入力画像信号が歪んだ画像の信号か否かを判断する。入力画像信号が歪んだ画像の信号である場合には、階調変換方式決定部206は、階調変換方式mとして“全体方式”を設定する。入力画像信号が歪んだ画像の信号でない場合には、階調変換方式決定部206は、階調変換方式mとして“分割方式”を設定する。例えば、レンズ情報が、標準レンズ、望遠レンズ、マクロレンズを示す場合には、階調変換方式決定部206は、入力画像信号が歪んだ画像の信号でないと判断する。レンズ情報が、魚眼レンズ、広角レンズを示す場合には、階調変換方式決定部206は、入力画像信号が歪んだ画像の信号であると判断する。
歪曲収差情報に応じて階調変換方式mを決定する場合について説明する。
階調変換方式決定部206は、歪曲収差情報から、入力画像信号で表される画像の歪みの度合いを判断する。画像の歪みの度合いが所定の閾値より大きい場合には、階調変換方式決定部206は、階調変換方式mとして“全体方式”を設定する。画像の歪みの度合いが所定の閾値以下の場合には、階調変換方式決定部206は、階調変換方式mとして“分割方式”を設定する。画像の歪みの度合いは、例えば、入力画像信号の画素毎の通常座標と歪曲座標の差の最大値、最小値、平均値などである。
階調変換パラメータ決定部207は、分割領域毎の黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrv、画像全体の黒側変換カーブ番号z_kcrvと白側変換カーブ番号z_wcrv、及び、階調変換方式mから、分割領域毎の階調変換パラメータsを決定する。そして、階調変換パラメータ決定部207は、分割領域毎の階調変換パラメータsを階調変換部208に設定する。
階調変換方式mが“分割方式”の場合は、分割領域毎に、その分割領域の黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrvから、階調変換パラメータsが決定される。例えば、黒側変換カーブ番号a_kcrvと白側変換カーブ番号a_wcrvに対して、変換カーブ番号の時間方向の変動を低減する処理(変動低減処理)が施される。そして、変動低減処理後の黒側変換カーブ番号に対応する黒側変換カーブを低階調領域の階調変換パラメータとし、変動低減処理後の白側変換カーブ番号に対応する白側変換カーブを高階調領域の階調変換パラメータとする階調変換パラメータsが生成される。
なお、変動低減処理は行わず、黒側変換カーブ番号a_kcrvに対応する黒側変換カーブを低階調領域の階調変換パラメータとし、白側変換カーブ番号a_wcrvに対応する白側変換カーブを高階調領域の階調変換パラメータとする階調変換パラメータsが生成されてもよい。
階調変換方式mが“全体方式”の場合は、画像全体の黒側変換カーブ番号z_kcrvと白側変換カーブ番号z_wcrvから、分割領域毎の階調変換パラメータsが決定される。例えば、黒側変換カーブ番号z_kcrvと白側変換カーブ番号z_wcrvに対して変動低減処理が施される。そして、変動低減処理後の黒側変換カーブ番号に対応する黒側変換カーブを低階調領域の階調変換パラメータとし、変動低減処理後の白側変換カーブ番号に対応する白側変換カーブを高階調領域の階調変換パラメータとする階調変換パラメータsが生成される。階調変換方式mが“全体方式”の場合には、画像全体に対して階調変換パラメータsが1つ求まる。階調変換パラメータ決定部207は、生成された(求められた)1つの階調変換パラメータsを各分割領域に割り当てる。それにより、分割領域毎の階調変換パラメータsが設定される。
なお、変動低減処理は行わず、黒側変換カーブ番号z_kcrvに対応する黒側変換カーブを低階調領域の階調変換パラメータとし、白側変換カーブ番号z_wcrvに対応する白側変換カーブを高階調領域の階調変換パラメータとする階調変換パラメータsが生成されてもよい。
なお、階調変換方式mが“全体方式”の場合は、全ての分割領域に同じ階調変換パラメータsが設定される。
なお、階調変換方式mが“全体方式”の場合には、分割領域毎に階調変換パラメータsを設定するのではなく、画像全体に対して1つの階調変換パラメータsが設定されてもよい。そして、画像全体に対して設定された1つの階調変換パラメータsに従って各画素の階調値が変換されてもよい。
階調変換部208は、実施例1の階調変換部108と同様の機能を有する。具体的には、階調変換部208は、階調変換パラメータ決定部207で決定された分割領域毎の階調
変換パラメータsを用いて、入力画像信号の階調を変換する。
以上述べたように、本実施例によれば、画像の歪みの度合いが小さい(画像の歪みがない)場合に、分割領域毎のヒストグラムに基づいて入力画像信号に画像処理が施される。また、画像の歪みの度合いが大きい(画像の歪みがある)場合には、画像全体のヒストグラムに基づいて入力画像信号に画像処理が施される。それにより、歪みのある画像内における物体の、画像処理後の画素値が、物体の位置によって変化することを抑制することができる。ひいては、物体が移動する動画像において、当該物体の明るさや色がフレーム間で異なってしまう(明るさや色のちらつきが生じてしまう)ことを抑制することができる。
具体的には、分割領域毎のヒストグラムを用いることにより、画像全体のヒストグラムを用いるよりも細かく画像処理を行うことができる。また、画像の歪みの度合いが小さい場合には、画像内の位置に依る物体のサイズの変化は小さい。画像の歪みがない場合には、画像内の位置に依って物体のサイズは変化しない。そのため、分割領域毎のヒストグラムを用いたとしても、位置の違いによる物体の画素値(画像処理後の画素値)の違いは目立たない(生じない)。
また、画像の歪みの度合いが大きい場合や画像の歪みがある場合に分割領域毎のヒストグラムを用いると、画像内の位置に依って物体の画素値(画像処理後の画素値)が変化する虞がある。本実施例では、そのような場合に、画像全体のヒストグラムが使用される。そのため、補正前の画素値と補正後の画素値の対応関係が画素位置によって変化することを防ぐことができ、画像内の位置に依って物体の画素値(画像処理後の画素値)が変化することを防ぐことができる。
また、入力画像信号が静止画の信号である場合には、物体の動きはないため、補正前のヒストグラムに基づいて画像処理を行ったとしても、物体の明るさや色のちらつきが生じることはない。本実施例では、そのような場合に、画像の歪みに拘わらず、分割領域毎のヒストグラムに基づいて入力画像信号に画像処理が施される。それにより、入力画像信号に応じた画像処理結果を得ることができる。
なお、入力画像信号が静止画の信号であるか否かに拘わらず、画像の歪みに応じて画像処理が切り替えられてもよい。そのような構成であっても、物体の位置によって画像処理後の画素値が変化することを抑制することができる。
なお、入力画像信号が撮影領域と非撮影領域とを含む画像の信号である場合に、分割ヒストグラム取得部202と全体ヒストグラム取得部204は、撮影領域の画素値のみのヒストグラムを取得することが好ましい。そのような構成とすれば、非撮影領域の画素による画像処理パラメータへの影響を無くすことができる。
なお、実施例1,2では、歪みのある画像の信号が、魚眼レンズを用いて撮影された画像信号である場合の例を示したが、これに限らない。意図的な歪みのある画像の信号であれば、魚眼レンズ以外のレンズを用いて撮影された画像信号であってもよい。例えば、歪みのある画像の信号は、広角レンズを用いて撮影された画像信号であってもよい。
102 ヒストグラム取得部
104 ヒストグラム補正部
108 階調変換部
202 分割ヒストグラム取得部
204 全体ヒストグラム取得部
208 階調変換部

Claims (23)

  1. 画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する取得手段と、
    前記入力画像信号が歪んだ画像の信号である場合に、前記分割領域毎に、前記取得手段で取得されたヒストグラムを、画像が歪んだ状態での分割領域の面積と、画像が歪んでない状態での分割領域の面積とに基づいて補正する補正手段と、
    前記分割領域毎に、前記補正手段による補正後のヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理手段と、
    を有し、
    前記補正手段は、画像が歪んでない状態での分割領域の面積が、画像が歪んだ状態での分割領域の面積よりも大きいときに、ヒストグラムの度数を増やす
    ことを特徴とする画像処理装置。
  2. 前記補正手段は、ヒストグラムの度数に、画像が歪んだ状態での分割領域の面積に対する、画像が歪んでない状態での分割領域の面積の比を乗算する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記画像処理手段は、
    前記補正手段による補正前のヒストグラムに基づく画像処理パラメータが、前記補正手段による補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値である場合に、前記補正手段による補正前のヒストグラムに基づく画像処理パラメータを用いて前記入力画像信号に画像処理を施し、
    前記補正手段による補正前のヒストグラムに基づく画像処理パラメータが、前記補正手段による補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値でない場合に、前記補正手段による補正前のヒストグラムに基づく画像処理パラメータを前記所定範囲内の値に変換し、変換後の画像処理パラメータを用いて前記入力画像信号に画像処理を施す
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記画像処理手段は、前記補正手段による補正前のヒストグラムに基づく画像処理パラメータが、前記補正手段による補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値でない場合に、前記補正手段による補正前のヒストグラムに基づく画像処理パラメータを、前記所定範囲内の値のうち最も前記補正前のヒストグラムに基づく画像処理パラメータに近い値に変換する
    ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、前記取得手段は、撮影領域の画素値のみのヒストグラムを取得する
    ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、前記画像処理手段は、撮影領域に対してのみ画像処理を施す
    ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記入力画像信号が静止画の信号である場合に、前記画像処理手段は、前記補正手段による補正前のヒストグラムに基づいて、前記入力画像信号に画像処理を施す
    ことを特徴とする請求項1〜6のいずれか1項に記載の画像処理装置。
  8. 画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する第1取得手段と、
    入力画像信号の画像全体の画素値のヒストグラムを取得する第2取得手段と、
    前記入力画像信号が歪んだ画像の信号でない場合に、前記第1取得手段で取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施し、前記入力画像信号が歪んだ画像の信号である場合に、前記第2取得手段で取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理手段と、
    を有することを特徴とする画像処理装置。
  9. 前記画像処理手段は、画像の歪みの度合いが所定の閾値以下である場合に、前記第1取得手段で取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施し、画像の歪みの度合いが前記所定の閾値より大きい場合に、前記第2取得手段で取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施す
    ことを特徴とする請求項8に記載の画像処理装置。
  10. 前記入力画像信号が静止画の信号である場合に、前記画像処理手段は、画像の歪みに拘わらず、前記第1取得手段で取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施す
    ことを特徴とする請求項8または9に記載の画像処理装置。
  11. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、前記第1取得手段と前記第2取得手段は、撮影領域の画素値のみのヒストグラムを取得する
    ことを特徴とする請求項8〜10のいずれか1項に記載の画像処理装置。
  12. コンピュータが、画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する取得ステップと、
    コンピュータが、前記入力画像信号が歪んだ画像の信号である場合に、前記分割領域毎に、前記取得ステップで取得されたヒストグラムを、画像が歪んだ状態での分割領域の面積と、画像が歪んでない状態での分割領域の面積とに基づいて補正する補正ステップと、
    コンピュータが、前記分割領域毎に、前記補正ステップによる補正後のヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理ステップと、
    を有し、
    前記補正ステップでは、画像が歪んでない状態での分割領域の面積が、画像が歪んだ状態での分割領域の面積よりも大きいときに、ヒストグラムの度数が増やされる
    ことを特徴とする画像処理方法。
  13. 前記補正ステップでは、ヒストグラムの度数に、画像が歪んだ状態での分割領域の面積に対する、画像が歪んでない状態での分割領域の面積の比が乗算される
    ことを特徴とする請求項12に記載の画像処理方法。
  14. 前記画像処理ステップでは、
    前記補正ステップによる補正前のヒストグラムに基づく画像処理パラメータが、前記補正ステップによる補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値である場合に、前記補正ステップによる補正前のヒストグラムに基づく画像処理パラメータを用いて前記入力画像信号に画像処理が施され、
    前記補正ステップによる補正前のヒストグラムに基づく画像処理パラメータが、前記補正ステップによる補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値でない場合に、前記補正ステップによる補正前のヒストグラムに基づく画像処理パラメ
    ータが前記所定範囲内の値に変換され、変換後の画像処理パラメータを用いて前記入力画像信号に画像処理が施される
    ことを特徴とする請求項12または13に記載の画像処理方法。
  15. 前記画像処理ステップでは、前記補正ステップによる補正前のヒストグラムに基づく画像処理パラメータが、前記補正ステップによる補正後のヒストグラムに基づく画像処理パラメータから所定範囲内の値でない場合に、前記補正ステップによる補正前のヒストグラムに基づく画像処理パラメータが、前記所定範囲内の値のうち最も前記補正前のヒストグラムに基づく画像処理パラメータに近い値に変換される
    ことを特徴とする請求項14に記載の画像処理方法。
  16. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、前記取得ステップでは、撮影領域の画素値のみのヒストグラムが取得される
    ことを特徴とする請求項12〜15のいずれか1項に記載の画像処理方法。
  17. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、前記画像処理ステップでは、撮影領域に対してのみ画像処理が施される
    ことを特徴とする請求項12〜16のいずれか1項に記載の画像処理方法。
  18. 前記入力画像信号が静止画の信号である場合に、前記画像処理ステップでは、前記補正ステップによる補正前のヒストグラムに基づいて、前記入力画像信号に画像処理が施される
    ことを特徴とする請求項12〜17のいずれか1項に記載の画像処理方法。
  19. コンピュータが、画像を分割して得られる分割領域毎に、入力画像信号の画素値のヒストグラムを取得する第1取得ステップと、
    コンピュータが、入力画像信号の画像全体の画素値のヒストグラムを取得する第2取得ステップと、
    コンピュータが、前記入力画像信号が歪んだ画像の信号でない場合に、前記第1取得ステップで取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施し、前記入力画像信号が歪んだ画像の信号である場合に、前記第2取得ステップで取得されたヒストグラムに基づいて、前記入力画像信号に画像処理を施す画像処理ステップと、
    を有することを特徴とする画像処理方法。
  20. 前記画像処理ステップでは、画像の歪みの度合いが所定の閾値以下である場合に、前記第1取得ステップで取得されたヒストグラムに基づいて、前記入力画像信号に画像処理が施され、画像の歪みの度合いが前記所定の閾値より大きい場合に、前記第2取得ステップで取得されたヒストグラムに基づいて、前記入力画像信号に画像処理が施される
    ことを特徴とする請求項19に記載の画像処理方法。
  21. 前記入力画像信号が静止画の信号である場合に、前記画像処理ステップでは、画像の歪みに拘わらず、前記第1取得ステップで取得されたヒストグラムに基づいて、前記入力画像信号に画像処理が施される
    ことを特徴とする請求項19または20に記載の画像処理方法。
  22. 前記入力画像信号が、撮影された画像の領域である撮影領域と、それ以外の領域である非撮影領域とを含む画像の信号である場合に、前記第1取得ステップと前記第2取得ステップでは、撮影領域の画素値のみのヒストグラムが取得される
    ことを特徴とする請求項19〜21のいずれか1項に記載の画像処理方法。
  23. 請求項12〜22のいずれか1項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
JP2012148808A 2012-07-02 2012-07-02 画像処理装置、画像処理方法、及び、プログラム Pending JP2014010776A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012148808A JP2014010776A (ja) 2012-07-02 2012-07-02 画像処理装置、画像処理方法、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012148808A JP2014010776A (ja) 2012-07-02 2012-07-02 画像処理装置、画像処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2014010776A true JP2014010776A (ja) 2014-01-20

Family

ID=50107381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012148808A Pending JP2014010776A (ja) 2012-07-02 2012-07-02 画像処理装置、画像処理方法、及び、プログラム

Country Status (1)

Country Link
JP (1) JP2014010776A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014171123A (ja) * 2013-03-04 2014-09-18 Ricoh Co Ltd 撮像装置、露出制御方法およびプログラム
CN109102471A (zh) * 2018-07-20 2018-12-28 遵义师范学院 一种基于直方图修正的低功耗图像显示驱动方法
KR101937859B1 (ko) * 2017-09-06 2019-01-11 단국대학교 산학협력단 360도 이미지에서의 공통 객체 탐색 시스템 및 방법
JP2020031311A (ja) * 2018-08-22 2020-02-27 矢崎エナジーシステム株式会社 車載カメラ設定方法および車載システム
CN111161140A (zh) * 2018-11-08 2020-05-15 银河水滴科技(北京)有限公司 一种畸变图像的矫正方法及装置
CN111986195A (zh) * 2020-09-07 2020-11-24 北京凌云光技术集团有限责任公司 一种外观缺陷检测方法及系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014171123A (ja) * 2013-03-04 2014-09-18 Ricoh Co Ltd 撮像装置、露出制御方法およびプログラム
KR101937859B1 (ko) * 2017-09-06 2019-01-11 단국대학교 산학협력단 360도 이미지에서의 공통 객체 탐색 시스템 및 방법
CN109102471A (zh) * 2018-07-20 2018-12-28 遵义师范学院 一种基于直方图修正的低功耗图像显示驱动方法
JP2020031311A (ja) * 2018-08-22 2020-02-27 矢崎エナジーシステム株式会社 車載カメラ設定方法および車載システム
JP7084253B2 (ja) 2018-08-22 2022-06-14 矢崎エナジーシステム株式会社 車載カメラ設定方法および車載システム
CN111161140A (zh) * 2018-11-08 2020-05-15 银河水滴科技(北京)有限公司 一种畸变图像的矫正方法及装置
CN111161140B (zh) * 2018-11-08 2023-09-19 银河水滴科技(北京)有限公司 一种畸变图像的矫正方法及装置
CN111986195A (zh) * 2020-09-07 2020-11-24 北京凌云光技术集团有限责任公司 一种外观缺陷检测方法及系统
CN111986195B (zh) * 2020-09-07 2024-02-20 凌云光技术股份有限公司 一种外观缺陷检测方法及系统

Similar Documents

Publication Publication Date Title
US8942475B2 (en) Image signal processing device to emphasize contrast
US8368779B2 (en) Image processing apparatus for performing gradation correction on subject image
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
CN110930301B (zh) 图像处理方法、装置、存储介质及电子设备
US8411991B2 (en) Image processing apparatus, image processing method, and program
US7170645B2 (en) Method and apparatus for enhancing digital image quality
JP4322781B2 (ja) 撮像装置
JP4730412B2 (ja) 画像処理装置及び画像処理方法
US8284271B2 (en) Chroma noise reduction for cameras
JP4810473B2 (ja) 画像処理装置および画像処理プログラム
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP2014010776A (ja) 画像処理装置、画像処理方法、及び、プログラム
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
JP2004221644A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
WO2007023817A1 (ja) 画像処理システムおよび画像処理プログラム
JP4054360B1 (ja) 画像処理装置およびプログラム記録媒体
JP5358344B2 (ja) 撮像装置及び撮像方法
CN113068011B (zh) 图像传感器、图像处理方法及系统
US8265419B2 (en) Image processing apparatus and image processing method
CN115330621A (zh) 图像处理方法、装置、设备、存储介质及程序产品
JP4455554B2 (ja) 画像処理装置及び画像処理方法
JP4761560B2 (ja) 画像信号処理装置及び画像信号処理方法
JP5297897B2 (ja) 画像信号処理装置
JP4265986B2 (ja) 画像処理方法および装置並びにプログラム
JP5535443B2 (ja) 画像処理装置