JP4525719B2 - 階調補正装置、階調補正方法、及び、プログラム - Google Patents

Description

本発明は、例えばデジタルカメラに用いて好適な階調補正装置、階調補正方法、及び、プログラムに関するものである。

従来、画像の階調を自動的に補正する方法として画像の輝度レベルを画素毎に補正する方法がある。例えば下記特許文献１には以下の技術が記載されている。まず、入力画像を複数のブロック領域に分割し、各ブロック領域について平均輝度レベル（全画素の輝度レベルの平均）を求め、平均輝度レベルに応じてブロック領域毎に補正曲線を別個に選択する。次に、対象となる画素が含まれるブロック領域（主ブロック領域）、及びそのブロック領域と隣接する複数のブロック領域（副ブロック領域）にそれぞれ選択した複数種の補正曲線を加重平均して新たな補正曲線を作成し、その補正曲線を用いて輝度レベルを画素毎に変換する。係る技術によれば、階調補正に伴い局部の詳細が失われるのを避けることが可能となる。
特願平９−６５２５２号公報

しかしながら、上記の技術においては、各画素の輝度レベルの変換に使用する補正曲線が、主ブロック領域と複数の副ブロック領域について個別に選択した複数種の補正曲線から得られるが、各々の補正曲線が、単に各ブロック領域（主ブロック領域と複数の副ブロック領域）の平均輝度レベルに対応して選択される構成となっている。そのため、階調補正を行っても入力画像における局部の詳細を維持することができるものの、その効果には自ずと限界があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、画像内の各部の特徴が的確に反映されたより適切な階調補正を行うことが可能となる階調補正装置、階調補正方法、及び、プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明は、入力した画像の階調を補正する階調補正装置において、前記画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段と、前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段と、前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せにより、前記注目領域の当該注目領域の周囲に隣接するブロック領域との間における相対的な明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するかを前記複数のブロック領域毎に判定する第３の判定手段と、前記複数のブロック領域の中心画素に前記第３の判定手段により判定された明るさレベルに対応したゲインの補正特性を個別に設定する補正特性設定手段と、前記第３の判定手段により明るさレベルが判定された複数のブロック領域について、前記複数段階の明るさレベル毎のブロック領域の数をカウントするカウント手段と、このカウント手段によってカウントされた明るさレベル毎のブロック領域の数に基づいて、前記画像全体のコントラスト状態を判定するコントラスト状態判定手段と、このコントラスト状態判定手段による判定結果に従って、前記補正特性設定手段によって設定されたゲインの補正特性を制限する制限係数を設定する制限係数設定手段と、前記補正特性設定手段によって設定されたゲインの補正特性、及び、前記制限係数設定手段によって設定された制限係数により各中心画素の明るさを補正する補正手段とを備えたことを特徴とする。

また、請求項２記載の発明は、上記請求項１記載の発明において、前記画像が明るさレベルにおいてマイナス補正が不適切な画像であるか否かを判定する第４の判定手段を更に備え、前記制限係数設定手段は、前記コントラスト状態判定手段による判定結果に加え前記第４の判定手段による判定結果に従って、前記制限係数を設定することを特徴とする。

また、請求項３記載の発明は、上記請求項１又は２記載の発明において、前記第３の判定手段が判定する明るさレベルの段階数は、前記第１の判定手段及び前記第２の判定手段が判定する明るさレベルの段階数よりも多いことを特徴とする。

また、請求項４記載の発明は、上記請求項１乃至３の何れか記載の発明において、前記補正特性設定手段は更に、前記中心画素以外の他の画素に対し、当該他の画素に隣接する１又は複数の中心画素に設定した補正特性を中心画素との相対的な距離に応じて補間して設定することを特徴とする。

また、請求項５記載の発明は、上記請求項１乃至４の何れか記載の発明において、前記入力される画像はＲＧＢの色成分からなり、前記入力された画像を少なくとも明るさ成分を有する色空間情報に変換する変換手段を更に備え、前記明るさレベルは、前記変換手段によって変換された色空間情報における明るさ成分から求められることを特徴とする。

前記課題を解決するため請求項６記載の発明は、入力した画像の階調を補正する階調補正方法であって、前記画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定ステップと、前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定ステップと、前記第１の判定ステップおよび前記第２の判定ステップにてそれぞれ判定された明るさレベルの組合せにより、前記注目領域の当該注目領域の周囲に隣接するブロック領域との間における相対的な明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するかを前記複数のブロック領域毎に判定する第３の判定ステップと、前記複数のブロック領域の中心画素に前記第３の判定ステップにて判定された明るさレベルに対応したゲインの補正特性を個別に設定する補正特性設定ステップと、前記第３の判定ステップにて明るさレベルが判定された複数のブロック領域について、前記複数段階の明るさレベル毎のブロック領域の数をカウントするカウントステップと、このカウントステップにてカウントされた明るさレベル毎のブロック領域の数に基づいて、前記画像全体のコントラスト状態を判定するコントラスト状態判定ステップと、このコントラスト状態判定ステップでの判定結果に従って、前記補正特性設定ステップにて設定されたゲインの補正特性を制限する制限係数を中心画素毎に設定する制限係数設定ステップと、前記補正特性設定ステップにて設定されたゲインの補正特性、及び、前記制限係数設定ステップにて設定された制限係数により各中心画素の明るさを補正する補正ステップとを含むことを特徴とする。

前記課題を解決するため請求項７記載の発明は、入力した画像の階調を補正する階調補正装置が有するコンピュータを、前記画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段、前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段、前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せにより、前記注目領域の当該注目領域の周囲に隣接するブロック領域との間における相対的な明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するかを前記複数のブロック領域毎に判定する第３の判定手段、前記複数のブロック領域の中心画素に前記第３の判定手段により判定された明るさレベルに対応したゲインの補正特性を個別に設定する補正特性設定手段、前記第３の判定手段により明るさレベルが判定された複数のブロック領域について、前記複数段階の明るさレベル毎のブロック領域の数をカウントするカウント手段、このカウント手段によってカウントされた明るさレベル毎のブロック領域の数に基づいて、前記画像全体のコントラスト状態を判定するコントラスト状態判定手段、このコントラスト状態判定手段による判定結果に従って、前記補正特性設定手段によって設定されたゲインの補正特性を制限する制限係数を中心画素毎に設定する制限係数設定手段、前記補正特性設定手段によって設定されたゲインの補正特性、及び、前記制限係数設定手段によって設定された制限係数により各中心画素の明るさを補正する補正手段として機能させることを特徴とする。

本発明によれば、画像内の各部の特徴が的確に反映されたより適切な階調補正を行うことが可能となる。

以下、本発明の好ましい実施の形態を図にしたがって説明する。図１は、本発明に係る階調補正装置の構成を示すブロック図である。この階調補正装置は、入力した画像の階調を自動的に補正するものであって、デジタルカメラ等の撮像装置やプリンタ、その他の画像処理機能を有する各種の画像処理装置に組み込まれて使用される。

図示したように本実施形態の階調補正装置は、ＲＧＢの色成分毎の画素データからなる画像データを入力する入力部１と、Ｖ値変換部２、Ｖ値平均算出部３、第１のキー判定部４、第２のキー判定部５、第３のキー判定部６、ヒストグラム作成部７、補正ゲイン演算部８、座標カウンタ９、階調変換部１０、出力部１１の各部からなり、入力部１に入力した画像データのゲインを階調変換部１０において画素毎に調整する構成である。

Ｖ値変換部２は本発明の取得手段であり、入力部１に入力した画像データの画素値（Ｒ値、Ｇ値、Ｂ値）をＨＳＶ色空間におけるＶ（ｖａｌｕｅ：明度）成分の値に変換する部であり、変換したＶ値（Ｖｉｎ）をＶ値平均算出部３及びヒストグラム作成部７へ出力する。なお、周知のようにＶ値はＲ値、Ｇ値、Ｂ値の最大値であり、下記式によって変換する。
Ｖｉｎ ＝ ｍａｘ（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）

Ｖ値平均算出部３は、入力画像を予め決められている複数のブロック領域（分割領域）に分割し、各々のブロック領域をそれぞれ注目領域とし、面積が異なる２種類のキー判定領域について各々の領域内の全画素のＶ値の平均値（以下、平均Ｖ値）をそれぞれ算出する。図２は入力画像１００における上記ブロック領域１０１を示した模式図であり、同図（ａ）、及び同図（ｂ）に斜線で示した領域がキー判定領域である。

すなわち図２（ａ）に示したように、Ｖ値平均算出部３は、注目領域であるブロック領域１０１（図でＡ）それ自体を第１のキー判定領域Ａとして平均Ｖ値を算出する。また、図２（ｂ）に示したように、注目領域となっているブロック領域１０１（図でＡ）と、その周囲に隣接する８つの他のブロック領域１０１（図でＢ１，Ｂ２，・・・Ｂ８）とからなる領域を第２のキー判定領域（包括領域）Ｂとして平均Ｖ値を算出する。

第１のキー判定部４は、Ｖ値平均算出部３により算出された上述した第１のキー判定領域Ａの平均Ｖ値から、その領域の明るさが予め決められている複数段階にレベル分けされた明るさ基準（第１の明るさ基準）におけるいずれの明るさレベル（以下、第１の明るさレベル）に該当するのかを判定する。以下の説明ではこれを第１のキー判定という。ここで判定する明るさレベルは「ロー」、「ミドル」、「ハイ」の３段階である。なお、各明るさレベルに対応する平均Ｖ値の範囲は例えば平均Ｖ値の全範囲（「０」〜「ＭＡＸ」）を３等分した範囲である。なお、Ｖ値平均算出部３と第１のキー判定部４とによって本発明の第１の判定手段が構成される。

第２のキー判定部５は、Ｖ値平均算出部３により算出された上述した第２のキー判定領域Ｂの平均Ｖ値から、その領域の明るさが予め決められている複数段階にレベル分けされた明るさ基準（第２の明るさ基準）におけるいずれの明るさレベル（以下、第２の明るさレベル）に該当するのかを判定する。以下の説明ではこれを第２のキー判定という。ここで判定する明るさレベルも上述した第１のキー判定の場合と同一基準に基づく明るさレベルであり、「ロー」、「ミドル」、「ハイ」のいずれかである。なお、Ｖ値平均算出部３と第２のキー判定部５とによって本発明の第２の判定手段が構成される。

第３のキー判定部６は本発明の第３の判定手段であり、上述した第１及び第２のキー判定の結果（第１及び第２の明るさレベル）の組合せに対応する明るさレベルであって、前述した明るさ基準よりも詳細にレベル分けされた明るさ基準（第３の明るさ基準）におけるいずれの明るさレベル（以下、第３の明るさレベル）に該当するのかを判定する。つまり注目領域となっているブロック領域１０１について、その周囲に隣接する８つの他のブロック領域１０１（Ｂ１，Ｂ２，・・・Ｂ８）との間における相対的な明るさの関係を考慮した明るさレベルを判定する。以下の説明ではこれを第３のキー判定と呼ぶ。

本実施形態において、係る第３のキー判定で判定される明るさレベルは「ロー１」、「ロー２」、「ミドル１」、「ミドル２」、「ハイ１」、「ハイ２」の６段階のいずれかのレベルであり、「ロー１」が最低レベル、「ハイ２」が最高レベルである。また、第１及び第２の明るさレベルの組合せと第３の明るさレベルとの対応関係は予め決められている。図３は、それを示した図である。

ヒストグラム作成部７は本発明のヒストグラム取得手段であり、前記Ｖ値変換部２により変換された全画素のＶ値（Ｖｉｎ）からＶ値別の画素数をカウントし、カウント結果を入力画像全体の明るさの分布状態を示すヒストグラム情報として前記補正ゲイン演算部８へ出力する。

補正ゲイン演算部８は、本発明の第１の特性設定手段、第２の特性設定手段、算出手段、コントラスト判定手段、上限調整手段、分布状態判定手段、下限規制手段であり、前述した第３のキー判定の結果とヒストグラム情報とに基づき、後述するゲイン関数（補正関数）を用いて階調変換部１０による画素毎のゲイン調整時における補正用のゲイン、つまり画像データの各画素値に乗じる階調補正用の補正係数を個別に算出し階調変換部１０に設定する。

座標カウンタ９は、補正ゲイン演算部８においてゲインの算出対象となる画素の座標位置（横位置及び縦位置）をカウントする。

階調変換部１０は本発明の補正手段であり、補正ゲイン演算部８において画素毎に演算されたゲインで画像データのゲインを画素毎に調整する。すなわち各画素の画素値（Ｒ値、Ｇ値、Ｂ値）を上記ゲインを乗じた画素値に変換する。出力部１１は、階調変換部１０によるゲイン調整後の画像データを出力する。

ここで、前記補正ゲイン演算部８における補正用のゲインの演算動作について詳述する。まず、補正ゲイン演算部８は、ゲイン算出時に基本とする、各画素のＶ値の変化に対するゲインの変化特性であって、後述するゲイン関数により得られる補正特性を全画素に個別に設定する。

具体的には、複数のブロック領域１０１の各々の中心画素に対し、前述した「ロー１」、「ロー２」、「ミドル１」、「ミドル２」、「ハイ１」、「ハイ２」の６段階の明るさレベル（図３参照）にそれぞれ対応して予め決められている複数種の補正特性のうちから、第３のキー判定でブロック領域１０１毎に判定された第３の明るさレベルに対応する補正特性を代表補正特性として設定する。

また、中心画素以外の画素には、それと隣接する複数の中心画素に設定した代表補正特性から線形補間により新たな補正特性を取得し、その補正特性を設定する。なお、他の画素に設定する補正特性の補間については、線形補間に限らずスプライン補間等の他の補間方法でも構わない。

図４（ａ）は、入力画像１００を９つのブロック領域に分割する場合における各々のブロック領域と、それらの中心画素（図で「＋」）とを示した図であり、図４（ｂ）は、中心画素以外のある画素（図で「・」）と、当該画素の補正特性の取得（補間）に使用される中心画素との関係を示した図である。図４（ｂ）に示したように、前述した他の画素に設定する補正特性の補間に際しては、当該画素に隣接する最大で４つの中心画素の代表補正特性を使用する。但し、入力画像の上下左右の角部分に位置するブロック領域内の画素については、そのブロック領域の中心画素に設定した代表補正特性をそのまま補正特性として設定する。

次に、代表補正特性及び補正特性について詳述する。
ここで、各画素に設定する代表補正特性及び補正特性は、
ｇ（ｌｅｖ，ｘ）
で表される図５（ａ）に示した基本となるゲイン関数によって得られる特性であり、補正ゲイン演算部８は、このゲイン関数においてその特性を決めるパラメータ（変数）であるゲインレベル（ｌｅｖ）及び次数（ｘ）の値を前述した代表補正特性又は補正特性として画素毎に設定する。

図５（ｂ）及び図５（ｃ）は、上記ゲイン関数によって得られるＶ値（Ｖｉｎ）の変化に対するゲイン（ｇ）の変化特性を示した図であり、上記ゲイン関数により算出されるゲイン（ｇ）は、Ｖ値（Ｖｉｎ）が大きくなるにつれて小さくなり、Ｖ値＝ＭＡＸのとき１．０倍となる。また、前記パラメータの値の違いは以下のように特性に反映される。

すなわち、図５（ｂ）に示したように、次数（ｘ）の値が同一の場合、ゲインレベル（ｌｅｖ）が大きいほど全体のゲイン（ｇ）が大きくなり、「ｌｅｖ＝２」であるときゲイン（ｇ）の最大値が２．０倍となる。また、図５（ｃ）に示したように、ゲインレベル（ｌｅｖ）の値が同一の場合、次数（ｘ）が大きいほど、中間の明るさ領域、特にハイライト（Ｖ値が最大）側のゲイン（ｇ）が抑えられ、値によってはハイライト側（Ｖ値が大きい側）のゲイン（ｇ）が１．０以下となる。

つまり上記ゲイン関数を用いて階調変換部１０に設定するゲインを画素毎に算出するとき、ゲインレベル（ｌｅｖ）を大きくして全体的にゲインを上げれば、入力画像の暗い部分の階調を向上することができる。同時に次数（ｘ）を大きくしてハイライト（Ｖ値が最大）側のゲインを１．０以下とすれば、入力画像の明るい部分での白とびを軽減することができる。

そのため、図示しないが前述した６段階（「ロー１」、・・・「ハイ２」）の各々の明るさレベルに対応するゲインレベル（ｌｅｖ）には、明るさレベルが上がるに従い順に小さくなる値が設定されており、また、各々の明るさレベルに対応する次数（ｘ）には、明るさレベルが上がるに従い順に大きくなる値が設定されている。また、双方のパラメータ（ｌｅｖ，ｘ）の値は経験則に基づいて予め決められた値である。

また、補正ゲイン演算部８においては、前述したゲイン関数をそのまま用いてゲインを算出するのではなく、図６（ａ）に示した下記式で表されるゲイン関数
ｇｌｉｍ（ｌｅｖ，ｘ）＝
ｍｉｎ｛ｇ（ｌｅｖ，ｘ），（ｌｅｖ −１．０）×ｌｉｍ＋１．０｝
によってゲインを算出する。

このゲイン関数におけるパラメータ（ｌｉｍ）は、ゲインの上限を決めるゲイン制限係数であり、その値を１．０以下に設定することにより、ゲインレベル（ｌｅｖ）の値に対応してゲインの上限を調整することができる。なお、ゲイン制限係数の値は画像全体（全画素）で同一とする。以下の説明においては上記ゲイン関数を、便宜上、ゲイン制限後のゲイン関数という。

図６（ｂ）は「ｌｉｍ＝１」としたときの各画素のＶ値の変化に対するゲインの変化特性を示した図であり、この場合はゲイン制限を行わない場合と同様の特性となる。同図（ｃ）は「ｌｉｍ＝０．５」としたときの各画素のＶ値の変化に対するゲインの変化特性を示した図であり、ゲイン制限係数を１．０以下に設定することにより、ゲインレベル（ｌｅｖ）の値が小さいときほど、Ｖ値がより大きい側の画素に対するゲインを抑えることができる。つまり、暗い部分の画素に対するゲインを抑えることにより、画像のコントラスト（暗部の締まり）を強調することができる。

また、ゲイン制限係数（ｌｉｍ）の値は画像のコントラストに応じて設定する。本実施形態においては、前述した第３のキー判定の結果に基づき画像のコントラスト状態を判定（推定）するコントラスト判定を行い、その判定結果に応じた値を設定する。

具体的には、第３のキー判定に際して明るさレベルが最低である「ロー１」であったブロック領域の数と、明るさレベルが最高である「ハイ２」であったブロック領域の数とを個別にカウントし、双方の明るさレベルについて、各々のカウント数がレベル毎に決められている閾値（Ｎ，Ｍ）以上であるか、または閾値（Ｎ，Ｍ）未満であるかを確認する。そして、図７に示したように、「ロー１」の数（Ｎ以上の数、Ｎ未満の数）と、「ハイ２」の数（Ｍ以上の数、Ｍ未満の数）との組合せからコントラスト状態を判定し、その判定結果に応じてゲイン制限係数を設定する。

図７は、コントラスト状態を４段階に分けて判定する場合の例であり、例えば「ロー１」の数が閾値Ｎ以上で、かつ「ハイ２」の数が閾値Ｍ以上であったときには画像のコントラストが最も高い状態であると判定し、ゲイン制限係数の値を「１．０」に設定する。つまり実質的に前述したコントラスト強調を行わないようにする。また、「ロー１」の数が閾値Ｎ未満で、かつ「ハイ２」の数が閾値Ｍ未満であったときには、画像のコントラストが最も低い状態であると判定し、ゲイン制限係数の値を「０．５」に設定する。

一方、上述したゲイン制限後のゲイン関数を用いて各画素に対するゲインの上限を調整すれば、画像のコントラスト（暗部の締まり）を強調することができるが、その場合においても、図５（ｃ）に示したように、ゲインの算出に際して各画素に設定する次数（ｘ）の値がある程度大きいときには、ハイライト部分（Ｖ値が最大値の画素部分）を除くハイライト側（Ｖ値が大きい側）のゲイン（ｇ）が１．０以下となる。つまり画像内の明るい部分の画素値をマイナス補正することなる。

これは、明るい部分の階調が乏しい画像ではコントラストの無用な低下につながり、また、白とびが大きい（白とびしている部分が多い）画像では、白とびが生じている部分と、その周囲における白とびに近い部分（Ｖ値が最大値付近）との間の階調差が大きくなるトーンジャンプを生じさせる要因となる。

そのため、補正ゲイン演算部８においては、各画素のゲインの算出に際して、入力画像が、明るい部分の画素に対する画素値のマイナス補正が不適切となる画像であるか否か、つまり明るい部分の階調が乏しい画像、または白とびが大きい画像であるか否かの判定（以下、ハイライト判定）を行い、マイナス補正が不適切となる画像であると判定した場合においては、図８（ａ）に示した下記式で表されるゲイン関数
ｇｃｒｉｐ（ｌｅｖ，ｘ）＝ ｍａｘ｛ｇｌｉｍ（ｌｅｖ，ｘ），１．０｝
によってゲインを算出する。

つまり、ゲインの下限を「１．０」にクリップ（制限）することにより、入力画像が明るい部分の階調が乏しい画像である場合におけるコントラストの無用の低下、及び白とびが大きい画像である場合におけるトーンジャンプの発生を回避する。以下の説明においては上記ゲイン関数を、便宜上、クリップ後のゲイン関数という。

図８（ｂ）、図８（ｃ）は、前述したゲイン制限係数（ｌｉｍ）の値を「１．０」に設定している場合における、上記クリップの有無によるゲインの変化特性の違いを示した図であり、図８（ｂ）は上記クリップを行わないときの変化特性、図８（ｃ）は上記クリップを行うときの変化特性である。

また、前述したハイライト判定は、前記ヒストグラム作成部７により取得されたヒストグラム情報（画像全体のＶ値別の画素数による明るさの分布状態）に基づき以下のようにして行う。すなわち図９（ａ）に示したように、最大階調値（最大Ｖ値）から数％（例えば５〜１０％）下の階調位置の階調値Ｘよりも大きい階調値の画素数が予め決められている一定数以下であるときには、入力画像が明るい部分の階調が乏しく、マイナス補正が不適切となる画像であると判断する。また、図９（ｃ）に示したように、最大階調値（最大Ｖ値）の画素数が予め決められている一定数以上であるときには、入力画像が白とびが大きく、マイナス補正が不適切となる画像であると判定する。そして、図９（ｂ）に示したように、階調値Ｘよりも大きい階調値の画素数が予め決められている一定数を超え、かつ最大階調値（最大Ｖ値）の画素数が予め決められている一定数未満であるとき、つまり２つの判定条件のいずれにも該当しないときには、入力画像が明るい部分の階調が豊かであり、マイナス補正が適切となる画像であると判定する。

ここで、上記のハイライト判定に使用するヒストグラム情報はＲ値、Ｇ値、Ｂ値の最大値であるＶ値別の画素数による明るさの分布状態であるため、入力画像が、色飽和が生じている部分が多い画像である場合についても、白とびが大きい画像の場合と同様にマイナス補正が不適切である画像と判定することができる。そのため、白とびが生じている付近におけるトーンジャンプに加え、色飽和が生じている付近におけるトーンジャンプの発生を同時に回避することができる。

以上のように補正ゲイン演算部８は、上記ハイライト判定の結果に応じ、入力画像が、ゲインのクリップが必要である画像である場合についてはクリップ後のゲイン関数
ｇｃｒｉｐ（ｌｅｖ，ｘ）
を用いて画素毎のゲインを算出し、前記階調変換部１０に補正用のゲインとして設定し、また、入力画像が、ゲインのクリップが不要である画像である場合についてはクリップ後のゲイン関数
ｇｌｉｍ（ｌｅｖ，ｘ）
を用いて画素毎のゲインを算出し、前記階調変換部１０に補正用のゲインとして設定する。

そして、階調変換部１０では、補正ゲイン演算部８により上記ハイライト判定の結果に応じて算出されたゲインにより画像データの画素値を画素毎に調整する。すなわち入力した各画素のＲ，Ｇ，Ｂ別の画素値Ｒｉｎ，Ｇｉｎ，Ｂｉｎを下記式
Ｒｏｕｔ ＝ Ｒｉｎ × ｇｌｉｍ（ｌｅｖ，ｘ）
Ｇｏｕｔ ＝ Ｇｉｎ × ｇｌｉｍ（ｌｅｖ，ｘ）
Ｂｏｕｔ ＝ Ｂｉｎ × ｇｌｉｍ（ｌｅｖ，ｘ）
または下記式
Ｒｏｕｔ ＝ Ｒｉｎ × ｇｃｒｉｐ（ｌｅｖ，ｘ）
Ｇｏｕｔ ＝ Ｇｉｎ × ｇｃｒｉｐ（ｌｅｖ，ｘ）
Ｂｏｕｔ ＝ Ｂｉｎ × ｇｃｒｉｐ（ｌｅｖ，ｘ）
により得られる画素値Ｒｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔに変換する。つまり入力画像の各画素の輝度レベル（明るさ）を画素毎に設定された補正特性に従い個別に補正する。これにより入力画像の階調を自動的に補正することができる。

図１０は、上述した階調補正装置における階調補正手順の概略を示すフローチャートである。図示したステップＳ１がＶ値平均算出部３による動作、ステップＳ２〜Ｓ４が第１のキー判定部４、第２のキー判定部５、第３のキー判定部６による動作、ステップＳ５〜Ｓ１２が補正ゲイン演算部８による動作である。なお、ステップＳ１２，Ｓ１３の動作は、実際には画素数に応じた回数だけ繰り返し行われる。また、各ステップの詳細については先の説明と重複するため説明を省略する。

以上のように本実施形態の階調補正装置においては、画素毎のゲイン算出時の補正特性を決める際に基準となる各々のブロック領域１０１の明るさレベルを単に領域内の画素の平均Ｖ値等の明るさ情報のみから得るのではなく、前述した第１のキー判定、第２のキー判定、第３のキー判定といった３段階の判定処理から得るようにした。つまり、先に述べたように周囲との相対的な明るさの関係を考慮した明るさレベルを得るようにした。そのため、係る明るさレベルに基づき各画素の明るさを補正することにより、画像内における明るい部分と暗い部分との境界付近についても良好な階調結果を得ることができる。つまり、画像内の各部の特徴が的確に反映されたより適切な階調補正を行うことが可能となる。

また、画素毎のゲイン算出に際しては、入力画像について前述したコントラスト判定を行い、その判定結果に応じて各画素に設定するゲインの上限を調整するようにした。これにより、先に述べたように暗い部分の画素に対するゲインを抑えることができ、その結果、画像のコントラスト（暗部の締まり）を強調することができる。

さらに、画素毎のゲイン算出に際しては、入力画像について前述したハイライト判定を行い、入力画像が明るい部分の画素に対する画素値のマイナス補正が不適切となる画像であるか否かを判定し、上記マイナス補正が不適切となる画像である場合には、画素毎に設定するゲインの下限を「１．０」にクリップ（制限）するようにした。これにより、入力画像が明るい部分の階調が乏しい画像である場合におけるコントラストの無用な低下、及び白とびが大きい画像である場合におけるトーンジャンプの発生や、色飽和が生じている部分の周囲におけるトーンジャンプの発生を防止することができる。

ここで、本発明において、各々のブロック領域１０１の明るさレベルに基づいて入力画像の各画素の明るさを個別に補正するときの具体的方法には任意の方法を採用することができる。すなわち本実施形態では、各々のブロック領域１０１の明るさレベルに基づいて各々のブロック領域１０１の中心画素に代表補正特性を設定し、かつその代表補正特性に基づき中心画素互いの他の画素の補正特性を設定し、係る代表補正特性及び補正特性に従い各画素のゲインを調整するようにしたが、これ以外の方法によって各画素の明るさを個別に補正するようにしてもよい。

また、本実施形態においては、各々のブロック領域１０１の明るさが６段階の明るさレベルのいずれであるかを第３のキー判定により判定し、各々のブロック領域１０１に対して、第３のキー判定の結果に対応する補正特性を選択（設定）するとともに、それを各々のブロック領域１０１の中心画素に代表補正特性として設定したが、代表補正特性として設定すべき補正特性を、第３のキー判定を行わずに第１のキー判定で判定した明るさレベルと第２のキー判定で判定した明るさレベルとの組合せのみに基づき直接選択するようにしてもよい。但し、その場合には、各画素に設定するゲインの上限を決めるための前述したコントラスト判定を第３のキー判定の結果以外の情報に基づき行うこととなる。なお、これについては後述する。

また、本実施形態においては、入力画像１００を複数のブロック領域１０１に分割し、各々のブロック領域１０１の明るさレベルに基づき、各画素の輝度レベル（明るさ）を画素毎に補正したが、各々のブロック領域は必ずしも入力画像１００を分割した領域である必要はなく、入力画像１００に、隣接するもの同士が部分的に重なるような複数のブロック領域を設定し、それらのブロック領域の明るさレベルに基づき、各画素の輝度レベル（明るさ）を画素毎に補正するようにしてもよい。

また、第１及び第２のキー判定領域Ａ，Ｂの明るさレベルを「ロー」、「ミドル」、「ハイ」の３段階で判定したが、判定する明るさレベルの段階数は２段階でもよいし４段階以上でもよい。また、第１のキー判定領域Ａと第２のキー判定領域Ｂとにおいて判定する明るさレベルの段階数を異なる段階数としてもよい。

また、本実施形態と同様に段階数を同一にする場合には、例えば第１のキー判定領域Ａに対する第１のキー判定と第２のキー判定領域Ｂに対する第２のキー判定とにおける判定基準、つまり平均Ｖ値と明るさレベルとの対応関係を変えることにより第２のキー判定の結果に重み付けを行ってもよい。

また、第３のキー判定で最終的に判定する各々のブロック領域１０１の明るさレベル、つまり各々の中心画素に設定する代表補正特性を決めるとき基準となる明るさを「ロー１」〜「ハイ２」の６段階で判定したが、その段階数は変更しても構わない。ただし、判定する明るさレベルの段階数は多い方が的確な階調補正を行うことができる。そのため、第３のキー判定で判定する明るさレベルの段階数は、本実施形態のように第１及び第２のキー判定領域Ａ，Ｂの明るさを判定するときの明るさレベルの段階数よりも多くすることが望ましい。

また、最終的に判定する各々のブロック領域１０１の明るさレベルを第１のキー判定、第２のキー判定、第３のキー判定の３段階の判定処理によって判定したが、次のようにしてもよい。例えば、前記第２のキー判定領域Ｂの外側に、それを含む他のキー判定領域をさらに設定し、係る他のキー判定領域についても明るさを判定し、その判定結果と、前記第１及び第２のキー判定の結果との組合せから最終的に判定する各々のブロック領域１０１の明るさを判定する、つまり各々のブロック領域１０１の明るさレベルを４段階の判定処理によって判定してもよい。

また、各ブロック領域の明るさレベルを各画素のＶ値（具体的には各ブロック領域の平均Ｖ値）に基づき判定するようにしたが、それを各画素のＲ値、Ｇ値、Ｂ値から得られるＹ（輝度）値等の他の明るさ情報に基づき判定してもよい。ただし、Ｖ値以外の明るさ情報を用いた場合には色飽和を判断できず、色飽和部分に対して不要なゲインを与えてしまう場合があるため、明るさ情報としてはＶ値を用いることが望ましい。また、各ブロック領域の明るさレベルは、各画素のＶ値やＹ値等の平均値に限らず、それらのヒストグラムから判定するようにしてもよい。

また、本実施形態においては、各々のブロック領域１０１に設定する補正特性（中心画素に設定する代表補正特性）を、入力画像の各画素に対するゲインの算出に使用するゲイン関数（基本となるゲイン関数）のパラメータ、つまりゲインレベル（ｌｅｖ）及び次数（ｘ）の値とし、係るパラメータの値を第３のレベル判定の結果に対応して各々のブロック領域１０１に設定し、それに基づき、各画素に対するゲインを算出するようにしたが、以下のようにしてもよい。

例えば、第３のレベル判定で判定する明るさレベルの段階数分の補正特性として、各々の補正特性を表すゲインカーブ上に所定のＶ値間隔で存在する複数の代表点（１６点等）を示す複数のＶ値とゲイン（ｇ）との組合せを予め決めておき、それらを第３のレベル判定の結果に対応して各々のブロック領域１０１に設定するようにしてもよい。その場合、各々のブロック領域１０１の中心画素については、各々のブロック領域１０１について第３のレベル判定の結果に対応する複数の代表点により示されるゲインカーブを用いて、その中心画素のＶ値（Ｖｉｎ）に対応するゲイン（ｇ）を決定することとなる。また、中心画素以外の画素については、それと隣接する複数の中心画素をそれぞれ含む各々のブロック領域１０１における第３のレベル判定の結果に対応する複数の代表点を用い、Ｖ値が同じ複数の代表点から新たな代表点をそれぞれ補間し、それにより得られた新たな複数の代表点を結ぶゲインカーブを用いて、その画素のＶ値（Ｖｉｎ）に対応するゲイン（ｇ）を決定することとなる。

また、本実施形態では、前述したゲイン制限後のゲイン関数
ｇｌｉｍ（ｌｅｖ，ｘ）
を用いて画素毎のゲインを算出し、その際、前述したコントラスト判定の結果に応じてゲイン制限係数（ｌｉｍ）の値を設定することにより、各画素に設定するゲインの上限を調整するようにしたが、以下のようにしてもよい。

例えば、前述したゲインのクリップが必要でない入力画像については、各画素のゲインの算出を前述した基本となるゲイン関数
ｇ（ｌｅｖ，ｘ）
を用いて行うものとし、各々のブロック領域１０１の中心画素に代表補正特性として設定するゲインレベル（ｌｅｖ）及び次数（ｘ）の値（第３のキー判定の結果に応じた値）をコントラスト判定の結果に応じて調整することによって、各画素に設定するゲインの上限を調整してもよい。その場合、ゲイン制限後のゲイン関数は
ｇｃｒｉｐ（ｌｅｖ，ｘ）＝ ｍａｘ｛ｇ（ｌｅｖ，ｘ），１．０｝
となる。

また、本実施形態では、各画素に設定するゲインの上限を調整する際に基準となる入力画像のコントラスト状態を前述した第３のキー判定の結果に基づき判定したが、これに限らず入力画像のコントラスト状態は他の情報に基づいて判定するようにしてもよい。例えば第３のキー判定の結果に代えて前述した第１のキー判定の結果や第２のキー判定の結果を用いたり、双方の判定結果を用いたりしてもよい。さらに、前述した階調補正装置をデジタルカメラに採用する場合には、ＥＶ値（露光時間）に基づき判定するようにしてもよい。

また、各画素に設定するゲインの上限を自動調整するのではなく、手動で調整可能な構成としてもよい。その場合には、例えば階調補正装置の使用者がコントラストの強調度合を複数レベルの中から選択可能な構成とし、前述したゲイン制限係数（ｌｉｍ）を選択されたレベルに応じて予め決めておいた値に設定するようにすればよい。

また、入力画像のコントラスト状態を第３のキー判定の結果に基づいて判定する場合には、本実施形態のように「ロー１」に該当するブロック領域１０１の数と「ハイ２」に該当するブロック領域１０１の数とをそれぞれ閾値（Ｎ，Ｍ）を用いて２段階に分け、２段階の数の組合せに基づいてコントラスト状態を判定する以外にも、単に「ロー１」の該当数と「ハイ２」の該当数との組合せにより判定したり、他の複数の明るさレベル（３種類以上でもよい）の該当数の組合せにより判定したり、ある明るさレベルの該当数のみに基づいて判定したりしてもよい。さらに、１又は複数の所定の明るさレベルの該当数を２以上の閾値を用いて３段階以上に分けて確認し、それらの組合せに基づいてコントラスト状態を判定してもよい。

なお、入力画像について前述したコントラスト判定を行い、その判定結果に応じて各画素に設定するゲインの上限を調整する技術、つまり画素の明るさを個別に補正するとき各画素に対する補正係数の上限を調整する技術は、各々のブロック領域１０１の明るさレベルを本実施形態で説明した方法以外の方法により判定し、その判定結果に基づいて各画素の明るさを個別に補正する場合においても有効である。

また、本実施形態では、入力画像が、明るい部分の画素に対する画素値のマイナス補正が不適切となる画像であるか否かのハイライト判定を、画像全体のＶ値別の画素数による明るさの分布状態を示すヒストグラム情報に基づき行うようにしたが、ハイライト判定に使用するヒストグラム情報は、例えば一定区間毎のＶ値（階調）の画素数を示すものであっても構わない。また、ブロック領域１０１の数（本実施形態では入力画像１００の分割数）がある程度多い場合には、各々のブロック領域１０１の平均Ｖ値を要素とするヒストグラム情報を使用してもよいし、複数のブロック領域１０１を単位として平均Ｖ値を取得し、その平均Ｖ値を要素とするヒストグラム情報を使用してもよい。

また、本実施形態では、ハイライト判定を画像全体に対して行い、画素毎に設定するゲインの下限をクリップするか否かの判断を一括して行うようにしたが、以下のようにしてもよい。例えば各々のブロック領域１０１についてＶ値のヒストグラム情報を取得して、ブロック領域１０１毎にハイライト判定を行うものとし、その判定結果に基づいて各画素のゲインの算出時には、ブロック領域１０１毎に使用するゲイン関数をゲイン制限後のゲイン関数又はクリップ後のゲイン関数から選択するようにしてもよい。さらに、それを複数のブロック領域１０１を単位として行うようにしてもよい。

なお、前述したハイライト判定の結果に応じて、画素毎に設定するゲインの下限をクリップ（制限）する技術、つまり画素の明るさを個別に補正するとき各画素に対する補正係数の下限値を所定の値に規制する技術は、各々のブロック領域１０１の明るさレベルを本実施形態で説明した方法以外の方法により判定し、その判定結果に基づいて各画素の明るさを個別に補正する場合においても有効である。

また、本実施形態では、前述した第２の明るさレベルを取得する対象領域である第２のキー判定領域を、注目領域となっているブロック領域１０１（図２（ｂ）でＡ）と、その周囲に隣接する８つの他のブロック領域１０１（同図でＢ１，Ｂ２，・・・Ｂ８）とからなる領域（包括領域）Ｂとしたが、本発明において第２の明るさレベルを取得する対象領域はこれに限定されるものではない。例えば、注目領域の周囲に隣接する８つの他のブロック領域のみを第２のキー判定領域としてもいいし、注目領域の周囲に隣接する８つの他のブロック領域のうちのいくつかのブロック領域（図２（ｂ）でＢ２，Ｂ４，Ｂ５，Ｂ７など）を第２のキー判定領域としてもよい。

また、以上説明した図１に示した階調補正装置の各部はＡＳＩＣ（特定用途向け集積回路）により構成することができる。また、入力部１と出力部１１以外の各部の全て、又はその一部の機能については、例えば階調補正装置をデジタルカメラ等の装置に組み込む場合、それらの装置が有するコンピュータを所定の階調補正プログラムに従い動作させることにより実現してもよい。

本発明に係る階調補正装置のブロック図である。 入力画像におけるブロック領域を示した模式図である。 第１及び第２の明るさレベルの組合せと第３の明るさレベルとの対応関係を示す図である。 （ａ）は、入力画像におけるブロック領域、及びその中心画素を示す図、（ｂ）は、補正特性の補間時における中心画素と他の画素との関係を示す概念図である。 基本となるゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ゲイン制限後のゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ゲイン制限係数の設定方法を示す図である。 クリップ後のゲイン関数、及びそれによって得られるＶ値の変化に対するゲインの変化特性を示す説明図である。 ハイライト判定の方法を示す図である。 階調補正装置における階調補正手順の概略を示すフローチャートである。

符号の説明

１ 入力部
２ Ｖ値変換部
３ Ｖ値平均算出部
４ 第１のキー判定部
５ 第２のキー判定部
６ 第３のキー判定部
７ ヒストグラム作成部
８ 補正ゲイン演算部
９ 座標カウンタ
１０ 階調変換部
１１ 出力部
１００ 入力画像
１０１ ブロック領域
Ａ 第１のキー判定領域
Ｂ 第２のキー判定領域

Claims (7)

1. 入力した画像の階調を補正する階調補正装置において、
   前記画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段と、
   前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段と、
   前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せにより、前記注目領域の当該注目領域の周囲に隣接するブロック領域との間における相対的な明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するかを前記複数のブロック領域毎に判定する第３の判定手段と、
   前記複数のブロック領域の中心画素に前記第３の判定手段により判定された明るさレベルに対応したゲインの補正特性を個別に設定する補正特性設定手段と、
   前記第３の判定手段により明るさレベルが判定された複数のブロック領域について、前記複数段階の明るさレベル毎のブロック領域の数をカウントするカウント手段と、
   このカウント手段によってカウントされた明るさレベル毎のブロック領域の数に基づいて、前記画像全体のコントラスト状態を判定するコントラスト状態判定手段と、
   このコントラスト状態判定手段による判定結果に従って、前記補正特性設定手段によって設定されたゲインの補正特性を制限する制限係数を設定する制限係数設定手段と、
   前記補正特性設定手段によって設定されたゲインの補正特性、及び、前記制限係数設定手段によって設定された制限係数により各中心画素の明るさを補正する補正手段と
   を備えたことを特徴とする階調補正装置。
2. 前記画像が明るさレベルにおいてマイナス補正が不適切な画像であるか否かを判定する第４の判定手段を更に備え、
   前記制限係数設定手段は、前記コントラスト状態判定手段による判定結果に加え前記第４の判定手段による判定結果に従って、前記制限係数を設定することを特徴とする請求項１記載の階調補正装置。
3. 前記第３の判定手段が判定する明るさレベルの段階数は、前記第１の判定手段及び前記第２の判定手段が判定する明るさレベルの段階数よりも多いことを特徴とする請求項１又は２記載の階調補正装置。
4. 前記補正特性設定手段は更に、前記中心画素以外の他の画素に対し、当該他の画素に隣接する１又は複数の中心画素に設定した補正特性を中心画素との相対的な距離に応じて補間して設定することを特徴とする請求項１乃至３の何れか記載の階調補正装置。
5. 前記入力される画像はＲＧＢの色成分からなり、
   前記入力された画像を少なくとも明るさ成分を有する色空間情報に変換する変換手段を更に備え、
   前記明るさレベルは、前記変換手段によって変換された色空間情報における明るさ成分から求められることを特徴とする請求項１乃至４の何れか記載の階調補正装置。
6. 入力した画像の階調を補正する階調補正方法であって、
   前記画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定ステップと、
   前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定ステップと、
   前記第１の判定ステップおよび前記第２の判定ステップにてそれぞれ判定された明るさレベルの組合せにより、前記注目領域の当該注目領域の周囲に隣接するブロック領域との間における相対的な明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するかを前記複数のブロック領域毎に判定する第３の判定ステップと、
   前記複数のブロック領域の中心画素に前記第３の判定ステップにて判定された明るさレベルに対応したゲインの補正特性を個別に設定する補正特性設定ステップと、
   前記第３の判定ステップにて明るさレベルが判定された複数のブロック領域について、前記複数段階の明るさレベル毎のブロック領域の数をカウントするカウントステップと、
   このカウントステップにてカウントされた明るさレベル毎のブロック領域の数に基づいて、前記画像全体のコントラスト状態を判定するコントラスト状態判定ステップと、
   このコントラスト状態判定ステップでの判定結果に従って、前記補正特性設定ステップにて設定されたゲインの補正特性を制限する制限係数を中心画素毎に設定する制限係数設定ステップと、
   前記補正特性設定ステップにて設定されたゲインの補正特性、及び、前記制限係数設定ステップにて設定された制限係数により各中心画素の明るさを補正する補正ステップと
   を含むことを特徴とする階調補正方法。
7. 入力した画像の階調を補正する階調補正装置が有するコンピュータを、
   前記画像の全域にわたり設定した複数のブロック領域の各々を注目領域とし、注目領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するのかを判定する第１の判定手段、
   前記複数のブロック領域の各々を注目領域とし、当該注目領域の周囲に隣接するブロック領域の明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するか判定する第２の判定手段、
   前記第１の判定手段および前記第２の判定手段によりそれぞれ判定された明るさレベルの組合せにより、前記注目領域の当該注目領域の周囲に隣接するブロック領域との間における相対的な明るさレベルが予め決められている複数段階の明るさレベルのいずれのレベルに該当するかを前記複数のブロック領域毎に判定する第３の判定手段、
   前記複数のブロック領域の中心画素に前記第３の判定手段により判定された明るさレベルに対応したゲインの補正特性を個別に設定する補正特性設定手段、
   前記第３の判定手段により明るさレベルが判定された複数のブロック領域について、前記複数段階の明るさレベル毎のブロック領域の数をカウントするカウント手段、
   このカウント手段によってカウントされた明るさレベル毎のブロック領域の数に基づいて、前記画像全体のコントラスト状態を判定するコントラスト状態判定手段、
   このコントラスト状態判定手段による判定結果に従って、前記補正特性設定手段によって設定されたゲインの補正特性を制限する制限係数を中心画素毎に設定する制限係数設定手段、
   前記補正特性設定手段によって設定されたゲインの補正特性、及び、前記制限係数設定手段によって設定された制限係数により各中心画素の明るさを補正する補正手段
   として機能させることを特徴とするプログラム。

Images