【０００１】
【発明の属する技術分野】
本発明は、画像表示プログラムに関し、更に詳しくは低感度画像と高感度画像との使用割合を視覚的に分かりやすく表示する画像表示プログラムに関するものである。
【０００２】
【従来の技術】
デジタルカメラで、例えば室内風景を撮影した場合、室内にいる人物は適正露光になっても、窓から見える青い空が白飛びし、全体としては不自然な画像になる場合がある。これは画像のダイナミックレンジが狭いためであり、この対策として、従来から、２枚の画像を撮影して画像合成を行う方法が知られている。
【０００３】
例えば、高速シャッタを切って１枚目の短時間露光画像（低感度画像）を撮影し、続いて低速シャッタを切って２枚目の長時間露光画像（高感度画像）を撮影し、これら２枚の画像を合成することで、低感度画像中に写っている窓の外の風景が、室内風景が良く写っている高感度画像に重なるようにしている。
【０００４】
例えば、特許文献１に記載の画像処理方法では、２枚の画像を合成する際に、動きのある被写体部分が低感度画像と高感度画像とでピッタリ一致しないため、マスクを使って部分ごとに低感度画像と高感度画像との置き換えを行って、画像合成を行うようにしている。
【０００５】
【特許文献１】
特開２０００−３０７９６３
【０００６】
【発明が解決しようとする課題】
上記特許文献１記載の画像処理方法では、画像合成によって得られた完成画像がユーザの好みやニーズに合わない場合もあり得るが、低感度画像と高感度画像との画像合成において、どのような割合で低感度画像と高感度画像とを使用しているのか（使用割合）をユーザが把握したり、変更することができないという問題点があった。
【０００７】
本発明は、上記問題点を解決するためのもので、低感度画像と高感度画像との使用割合が明瞭に分かるような表示を行う画像表示プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記問題点を解決するために、本発明の画像表示プログラムは、高い感度で撮像された高感度画像データと低い感度で撮像された低感度画像データとを画像合成して得られる完成画像を表示手段の画面に表示する完成画像表示ステップと、前記低感度画像データと高感度画像データとの使用割合を視覚的に表す参照画像を表示手段の画面に表示する参照画像表示ステップとを中央処理装置に実行させるものである。また、前記参照画像は、前記完成画像に並列して表示されるものである。
【０００９】
また、高い感度で撮像された高感度画像データと低い感度で撮像された低感度画像データとを画像合成して得られた完成画像を表示手段の画面に表示する完成画像表示ステップと、前記高感度画像データに基づいて高感度画像を表示するとともにこの中に低感度画像データを合成すべき部位を表示する高感度画像表示ステップと、前記低感度画像データに基づいて低感度画像を表示する低感度画像表示ステップとを中央処理装置に実行させるものである。また、前記完成画像，高感度画像及び低感度画像は、互いに並列して表示されるものである。
【００１０】
【発明の実施の形態】
本発明の一実施形態に係るデジタルカメラの構成を示す図１において、撮影レンズ１０と固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６および受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し、絞り１２の開口量を制御して露光量が適正となるように調整する。
【００１１】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。
【００１２】
デジタルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力されたＲＧＢの色信号をデジタルの画像データに変換するＡ／Ｄ変換器２３とを備え、これらはＣＰＵ１５によって制御される。なお、Ａ／Ｄ変換器２３から出力される画像データは、１２ビットのＲＡＷデータ（生データ）である。
【００１３】
更に、このデジタルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、測光データを積算してホワイトバランスのゲインを調整させる積算部２８と、メモリカード２９が着脱自在に接続される外部メモリ制御部３０と、カメラ背面に搭載された液晶モニタ３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００１４】
固体撮像素子１１の一部を拡大して示す図２において、固体撮像素子１１は、いわゆるハニカム型ＣＣＤ（例えば特開平１０−１３６３９１号公報に記載）であり、光電変換素子である各画素１の受光部２が八角形をしている。各受光部２は、面積の約１／５を占める低感度部３と、残りの約４／５を占める高感度部４とからなる。固体撮像素子１１では、各低感度部３の信号電荷と、各高感度部４の信号電荷とを区別して垂直方向に転送する垂直転送路（図示せず）に読み出して転送することができるようになっている。
【００１５】
デジタル信号処理部２６は、図３に示すように、高感度画像信号（高感度部４から得られた画像信号）と低感度画像信号（低感度部３から得られた画像信号）とを各々ガンマ補正した後に加算処理する対数加算方式を採用している。すなわち、デジタル信号処理部２６は、Ａ／Ｄ変換器２３から出力される高感度画像，低感度画像の各ＲＧＢ色信号に対して、それぞれオフセット処理を行うオフセット補正回路４１ａ，４１ｂと、このオフセット補正回路４１ａ，４１ｂの出力信号のホワイトバランスをとるゲイン補正回路４２ａ，４２ｂと、ゲイン補正後の色信号に対してガンマ補正を行うガンマ補正回路４３ａ，４３ｂとを備えている。なお、前記オフセット処理とは、映像信号にオフセットレベル（閾値）を設定し、そのレベル以上の信号を増強することによりコントラストの低い映像のコントラストを高め、鮮明な映像に変換する処理である。
【００１６】
また、デジタル信号処理部２６は、ガンマ補正回路４３ａ，４３ｂの両出力信号を取り込んで画像合成処理を行う画像合成処理回路４４と、画像合成後のＲＧＢ色信号を補間演算して各受光部位置におけるＲＧＢ３色の信号を求めるＲＧＢ補間演算回路４５と、ＲＧＢ色信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４６と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４７と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４８と、色差信号Ｃｒ，Ｃｂに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路４９とを備える。
【００１７】
ＲＧＢ補間演算回路４５は、各画素１からはＲ，Ｇ，Ｂのうち一色の信号のみが出力されるため、他の色、すなわちＲを出力する画素では、この受光部位置においてＧ，Ｂの色信号がどの程度になるかを周りの画素のＧ，Ｂ信号から補間演算により求める。
【００１８】
前記画像合成処理回路４４は、ガンマ補正回路４３ａから出力される高感度画像信号と、ガンマ補正回路４３ｂから出力される低感度画像信号とを次の数式１に基づいて画素単位に合成し、出力する。
【００１９】
【数１】
【００２０】
ここで、数式１中の文字が示す意味は以下の通りである。
ｈｉｇｈ：高感度画像データのガンマ補正後のデータ
ｌｏｗ ：低感度画像データのガンマ補正後のデータ
ｐ：トータルゲイン
ｔｈ：閾値
α：シーンにより決められる値（≒１）
【００２１】
閾値ｔｈは、ガンマ補正後のデータが１２ビットデータ（４０９６階調）であれば、例えば値０〜４０９６のうちの“３０００”とデジタルカメラの使用者あるいは設計者が指定する値である。
【００２２】
数式１の第１項は、高感度画像データｈｉｇｈが閾値ｔｈを超えているときには、高感度画像データｈｉｇｈにそのまま低感度画像データｌｏｗ を加算し、高感度画像データｈｉｇｈが閾値ｔｈ以下のときには、高感度画像データｈｉｇｈの閾値ｔｈに対する割合に対して低感度画像データｌｏｗ を乗算した値を高感度画像データｈｉｇｈに加算することを示している。また、数式１の第２項は、シーンに応じたトータルゲインを示している。すなわち、数式１は、高感度画像データのガンマ補正後のデータ，低感度画像データのガンマ補正後のデータのそれぞれに重み付けを行って後、互いに加算することを示している。なお、数式１の第２項における係数「０．２」は、低感度部３と高感度部４の信号電荷の飽和比を便宜的に低感度部３と高感度部４の面積比と見た場合に求められる値である。
【００２３】
トータルゲインｐは、加算データ全体に対するゲインであり、これを変化させることによりダイナミックレンジの制御を行う。トータルゲインｐの値が小さいほどダイナミックレンジは広く、大きいほどダイナミックレンジは狭くなる。具体的には、コントラストの高いシーン（真夏の晴天など）では、ｐ＝０．８、曇りや日陰ではｐ＝０．８６、室内蛍光灯下ではｐ＝０．９というように、シーンに応じてｐの値を変化させる。これにより、ガンマ補正後のデータが１２ビットデータである場合、１２ビット階調値をより有効に使用できる。
【００２４】
ｐの値は、デジタルカメラ自体が各種センサの検出値に基づいて撮像画像のシーンを自動判別して自動的に設定してもよく、また、ユーザが操作部２１によりシーンの種類を指定することで設定することもできる。
【００２５】
ｐの値を変えたときのダイナミックレンジの変化の様子を示す図４において、トータルゲインｐの値を大きくしたときの特性線イはダイナミックレンジが小さく、トータルゲインｐの値を小さくしていくと、ダイナミックレンジが大きい特性線ロまで変化する。なお、αの値は、撮像画像のシーンに応じた値とすることも可能であるが、固定値“１”を採用してもよい。
【００２６】
デジタルカメラは、撮影モードとして通常モードとＲＡＷモードの２種類を備えており、操作部２１で選択する。通常モードでは、デジタル信号処理部２６から出力される輪郭補正後の輝度信号Ｙと色調補正後の色差信号Ｃｒ，Ｃｂとからなる画像データ（１２ビット）を低ビット化処理（サンプリング処理により８ビットの画像データを作成）した後、圧縮伸張処理部２７でＪＰＥＧ画像データに圧縮してメモリカード２９に記録する。前記ＪＰＥＧ画像は、上述したように、高感度画像と低感度画像との合成画像であるから、白飛びや黒潰れがない十分な階調を有する。
【００２７】
高感度画像と低感度画像との合成が各ドット毎にどのような割合で行われているかを表示する本発明に係る表示を行うには、ＲＡＷモードを選択して撮影を行う。ＲＡＷモードでは、通常モードと同じＪＰＥＧ画像データと一緒に、Ａ／Ｄ変換器２３から出力された１２ビットの画像データであるＣＣＤ−ＲＡＷデータが画像合成することなく、そのままメモリカード２９に記録される。
【００２８】
前記ＣＣＤ−ＲＡＷデータは、前記高感度画像データと低感度画像データからなる。また、ＲＡＷモードでは、ＪＰＥＧ画像データの合成過程で用いられたトータルゲインｐ，閾値ｔｈ，αの各値もＪＰＥＧ画像データ及びＣＣＤ−ＲＡＷデータと一緒に記録される。
【００２９】
ＲＡＷモードで撮影されたメモリカード２９は、デジタルカメラから取り出された後、図５に示すように、パーソナルコンピュータ（以下パソコンという）５０のカードスロット５１に差し込まれる。パソコン５０は、キーボード５２，マウス５３がＰＳ／２ポート５４に接続され、表示制御部５５に液晶ディスプレイ５６が接続された一般的なものである。パソコン５０には、周知のＣＰＵ５７，メインメモリ５８，ハードディスク（ＨＤ）５９が内蔵されている。
【００３０】
ハードディスク５９には、ＯＳ及び各種のアプリケーションの他、ＣＣＤ−ＲＡＷアプリケーションがインストールされている。このＣＣＤ−ＲＡＷアプリケーションについては、図６，図７及び図８を参照して説明する。ＣＣＤ−ＲＡＷアプリケーションは、メモリカード２９からＪＰＥＧ画像データとＣＣＤ−ＲＡＷデータを読み込み、ＪＰＥＧ画像に基づいて、液晶ディスプレイ５６のディスプレイ画面５６ａの左側に配置された縦方向に細長いウインドウ６１に完成画像６２，６３，６４，６５としてサムネイル表示するとともに右側の広いウインドウ６６の左半分にデフォルトで第１番目の完成画像６２を拡大表示し、またＣＣＤ−ＲＡＷデータに基づいて、完成画像６２の右隣に参照画像６８を表示する。
【００３１】
参照画像６８は、完成画像６２の輝度データから抽出された輪郭画像データに基づいて表示される輪郭画像７１と、完成画像６２を作成するために使用された低感度画像データの高感度画像データに対する各ドット毎の割合を色の変化で示す割合表示画像７２とを重ね合わせて表示される。なお、図８に示す割合表示画像７２は、色の変化をハッチングで擬似的に表している。ハッチングの線間隔が狭いほど低感度画像データの使用割合が高い。
【００３２】
低感度画像データの高感度画像データに対する各ドット毎の割合は、数式１から明らかなように、ｗｌ で表されるから、高感度画像データｈｉｇｈと閾値ｔｈとによって決まり、最大で５０％である。本実施形態では、ワイシャツ７４の襟７４ａ，７４ｂは晴天時等の強い光線が当たった状態で撮影されると、高感度画像データｈｉｇｈが閾値ｔｈを超える領域が大きくなり、いわゆる白飛びが発生して生地のテクスチャーが判別できなくなる。このような部位では、高感度画像データに対する低感度画像データの使用割合が大きくなり、この最大値が、例えば“ｌｏｗ ｍａｘ ５０％”と完成画像６２の下方に表示される。
【００３３】
また、参照画像６８の下方には、高感度画像データに対する低感度画像データの０％から５０％までの使用割合を色の変化で示すカラースケール７５が表示される。なお、図８において、作図の困難性から割合表示画像７２及びカラースケール７５の色の変化をハッチングで擬似的に表しているが、実際には、例えば、使用割合が５０％付近は赤色、２５％付近は緑色，０％付近は青色で赤色と緑色との中間は黄色，緑色と青色との中間は水色で、各色間は色がなだらかに変化している。
【００３４】
前記完成画像６２の作成に用いられた閾値ｔｈ，αの各値はデジタルカメラの設計者が決めた値であり、またトータルゲインｐは撮影シーンに応じてデジタルカメラが自動的に決めた値であるが、これらの値はユーザがＣＣＤ−ＲＡＷアプリケーションを操作して任意に変更することができる。この変更結果は、リアルタイムに完成画像６２及び参照画像６８の各描画に反映されるから、ユーザは画像６２，６８の両方を観察してトータルゲインｐ，閾値ｔｈ，αの各値を最も適切と思われる値に決定することができる。この後、上書き保存すれば、完成画像６２の画像データが変更したものに置き換えられる。
【００３５】
また、ＣＣＤ−ＲＡＷアプリケーションは、図９に示すような表示に切り換えることができる。ウインドウ６６には、完成画像７７，高感度画像７８，低感度画像７９の３つの画像が並列表示される。完成画像７７は、前記完成画像６２と同様であるから説明を省略する。高感度画像７８は、ＣＣＤ−ＲＡＷデータの高感度画像データに基づいて描画される。また、低感度画像７９は、ＣＣＤ−ＲＡＷデータの低感度画像データに基づいて描画される。
【００３６】
高感度画像７７では、高感度画像データｈｉｇｈが閾値ｔｈを超えた領域、すなわちワイシャツ７４の襟７４ａ，７４ｂ及びワイシャツ７４の胸部に付けたバッチ８０が、例えば赤色に表示され、他の領域は、白黒の濃淡で表示される。また、低感度画像７９では、全体が白黒の濃淡で表示される。すなわち、本実施形態では、襟７４ａ，７４ｂ及びバッチ８０に低感度画像データが使用されていることが明瞭に分かる。この場合にも、ユーザがＣＣＤ−ＲＡＷアプリケーションを操作して閾値ｔｈ等の値を変更することができ、その都度、完成画像７７，高感度画像７８，低感度画像７９の描画がリアルタイムに変更される。
【００３７】
なお、固体撮像素子としては、図２に示すものに限らず、図１０に示すような固体撮像素子９０でもよい。この固体撮像素子９０は、ハニカム形状の高感度画素９１と、これより面積が小さい円形状の低感度画素９２とを設けたものである。この場合には、数式１における係数の値は「０．２」に限らないため、実験的に求めたり、マイクロレンズの開口面積から求める。
【００３８】
以上説明した実施形態では、完成画像に参照画像を並列したが、本発明はこれに限定されることなく、完成画像の上の画層に低感度画像を描画し、画層の表示・非表示を切り換えることにより、完成画像に占める低感度画像の使用割合を表示するようにしてもよい。この場合には、より大きなサイズで画像を表示できるという利点がある。
【００３９】
また、上記実施形態では、対数加算方式を採用したが、本発明はこれに限定されることなく、高感度画像信号と低感度画像信号との合成をガンマ補正前に行う真数加算方式を採用することもできる。また、パソコンにより低感度画像データと高感度画像データとの使用割合の表示を行ったが、デジタルカメラでＣＣＤ−ＲＡＷアプリケーションを用いて使用割合の表示を行ってもよい。
【００４０】
また、上記実施形態では、デジタルカメラのＲＡＷモードでは、画像合成されたｊｐｅｇ画像データと高感度画像データ，低感度画像データとを一緒にメモリカードに記憶し、ｊｐｅｇ画像を完成画像として用いたが、ＣＣＤ−ＲＡＷデータである高感度画像データ，低感度画像データだけをメモリカードに記憶するようにしてもよい。この場合には、パソコンのＣＣＤ−ＲＡＷアプリケーションにより高感度画像データと低感度画像データとを画像合成して完成画像を作成する。
【００４１】
また、上記実施形態では、ＣＣＤ−ＲＡＷデータを１２ビット，完成画像であるｊｐｅｇ画像を８ビットとしたが、本発明はこれに限定されることなく、例えばＣＣＤ−ＲＡＷデータ及びｊｐｅｇ画像の両方を８ビットとしてもよく、またユーザが撮影時にＣＣＤ−ＲＡＷデータを１２ビットまたは８ビットに切り換えるようにしてもよい。
【００４２】
また、上記実施形態では、低感度画像の使用割合を色の変化で表したが、一色の濃淡で表すこともできる。この場合、ＣＣＤ−ＲＡＷアプリケーションでパラメータ（閾値ｔｈ等）を変更したときの低感度画像の使用割合の変化がより分かりやすくなるという利点があるが、輪郭画像との境界が不明瞭になるため、濃淡の色と輪郭画像の色とは別の色とするのが好ましい。
【００４３】
また、固体撮像素子の受光部の低感度部と高感度部の面積比や各形状は任意に決めることができる。また、面積の広狭で高感度画像，低感度画像の出力を行ったが、露光時間の長短でも可能である。また、固体撮像素子は、ハニカム型ＣＣＤに限らず、ベイヤー方式のＣＣＤやＣＭＯＳイメージ・センサでもよい。
【００４４】
また、上記実施形態では、いずれも高感度画像を主体とし、高感度画像の白飛びが生じる領域に低感度画像を合成したが、逆に低感度画像を主体とし、低感度画像の黒潰れが生じる領域に高感度画像を合成してもよい。また、撮影シーンによって、どちらを主体とするか決定するようにしてもよい。
【００４５】
【発明の効果】
以上説明したように、本発明の画像表示プログラムによれば、高感度画像データと低感度画像データとを合成して得られた完成画像を表示するとともに、低感度画像データと高感度画像データとの使用割合を視覚的に表す参照画像を表示するので、低感度画像と高感度画像との使用割合が明瞭に分かり、この割合を変更すれば、好みの完成画像を得ることができる。また、参照画像を完成画像と並列表示すると、より分かりやすく、好ましい。また、完成画像，高感度画像及び低感度画像を表示するので、低感度画像と高感度画像との使用割合が明瞭に分かる。また、完成画像，高感度画像及び低感度画像は、互いに並列して表示されるようにすると、より分かりやすく、好ましい。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルカメラの構成を示すブロック図である。
【図２】固体撮像素子の画素配列を示す説明図である。
【図３】デジタル信号処理部の構成を示すブロック図である。
【図４】ダイナミックレンジの変化の様子を示すグラフである。
【図５】パソコンの構成を示すブロック図である。
【図６】ＣＣＤ−ＲＡＷアプリケーションの主要シーケンスを示すフローチャートである。
【図７】参照画像の表示シーケンスを示すフローチャートである。
【図８】完成画像と参照画像を並列して表示するモニタ画面を示す説明図である。
【図９】完成画像，高感度画像，低感度画像を並列して表示するモニタ画面を示す説明図である。
【図１０】別の固体撮像素子の画素配列を示す説明図である。
【符号の説明】
１ 画素
２ 受光部
３ 低感度部
４ 高感度部
１１，９０ 固体撮像素子
１５，５７ ＣＰＵ
２６ デジタル信号処理部
２９ メモリカード
３１ 液晶モニタ
４４ 画像合成処理回路
５０ パソコン
５６ 液晶ディスプレイ
６２，７７ 完成画像
６８ 参照画像
７１ 輪郭画像
７２ 割合表示画像
７８ 高感度画像
７９ 低感度画像
９１ 高感度画素
９２ 低感度画素[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image display program, and more particularly to an image display program that displays the usage ratio of a low-sensitivity image and a high-sensitivity image in a visually easy-to-understand manner.
[0002]
[Prior art]
For example, when an indoor landscape is photographed with a digital camera, even if a person in the room has a proper exposure, the blue sky seen from the window may be overexposure, resulting in an unnatural image as a whole. This is because the dynamic range of the image is narrow, and as a countermeasure against this, a method for synthesizing images by photographing two images is conventionally known.
[0003]
For example, the first shutter-release image (low-sensitivity image) is shot with the high-speed shutter turned off, and the second long-time exposure image (high-sensitivity image) is shot with the low-speed shutter turned off. By combining the images, the scenery outside the window that appears in the low-sensitivity image overlaps the high-sensitivity image that well reflects the indoor scenery.
[0004]
For example, in the image processing method described in Patent Document 1, when two images are combined, a moving subject portion does not match exactly between a low-sensitivity image and a high-sensitivity image. The image is synthesized by replacing the low-sensitivity image with the high-sensitivity image.
[0005]
[Patent Document 1]
JP 2000-307963 A
[0006]
[Problems to be solved by the invention]
In the image processing method described in Patent Document 1, the completed image obtained by the image synthesis may not meet the user's preference and needs. However, in the image synthesis of the low-sensitivity image and the high-sensitivity image, what There is a problem that the user cannot grasp or change whether the low-sensitivity image and the high-sensitivity image are used in proportion (use ratio).
[0007]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an image display program for performing display so that the usage ratio between a low-sensitivity image and a high-sensitivity image can be clearly seen.
[0008]
[Means for Solving the Problems]
In order to solve the above problems, the image display program of the present invention displays a completed image obtained by synthesizing high-sensitivity image data captured with high sensitivity and low-sensitivity image data captured with low sensitivity. A central processing unit comprising: a completed image display step for displaying on the screen of the means; and a reference image display step for displaying a reference image for visually indicating the usage ratio of the low-sensitivity image data and the high-sensitivity image data on the screen of the display means. To be executed. The reference image is displayed in parallel with the completed image.
[0009]
A completed image display step for displaying on the screen of the display means a completed image obtained by synthesizing high-sensitivity image data captured with high sensitivity and low-sensitivity image data captured with low sensitivity; A high-sensitivity image display step for displaying a high-sensitivity image based on the sensitivity image data and displaying a portion in which the low-sensitivity image data is to be synthesized, and a low-sensitivity image display step for displaying the low-sensitivity image based on the low-sensitivity image data The sensitivity image display step is executed by the central processing unit. The completed image, the high sensitivity image, and the low sensitivity image are displayed in parallel with each other.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
In FIG. 1 showing the configuration of a digital camera according to an embodiment of the present invention, a photographic lens 10, a solid-state imaging device 11, a diaphragm 12 provided between them, an infrared cut filter 13, and an optical low-pass filter 14 are shown. With. The CPU 15 that controls the entire digital camera controls the light emitting unit 16 and the light receiving unit 17 for flash, controls the lens driving unit 18 to adjust the position of the photographing lens 10 to the focus position, and the diaphragm driving unit 19. Then, the aperture amount of the diaphragm 12 is controlled to adjust the exposure amount to be appropriate.
[0011]
Further, the CPU 15 drives the solid-state image sensor 11 via the image sensor driving unit 20 and outputs the subject image captured through the photographing lens 10 as a color signal. In addition, a user instruction signal is input to the CPU 15 through the operation unit 21, and the CPU 15 performs various controls according to the instruction.
[0012]
The electric control system of the digital camera has an analog signal processing unit 22 connected to the output of the solid-state image sensor 11, and an A / D that converts RGB color signals output from the analog signal processing unit 22 into digital image data. And a converter 23, which are controlled by the CPU 15. The image data output from the A / D converter 23 is 12-bit RAW data (raw data).
[0013]
Further, the electric control system of the digital camera includes a memory control unit 25 connected to the main memory 24, a digital signal processing unit 26 described later in detail, and compresses the captured image into a JPEG image and decompresses the compressed image. A compression / expansion processing unit 27, an integration unit 28 that integrates photometric data and adjusts the gain of white balance, an external memory control unit 30 to which a memory card 29 is detachably connected, and a liquid crystal mounted on the back of the camera. A display control unit 32 to which a monitor 31 is connected is provided, which are connected to each other by a control bus 33 and a data bus 34, and controlled by a command from the CPU 15.
[0014]
In FIG. 2 which shows a part of the solid-state image sensor 11 in an enlarged manner, the solid-state image sensor 11 is a so-called honeycomb CCD (for example, described in Japanese Patent Laid-Open No. 10-136391), and each pixel 1 which is a photoelectric conversion element. The light receiving unit 2 has an octagonal shape. Each light receiving section 2 is composed of a low sensitivity section 3 occupying about 1/5 of the area and a high sensitivity section 4 occupying the remaining about 4/5. In the solid-state imaging device 11, the signal charge of each low-sensitivity portion 3 and the signal charge of each high-sensitivity portion 4 can be read out and transferred to a vertical transfer path (not shown) that transfers them in the vertical direction. It has become.
[0015]
As shown in FIG. 3, the digital signal processing unit 26 outputs a high-sensitivity image signal (image signal obtained from the high-sensitivity unit 4) and a low-sensitivity image signal (image signal obtained from the low-sensitivity unit 3), respectively. A logarithmic addition method in which addition processing is performed after gamma correction is employed. That is, the digital signal processing unit 26 includes offset correction circuits 41a and 41b that perform offset processing on the RGB color signals of the high-sensitivity image and the low-sensitivity image output from the A / D converter 23, and the offset. Gain correction circuits 42a and 42b that white balance the output signals of the correction circuits 41a and 41b, and gamma correction circuits 43a and 43b that perform gamma correction on the color signals after gain correction are provided. The offset process is a process of setting an offset level (threshold value) in a video signal and enhancing the signal above that level to increase the contrast of a low-contrast video and convert it into a clear video.
[0016]
Also, the digital signal processing unit 26 interpolates the RGB color signal after the image composition by performing an image composition process by taking both output signals of the gamma correction circuits 43a and 43b, and the position of each light receiving unit. RGB interpolation calculation circuit 45 for obtaining RGB three-color signals, RGB / YC conversion circuit 46 for obtaining luminance signal Y and color difference signals Cr and Cb from RGB color signals, and noise from luminance signal Y and color difference signals Cr and Cb. A noise filter 47 for reducing, a contour correcting circuit 48 for performing contour correction on the luminance signal Y after noise reduction, and a color difference matrix circuit 49 for performing color correction by multiplying the color difference signals Cr and Cb by a color difference matrix; Is provided.
[0017]
Since the RGB interpolation calculation circuit 45 outputs only one color signal of R, G, and B from each pixel 1, in the other color, that is, a pixel that outputs R, G, B of G, B at this light receiving portion position. The degree of the color signal is obtained by interpolation calculation from the G and B signals of surrounding pixels.
[0018]
The image synthesis processing circuit 44 synthesizes the high-sensitivity image signal output from the gamma correction circuit 43a and the low-sensitivity image signal output from the gamma correction circuit 43b in units of pixels based on the following Equation 1, and outputs the result. To do.
[0019]
[Expression 1]
[0020]
Here, the meanings indicated by the characters in Formula 1 are as follows.
high: data after gamma correction of high-sensitivity image data low: data after gamma correction of low-sensitivity image data p: total gain th: threshold value α: value determined by the scene (≈1)
[0021]
If the data after gamma correction is 12-bit data (4096 gradations), the threshold th is, for example, “3000” of values 0 to 4096 and a value designated by the user or designer of the digital camera.
[0022]
The first term of Formula 1 is that when the high-sensitivity image data high exceeds the threshold th, the low-sensitivity image data low is added to the high-sensitivity image data high as it is, and when the high-sensitivity image data high is less than the threshold th, It shows that a value obtained by multiplying the ratio of the high sensitivity image data high to the threshold th by the low sensitivity image data low is added to the high sensitivity image data high. In addition, the second term of Equation 1 represents the total gain corresponding to the scene. That is, Formula 1 indicates that the data after gamma correction of the high-sensitivity image data and the data after gamma correction of the low-sensitivity image data are weighted and then added to each other. Note that the coefficient “0.2” in the second term of Equation 1 represents the signal charge saturation ratio of the low sensitivity portion 3 and the high sensitivity portion 4 as the area ratio of the low sensitivity portion 3 and the high sensitivity portion 4 for convenience. This is the value required when
[0023]
The total gain p is a gain for the entire added data, and the dynamic range is controlled by changing this. The smaller the total gain p value, the wider the dynamic range, and the larger the value, the narrower the dynamic range. Specifically, depending on the scene, p = 0.8 for high-contrast scenes (such as midsummer sunny weather), p = 0.86 for cloudy or shaded, and p = 0.9 for indoor fluorescent lighting. To change the value of p. Thereby, when the data after the gamma correction is 12-bit data, the 12-bit gradation value can be used more effectively.
[0024]
The value of p may be set automatically by the digital camera itself automatically determining the scene of the captured image based on the detection values of various sensors, and the user specifying the type of scene using the operation unit 21. You can also set it with.
[0025]
In FIG. 4, which shows how the dynamic range changes when the value of p is changed, the characteristic line A when the value of the total gain p is increased has a smaller dynamic range, and the value of the total gain p decreases. The dynamic range changes up to the characteristic line B. Note that the value of α may be a value corresponding to the scene of the captured image, but a fixed value “1” may be employed.
[0026]
The digital camera has two types of shooting modes, a normal mode and a RAW mode, which are selected by the operation unit 21. In the normal mode, image data (12 bits) composed of the luminance signal Y after contour correction and the color difference signals Cr and Cb after tone correction output from the digital signal processing unit 26 is subjected to a low bit processing (8 bits by sampling processing). The image data is generated) and then compressed to JPEG image data by the compression / decompression processing unit 27 and recorded in the memory card 29. As described above, since the JPEG image is a composite image of a high-sensitivity image and a low-sensitivity image, the JPEG image has a sufficient gradation with no whiteout or blackout.
[0027]
In order to perform the display according to the present invention for displaying the proportion of the high-sensitivity image and the low-sensitivity image that are combined for each dot, the RAW mode is selected and photographing is performed. In the RAW mode, together with the same JPEG image data as in the normal mode, the CCD-RAW data, which is 12-bit image data output from the A / D converter 23, is directly recorded in the memory card 29 without image synthesis. The
[0028]
The CCD-RAW data is composed of the high sensitivity image data and the low sensitivity image data. In the RAW mode, the total gain p, the threshold values th, and α used in the JPEG image data synthesis process are also recorded together with the JPEG image data and the CCD-RAW data.
[0029]
The memory card 29 photographed in the RAW mode is taken out from the digital camera and then inserted into a card slot 51 of a personal computer (hereinafter referred to as a personal computer) 50 as shown in FIG. The personal computer 50 is a general computer in which a keyboard 52 and a mouse 53 are connected to a PS / 2 port 54, and a liquid crystal display 56 is connected to a display control unit 55. The personal computer 50 includes a known CPU 57, main memory 58, and hard disk (HD) 59.
[0030]
In addition to the OS and various applications, a CCD-RAW application is installed in the hard disk 59. This CCD-RAW application will be described with reference to FIG. 6, FIG. 7 and FIG. The CCD-RAW application reads JPEG image data and CCD-RAW data from the memory card 29, and based on the JPEG image, a completed image 62 is displayed in a vertically elongated window 61 arranged on the left side of the display screen 56a of the liquid crystal display 56. , 63, 64, and 65, and the first completed image 62 is enlarged and displayed by default in the left half of the wide window 66 on the right side, and on the right side of the completed image 62 based on the CCD-RAW data. A reference image 68 is displayed.
[0031]
The reference image 68 corresponds to the contour image 71 displayed based on the contour image data extracted from the luminance data of the completed image 62, and the high-sensitivity image data of the low-sensitivity image data used to create the completed image 62. A ratio display image 72 showing the ratio of each dot as a change in color is superimposed and displayed. Note that the ratio display image 72 illustrated in FIG. 8 represents the color change in a pseudo manner by hatching. The smaller the hatched line spacing, the higher the percentage of low-sensitivity image data used.
[0032]
The ratio of each dot of the low-sensitivity image data to the high-sensitivity image data is expressed by wl , as is clear from Equation 1, and is determined by the high-sensitivity image data high and the threshold th, and is 50% at the maximum. is there. In the present embodiment, when the collars 74a and 74b of the shirt 74 are photographed in a state of being exposed to a strong light beam such as in fine weather, a region where the high-sensitivity image data high exceeds the threshold th increases, and so-called whiteout occurs. This makes it impossible to determine the texture of the fabric. In such a part, the usage ratio of the low-sensitivity image data to the high-sensitivity image data increases, and this maximum value is displayed below the completed image 62, for example, “low max 50%”.
[0033]
Also, below the reference image 68, a color scale 75 is displayed that indicates the usage ratio of the low-sensitivity image data to the high-sensitivity image data from 0% to 50% by color change. In FIG. 8, the change in color of the ratio display image 72 and the color scale 75 is represented by hatching due to difficulty in drawing, but actually, for example, when the usage ratio is around 50%, red, 25 The vicinity of% is green, the vicinity of 0% is blue, the middle between red and green is yellow, the middle between green and blue is light blue, and the color changes smoothly between each color.
[0034]
The threshold values th and α used to create the completed image 62 are values determined by the designer of the digital camera, and the total gain p is a value automatically determined by the digital camera according to the shooting scene. However, these values can be arbitrarily changed by the user operating the CCD-RAW application. Since this change result is reflected in each drawing of the completed image 62 and the reference image 68 in real time, the user observes both the images 62 and 68 and sets the total gain p, the threshold values th, and α to the most appropriate values. A possible value can be determined. Thereafter, if the image is overwritten, the image data of the completed image 62 is replaced with the changed one.
[0035]
The CCD-RAW application can be switched to a display as shown in FIG. In the window 66, three images of a completed image 77, a high sensitivity image 78, and a low sensitivity image 79 are displayed in parallel. Since the completed image 77 is the same as the completed image 62, the description is omitted. The high sensitivity image 78 is drawn based on the high sensitivity image data of the CCD-RAW data. The low sensitivity image 79 is drawn based on the low sensitivity image data of the CCD-RAW data.
[0036]
In the high-sensitivity image 77, the area where the high-sensitivity image data high exceeds the threshold th, that is, the batch 80 attached to the collars 74a and 74b of the shirt 74 and the chest of the shirt 74 is displayed in red, for example, Displayed in shades of black and white. In the low-sensitivity image 79, the entire image is displayed in black and white. That is, in this embodiment, it can be clearly seen that the low-sensitivity image data is used for the collars 74a and 74b and the batch 80. Also in this case, the user can change the value such as the threshold th by operating the CCD-RAW application, and the rendering of the completed image 77, the high-sensitivity image 78, and the low-sensitivity image 79 is changed in real time each time. The
[0037]
The solid-state image sensor is not limited to that shown in FIG. 2 but may be a solid-state image sensor 90 as shown in FIG. This solid-state imaging device 90 is provided with a honeycomb-shaped high-sensitivity pixel 91 and a circular low-sensitivity pixel 92 having a smaller area. In this case, since the value of the coefficient in Formula 1 is not limited to “0.2”, it is obtained experimentally or from the aperture area of the microlens.
[0038]
In the embodiment described above, the reference image is arranged in parallel with the completed image. However, the present invention is not limited to this, and the low-sensitivity image is drawn on the layer above the completed image, and the display / non-display of the layer is performed. , The usage ratio of the low-sensitivity image in the completed image may be displayed. In this case, there is an advantage that an image can be displayed in a larger size.
[0039]
In the above embodiment, the logarithmic addition method is adopted. However, the present invention is not limited to this, and the true number addition method is performed in which the high-sensitivity image signal and the low-sensitivity image signal are combined before gamma correction. You can also In addition, the usage ratio of the low-sensitivity image data and the high-sensitivity image data is displayed on the personal computer, but the usage ratio may be displayed on the digital camera using a CCD-RAW application.
[0040]
In the above embodiment, in the RAW mode of the digital camera, the combined jpeg image data, high-sensitivity image data, and low-sensitivity image data are stored together in the memory card, and the jpeg image is used as a completed image. Alternatively, only high-sensitivity image data and low-sensitivity image data that are CCD-RAW data may be stored in the memory card. In this case, a high-sensitivity image data and low-sensitivity image data are combined by a CCD-RAW application of a personal computer to create a completed image.
[0041]
In the above embodiment, the CCD-RAW data is 12 bits and the completed jpeg image is 8 bits. However, the present invention is not limited to this. For example, both the CCD-RAW data and the jpeg image It may be 8 bits, or the user may switch the CCD-RAW data to 12 bits or 8 bits at the time of shooting.
[0042]
In the above-described embodiment, the use ratio of the low-sensitivity image is represented by a change in color. However, it can be represented by a single color shading. In this case, there is an advantage that the change in the use ratio of the low-sensitivity image when the parameter (threshold value th or the like) is changed in the CCD-RAW application becomes easier to understand, but the boundary with the contour image becomes unclear. It is preferable that the shade color and the color of the contour image are different from each other.
[0043]
Moreover, the area ratio and each shape of the low sensitivity part and high sensitivity part of the light-receiving part of a solid-state image sensor can be determined arbitrarily. In addition, although a high-sensitivity image and a low-sensitivity image are output with a wide area, the exposure time can be long or short. The solid-state imaging device is not limited to a honeycomb CCD, but may be a Bayer CCD or a CMOS image sensor.
[0044]
Further, in the above-described embodiments, the high-sensitivity image is mainly used, and the low-sensitivity image is synthesized in a region where whiteout of the high-sensitivity image occurs. A high-sensitivity image may be synthesized in the generated area. Further, it may be determined which is the main subject according to the shooting scene.
[0045]
【The invention's effect】
As described above, according to the image display program of the present invention, the completed image obtained by combining the high sensitivity image data and the low sensitivity image data is displayed, and the low sensitivity image data and the high sensitivity image data are displayed. Since the reference image that visually represents the usage ratio is displayed, the usage ratio between the low-sensitivity image and the high-sensitivity image can be clearly understood, and if this ratio is changed, a desired completed image can be obtained. Further, it is preferable to display the reference image in parallel with the completed image because it is easier to understand. Further, since the completed image, the high sensitivity image, and the low sensitivity image are displayed, the usage ratio of the low sensitivity image and the high sensitivity image can be clearly understood. Further, it is preferable that the completed image, the high-sensitivity image, and the low-sensitivity image are displayed in parallel with each other because it is easier to understand.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera according to an embodiment of the present invention.
FIG. 2 is an explanatory diagram showing a pixel arrangement of a solid-state image sensor.
FIG. 3 is a block diagram illustrating a configuration of a digital signal processing unit.
FIG. 4 is a graph showing how the dynamic range changes.
FIG. 5 is a block diagram showing a configuration of a personal computer.
FIG. 6 is a flowchart showing a main sequence of a CCD-RAW application.
FIG. 7 is a flowchart showing a reference image display sequence;
FIG. 8 is an explanatory diagram showing a monitor screen that displays a completed image and a reference image in parallel.
FIG. 9 is an explanatory diagram showing a monitor screen that displays a completed image, a high-sensitivity image, and a low-sensitivity image in parallel.
FIG. 10 is an explanatory diagram showing a pixel arrangement of another solid-state image sensor.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Pixel 2 Light-receiving part 3 Low sensitivity part 4 High sensitivity part 11,90 Solid-state image sensor 15,57 CPU
26 Digital signal processing unit 29 Memory card 31 Liquid crystal monitor 44 Image composition processing circuit 50 Personal computer 56 Liquid crystal display 62, 77 Completed image 68 Reference image 71 Contour image 72 Ratio display image 78 High sensitivity image 79 Low sensitivity image 91 High sensitivity pixel 92 Low Sensitivity pixel
