JP4407801B2 - エッジ生成装置、エッジ生成方法およびエッジ生成プログラム - Google Patents

Description

本発明は、エッジ生成装置、エッジ生成方法およびエッジ生成プログラムに関する。

従来、拡大前の画像（以下、拡大前画像とも記載）から構成画素数を増やした拡大画像を生成する際、拡大前画像の画素単位でエッジの位置を検出し、当該エッジの位置を拡大画像の画素に対応させて拡大画像のエッジの領域を形成するとともに、拡大画像の各画素の階調データ（拡大画像の階調データとも記載。以下、同様）を所定の補間処理により生成している。バイリニア法やバイキュービック法等による補間処理では、拡大画像上の注目画素の近隣に位置する拡大前画像における所定領域内の複数の画素の画像データを用いて拡大画像の階調データを生成している。そして、拡大前画像の画素に対応して拡大画像の画素を区分したブロック単位で補間処理を行って拡大画像の階調データを生成するとともに、エッジ部分が鮮鋭となるように、拡大前画像の画像データに基づいてエッジの強調処理、鮮鋭化処理も行っている。

また、画像を拡大する際、注目画素の階調値の変化度合と近隣の画素の階調値の変化度合のうちいずれかが所定の条件に合致すると判断されれば注目画素については同条件が合致するものとして変化度合を評価し、この評価に基づいて複数の補間処理から選択して画素補間を実行することも行われている（例えば、特許文献１参照）。
特許第３０４５１３４号公報

拡大前画像の画素単位でエッジの位置を検出する場合、拡大画像のエッジ位置の精度がよくなく、拡大画像のエッジにいわゆるジャギーと呼ばれるギザギザ状の模様が目立っていた。そこで、エッジ位置の精度を向上させ、拡大画像のエッジを精度よく細線で形成して鮮鋭化等の処理を容易にさせたいという希望があった。
また、肌色等の特徴部分について他の部分の画質を維持しながらより良好に表現させたり、エッジ部分についてより良好に鮮鋭化させたりして、画像処理後の画像をより高画質化したいという希望があった。

さらに、エッジの領域を跨いだ複数の画素の画像データを用いて補間処理を行うと、注目画素に対してエッジの領域の向こう側にある画素の画像データが補間処理後の階調データに反映されるため、エッジ部分が平滑化され、ぼやけてしまうという問題があった。特に、ブロック単位で補間処理を行う場合、エッジのあるブロックについて鮮鋭化等の処理を行うと、エッジの領域が存在するブロック（エッジブロックとも記載）とエッジの領域が存在しないブロック（非エッジブロック）との間で色の差が発生してしまうという問題があった。特許文献１に開示された技術でも、エッジの領域を跨いだ複数の画素の画像データが用いられてキュービックコンボリューション補間が行われると、エッジ部分が平滑化されてしまう。そこで、補間処理後でもエッジ部分の鮮鋭さを維持して画質を向上させたいという希望があった。

本発明は、上記課題にかんがみてなされたもので、画像処理後の画質を向上させることが可能なエッジ生成装置、エッジ生成方法およびエッジ生成プログラムの提供を目的とする。

課題を解決するための手段および発明の効果

上記目的を達成するため、本発明は、拡大前画像を表現した画像データから同拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成装置であって、拡大位置取得手段と、向き決定手段と、位置修正手段と、エッジ生成手段とを具備することを特徴とする。
上記拡大位置取得手段により上記拡大画像の各画素の位置に対応させたエッジの位置が取得されると、上記向き決定手段により上記拡大前画像上における各画素の階調データのうち向きを決定する注目エッジの位置を含む所定範囲内の複数画素の階調データから当該注目エッジの向きが決定される。ここで、位置修正手段により、注目エッジの位置は、上記拡大画像上において上記注目エッジの位置と当該注目エッジに近隣するエッジ（近隣エッジとも記載）の位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に修正されることが可能とされている。そして、エッジ生成手段により、修正後のエッジの位置を用いられて、上記拡大画像の各画素の位置に対応させて当該拡大画像のエッジの領域を表すエッジ情報が生成される。

すなわち、注目エッジの位置と近隣エッジの位置とを結ぶ方向が上記決定された注目エッジの向きに近づくように注目エッジの位置が修正されるので、エッジ位置の精度が向上する。従って、拡大画像のエッジを精度よく細線で形成して鮮鋭化等の処理を容易にさせることが可能となり、画像処理後の画質を向上させることが可能となる。

上記画像データは、ビットマップデータ、圧縮されたデータ、等、様々なデータ形式とすることができるとともに、ＹＣｂＣｒデータ、ＲＧＢデータ、ＣＭＹｅＧデータ、ＣＩＥ Ｌａｂ色空間の成分データからなるＬａｂデータ、等、様々なデータとすることができる。同画像データで表現される画像は、複数画素の構成とすることができ、例えば４×４画素、８×８画素のような小画像を表現するものでもよい。
上記所定範囲内の画素は、注目エッジに隣接していても、隣接していなくてもよい。

上記拡大位置取得手段は、上記拡大前画像上で、注目画素とその近隣に位置する画素との画像データの差分を演算し、演算結果に基づいて同注目画素の近隣に存在するエッジの位置を取得してもよい。画像データの差分を演算するという簡易な構成で、エッジの位置を取得することができる。その際、エッジの強度と上記演算結果とに基づいてエッジの位置を取得してもよい。

上記拡大位置取得手段は、上記拡大前画像上で、注目画素を含む所定範囲内の複数画素の階調データに対して所定の差分フィルタを用いた演算を行って同拡大前画像の各画素に対応して階調表現された中間データを生成し、当該中間データに対応するドットマトリクス状の画素上で、注目画素を含む所定範囲内の複数画素の中間データを用いて同中間データを所定値にする位置を決定し、当該位置を上記拡大画像の各画素の位置に対応させたエッジの位置を取得する構成としてもよい。差分フィルタを用いてエッジの位置を検出することにより、簡易な構成で、精度よくエッジの位置を決定することができ、精度よく拡大画像のエッジの領域を表す情報を生成することが可能となる。

上記注目エッジの向きを決定するに階調データが用いられる所定範囲内の複数画素と、上記中間データを生成するために階調データが用いられる所定範囲内の複数画素と、上記中間データを所定値にする位置を決定するために階調データが用いられる所定範囲内の複数画素とは、同じ範囲内の画素でもよいし、異なる範囲内の画素でもよい。注目画素を含む所定範囲内の画素は、注目画素に隣接していてもよいし、注目画素に隣接していなくてもよい。以下も、同様である。
上記所定値は、固定値でもよいし、値に幅があってもよい。

上記差分フィルタをラプラシアンフィルタとするとともに上記所定値を略０とし、上記拡大位置取得手段は、上記中間データに対応するドットマトリクス状の画素上で注目画素を含む所定範囲内の複数画素の位置および中間データに基づいて同中間データを略０にする位置を決定し、当該位置を上記拡大画像の各画素の位置に対応させたエッジの位置を取得してもよい。公知のラプラシアンフィルタを用いてエッジの位置を検出することにより、簡易な構成で精度よくエッジの位置を取得することができ、精度よく拡大画像のエッジの領域を表す情報を生成することができる。
ラプラシアンフィルタは、８方向ラプラシアンフィルタ、４方向ラプラシアンフィルタ、等、を採用することができる。ラプラシアンフィルタを用いるとエッジ位置を高精度で取得することができる点で有用であるが、一次空間微分フィルタ、等の差分フィルタを用いることも可能である。

上記向き決定手段は、上記拡大前画像上で、注目画素を含む所定範囲内の複数画素の階調データを２値化して２値化データを生成し、当該２値化データと、エッジの向きに対応した所定の複数のマッチングパターンと、からエッジの向きを決定する構成としてもよい。簡易な構成で確実にエッジの向きを決定することができ、高速な処理にて確実に拡大画像のエッジを精度よく細線で形成することが可能となる。

上記位置修正手段は、上記拡大画像上において上記注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近いとき、同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正する。すなわち、二つの近隣エッジの位置どうしを結ぶ方向のほうが注目エッジの位置と近隣エッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近い場合に注目エッジの位置が修正されるので、エッジ位置の精度がより確実に向上する。従って、より確実に拡大画像のエッジをより滑らかに精度よく細線で形成して鮮鋭化等の処理をより容易に行うことが可能となり、画像処理後の画像の画質をより良好にさせることができる。

その際、二つのエッジの位置どうしを結ぶ直線に近づける位置に上記注目エッジの位置を修正すると、エッジ位置の精度がさらに確実に向上する。従って、さらに確実に拡大画像のエッジをより滑らかに精度よく細線で形成して鮮鋭化等の処理をさらに容易に行うことが可能となり、画像処理後の画像の画質をさらに良好にさせることができる。

上記拡大画像のエッジの位置を当該拡大画像の画素単位とすると、拡大画像の画素単位でエッジの領域が形成されるので、拡大画像のエッジを精度よく細線で形成して鮮鋭化等の処理を容易に行うことが可能であるとともに、エッジのジャギーを少なくさせることが可能となる。その際、エッジ位置を取得するためにエッジ検出用の拡大画像を生成する必要がないので、少ない容量の記憶領域で拡大画像のエッジの領域を表す情報を生成することができる。
上記エッジ生成手段が近隣する拡大画像のエッジどうしを連結して拡大画像のエッジの領域を表すエッジ情報を生成すると、拡大画像のエッジどうしが連結されるので、より確実に、拡大画像のエッジを精度よく細線で形成することが可能となる。

上記拡大位置取得手段は、上記拡大前画像の明るさが表された上記画像データに基づいて上記エッジの位置を取得してもよい。すると、より確実にエッジの位置を精度よく取得することができ、精度よく拡大画像のエッジの領域を表す情報を生成することができる。なお、明るさが表された画像データは、輝度データ、明度データ、ＲＧＢ各データの平均、等、様々なデータとすることができる。
上記拡大位置取得手段は、上記拡大前画像上で、注目画素を含む所定範囲内の複数画素の階調データに対してガウスぼかしを行う演算を行い、当該ガウスぼかしが行われた画像データに基づいてエッジの位置を取得してもよい。ガウスぼかしを行うことによりノイズが除去されるのでさらに精度が向上し、より滑らかとされたエッジの位置を表す情報を生成することができる。

また、上記拡大前画像上で階調データの修正処理を行う注目画素を含む所定範囲内の複数画素の中から所定の色領域内にある画素の量を表す特徴量を当該複数画素の階調データから求める特徴量取得手段と、
上記注目画素を含む所定範囲内の複数画素の階調データに対して所定のフィルタ演算を行い、同注目画素についてフィルタ処理後の階調データを求めるフィルタ手段と、
上記特徴量に対応する割合で上記注目画素の階調データと上記フィルタ処理後の階調データとを合成して上記注目画素についての上記修正処理後の階調データとすることにより、上記拡大前画像を表現した画像データを修正する合成手段とが設けられてもよい。
上記特徴量取得手段により、上記修正処理を行う注目画素を含む所定範囲内の複数画素の中から所定の色領域内にある画素の量を表す特徴量が当該複数画素の階調データから求められる。また、上記フィルタ手段により、上記注目画素を含む所定範囲内の複数画素の階調データに対して所定のフィルタ演算が行われ、同注目画素についてフィルタ処理後の階調データが求められる。そして、上記合成手段により、上記特徴量に対応する割合で上記注目画素の階調データと上記フィルタ処理後の階調データとが合成され、上記注目画素についての上記修正処理後の階調データとされる。

すなわち、所定の色領域内にある画素の量が表された特徴量に対応する割合でフィルタ処理前後の階調データが合成されるので、当該色領域に対して適切な処理が行われる。従って、色領域以外の部分の画質を維持しながら色領域をより良好に表現することができ、画像処理後の画像の画質を向上させることが可能となる。

上記色領域は、画像中で肌色を表現する所定の肌色領域、青空を表現する所定の青色領域、夕日を表現する所定の赤色領域、森を表現する所定の緑色領域、等、画像中の様々な領域とすることができる。上記所定のフィルタ演算は、色領域の種類に対応して行えばよい。例えば肌色領域の場合、所定範囲内の複数画素の階調データを平滑化する平滑フィルタを用いてフィルタ演算を行うと、色として重要な肌色についてより好ましい色を表現することが可能となり、より良好な画質の画像を得ることが可能となる。ガウスぼかしを行うフィルタ演算を行うと、より確実に肌色領域の表現力を向上させ、より確実に高画質の画像を得ることが可能となる。むろん、鮮鋭化処理を行うと好適な色領域の場合には、所定範囲内の複数画素の階調データを鮮鋭化するフィルタ演算を行うと、当該色領域についてより好ましい色を表現することが可能となり、より良好な画質の画像を得ることが可能となる。

簡易な構成として、上記合成手段は、上記注目画素の階調値をh1、当該注目画素の上記フィルタ処理後の階調値をh2、上記特徴量に対応する係数をb1（０≦b1≦１）として、b1×h2＋（１−b1）×h1なる演算式により、上記注目画素についての修正処理後の階調データを求めてもよい。むろん、注目画素の階調値h1と当該注目画素についての修正処理後の階調値との相関を線形とする以外にも、非線形とすることも可能である。

上記画像データは、上記画素毎にＲＧＢ色空間の各ＲＧＢの成分値に対応したＲＧＢ別の階調値からなるデータとされ、上記特徴量取得手段は、上記画素毎のＲ，Ｇ，Ｂの成分値をそれぞれＲ，Ｇ，Ｂとするとき、｛1.732（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）｝が0.1より大きく0.9より小さく、かつ、Ｇ＞Ｂを満たす画素を上記所定の色領域内の画素とする発明によれば、0.1＜｛1.732（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）｝＜0.9のみならずＧ＞Ｂも満たす画素を上記所定の色領域内の画素とするので、肌色として良好な色とされた部分のみ当該色領域内の画素とされる。従って、良好な肌色の領域内にある画素の量を表す特徴量を確実に求めて、当該領域以外の画質を維持しながら良好な肌色の領域をさらに良好に表現することができ、画像処理後の画像をさらに高画質化させることが可能となる。
ＲＧＢ色空間をｓＲＧＢ規格にも定義されたＣＩＥ １９３１表色系におけるＲＧＢ色空間とすると、さらに良好に色領域を表現することができ、画像処理後の画像の画質をさらに向上させることが可能となる。

上記特徴量取得手段は、上記修正処理を行う注目画素を含む所定範囲内の画素の数に対する上記所定の色領域内にある画素の割合が表された特徴量を当該複数画素の階調データから求め、上記合成手段は、上記特徴量が大きいほど上記フィルタ処理後の階調データの割合を大きくして上記注目画素の階調データと同フィルタ処理後の階調データとを合成して上記注目画素についての上記修正処理後の階調データとする発明によれば、色領域内にある画素の割合を特徴量とするという簡易な構成で、色領域以外の部分の画質を維持しながら色領域をより良好に表現することが可能となる。肌色領域を所定の色領域とする場合、このようにして求められた特徴量が大きいほどフィルタ処理後の階調データの割合を大きくしてフィルタ処理前後の階調データを合成すると、肌色領域をさらに良好に表現することができ、画像処理後の画像をさらに高画質化させることが可能となる。

さらに、上記拡大画像上で階調データの補間処理を行う注目画素の近隣に位置する上記拡大前画像における複数画素の画像データを用いることにより、同注目画素について同補間処理を行って補間処理後の階調データを生成する補間手段と、
上記拡大画像上における各画素の補間処理後の階調データのうちエッジの部分を鮮鋭化する鮮鋭化処理を行う注目エッジの位置を含む所定範囲内の複数画素の階調データに対して、上記拡大前画像の画素数に対応する度合で鮮鋭化する鮮鋭化処理を行う鮮鋭化手段とが設けられてもよい。
上記補間後位置取得手段により上記補間後画像の各画素の位置に対応させたエッジの位置が取得されると、上記補間手段により上記補間後画像上で上記補間処理を行う注目画素の近隣に位置する上記補間前画像における複数画素の画像データが用いられて、同注目画素について上記補間処理が行われて補間処理後の階調データが生成される。そして、鮮鋭化手段により、上記補間後画像上における各画素の補間処理後の階調データのうち上記鮮鋭化処理を行う注目エッジの位置を含む所定範囲内の複数画素の階調データに対して、上記補間前画像の画素数に対応する度合で鮮鋭化する鮮鋭化処理が行われる。

すなわち、注目エッジの位置を含む所定範囲内の複数画素の階調データに対して補間前画像の画素数に対応する度合で鮮鋭化されるので、当該複数画素の階調データに対して適切な鮮鋭化処理が行われる。従って、エッジ部分についてより良好に鮮鋭化することができ、画像処理後の画像の画質を向上させることが可能となる。
上記注目画素の近隣に位置する画素は、注目画素に隣接していてもよいし、隣接していなくてもよい。

上記鮮鋭化手段は、第一画素数とされた上記補間前画像に対する鮮鋭化の度合を、当該第一画素数よりも少ない第二画素数とされた上記補間前画像に対する鮮鋭化の度合よりも大きくする構成としてもよい。補間後画像のエッジ部分がより適切に鮮鋭化されるので、画像処理後の画像をより高画質化させることが可能となる。

上記画素数に対応する度合で鮮鋭化する簡易な構成として、上記鮮鋭化手段は、上記所定範囲内の複数画素の階調データに対して鮮鋭化する所定の鮮鋭化演算を行い、鮮鋭化演算後の階調データを求めるとともに、上記補間前画像の画素数に対応する割合で当該所定範囲内の複数画素についてそれぞれ鮮鋭化演算前の階調データと鮮鋭化演算後の階調データとを合成して上記鮮鋭化処理後の階調データとするという構成としてもよい。簡易な構成ながら、画像処理後の画像をより高画質化させることが可能となる。
さらに簡易な構成として、上記鮮鋭化手段は、上記所定範囲内の画素毎の階調値をg3、鮮鋭化演算後の階調値をg4、上記補間前画像の画素数に対応する係数をa3（０≦a3≦１）として、a3×g4＋（１−a3）×g3なる演算式により、上記鮮鋭化処理後の階調データを求めてもよい。むろん、鮮鋭化演算前後の階調値g3の相関を線形とする以外にも、非線形とすることも可能である。

上記所定範囲内の画素毎の階調値をg1、鮮鋭化演算後の階調値をg2、当該所定範囲内の複数画素についての階調値の最小値をmin、最大値をmax、平均値をave、上記補間前画像の画素数に対応した所定係数をa1，a2（ただし、０＜a1＜１＜a2）として、
（Ａ）g1が｛（１−a1）×min−（１−a2）×ave｝／（a2−a1）｝より小または以下のとき、
g2＝a1×g1＋（１−a1）×min
（Ｂ）g1が｛（１−a1）×min−（１−a2）×ave｝／（a2−a1）｝以上またはより大、かつ、g1が｛（１−a1）×max−（１−a2）×ave｝／（a2−a1）｝より小または以下のとき、
g2＝a2×g1＋（１−a2）×ave
（Ｃ）g1が｛（１−a1）×max−（１−a2）×ave｝／（a2−a1）｝以上またはより大のとき、
g2＝a1×g1＋（１−a1）×max
なる演算式を用いても、上記画素数に対応する度合で鮮鋭化することができ、画像処理後の画像をより高画質化させることが可能となる。また、トーンカーブ補正等を行う場合と比べて鮮鋭化処理を高速化させることが可能となるし、各エッジでの階調値の状況に応じた適切な鮮鋭化処理を行うことが可能となる。同演算式を用いて上記所定の鮮鋭化演算を行い、上記補間前画像の画素数に対応する割合で上記所定範囲内の複数画素についてそれぞれ鮮鋭化演算前の階調データと鮮鋭化演算後の階調データとを合成して上記鮮鋭化処理後の階調データとする場合も上記演算式を用いる先鋭化手段の構成に含まれ、画像処理後の画像をさらに高画質化させることが可能となる。

既に階調データの鮮鋭化演算が行われていた画素については既に得られていた鮮鋭化演算後の階調データと新たに得られた鮮鋭化演算後の階調データとを平均し、鮮鋭化処理を行うと、画像処理後の画像の高画質を維持しながら鮮鋭化処理を高速化させることが可能となる。なお、平均には、算術平均（相加平均）、相乗平均等が含まれる。

また、既に注目エッジの位置とされたエッジに隣接するエッジの位置を除いて注目エッジの位置を設定しても、画像処理後の画像の高画質を維持しながら鮮鋭化処理を高速化させることが可能となる。

上記補間手段は、上記注目画素の近隣に位置する上記補間前画像における複数画素のうち当該注目画素に対応する画素との画像データの差異が所定範囲内となる画素の画像データのみを用いて上記補間処理を行って補間処理後の階調データを生成してもよい。補間処理の際に注目画素に対応した画素の画像データとの差異が大きい画素の画像データが用いられないので、実質的にはエッジの領域から注目画素側にある画素の画像データのみを用いた補間処理が行われる。すなわち、補間処理の際に同所定領域のうちエッジの領域を越えた領域の画素の画像データが用いられないので、エッジ部分が平滑化されず、補間処理後でもエッジ部分の鮮鋭さを維持して画質を向上させることが可能となる。

ここで、複数の画素の画像データを参照する補間処理は、バイキュービック法による補間処理、バイリニア法による補間処理、等、様々な処理が考えられる。上記所定領域は、補間処理の種類に応じて、適宜決定すればよい。エッジの領域から注目画素側にある画素が一つとなる場合も、上記補間手段の構成に含まれる。
上記画像データは、上記画像の明るさが表されたデータであってもよい。同画像データの差異は、階調値の差や比、階調値の２乗の差、等、様々なものが考えられる。
上記所定範囲には、境界部分を含めてもよいし、除いてもよい。画像データの差異が所定範囲内か否かは、例えば、同差異と所定の閾値とを対比するにより判断することができる。閾値は、固定値でも、条件に応じて変動する値でもよい。以下も、同様である。

なお、上述した装置は、ある機器に組み込まれた状態で他の方法とともに実施されることもある等、発明の思想としては各種の態様を含むものであって、適宜、変更可能である。また、上記構成に対応した所定の手順に従って処理を進めていくことも可能であるので、本発明は制御方法としても適用可能であり、請求項６〜請求項７にかかる発明も、基本的には同様の作用、効果を有する。さらに、上記処理後の画像データに基づいて印刷を行う印刷装置に対して印刷制御を行う印刷制御装置としても適用可能であるし、同印刷制御装置と印刷装置を備える印刷システムとしても適用可能であり、基本的には同様の作用、効果となる。

本発明を実施しようとする際に、上記装置にて所定の制御プログラムを実行させる場合もある。そこで、請求項８〜請求項９に記載したプログラムでも、基本的には同様の作用、効果を有する。また、同プログラムを記録した媒体が流通し、同記録媒体からプログラムを適宜コンピュータに読み込むことが考えられるので、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としても適用可能であり、基本的には同様の作用、効果を有する。
むろん、請求項３〜請求項５に記載した構成を上記方法やプログラムや記録媒体に対応させることも可能である。

以下、下記の順序に従って本発明の実施形態を説明する。
（１）印刷システムの構成：
（２）エッジ生成装置および画像処理装置の構成の概略：
（３）エッジ生成装置および画像処理が行う処理の詳細：
（３−１）特徴別フィルタ処理：
（３−２）平滑化処理：
（３−３）エッジ情報生成処理：
（３−４）補間処理：
（３−５）エッジ鮮鋭化処理：
（３−６）鮮鋭化画像合成処理：
（４）まとめ：

（１）印刷システムの構成：
図１は、本発明にいうエッジ生成装置および狭義の画像処理装置となるコンピュータ（パーソナルコンピュータ、ＰＣ）１０、印刷装置（印刷手段）となるカラー印刷可能なインクジェットプリンタ２０、等から構成された印刷システムを示している。
本発明では、エッジの位置を修正したり、所定の色領域内にある画素の量を表す特徴量に対応する修正量で画像を修正したり、補間前画像の画素数に対応する度合で鮮鋭化したりすることにより、画像の鮮鋭度を保ちつつ、エッジが滑らかでノイズの少ない高品位な拡大画像を得るようにしている。
ＰＣ１０では、演算処理の中枢をなすＣＰＵ１１がシステムバス１０ａを介してＰＣ全体を制御する。同バス１０ａには、書き換え不可能な半導体メモリであるＲＯＭ１２、書き換え可能な半導体メモリであるＲＡＭ１３、ＣＤ−ＲＯＭドライブ１５、フレキシブルディスク（ＦＤ）ドライブ１６、各種インターフェイス（Ｉ／Ｆ）１７ａ〜ｅ等が接続され、ハードディスクドライブを介して磁気ディスクであるハードディスク（ＨＤ）１４も接続されている。ＲＡＭ１３には、一時的に処理前後の画像データ等が格納される。

ＨＤ１４にはオペレーティングシステム（ＯＳ）やアプリケーションプログラム（ＡＰＬ）が記憶されており、実行時にＣＰＵ１１によって適宜ＲＡＭ１３に転送され、実行される。同ＨＤ１４には、本発明のエッジ生成プログラムおよび画像処理プログラム、動作設定データ１４ａ、特徴別フィルタデータ１４ｂ、フィルタ合成設定データ１４ｃ、マッチングパターン１４ｄ、等が記憶されている。Ｉ／Ｆ１７ａ（例えばＵＳＢ Ｉ／Ｆ）にはデジタルカメラ３０等を接続可能であり、ＣＲＴＩ／Ｆ１７ｂにはカラー画像データに基づいて当該画像データに対応する画像を表示するディスプレイ１８ａが接続され、入力Ｉ／Ｆ１７ｃにはキーボード１８ｂやマウス１８ｃが操作用入力機器として接続され、プリンタＩ／Ｆ１７ｅには例えばパラレルＩ／Ｆケーブル（シリアルＩ／Ｆケーブルも可）を介してプリンタ２０が接続されている。

プリンタ２０は、カートリッジ２５ａに装着されたＣ、Ｍ、Ｙｅ、Ｋ（シアン、マゼンタ、イエロー、ブラック）のインク（記録剤）を使用して、印刷用紙（印刷媒体）にインクを付着させてドットを形成することにより印刷データに対応する印刷画像を印刷する。むろん、ライトシアン、ライトマゼンタ、ライトブラック、ダークイエロー、無着色インク、等も使用するプリンタを採用してもよいし、ＣＭＹｅＫのいずれかのインクを使用しないプリンタを採用してもよい。また、インク通路内に泡を発生させてインクを吐出するバブル方式のプリンタや、トナーインクを使用して印刷媒体上に印刷画像を印刷するレーザープリンタ等、種々の印刷装置を採用可能である。
本プリンタ２０では、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、通信Ｉ／Ｏ２４、コントロールＩＣ２５、ＡＳＩＣ２６、Ｉ／Ｆ２７、等がバス２０ａを介して接続され、ＣＰＵ２１がＲＯＭ２２に書き込まれたプログラムに従って各部を制御する。

通信Ｉ／Ｏ２４はＰＣ１０のプリンタＩ／Ｆ１７ｅと接続され、プリンタ２０は通信Ｉ／Ｏ２４を介してＰＣ１０から送信される色別のラスタデータを受信する。ＡＳＩＣ２６は、ＣＰＵ２１と所定の信号を送受信しつつヘッド駆動部２６ａに対してラスタデータに対応する印加電圧データを出力する。同ヘッド駆動部２６ａは、同印加電圧データから印刷ヘッドに内蔵されたピエゾ素子への印加電圧パターンを生成し、印刷ヘッドに６色のインクをドット単位で吐出させる。Ｉ／Ｆ２７に接続されたキャリッジ機構２７ａや紙送り機構２７ｂは、印刷ヘッドを主走査させたり、適宜改ページ動作を行いながら印刷用紙を順次送り出して副走査を行ったりする。

ＰＣ１０では、ＯＳにプリンタＩ／Ｆ１７ｅを制御するプリンタドライバ等が組み込まれ、ＯＳの一部となって各種の制御を実行する。ＡＰＬは、ＯＳを介してハードウェアとデータ等のやりとりを行う。プリンタドライバは、ＡＰＬの印刷機能の実行時に稼働され、プリンタＩ／Ｆ１７ｅを介してプリンタ２０と双方向の通信を行うことが可能であり、ＯＳを介してＡＰＬから印刷データを受け取ってラスタデータに変換し、プリンタ２０に送出する。
なお、本発明のプログラムは、ＯＳ、ＡＰＬ、ＯＳとＡＰＬ、のいずれにより構成してもよい。同プログラムを記録した媒体は、ＨＤ１４以外にも、ＣＤ−ＲＯＭ、ＦＤ１６ａ、半導体メモリ、等でもよい。また、通信Ｉ／Ｆ１７ｄをインターネット網に接続し、所定のサーバから本発明のプログラムをダウンロードして実行してもよい。

（２）エッジ生成装置および画像処理装置の構成の概略：
図２は上記エッジ生成装置を含む広義の画像処理装置Ｕ０の構成の概略を模式的に示すブロック図であり、図３は同画像処理装置が行う処理を示すフローチャートである。本装置Ｕ０は各部Ｕ１〜Ｕ７を備え、特徴別フィルタ処理部Ｕ２はさらに細分化された各部Ｕ２１〜Ｕ２３を備え、エッジ情報生成部Ｕ４はさらに細分化された各部Ｕ４１〜Ｕ４４を備えている。本発明のエッジ生成装置は少なくともエッジ情報生成部Ｕ４から構成され、画像データに対して修正処理を行う意味での画像処理装置は少なくとも特徴別フィルタ処理部Ｕ２から構成され、補間処理を行ってエッジの部分を鮮鋭化する意味での画像処理装置は少なくとも各部Ｕ４１，Ｕ５〜Ｕ７から構成される。
図３のフローを開始すると、設定値決定部Ｕ１により、設定値決定処理を行う（ステップＳ１０。以下、「ステップ」の記載を省略）。

図４は上記設定値決定処理を示すフローチャートであり、図５は上記動作設定データ１４ａの構造を模式的に示す図である。フローを開始すると、拡大前画像（補間前画像）の画像データＤ１を入力する（Ｓ１００）。同画像データＤ１は、拡大前画像をドットマトリクス状の多数の画素別の階調データ（例えば256階調）で表現するデータであり、拡大前画像の明るさが表されたデータである。本実施形態の画像データは、画素毎にＣＩＥ １９３１表色系におけるＲＧＢ色空間の各ＲＧＢの成分値に対応したＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）別の階調値からなるＲＧＢデータであるとして説明するが、Ｙ（輝度）、Ｃｂ（ブルーの色差）、Ｃｒ（レッドの色差）からなるＹＣｂＣｒデータ等であってもよい。

次に、画像データＤ１を参照して、拡大前画像の画素数Ｎｘｙを取得する（Ｓ１０２）。画像データＤ１を構成する横方向（ｘ方向）の画素数をＮｘ、縦方向（ｙ方向）の画素数をＮｙとすると、Ｎｘ×ＮｙをＮｘｙとすることができる。そして、動作設定データ１４ａを参照して、画素数Ｎｘｙに対応する各種パラメータを取得し（Ｓ１０４）、フローを終了する。同パラメータには、特徴別フィルタ処理を行うための実行パラメータp1、エッジ鮮鋭化処理を行うための傾き値a1，a2、鮮鋭化画像合成処理を行うための合成比率A3がある。同パラメータa1，a2，A3は、拡大前画像の画素数が多くなるほど段階的に大きくなるようにしてある。図５の例では、１００万画素以上（より大）とされた画素数（第一画素数の一例）の拡大前画像に対応する鮮鋭化の度合は１００万画素より小（以下）とされた画素数（第二画素数の一例）の拡大前画像に対応する鮮鋭化の度合より大きくなるように設定され、３０万画素以上（より大）とされた画素数（第一画素数の一例）の拡大前画像に対応する鮮鋭化の度合は３０万画素より小（以下）とされた画素数（第二画素数の一例）の拡大前画像に対応する鮮鋭化の度合より大きくなるように設定される。

設定値取得処理が終了すると、詳しくは後述するが、特徴別フィルタ処理部Ｕ２により、画像データＤ１に対して修正処理を行う特徴別フィルタ処理を行う（Ｓ２０）。

図６は特徴別フィルタ処理部Ｕ２が行う処理を模式的に示す図であり、図７はその具体例を模式的に示す図であり、図８は上記特徴別フィルタデータ１４ｂとフィルタ合成設定データ１４ｃの構造を模式的に示す図である。拡大前画像Ｉ１を表現した画像データＤ１は、ドットマトリクス状に配置された画素Ｉ１ｕ毎に各ＲＧＢの階調値からなる階調データを対応させたデータとされている。特徴量取得部（特徴量取得手段）Ｕ２１は、修正処理を行う注目画素Ｎ１を含む所定領域（所定範囲）Ｒ１内の複数画素の中から所定の色領域内にある画素Ｎ２の量を表す特徴量Ｃ１を当該複数画素の階調データから求める。本実施形態では、注目画素Ｎ１を中心とした３×３＝９画素を所定領域Ｒ１としている。また、所定の色領域を所定の肌色領域として、所定領域Ｒ１内で当該肌色領域内にある画素Ｎ２の数ＮＣ１を特徴量Ｃ１としている。

ここで、上記画素毎のＲＧＢの階調値をそれぞれｒ，ｇ，ｂ（０≦ｒ≦255、０≦ｇ≦255、０≦ｂ≦255）、ＣＩＥ １９３１表色系におけるＲＧＢ色空間の各成分値をそれぞれＲ，Ｇ，Ｂとし、Ｒ＝ｒ／255、Ｇ＝ｇ／255、Ｂ＝ｂ／255とするとき、
Ｈ＝｛1.732（Ｇ−Ｂ）／（２Ｒ−Ｇ−Ｂ）｝ …（１）
なる演算式を用いてＨＳＶ表色系の色相に相当するＨ値を求め、以下の関係式（２），（３）を同時に満たす画素を上記肌色領域内の画素としている。
0.1＜Ｈ＜0.9 …（２）
Ｇ＞Ｂ …（３）
上記関係式（２）のみを満たす領域を肌色領域とすることもできるが、さらに上記関係式（３）も満たす領域を肌色領域とすることによって、肌色として良好な色とされた部分のみ肌色領域内の画素とされる。従って、良好な肌色を表現する肌色領域内にある画素の量を表す特徴量を確実に求めて、当該肌色領域以外の画質を維持しながら良好な肌色を表現する肌色領域をさらに良好に表現することができ、画像処理後の画像をさらに高画質化させることが可能となる。

図７の例では、画像Ｉ１の各画素について上段にＲの階調値、中段にＧの階調値、下段にＢの階調値を示してあり、上記演算式（１）の演算結果であるＨ値を画像Ｉ１の下に示している。ここで、上記関係式（２），（３）をともに満たす画素Ｎ２の数は２であるので、特徴量ＮＣ１は２とされる。

フィルタ部（フィルタ手段）Ｕ２２は、注目画素Ｎ１を含む所定領域Ｒ２内の複数画素の階調データに対して色領域に対応する所定のフィルタ演算を行い、同注目画素Ｎ１についてフィルタ処理後の階調データを求め、フィルタ処理後の画像データＤ２を生成する。ここで、上記特徴別フィルタデータ１４ｂには、複数の色領域のそれぞれに対応するフィルタの情報が格納されている。肌色領域の修正処理を行う場合には、公知のガウスぼかし演算用フィルタＦ１の情報を特徴別フィルタデータ１４ｂから取得し、当該フィルタＦ１を用いて所定領域Ｒ２内の複数画素の階調データに対してガウスぼかしを行う演算を行い、図７に示すフィルタ処理後の画像データＤ２を生成する。
なお、所定領域Ｒ２は、特徴量を求めるための所定領域Ｒ１と同じ範囲でもよいし、異なる範囲でもよい。ここで、所定領域Ｒ１，Ｒ２を同じ範囲とすると、特徴量はフィルタ処理の際に用いられる範囲の特徴が適切に表された量とされるので、画像中の特徴部分である特徴領域について適切に色を表現することが可能となる。

合成部（合成手段）Ｕ２３は、特徴量Ｃ１に対応する割合b1で注目画素Ｎ１の階調データと当該注目画素Ｎ１のフィルタ処理後の階調データとを合成して、注目画素Ｎ１についての修正処理後の階調データとし、修正処理後の画像データＤ３を生成する。ここで、上記フィルタ合成設定データ１４ｃには、複数の色領域のそれぞれに対応するフィルタ比率B1（０≦B1≦100）が格納されている。肌色領域については、B1を%単位として、特徴量ＮＣ１を所定領域Ｒ１の画素数ＮＲ１で除した値に所定比率70%を乗じたフィルタ比率B1の情報が対応して格納されている。肌色領域の修正処理を行う場合には、当該フィルタ比率B1の情報をフィルタ合成設定データ１４ｃから取得し、注目画素Ｎ１についてフィルタ処理前のＲＧＢ毎の階調値h1、当該注目画素Ｎ１のフィルタ処理後におけるＲＧＢ毎の階調値をh2、当該注目画素Ｎ１の合成後におけるＲＧＢ毎の階調値をh3、特徴量ＮＣ１に対応する係数をフィルタ比率b1（＝B1／100、０≦b1≦１）として、
h3＝b1×h2＋（１−b1）×h1 …（４）
なる演算式により、注目画素Ｎ１についての修正処理後の階調値h3を求め、図７に示す修正処理後の画像データＤ３を生成する。

肌色領域のような特徴部分の色領域内にある画素の量が表された特徴量に対応する割合でフィルタ処理前後の階調データが合成され、当該色領域に対して適切なフィルタ処理が行われるので、特徴部分以外の部分の画質を維持しながら特徴部分をより良好に表現することができる。従って、画像処理後の画像を高画質化させることが可能となる。
なお、フィルタ比率b1は特徴量ＮＣ１が大きくなるほど多くなるようにされていることから、特徴量ＮＣ１が大きいほどフィルタ処理後の階調データの割合b1を大きくして注目画素についてフィルタ処理前後の階調データを合成して修正処理後の階調データとしている。肌色領域を特徴領域とする場合、特徴量が大きいほどフィルタ処理後の階調データの割合を大きくすると、肌色領域の色の表現力をさらに向上させることができ、画像処理後の画像はさらに高画質化される。

特徴別フィルタ処理後、詳しくは後述するが、平滑化処理部Ｕ３により、修正処理後の画像データＤ３に対して例えばガウスぼかし演算用フィルタを用いて平滑化し、平滑化後の画像データＤ４を生成する平滑化処理を行う（Ｓ３０）。その後、詳しくは後述するが、エッジ情報生成部Ｕ４により、拡大前画像を表現した平滑化後の画像データＤ４から拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成するエッジ情報生成処理を行う（Ｓ４０）。

図９はエッジ情報生成部Ｕ４が行う処理を模式的に示す図であり、図１０は注目エッジの位置を修正する様子を模式的に示す図であり、図１１は上記マッチングパターン１４ｄ（Prewittフィルタ）の一例を模式的に示す図である。図１１において、エッジの向き90度、30度、45度に対応して、それぞれ90度用のマッチングパターンが12種類、30度用のマッチングパターンが16種類、45度用のマッチングパターンが８種類示されている。これらの他、60度用、135度用、180度用、等のマッチングパターンもそれぞれ複数種類用意されている。むろん、マッチングパターンは、図に示したものに限定されない。
画像を拡大する際、エッジ部分の処理によって、拡大後の画像の見栄えがまったく違うものになってしまうし、ジャギーが少ない、拡大エッジ画像を作成することは、画像拡大処理において非常に重要である。本装置は、各部Ｕ４１〜Ｕ４４により、ジャギーの少ない、きれいなエッジのラインを作成する。
平滑化後の画像データＤ４も、ドットマトリクス状に配置された画素毎に各ＲＧＢの階調値からなる階調データを対応させたデータとされている。拡大位置取得部（拡大位置取得手段、補間後位置取得手段）Ｕ４１は、同画像データＤ４に基づいて、拡大画像Ｉ２の各画素Ｉ２ｕの位置に対応させたエッジの位置を表す拡大エッジ位置情報Ｄ７を取得する。

具体的には、まず、画像データＤ４の輝度値Ｙに基づいてゼロクロス位置Ｚを算出して取得する。その際、平滑化された拡大前画像上で注目画素を順次移動させながら、同注目画素とその周囲の画素の画像データに対して公知のラプラシアンフィルタを用いた演算を行って拡大前画像の各画素に対応して階調表現された中間データＤ５を生成する。ラプラシアンフィルタでのエッジ検出では、ゼロクロス位置Ｚをピクセル以下の単位で求めることができる。なお、輝度値Ｙは、各ＲＧＢの階調値をｒ，ｇ，ｂとして、
Ｙ＝０．３０ｒ＋０．５９ｇ＋０．１１ｂ …（５）
なる演算式により算出している。むろん、処理を高速化させるために、各ＲＧＢの階調値の平均値（算術平均等）を輝度値Ｙとしてもよい。
そして、中間データＤ５に対応するドットマトリクス状の画素上で注目画素を順次移動させながら、同注目画素とその近隣に位置する画素との位置と中間データとに基づいて同中間データを略０にする位置が表されたエッジ位置情報Ｄ６、すなわち、ゼロクロス位置Ｚを取得する。ゼロクロス位置Ｚは、拡大前画像の画素をｘｙ平面上に置いたとき、拡大前画像の画素よりも細かい単位で拡大前画像の各画素の位置に対応させたエッジの位置を表す座標値とされている。

次に、拡大前画像の画素に対応して拡大画像Ｉ２の画素Ｉ２ｕを区分した画素区分Ｉ２ｄ（図では３×３画素）毎に拡大画像Ｉ２上で注目画素区分を順次移動させながら、同注目画素区分のエッジの位置が表された拡大エッジ位置情報Ｄ７を取得する。すなわち、ゼロクロス位置Ｚが、拡大後のどのピクセルに相当するかを計算し、その位置を拡大後のゼロクロス位置（拡大エッジ位置情報Ｄ７）とする。拡大エッジ位置情報Ｄ７は、拡大画像の画素Ｉ２ｕをｘｙ平面上に置いたとき、拡大画像の画素Ｉ２ｕ単位で拡大画像の各画素Ｉ２ｕの位置に対応させたエッジの位置を表す座標値とされている。

向き決定部（向き決定手段）Ｕ４２は、拡大前画像上における各画素の階調データのうち向きを決定する注目エッジ（拡大画像Ｉ２上では注目エッジＮ３）の位置を含む所定領域（所定範囲）内の複数画素の階調データから当該注目エッジの向きを決定する。具体的には、まず、拡大前画像上で注目画素を順次移動させながら、注目画素を中心とした３×３画素（所定領域Ｒ３内の複数画素）の階調データを２値化して２値化データＤ８を生成する。次に、２値化データＤ８と、エッジの向きに対応した３×３のパターンとされた所定の複数のマッチングパターン１４ｄと、からエッジの向きを決定する。

位置修正部（位置修正手段）Ｕ４３は、拡大画像Ｉ２上において注目エッジＮ３の位置と当該注目エッジＮ３に近隣するエッジＮ４，Ｎ５の位置とを結ぶ方向を上記決定された注目エッジＮ３の向きに近づける位置に同注目エッジＮ３の位置を修正可能である。図９の例では、注目エッジＮ３を含む所定領域Ｒ３内の３×３画素と「30-10フィルタ」のマッチングパターンとがマッチ（一致）したことを示してあり、エッジＮ３の向きが右下がりに30°であると決定されたことを示している。
図１０に示すように、拡大画像Ｉ２上において、決定した注目エッジＮ３の傾きをsl0、注目エッジＮ３の位置と当該エッジＮ３に近隣する接続元の近隣エッジＮ４の位置とを結ぶ直線１の傾きをsl1、注目エッジＮ３の位置と当該エッジＮ３に近隣する接続先の近隣エッジＮ５の位置とを結ぶ直線２の傾きをsl2、近隣エッジＮ４，Ｎ５の位置どうしを結ぶ直線３の傾きをsl3とする。近隣エッジの位置どうしを結ぶ方向の傾きsl3が注目エッジの位置と近隣エッジＮ４の位置とを結ぶ方向の傾きsl1よりも注目エッジの傾きsl0に近いか、または、同sl3が注目エッジの位置と近隣エッジＮ５の位置とを結ぶ方向の傾きsl2よりも注目エッジの傾きsl0に近い場合、近隣エッジの位置どうしを結ぶ直線３上に注目エッジの位置を修正する。これにより、注目エッジＮ３の位置と近隣エッジＮ４，Ｎ５の位置とを結ぶ方向が上記決定された注目エッジＮ３の向きに近づくように同注目エッジＮ３の位置が修正される。図９の例では、注目エッジＮ３の位置が、修正後の注目エッジＮ６の位置に移動したことを示している。
このようにしてエッジ位置の精度を向上させることができるので、拡大画像のエッジを精度よく細線で形成して鮮鋭化等の処理を容易にさせることが可能となる。

エッジ生成部（エッジ生成手段）Ｕ４４は、修正後のエッジの位置が表された修正エッジ位置情報Ｄ９を用いることにより、拡大画像Ｉ２の各画素Ｉ２ｕの位置に対応させて当該拡大画像Ｉ２のエッジの領域を表すエッジ情報Ｄ１１を生成する。具体的には、まず、近隣する拡大画像Ｉ２のエッジどうしを同決定したエッジの向きとなるように連結する連結位置情報Ｄ１０を取得する。連結位置情報Ｄ１０は、拡大画像のエッジの領域とする画素の位置を表す情報である。マッチングパターンを用いることにより、連結の際にパターンマッチング結果を用いて適切な方向のみ連結することができ、拡大エッジ画像でのエッジを高精細の細線で取得することができる。そして、修正エッジ位置情報Ｄ９と連結位置情報Ｄ１０とを合わせて、エッジ情報Ｄ１１を生成する。エッジ情報Ｄ１１は、拡大画像の画素Ｉ２ｕをｘｙ平面上に置いたとき、拡大画像の画素Ｉ２ｕ単位で拡大画像の各画素Ｉ２ｕの位置に対応させたエッジの領域を表す座標値の集合とされている。
エッジ情報生成処理後、詳しくは後述するが、補間処理部（補間手段）Ｕ５により、拡大画像上で補間処理を行う注目画素の近隣に位置する補間前画像における複数画素の画像データを用いることにより、同注目画素について補間処理を行って補間処理後の階調データからなる画像データＤ１２を生成する補間処理を行う（Ｓ５０）。その後、詳しくは後述するが、鮮鋭化手段の一部であるエッジ鮮鋭化処理部Ｕ６によりエッジ鮮鋭化処理を行い（Ｓ６０）、同じく鮮鋭化手段の一部である鮮鋭化画像合成処理部Ｕ７により鮮鋭化画像合成処理を行って（Ｓ７０）、フローを終了する。

図１２はエッジ鮮鋭化処理部Ｕ６が拡大画像Ｉ３上で鮮鋭化処理を行う範囲を模式的に示す図であり、図１３は同処理部Ｕ６が行う処理を模式的に示す図である。上述した設定値決定部Ｕ１は、図５で示した動作設定データ１４ａから、拡大前画像の画素数Ｎｘｙに対応する傾き値a1，a2（０＜a1＜１＜a2とされている）を取得している。エッジ鮮鋭化処理部Ｕ６は、拡大画像Ｉ３上における各画素Ｉ３ｕの補間処理後の階調データのうち鮮鋭化処理を行う注目エッジＮ７の位置を含む所定領域（所定範囲）Ｒ４内の画素Ｉ３ｕ毎の階調値をg1（ＲＧＢ毎）、鮮鋭化演算後の階調値をg2（ＲＧＢ毎）、当該所定領域Ｒ４内の複数画素についての輝度値Ｙ（階調値）の最小値をmin、最大値をmax、平均値（算術平均）をaveとして、
（Ａ）g1がg11より小または以下のとき、
g2＝a1×g1＋（１−a1）×min
（Ｂ）g1がg11以上またはより大、かつ、g1がg12より小または以下のとき、
g2＝a2×g1＋（１−a2）×ave
（Ｃ）g1が以上またはより大のとき、
g2＝a1×g1＋（１−a1）×max …（６）
ただし、g11＝｛（１−a1）×min−（１−a2）×ave｝／（a2−a1）｝
g12＝｛（１−a1）×max−（１−a2）×ave｝／（a2−a1）｝
なる演算式を用いることにより、所定領域Ｒ４内の複数画素の階調データに対して拡大前画像（補間前画像）の画素数に対応する度合で鮮鋭化する鮮鋭化処理を行う。輝度値Ｙは、各ＲＧＢの階調値ｒ，ｇ，ｂから上記演算式（５）を用いて得られる階調値であるが、ｒ，ｇ，ｂの平均値でもよい。ここで、min、max、aveをＲＧＢ毎の階調値としてもよいし、g1、g2を輝度値Ｙとしてもよい。所定領域Ｒ４内の画素毎、ＲＧＢ毎の階調値g2からなる画像データは、鮮鋭化演算後の画像データＤ１３となる。図１３に示すように、上記演算式（６）はg1＝min，ave，maxにおいてg2＝g1であるとともに、g1＝min近辺とg1＝max近辺とで緩やかな傾き（傾き値a1＜１かつa1＞０）とされ、g1＝ave近辺で急峻な傾き（傾き値a2＞１）とされている。

これにより、補間前画像の画素数に対応する度合で鮮鋭化することができ、画像処理後の画像をさらに向上させることが可能となる。また、上記演算式（６）は一次式の集合であるため、トーンカーブ補正やγ補正を行う場合と比べて処理速度を向上させることができる点で有用である。さらに、上記演算式（６）は所定領域Ｒ４内の複数画素についての階調値の平均値aveをそのまま出力階調値にするので、各エッジでの階調値の状況に応じてより適切な鮮鋭化処理を行うことが可能となる。
なお、鮮鋭化を行う所定領域Ｒ４は、拡大画像Ｉ３上で注目エッジＮ７を含む画素を中心として、拡大率Mが奇数の場合には横方向（ｘ方向）の画素数Nxおよび縦方向（ｙ方向）の画素数NyをともにM×3とした範囲とし、拡大率Mが偶数の場合にはNx，NyをともにM×3＋1とした範囲とすることにしている。

図１４は鮮鋭化画像合成処理部Ｕ７が拡大画像上で鮮鋭化処理を行う範囲を模式的に示す図である。上述した設定値決定部Ｕ１は、図５で示した動作設定データ１４ａから、拡大前画像の画素数Ｎｘｙに対応する合成比率A3（%単位、０≦A3≦100とされている）を取得している。鮮鋭化画像合成処理部Ｕ７は、所定範囲内Ｒ４の複数画素の階調データに対して鮮鋭化する所定の鮮鋭化演算を行い、鮮鋭化演算後の階調データを求めて鮮鋭化演算後の画像データＤ４（拡大画像Ｉ４を表現）を生成するとともに、所定範囲Ｒ４内の画素Ｉ３ｕ毎の階調値をg3、鮮鋭化演算後の階調値をg4、鮮鋭化処理後の階調値をg5、拡大前画像（補間前画像）の画素数に対応する係数をa3（＝A3／100、０≦a3≦１）として、
g5＝a3×g4＋（１−a3）×g3 …（７）
なる演算式により、鮮鋭化処理後の階調データを求めて最終的に鮮鋭化処理後の画像データＤ１４（拡大画像Ｉ５を表現）を生成し、画像処理を終了する。ここでの階調値g3，g4，g5は輝度値Ｙとしているが、ＲＧＢ別の階調値ｒ，ｇ，ｂでもよい。同画像データＤ１４は、補間前画像の画素数に対応する割合で所定範囲内の複数画素についてそれぞれ鮮鋭化演算前の階調データと鮮鋭化演算後の階調データとが合成されたデータとなる。

注目エッジの位置を含む所定範囲内の複数画素の階調データに対して補間前画像の画素数に対応する度合で鮮鋭化され、当該複数画素の階調データに対して適切な鮮鋭化処理が行われるので、エッジ部分についてより良好な鮮鋭化結果が得られる。従って、画像処理後の画像をさらに高画質化させることが可能となる。

（３）エッジ生成装置および画像処理装置が行う処理の詳細：
以下、本装置が行う処理とともに、動作を詳細に説明していく。
図３のフローを開始すると、拡大前画像の画素数Ｎｘｙに対応する各種パラメータを動作設定データ１４ａ（図５）から取得する。

（３−１）特徴別フィルタ処理（図３のＳ２０）：
図１５のフローを開始すると、特徴量取得部Ｕ２１によりＳ２００〜Ｓ２０４の処理を行う。以下、図５〜図８を参照して説明する。上記設定値決定処理により上記動作設定データ１４ａから実行パラメータp1が取得されており、p1が「なし」であればフローを終了し、p1が「あり」であればＳ２０２に進む（Ｓ２００）。すなわち、拡大前画像Ｉ１の画素数Ｎｘｙが所定の閾値（本実施形態では１０万画素）以上またはより大であるときのみ実質的な特徴別フィルタ処理を行う。拡大前画像の画素数が少ないときには画像の特徴領域を別の処理にしたことによる画質の向上が目立たないため、画像の画質をほぼ維持しながら画像処理を高速化させることができる。
Ｓ２０２では、拡大前画像Ｉ１上で注目画素Ｎ１の位置を設定する。注目画素の位置を設定する順序は、左上の画素から開始して順番に右上の画素までとし、その後一つずつ下の左端の画素から順番に右端の画素までとして、最後に右下の画素としている。以下、各種処理にて注目画素の位置を設定する場合も同様にしているが、注目画素の位置を設定する順序は適宜変更可能である。
次に、注目画素を含む所定領域Ｒ１内の３×３画素の中から特徴を満たす画素数（特徴量）ＮＣ１を同３×３画素の階調データから求める（Ｓ２０４）。特徴量は、所定の色領域内にある画素の量であり、上述した肌色領域の場合には上記関係式（２），（３）をともに満たす画素の数とする。
その後、フィルタ部Ｕ２２により、上記特徴別フィルタデータ１４ｂから色領域に対応するフィルタの情報を取得し、ＲＧＢの色別に注目画素Ｎ１を含む所定領域Ｒ２内の３×３画素の階調データに対して色領域に対応するフィルタの情報に従って所定のフィルタ演算を行い、注目画素Ｎ１についてフィルタ処理後の階調データを求める（Ｓ２０６）。

Ｓ２０６の処理は、図１６のフローに従って行われる。まず、拡大前画像Ｉ１上で注目画素の位置を設定する（Ｓ３００）。なお、Ｓ２０２で設定した注目画素Ｎ１をそのままＳ３００の注目画素としてもよく、この場合にはＳ３０６の判断処理を行わずにフローを終了するようにすればよい。次に、注目画素とその近隣に位置する所定領域Ｒ２の３×３画素の階調値ｒ，ｇ，ｂを取得する（Ｓ３０２）。ｒｇｂのいずれかについて３×３画素の階調値を左上〜右上、左中〜右中、左下〜右下の順にｄ１〜ｄ９とすると、注目画素の階調値がｄ５であり、その近隣に位置する８画素の階調値はｄ１〜ｄ４，ｄ６〜ｄ９である。なお、注目画素が拡大前画像の端部にある場合には、拡大前画像の端部の画素における階調値が拡大前画像の外側にある（折り返されている）ものとして階調値を取得する。以下も、同様である。

そして、色領域に対応するフィルタＦを用いてフィルタ演算を行う（Ｓ３０４）。色領域が肌色領域の場合には、図中に示した公知のガウスぼかし演算用フィルタＦ１を用いてガウスぼかし演算を行う。ここで、フィルタ演算を行うための演算用フィルタＦは、参照する３×３画素のそれぞれに対応した係数ｆ１〜ｆ９を有しており、各画素に対応する階調値ｄ１〜ｄ９のそれぞれに同係数を乗じた総和を求めて注目画素のフィルタ演算後の階調値ｄ’を算出するものである。実際には、以下の式のように、同総和に所定係数（ｋとする）を乗じてフィルタ演算後の階調値ｄ’とする。
ｄ’＝ｋΣｆｉ・ｄｉ …（８）
後述するラプラシアンフィルタのように係数ｆ１〜ｆ９の合計Σｆｉが０となるフィルタの場合にはｋ＝１とし、ガウスぼかし演算用フィルタＦ１のように係数ｆ１〜ｆ９の合計Σｆｉが０となるフィルタの場合にはｋ＝１／Σｆｉとする。
その後、拡大前画像の全画素について、フィルタ演算を行ったか否かを判断し（Ｓ３０６）、条件不成立の場合にはＳ３００〜Ｓ３０６を繰り返し、条件成立の場合にはフローを終了する。

その後、合成部Ｕ２３によりＳ２０８〜Ｓ２１２の処理を行う。上記フィルタ合成設定データ１４ｃには、肌色領域について、特徴量ＮＣ１を所定領域Ｒ１の画素数ＮＲ１で除した値に所定比率70%を乗じたフィルタ比率B1（%単位）の情報が対応して格納されている。そこで、色領域が肌色領域の場合、肌色領域に対応するフィルタ比率B1を取得し、特徴量ＮＣ１に対応するフィルタ比率b1（＝B1／100）を取得する（Ｓ２０８）。次に、ＲＧＢの色別に上記演算式（４）を用いて、注目画素Ｎ１についてフィルタ処理前後の階調値h1，h2を合成して修正処理後の階調値h3とし、ＲＧＢ全ての階調値h3からなる画像データＤ３を生成する（Ｓ２１０）。そして、拡大前画像Ｉ１の全画素について、修正処理後の階調データを生成したか否かを判断し（Ｓ２１２）、条件不成立の場合にはＳ２０２〜Ｓ２１２を繰り返し、条件成立の場合にはフローを終了する。
以上の処理により、色が肌色等の特定の特徴に対して、平滑化といったフィルタ処理を行うことが可能となる。ここで、適応型のフィルタ処理を行っているので、スムージング、ノイズ除去、等、画像の場所毎に最適な処理を行うことができる。このように、画像中の特徴領域に対して適切な処理が行われるので、特徴領域以外の部分の画質を維持しながら特徴領域をより良好に表現することができ、画像処理後の画像の画質を向上させることが可能となる。

（３−２）平滑化処理（図３のＳ３０）：
Ｓ３０の処理は、図１６のフローに従って行われる。まず、修正処理後の画像データＤ３で表現される拡大前画像上で注目画素の位置を設定し（Ｓ３００）、注目画素とその近隣に位置する所定領域の３×３画素の階調値ｒ，ｇ，ｂを取得して（Ｓ３０２）、図中に示した公知のガウスぼかし演算用フィルタＦ１を用いてガウスぼかし演算を行う（Ｓ３０４）。そして、同拡大前画像の全画素について、ガウスぼかし演算を行ったか否かを判断し（Ｓ３０６）、条件不成立の場合にはＳ３００〜Ｓ３０６を繰り返し、条件成立の場合にはフローを終了する。これにより、修正処理後の画像データＤ３は、平滑化後の画像データＤ４に変換される。なお、ガウスぼかし処理を行わなくてもエッジ情報を生成することは可能であるが、ガウスぼかし処理を行うことによりノイズが除去されるのでエッジ位置の精度が向上し、より滑らかとされたエッジの位置を表す情報を生成することができる。

（３−３）エッジ情報生成処理（図３のＳ４０）：
図１７のフローを開始すると、拡大位置取得部Ｕ４１によりラプラシアンフィルタ演算処理（Ｓ４００）とゼロクロス検出処理（Ｓ４０２）を行い、向き決定部Ｕ４２によりゼロクロス接続処理（Ｓ４０４）を行い、位置修正部Ｕ４３によりゼロクロス移動処理（Ｓ４０６）を行い、エッジ生成部Ｕ４４によりエッジ生成処理（Ｓ４０８）を行い、フローを終了する。以下、図９〜図１１を参照して説明する。

（３−３−１）ラプラシアンフィルタ演算処理（図１７のＳ４００）：
Ｓ４００の処理は、図１６のフローに従って行われる。まず、平滑化処理が行われた画像データＤ４で階調表現される拡大前画像上で注目画素の位置を設定し（Ｓ３００）、注目画素とその近隣に位置する所定領域（所定範囲）内である３×３画素の輝度値ｄ１〜ｄ９を取得する（Ｓ３０２）。当該所定領域は、上述した所定領域Ｒ１，Ｒ２と同じ範囲でもよいし、異なる範囲でもよい。輝度値Ｙは、各ＲＧＢの階調値ｒ，ｇ，ｂから上記演算式（５）等を用いて得られる。
次に、差分フィルタを用いてフィルタ演算を行い、ドットマトリクス状の画素で階調表現された中間データＤ５を生成する（Ｓ３０４）。本実施形態では、差分フィルタとして、図中に示した公知の８方向ラプラシアンフィルタＦ３を用いている。なお、図１６中に示した公知の４方向ラプラシアンフィルタＦ４や、同フィルタＦ３，Ｆ４の符号を正負逆にしたラプラシアンフィルタや、一次空間微分フィルタ、非線形差分フィルタ等を用いることも可能である。これらの中のフィルタでは、８方向ラプラシアンフィルタを用いるとエッジ位置を非常に高精度で取得することができ、画像処理後の画像を非常に高画質にさせることが可能となる。

８方向ラプラシアンフィルタＦ３では、注目画素に対応するフィルタＦ３の係数ｆ５の周囲にある係数ｆ１〜ｆ４，ｆ６〜ｆ９は全て１とされ、中心にある係数ｆ５は係数ｆ１〜ｆ４，ｆ６〜ｆ９の総和の符号を逆にした−８とされている。すなわち、フィルタＦ３を用いてフィルタ演算を行うことにより、以下の式のように、注目画素の周囲にある画素の輝度値と注目画素の輝度値との差分の総和を演算してラプラシアンフィルタ演算後の階調データｄ’とすることになる。
ｄ’＝Σ（ｄｉ−ｄ５） …（９）
ただし、ｉ＝１〜４，６〜９である。
そして、平滑化処理が行われた拡大前画像の全画素について、ラプラシアンフィルタ演算を行ったか否かを判断し（Ｓ３０６）、条件不成立の場合にはＳ３００〜Ｓ３０６の処理を繰り返し、条件成立の場合にはフローを終了する。これにより、拡大前画像上で注目画素を順次移動させながら、当該注目画素を含む所定範囲内の複数画素の階調データに対して所定の差分フィルタを用いた演算を行って中間データＤ５を生成することができる。ラプラシアンフィルタ演算処理を行ってエッジの位置を検出することにより、簡易な構成で精度よくエッジの位置を表す情報を取得することができ、精度よく拡大画像のエッジの領域を表すエッジ情報を生成することができる。

（３−３−２）ゼロクロス検出処理（図１７のＳ４０２）：
図１８の処理を開始すると、まず、ゼロクロス位置Ｚを記憶するバッファ領域をＲＡＭ内に確保する（Ｓ４１０）。次に、生成した中間データＤ５に対応するドットマトリクス状の画素上で注目画素の位置を設定する（Ｓ４１２）。そして、注目画素の中間データと注目画素の右隣（近隣）に位置する画素（右隣画素）の中間データの符号が異なるか否かを判断する（Ｓ４１４）。符号が異ならない場合、注目画素と右隣画素との間にゼロクロスはほとんど存在しないため、Ｓ４２４まで進む。符号が異なる場合、ゼロクロス位置を算出すべきか否かを判断するため、現在位置である注目画素の中間データの絶対値と右隣画素の中間データの絶対値の少なくとも一方が所定の閾値Ｌ１以上（またはより大）であるか否かを判断する（Ｓ４１６）。拡大前画像の輝度値が256階調であるとき、中間データの階調値も256階調となり、閾値Ｌ１を例えば256階調の略中間値である128等とすればよい。条件成立の場合、Ｓ４２２に進んでゼロクロス位置算出処理を行う。エッジが存在するのは主に両画素間の輝度値の差が大きく、中間データの符号が異なるときであるので、精度よくエッジの位置を表す情報を取得することができ、その結果、精度よく拡大画像のエッジの領域を表す情報を生成することが可能となる。

条件不成立の場合、さらにゼロクロス位置を算出すべきか否かを判断するため、ガウスぼかし処理が行われた拡大前画像上で注目画素を中心とする所定領域（所定範囲）内である３×３画素の輝度値の最大値と最小値の差を求め（Ｓ４１８）、求めた差が所定の閾値Ｌ２以上（またはより大）であるか否かを判断する（Ｓ４２０）。ガウスぼかし処理後の拡大前画像の輝度値が256階調であるとき、閾値Ｌ２を例えば50等とすればよい。条件成立の場合、Ｓ４２２に進んでゼロクロス位置算出処理を行う。注目画素と右隣画素の輝度値の差が小さいためにラプラシアンフィルタ演算処理を行った結果Ｓ４１６ではゼロクロスを検出することができなくても、注目画素を中心とした３×３画素の輝度値の差が大きいことがあるので、ゼロクロスの検出精度を向上させることができる。すなわち、精度よくエッジの位置を表す情報を取得することができ、精度よく拡大画像のエッジの領域を表す情報を生成することが可能となる。一方、条件不成立の場合、Ｓ４２４に進む。

図１９に示すように、ゼロクロス位置算出処理では、まず、拡大前画像から拡大画像への拡大率Ｍを取得する（Ｓ２４００）。例えば、ディスプレイに表示した解像度選択欄への操作入力から画像の拡大率を表すパラメータを取得してＲＡＭに格納すればよい。拡大率Ｍは、横方向（ｘ方向）の画素数をＭ倍にするとともに縦方向（ｙ方向）の画素数もＭ倍にすることを意味するものとする。むろん、拡大率としてＭｘ，Ｍｙを取得し、横方向の画素数をＭｘ倍にし、縦方向の画素数をＭｙ倍にしてもよい。次に、拡大後の画素の位置をＸ１、その画素の中間データをＹ１として、注目画素と隣接画素（Ｓ４２２で本処理が行われる場合には右隣画素）のＸ１，Ｙ１の関係式Ｙ１＝Ａ１・Ｘ１＋Ｂ１のＡ１，Ｂ１を算出する（Ｓ２４０２）。ここで、画素の位置Ｘ１は、注目画素と右隣画素の２点について直線の式を求める場合には拡大画像上での横方向のｘ座標であり、注目画素と下隣画素の２点について直線の式を求める場合には拡大画像上での縦方向のｙ座標である。注目画素の中間データをＬＰ０、隣接画素の中間データをＬＰ１、拡大前画像上での注目画素の位置をｘ０とすると、Ａ１，Ｂ１は以下の式により算出することができる。
Ａ１＝（ＬＰ１−ＬＰ０）／Ｍ …（１０）
Ｂ１＝ＬＰ０−Ａ１×（ｘ０×Ｍ＋Ｍ／２） …（１１）

さらに、以下の式により拡大画像上のゼロクロス位置Ｚ１を算出する（Ｓ２４０４）。
Ｚ１＝−Ｂ１／Ａ１ …（１２）
ここで、Ｚ１は小数点以下の情報を有する値とされ、拡大前画像の画素よりも細かい単位とされている。そして、拡大前画像の画素の位置に拡大率Ｍを乗じた値であるので、ゼロクロス位置Ｚ１は拡大前画像の各画素の位置に対応させたエッジの位置を表すエッジ位置情報とされている。
その後、同ゼロクロス位置Ｚ１に基づいて拡大前画像のエッジの位置に対応する拡大画像のエッジの位置Ｚ１’（拡大エッジ位置情報の一種）を取得する（Ｓ２４０６）。同位置Ｚ１’は、以下の式により算出することができる。
Ｚ１’＝ＩＮＴ（Ｚ１） …（１３）
ここで、ＩＮＴは小数点以下を切り捨てる関数である。すなわち、Ｚ１’は拡大画像の画素単位で拡大画像のエッジの位置を表す数値情報とされている。

図２０の例では、拡大前画像のｘ＝１，ｙ＝２に中間データＬＰ０＝-125の注目画素５１があり、注目画素の右隣であるｘ＝２，ｙ＝２に中間データＬＰ１＝53の隣接画素５２があるとしている。ここで、拡大前画像の画素に対応して拡大画像の画素を区分したブロック５４，５５中でゼロクロス５６がどこに存在するかを上記式（１０）〜（１２）を用いて求める。なお、拡大前画像の画素５１，５２に対応してそれぞれ注目ブロック５４、隣接ブロック５５があるものとする。
図の中段下寄りに示したＸ１−Ｙ１グラフのように、Ｘ１（画素のｘ座標またはｙ座標）−Ｙ１（中間データ）平面上での注目画素と隣接画素とを結ぶ直線がＸ１軸と交差する点（Ｙ１＝０となる点）がゼロクロスである。上記例では、ゼロクロス位置はＺ１＝6.6となる。最後に、上記式(7)を用いると、Ｚ１’＝ＩＮＴ（6.6）＝６となる。従って、拡大エッジ位置情報５７は、隣接ブロック５５内の左側にあるｘ＝６，ｙ＝７の画素の位置を表す情報となる。
このように、拡大エッジ位置情報は拡大画像のブロックよりも細かい画素単位で画素の位置を表す情報とされる。従って、拡大画像のエッジ位置の精度が向上し、拡大画像のエッジのジャギーは目立たなくなる。
Ｓ２４０６終了後、拡大画像のエッジの位置Ｚ１’に対応する拡大画像上のエッジの座標値（拡大エッジ位置情報の一種）を順番にバッファに記憶し（Ｓ２４０８）、フローを終了する。バッファに格納されたエッジの座標値が、エッジどうしを連結する際に用いられる接続情報（図２３の接続情報Ｄ１５）の一部となる。

上記ゼロクロス位置算出処理が終了すると、図１８のＳ４２４に進み、注目画素と下隣画素との間で同様の処理を行う。
Ｓ４２４では、注目画素の中間データと注目画素の下隣（近隣）に位置する画素（下隣画素）の中間データの符号が異なるか否かを判断する。符号が異ならない場合にはＳ４３４まで進み、符号が異なる場合には、現在位置である注目画素の中間データの絶対値と下隣画素の中間データの絶対値の少なくとも一方が所定の閾値Ｌ３（例えば128）以上（またはより大）であるか否かを判断する（Ｓ４２６）。条件成立の場合、Ｓ４３２に進んでゼロクロス位置算出処理を行う。
条件不成立の場合、ガウスぼかし処理が行われた拡大前画像上で注目画素を中心とする３×３画素の輝度値の最大値と最小値の差を求め（Ｓ４２８）、求めた差が所定の閾値Ｌ４（例えば50）以上であるか否かを判断する（Ｓ４３０）。条件成立の場合にはＳ４３２に進んでゼロクロス位置算出処理を行い、条件不成立の場合にはＳ４３４に進む。
Ｓ４３２でゼロクロス位置算出処理を行うと、ガウスぼかし処理が行われた拡大前画像の全画素についてゼロクロス検出処理を行ったか否かを判断する（Ｓ４３４）。条件不成立の場合にはＳ４１２〜Ｓ４３４を繰り返し、条件成立の場合にはフローを終了する。これにより、中間データＤ５に対応するドットマトリクス状の画素上で注目画素を順次移動させながら、当該注目画素を含む所定領域内の複数画素の中間データを用いて同中間データを所定値０にする位置を決定し、当該位置を拡大画像Ｉ２の各画素Ｉ２ｕの位置に対応させたエッジの位置を取得することができる。このようにして、ラスタスキャンでのエッジ検出が可能となり、拡大前画像の画素よりも細かい単位で高精度にてエッジの位置を求めることができる。
なお、注目画素の位置を設定する順序は左上の画素から順番に右下の画素までとしているため、座標値が順番にバッファに記憶されるエッジの多くは近隣したものとなる。

（３−３−３）ゼロクロス接続処理（図１７のＳ４０４）：
図２１の処理を開始すると、まず、平滑化処理後の拡大前画像上で注目画素の位置を設定する（Ｓ４４０）。次に、拡大画像の画素を区分した所定領域（所定範囲）内である３×３画素のブロック毎に、注目画素の位置に対応する注目ブロックの位置を設定する（Ｓ４４２）。
さらに、図２２に示すように、注目画素を中心とした所定領域（所定範囲）内である３×３画素（拡大画像の３×３ブロックに相当）の輝度値（画像データＤ４’）を２値化して拡大前画像の各画素に対応した２値化データＤ８を生成する（Ｓ４４４）。同輝度値は、平滑化処理後の画像データＤ４を構成する各ＲＧＢの階調値ｒ，ｇ，ｂから上記演算式（５）等を用いて得られる。注目画素が拡大前画像の端部にある場合には、拡大前画像の端部の画素における輝度値が拡大前画像の外側にあるものとして２値化データを生成する。本実施形態では、３×３画素の輝度値の最大値と最小値の平均値を閾値Ｌ５として、各画素の輝度値が閾値Ｌ５以上（またはより大）である場合に２値化データを１とし、閾値Ｌ５より小（または以下）である場合に２値化データを−１としている。
その後、拡大画像Ｉ２の注目ブロック内に同拡大画像の画素単位とされたゼロクロス、すなわち、エッジが存在するか否かを判断する（Ｓ４４６）。注目ブロック内にエッジが存在しない（対応する拡大画像上のエッジの座標値がバッファに格納されていない）場合、Ｓ４６０まで進む。注目ブロック内にエッジが存在する場合、同注目ブロック内に複数のエッジが存在するか否かを判断する（Ｓ４４８）。複数のエッジが存在する場合には当該エッジどうしを接続することを表す接続情報を作成して順次格納して（Ｓ４５０）Ｓ４５２に進み、エッジが一つしか存在しない場合には即座にＳ４５２に進む。

図２３に示すように、接続情報Ｄ１５は、エッジ毎に、当該エッジの位置（ｘｙ座標値）が格納されるとともに、当該エッジを基準としたときの接続元の近隣エッジの相対的な位置およびブロックＩ２ｄの位置と、接続先の近隣エッジの相対的な位置およびブロックＩ２ｄの位置とが格納された情報とされている。同図の例では、ｘｙ平面上の座標を（ｘ，ｙ）とし、相対的な座標を（Δｘ，Δｙ）で表すと、注目エッジＮ３を基準としたときの接続元の近隣エッジＮ４の相対的な位置は（-2，-2）、相対的なブロックの位置は（-1，-1）であり、接続先の近隣エッジＮ５の相対的な位置は（+3，+1）、相対的なブロックの位置は（+1， 0）である。接続元や接続先の近隣エッジが複数ある場合には、それぞれの近隣エッジについての相対的な位置およびブロックの位置が格納される。従って、Ｓ４５０では、注目ブロック内に存在する複数のエッジの中から順次基準エッジを設定し、基準エッジを基準として注目ブロック内の残りのエッジを接続元または接続先のエッジとして相対的な位置およびブロックの位置を接続情報とすればよい。
なお、接続情報を作成しようとしている基準エッジから見て基準エッジとは別のエッジを接続元にするか接続先にするかについては、例えば、エッジが左上（Δｘ＜０かつΔｙ＜０）、上（Δｘ＝０かつΔｙ＜０）、右上（Δｘ＞０かつΔｙ＜０）、左（Δｘ＜０かつΔｙ＝０）に存在する場合には当該エッジを接続元にし、エッジが右（Δｘ＞０かつΔｙ＝０）、左下（Δｘ＜０かつΔｙ＞０）、下（Δｘ＝０かつΔｙ＞０）、右下（Δｘ＞０かつΔｙ＞０）に存在する場合には当該エッジを接続先にする等すればよい。以下も、同様である。

Ｓ４５２では、注目ブロックの右隣のブロック、左下の隣接ブロック、下隣のブロック、右下の隣接ブロックのいずれかにゼロクロスが存在するか否かを判断し、条件成立の場合にはＳ４５４に進み、条件不成立の場合にはＳ４６０まで進む。注目ブロックの設定順序は左から右方向を上から下へ向かって繰り返しているので、これらの隣接ブロックは注目ブロックとされておらず、ゼロクロスが存在するか否かを判定する意義がある。本実施形態では、注目ブロックが拡大画像の端部にあり、隣接ブロックが拡大画像外となる場合には、その隣接ブロックについてはゼロクロスが存在しないものとしている。むろん、拡大画像の端部のブロックにおけるエッジが拡大前画像の外側にあるものとしてもよい。
Ｓ４５４では、２値化データＤ８と、所定の複数のマッチングパターン１４ｄ（図１１）と、からエッジの向きを決定し、エッジの向きを表す情報を取得する。
２値化データとマッチングパターンとがマッチ（一致）するかどうかは、３×３の各画素の２値化データ（３×３画素の２値化データを左上〜右上、左中〜右中、左下〜右下の順にｄ１〜ｄ９とする）と、３×３のマッチングパターンの各要素値（３×３のマッチングパターンの各要素値を左上〜右上、左中〜右中、左下〜右下の順にｆ１〜ｆ９とする）との積の総和Ｓ１＝Σｆｉ・ｄｉを算出し、この総和Ｓ１がマッチングパターンの各要素値の絶対値の総和Ｓ２＝Σ｜ｆｉ｜と等しくなるか否かにより判断する。なお、注目画素の２値化データがｄ５であり、当該注目画素に対応するマッチングパターンの要素値がｆ５である。Ｓ１＝Ｓ２となれば拡大前画像のエッジの傾きがマッチングパターンとマッチしたことになり、マッチしたマッチングパターンに対応するエッジの向きを表す情報を取得する。

図２２の例では、２値化データＤ８と図１１の「90-1」の90度用マッチングパターンとの総和Ｓ１を算出すると、−２となる。「90-1」のパターンにおける各要素の絶対値の総和Ｓ２は６であるので、２値化データＤ６は「90-1」のパターンとマッチしない（一致しない）。一方、２値化データＤ８と「30-12」の30度用パターンとの総和Ｓ１を算出すると、５となる。「30-12」のパターンにおける各要素の絶対値の総和Ｓ２は５であるので、２値化データＤ８は「30-12」のパターンとマッチする。この場合、エッジの向きは30度と決定される。このように、マッチングパターンを用いるという簡易な構成で確実に拡大画像のエッジどうしを連結することができ、確実に拡大画像のエッジを精度よく細線で形成する処理を高速にて行うことが可能となる。むろん、二つの画素値の差（輝度値差、ＲＧＢ値差、各色値の差、等）が小さくなる方向をエッジの向きに決定してもよいし、近隣する画素のエッジの方向や強度を加味してエッジの向きを決定してもよいし、処理は複雑になるものの、ベクトルの概念を導入してエッジの方向を決定してもよい。それらの組み合わせによりエッジの向きを決定してもよい。

エッジの向きを決定すると、注目ブロック内のエッジと隣接ブロック内のエッジとを結ぶ直線の傾きが、マッチングパターンを用いて決定されたエッジの向きと一致するか否かを判断する（Ｓ４５６）。例えば、各マッチングパターンに対してパターンの角度を含むエッジの向きの許容範囲を設けておき、両ゼロクロスを結ぶ直線の向きが同許容範囲内か否かにより判断する。ここで、拡大画像上におけるｘｙ座標平面での注目ブロック内のエッジの位置を（ｘ１，ｙ１）、隣接ブロック内のエッジの位置を（ｘ２，ｙ２）とするとき、両エッジの位置を通る直線の傾きＧは以下の式により算出することができる。
Ｇ＝（ｙ２−ｙ１）／（ｘ２−ｘ１） …（１４）
そして、マッチングパターン別に直線の傾きＧの許容範囲の下限値Ｇ１と上限値Ｇ２とを設けておき、Ｇ１≦Ｇ≦Ｇ２が成立するときに対応するマッチングパターンのエッジの向きと一致していると判断すればよい。
条件成立の場合には、上述した接続情報を作成して順次格納する処理を行い（Ｓ４５８）、Ｓ４６０に進む。条件不成立の場合には、即座にＳ４６０まで進む。Ｓ４６０では、全ブロックについてゼロクロス接続処理を行ったか否かを判断し、条件不成立の場合にはＳ４４０〜Ｓ４６０を繰り返し、条件成立の場合にはフローを終了する。
このようにして、拡大前画像上で注目画素を順次移動させながら、当該注目画素を含む所定領域内の複数画素の階調データを２値化して２値化データを生成し、当該２値化データと、エッジの向きに対応した所定の複数のマッチングパターンと、からエッジの向きを決定することができる。

（３−３−４）ゼロクロス移動処理（図１７のＳ４０６）：
図２４の処理を開始すると、まず、拡大画像上で、当該拡大画像の画素単位とされた注目エッジの位置を設定する（Ｓ４７０）。上記接続情報Ｄ１５にはエッジ毎の接続情報が順番に格納されているので、例えば、各エッジにエッジ番号を対応させておき、当該エッジ番号に対応させたポインタの値を更新することにより、注目エッジの位置（Xi，Yi）を設定することができる。次に、注目エッジに接続元のエッジと接続先のエッジの両方が存在するか否かを判断する（Ｓ４７２）。この判断処理は、接続情報Ｄ１５の中に注目エッジに対応する接続元のエッジについての位置およびブロックの位置と接続先のエッジについての位置およびブロックの位置の両方が格納されているか否かをみることにより、行うことができる。接続元のエッジと接続先のエッジの少なくとも一方が存在しない場合、注目エッジは端点または孤立点であるので、Ｓ４９４まで進む。

条件成立の場合、上記Ｓ４５４でマッチングパターンを用いて決定されたエッジの向きから注目エッジの傾きsl0を取得する（Ｓ４７４）。次に、拡大画像Ｉ２上において、注目エッジＮ３の接続元の近隣エッジＮ４の相対位置（ΔX1，ΔY1）と接続先の近隣エッジＮ５の位置（ΔX2，ΔY2）を接続情報Ｄ１５から取得し、注目エッジＮ３の位置と当該エッジＮ３の接続元の近隣エッジＮ４の位置とを結ぶ直線１の傾きsl1、注目エッジＮ３の位置と当該エッジＮ３の接続先の近隣エッジＮ５の位置とを結ぶ直線２の傾きsl2、当該近隣エッジＮ４，Ｎ５の位置どうしを結ぶ直線３の傾きsl3を算出する（Ｓ４７６）。ここで、
ΔX1≠０のとき、sl1＝ΔY1／ΔX1 ΔX1＝０のとき、sl1＝無限大 …（１５）
ΔX2≠０のとき、sl2＝ΔY2／ΔX2 ΔX2＝０のとき、sl2＝無限大 …（１６）
ΔX2≠ΔX1のとき、sl3＝（ΔY2−ΔY1）／（ΔX2−ΔX1）
ΔX2＝ΔX1のとき、sl3＝無限大 …（１７）
である。さらに、sl1〜sl3とsl0との差を算出する（Ｓ４７８）。ここで、
Δsl1＝｜sl1−sl0｜ …（１８）
Δsl2＝｜sl2−sl0｜ …（１９）
Δsl3＝｜sl3−sl0｜ …（２０）
である。そして、Δsl3＜Δsl1またはΔsl3＜Δsl2が成立するか否かを判断する（Ｓ４８０）。近隣エッジどうしを結ぶ直線の傾きsl3がsl1よりも注目エッジの傾きsl0に近いか、または、同sl3がsl1よりも注目エッジの傾きsl0に近い場合に条件成立となり、Ｓ４８２に進む。条件不成立の場合、Ｓ４９４まで進む。

Ｓ４８２では近隣エッジどうしを結ぶ直線の傾きsl3の絶対値が１以上か否かを判断し、条件成立の場合にはｘ位置を固定して直線３上の移動位置（Xi，Yi’）を算出し（Ｓ４８４）、条件不成立の場合にはｙ位置を固定して直線３上の移動位置（Xi’，Yi）を算出する（Ｓ４８６）。図１０の例では、sl3＝３／５＜１であるため、移動前の位置（Xi，Yi）の注目エッジはｙ位置Yiを固定することになる。近隣エッジどうしを結ぶ直線は、
ｙ＝sl3×｛ｘ−（Xi＋ΔX1）｝＋（Yi＋ΔY1）
であるため、
Xi’＝（Xi＋ΔX1）−ΔY1／sl3
となる。図２３に示した接続情報Ｄ１５は、エッジｉの位置が（Xi＋１，Yi）に修正されるとともに、接続元のエッジの位置が（-3，-2）、接続先のエッジの位置が（+2，+1）に修正されることになる。

その後、注目エッジの移動先が同じブロック内であるか否かを判断する（Ｓ４８８）。同じブロック内 であればＳ４９２に進み、同じブロック内でなければバッファに記憶可能であるか否かを判断し（Ｓ４９０）、記憶可能であればＳ４９２に進み、記憶可能でなければＳ４９４まで進む。Ｓ４９２では、注目エッジを移動させ、接続情報Ｄ１５の内容を更新する。その後、全エッジについてゼロクロス移動処理を行ったか否かを判断し（Ｓ４９４）、条件不成立の場合にはＳ４７０〜Ｓ４９４を繰り返し、条件成立の場合にはフローを終了する。
このようにして、拡大画像上において注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が注目エッジの位置と近隣エッジの位置とを結ぶ方向よりも決定した注目エッジの向きに近いとき、近隣エッジの位置どうしを結ぶ直線に近づける位置に同注目エッジの位置を修正することができる。

（３−３−５）エッジ生成処理（図１７のＳ４０８）：
図２５の処理を開始すると、まず、拡大画像上でエッジとされた二画素間の横方向（ｘ方向）の距離差が縦方向（ｙ方向）の距離差以上（またはより大）であるか否かを判断する（Ｓ１４００）。条件成立の場合にはＳ１４０２に進み、条件不成立の場合にはＳ１４１０に進む。
Ｓ１４０２では、拡大画像上で横方向の画素の位置を設定する。次に、設定した横方向の位置で、拡大画像のエッジの領域とする縦方向の画素の位置を取得し（Ｓ１４０４）、取得した画素の位置（具体的には、座標値）をエッジの領域とする画素の位置を表す連結位置情報Ｄ１０としてバッファに格納する（Ｓ１４０６）。そして、次の横方向の画素の位置が存在するか否かを判断する（Ｓ１４０８）。条件成立の場合には横方向の画素の位置を画素単位で順次移動させながらＳ１４０２〜Ｓ１４０８を繰り返し、条件不成立の場合にはＳ１４１８に進む。
一方、Ｓ１４１０では、拡大画像上で縦方向の画素の位置を設定する。次に、設定した縦方向の位置で、拡大画像のエッジの領域とする横方向の画素の位置を取得し（Ｓ１４１２）、取得した画素の座標値を連結位置情報Ｄ１０としてバッファに格納する（Ｓ１４１４）。そして、次の縦方向の画素の位置が存在するか否かを判断する（Ｓ１４１６）。条件成立の場合には縦方向の画素の位置を画素単位で順次移動させながらＳ１４１０〜Ｓ１４１６を繰り返し、条件不成立の場合にはＳ１４１８に進む。

Ｓ１４１８では、連結位置情報Ｄ１０を含めて、拡大画像のエッジの領域を表すエッジ情報Ｄ１１を生成し、フローを終了する。このように、簡易な構成で確実に拡大画像のエッジどうしを連結することができ、また、近隣する拡大画像のエッジどうしの間で画素単位毎にエッジの領域とされるので、確実に拡大画像のエッジを精度よく細線で形成することが可能となる。
以上の処理により、パターンマッチングによらず拡大後のエッジ画像を作成するので、任意拡大率に対応可能となる。また、エッジに対して鮮鋭化処理などを行う場合、拡大後のエッジ画像を細線で得ることができるので、エッジに対する処理が少なくてすむ。そして、注目エッジの位置と近隣エッジの位置とを結ぶ方向が決定した注目エッジの向きに近づくように注目エッジの位置が修正されるので、エッジ位置を高精度にし、拡大画像のエッジを精度よく細線で形成して鮮鋭化等の処理を容易にさせることが可能となる。

（３−４）補間処理（図３のＳ５０）：
図２６の処理を開始すると、補間処理後の拡大画像の階調データを格納するバッファ領域をＲＡＭ内に確保したうえで、まず、平滑化処理後（平滑化処理前でもよい）の拡大前画像上で注目画素の位置を設定する（Ｓ５００）。次に、同拡大前画像上で注目画素を中心とした所定領域（所定範囲）内である３×３画素（拡大画像の３×３ブロックに相当）の輝度値ｄ１〜ｄ９を取得する（Ｓ５０２）。同輝度値は、各ＲＧＢの階調値ｒ，ｇ，ｂから上記演算式（５）等を用いて得られる。そして、当該３×３画素内に拡大前画像よりも細かい単位とされたゼロクロス、すなわち、エッジが存在するか否かを判断する（Ｓ５０４）。同３×３画素内にエッジが存在する（対応する拡大画像上のエッジの座標値がバッファに格納されていない）場合、バイキュービック法による補間処理で階調データを生成してもよいと判定したことになり、バイキュービック処理を行って（Ｓ５０６）、Ｓ５２８に進む。補間処理の中でバイキュービック法による補間処理は鮮鋭度を上げるのに有効な処理であり、エッジ部分でバイキュービック法による補間処理が行われるので鮮鋭度を保つことができる。

同３×３画素内にエッジの領域が存在しない場合、輝度値ｄ１〜ｄ９の中から最大値dmaxと最小値dminを取得し、最大値dmaxと最小値dminとの差（画像データの異なり度合）を求め、求めた差に応じて処理を分岐させ、補間処理の種類を切り換える（Ｓ５０８）。すなわち、所定の閾値Ｌ１１，Ｌ１２（０＜Ｌ１１＜Ｌ１２＜255、例えばＬ１１＝20、Ｌ１２＝150）を用意しておき、求めた差がＬ１１以下（またはより小）のときにバイリニア法による補間処理を行うバイリニア処理を行って（Ｓ５１０）Ｓ５２８に進み、求めた差がＬ１１より大（または以上）かつＬ１２以下（またはより小）のときにＳ５１２に進んで選択バイリニア処理またはバイキュービック処理を行い、求めた差がＬ１２より大（または以上）のときにＳ５２０に進んで選択バイキュービック処理またはバイキュービック処理を行う。注目ブロックに近隣する画素の階調データに応じて適切な補間処理を行うことが可能となるので、エッジ部分の鮮鋭さを維持して補間処理後の拡大画像を高画質にさせることが可能となる。ここで、参照する画素の数はバイリニア法、バイキュービック法の順に４、１６と増えるので、拡大前画像上で注目画素を中心とする３×３画素についての輝度値の最大値と最小値の差が大きくなるほど、階調データを参照する画素の数が増える。輝度値の異なり度合が大きいほど高精度にて補間処理を行う必要があるが、同異なり度合が大きくなるほど補間処理にて参照する画素の数が増えて高精度の補間処理が行われ、同異なり度合が小さくなるほど補間処理にて参照する画素の数が減って高速にて補間処理が行われる。従って、効率よく、高精度にて補間処理を行って高画質の拡大画像を得ることが可能となる。
なお、画像データの異なり度合は、最大値と最小値との組み合わせに基づく値の他、２番目に大きい値と２番目に小さい値との組み合わせに基づく値、これらに中間値も組み合わせた値、等も可能である。

Ｓ５１２では、注目画素の輝度値ｄ５が最大値dmaxまたは最小値dminに近いか否かを判断し、近いと判断した場合には選択バイリニア処理を行って（Ｓ５１４）Ｓ５２８に進み、近いと判断しなかった場合にはＳ５１６に進む。この判断処理は、所定の閾値Ｌ１３，Ｌ１４（０＜Ｌ１３＜128、０＜Ｌ１４＜128）を用意しておき、dmax−ｄ５がＬ１３以下（より小）またはｄ５−dminがＬ１４以下（より小）であるか否かをみることにより行うことができる。注目画素の輝度値が最大値dmaxに近いときには選択バイリニア処理により少なくとも最小値dminを除いて補間処理を行うことによって画像の鮮鋭さを得て画質を向上させ、注目画素の輝度値が最小値dminに近いときには選択バイリニア処理により少なくとも最大値dmaxを除いて補間処理を行うことによって画像の鮮鋭さを得て画質を向上させることができる。
Ｓ５１６では、平滑化処理後の拡大前画像上で注目画素を中心とする所定領域（所定範囲）内である５×５画素にエッジが存在するか否かを判断する。同５×５画素内にエッジが存在する場合、選択バイリニア処理を行って（Ｓ５１４）、Ｓ５２８に進む。これにより、エッジの周囲ではエッジの領域を跨がないように補間処理が行われるので、補間処理後でもエッジ周囲の鮮鋭さが維持され、自然な画質が得られる。条件不成立の場合にはバイキュービック法による補間処理で階調データを生成してもよいと判定したことになり、バイキュービック処理を行って（Ｓ５１８）、Ｓ５２８に進む。

Ｓ５２０でも、注目画素の輝度値ｄ５がdmaxまたはdminに近いか否かを判断し、近いと判断した場合には選択バイキュービック処理を行って（Ｓ５２２）Ｓ５２８に進み、近いと判断しなかった場合にはＳ５２４に進む。この判断処理も、dmax−ｄ５がＬ１３以下（より小）またはｄ５−dminがＬ１４以下（より小）であるか否かをみることにより行うことができる。注目画素の輝度値が最大値dmaxに近いときには選択バイキュービック処理により少なくとも最小値dminを除いて補間処理を行うことによって画像の鮮鋭さを得て画質を向上させ、注目画素の輝度値が最小値dminに近いときには選択バイキュービック処理により少なくとも最大値dmaxを除いて補間処理を行うことによって画像の鮮鋭さを得て画質を向上させることができる。
Ｓ５２４では、平滑化処理後の拡大前画像上で注目画素を中心とする５×５画素にエッジが存在するか否かを判断する。同５×５画素内にエッジが存在する場合、選択バイキュービック処理を行って（Ｓ５２２）、Ｓ５２８に進む。これにより、エッジの周囲ではエッジの領域を跨がないように補間処理が行われるので、補間処理後でもエッジ周囲の鮮鋭さが維持され、自然な画質が得られる。条件不成立の場合にはバイキュービック法による補間処理で階調データを生成してもよいと判定したことになり、バイキュービック処理を行って（Ｓ５２６）、Ｓ５２８に進む。

図２７は、上記選択バイキュービック処理を模式的に示す図である。補間処理部Ｕ５は、補間処理後の拡大画像Ｉ２上で階調データを生成する注目画素Ｎ１１を順次移動させながら、注目画素Ｎ１１の近隣に位置する補間処理前の拡大前画像Ｉ１における所定領域Ｒ５内の複数の画素の画像データを参照して補間処理を行う。バイキュービック法による補間処理を行う場合、注目画素の近隣に位置する拡大前画像の４×４画素の画像データを参照する。図では、便宜上、同４×４画素をＰ１１〜Ｐ４４と名付けている。補間処理を行う際、所定領域Ｒ５内の複数の画素Ｐ１１〜Ｐ４４上を画像のエッジの領域が横切っているか否かを平滑化処理後（平滑化処理前でもよい）の拡大前画像の画像データＤ４に基づいて判断する。そして、横切っていると判断したときには、エッジの領域から注目画素側にある画素の画像データのみを用いて補間処理を行う。

図２８に示すように、注目ブロックＮ１２に対応する拡大前画像における対応画素の位置を(X,Y)、注目ブロックＮ１２内での注目画素Ｎ１１の位置を(x,y)、画像の拡大率をM、s＝M／2（ただし、小数点以下切り捨て）とすると、M＝3のとき、x＝0〜2、y＝0〜2、s＝１となり、１６点の参照画素の位置は以下のように決定される。
x＜sかつy＜s、すなわち、注目画素が(0,0)のとき、
(X-2,Y-2)〜(X+1,Y+1)
x≧sかつy＜s、すなわち、注目画素が(1,0),(2,0)のとき、
(X-1,Y-2)〜(X+2,Y+1)
x＜sかつy≧s、すなわち、注目画素が(0,1),(0,2)のとき、
(X-2,Y-1)〜(X+1,Y+2)
x≧sかつy≧s、すなわち、注目画素が(1,1),(1,2),(2,1),(2,2)のとき、
(X-1,Y-1)〜(X+2,Y+2)
このように、注目ブロック内の画素の位置に応じた適切な領域の参照画素が設定される。ここで、対応画素を中心とする５×５画素は、注目画素の近隣に位置する補間処理前の拡大前画像における所定領域Ｒ６内の複数の画素であり、注目ブロック内の画素の階調データを生成する際に参照画素とされる可能性のある画素である。

そして、参照画素Ｐ１１〜Ｐ４４のＲＧＢ毎の階調値（輝度値Ｙも可）をP₁₁〜P₄₄で表すと、補間処理後の階調値Ｅは、以下の式（２１）により算出することができる。

ただし、バイキュービック法での距離係数dx,dyは、
x＜sかつy＜sのとき、dx＝(x＋M−s)／M, dy=(y+M-s)/M
x≧sかつy＜sのとき、dx＝(x-s)／M, dy＝(y+M-s)／M
x＜sかつy≧sのとき、dx＝(x+M-s)／M, dy＝(y-s)／M
x≧sかつy≧sのとき、dx＝(x-s)／M, dy＝(y-s)／M
である。
なお、参照画素が拡大前画像の端部からはみ出るとき、拡大前画像の端部の画素が外側に向かって連続しているものとして階調値を計算する。また、平滑化処理前の階調値を用いて補間処理後の階調値Ｅを算出してもよい。

図２９に示す選択バイキュービック処理を開始すると、まず、注目ブロックＮ１２内で注目画素Ｎ１１の位置(x,y)を、(0,0),(0,1)…(2,2)の順に設定する（Ｓ５３０）。次に、注目画素Ｎ１１の近隣に位置する拡大前画像Ｉ１における所定領域Ｒ５内の４×４の参照画素Ｐ１１〜Ｐ４４を決定する（Ｓ５３２）。さらに、決定した複数の参照画素Ｐ１１〜Ｐ４４のそれぞれについて、順次、拡大前画像における階調値P'を取得する（Ｓ５３４）。画像データがＲＧＢデータであれば、ＲＧＢ別に階調値を取得する。そして、取得した階調値P'について、注目ブロックＮ１２に対応する対応画素の階調値P0との差が所定の閾値Ｌ８より大（または以上）であるか否か、すなわち、｜P'−P0｜＞Ｌ８が成立するか否かを判断していく（Ｓ５３６）。階調値が256階調であるとき、Ｌ８を例えば50等とすればよい。
階調値の差がＬ８より大きい（所定範囲外）とき、参照画素Ｐｉｊの階調値を対応画素の階調値P0に置き換えて上記補間処理の演算式（２１）に代入する階調値P_ijとし（Ｓ５３８）、階調値の差がＬ８以下（所定範囲内）であるとき、階調値を置き換えることなく参照画素Ｐｉｊの階調値をそのまま上記演算式（２１）に代入する階調値P_ijとし、Ｓ５４０に進む。対応画素の階調値との差異が大きい画素の階調値が用いられないので、Ｓ５３６では、注目画素の近隣に位置する所定領域内の複数の画素上を画像のエッジの領域が横切っているか否かを拡大前画像の画像データに基づいて判断していることになる。そして、横切っていると判断したとき、Ｓ５３８で、エッジの領域から注目画素側にある画素の画像データのみを用いて補間処理を行う。
Ｓ５４０では上記判断処理をしていない他の参照画素が存在するか否かを判断し、条件成立の場合にはＳ５３４〜Ｓ５４０を繰り返し、条件不成立の場合にはＳ５４２に進む。

Ｓ５４２では、階調値の置き換え処理が行われた参照画素の階調値P_ijを用いて上記演算式（２１）により補間処理後の階調値Ｅを算出するバイキュービック補間処理を行う。補間処理を行うと、算出した階調値Ｅをバッファに格納する（Ｓ５４４）。このように、階調値を置き換えるという簡易な構成で、公知の補間処理を利用することができ、注目ブロックに対応する拡大前画像における対応画素との階調値の差異が所定範囲内となる画素の画像データのみを用いて容易に補間処理を行うことができる。
その後、注目ブロック内の全画素について補間処理を行ったか否かを判断し（Ｓ５４６）、条件不成立の場合にはＳ５３０〜Ｓ５４６を繰り返し、条件成立の場合にはフローを終了する。
すなわち、補間処理後の画像上で階調データを生成する注目画素の近隣に位置する所定領域内の複数の画素の階調データを参照して補間処理を行う際、同所定領域内の複数の画素のうち注目画素に対応する補間処理前の画像における対応画素との画像データの差異が所定範囲内となる画素の画像データのみを用いた補間処理が行われる。
以上の処理により、補間処理の際に注目ブロックに対応した対応画素の画像データとの差異が大きい画素の画像データが用いられないので、実質的にはエッジの領域から注目画素側にある画素の画像データのみを用いた補間処理が行われる。すなわち、エッジ部分が平滑化されないので、補間処理後でもエッジ部分の鮮鋭さを維持して画質を向上させることが可能となる。また、エッジブロックに鮮鋭化等の処理を行っても、エッジブロックと非エッジブロックとで色の差が出なくなり、この点でも画質を向上させることができる。 むろん、バイリニア法に基づく選択バイリニア処理についても、同様のことが言える。

図２６のＳ５２８では拡大画像の全画素について拡大画像の各画素に対応した階調データを生成したか否かを判断し、条件不成立の場合にはＳ５００〜Ｓ５２８を繰り返し、条件成立の場合にはフローを終了する。

（３−５）エッジ鮮鋭化処理（図３のＳ６０）：
図３０の処理を開始すると、まず、鮮鋭化演算後の画像データＤ１３を格納するバッファ領域をＲＡＭ内に確保する（Ｓ６００）。以下、図１２と図１３を参照して説明する。次に、補間処理後の画像データＤ１２で表現された拡大画像Ｉ３上で、当該拡大画像の画素単位とされた注目エッジＮ７の位置を一つおきに設定する（Ｓ６０２）。上記接続情報Ｄ１５にはエッジ毎の接続情報が順番に格納されているので、例えば、各エッジにエッジ番号を対応させておき、当該エッジ番号に対応させたポインタの値が偶数または奇数となるように当該ポインタの値を更新することにより、注目エッジの位置（Xi，Yi）を設定することができる。これにより、取得されたエッジの位置の中から注目エッジの位置を順次設定する際、既に注目エッジの位置とされたエッジに隣接するエッジの位置を除いて注目エッジの位置を設定することになる。座標値が順番にバッファに記憶されるエッジの多くは近隣しているので、このような処理を行っても鮮鋭化処理の結果にほとんど差は出ない。従って、画像処理後の画像の高画質を保ちながら鮮鋭化処理の処理速度を向上させることが可能となる。

さらに、注目エッジＮ７を含む所定領域Ｒ４内で注目画素の位置を設定する（Ｓ６０４）。ここで、設定値決定部Ｕ１により拡大前画像の画素数Ｎｘｙに対応する傾き値a1，a2が動作設定データ１４ａから取得されており、当該傾き値a1，a2を用いて注目画素の輝度値g1から鮮鋭化演算値g2を算出する（Ｓ６０６）。すなわち、上記演算式（６）に、傾き値a1，a2、所定領域Ｒ４内の複数画素についての輝度値Ｙの最小値min、最大値max、平均値ave、注目画素の輝度値g1を代入し、g2を算出する。ここで、傾き値a1，a2は画素数Ｎｘｙが多くなるほど段階的に大きくなるので、画素数Ｎｘｙが多くなるほど段階的に補間前画像に対する鮮鋭化の度合が大きくなる。補間後画像のエッジ部分がより適切に鮮鋭化されるので、画像処理後の画像の画質をさらに向上させることが可能となる。
そして、注目画素に対応する鮮鋭化演算値が既にバッファに記憶されているか否かを判断する（Ｓ６０８）。条件成立の場合には今回新たに算出した鮮鋭化演算値g2を注目画素の位置に対応させてバッファに記憶し（Ｓ６１０）、条件不成立の場合には既に記憶されている鮮鋭化演算値と今回新たに算出した鮮鋭化演算値g2とを平均（算術平均等）してその平均値を注目画素の位置に対応させてバッファに記憶する（Ｓ６１２）。鮮鋭化演算値を重複して算出する画素があっても複雑な処理を行う必要がないので、画像処理後の画像の高画質を保ちながら鮮鋭化処理の処理速度を向上させることが可能となる。

その後、所定領域Ｒ４内の全画素について鮮鋭化演算値をバッファに記憶する処理を行ったか否かを判断し（Ｓ６１４）、条件不成立の場合にはＳ６０４〜Ｓ６１４を繰り返す。条件成立の場合、全エッジについてエッジ鮮鋭化処理を行ったか否かを判断し（Ｓ６１６）、条件不成立の場合にはＳ６０２〜Ｓ６１６を繰り返し、条件成立の場合にはフローを終了する。そして、画素別の鮮鋭化演算値からなる画像データが鮮鋭化演算後の画像データＤ１３となる。
このようにして、補間前画像の画素数に対応する度合で鮮鋭化することができ、画像処理後の画像をさらに向上させることが可能となる。

（３−６）鮮鋭化画像合成処理（図３のＳ７０）：
図３１の処理を開始すると、まず、拡大画像上で注目画素の位置を設定する（Ｓ７００）。以下、図１４を参照して説明する。次に、注目画素に対応する鮮鋭化演算値がバッファに記憶されているか否かを判断し（Ｓ７０２）、条件成立の場合にのみＳ７０４の処理を行う。
ここで、設定値決定部Ｕ１により拡大前画像の画素数Ｎｘｙに対応する合成比率A3（%単位）が動作設定データ１４ａから取得されており、Ｓ７０４では、合成比率A3から合成比率a3（＝A3／100）を取得し、当該合成比率a3を用いて注目画素における補間処理後（鮮鋭化演算前）の階調値g3と鮮鋭化演算値（鮮鋭化演算後の階調値）g4とから合成後（鮮鋭化処理後）の階調値g5を算出する。すなわち、上記演算式（７）に、合成比率a3、鮮鋭化演算前後の階調値g3，g4を代入し、g5を算出する。ここで、合成比率a3は画素数Ｎｘｙが多くなるほど段階的に大きくなるので、画素数Ｎｘｙが多くなるほど段階的に補間前画像に対する鮮鋭化の度合が大きくなる。その結果、補間後画像のエッジ部分がより適切に鮮鋭化されるので、画像処理後の画像の画質をさらに向上させることが可能となる。
その後、全画素について階調値を合成する処理を行ったか否かを判断し（Ｓ７０６）、条件不成立の場合にはＳ７００〜Ｓ７０６を繰り返す。条件成立の場合、画素毎の鮮鋭化処理後の階調値g5から、例えばＲＧＢ毎、画素毎の階調値からなる鮮鋭化処理後の画像データＤ１４を生成し（Ｓ７０８）、フローを終了する。
このようにして、補間前画像の画素数に対応する度合で鮮鋭化することができる。元画像の拡大後画像と、それに対して鮮鋭化を行った画像をブレンドすることで、より破綻のない、自然な拡大鮮鋭化画像を得ることができ、鮮鋭度を保ったまま低解像度の画像を高品位に拡大することができる。従って、画像処理後の画像をさらに向上させることが可能となる。

（４）まとめ：
本発明のエッジ生成装置および画像処理装置と周辺装置は、様々な構成が可能である。例えば、プリンタは、コンピュータと一体化されたものであってもよい。上述したフローについては、コンピュータ本体内で実行する以外にも、一部または全部をプリンタあるいは専用の画像出力装置で実行するようにしてもよい。画像データを構成する多数の画素は、縦横に整然と並んだドットマトリクス状とされる以外にも、様々な構成が考えられる。例えば、正六角形を密に並べたような蜂の巣状に整然と並んだドットマトリクス状の画素から画像データを構成してもよい。
以上説明したように、本発明によると、種々の態様により、画像処理後の画質を向上させることが可能となる。

印刷システムのハードウェア構成の概略を示すブロック図。 広義の画像処理装置Ｕ０の構成の概略を模式的に示すブロック図。 広義の画像処理装置が行う処理を示すフローチャート。 設定値決定処理を示すフローチャート。 動作設定データ１４ａの構造を模式的に示す図。 特徴別フィルタ処理部Ｕ２が行う処理を模式的に示す図。 特徴別フィルタ処理部Ｕ２が行う処理の具体例を模式的に示す図。 特徴別フィルタデータとフィルタ合成設定データの構造を示す図。 エッジ情報生成部Ｕ４が行う処理を模式的に示す図。 注目エッジの位置を修正する様子を模式的に示す図。 マッチングパターンの一例を模式的に示す図。 拡大画像Ｉ３上で鮮鋭化処理を行う範囲を模式的に示す図。 エッジ鮮鋭化処理部Ｕ６が行う処理を模式的に示す図。 鮮鋭化画像合成処理部が鮮鋭化処理を行う範囲を模式的に示す図。 特徴別フィルタ処理を示すフローチャート。 フィルタ演算処理を示すフローチャート。 エッジ情報生成処理を示すフローチャート。 ゼロクロス検出処理を示すフローチャート。 Ｓ４２２とＳ４３２のゼロクロス位置算出処理を示すフローチャート。 拡大エッジ位置情報を取得する様子を模式的に示す図。 ゼロクロス接続処理を示すフローチャート。 ２値化データを生成してパターンマッチング処理を行う様子を示す図。 接続情報の構造を模式的に示す図。 ゼロクロス移動処理を示すフローチャート。 エッジ生成処理を示すフローチャート。 補間処理を示すフローチャート。 選択バイキュービック処理を模式的に示す図。 選択バイキュービック処理で参照画素を決定する様子を示す図。 選択バイキュービック処理を示すフローチャート。 エッジ鮮鋭化処理を示すフローチャート。 鮮鋭化画像合成処理を示すフローチャート。

符号の説明

１０…パーソナルコンピュータ（ＰＣ）、１４ａ…動作設定データ、１４ｂ…特徴別フィルタデータ、１４ｃ…フィルタ合成設定データ、１４ｄ…マッチングパターン、２０…インクジェットプリンタ、Ｃ１…特徴量、Ｄ１…拡大前画像の画像データ、Ｄ２…フィルタ処理後の画像データ、Ｄ３…修正処理後の画像データ、Ｄ４…平滑化後の画像データ、Ｄ５…中間データ、Ｄ６…エッジ位置情報、Ｄ７…拡大エッジ位置情報、Ｄ８…２値化データ、Ｄ９…修正エッジ位置情報、Ｄ１０…連結位置情報、Ｄ１１…エッジ情報、Ｄ１２…補間処理後の画像データ、Ｄ１３…鮮鋭化演算後の画像データ、Ｄ１４…鮮鋭化処理後の画像データ、Ｄ１５…接続情報、Ｉ１…拡大前画像、Ｉ１ｕ，Ｉ２ｕ，Ｉ３ｕ…画素、Ｉ２〜Ｉ５…拡大画像、Ｉ２ｄ…ブロック（画素区分）、Ｎ１…注目画素、Ｎ２…所定の色領域内にある画素、Ｎ３…注目エッジ、Ｎ４，Ｎ５…近隣エッジ、Ｎ６…修正後の注目エッジ、Ｎ７…注目エッジ、Ｒ１…第一の所定領域（所定範囲）、Ｒ２…第二の所定領域（所定範囲）、Ｒ３…第三の所定領域（所定範囲）、Ｒ４…第四の所定領域（所定範囲）、Ｒ５…第五の所定領域（所定範囲）、Ｒ６…第六の所定領域（所定範囲）、Ｕ０…広義の画像処理装置（エッジ生成装置および狭義の画像処理装置）、Ｕ１…設定値決定部、Ｕ２…特徴別フィルタ処理部、Ｕ２１…特徴量取得部（特徴量取得手段）、Ｕ２２…フィルタ部（フィルタ手段）、Ｕ２３…合成部（合成手段）、Ｕ３…平滑化処理部、Ｕ４…エッジ情報生成部、Ｕ４１…拡大位置取得部（拡大位置取得手段、補間後位置取得手段）、Ｕ４２…向き決定部（向き決定手段）、Ｕ４３…位置修正部（位置修正手段）、Ｕ４４…エッジ生成部（エッジ生成手段）、Ｕ５…補間処理部（補間手段）、Ｕ６…エッジ鮮鋭化処理部（鮮鋭化手段の一部）、Ｕ７…鮮鋭化画像合成処理部（鮮鋭化手段の一部）

Claims (9)

1. 拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成装置であって、
   上記画像データに基づいて、上記拡大画像の各画素の位置に対応させたエッジの位置を取得する拡大位置取得手段と、
   上記拡大前画像上における各画素の階調データのうち向きを決定する注目エッジの位置を含む所定範囲内の複数画素の階調データから当該注目エッジの向きを決定する向き決定手段と、
   上記拡大画像上において上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正可能な位置修正手段と、
   修正後のエッジの位置を用いることにより、上記拡大画像の各画素の位置に対応させて当該拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成手段とを具備し、
   上記位置修正手段は、上記拡大画像上において上記注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近いとき、同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正することを特徴とするエッジ生成装置。
2. 拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成装置であって、
   上記画像データに基づいて、上記拡大画像の各画素の位置に対応させたエッジの位置を取得する拡大位置取得手段と、
   上記拡大前画像上における各画素の階調データのうち向きを決定する注目エッジの位置を含む所定範囲内の複数画素の階調データから当該注目エッジの向きを決定する向き決定手段と、
   上記拡大画像上において上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正可能な位置修正手段と、
   修正後のエッジの位置を用いることにより、上記拡大画像の各画素の位置に対応させて当該拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成手段とを具備し、
   上記位置修正手段は、上記拡大画像上において上記注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近いとき、当該二つのエッジの位置どうしを結ぶ直線に近づける位置に同注目エッジの位置を修正することを特徴とするエッジ生成装置。
3. 上記拡大位置取得手段は、上記拡大前画像上で注目画素を順次移動させながら、当該注目画素を含む所定範囲内の複数画素の階調データに対して所定の差分フィルタを用いた演算を行って同拡大前画像の各画素に対応して階調表現された中間データを生成し、当該中間データに対応するドットマトリクス状の画素上で注目画素を順次移動させながら、当該注目画素を含む所定範囲内の複数画素の中間データを用いて同中間データを所定値にする位置を決定し、当該位置を上記拡大画像の各画素の位置に対応させたエッジの位置を取得することを特徴とする請求項１または請求項２に記載のエッジ生成装置。
4. 上記向き決定手段は、上記拡大前画像上で注目画素を順次移動させながら、当該注目画素を含む所定範囲内の複数画素の階調データを２値化して２値化データを生成し、当該２値化データと、エッジの向きに対応した所定の複数のマッチングパターンと、からエッジの向きを決定することを特徴とする請求項１〜請求項３のいずれか一項に記載のエッジ生成装置。
5. 上記拡大画像のエッジの位置は、当該拡大画像の画素単位とされ、
   上記エッジ生成手段は、上記拡大画像の画素単位とされた上記修正後のエッジの位置を用いることにより、近隣する同拡大画像のエッジどうしを連結して上記拡大画像のエッジの領域を表すエッジ情報を生成することを特徴とする請求項１〜請求項４のいずれか一項に記載のエッジ生成装置。
6. 拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成方法であって、
   上記画像データに基づいて、上記拡大画像の各画素の位置に対応させたエッジの位置を取得する拡大位置取得工程と、
   上記拡大前画像上における各画素の階調データのうち向きを決定する注目エッジの位置を含む所定範囲内の複数画素の階調データから当該注目エッジの向きを決定する向き決定工程と、
   上記拡大画像上において上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正可能な位置修正工程と、
   修正後のエッジの位置を用いることにより、上記拡大画像の各画素の位置に対応させて当該拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成工程とを具備し、
   上記位置修正工程では、上記拡大画像上において上記注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近いとき、同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正することを特徴とするエッジ生成方法。
7. 拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成方法であって、
   上記画像データに基づいて、上記拡大画像の各画素の位置に対応させたエッジの位置を取得する拡大位置取得工程と、
   上記拡大前画像上における各画素の階調データのうち向きを決定する注目エッジの位置を含む所定範囲内の複数画素の階調データから当該注目エッジの向きを決定する向き決定工程と、
   上記拡大画像上において上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正可能な位置修正工程と、
   修正後のエッジの位置を用いることにより、上記拡大画像の各画素の位置に対応させて当該拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成工程とを具備し、
   上記位置修正工程では、上記拡大画像上において上記注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近いとき、当該二つのエッジの位置どうしを結ぶ直線に近づける位置に同注目エッジの位置を修正することを特徴とするエッジ生成方法。
8. 拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成する機能をコンピュータに実現させるエッジ生成プログラムであって、
   上記画像データに基づいて、上記拡大画像の各画素の位置に対応させたエッジの位置を取得する拡大位置取得機能と、
   上記拡大前画像上における各画素の階調データのうち向きを決定する注目エッジの位置を含む所定範囲内の複数画素の階調データから当該注目エッジの向きを決定する向き決定機能と、
   上記拡大画像上において上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正可能な位置修正機能と、
   修正後のエッジの位置を用いることにより、上記拡大画像の各画素の位置に対応させて当該拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成機能とを実現させ、
   上記位置修正機能は、上記拡大画像上において上記注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近いとき、同注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正することを特徴とするエッジ生成プログラム。
9. 拡大前画像をドットマトリクス状の画素別の階調データで表現した画像データから同拡大前画像を拡大した拡大画像のエッジの領域を表すエッジ情報を生成する機能をコンピュータに実現させるエッジ生成プログラムであって、
   上記画像データに基づいて、上記拡大画像の各画素の位置に対応させたエッジの位置を取得する拡大位置取得機能と、
   上記拡大前画像上における各画素の階調データのうち向きを決定する注目エッジの位置を含む所定範囲内の複数画素の階調データから当該注目エッジの向きを決定する向き決定機能と、
   上記拡大画像上において上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向を上記決定された注目エッジの向きに近づける位置に同注目エッジの位置を修正可能な位置修正機能と、
   修正後のエッジの位置を用いることにより、上記拡大画像の各画素の位置に対応させて当該拡大画像のエッジの領域を表すエッジ情報を生成するエッジ生成機能とを実現させ、
   上記位置修正機能は、上記拡大画像上において上記注目エッジに近隣する二つのエッジの位置どうしを結ぶ方向が上記注目エッジの位置と当該注目エッジに近隣するエッジの位置とを結ぶ方向よりも上記決定された注目エッジの向きに近いとき、当該二つのエッジの位置どうしを結ぶ直線に近づける位置に同注目エッジの位置を修正することを特徴とするエッジ生成プログラム。

Images