JP2014067129A - スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 - Google Patents
スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 Download PDFInfo
- Publication number
- JP2014067129A JP2014067129A JP2012210591A JP2012210591A JP2014067129A JP 2014067129 A JP2014067129 A JP 2014067129A JP 2012210591 A JP2012210591 A JP 2012210591A JP 2012210591 A JP2012210591 A JP 2012210591A JP 2014067129 A JP2014067129 A JP 2014067129A
- Authority
- JP
- Japan
- Prior art keywords
- color
- conversion
- pixel
- pixel value
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】所定の色テーマの下で、画像の色を自然な色に安定して変換することができる色変換処理プログラムを提供する。
【解決手段】本色変換処理プログラムは、入力画像の画素毎に、互いに異なる複数のスケールの各々を有する領域についての局所特徴量を算出し、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられた色分布をデータベースから取得し、各スケールでの画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、所定の色テーマを基にして生成された色変換テーブルを用いて理想変換画素値を算出し、各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値を算出する変換色決定手段と、入力画像の各画素の画素値をこの変換先画素値に変換する色変換手段として機能する。
【選択図】図4
【解決手段】本色変換処理プログラムは、入力画像の画素毎に、互いに異なる複数のスケールの各々を有する領域についての局所特徴量を算出し、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられた色分布をデータベースから取得し、各スケールでの画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、所定の色テーマを基にして生成された色変換テーブルを用いて理想変換画素値を算出し、各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値を算出する変換色決定手段と、入力画像の各画素の画素値をこの変換先画素値に変換する色変換手段として機能する。
【選択図】図4
Description
本発明は、画像の色を変換する色変換処理技術に関する。
近年、携帯端末の内蔵カメラやデジタル撮影装置を使用して、誰でも簡単に静止画像や動画像といった画像を撮影することができる。撮影された画像は、他人に公開・提供されたり、さらにはウェブ(Web)上で共有されたりすることも多い。しかしながら、一般のユーザが撮影した画像は、ユーザが伝えたい内容を必ずしも表現できているわけではない。このため、モバイル端末の多くのカメラアプリケーションや画像共有ウェブサイトでは、画像を見る者の主観的印象を変化させるような画像処理効果を施すための機能が用意されている。このような機能を用いて、ユーザが画像を通して伝えたいと感じている内容を画像上に表現する目的で、この画像に変換処理を施す機会が増えている。
特に、画像の色は画像を見る者の主観的印象に非常に大きな影響を与えるため、ユーザは、画像の色を所望の形に変換することによって、伝えたいと感じている内容をより適切に画像上に表現することができる。
従来、このような色変換処理技術として、画像の色情報をユーザが所望する色情報に変換する装置が種々開発されている。例えば、特許文献1には、ポインティングデバイスによって指示された位置の色情報を算出し、その色情報を中心とした一定の範囲内にある色情報を持つ画素をユーザの所望する色情報に変換する色変換装置が開示されている。
また、非特許文献1には、画像全体の色をユーザの所望する色テーマに基づいて変換するための技術が開示されている。この技術では、ユーザによって選択された、複数の色情報のセットである色テーマに基づいて、画像の色情報が変換される。元画像は領域分割され、各領域内のテクスチャ情報から変換後の色情報が決定される。この際、変換画像が不自然な印象を持たないように、画像内のテクスチャ情報と色分布との関係を学習して獲得した事前情報に基づいて色変換が行われる。この技術では、特許文献1の技術と比較して、より簡便に、ユーザの選択した色テーマに基づいて画像の色を変換し、画像に対する印象を変化させることができる。
Baoyuan Wang, Yizhou Yu, Tien-Tsin Wong, Chun Chen, Ying-Qing Xu,"Data-driven image color theme enhancement", ACM Trans. on Graphics(TOG), vol. 29, Issue 6, 146ページ, 2010年
しかしながら、上述したような従来技術を用いても、画像の色を、安定して自然な色に変換することは非常に困難である。
例えば、自然を撮影した写真等の自然画像において、空に対応する画像部分の色は、青系統の色であることが自然であり、草原に対応する画像部分の色は、緑系統の色であることが自然である。ここで、ある選択された色テーマに基づいて、空に対応する画像部分の色を赤系統の色に変換してしまうと、変換後の画像が不自然な印象を持たざるを得なくなる。
しかしながら、特許文献1の色変換処理では、ユーザが所定範囲の中から色情報を選択することによって、指定場所の色が、この選択された色情報に基づいて変換される。従って、特許文献1の技術は、画像の色を安定して自然な色に変換することを、何ら保証するものではない。
一方、非特許文献1の技術では、画像内のテクスチャ情報と色分布との関係を学習して獲得した事前情報に基づいて、色変換が行われる。従って、確かに特定のテクスチャにおいては、このテクスチャにありがちな色への変換が実行され易い。しかしながら、色変換対象の画像部分が、際だった特徴のないテクスチャ、例えば平坦なテクスチャ、を有する場合、変換後の色に有効な制約を持たせることが困難となる。例えば、ある程度平坦なテクスチャを有する領域は、種々の色に変換される可能性を有してしまう。従って、この領域について、青系統又は緑系統に限定する、といった変換後の色の制約を課すことは困難である。その結果、変換後の画像が不自然な色を有する場合も生じてしまう。
そこで、本発明は、所定の色テーマの下で、画像の色を自然な色に安定して変換することができる色変換処理プログラム、装置及び方法を提供することを目的とする。ここで、「自然な色」とは、色変換すべき画像中において色を変換される対象が、他の多数の画像中において高い頻度で備えている色であって、当該対象は通常その色を有するものと認識されているような色を指す。
本発明によれば、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置に搭載されたコンピュータを機能させる色変換処理用プログラムであって、
この色変換処理装置は、複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
してコンピュータを機能させる色変換処理用プログラムが提供される。
この色変換処理装置は、複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
してコンピュータを機能させる色変換処理用プログラムが提供される。
この本発明による色変換処理用プログラムの一実施形態として、
データベースは、複数の学習用画像の各々について算出された大域特徴量を学習用画像毎に記憶し、さらに、複数の学習用画像の各々を1つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを、学習用画像毎に対応付けて記憶し、
色分布決定手段は、
入力画像の大域特徴量を算出し、算出された大域特徴量との近似度がより高い大域特徴量を有する順に少なくとも1つの学習用画像をデータベースから取得し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも1つの学習用画像の局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の当該色分布をコスト計算用色分布に決定する
ことも好ましい。
データベースは、複数の学習用画像の各々について算出された大域特徴量を学習用画像毎に記憶し、さらに、複数の学習用画像の各々を1つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを、学習用画像毎に対応付けて記憶し、
色分布決定手段は、
入力画像の大域特徴量を算出し、算出された大域特徴量との近似度がより高い大域特徴量を有する順に少なくとも1つの学習用画像をデータベースから取得し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも1つの学習用画像の局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の当該色分布をコスト計算用色分布に決定する
ことも好ましい。
さらに、上述した本発明による色変換処理用プログラムの一実施形態において、色分布決定手段は、
取得された少なくとも1つの学習用画像においてスケール毎に各領域について算出されている局所特徴量を所定の数の特徴量値に階調化し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも1つの学習用画像における階調化された局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色分布をデータベースから取得し、統合してコスト計算用色分布とする
ことも好ましい。
取得された少なくとも1つの学習用画像においてスケール毎に各領域について算出されている局所特徴量を所定の数の特徴量値に階調化し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも1つの学習用画像における階調化された局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色分布をデータベースから取得し、統合してコスト計算用色分布とする
ことも好ましい。
さらに、本発明による色変換処理用プログラムの他の実施形態として、
変換色決定手段は、
変換前画素値と理想変換画素値との間の変換先画素値の位置を示すパラメータとして規定された変換強度について、複数の変換強度値の各々の下で、入力画像の色変換を実施した際の画素毎の変換コストを、変換前画素値と変換先画素値との色距離が大きくなるほどより大きな値をとる第1のコスト部分と、スケール毎のコスト計算用色分布において頻度が低い色ほどより大きな値をとる第2のコスト部分との和として算出し、
コストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みにより上記変換コストを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に変換強度を決定し、
色変換部は、入力画像の各画素の画素値を、決定された変換強度の変換先画素値に変換する
ことも好ましい。
変換色決定手段は、
変換前画素値と理想変換画素値との間の変換先画素値の位置を示すパラメータとして規定された変換強度について、複数の変換強度値の各々の下で、入力画像の色変換を実施した際の画素毎の変換コストを、変換前画素値と変換先画素値との色距離が大きくなるほどより大きな値をとる第1のコスト部分と、スケール毎のコスト計算用色分布において頻度が低い色ほどより大きな値をとる第2のコスト部分との和として算出し、
コストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みにより上記変換コストを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に変換強度を決定し、
色変換部は、入力画像の各画素の画素値を、決定された変換強度の変換先画素値に変換する
ことも好ましい。
さらにまた、本発明による色変換処理用プログラムの他の実施形態として、
上記データベースは、複数の学習用画像における複数のスケールの各々についての各領域について局所特徴量として算出されたSIFT(Scale Invariant Feature Transform)特徴量と、色分布とを記憶し、
色分布決定手段は、複数のスケールの各々について、入力画像の分割された各領域におけるSIFT特徴量を、局所特徴量として算出する
ことも好ましい。
上記データベースは、複数の学習用画像における複数のスケールの各々についての各領域について局所特徴量として算出されたSIFT(Scale Invariant Feature Transform)特徴量と、色分布とを記憶し、
色分布決定手段は、複数のスケールの各々について、入力画像の分割された各領域におけるSIFT特徴量を、局所特徴量として算出する
ことも好ましい。
さらに、本発明による色変換処理用プログラムによれば、
変換色決定手段は、入力画像の各画素における変換前画素値が、この画素を含んでおり互いに異なるスケールを有する領域それぞれのテクスチャの特徴からしてとり得る確率の低い色に相当する画素値には変換されないように、変換先画素値を算出することも好ましい。
変換色決定手段は、入力画像の各画素における変換前画素値が、この画素を含んでおり互いに異なるスケールを有する領域それぞれのテクスチャの特徴からしてとり得る確率の低い色に相当する画素値には変換されないように、変換先画素値を算出することも好ましい。
本発明によれば、また、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置であって、
複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースと、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
を有する色変換処理装置が提供される。
複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースと、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
を有する色変換処理装置が提供される。
本発明によれば、さらにまた、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置における色変換処理方法であって、
この色変換処理装置は、複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する第1のステップと、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する第2のステップと、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する第3のステップと、
入力画像の各画素の画素値を、第3のステップで決定された対応する変換先画素値に変換する第4のステップと
を有する色変換処理方法が提供される。
この色変換処理装置は、複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する第1のステップと、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する第2のステップと、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する第3のステップと、
入力画像の各画素の画素値を、第3のステップで決定された対応する変換先画素値に変換する第4のステップと
を有する色変換処理方法が提供される。
本発明の色変換処理プログラム、装置及び方法によれば、所定の色テーマの下で、画像の色を、画像部分の特徴量に応じた自然な色に安定して変換することができる。
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
図1は、本発明による色変換処理方法の一実施形態を概略的に示す説明図である。
図1に示した実施形態によれば、最初に、色変換処理を行う対象である入力画像が、ユーザによる指示操作によって、又は処理装置への入力によって、指定される。ここで、入力画像には、写真ファイル等の静止画像、及びビデオファイル等の動画像が含まれる。
また、変換後の色の組合せを選択する際の基準となる、複数の色のセットである「色テーマ」が、ユーザによる指示操作によって、複数の「色テーマ」を格納した色テーマ記憶部103から読み出されて指定される。この「色テーマ」に基づいて、入力画像の色を変換することによって出力(変換後)画像が生成される。
本発明の色変換処理方法は、自然な色変換のための基準となる複数の「学習用画像」を準備し、さらに、
(a)複数の「学習用画像」の各々を領域分割した際の、各領域について算出された「局所特徴量」と、当該各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを対応付けて記憶する学習用画像データベース102
を利用する。ここで、
(a1)「学習用画像」の領域分割は、1つの「スケール」又は複数の「スケール」の各々を有する領域による分割である。ここで、「スケール」は、例えば画像内の局所的な領域を円形で定義する場合にはこの円の半径に該当し、また画像を縦横で等分割する場合には、分割数に該当する。このうち、複数の「スケール」の各々について領域分割される場合、画像内の局所的な領域を複数の大きさで定義することを目的に複数の「スケール」が予め定義され、「局所特徴量」と「色分布」とは、各「スケール」について対応付けて記憶される。
(a)複数の「学習用画像」の各々を領域分割した際の、各領域について算出された「局所特徴量」と、当該各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを対応付けて記憶する学習用画像データベース102
を利用する。ここで、
(a1)「学習用画像」の領域分割は、1つの「スケール」又は複数の「スケール」の各々を有する領域による分割である。ここで、「スケール」は、例えば画像内の局所的な領域を円形で定義する場合にはこの円の半径に該当し、また画像を縦横で等分割する場合には、分割数に該当する。このうち、複数の「スケール」の各々について領域分割される場合、画像内の局所的な領域を複数の大きさで定義することを目的に複数の「スケール」が予め定義され、「局所特徴量」と「色分布」とは、各「スケール」について対応付けて記憶される。
また、「局所特徴量」は、対象画像内の各領域の特徴を表す量である。「局所特徴量」は、画像内の領域におけるテクスチャの特徴を表す、SIFT(Scale Invariant Feature Transform)等のテクスチャ特徴量とすることができる。「局所特徴量」として採用可能なテクスチャ特徴量としては、他に、Gabor特徴量、HOG(Histograms of Oriented Gradients)特徴量等が挙げられる。SIFT特徴量については、後に図2を用いて説明される。
さらに、一実施形態として、
(a2)学習用画像データベース102は、複数の「学習用画像」の各々について算出された「大域特徴量」を「学習用画像」毎に記憶し、
(a3)さらに、複数の「学習用画像」の各々を1つの「スケール」又は互いに異なる複数の「スケール」の各々をもって領域分割した際の、各領域について算出された「局所特徴量」と、各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを、「学習用画像」毎に対応付けて記憶する
ことも好ましい。
(a2)学習用画像データベース102は、複数の「学習用画像」の各々について算出された「大域特徴量」を「学習用画像」毎に記憶し、
(a3)さらに、複数の「学習用画像」の各々を1つの「スケール」又は互いに異なる複数の「スケール」の各々をもって領域分割した際の、各領域について算出された「局所特徴量」と、各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを、「学習用画像」毎に対応付けて記憶する
ことも好ましい。
ここで、「大域特徴量」は、対象画像全体の特徴を表す、画像1つに対して1つ与えられる量である。「大域特徴量」は、ある画像に同一な又は類似(近似)する画像を取得するための比較基準となる量であればどのような特徴量であってもよく、例えば、画像全体のテクスチャの特徴を表す、GIST特徴量等のテクスチャ特徴量とすることができる。また、複数の特徴量の組合せをもって「大域特徴量」とすることも可能である。GIST特徴量については、後に図2を用いて説明される。
このように、「学習用画像」の「大域特徴量」を算出・記憶しておくことによって、後に、入力画像の「大域特徴量」と比較して、入力画像の色変換の基準とするのにより適した「学習用画像」を選択することが可能となる。
次いで、図1に示すように、
(b1)入力画像の画素毎に、この画素p(x,y)を含んだ領域であって互いに異なる複数の「スケール」(図1ではスケール1、2及び3)の各々を有する領域について「局所特徴量」を算出する。次いで、
(b2)入力画像の画素p(x,y)の各々について、「スケール」毎に算出された「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」に対応付けられて記憶された「色分布」を学習用画像データベース102から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する。
(b1)入力画像の画素毎に、この画素p(x,y)を含んだ領域であって互いに異なる複数の「スケール」(図1ではスケール1、2及び3)の各々を有する領域について「局所特徴量」を算出する。次いで、
(b2)入力画像の画素p(x,y)の各々について、「スケール」毎に算出された「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」に対応付けられて記憶された「色分布」を学習用画像データベース102から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する。
また、「大域特徴量」を記憶した学習用画像データベース102を利用する一実施形態として、
(b3)入力画像の「大域特徴量」を算出し、算出された「大域特徴量」との近似度がより高い「大域特徴量」を有する順に(少なくとも1つの)N個の「学習用画像」を学習用画像データベース102から取得し、
(b4)入力画像の画素の各々について、「スケール」毎に、取得されたN個の「学習用画像」の「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」、に対応付けられて記憶された色分布を学習用画像データベース102から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する
ことも好ましい。
(b3)入力画像の「大域特徴量」を算出し、算出された「大域特徴量」との近似度がより高い「大域特徴量」を有する順に(少なくとも1つの)N個の「学習用画像」を学習用画像データベース102から取得し、
(b4)入力画像の画素の各々について、「スケール」毎に、取得されたN個の「学習用画像」の「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」、に対応付けられて記憶された色分布を学習用画像データベース102から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する
ことも好ましい。
また、更なる具体的手法として、
(b5)取得された少なくとも1つの「学習用画像」において「スケール」毎に各領域について算出された「局所特徴量」を、例えばk−Means法を用いてnk階調にクラスタリングして、所定の数nkの特徴量値に階調化し、
(b6)入力画像の画素の各々について、「スケール」毎に、取得されたN個の「学習用画像」における階調化された「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する階調化された「局所特徴量」、の値をとる全ての領域内の画素の画素値の分布である「色分布」を学習用画像データベース102から取得し、統合して「コスト計算用色分布」とする
ことも好ましい。
(b5)取得された少なくとも1つの「学習用画像」において「スケール」毎に各領域について算出された「局所特徴量」を、例えばk−Means法を用いてnk階調にクラスタリングして、所定の数nkの特徴量値に階調化し、
(b6)入力画像の画素の各々について、「スケール」毎に、取得されたN個の「学習用画像」における階調化された「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する階調化された「局所特徴量」、の値をとる全ての領域内の画素の画素値の分布である「色分布」を学習用画像データベース102から取得し、統合して「コスト計算用色分布」とする
ことも好ましい。
本発明においては、このように事前学習用の「学習用画像」の学習用画像データベース102から、各「スケール」についての画素毎の「コスト計算用色分布」を算出・決定する。次いで、これらの「コスト計算用色分布」を利用することによって、入力画像の色を、多数の「学習用画像」において高い頻度で出現する自然な色に変換する点に特徴を有する。
さらに、図1に示すように、
(c1)指定された「色テーマ」を基にして、ある画素値からある画素値への変換を規定した「色変換テーブル」を生成し、
(c2)入力画像の各画素における変換前の変換前画素値に対し、「色変換テーブル」を用いて、理想的な変換先である「理想変換画素値」を算出する。
(c1)指定された「色テーマ」を基にして、ある画素値からある画素値への変換を規定した「色変換テーブル」を生成し、
(c2)入力画像の各画素における変換前の変換前画素値に対し、「色変換テーブル」を用いて、理想的な変換先である「理想変換画素値」を算出する。
次いで、
(d1)学習用画像データベース102から取得された各「スケール」についての「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる「スケール」毎の「変換コスト」を規定し、
(d2)色空間において入力画像の変換前画素値と「理想変換画素値」との間に位置する「変換先画素値」であって、「スケール」毎の「変換コスト」の全体(「変換コスト」から算出される総合的な変換コスト)を最小化する「変換先画素値」を算出・決定し、
(e)入力画像の各画素の画素値を、決定された対応する「変換先画素値」に変換する。
(d1)学習用画像データベース102から取得された各「スケール」についての「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる「スケール」毎の「変換コスト」を規定し、
(d2)色空間において入力画像の変換前画素値と「理想変換画素値」との間に位置する「変換先画素値」であって、「スケール」毎の「変換コスト」の全体(「変換コスト」から算出される総合的な変換コスト)を最小化する「変換先画素値」を算出・決定し、
(e)入力画像の各画素の画素値を、決定された対応する「変換先画素値」に変換する。
ここで、「変換先画素値」を決定するための具体的手法として、
(d3)入力画像の変換前画素値と「理想変換画素値」との間の「変換先画素値」の位置を示すパラメータとして規定された「変換強度」αを規定し、
(d4)予め設定した複数の「変換強度」α値の各々の下で、入力画像の色変換を実施した際の画素毎の「変換コスト」Edを、
(a)変換前画素値と「変換先画素値」との色距離が大きくなるほどより大きな値をとる第1のコスト部分Ed0と、
(b)「スケール」毎の「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる第2のコスト部分Ed jと
の和(Ed0+Ed j)として算出し、
(d5)コストボリュームフィルタリング法を用いて、隣接する画素との間における「変換先画素値」の差が大きくなるほど大きくなる重みWにより「変換コスト」Edを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に「変換強度」αを決定する
ことも好ましい。
(d3)入力画像の変換前画素値と「理想変換画素値」との間の「変換先画素値」の位置を示すパラメータとして規定された「変換強度」αを規定し、
(d4)予め設定した複数の「変換強度」α値の各々の下で、入力画像の色変換を実施した際の画素毎の「変換コスト」Edを、
(a)変換前画素値と「変換先画素値」との色距離が大きくなるほどより大きな値をとる第1のコスト部分Ed0と、
(b)「スケール」毎の「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる第2のコスト部分Ed jと
の和(Ed0+Ed j)として算出し、
(d5)コストボリュームフィルタリング法を用いて、隣接する画素との間における「変換先画素値」の差が大きくなるほど大きくなる重みWにより「変換コスト」Edを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に「変換強度」αを決定する
ことも好ましい。
以上に説明した「変換先画素値」(変換強度α、変換色)の決定手法によれば、入力画像の各画素における「変換前画素値」が、この画素を含んでおり互いに異なる「スケール」を有する領域それぞれのテクスチャの特徴からして、とり得る確率の低い色に相当する画素値には変換されないように、「変換先画素値」を算出することが可能となる。これにより、所定の「色テーマ」の下で、入力画像の色を、画像部分の「局所特徴量」に応じた自然な色に安定して変換した出力(変換後)画像を生成することができる。
図2は、学習用画像を処理して学習用画像データベース102に記憶させる一実施形態を概略的に示す説明図である。
図2(A)に示した実施形態によれば、最初に、多数の学習用画像が準備される。これらの学習用画像は、画像の種類に関係なく無作為に収集してもよいが、例えば、色変換対象である入力画像が自然を被写体として撮影又は描画された画像(自然画像)であれば、同様の自然画像を多数、学習用画像として収集することも好ましい。
次いで、学習用画像の各々について、大域特徴量としてのGIST特徴量が算出される。次いで、算出されたGIST特徴量が、学習用画像毎に学習用画像データベース102に記憶される。
ここで、GIST特徴量は、画像の構図を反映した特徴量であり、画像全体を、例えば4×4の、グリッド状に分割し、分割した各領域内で濃淡情報の周期と、その濃淡の方向を表したGabor特徴量とを合わせて1つの特徴量としたものである。GIST特徴量については、例えば、A.Oliva and A.Torralba, "Modeling the shape of the scene: a holistic representation of the spatial envelope" Int. Journal of Computer Vision, 42(3), 145.175, 2001年、において詳細に説明されている。
次いで、学習用画像の各々について、領域分割を実施し、各領域について局所特徴量としてのSIFT特徴量と、領域に含まれる複数の画素における画素値の分布を表す色分布としての色ヒストグラムとを算出する。さらに、これらSIFT特徴量と色ヒストグラムとを対応付けて、学習用画像データベース102に記憶する。
この学習用画像の領域分割は、1つのスケールを有する領域、又は複数のスケール(図2ではスケール1〜3)の各々を有する領域、による分割である。このうち、複数のスケールの各々について領域分割される場合、SIFT特徴量と色ヒストグラムとは、各スケール(1〜3)について対応付けて学習用画像データベース102に記憶される。
分割の際の領域は、種々の形状とすることができるが、簡略的な方法として、半径R0の円としてもよい。この場合、領域分割は、図2に示したように、学習用画像上にこの円が互いに隣接して並ぶ形で実施される。ここで、半径R0が領域のスケールとなる。当然に、複数スケールの各々を有する領域による領域分割の場合、これらの領域はそれぞれ、例えば半径R0、R1、R2、・・・を有する。
また、各領域において算出されるSIFT特徴量は、1つの特徴点の周辺におけるパターンの輝度勾配についてのヒストグラムによって記述される量である。SIFT特徴量は、濃淡画像の輝度勾配の特徴を表し、色情報は一切使用されずに算出される。SIFT特徴量については、例えば、David G. Lowe, "Object Recognition from Local Scale-Invariant Features" Proceedings of the International Conference on Computer Vision-Vol. 2, September 20-25, 1150ページ, 1999年において詳細に説明されている。
また、各領域に含まれる複数の画素(領域内の全画素)における画素値の分布を表す色分布として、色ヒストグラムを生成する。色ヒストグラムの一実施例を図2(B)に示す。色ヒストグラムの横軸は、後に図3(B)を用いて説明する色相色空間内の座標(0(0)〜360°(255))であり、縦軸は、当該色相の出現頻度又は(相対)画素数である。この色ヒストグラムを用いることによって、対応する(スケールを有する)SIFT特徴量を有する画像部分における色相の特徴が把握される。
以上に述べた学習用画像処理の結果、学習用画像データベース102には、図2(A)に示したように、
(a)複数の学習用画像と、
(b)各学習用画像に対応付けられたGIST特徴量(大域特徴量)と、
(c)(スケール(1〜3)毎に)各学習用画像(の各領域)について、互いに対応付けられたSIFT特徴量(局所特徴量)及び色ヒストグラム(色分布)と
が格納される。
(a)複数の学習用画像と、
(b)各学習用画像に対応付けられたGIST特徴量(大域特徴量)と、
(c)(スケール(1〜3)毎に)各学習用画像(の各領域)について、互いに対応付けられたSIFT特徴量(局所特徴量)及び色ヒストグラム(色分布)と
が格納される。
図3は、色テーマ及び色変換テーブルに係る一実施形態を概略的に示す説明図である。
図3(A)に、色テーマの例を示す。色テーマは、変換後の色の組合せを選択する際の基準となる、1つのテーマとしての複数(例えば5つ)の色のセットである。入力画像の色を、この「色テーマ」に基づいて変換することによって出力(変換後)画像が生成される。例えば、茶色系の色を多く含む「色テーマ」が使用されれば、入力画像は、例えば閲覧者にノスタルジックな印象を与えるセピア調の出力画像に変換される。また、鮮やかな色が並ぶ「色テーマ」が使用されれば、例えば閲覧者に華やかな印象を与えるカラフルな出力画像が生成される。
尚、色テーマについては、例えば、オンラインで色テーマを共有するカラーテーマ共有サービス(例えば、[平成24年9月8日検索]、インターネット<URL: https://kuler.adobe.com/#themes/>)が存在する。
この色テーマがユーザによって指定されると、指定された色テーマに基づいて、色変換前の色情報と色変換後の色情報とが対応付けられた色変換テーブルが生成される。この色変換テーブルが表現する色変換は、理想的な色変換であり、入力画像の変換前画素値を理想変換画素値(図1)に変換する際の変換に相当する。また、色情報とは、予め選択された所定の色空間で定義された画素値であり、例えば、RGB色空間(モデル)で定義された値や、HSV色空間(モデル)で定義された値をとる。当然、その他の色空間での定義も可能である。以下の実施形態では、理解し易さの点から、色相(Hue)、彩度(Saturation)及び明度(Value)の3つの成分を有するHSV色空間における、色相のみを色情報(画素値)とする。
色相は、図3(B)に示した色相環で定義される。色相環は、ある色相(例えば赤)を始点ゼロとして、個々の色相を0〜360度(°)で定義する。または、0〜360°の範囲の色相を256の区域に分けて、色相(区域)を赤から始めて0、1、・・・、255の値で表してもよい。
色相環の各色相は、同じく図3(B)に示すように、理想的な変換先として、指定された色テーマに挙げられた(例えば5つの)色相のうち、最も色距離の短い色相に対応付けられる。色変換テーブルは、この対応関係を記録したものとなる。
図3(C)に、入力画像の変換前画素値、変換テーブルによる理想変換画素値、及び出力画像となる変換先画素値の関係を示す。図3(C)によれば、色相を示す色空間に、
(a)入力画像の1つの画素における変換前画素値(色相)cと、
(b)この変換前画素値(色相)cを変換テーブルを用いて色変換した、理想的な変換先である理想変換画素値(色相)c*と、
(c)(a)の変換前画素値(色相)cを、本発明による色変換処理によって色変換した際の出力画像の対応画素値である変換先画素値(色相)c’と
が示されている。
(a)入力画像の1つの画素における変換前画素値(色相)cと、
(b)この変換前画素値(色相)cを変換テーブルを用いて色変換した、理想的な変換先である理想変換画素値(色相)c*と、
(c)(a)の変換前画素値(色相)cを、本発明による色変換処理によって色変換した際の出力画像の対応画素値である変換先画素値(色相)c’と
が示されている。
出力画像の変換先画素値(色相)c’における図3(C)の色相色空間での位置は、変換前画素値cと理想変換画素値c*との間の位置を示すパラメータとして規定された「変換強度」αで表現される。即ち、変換先画素値(色相)c’は、変換前画素値cと理想変換画素値c*との間において、α:(1−α)の色距離比の位置にある。
本発明においては、学習用画像データベース102から取得されたコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の「変換コスト」を算出し、これら変換コストの全体を最小化するように、入力画像の各画素における図3(C)の変換強度αを算出することによって、対応する変換先画素値(色相)c’を決定する。
図4は、本発明による色変換処理装置の一実施形態における機能構成図である。
図4に示した色変換処理装置1は、入力部100を介して入力した入力画像を、色テーマに基づき、同じく入力部100を介して入力した複数の学習用画像の解析処理結果を用いて色変換し、出力部から色変換後の出力画像を出力する。色テーマも、入力部100を介して色テーマ記憶部103に入力することができる。ここで、出力部101は、色変換部150から出力された出力(色変換)画像を、外部の表示手段、印刷手段、記録手段、又は通信手段等に送信するインタフェースである。
この色変換処理装置1は、入力部100と、出力部101と、学習用画像データベース102と、色テーマ記憶部103と、プロセッサ・メモリとを備えている。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
学習用画像データベース102は、複数の学習用画像の各々について算出された大域特徴量を学習用画像毎に記憶する。さらに、複数の学習用画像の各々を1つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色ヒストグラム(色分布)とを、学習用画像毎に対応付けて記憶する。
色テーマ記憶部103は、入力部100から入力した、又は別ルートから入手した複数の色テーマを記憶する。色テーマ記憶部103は、ユーザによるインタフェースを介しての指定操作によって、指定された色テーマを、色変換デーブル生成部140に出力してもよい。
プロセッサ・メモリは、機能構成部として、
(a)入力した学習用画像を処理して学習用画像データベース102に記憶させる学習用画像処理部11と、
(b)入力画像のスケール毎の特徴量からスケール毎のコスト計算用色ヒストグラムを算出・決定する色分布決定部12と、
(c)入力画像の画素毎に、変換コストEdから算出される総合的な変換コストを最小化する変換強度αを算出して色変換後の出力画像の画素値を決定する変換色決定部13と、
(d)色変換テーブル作成部140と、
(e)色変換部150と
を有している。
(a)入力した学習用画像を処理して学習用画像データベース102に記憶させる学習用画像処理部11と、
(b)入力画像のスケール毎の特徴量からスケール毎のコスト計算用色ヒストグラムを算出・決定する色分布決定部12と、
(c)入力画像の画素毎に、変換コストEdから算出される総合的な変換コストを最小化する変換強度αを算出して色変換後の出力画像の画素値を決定する変換色決定部13と、
(d)色変換テーブル作成部140と、
(e)色変換部150と
を有している。
学習用画像処理部11は、大域特徴量算出部110と、領域分割部111と、局所特徴量算出部112と、色分布算出部113とを有している。
大域特徴量算出部110は、入力された複数の学習用画像の各々について大域特徴量を算出し、算出された大域特徴量を、学習用画像毎に学習用画像データベース102に記憶させる。領域分割部111は、入力された複数の学習用画像の各々を1つのスケール又は互いに異なる複数のスケールの各々をもって領域分割する。
局所特徴量算出部112及び色分布算出部113はそれぞれ、領域分割された各学習用画像の各領域についての局所特徴量、及び各領域に含まれる複数の画素における画素値の分布を表す色ヒストグラムを算出し、これら局所特徴量と色ヒストグラムとを学習用画像毎に対応付けて、学習用画像データベース102に記憶させる。
色分布決定部12は、大域特徴量算出部120と、学習用画像取得部121と、クラスタリング部122と、各スケール領域決定部123と、局所特徴量算出部124と、コスト計算用色分布取得部125とを有している。
大域特徴量算出部120は、入力された入力画像の大域特徴量を算出する。学習用画像取得部121は、算出された大域特徴量との近似度がより高い大域特徴量を有する順に(少なくとも1つの)N個の学習用画像を学習用画像データベース102から取得する。
クラスタリング部122は、取得されたN個の学習用画像においてスケール毎に各領域について算出されている局所特徴量を、例えばk−means法を用いてクラスタリングし、所定の数nkの特徴量値に階調化する。
各スケール領域決定部123は、入力された入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域を決定する。局所特徴量算出部124は、決定された各スケールにおける画素毎の領域について局所特徴量を算出する。
コスト計算用色分布取得部125は、入力画像の画素の各々について、スケール毎に、取得されたN個の学習用画像におけるnk個に階調化された局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色ヒストグラムを学習用画像データベース102から取得し、統合してコスト計算用色ヒストグラムとする。
変換色決定部13は、理想変換画素値算出部130と、所定強度下コスト算出部131と、変換強度決定部132とを有している。
理想変換画素値算出部130は、入力された入力画像の各画素における変換前画素値に対し、色変換テーブル生成部140で生成された色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出する。
所定強度下コスト算出部131は、入力画像の変換前画素値と理想変換画素値との間の変換先画素値の位置を示すパラメータとして規定された変換強度αを規定し、複数の変換強度α値の各々の下で、入力画像の色変換を実施した際の画素毎の変換コストEdを、変換前画素値と変換先画素値との色距離dが大きくなるほどより大きな値をとる第1のコスト部分Ed0と、スケール毎のコスト計算用色ヒストグラムにおいて頻度が低い色ほどより大きな値をとる第2のコスト部分Ed jとの和として算出する。
変換強度決定部132は、例えばコストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みWにより変換コストEdを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に変換強度αを決定する。
色変換テーブル部140は、指定された色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する。また、色変換部150は、入力された入力画像の各画素の画素値を、変換強度決定部132において決定された変換強度αの変換先画素値に変換する。
図5は、本発明による色変換処理方法の一実施形態を示すフローチャートである。尚、本フローチャートでは、図2を用いて説明した、学習用画像を処理して学習用画像データベース102に記憶させる処理が実施されていることを前提としている。
[色変換処理方法全体フロー]
(S500)入力画像の大域特徴量に基づいて、学習用画像データベース102からN個の類似した学習用画像を取得する。このステップについては、後に図6(A)に示すフローチャートを用いて詳述する。
(S501)取得されたN個の学習用画像の既に算出されたSIFT特徴量(局所特徴量)を、例えばk−means法を用いてクラスタリングし、所定の数nkの特徴量値に階調化する。
次いで、入力画像の各画素について、色変換先である変換先画素値(変換強度α)を算出する。
(S500)入力画像の大域特徴量に基づいて、学習用画像データベース102からN個の類似した学習用画像を取得する。このステップについては、後に図6(A)に示すフローチャートを用いて詳述する。
(S501)取得されたN個の学習用画像の既に算出されたSIFT特徴量(局所特徴量)を、例えばk−means法を用いてクラスタリングし、所定の数nkの特徴量値に階調化する。
次いで、入力画像の各画素について、色変換先である変換先画素値(変換強度α)を算出する。
最初に、画像にxy座標系を設定し、入力画像の画素の座標を(x,y)とする。この場合、xは入力画像の列の番号(列成分)に相当し、yは入力画像の行の番号(行成分)に相当する。また、入力画像における列成分xの範囲をimage_width(列数)とし、列成分yの範囲をimage_height(行数)とする。
図3(C)に示したように、入力画像の画素(x,y)における変換前画素値(色相h)をc=h(x,y)とし、理想変換画素値(色相)をc*とすると、変換先画素値(色相)c’は、
(1) c’=f(x,y,α)=(1−α)c+αc*
と表される。式(1)において、αは、変換先画素値(色相)c’の変換強度である。α=0は、c’=c、即ち色変換されないことを示し、α=1は、c’=c*、即ち理想的な(色変換テーブル通りの)色変換が実施されることを示す。入力画像の各画素(x、y)における変換強度αを算出・決定することによって、入力画像全体の色変換が実現される。
(1) c’=f(x,y,α)=(1−α)c+αc*
と表される。式(1)において、αは、変換先画素値(色相)c’の変換強度である。α=0は、c’=c、即ち色変換されないことを示し、α=1は、c’=c*、即ち理想的な(色変換テーブル通りの)色変換が実施されることを示す。入力画像の各画素(x、y)における変換強度αを算出・決定することによって、入力画像全体の色変換が実現される。
ここで、変換強度αを、例えば0.1間隔で刻んだ値にそれぞれ固定し、各変換強度α(=0,0.1,0.2,・・・,1)における変換コストから算出される総合的な変換コストを最適化(最小化)することによって、入力画像の各画素の変換強度αを決定する。尚、固定された変換強度αの総数をNαとする。例えば、α=0,0.1,0.2,・・・,1である場合、Nα=11となる。
図5に戻って、
(S502)変換強度αi(=0,0.1,0.2,・・・,1)を指定するパラメータiをゼロに設定する。
(S503)変換強度α=αiとする。
(S504、S505)画素のx座標及びy座標をそれぞれゼロに設定する。
(S506)式(1)を用いて、c’=f(x,y,α)を算出する。
(S502)変換強度αi(=0,0.1,0.2,・・・,1)を指定するパラメータiをゼロに設定する。
(S503)変換強度α=αiとする。
(S504、S505)画素のx座標及びy座標をそれぞれゼロに設定する。
(S506)式(1)を用いて、c’=f(x,y,α)を算出する。
(S507)入力画像の各画素における変換コストEdを算出する。このステップにおける変換コストEdの算出方法については、後に図6(B)に示すフローチャートを用いて詳述する。
(S508)列成分xを1だけ増分する。
(S509)列成分x値がimage_width未満か否か(入力画像の列数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS506に戻り、増分した次の列成分xにおいて変換先画素値c’=f(x,y,α)を算出して、変換コストEdを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップS510に進む。
(S509)列成分x値がimage_width未満か否か(入力画像の列数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS506に戻り、増分した次の列成分xにおいて変換先画素値c’=f(x,y,α)を算出して、変換コストEdを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップS510に進む。
(S510)行成分yを1だけ増分する。
(S511)行成分y値がimage_height未満か否か(入力画像の行数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS505に戻り、増分した次の行成分yにおいて再度、各列成分xについて変換先画素値c’=f(x,y,α)を算出して、変換コストEdを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップS512に進む。
(S511)行成分y値がimage_height未満か否か(入力画像の行数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS505に戻り、増分した次の行成分yにおいて再度、各列成分xについて変換先画素値c’=f(x,y,α)を算出して、変換コストEdを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップS512に進む。
(S512)変換強度αiを指定するパラメータiを1だけ増分する。
(S513)パラメータiがNα未満か否か(固定された変換強度αの総数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS503に戻り、増分した次のパラメータで指定される次の変換強度αをもって、ステップS504以降(変換先画素値の算出、及び変換コストの算出)を繰り返す。一方、偽の判定が行われた際、ステップS514に進む。
(S513)パラメータiがNα未満か否か(固定された変換強度αの総数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS503に戻り、増分した次のパラメータで指定される次の変換強度αをもって、ステップS504以降(変換先画素値の算出、及び変換コストの算出)を繰り返す。一方、偽の判定が行われた際、ステップS514に進む。
(S514)コストボリュームフィルタリング法を用いて、各変換強度α値(=0,0.1,0.2,・・・,1)について入力画像の画素(x,y)毎に算出された変換コストEdから算出される総合的な変換コストを最小化(最適化)するように、入力画像の画素(x,y)毎に変換強度αを決定する。尚、コストボリュームフィルタリング法による変換強度αの最適化については、後に図6(B)に示すフローチャートの説明に合わせて説明される。
(S515)入力画像における各画素値を、最適化された変換強度αに係る変換先画素値に変換する。以上、本実施形態における色変換処理方法が完了する。
図6(A)は、入力画像の大域特徴量に基づいて学習用画像データベース102からN個の類似した学習用画像を取得する方法(図5のステップS500)の一実施形態を示すフローチャートである。また、図6(B)は、入力画像の各画素における変換コストEdを算出する方法(図5のステップS507)の一実施形態を示すフローチャートである。
[図6(A):入力画像の大域特徴量に基づく学習用画像の取得方法]
(S600)入力画像のGIST特徴量(大域特徴量)を算出する。
(S601)学習用画像を指定するパラメータp(p=0,1,・・・,Np−1)をゼロに設定する。
(S600)入力画像のGIST特徴量(大域特徴量)を算出する。
(S601)学習用画像を指定するパラメータp(p=0,1,・・・,Np−1)をゼロに設定する。
(S602)入力画像のGIST特徴量ベクトルVeと、学習用画像のGIST特徴量ベクトルVpとの特徴量距離Dpを算出する。
ここで、特徴量距離Dpは、特徴量ベクトル空間における両ベクトル間のユークリッド距離、即ち、
(2) Dp=(Σt(Ve)t 2−(Vp)t 2)0.5
となる。式(2)において、(Ve)t及び(Vp)tは特徴量ベクトルのt成分であり、Σtは、成分tについての総和(summation)である。尚、特徴量ベクトルを、予め主成分分析等で求めた変換行列で次元圧縮しておくことも好ましい。
(S603)学習用画像を指定するパラメータpを1だけ増分する。
ここで、特徴量距離Dpは、特徴量ベクトル空間における両ベクトル間のユークリッド距離、即ち、
(2) Dp=(Σt(Ve)t 2−(Vp)t 2)0.5
となる。式(2)において、(Ve)t及び(Vp)tは特徴量ベクトルのt成分であり、Σtは、成分tについての総和(summation)である。尚、特徴量ベクトルを、予め主成分分析等で求めた変換行列で次元圧縮しておくことも好ましい。
(S603)学習用画像を指定するパラメータpを1だけ増分する。
(S604)パラメータpがNp未満か否か(記憶された学習用画像の総数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS602に戻り、増分した次のパラメータで指定される次の学習用画像のGIST特徴量Vpをもって特徴量距離Dpを算出する。一方、偽の判定が行われた際、ステップS605に進む。
(S605)類似度がより高い順(特徴量距離Dpがより短い順)に、所定のN個の学習用画像を、学習用画像データベース102から取得する。
(S605)類似度がより高い順(特徴量距離Dpがより短い順)に、所定のN個の学習用画像を、学習用画像データベース102から取得する。
[図6(B):入力画像の各画素における変換コストEdの算出方法]
図6(B)のコスト算出方法では、重みαを変換強度αiとし(α=αi)、重みα=αiにおける画素(ピクセル)位置p=(x、y)での変換コストをEd(p,αi)とする。重みα=αiが固定された場合の各画素のEd(p,αi)が決定されると、各重みα=αiについての、画素毎の変換コストが記されたコストマップが生成される。例えば、αi=0,0.1,0.2,・・・,1ならば、コストマップは11枚生成される。
図6(B)のコスト算出方法では、重みαを変換強度αiとし(α=αi)、重みα=αiにおける画素(ピクセル)位置p=(x、y)での変換コストをEd(p,αi)とする。重みα=αiが固定された場合の各画素のEd(p,αi)が決定されると、各重みα=αiについての、画素毎の変換コストが記されたコストマップが生成される。例えば、αi=0,0.1,0.2,・・・,1ならば、コストマップは11枚生成される。
次いで、これらのコストマップを利用したコストボリュームフィルタリング法によって、隣接する画素の変換強度αiができるだけ近い値であって、各画素の変換コストEd(p,αi)から算出される総合的な変換コストができるだけ小さくなるように、各画素の変換強度αiが算出・決定される。
具体的に、重みα=αiにおける画素(ピクセル)位置p=(x、y)での変換コストEd(p,αi)は、次式
(3)Ed(p,αi)=Ed0+Σj(Ed j)
として定義されることができる。ここで、Σjは、スケールを区別するパラメータjについての総和(summation)である。
(3)Ed(p,αi)=Ed0+Σj(Ed j)
として定義されることができる。ここで、Σjは、スケールを区別するパラメータjについての総和(summation)である。
式(3)でのEd0は、式(1)c’=(1−α)c+αc*に変換された場合の初期値としての第1コスト成分である。Ed0は、例えば、
(4) Ed0=|c−c’|
として、即ち返還前画素値(色相)cと変換先画素値(色相)c’との色距離として、規定されることができる。
(4) Ed0=|c−c’|
として、即ち返還前画素値(色相)cと変換先画素値(色相)c’との色距離として、規定されることができる。
また、式(3)でのEd jは、スケールRjにおける重みα=αiでの画素p=(x,y)毎の第2コスト成分である。Ed jは、例えば、
(5) Ed j=−I(dj)・log(Pj(c’))
として規定されることができる。
(5) Ed j=−I(dj)・log(Pj(c’))
として規定されることができる。
ここで、
(a)Pj(c’)は、入力画像のSIFT特徴量に最も近似する(距離dk jが最短の)SIFT特徴量に対応するクラスタCjの有する色ヒストグラムから算出された、変換先画素値(色相)c’の出現確率であり、
(b)I(dj)は、入力画像のSIFT特徴量と、同特徴量に最も近似するSIFT特徴量との距離djから算出される出現確率Pjの確率分布の信頼度(信頼係数)である。
I(dj)は、djの値が大きくなるにつれて単調に減少する。また、Ed jは、出現確率Pj(c’)が大きくなるにつれて減少し、出現確率Pj(c’)がゼロに近づくと無限大に近づく。
(a)Pj(c’)は、入力画像のSIFT特徴量に最も近似する(距離dk jが最短の)SIFT特徴量に対応するクラスタCjの有する色ヒストグラムから算出された、変換先画素値(色相)c’の出現確率であり、
(b)I(dj)は、入力画像のSIFT特徴量と、同特徴量に最も近似するSIFT特徴量との距離djから算出される出現確率Pjの確率分布の信頼度(信頼係数)である。
I(dj)は、djの値が大きくなるにつれて単調に減少する。また、Ed jは、出現確率Pj(c’)が大きくなるにつれて減少し、出現確率Pj(c’)がゼロに近づくと無限大に近づく。
ここで、コストボリュームフィルタリング法を用いて、入力画像の画素毎に、式(3)のEd(p,αi)から算出される総合的な変換コストをできるだけ小さくする変換強度αi(コストマップ)を選択する。
コストボリュームフィルタリング法は、画像処理におけるマルチラベル問題で広く用いられる手法であり、画像中の画素にラベルを付与する際に、当該画素へ各ラベルを付与するコストと隣接画素とのラベルの近さとを考慮し、最適ラベルを求める手法である。当該画素へ各ラベルを付与するコストをデータ項(Ed)として表し、隣接画素とのラベルの近さを重み(W)として表すと、コストボリュームフィルタリング法では、ラベルliを画素pに付与した場合のコストは
(6) E(p,li)=W(p,αi)*Ed(p,li)
として定義される。
(6) E(p,li)=W(p,αi)*Ed(p,li)
として定義される。
本発明の実施形態においては、変換強度αがコストボリュームフィルタリング法のラベルに対応し、変換強度αを求めるための総合的な変換コストは、次式のように表わされる。
(7) E(p,αi)=W(p,αi)*Ed(p,αi)
ここで、隣接画素との変化における滑らかさを評価する重みWは、次式
(8) W(p,αi)=Σk|f(p,αi)-f(qk,αi)|
*(1/(2πσ2)exp(−(|p−qk|2/(2σ2))))
のように表される。式(8)において、qkは画素pの隣接画素を示す。また|f(p,αi)-f(qk,αi)|は、変換強度αiを適用した際のpとqkとの色相(変換先画素値)の差であり、この色相(変換先画素値)差は、pとqkとの空間的距離|p−qk|が小さいほど重みWにより強く影響する。
(7) E(p,αi)=W(p,αi)*Ed(p,αi)
ここで、隣接画素との変化における滑らかさを評価する重みWは、次式
(8) W(p,αi)=Σk|f(p,αi)-f(qk,αi)|
*(1/(2πσ2)exp(−(|p−qk|2/(2σ2))))
のように表される。式(8)において、qkは画素pの隣接画素を示す。また|f(p,αi)-f(qk,αi)|は、変換強度αiを適用した際のpとqkとの色相(変換先画素値)の差であり、この色相(変換先画素値)差は、pとqkとの空間的距離|p−qk|が小さいほど重みWにより強く影響する。
式(7)および(8)を用いて、各画素pにおいて、総合的な変換コストE(p,αi)をより小さくする変換強度αi(コストマップ)が選択され、これにより、変換先画素値(色相)c’が決定される。
尚、コストボリュームフィルタリング法については、例えば、Rhemann, C., Hosni, A., Bleyer, M., Rother, C., and Gelautz, M. "Fast cost-volume filtering for visual correspondence and beyond" IEEE Computer Vision and Pattern Recognition (CVPR), 3017-3024ページ,
2011年において詳細に説明されている。
2011年において詳細に説明されている。
以下、図6(B)に示したフローチャートを用いて以上に説明した処理のうち、変換コストEdを算出する部分を追っていく。
(S700)Ed(p,αi)を、初期値Ed0に設定する。
(S701)領域のスケールを指定するパラメータj(=1,2,・・・、Nr−1)をゼロに設定する。
(S702)領域のスケールをR=Rjとする。
(S700)Ed(p,αi)を、初期値Ed0に設定する。
(S701)領域のスケールを指定するパラメータj(=1,2,・・・、Nr−1)をゼロに設定する。
(S702)領域のスケールをR=Rjとする。
(S703)入力画像の各画素について、スケールR毎にSIFT特徴量を算出する。
(S704)入力画像の各画素について、スケールR毎に、取得されたN個の学習用画像におけるnk個に階調化されたSIFT特徴量のうち、この画素を含む領域について算出された入力画像のSIFT特徴量に最も近似するSIFT特徴量(クラスタ)を決定する。
(S704)入力画像の各画素について、スケールR毎に、取得されたN個の学習用画像におけるnk個に階調化されたSIFT特徴量のうち、この画素を含む領域について算出された入力画像のSIFT特徴量に最も近似するSIFT特徴量(クラスタ)を決定する。
ここで、入力画像における半径(スケール)Rj(j=0,1,・・・,NR−1)でのSIFT特徴量の特徴量ベクトルをve jとし、N個の学習用画像における半径(スケール)Rj(但しスケールが1つのみの場合はR0)での階調化されたSIFT特徴量の特徴量ベクトルをvk (j)(k=0,1,・・・,nk−1)とすると、各スケールにおいて、特徴量ベクトル間のユークリッド距離dk jは、
(9) dk j=(Σs(ve j)s 2−(vk (j))s 2)0.5
となる。式(9)において、(ve j)s及び(vk (j))sは特徴量ベクトルのs成分であり、Σsは、成分sについての総和(summation)である。各スケールにおいて、このユークリッド距離dk jが最も小さくなる学習用画像の(階調化された)SIFT特徴量を最も近似するSIFT特徴量(クラスタ)とすることができる。
(9) dk j=(Σs(ve j)s 2−(vk (j))s 2)0.5
となる。式(9)において、(ve j)s及び(vk (j))sは特徴量ベクトルのs成分であり、Σsは、成分sについての総和(summation)である。各スケールにおいて、このユークリッド距離dk jが最も小さくなる学習用画像の(階調化された)SIFT特徴量を最も近似するSIFT特徴量(クラスタ)とすることができる。
また、このように、このステップS704において、入力画像のSIFT特徴量と、当該SIFT特徴量に最も近似するSIFT特徴量(クラスタ)の距離djが決定される。
(S705)決定されたSIFT特徴量(クラスタ)の値をとる全ての領域内の画素の画素値の分布である色ヒストグラムを学習用画像データベース102から取得し、統合してコスト計算用色ヒストグラムとする。即ち、入力画像のSIFT特徴量に最も近似する(距離dk jが最短の)SIFT特徴量に対応するクラスタCjの有する色ヒストグラムを算出・決定する。
(S706)クラスタCjの色ヒストグラムから、変換先画素値(色相)c’の出現確率Pj(c’)を算出する。
(S706)クラスタCjの色ヒストグラムから、変換先画素値(色相)c’の出現確率Pj(c’)を算出する。
(S707)距離djと、出現確率Pj(c’)とから、スケールRについて、返還前画素値(色相)cから変換先画素値(色相)c’に変換した場合の変換コストEd jを算出する。ここで、Ed jは、式(3)Ed j=−I(dj)・log(Pj(c’))を用いて算出されることができる。
(S708)変換コストEd=Ed+Ed jとする。
(S708)変換コストEd=Ed+Ed jとする。
(S709)領域のスケールを指定するパラメータjを1だけ増分する。
(S610)パラメータjがNR未満か否か(設定された領域のスケールの数に達していないか否か)を判定する。ここで、真の判定が行われた際、ステップS702に戻り、増分した次のパラメータで指定されるスケールRをもって入力画像のSIFT特徴量を算出し、スケールRでの変換コスト算出処理を実施する。一方、偽の判定が行われた際、入力画像の各画素における変換コストEdの算出処理が完了する。
図7は、本発明の色変換処理方法における作用効果の概略を示す説明図である。
図7に示したように、以上に述べた本発明に係る色変換処理を実施することによって、所定の色テーマの下で、画像の色を、画像部分の特徴量に応じた自然な色に安定して変換することができる。
具体的には、色変換対象である入力画像と指定された色テーマとから色変換テーブルが形成され、理想的な変換先である理想変換画素値c*が決定される。次いで、学習用画像データベースを利用して、各画素における領域のスケール毎のコスト計算用色ヒストグラムが決定される。
その後、各変換強度α=αiにおける各画素(ピクセル)の変換コストEd(p,αi)を算出し、最適な変換強度αを導出することによって、各画素において、種々のスケールの局所特徴量に応じて高い頻度で使用される自然な画素値(色相)であって、隣接する画素の変換強度αiができるだけ近い画素値(色相)が実現する。
特に、本発明においては、入力画像における種々のスケールの局所特徴量を利用している。従って、入力画像の画像部分が、際だった特徴のないテクスチャ、例えば平坦なテクスチャ、を有する場合であっても、少なくとも1つのスケールにおいては、このスケールの領域内においてテクスチャの特徴を捉えることが可能となる。その結果、学習用画像データベースから、この特徴を捉えられたテクスチャに対応する色ヒストグラムを取得し、変換コスト算出の際の基準の1つとすることによって、この画像部分の色を、(この画像部分のテクスチャにおいて高い頻度で使用される)自然な色に変換することが安定的に可能となる。
さらに、学習用画像の大域特徴量を算出し、学習用画像の検索用ラベルとしてデータベースに記憶しておくことによって、多数の学習用画像の中から、入力画像全体のテクスチャの特徴に類似しており、それ故に自然な色への変換のための基準としてより適している学習用画像を選択することが可能となる。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
1 色変換処理装置
100 入力部
101 出力部
102 学習用画像データベース
103 色テーマ記憶部
11 学習用画像処理部
110、120 大域特徴量算出部
111 領域分割部
112、124 局所特徴量算出部
113 色分布算出部
12 色分布決定部
121 学習用画像取得部
122 クラスタリング部
123 各スケール領域決定部
125 コスト計算用色分布取得部
13 変換色決定部
130 理想変換画素値算出部
131 所定強度下コスト算出部
132 変換強度決定部
140 色変換テーブル生成部
150 色変換部
100 入力部
101 出力部
102 学習用画像データベース
103 色テーマ記憶部
11 学習用画像処理部
110、120 大域特徴量算出部
111 領域分割部
112、124 局所特徴量算出部
113 色分布算出部
12 色分布決定部
121 学習用画像取得部
122 クラスタリング部
123 各スケール領域決定部
125 コスト計算用色分布取得部
13 変換色決定部
130 理想変換画素値算出部
131 所定強度下コスト算出部
132 変換強度決定部
140 色変換テーブル生成部
150 色変換部
Claims (8)
- 入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置に搭載されたコンピュータを機能させる色変換処理用プログラムであって、
前記色変換処理装置は、複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する色分布決定手段と、
前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
前記入力画像の各画素の画素値を、前記変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
してコンピュータを機能させることを特徴とする色変換処理用プログラム。 - 前記データベースは、複数の学習用画像の各々について算出された大域特徴量を当該学習用画像毎に記憶し、さらに、複数の学習用画像の各々を1つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを、当該学習用画像毎に対応付けて記憶し、
前記色分布決定手段は、
前記入力画像の大域特徴量を算出し、算出された当該大域特徴量との近似度がより高い大域特徴量を有する順に少なくとも1つの学習用画像を前記データベースから取得し、
前記入力画像の画素毎に、当該画素を含んだ領域であって前記複数のスケールの各々を有する領域について局所特徴量を算出し、
前記入力画像の画素の各々について、当該スケール毎に、取得された前記少なくとも1つの学習用画像の局所特徴量のうち、当該画素を含む領域について算出された前記入力画像の局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する
ことを特徴とする請求項1に記載の色変換処理用プログラム。 - 前記色分布決定手段は、
取得された前記少なくとも1つの学習用画像において当該スケール毎に各領域について算出されている局所特徴量を所定の数の特徴量値に階調化し、
前記入力画像の画素毎に、当該画素を含んだ領域であって前記複数のスケールの各々を有する領域について局所特徴量を算出し、
前記入力画像の画素の各々について、当該スケール毎に、取得された前記少なくとも1つの学習用画像における階調化された局所特徴量のうち、当該画素を含む領域について算出された前記入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色分布を前記データベースから取得し、統合してコスト計算用色分布とする
ことを特徴とする請求項2に記載の色変換処理用プログラム。 - 前記変換色決定手段は、
当該変換前画素値と当該理想変換画素値との間の当該変換先画素値の位置を示すパラメータとして規定された変換強度について、複数の変換強度値の各々の下で、前記入力画像の色変換を実施した際の画素毎の変換コストを、当該変換前画素値と当該変換先画素値との色距離が大きくなるほどより大きな値をとる第1のコスト部分と、当該スケール毎のコスト計算用色分布において頻度が低い色ほどより大きな値をとる第2のコスト部分との和として算出し、
コストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みにより前記変換コストを重み付けすることによって算出される総合的な変換コストを最小化するように、前記入力画像の画素毎に変換強度を決定し、
前記色変換部は、前記入力画像の各画素の画素値を、決定された変換強度の変換先画素値に変換する
ことを特徴とする請求項1から3のいずれか1項に記載の色変換処理用プログラム。 - 前記データベースは、複数の学習用画像における前記複数のスケールの各々についての各領域について局所特徴量として算出されたSIFT(Scale Invariant Feature Transform)特徴量と、当該色分布とを記憶し、
前記色分布決定手段は、前記複数のスケールの各々について、前記入力画像の分割された各領域におけるSIFT特徴量を、局所特徴量として算出する
ことを特徴とする請求項1から4のいずれか1項に記載の色変換処理用プログラム。 - 前記変換色決定手段は、前記入力画像の各画素における変換前画素値が、当該画素を含んでおり互いに異なるスケールを有する領域それぞれのテクスチャの特徴からしてとり得る確率の低い色に相当する画素値には変換されないように、変換先画素値を算出することを特徴とする請求項1から5のいずれか1項に記載の色変換処理用プログラム。
- 入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置であって、
複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースと、
前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する色分布決定手段と、
前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
前記入力画像の各画素の画素値を、前記変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
を有することを特徴とする色変換処理装置。 - 入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置における色変換処理方法であって、
前記色変換処理装置は、複数の学習用画像の各々を1つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する第1のステップと、
前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する第2のステップと、
前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する第3のステップと、
前記入力画像の各画素の画素値を、第3のステップで決定された対応する変換先画素値に変換する第4のステップと
を有することを特徴とする色変換処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012210591A JP2014067129A (ja) | 2012-09-25 | 2012-09-25 | スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012210591A JP2014067129A (ja) | 2012-09-25 | 2012-09-25 | スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014067129A true JP2014067129A (ja) | 2014-04-17 |
Family
ID=50743491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012210591A Pending JP2014067129A (ja) | 2012-09-25 | 2012-09-25 | スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014067129A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017513075A (ja) * | 2015-02-11 | 2017-05-25 | シャオミ・インコーポレイテッド | 画像フィルタを生成する方法及び装置 |
JP2020101503A (ja) * | 2018-12-25 | 2020-07-02 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2012
- 2012-09-25 JP JP2012210591A patent/JP2014067129A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017513075A (ja) * | 2015-02-11 | 2017-05-25 | シャオミ・インコーポレイテッド | 画像フィルタを生成する方法及び装置 |
US9959484B2 (en) | 2015-02-11 | 2018-05-01 | Xiaomi Inc. | Method and apparatus for generating image filter |
JP2020101503A (ja) * | 2018-12-25 | 2020-07-02 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7005477B2 (ja) | 2018-12-25 | 2022-01-21 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109919869B (zh) | 一种图像增强方法、装置及存储介质 | |
CN106096542B (zh) | 基于距离预测信息的图像视频场景识别方法 | |
US9697583B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
EP3409006A1 (en) | Unified multi-image fusion approach | |
CN110728722B (zh) | 图像颜色迁移方法、装置、计算机设备和存储介质 | |
CN112328345B (zh) | 用于确定主题色的方法、装置、电子设备及可读存储介质 | |
US10580122B2 (en) | Method and system for image enhancement | |
JP2019016114A (ja) | 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム | |
US11887341B2 (en) | Systems and methods for hue based encoding of a digital image | |
JP5594282B2 (ja) | 画像処理装置 | |
Mukherjee et al. | Backward compatible object detection using hdr image content | |
CN109215003A (zh) | 一种图像融合方法及装置 | |
JP6387026B2 (ja) | 書籍探索装置、方法及びプログラム | |
CN116740261B (zh) | 图像重建方法和装置、图像重建模型的训练方法和装置 | |
JP2021189527A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN114723610A (zh) | 图像智能处理方法、装置、设备及存储介质 | |
US11250542B2 (en) | Mosaic generation apparatus and method | |
CN114663570A (zh) | 贴图生成方法、装置、电子装置及可读存储介质 | |
CN115967823A (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
JP2014067129A (ja) | スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 | |
CN106469437B (zh) | 图像处理方法和图像处理装置 | |
CN114004734A (zh) | 一种背景图像的替换方法和装置 | |
JP6387028B2 (ja) | 探索書籍表示装置、方法及びプログラム | |
US9667709B2 (en) | Picture conversion SNS system and method, apparatus, and terminal | |
Cheng et al. | Color photo makeover via crowd sourcing and recoloring |