JP2014067129A - スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 - Google Patents

スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 Download PDF

Info

Publication number
JP2014067129A
JP2014067129A JP2012210591A JP2012210591A JP2014067129A JP 2014067129 A JP2014067129 A JP 2014067129A JP 2012210591 A JP2012210591 A JP 2012210591A JP 2012210591 A JP2012210591 A JP 2012210591A JP 2014067129 A JP2014067129 A JP 2014067129A
Authority
JP
Japan
Prior art keywords
color
conversion
pixel
pixel value
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012210591A
Other languages
English (en)
Inventor
Yuki Nagai
有希 永井
Yusuke Uchida
祐介 内田
Shigeyuki Sakasawa
茂之 酒澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2012210591A priority Critical patent/JP2014067129A/ja
Publication of JP2014067129A publication Critical patent/JP2014067129A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】所定の色テーマの下で、画像の色を自然な色に安定して変換することができる色変換処理プログラムを提供する。
【解決手段】本色変換処理プログラムは、入力画像の画素毎に、互いに異なる複数のスケールの各々を有する領域についての局所特徴量を算出し、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられた色分布をデータベースから取得し、各スケールでの画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、所定の色テーマを基にして生成された色変換テーブルを用いて理想変換画素値を算出し、各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値を算出する変換色決定手段と、入力画像の各画素の画素値をこの変換先画素値に変換する色変換手段として機能する。
【選択図】図４

Description

本発明は、画像の色を変換する色変換処理技術に関する。
近年、携帯端末の内蔵カメラやデジタル撮影装置を使用して、誰でも簡単に静止画像や動画像といった画像を撮影することができる。撮影された画像は、他人に公開・提供されたり、さらにはウェブ（Web）上で共有されたりすることも多い。しかしながら、一般のユーザが撮影した画像は、ユーザが伝えたい内容を必ずしも表現できているわけではない。このため、モバイル端末の多くのカメラアプリケーションや画像共有ウェブサイトでは、画像を見る者の主観的印象を変化させるような画像処理効果を施すための機能が用意されている。このような機能を用いて、ユーザが画像を通して伝えたいと感じている内容を画像上に表現する目的で、この画像に変換処理を施す機会が増えている。
特に、画像の色は画像を見る者の主観的印象に非常に大きな影響を与えるため、ユーザは、画像の色を所望の形に変換することによって、伝えたいと感じている内容をより適切に画像上に表現することができる。
従来、このような色変換処理技術として、画像の色情報をユーザが所望する色情報に変換する装置が種々開発されている。例えば、特許文献１には、ポインティングデバイスによって指示された位置の色情報を算出し、その色情報を中心とした一定の範囲内にある色情報を持つ画素をユーザの所望する色情報に変換する色変換装置が開示されている。
また、非特許文献１には、画像全体の色をユーザの所望する色テーマに基づいて変換するための技術が開示されている。この技術では、ユーザによって選択された、複数の色情報のセットである色テーマに基づいて、画像の色情報が変換される。元画像は領域分割され、各領域内のテクスチャ情報から変換後の色情報が決定される。この際、変換画像が不自然な印象を持たないように、画像内のテクスチャ情報と色分布との関係を学習して獲得した事前情報に基づいて色変換が行われる。この技術では、特許文献1の技術と比較して、より簡便に、ユーザの選択した色テーマに基づいて画像の色を変換し、画像に対する印象を変化させることができる。
特開２０１０−２８７８０号公報
Baoyuan Wang, Yizhou Yu, Tien-Tsin Wong, Chun Chen, Ying-Qing Xu,"Data-driven image color theme enhancement", ACM Trans. on Graphics(TOG), vol. 29, Issue 6, 146ページ, 2010年
しかしながら、上述したような従来技術を用いても、画像の色を、安定して自然な色に変換することは非常に困難である。
例えば、自然を撮影した写真等の自然画像において、空に対応する画像部分の色は、青系統の色であることが自然であり、草原に対応する画像部分の色は、緑系統の色であることが自然である。ここで、ある選択された色テーマに基づいて、空に対応する画像部分の色を赤系統の色に変換してしまうと、変換後の画像が不自然な印象を持たざるを得なくなる。
しかしながら、特許文献１の色変換処理では、ユーザが所定範囲の中から色情報を選択することによって、指定場所の色が、この選択された色情報に基づいて変換される。従って、特許文献１の技術は、画像の色を安定して自然な色に変換することを、何ら保証するものではない。
一方、非特許文献１の技術では、画像内のテクスチャ情報と色分布との関係を学習して獲得した事前情報に基づいて、色変換が行われる。従って、確かに特定のテクスチャにおいては、このテクスチャにありがちな色への変換が実行され易い。しかしながら、色変換対象の画像部分が、際だった特徴のないテクスチャ、例えば平坦なテクスチャ、を有する場合、変換後の色に有効な制約を持たせることが困難となる。例えば、ある程度平坦なテクスチャを有する領域は、種々の色に変換される可能性を有してしまう。従って、この領域について、青系統又は緑系統に限定する、といった変換後の色の制約を課すことは困難である。その結果、変換後の画像が不自然な色を有する場合も生じてしまう。
そこで、本発明は、所定の色テーマの下で、画像の色を自然な色に安定して変換することができる色変換処理プログラム、装置及び方法を提供することを目的とする。ここで、「自然な色」とは、色変換すべき画像中において色を変換される対象が、他の多数の画像中において高い頻度で備えている色であって、当該対象は通常その色を有するものと認識されているような色を指す。
本発明によれば、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置に搭載されたコンピュータを機能させる色変換処理用プログラムであって、
この色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
してコンピュータを機能させる色変換処理用プログラムが提供される。
この本発明による色変換処理用プログラムの一実施形態として、
データベースは、複数の学習用画像の各々について算出された大域特徴量を学習用画像毎に記憶し、さらに、複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを、学習用画像毎に対応付けて記憶し、
色分布決定手段は、
入力画像の大域特徴量を算出し、算出された大域特徴量との近似度がより高い大域特徴量を有する順に少なくとも１つの学習用画像をデータベースから取得し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも１つの学習用画像の局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の当該色分布をコスト計算用色分布に決定する
ことも好ましい。
さらに、上述した本発明による色変換処理用プログラムの一実施形態において、色分布決定手段は、
取得された少なくとも１つの学習用画像においてスケール毎に各領域について算出されている局所特徴量を所定の数の特徴量値に階調化し、
入力画像の画素毎に、この画素を含んだ領域であって複数のスケールの各々を有する領域について局所特徴量を算出し、
入力画像の画素の各々について、スケール毎に、取得された少なくとも１つの学習用画像における階調化された局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色分布をデータベースから取得し、統合してコスト計算用色分布とする
ことも好ましい。
さらに、本発明による色変換処理用プログラムの他の実施形態として、
変換色決定手段は、
変換前画素値と理想変換画素値との間の変換先画素値の位置を示すパラメータとして規定された変換強度について、複数の変換強度値の各々の下で、入力画像の色変換を実施した際の画素毎の変換コストを、変換前画素値と変換先画素値との色距離が大きくなるほどより大きな値をとる第１のコスト部分と、スケール毎のコスト計算用色分布において頻度が低い色ほどより大きな値をとる第２のコスト部分との和として算出し、
コストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みにより上記変換コストを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に変換強度を決定し、
色変換部は、入力画像の各画素の画素値を、決定された変換強度の変換先画素値に変換する
ことも好ましい。
さらにまた、本発明による色変換処理用プログラムの他の実施形態として、
上記データベースは、複数の学習用画像における複数のスケールの各々についての各領域について局所特徴量として算出されたＳＩＦＴ（Scale Invariant Feature Transform）特徴量と、色分布とを記憶し、
色分布決定手段は、複数のスケールの各々について、入力画像の分割された各領域におけるＳＩＦＴ特徴量を、局所特徴量として算出する
ことも好ましい。
さらに、本発明による色変換処理用プログラムによれば、
変換色決定手段は、入力画像の各画素における変換前画素値が、この画素を含んでおり互いに異なるスケールを有する領域それぞれのテクスチャの特徴からしてとり得る確率の低い色に相当する画素値には変換されないように、変換先画素値を算出することも好ましい。
本発明によれば、また、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置であって、
複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースと、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する色分布決定手段と、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
入力画像の各画素の画素値を、変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
を有する色変換処理装置が提供される。
本発明によれば、さらにまた、入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置における色変換処理方法であって、
この色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する第１のステップと、
入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、入力画像の画素の各々について、スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布をデータベースから取得し、各スケールについての画素毎の色分布をコスト計算用色分布に決定する第２のステップと、
入力画像の各画素における変換前の変換前画素値に対し、色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において変換前画素値と理想変換画素値との間に位置する変換先画素値であって、データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の変換コストの全体を最小化する変換先画素値、を算出する第３のステップと、
入力画像の各画素の画素値を、第３のステップで決定された対応する変換先画素値に変換する第４のステップと
を有する色変換処理方法が提供される。
本発明の色変換処理プログラム、装置及び方法によれば、所定の色テーマの下で、画像の色を、画像部分の特徴量に応じた自然な色に安定して変換することができる。
本発明による色変換処理方法の一実施形態を概略的に示す説明図である。 学習用画像を処理して学習用画像データベースに記憶させる一実施形態を概略的に示す説明図である。 色テーマ及び色変換テーブルに係る一実施形態を概略的に示す説明図である。 本発明による色変換処理装置の一実施形態における機能構成図である。 本発明による色変換処理方法の一実施形態を示すフローチャートである。 入力画像の大域特徴量に基づいて学習用画像データベースからＮ個の類似した学習用画像を取得する方法の一実施形態を示すフローチャート、及び入力画像の各画素における変換コストを算出する方法の一実施形態を示すフローチャートである。 本発明の色変換処理方法における作用効果の概略を示す説明図である。
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
図１は、本発明による色変換処理方法の一実施形態を概略的に示す説明図である。
図１に示した実施形態によれば、最初に、色変換処理を行う対象である入力画像が、ユーザによる指示操作によって、又は処理装置への入力によって、指定される。ここで、入力画像には、写真ファイル等の静止画像、及びビデオファイル等の動画像が含まれる。
また、変換後の色の組合せを選択する際の基準となる、複数の色のセットである「色テーマ」が、ユーザによる指示操作によって、複数の「色テーマ」を格納した色テーマ記憶部１０３から読み出されて指定される。この「色テーマ」に基づいて、入力画像の色を変換することによって出力（変換後）画像が生成される。
本発明の色変換処理方法は、自然な色変換のための基準となる複数の「学習用画像」を準備し、さらに、
（ａ）複数の「学習用画像」の各々を領域分割した際の、各領域について算出された「局所特徴量」と、当該各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを対応付けて記憶する学習用画像データベース１０２
を利用する。ここで、
（ａ１）「学習用画像」の領域分割は、１つの「スケール」又は複数の「スケール」の各々を有する領域による分割である。ここで、「スケール」は、例えば画像内の局所的な領域を円形で定義する場合にはこの円の半径に該当し、また画像を縦横で等分割する場合には、分割数に該当する。このうち、複数の「スケール」の各々について領域分割される場合、画像内の局所的な領域を複数の大きさで定義することを目的に複数の「スケール」が予め定義され、「局所特徴量」と「色分布」とは、各「スケール」について対応付けて記憶される。
また、「局所特徴量」は、対象画像内の各領域の特徴を表す量である。「局所特徴量」は、画像内の領域におけるテクスチャの特徴を表す、ＳＩＦＴ（Scale Invariant Feature Transform）等のテクスチャ特徴量とすることができる。「局所特徴量」として採用可能なテクスチャ特徴量としては、他に、Ｇａｂｏｒ特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量等が挙げられる。ＳＩＦＴ特徴量については、後に図２を用いて説明される。
さらに、一実施形態として、
（ａ２）学習用画像データベース１０２は、複数の「学習用画像」の各々について算出された「大域特徴量」を「学習用画像」毎に記憶し、
（ａ３）さらに、複数の「学習用画像」の各々を１つの「スケール」又は互いに異なる複数の「スケール」の各々をもって領域分割した際の、各領域について算出された「局所特徴量」と、各領域に含まれる複数の画素における画素値の分布を表す「色分布」とを、「学習用画像」毎に対応付けて記憶する
ことも好ましい。
ここで、「大域特徴量」は、対象画像全体の特徴を表す、画像１つに対して１つ与えられる量である。「大域特徴量」は、ある画像に同一な又は類似（近似）する画像を取得するための比較基準となる量であればどのような特徴量であってもよく、例えば、画像全体のテクスチャの特徴を表す、ＧＩＳＴ特徴量等のテクスチャ特徴量とすることができる。また、複数の特徴量の組合せをもって「大域特徴量」とすることも可能である。ＧＩＳＴ特徴量については、後に図２を用いて説明される。
このように、「学習用画像」の「大域特徴量」を算出・記憶しておくことによって、後に、入力画像の「大域特徴量」と比較して、入力画像の色変換の基準とするのにより適した「学習用画像」を選択することが可能となる。
次いで、図１に示すように、
（ｂ１）入力画像の画素毎に、この画素ｐ（ｘ，ｙ）を含んだ領域であって互いに異なる複数の「スケール」（図１ではスケール１、２及び３）の各々を有する領域について「局所特徴量」を算出する。次いで、
（ｂ２）入力画像の画素ｐ（ｘ，ｙ）の各々について、「スケール」毎に算出された「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」に対応付けられて記憶された「色分布」を学習用画像データベース１０２から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する。
また、「大域特徴量」を記憶した学習用画像データベース１０２を利用する一実施形態として、
（ｂ３）入力画像の「大域特徴量」を算出し、算出された「大域特徴量」との近似度がより高い「大域特徴量」を有する順に（少なくとも１つの）Ｎ個の「学習用画像」を学習用画像データベース１０２から取得し、
（ｂ４）入力画像の画素の各々について、「スケール」毎に、取得されたＮ個の「学習用画像」の「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する「学習用画像」の「局所特徴量」、に対応付けられて記憶された色分布を学習用画像データベース１０２から取得し、各「スケール」についての画素毎の「色分布」を「コスト計算用色分布」に決定する
ことも好ましい。
また、更なる具体的手法として、
（ｂ５）取得された少なくとも１つの「学習用画像」において「スケール」毎に各領域について算出された「局所特徴量」を、例えばｋ−Ｍｅａｎｓ法を用いてｎｋ階調にクラスタリングして、所定の数ｎｋの特徴量値に階調化し、
（ｂ６）入力画像の画素の各々について、「スケール」毎に、取得されたＮ個の「学習用画像」における階調化された「局所特徴量」であって、画素を含む領域について算出された入力画像の「局所特徴量」に最も近似する階調化された「局所特徴量」、の値をとる全ての領域内の画素の画素値の分布である「色分布」を学習用画像データベース１０２から取得し、統合して「コスト計算用色分布」とする
ことも好ましい。
本発明においては、このように事前学習用の「学習用画像」の学習用画像データベース１０２から、各「スケール」についての画素毎の「コスト計算用色分布」を算出・決定する。次いで、これらの「コスト計算用色分布」を利用することによって、入力画像の色を、多数の「学習用画像」において高い頻度で出現する自然な色に変換する点に特徴を有する。
さらに、図１に示すように、
（ｃ１）指定された「色テーマ」を基にして、ある画素値からある画素値への変換を規定した「色変換テーブル」を生成し、
（ｃ２）入力画像の各画素における変換前の変換前画素値に対し、「色変換テーブル」を用いて、理想的な変換先である「理想変換画素値」を算出する。
次いで、
（ｄ１）学習用画像データベース１０２から取得された各「スケール」についての「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる「スケール」毎の「変換コスト」を規定し、
（ｄ２）色空間において入力画像の変換前画素値と「理想変換画素値」との間に位置する「変換先画素値」であって、「スケール」毎の「変換コスト」の全体（「変換コスト」から算出される総合的な変換コスト）を最小化する「変換先画素値」を算出・決定し、
（ｅ）入力画像の各画素の画素値を、決定された対応する「変換先画素値」に変換する。
ここで、「変換先画素値」を決定するための具体的手法として、
（ｄ３）入力画像の変換前画素値と「理想変換画素値」との間の「変換先画素値」の位置を示すパラメータとして規定された「変換強度」αを規定し、
（ｄ４）予め設定した複数の「変換強度」α値の各々の下で、入力画像の色変換を実施した際の画素毎の「変換コスト」Ｅｄを、
（ａ）変換前画素値と「変換先画素値」との色距離が大きくなるほどより大きな値をとる第１のコスト部分Ｅｄ０と、
（ｂ）「スケール」毎の「コスト計算用色分布」において頻度が低い色ほどより大きな値をとる第２のコスト部分Ｅｄ ｊと
の和（Ｅｄ０＋Ｅｄ ｊ）として算出し、
（ｄ５）コストボリュームフィルタリング法を用いて、隣接する画素との間における「変換先画素値」の差が大きくなるほど大きくなる重みＷにより「変換コスト」Ｅｄを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に「変換強度」αを決定する
ことも好ましい。
以上に説明した「変換先画素値」（変換強度α、変換色）の決定手法によれば、入力画像の各画素における「変換前画素値」が、この画素を含んでおり互いに異なる「スケール」を有する領域それぞれのテクスチャの特徴からして、とり得る確率の低い色に相当する画素値には変換されないように、「変換先画素値」を算出することが可能となる。これにより、所定の「色テーマ」の下で、入力画像の色を、画像部分の「局所特徴量」に応じた自然な色に安定して変換した出力（変換後）画像を生成することができる。
図２は、学習用画像を処理して学習用画像データベース１０２に記憶させる一実施形態を概略的に示す説明図である。
図２（Ａ）に示した実施形態によれば、最初に、多数の学習用画像が準備される。これらの学習用画像は、画像の種類に関係なく無作為に収集してもよいが、例えば、色変換対象である入力画像が自然を被写体として撮影又は描画された画像（自然画像）であれば、同様の自然画像を多数、学習用画像として収集することも好ましい。
次いで、学習用画像の各々について、大域特徴量としてのＧＩＳＴ特徴量が算出される。次いで、算出されたＧＩＳＴ特徴量が、学習用画像毎に学習用画像データベース１０２に記憶される。
ここで、ＧＩＳＴ特徴量は、画像の構図を反映した特徴量であり、画像全体を、例えば４×４の、グリッド状に分割し、分割した各領域内で濃淡情報の周期と、その濃淡の方向を表したＧａｂｏｒ特徴量とを合わせて１つの特徴量としたものである。ＧＩＳＴ特徴量については、例えば、A.Oliva and A.Torralba, "Modeling the shape of the scene: a holistic representation of the spatial envelope" Int. Journal of Computer Vision, 42(3), 145.175, 2001年、において詳細に説明されている。
次いで、学習用画像の各々について、領域分割を実施し、各領域について局所特徴量としてのＳＩＦＴ特徴量と、領域に含まれる複数の画素における画素値の分布を表す色分布としての色ヒストグラムとを算出する。さらに、これらＳＩＦＴ特徴量と色ヒストグラムとを対応付けて、学習用画像データベース１０２に記憶する。
この学習用画像の領域分割は、１つのスケールを有する領域、又は複数のスケール（図２ではスケール１〜３）の各々を有する領域、による分割である。このうち、複数のスケールの各々について領域分割される場合、ＳＩＦＴ特徴量と色ヒストグラムとは、各スケール（１〜３）について対応付けて学習用画像データベース１０２に記憶される。
分割の際の領域は、種々の形状とすることができるが、簡略的な方法として、半径Ｒ０の円としてもよい。この場合、領域分割は、図２に示したように、学習用画像上にこの円が互いに隣接して並ぶ形で実施される。ここで、半径Ｒ０が領域のスケールとなる。当然に、複数スケールの各々を有する領域による領域分割の場合、これらの領域はそれぞれ、例えば半径Ｒ０、Ｒ１、Ｒ２、・・・を有する。
また、各領域において算出されるＳＩＦＴ特徴量は、１つの特徴点の周辺におけるパターンの輝度勾配についてのヒストグラムによって記述される量である。ＳＩＦＴ特徴量は、濃淡画像の輝度勾配の特徴を表し、色情報は一切使用されずに算出される。ＳＩＦＴ特徴量については、例えば、David G. Lowe, "Object Recognition from Local Scale-Invariant Features" Proceedings of the International Conference on Computer Vision-Vol. 2, September 20-25, 1150ページ, 1999年において詳細に説明されている。
また、各領域に含まれる複数の画素（領域内の全画素）における画素値の分布を表す色分布として、色ヒストグラムを生成する。色ヒストグラムの一実施例を図２（Ｂ）に示す。色ヒストグラムの横軸は、後に図３（Ｂ）を用いて説明する色相色空間内の座標（０（０）〜３６０°（２５５））であり、縦軸は、当該色相の出現頻度又は（相対）画素数である。この色ヒストグラムを用いることによって、対応する（スケールを有する）ＳＩＦＴ特徴量を有する画像部分における色相の特徴が把握される。
以上に述べた学習用画像処理の結果、学習用画像データベース１０２には、図２（Ａ）に示したように、
（ａ）複数の学習用画像と、
（ｂ）各学習用画像に対応付けられたＧＩＳＴ特徴量（大域特徴量）と、
（ｃ）（スケール（１〜３）毎に）各学習用画像（の各領域）について、互いに対応付けられたＳＩＦＴ特徴量（局所特徴量）及び色ヒストグラム（色分布）と
が格納される。
図３は、色テーマ及び色変換テーブルに係る一実施形態を概略的に示す説明図である。
図３（Ａ）に、色テーマの例を示す。色テーマは、変換後の色の組合せを選択する際の基準となる、１つのテーマとしての複数（例えば５つ）の色のセットである。入力画像の色を、この「色テーマ」に基づいて変換することによって出力（変換後）画像が生成される。例えば、茶色系の色を多く含む「色テーマ」が使用されれば、入力画像は、例えば閲覧者にノスタルジックな印象を与えるセピア調の出力画像に変換される。また、鮮やかな色が並ぶ「色テーマ」が使用されれば、例えば閲覧者に華やかな印象を与えるカラフルな出力画像が生成される。
尚、色テーマについては、例えば、オンラインで色テーマを共有するカラーテーマ共有サービス（例えば、［平成２４年９月８日検索］、インターネット＜URL: https://kuler.adobe.com/#themes/＞）が存在する。
この色テーマがユーザによって指定されると、指定された色テーマに基づいて、色変換前の色情報と色変換後の色情報とが対応付けられた色変換テーブルが生成される。この色変換テーブルが表現する色変換は、理想的な色変換であり、入力画像の変換前画素値を理想変換画素値（図１）に変換する際の変換に相当する。また、色情報とは、予め選択された所定の色空間で定義された画素値であり、例えば、ＲＧＢ色空間（モデル）で定義された値や、ＨＳＶ色空間（モデル）で定義された値をとる。当然、その他の色空間での定義も可能である。以下の実施形態では、理解し易さの点から、色相（Hue）、彩度（Saturation）及び明度（Value）の３つの成分を有するＨＳＶ色空間における、色相のみを色情報（画素値）とする。
色相は、図３（Ｂ）に示した色相環で定義される。色相環は、ある色相（例えば赤）を始点ゼロとして、個々の色相を０〜３６０度（°）で定義する。または、０〜３６０°の範囲の色相を２５６の区域に分けて、色相（区域）を赤から始めて０、１、・・・、２５５の値で表してもよい。
色相環の各色相は、同じく図３（Ｂ）に示すように、理想的な変換先として、指定された色テーマに挙げられた（例えば５つの）色相のうち、最も色距離の短い色相に対応付けられる。色変換テーブルは、この対応関係を記録したものとなる。
図３（Ｃ）に、入力画像の変換前画素値、変換テーブルによる理想変換画素値、及び出力画像となる変換先画素値の関係を示す。図３（Ｃ）によれば、色相を示す色空間に、
（ａ）入力画像の１つの画素における変換前画素値（色相）ｃと、
（ｂ）この変換前画素値（色相）ｃを変換テーブルを用いて色変換した、理想的な変換先である理想変換画素値（色相）ｃ＊と、
（ｃ）（ａ）の変換前画素値（色相）ｃを、本発明による色変換処理によって色変換した際の出力画像の対応画素値である変換先画素値（色相）ｃ’と
が示されている。
出力画像の変換先画素値（色相）ｃ’における図３（Ｃ）の色相色空間での位置は、変換前画素値ｃと理想変換画素値ｃ＊との間の位置を示すパラメータとして規定された「変換強度」αで表現される。即ち、変換先画素値（色相）ｃ’は、変換前画素値ｃと理想変換画素値ｃ＊との間において、α：（１−α）の色距離比の位置にある。
本発明においては、学習用画像データベース１０２から取得されたコスト計算用色分布において頻度が低い色ほどより大きな値をとるスケール毎の「変換コスト」を算出し、これら変換コストの全体を最小化するように、入力画像の各画素における図３（Ｃ）の変換強度αを算出することによって、対応する変換先画素値（色相）ｃ’を決定する。
図４は、本発明による色変換処理装置の一実施形態における機能構成図である。
図４に示した色変換処理装置１は、入力部１００を介して入力した入力画像を、色テーマに基づき、同じく入力部１００を介して入力した複数の学習用画像の解析処理結果を用いて色変換し、出力部から色変換後の出力画像を出力する。色テーマも、入力部１００を介して色テーマ記憶部１０３に入力することができる。ここで、出力部１０１は、色変換部１５０から出力された出力（色変換）画像を、外部の表示手段、印刷手段、記録手段、又は通信手段等に送信するインタフェースである。
この色変換処理装置１は、入力部１００と、出力部１０１と、学習用画像データベース１０２と、色テーマ記憶部１０３と、プロセッサ・メモリとを備えている。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
学習用画像データベース１０２は、複数の学習用画像の各々について算出された大域特徴量を学習用画像毎に記憶する。さらに、複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、各領域に含まれる複数の画素における画素値の分布を表す色ヒストグラム（色分布）とを、学習用画像毎に対応付けて記憶する。
色テーマ記憶部１０３は、入力部１００から入力した、又は別ルートから入手した複数の色テーマを記憶する。色テーマ記憶部１０３は、ユーザによるインタフェースを介しての指定操作によって、指定された色テーマを、色変換デーブル生成部１４０に出力してもよい。
プロセッサ・メモリは、機能構成部として、
（ａ）入力した学習用画像を処理して学習用画像データベース１０２に記憶させる学習用画像処理部１１と、
（ｂ）入力画像のスケール毎の特徴量からスケール毎のコスト計算用色ヒストグラムを算出・決定する色分布決定部１２と、
（ｃ）入力画像の画素毎に、変換コストＥｄから算出される総合的な変換コストを最小化する変換強度αを算出して色変換後の出力画像の画素値を決定する変換色決定部１３と、
（ｄ）色変換テーブル作成部１４０と、
（ｅ）色変換部１５０と
を有している。
学習用画像処理部１１は、大域特徴量算出部１１０と、領域分割部１１１と、局所特徴量算出部１１２と、色分布算出部１１３とを有している。
大域特徴量算出部１１０は、入力された複数の学習用画像の各々について大域特徴量を算出し、算出された大域特徴量を、学習用画像毎に学習用画像データベース１０２に記憶させる。領域分割部１１１は、入力された複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割する。
局所特徴量算出部１１２及び色分布算出部１１３はそれぞれ、領域分割された各学習用画像の各領域についての局所特徴量、及び各領域に含まれる複数の画素における画素値の分布を表す色ヒストグラムを算出し、これら局所特徴量と色ヒストグラムとを学習用画像毎に対応付けて、学習用画像データベース１０２に記憶させる。
色分布決定部１２は、大域特徴量算出部１２０と、学習用画像取得部１２１と、クラスタリング部１２２と、各スケール領域決定部１２３と、局所特徴量算出部１２４と、コスト計算用色分布取得部１２５とを有している。
大域特徴量算出部１２０は、入力された入力画像の大域特徴量を算出する。学習用画像取得部１２１は、算出された大域特徴量との近似度がより高い大域特徴量を有する順に（少なくとも１つの）Ｎ個の学習用画像を学習用画像データベース１０２から取得する。
クラスタリング部１２２は、取得されたＮ個の学習用画像においてスケール毎に各領域について算出されている局所特徴量を、例えばｋ−ｍｅａｎｓ法を用いてクラスタリングし、所定の数ｎｋの特徴量値に階調化する。
各スケール領域決定部１２３は、入力された入力画像の画素毎に、この画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域を決定する。局所特徴量算出部１２４は、決定された各スケールにおける画素毎の領域について局所特徴量を算出する。
コスト計算用色分布取得部１２５は、入力画像の画素の各々について、スケール毎に、取得されたＮ個の学習用画像におけるｎｋ個に階調化された局所特徴量のうち、この画素を含む領域について算出された入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色ヒストグラムを学習用画像データベース１０２から取得し、統合してコスト計算用色ヒストグラムとする。
変換色決定部１３は、理想変換画素値算出部１３０と、所定強度下コスト算出部１３１と、変換強度決定部１３２とを有している。
理想変換画素値算出部１３０は、入力された入力画像の各画素における変換前画素値に対し、色変換テーブル生成部１４０で生成された色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出する。
所定強度下コスト算出部１３１は、入力画像の変換前画素値と理想変換画素値との間の変換先画素値の位置を示すパラメータとして規定された変換強度αを規定し、複数の変換強度α値の各々の下で、入力画像の色変換を実施した際の画素毎の変換コストＥｄを、変換前画素値と変換先画素値との色距離ｄが大きくなるほどより大きな値をとる第１のコスト部分Ｅｄ０と、スケール毎のコスト計算用色ヒストグラムにおいて頻度が低い色ほどより大きな値をとる第２のコスト部分Ｅｄ ｊとの和として算出する。
変換強度決定部１３２は、例えばコストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みＷにより変換コストＥｄを重み付けすることによって算出される総合的な変換コストを最小化するように、入力画像の画素毎に変換強度αを決定する。
色変換テーブル部１４０は、指定された色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する。また、色変換部１５０は、入力された入力画像の各画素の画素値を、変換強度決定部１３２において決定された変換強度αの変換先画素値に変換する。
図５は、本発明による色変換処理方法の一実施形態を示すフローチャートである。尚、本フローチャートでは、図２を用いて説明した、学習用画像を処理して学習用画像データベース１０２に記憶させる処理が実施されていることを前提としている。
［色変換処理方法全体フロー］
（Ｓ５００）入力画像の大域特徴量に基づいて、学習用画像データベース１０２からＮ個の類似した学習用画像を取得する。このステップについては、後に図６（Ａ）に示すフローチャートを用いて詳述する。
（Ｓ５０１）取得されたＮ個の学習用画像の既に算出されたＳＩＦＴ特徴量（局所特徴量）を、例えばｋ−ｍｅａｎｓ法を用いてクラスタリングし、所定の数ｎｋの特徴量値に階調化する。
次いで、入力画像の各画素について、色変換先である変換先画素値（変換強度α）を算出する。
最初に、画像にｘｙ座標系を設定し、入力画像の画素の座標を（ｘ，ｙ）とする。この場合、ｘは入力画像の列の番号（列成分）に相当し、ｙは入力画像の行の番号（行成分）に相当する。また、入力画像における列成分ｘの範囲をimage_width（列数）とし、列成分ｙの範囲をimage_height（行数）とする。
図３（Ｃ）に示したように、入力画像の画素（ｘ，ｙ）における変換前画素値（色相ｈ）をｃ＝ｈ（ｘ，ｙ）とし、理想変換画素値（色相）をｃ＊とすると、変換先画素値（色相）ｃ’は、
（１） ｃ’＝ｆ（ｘ，ｙ，α）＝（１−α）ｃ＋αｃ＊
と表される。式（１）において、αは、変換先画素値（色相）ｃ’の変換強度である。α＝０は、ｃ’＝ｃ、即ち色変換されないことを示し、α＝１は、ｃ’＝ｃ＊、即ち理想的な（色変換テーブル通りの）色変換が実施されることを示す。入力画像の各画素（ｘ、ｙ）における変換強度αを算出・決定することによって、入力画像全体の色変換が実現される。
ここで、変換強度αを、例えば０.１間隔で刻んだ値にそれぞれ固定し、各変換強度α（＝０，０.１，０.２，・・・,１）における変換コストから算出される総合的な変換コストを最適化（最小化）することによって、入力画像の各画素の変換強度αを決定する。尚、固定された変換強度αの総数をＮαとする。例えば、α＝０，０.１，０.２，・・・,１である場合、Ｎα＝１１となる。
図５に戻って、
（Ｓ５０２）変換強度αｉ（＝０，０.１，０.２，・・・,１）を指定するパラメータｉをゼロに設定する。
（Ｓ５０３）変換強度α＝αｉとする。
（Ｓ５０４、Ｓ５０５）画素のｘ座標及びｙ座標をそれぞれゼロに設定する。
（Ｓ５０６）式（１）を用いて、ｃ’＝ｆ（ｘ，ｙ，α）を算出する。
（Ｓ５０７）入力画像の各画素における変換コストＥｄを算出する。このステップにおける変換コストＥｄの算出方法については、後に図６（Ｂ）に示すフローチャートを用いて詳述する。
（Ｓ５０８）列成分ｘを１だけ増分する。
（Ｓ５０９）列成分ｘ値がimage_width未満か否か（入力画像の列数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ５０６に戻り、増分した次の列成分ｘにおいて変換先画素値ｃ’＝ｆ（ｘ，ｙ，α）を算出して、変換コストＥｄを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップＳ５１０に進む。
（Ｓ５１０）行成分ｙを１だけ増分する。
（Ｓ５１１）行成分ｙ値がimage_height未満か否か（入力画像の行数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ５０５に戻り、増分した次の行成分ｙにおいて再度、各列成分ｘについて変換先画素値ｃ’＝ｆ（ｘ，ｙ，α）を算出して、変換コストＥｄを算出するステップを繰り返す。一方、偽の判定が行われた際、ステップＳ５１２に進む。
（Ｓ５１２）変換強度αｉを指定するパラメータｉを１だけ増分する。
（Ｓ５１３）パラメータｉがＮα未満か否か（固定された変換強度αの総数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ５０３に戻り、増分した次のパラメータで指定される次の変換強度αをもって、ステップＳ５０４以降（変換先画素値の算出、及び変換コストの算出）を繰り返す。一方、偽の判定が行われた際、ステップＳ５１４に進む。
（Ｓ５１４）コストボリュームフィルタリング法を用いて、各変換強度α値（＝０，０.１，０.２，・・・,１）について入力画像の画素（ｘ，ｙ）毎に算出された変換コストＥｄから算出される総合的な変換コストを最小化（最適化）するように、入力画像の画素（ｘ，ｙ）毎に変換強度αを決定する。尚、コストボリュームフィルタリング法による変換強度αの最適化については、後に図６（Ｂ）に示すフローチャートの説明に合わせて説明される。
（Ｓ５１５）入力画像における各画素値を、最適化された変換強度αに係る変換先画素値に変換する。以上、本実施形態における色変換処理方法が完了する。
図６（Ａ）は、入力画像の大域特徴量に基づいて学習用画像データベース１０２からＮ個の類似した学習用画像を取得する方法（図５のステップＳ５００）の一実施形態を示すフローチャートである。また、図６（Ｂ）は、入力画像の各画素における変換コストＥｄを算出する方法（図５のステップＳ５０７）の一実施形態を示すフローチャートである。
［図６（Ａ）：入力画像の大域特徴量に基づく学習用画像の取得方法］
（Ｓ６００）入力画像のＧＩＳＴ特徴量（大域特徴量）を算出する。
（Ｓ６０１）学習用画像を指定するパラメータｐ（ｐ＝０，１，・・・，Ｎｐ−１）をゼロに設定する。
（Ｓ６０２）入力画像のＧＩＳＴ特徴量ベクトルＶｅと、学習用画像のＧＩＳＴ特徴量ベクトルＶｐとの特徴量距離Ｄｐを算出する。
ここで、特徴量距離Ｄｐは、特徴量ベクトル空間における両ベクトル間のユークリッド距離、即ち、
（２） Ｄｐ＝（Σｔ（Ｖｅ）ｔ ２−（Ｖｐ）ｔ ２）０.５
となる。式（２）において、（Ｖｅ）ｔ及び（Ｖｐ）ｔは特徴量ベクトルのｔ成分であり、Σｔは、成分ｔについての総和（summation）である。尚、特徴量ベクトルを、予め主成分分析等で求めた変換行列で次元圧縮しておくことも好ましい。
（Ｓ６０３）学習用画像を指定するパラメータｐを１だけ増分する。
（Ｓ６０４）パラメータｐがＮｐ未満か否か（記憶された学習用画像の総数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ６０２に戻り、増分した次のパラメータで指定される次の学習用画像のＧＩＳＴ特徴量Ｖｐをもって特徴量距離Ｄｐを算出する。一方、偽の判定が行われた際、ステップＳ６０５に進む。
（Ｓ６０５）類似度がより高い順（特徴量距離Ｄｐがより短い順）に、所定のＮ個の学習用画像を、学習用画像データベース１０２から取得する。
［図６（Ｂ）：入力画像の各画素における変換コストＥｄの算出方法］
図６（Ｂ）のコスト算出方法では、重みαを変換強度αｉとし（α＝αｉ）、重みα＝αｉにおける画素（ピクセル）位置ｐ＝（ｘ、ｙ）での変換コストをＥｄ（ｐ，αｉ）とする。重みα＝αｉが固定された場合の各画素のＥｄ（ｐ，αｉ）が決定されると、各重みα＝αｉについての、画素毎の変換コストが記されたコストマップが生成される。例えば、αｉ＝０，０.１，０.２，・・・,１ならば、コストマップは１１枚生成される。
次いで、これらのコストマップを利用したコストボリュームフィルタリング法によって、隣接する画素の変換強度αｉができるだけ近い値であって、各画素の変換コストＥｄ（ｐ，αｉ）から算出される総合的な変換コストができるだけ小さくなるように、各画素の変換強度αｉが算出・決定される。
具体的に、重みα＝αｉにおける画素（ピクセル）位置ｐ＝（ｘ、ｙ）での変換コストＥｄ（ｐ，αｉ）は、次式
（３）Ｅｄ（ｐ，αｉ）＝Ｅｄ０＋Σｊ（Ｅｄ ｊ）
として定義されることができる。ここで、Σｊは、スケールを区別するパラメータｊについての総和（summation）である。
式（３）でのＥｄ０は、式（１）ｃ’＝（１−α）ｃ＋αｃ＊に変換された場合の初期値としての第１コスト成分である。Ｅｄ０は、例えば、
（４） Ｅｄ０＝｜ｃ−ｃ’｜
として、即ち返還前画素値（色相）ｃと変換先画素値（色相）ｃ’との色距離として、規定されることができる。
また、式（３）でのＥｄ ｊは、スケールＲｊにおける重みα＝αｉでの画素ｐ＝（ｘ，ｙ）毎の第２コスト成分である。Ｅｄ ｊは、例えば、
（５） Ｅｄ ｊ＝−Ｉ（ｄｊ）・ｌｏｇ（Ｐｊ（ｃ’））
として規定されることができる。
ここで、
（ａ）Ｐｊ（ｃ’）は、入力画像のＳＩＦＴ特徴量に最も近似する（距離ｄｋ ｊが最短の）ＳＩＦＴ特徴量に対応するクラスタＣｊの有する色ヒストグラムから算出された、変換先画素値（色相）ｃ’の出現確率であり、
（ｂ）Ｉ（ｄｊ）は、入力画像のＳＩＦＴ特徴量と、同特徴量に最も近似するＳＩＦＴ特徴量との距離ｄｊから算出される出現確率Ｐｊの確率分布の信頼度（信頼係数）である。
Ｉ（ｄｊ）は、ｄｊの値が大きくなるにつれて単調に減少する。また、Ｅｄ ｊは、出現確率Ｐｊ（ｃ’）が大きくなるにつれて減少し、出現確率Ｐｊ（ｃ’）がゼロに近づくと無限大に近づく。
ここで、コストボリュームフィルタリング法を用いて、入力画像の画素毎に、式（３）のＥｄ（ｐ，αｉ）から算出される総合的な変換コストをできるだけ小さくする変換強度αｉ（コストマップ）を選択する。
コストボリュームフィルタリング法は、画像処理におけるマルチラベル問題で広く用いられる手法であり、画像中の画素にラベルを付与する際に、当該画素へ各ラベルを付与するコストと隣接画素とのラベルの近さとを考慮し、最適ラベルを求める手法である。当該画素へ各ラベルを付与するコストをデータ項（Ｅｄ）として表し、隣接画素とのラベルの近さを重み(Ｗ)として表すと、コストボリュームフィルタリング法では、ラベルliを画素pに付与した場合のコストは
（６） Ｅ（ｐ，lｉ）＝Ｗ（ｐ，αｉ）*Ｅｄ（ｐ，lｉ）
として定義される。
本発明の実施形態においては、変換強度αがコストボリュームフィルタリング法のラベルに対応し、変換強度αを求めるための総合的な変換コストは、次式のように表わされる。
（７） Ｅ（ｐ，αｉ）＝Ｗ（ｐ，αｉ）＊Ｅｄ（ｐ，αｉ）
ここで、隣接画素との変化における滑らかさを評価する重みＷは、次式
（８） Ｗ（ｐ，αｉ）＝Σk｜ｆ（ｐ，αｉ）-ｆ（ｑk，αｉ）｜
*（１／（２πσ２）ｅｘｐ（−（|ｐ−ｑk|２／(２σ２）））)
のように表される。式（８）において、ｑkは画素ｐの隣接画素を示す。また｜ｆ（ｐ，αｉ）-ｆ（ｑk，αｉ）｜は、変換強度αｉを適用した際のｐとｑkとの色相（変換先画素値）の差であり、この色相（変換先画素値）差は、ｐとｑｋとの空間的距離|ｐ−ｑk|が小さいほど重みＷにより強く影響する。
式（７）および（８）を用いて、各画素ｐにおいて、総合的な変換コストＥ（ｐ，αｉ）をより小さくする変換強度αｉ（コストマップ）が選択され、これにより、変換先画素値（色相）ｃ’が決定される。
尚、コストボリュームフィルタリング法については、例えば、Rhemann, C., Hosni, A., Bleyer, M., Rother, C., and Gelautz, M. "Fast cost-volume filtering for visual correspondence and beyond" IEEE Computer Vision and Pattern Recognition (CVPR), 3017-3024ページ,
2011年において詳細に説明されている。
以下、図６（Ｂ）に示したフローチャートを用いて以上に説明した処理のうち、変換コストＥｄを算出する部分を追っていく。
（Ｓ７００）Ｅｄ（ｐ，αｉ）を、初期値Ｅｄ０に設定する。
（Ｓ７０１）領域のスケールを指定するパラメータｊ（＝１，２，・・・、Ｎｒ−１）をゼロに設定する。
（Ｓ７０２）領域のスケールをＲ＝Ｒｊとする。
（Ｓ７０３）入力画像の各画素について、スケールＲ毎にＳＩＦＴ特徴量を算出する。
（Ｓ７０４）入力画像の各画素について、スケールＲ毎に、取得されたＮ個の学習用画像におけるｎｋ個に階調化されたＳＩＦＴ特徴量のうち、この画素を含む領域について算出された入力画像のＳＩＦＴ特徴量に最も近似するＳＩＦＴ特徴量（クラスタ）を決定する。
ここで、入力画像における半径（スケール）Ｒｊ（ｊ＝０，１，・・・，ＮＲ−１）でのＳＩＦＴ特徴量の特徴量ベクトルをｖｅ ｊとし、Ｎ個の学習用画像における半径（スケール）Ｒｊ（但しスケールが１つのみの場合はＲ０）での階調化されたＳＩＦＴ特徴量の特徴量ベクトルをｖｋ （ｊ）（ｋ＝０，１，・・・，ｎｋ−１）とすると、各スケールにおいて、特徴量ベクトル間のユークリッド距離ｄｋ ｊは、
（９） ｄｋ ｊ＝（Σｓ（ｖｅ ｊ）s ２−（ｖｋ （ｊ））s ２）０.５
となる。式（９）において、（ｖｅ ｊ）s及び（ｖｋ （ｊ））sは特徴量ベクトルのｓ成分であり、Σｓは、成分ｓについての総和（summation）である。各スケールにおいて、このユークリッド距離ｄｋ ｊが最も小さくなる学習用画像の（階調化された）ＳＩＦＴ特徴量を最も近似するＳＩＦＴ特徴量（クラスタ）とすることができる。
また、このように、このステップＳ７０４において、入力画像のＳＩＦＴ特徴量と、当該ＳＩＦＴ特徴量に最も近似するＳＩＦＴ特徴量（クラスタ）の距離ｄｊが決定される。
（Ｓ７０５）決定されたＳＩＦＴ特徴量（クラスタ）の値をとる全ての領域内の画素の画素値の分布である色ヒストグラムを学習用画像データベース１０２から取得し、統合してコスト計算用色ヒストグラムとする。即ち、入力画像のＳＩＦＴ特徴量に最も近似する（距離ｄｋ ｊが最短の）ＳＩＦＴ特徴量に対応するクラスタＣｊの有する色ヒストグラムを算出・決定する。
（Ｓ７０６）クラスタＣｊの色ヒストグラムから、変換先画素値（色相）ｃ’の出現確率Ｐｊ（ｃ’）を算出する。
（Ｓ７０７）距離ｄｊと、出現確率Ｐｊ（ｃ’）とから、スケールＲについて、返還前画素値（色相）ｃから変換先画素値（色相）ｃ’に変換した場合の変換コストＥｄ ｊを算出する。ここで、Ｅｄ ｊは、式（３）Ｅｄ ｊ＝−Ｉ（ｄｊ）・ｌｏｇ（Ｐｊ（ｃ’））を用いて算出されることができる。
（Ｓ７０８）変換コストＥｄ＝Ｅｄ＋Ｅｄ ｊとする。
（Ｓ７０９）領域のスケールを指定するパラメータｊを１だけ増分する。
（Ｓ６１０）パラメータｊがＮＲ未満か否か（設定された領域のスケールの数に達していないか否か）を判定する。ここで、真の判定が行われた際、ステップＳ７０２に戻り、増分した次のパラメータで指定されるスケールＲをもって入力画像のＳＩＦＴ特徴量を算出し、スケールＲでの変換コスト算出処理を実施する。一方、偽の判定が行われた際、入力画像の各画素における変換コストＥｄの算出処理が完了する。
図７は、本発明の色変換処理方法における作用効果の概略を示す説明図である。
図７に示したように、以上に述べた本発明に係る色変換処理を実施することによって、所定の色テーマの下で、画像の色を、画像部分の特徴量に応じた自然な色に安定して変換することができる。
具体的には、色変換対象である入力画像と指定された色テーマとから色変換テーブルが形成され、理想的な変換先である理想変換画素値ｃ＊が決定される。次いで、学習用画像データベースを利用して、各画素における領域のスケール毎のコスト計算用色ヒストグラムが決定される。
その後、各変換強度α＝αｉにおける各画素（ピクセル）の変換コストＥｄ（ｐ，αｉ）を算出し、最適な変換強度αを導出することによって、各画素において、種々のスケールの局所特徴量に応じて高い頻度で使用される自然な画素値（色相）であって、隣接する画素の変換強度αｉができるだけ近い画素値（色相）が実現する。
特に、本発明においては、入力画像における種々のスケールの局所特徴量を利用している。従って、入力画像の画像部分が、際だった特徴のないテクスチャ、例えば平坦なテクスチャ、を有する場合であっても、少なくとも１つのスケールにおいては、このスケールの領域内においてテクスチャの特徴を捉えることが可能となる。その結果、学習用画像データベースから、この特徴を捉えられたテクスチャに対応する色ヒストグラムを取得し、変換コスト算出の際の基準の１つとすることによって、この画像部分の色を、（この画像部分のテクスチャにおいて高い頻度で使用される）自然な色に変換することが安定的に可能となる。
さらに、学習用画像の大域特徴量を算出し、学習用画像の検索用ラベルとしてデータベースに記憶しておくことによって、多数の学習用画像の中から、入力画像全体のテクスチャの特徴に類似しており、それ故に自然な色への変換のための基準としてより適している学習用画像を選択することが可能となる。
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
１ 色変換処理装置
１００ 入力部
１０１ 出力部
１０２ 学習用画像データベース
１０３ 色テーマ記憶部
１１ 学習用画像処理部
１１０、１２０ 大域特徴量算出部
１１１ 領域分割部
１１２、１２４ 局所特徴量算出部
１１３ 色分布算出部
１２ 色分布決定部
１２１ 学習用画像取得部
１２２ クラスタリング部
１２３ 各スケール領域決定部
１２５ コスト計算用色分布取得部
１３ 変換色決定部
１３０ 理想変換画素値算出部
１３１ 所定強度下コスト算出部
１３２ 変換強度決定部
１４０ 色変換テーブル生成部
１５０ 色変換部

Claims (8)

  1. 入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置に搭載されたコンピュータを機能させる色変換処理用プログラムであって、
    前記色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
    前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
    前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する色分布決定手段と、
    前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
    前記入力画像の各画素の画素値を、前記変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
    してコンピュータを機能させることを特徴とする色変換処理用プログラム。
  2. 前記データベースは、複数の学習用画像の各々について算出された大域特徴量を当該学習用画像毎に記憶し、さらに、複数の学習用画像の各々を１つのスケール又は互いに異なる複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを、当該学習用画像毎に対応付けて記憶し、
    前記色分布決定手段は、
    前記入力画像の大域特徴量を算出し、算出された当該大域特徴量との近似度がより高い大域特徴量を有する順に少なくとも１つの学習用画像を前記データベースから取得し、
    前記入力画像の画素毎に、当該画素を含んだ領域であって前記複数のスケールの各々を有する領域について局所特徴量を算出し、
    前記入力画像の画素の各々について、当該スケール毎に、取得された前記少なくとも１つの学習用画像の局所特徴量のうち、当該画素を含む領域について算出された前記入力画像の局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する
    ことを特徴とする請求項１に記載の色変換処理用プログラム。
  3. 前記色分布決定手段は、
    取得された前記少なくとも１つの学習用画像において当該スケール毎に各領域について算出されている局所特徴量を所定の数の特徴量値に階調化し、
    前記入力画像の画素毎に、当該画素を含んだ領域であって前記複数のスケールの各々を有する領域について局所特徴量を算出し、
    前記入力画像の画素の各々について、当該スケール毎に、取得された前記少なくとも１つの学習用画像における階調化された局所特徴量のうち、当該画素を含む領域について算出された前記入力画像の局所特徴量に最も近似する階調化された局所特徴量の値をとる全ての領域内の画素の画素値の分布である色分布を前記データベースから取得し、統合してコスト計算用色分布とする
    ことを特徴とする請求項２に記載の色変換処理用プログラム。
  4. 前記変換色決定手段は、
    当該変換前画素値と当該理想変換画素値との間の当該変換先画素値の位置を示すパラメータとして規定された変換強度について、複数の変換強度値の各々の下で、前記入力画像の色変換を実施した際の画素毎の変換コストを、当該変換前画素値と当該変換先画素値との色距離が大きくなるほどより大きな値をとる第１のコスト部分と、当該スケール毎のコスト計算用色分布において頻度が低い色ほどより大きな値をとる第２のコスト部分との和として算出し、
    コストボリュームフィルタリング法を用いて、隣接する画素との間における変換先画素値の差が大きくなるほど大きくなる重みにより前記変換コストを重み付けすることによって算出される総合的な変換コストを最小化するように、前記入力画像の画素毎に変換強度を決定し、
    前記色変換部は、前記入力画像の各画素の画素値を、決定された変換強度の変換先画素値に変換する
    ことを特徴とする請求項１から３のいずれか１項に記載の色変換処理用プログラム。
  5. 前記データベースは、複数の学習用画像における前記複数のスケールの各々についての各領域について局所特徴量として算出されたＳＩＦＴ（Scale Invariant Feature Transform）特徴量と、当該色分布とを記憶し、
    前記色分布決定手段は、前記複数のスケールの各々について、前記入力画像の分割された各領域におけるＳＩＦＴ特徴量を、局所特徴量として算出する
    ことを特徴とする請求項１から４のいずれか１項に記載の色変換処理用プログラム。
  6. 前記変換色決定手段は、前記入力画像の各画素における変換前画素値が、当該画素を含んでおり互いに異なるスケールを有する領域それぞれのテクスチャの特徴からしてとり得る確率の低い色に相当する画素値には変換されないように、変換先画素値を算出することを特徴とする請求項１から５のいずれか１項に記載の色変換処理用プログラム。
  7. 入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置であって、
    複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースと、
    前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する色変換テーブル生成手段と、
    前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する色分布決定手段と、
    前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する変換色決定手段と、
    前記入力画像の各画素の画素値を、前記変換色決定手段によって決定された対応する変換先画素値に変換する色変換手段と
    を有することを特徴とする色変換処理装置。
  8. 入力画像の色を、所定の色テーマに基づいて変換する色変換処理装置における色変換処理方法であって、
    前記色変換処理装置は、複数の学習用画像の各々を１つのスケール又は複数のスケールの各々をもって領域分割した際の、各領域について算出された局所特徴量と、当該各領域に含まれる複数の画素における画素値の分布を表す色分布とを対応付けて記憶するデータベースを備えており、
    前記所定の色テーマを基にして、ある画素値からある画素値への変換を規定した色変換テーブルを生成する第１のステップと、
    前記入力画像の画素毎に、当該画素を含んだ領域であって互いに異なる複数のスケールの各々を有する領域について局所特徴量を算出し、前記入力画像の画素の各々について、当該スケール毎に算出された局所特徴量に最も近似する学習用画像の局所特徴量に対応付けられて記憶された色分布を前記データベースから取得し、各スケールについての当該画素毎の当該色分布をコスト計算用色分布に決定する第２のステップと、
    前記入力画像の各画素における変換前の変換前画素値に対し、前記色変換テーブルを用いて、理想的な変換先である理想変換画素値を算出し、色空間において当該変換前画素値と当該理想変換画素値との間に位置する変換先画素値であって、前記データベースから取得された各スケールのコスト計算用色分布において頻度が低い色ほどより大きな値をとる当該スケール毎の変換コストの全体を最小化する変換先画素値、を算出する第３のステップと、
    前記入力画像の各画素の画素値を、第３のステップで決定された対応する変換先画素値に変換する第４のステップと
    を有することを特徴とする色変換処理方法。
JP2012210591A 2012-09-25 2012-09-25 スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法 Pending JP2014067129A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012210591A JP2014067129A (ja) 2012-09-25 2012-09-25 スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012210591A JP2014067129A (ja) 2012-09-25 2012-09-25 スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法

Publications (1)

Publication Number Publication Date
JP2014067129A true JP2014067129A (ja) 2014-04-17

Family

ID=50743491

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012210591A Pending JP2014067129A (ja) 2012-09-25 2012-09-25 スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法

Country Status (1)

Country Link
JP (1) JP2014067129A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513075A (ja) * 2015-02-11 2017-05-25 シャオミ・インコーポレイテッド 画像フィルタを生成する方法及び装置
JP2020101503A (ja) * 2018-12-25 2020-07-02 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017513075A (ja) * 2015-02-11 2017-05-25 シャオミ・インコーポレイテッド 画像フィルタを生成する方法及び装置
US9959484B2 (en) 2015-02-11 2018-05-01 Xiaomi Inc. Method and apparatus for generating image filter
JP2020101503A (ja) * 2018-12-25 2020-07-02 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP7005477B2 (ja) 2018-12-25 2022-01-21 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
CN109919869B (zh) 一种图像增强方法、装置及存储介质
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
US9697583B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
EP3409006A1 (en) Unified multi-image fusion approach
CN110728722B (zh) 图像颜色迁移方法、装置、计算机设备和存储介质
CN112328345B (zh) 用于确定主题色的方法、装置、电子设备及可读存储介质
US10580122B2 (en) Method and system for image enhancement
JP2019016114A (ja) 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム
US11887341B2 (en) Systems and methods for hue based encoding of a digital image
JP5594282B2 (ja) 画像処理装置
Mukherjee et al. Backward compatible object detection using hdr image content
CN109215003A (zh) 一种图像融合方法及装置
JP6387026B2 (ja) 書籍探索装置、方法及びプログラム
CN116740261B (zh) 图像重建方法和装置、图像重建模型的训练方法和装置
JP2021189527A (ja) 情報処理装置、情報処理方法及びプログラム
CN114723610A (zh) 图像智能处理方法、装置、设备及存储介质
US11250542B2 (en) Mosaic generation apparatus and method
CN114663570A (zh) 贴图生成方法、装置、电子装置及可读存储介质
CN115967823A (zh) 视频封面生成方法、装置、电子设备及可读介质
JP2014067129A (ja) スケール毎の特徴量と色分布との関係を考慮した色変換処理プログラム、装置及び方法
CN106469437B (zh) 图像处理方法和图像处理装置
CN114004734A (zh) 一种背景图像的替换方法和装置
JP6387028B2 (ja) 探索書籍表示装置、方法及びプログラム
US9667709B2 (en) Picture conversion SNS system and method, apparatus, and terminal
Cheng et al. Color photo makeover via crowd sourcing and recoloring