JP2009151371A - 画像処理装置、画像処理方法およびプログラム - Google Patents
画像処理装置、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP2009151371A JP2009151371A JP2007326348A JP2007326348A JP2009151371A JP 2009151371 A JP2009151371 A JP 2009151371A JP 2007326348 A JP2007326348 A JP 2007326348A JP 2007326348 A JP2007326348 A JP 2007326348A JP 2009151371 A JP2009151371 A JP 2009151371A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image processing
- image
- evaluation
- processing procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】簡便な処理で良好な画像処理結果を得ることができる画像処理装置、画像処理方法、およびプログラムを提供する。
【解決手段】目標画像データ取得部242は、操作部11からの入力操作により指定された画像処理を編集領域画像データに施すとともに、処理結果を目標画像データとして取得する。評価指標値算出部263は、画像処理手順によって画像処理された編集領域画像データと、目標画像データとの一致度を示す指標値を評価値として算出し、各画像処理手順に対応する指標値に基づいて各画像処理手順の適応度を評価する。次世代個体群生成部264は、評価指標値算出部263によって適応度が高いと判断される画像処理手順について、この画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングにより新たな画像処理手順を生成する。そして、指標値の算出および新たな画像処理手順の作成は所定の停止条件を満たすまで実行される。
【選択図】図2
【解決手段】目標画像データ取得部242は、操作部11からの入力操作により指定された画像処理を編集領域画像データに施すとともに、処理結果を目標画像データとして取得する。評価指標値算出部263は、画像処理手順によって画像処理された編集領域画像データと、目標画像データとの一致度を示す指標値を評価値として算出し、各画像処理手順に対応する指標値に基づいて各画像処理手順の適応度を評価する。次世代個体群生成部264は、評価指標値算出部263によって適応度が高いと判断される画像処理手順について、この画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングにより新たな画像処理手順を生成する。そして、指標値の算出および新たな画像処理手順の作成は所定の停止条件を満たすまで実行される。
【選択図】図2
Description
本発明は、処理対象画像に対して画像処理を実行する画像処理装置、画像処理方法、およびプログラムに関するもので、特に、遺伝的プログラミングを用いて生成された画像処理手順により画像処理を実行する技術に関する。
従来より、知識ベースおよび推論機構を用いて最適な画像処理コマンド列を生成する技術が知られている。また、ユーザーの要求情報に基づいて、画像処理コマンド群から適切なコマンド種別を選択し、コマンド実行順序を生成する技術も、従来より知られている。また、所定の条件に従ってソフトウエア部品を結合することにより、画像処理ソフトウエアを自動生成する技術も従来より知られている(例えば、特許文献1ないし3)。
さらに、遺伝的プログラミングを使用して、画像中から文字列を抽出する処理を自動構築する技術も、従来より知られている(例えば、特許文献4)。
ここで、いわゆるパーソナルコンピュータやワークステーションに読み込まれて使用される画像処理ソフトにおいて、画像の色変更やシャープネスの変更等の画像編集は、使用者により指定された画像処理コマンドおよびパラメータとに基づいて実行される。例えば、領域を指定することなく画像処理が実行されると、画像全体に対して画像処理が施される。また、使用者によって画像上の一部の領域が指定された場合、その指定された領域をマスク領域とし、このマスク領域に対して画像処理が施される。そして、画像処理が施されたマスク領域と、それ以外の領域とが合成されることにより、編集後の画像が形成される。
そして、このようなマスク領域を設定する等の画像編集作業には、画像処理に関する高度な知識が必要であり、画像処理に関する知識を有しない者にとっては非常に困難な作業となる。また、画像処理に関して高度の知識を有している者であっても、所望の編集結果を得るためには相当の工数が必要となり、使用者の作業効率低下という問題が生ずる。
そこで、本発明では、簡便な処理により良好な画像処理結果を得ることができる画像処理装置、画像処理方法、およびプログラムを提供することを目的とする。
上記の課題を解決するため、請求項1の発明は、処理対象画像データに対して画像処理を実行する画像処理装置であって、(a)使用者からの入力操作を受け付ける操作部と、(b)前記処理対象画像データのうち、前記操作部からの入力操作により指定された第1指定領域の画像データを、編集領域画像データとして取得する編集領域画像データ取得部と、(c)前記操作部からの入力操作により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する目標画像データ取得部と、(d)前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する画像処理手順生成部とを備え、前記画像処理手順生成部は、(d-1)前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第1指標値を評価値として算出するとともに、各画像処理手順に対応する前記第1指標値に基づいて各画像処理手順の適応度を評価する評価指標値算出部と、(d-2)前記評価指標値算出部によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する次世代画像処理手順生成部とを有するとともに、前記画像処理手順生成部による前記第1指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする。
また、請求項2の発明は、請求項1に記載の画像処理装置において、(e)前記処理対象画像データのうち、前記操作部からの入力操作によって指定された第2指定領域の画像データを、非編集領域画像データとして取得する非編集領域画像データ取得部とをさらに備え、前記評価指標値算出部は、前記画像処理手順によって画像処理された前記非編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとして使用される前記非編集領域画像データと、の一致度を表示する第2指標値を評価値としてさらに算出するとともに、前記第1および第2評価指標値に基づいて各画像処理手順の適応度を評価することを特徴とする。
また、請求項3の発明は、請求項1または請求項2に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データ上の画素点における階調値と、前記目標画像データ上の対応する画素点における階調値と、の差分2乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする。
また、請求項4の発明は、請求項1または請求項2に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データ上の各画素点における階調値と、前記目標画像データ上の対応する画素点における階調値と、の差分2乗値または差分絶対値に、重み係数を乗じた値を、全画素点について総和した総和値に基づいて評価することを特徴とする。
また、請求項5の発明は、請求項4に記載の画像処理装置において、前記重み係数は、前記評価対象画像データにエッジ抽出処理を施したエッジ抽出画像データにつき、該エッジ画像データ上の対応する画素点の階調値であることを特徴とする。
また、請求項6の発明は、請求項1または請求項2に記載の画像処理装置において、前記評価指標値算出部は、次の式1で示される評価値Hに基づいて評価することを特徴とする。
但し、O(x、y)は、処理対象画像データ上の画素点(x、y)における階調値を、P(x、y)は、目標画像データ上の画素点(x、y)における階調値を、Q(x、y)は、評価対象画像データ上の画素点(x、y)における階調値を、Lは強調抑制係数Lを、それぞれ表す。
また、請求項7の発明は、請求項1または請求項2に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データの第1濃度ヒストグラムと、前記目標画像データの第2濃度ヒストグラムにつき、第1濃度ヒストグラムの各階調値における度数値と、第2濃度ヒストグラムの対応する階調値における度数値と、の差分2乗値または差分絶対値を、全階調値について総和した総和値に基づいて評価することを特徴とする。
また、請求項8の発明は、請求項1または請求項2に記載の画像処理装置において、前記評価指標値算出部は、エッジ抽出処理が施された前記評価対象画像データ上の各画素点における階調値と、エッジ抽出処理が施された前記目標画像データ上の対応する画素点における階調値と、の差分2乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする。
また、請求項9の発明は、請求項1または請求項2に記載の画像処理装置において、前記評価指標値算出部は、前記評価対象画像データを周波数領域に変換した第1画像データと、前記目標画像データを周波数領域に変化した第2画像データと、に基づいて評価すること特徴とする。
また、請求項10の発明は、請求項1ないし請求項9のいずれかに記載の画像処理装置において、前記所定の停止条件を満たした場合、許容範囲内となる評価値に対応する画像処理手順を選択し、該選択された画像処理手順により画像処理された前記処理対象画像データを処理結果画像データとすることを特徴とする。
また、請求項11の発明は、処理対象画像に所定の処理を行う画像処理方法であって、(a)使用者からの入力操作を受け付ける工程と、(b)前記処理対象画像データのうち、前記工程(a)により指定された第1指定領域の画像データを、編集領域画像データとして取得する工程と、(c)前記工程(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する工程と、(d)前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する工程とを備え、前記工程(d)は、(d-1)前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第1指標値を評価値として算出するとともに、各画像処理手順に対応する前記第1指標値に基づいて各画像処理手順の適応度を評価する工程と、(d-2)前記工程(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する工程とを有するとともに、前記工程(d)による前記第1指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする。
また、請求項12の発明は、処理対象画像に対して画像処理を実行させるコンピュータ読み取り可能なプログラムであって、前記コンピュータのCPUに、(a)使用者からの入力操作を受け付ける機能と、(b)前記処理対象画像データのうち、前記機能(a)により指定された第1指定領域の画像データを、編集領域画像データとして取得する機能と、(c)前記機能(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する機能と、(d)前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する機能とを実現させ、前記機能(d)は、(d-1)前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第1指標値を評価値として算出するとともに、各画像処理手順に対応する前記第1指標値に基づいて各画像処理手順の適応度を評価する機能と、(d-2)前記機能(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する機能とを有するとともに、前記機能(d)による前記第1指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行させることを特徴とする。
請求項1ないし請求項12の発明によれば、画像処理装置の使用者は、(1)処理対象画像データの一部分として編集領域画像データを指定するとともに、(2)この編集領域画像データに使用者所望の画像処理が施された目標画像データを作成するだけで、遺伝的プログラミングに基づき、所望の処理結果を得ることができる画像処理手順を得ることができる。そのため、画像処理に関する知識を有しない者であっても、高度な画像編集処理を容易に実行することが可能となる。また、画像処理に関する高度な知識を有する者は、画像編集作業の工数を低減させることができ、使用者の作業効率を向上させることができる。
特に、請求項2の発明によれば、処理対象画像データの一部分として非編集領域画像データを指定するとともに、非編集領域画像データ、および処理対象画像データ上において非編集領域画像データと同様な属性を有する画像データに対して、画像処理が施されることを抑制できる。そのため、使用者のニーズにさらに適合した処理結果を得ることができる。
特に、請求項3の発明によれば、階調値の差分2乗値または差分絶対値を使用することにより、各画像処理手順の適応度を良好に評価することができる。
特に、請求項4の発明によれば、階調値の差分2乗値または差分絶対値にさらに重み係数を乗じており、画像全体の印象を決める重要な要素であるハイライト部(高明度部)やシャドウ部(低明度部)の評価を厳しくすることが可能となる。そのため、ハイライト部やシャドウ部に関して、使用者が望む画像編集を可能とする画像処理手順を高い精度で生成することができる。
特に、請求項5の発明によれば、エッジ抽出画像データによって重み付けを行っており、階調値が急峻に変換するエッジ部に関して、使用者が望む画像編集を可能とする画像処理手順を高い精度で生成することができる。
特に、請求項6の発明によれば、処理対象画像データも考慮に入れて画像の強調や抑制できため、使用者が望む画像編集を可能とする画像処理手順をさらに高い精度で生成することができる。
特に、請求項7の発明によれば、濃度ヒストグラムによって画像処理手順の適応度を評価を行うので、画像全体における階調値のバランスを重視した画像処理手順を生成することができる。
特に、請求項8の発明によれば、エッジ抽出画像データに基づいて画像処理手順の適応度を評価している。すなわち、目標画像データと評価対象画像データとの一致度が高い場合、対応する画像処理手順の適応度が高いと評価する。そのため、画像をゆがめる処理を行ったときなどに画像処理手順を高い精度で生成することができる。
特に、請求項9の発明によれば、目標画像データおよび評価対象画像データにつき、周波数領域における一致度に基づいて画像処理手順の適応度を評価することができる。そのため、目標画像データ全体におけるノイズや周波数成分毎の分布を考慮した画像処理手順を生成することが可能となる。
請求項10の発明によれば、適応度の高い複数の画像処理手順のそれぞれから対応する処理結果画像データを生成することができる。そのため、使用者は、各処理結果画像データの中から最適なものを選択することが可能となる。
<1.画像処理装置の構成>
図1は、本発明の実施の形態に係る画像処理装置1の構成を概略的に示す図である。画像処理装置1は、読み込まれた画像データに対し、画像処理装置1の使用者(以下、単に、「使用者」または「ユーザ」と呼ぶ)が種々の画像処理を行うことができる装置である。画像処理装置1は、コンピュータによって実現されるのがその好適な一態様である。すなわち、画像処理装置1は、マウスやキーボードなどからなり、使用者からの入力操作を受け付ける操作部11と、ディスプレイからなる表示部12と、ハードディスクなどからなり、プログラム13pを含む記憶部13と、外部の装置との間で種々のデータの送受信を担う、例えば、LANやUSB接続などが可能なインターフェース部14と、DVD−RAMやDVD−RW、あるいはマイクロドライブなどといった可搬性の記録媒体との間でデータのリード/ライトを行うリード/ライト部15と、CPU16a、ROM16b、RAM16cなどからなる制御部16とを主として備えている。
図1は、本発明の実施の形態に係る画像処理装置1の構成を概略的に示す図である。画像処理装置1は、読み込まれた画像データに対し、画像処理装置1の使用者(以下、単に、「使用者」または「ユーザ」と呼ぶ)が種々の画像処理を行うことができる装置である。画像処理装置1は、コンピュータによって実現されるのがその好適な一態様である。すなわち、画像処理装置1は、マウスやキーボードなどからなり、使用者からの入力操作を受け付ける操作部11と、ディスプレイからなる表示部12と、ハードディスクなどからなり、プログラム13pを含む記憶部13と、外部の装置との間で種々のデータの送受信を担う、例えば、LANやUSB接続などが可能なインターフェース部14と、DVD−RAMやDVD−RW、あるいはマイクロドライブなどといった可搬性の記録媒体との間でデータのリード/ライトを行うリード/ライト部15と、CPU16a、ROM16b、RAM16cなどからなる制御部16とを主として備えている。
<2.画像処理装置の機能的構成>
図2は、画像処理装置1において実現される機能的構成について示す図である。画像処理装置1においては、記憶部13に格納されているプログラム13pがCPU16aによって実行されることにより、制御部16およびその他の各部の作用によって、機能的構成要素として、処理対象画像データ取得部21と、データ保持部22と、画像編集処理部23と、指示情報取得部24と、画像処理ライブラリ25と、画像処理手順自動生成部26とが主として実現される。
図2は、画像処理装置1において実現される機能的構成について示す図である。画像処理装置1においては、記憶部13に格納されているプログラム13pがCPU16aによって実行されることにより、制御部16およびその他の各部の作用によって、機能的構成要素として、処理対象画像データ取得部21と、データ保持部22と、画像編集処理部23と、指示情報取得部24と、画像処理ライブラリ25と、画像処理手順自動生成部26とが主として実現される。
また、画像処理装置1における種々の操作は、GUI(Graphical User Interface)制御により行われる。すなわち、操作部11を介して種々の処理用のメニューが表示部12に呼び出され、使用者はその表示内容に基づいて、処理条件の設定や処理の実行指示、処理状況などの表示部12への表示の指示、および、画像の編集作業などが行えるようになっている。
処理対象画像データ取得部21は、画像処理装置1における画像処理の対象である処理対象画像データD1を取得する処理を担う。処理対象画像データD1の取得は、例えば、使用者によって操作部11からなされる所定の実行指示に応答して、インターフェース部14を介して該画像データの格納元から直接に行う態様であってもよいし、該画像データを記憶した記憶媒体からリード/ライト部15にて取得する態様であってもよい。あるいは、複数の画像データをあらかじめ記憶部13に読み込んでおき、その中から使用者が処理対象画像データD1を選択する態様や、画像編集処理部23を利用して使用者によって作成または修正された画像データを直接読み込む態様であってもよい。さらに、これらの方法で取得した画像の一部の領域を指定し、該領域の画像データを処理対象画像データD1として用いる態様であってもよい。処理対象画像データ取得部21によって取得された処理対象画像データD1はデータ保持部22に格納される。
データ保持部22は、処理対象画像データ取得部21によって取得された処理対象画像データD1を格納するほか、後述する画像処理手順自動生成部26での処理を行う際の処理条件に関する情報であって、後述する指示情報取得部24によって取得される情報を指示情報D2として格納する。さらに、画像処理手順自動生成部26の処理結果として生成される処理結果画像データD3についても格納する。
データ保持部22に上述のような各種データを格納させておくことで、同じ処理対象画像データD1に対しての異なる条件での画像処理や、指示情報D2を変えずに異なる画像での画像処理、あるいは、処理条件を変えて行った複数の処理結果を処理結果画像データD3として格納させることができるようになっている。
なお、データ保持部22の具体的構成は、画像処理装置1とデータの授受ができる態様であれば、特に限定されるものではない。また、必ずしも画像処理装置1と一体に設けられる必要はなく、別体のものであってもよい。
画像編集処理部23は、画像に対して一般的な画像処理が行えるように構成されてなり、例えば、汎用な画像処理ソフトなどによって実現される機能的構成要素である。使用者は、操作部11の操作により画像編集処理部23に画像の編集内容を指示することで種々の一般的な画像編集を行うことができる。
指示情報取得部24は、処理対象画像データD1に基づいて画像処理手順自動生成部26の処理に際して用いる処理条件である指示情報D2を取得する処理を担う。画像処理手順自動生成部26では、詳細は後述するが、使用者が指定した処理条件、すなわち、指示情報D2に基づいて、該処理条件を満足するような画像処理手順が生成される。指示情報取得部24は、指示情報D2の取得を実現するため、編集領域画像データ取得部241と、目標画像データ取得部242と、非編集領域画像データ取得部243と、ユーザ意図情報取得部244とを備える。これらの機能的構成要素は、必要な画像や設定メニューを表示部12に表示させつつ、ユーザによって操作部11から入力された情報を取得する。
編集領域画像データ取得部241は、処理対象画像において、使用者が画像編集をしたいと考える領域の少なくとも一部分であって使用者によって指定された領域(編集領域:第1指定領域)の画像データ(編集領域画像データ)を取得する。すなわち、編集領域画像データ取得部241は、操作部11からの入力操作により指定された編集領域の画像データを、編集領域画像データとして取得する。使用者は、編集領域として矩形やその他の任意の形状の領域を少なくとも1つ指定する。また、編集領域の指定の指定の仕方は、処理対象画像のある1画素を指定し、該画素の階調値を基準として指定した値幅の範囲内の階調値を持つ画素を一括に指定し編集領域とする方法等を選択することもできる。
図3は、処理対象画像における編集領域の指定の一例を示す図である。また、図3は、図4にグレースケールにて示す写真画像IMを簡略かつ模式的に表した図である。図3において、IM1は処理対象画像を、矩形で囲まれた領域T1は使用者によって指定された編集領域を示す。また、(a)が示す砂地の領域は空の領域を模式的に表すものであり、他の(b)〜(d)の領域との階調値の違いが砂地でもって表されている。また、(b)が示す無地の領域は山の領域を、(c)が示す無地の領域は道の領域を模式的に表しており、階調値を無地で表している。(d)が示す斜線の領域は草原を示しており、他の(a)〜(c)の領域との階調値の違いが斜線をもって表わされている。なお、上述したように編集領域T1の形状は矩形に限られず任意であって構わない。
目標画像データ取得部242は、操作部11からの入力操作により指定された画像処理を編集領域画像データに施すとともに、処理結果を目標画像データとして取得する。すなわち、目標画像データ取得部242は、編集領域画像データ取得部241にて取得された編集領域画像に対して、使用者が所望の画像編集を行った画像である目標画像の画像データを取得する。
使用者が編集領域を複数指定した場合は、各領域を個別に画像編集してもよいし、指定した複数の編集領域に対して一括に同様の編集を行ってもよい。また、複数の編集領域において、各領域の編集内容に矛盾があっても(例えば、一方の編集領域では青色を赤くする画像編集が行われ、他方の編集領域では青色を黄色くする画像編集が行われた場合)構わない。なお、画像処理手順自動生成部26にて行われる処理では、画像編集の際に用いた画像処理の種類や方法、手順は問われない。
非編集領域画像データ取得部243は、処理対象画像データD1が示す画像において、使用者によって指定された領域であって、処理対象画像において使用者がそのままの画像を維持したいと考える領域(非編集領域:第2指定領域)の画像データ(非編集領域画像データ)を取得する。すなわち、非編集領域画像データ取得部243は、処理対象画像データD1のうち、操作部11からの入力操作によって指定された非編集領域の画像データを、非編集領域画像データとして取得する。なお、使用者は、処理対象画像のままの画像を維持したいと考える領域全てを指定する必要はなく、該領域の一部分を指定しさえすれば構わない。
図5は、図3の処理対象画像IM1に対して、使用者が編集領域T1に画像編集を行った画像領域T2(目標画像領域T2)と、さらに、使用者が指定した非編集領域T3とを含む画像IM2が示された図である。編集領域T1を編集した目標画像領域T2が太線で囲まれた領域として示されており、編集領域T1に対して目標画像領域T2は、空を示す領域(a)の階調値を濃くする画像編集が使用者によって行われた様子が示されている。また、非編集領域T3は点線で囲まれた領域として示されている。
ユーザ意図情報取得部244は、画像処理手順自動生成部26における処理を行うに際して、さらに、使用者によって設定可能な処理条件を取得する。主として、後述する評価指標値算出部263において実施される処理に関する処理条件を取得する。
画像処理ライブラリ25には、種々の画像処理フィルタが、画像処理手順自動生成部26で実行可能な形式にて記憶されている。これらの画像処理フィルタは、一般的な画像フィルタ、例えば、2値化のためのフィルタやSobelフィルタ、ラプラシアンフィルタ、画像合成フィルタなどであって、画像処理ライブラリ25には、基本的なものから高度のなものまでが蓄積されている。これらの画像処理フィルタは、画像処理手順自動生成部26によって必要に応じて適宜に読み出される。
画像処理手順自動生成部26(画像処理手順生成部)は、遺伝的プログラミングによって画像処理手順の自動生成処理を行う。すなわち、画像処理手順自動生成部26は、処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する。
画像処理手順の自動生成処理を行う際の種々の処理条件は、処理対象画像データD1、指示情報取得部24にて取得された指示情報D2、および、画像処理手順自動生成部26においてあらかじめ組み込まれている処理条件に基づく。ユーザ意図情報取得部244において、使用者による指定が任意である処理条件であって、特に指定されなかったものについては、画像処理手順自動生成部26にあらかじめ組み込まれている処理条件が用いられる。
図6は、本実施の形態で用いる画像処理手順を表す画像処理フィルタの組合せの一例を示す図である。図6に示される画像処理フィルタの組合せは、あらかじめ画像処理ライブラリ25に格納されている画像処理フィルタを任意の形の木構造状に組み合わせることによって構成される木構造の画像処理フィルタ群によってなり、入力画像Inから出力画像Outへの画像処理を実現するものである。
図6に示す木構造の画像処理フィルタ群は、木構造の末端部であって、入力画像Inの入力が行われるノード(節)である終端記号In1〜In4と、1つまたは複数の画像の入力手段と1つの画像の出力手段とをもつ画像処理フィルタである非終端記号F1〜F7、F10、F100との2種類のノードによって構成される。F1〜F7は1つの画像を入力する画像処理フィルタ、F10は2つの画像を入力する画像処理フィルタ、F100は3つの画像を入力する画像処理フィルタを表す非終端記号である。入力画像は木構造における全ての終端記号In1〜In4より入力され、画像処理フィルタF1〜F7、F10、F100で順次画像処理、画像合成され、最終的に、画像処理フィルタF100の処理を終えた1つの画像が出力される。このように木構造の画像処理フィルタ群は、終端記号と非終端記号の組合せにより、画像の領域や処理の目的毎に異なった複雑な画像処理手順を構築することができる。
入力画像がカラー画像、例えばRGB画像で表される画像の場合は、図6のような木構造の画像処理フィルタ群は、R、G、Bに対応した3つが必要となる。
図6において、画像処理フィルタF100による処理を終えて出力された出力画像Outは、入力画像Inの処理結果として理想とされる目標画像と比較される。出力画像Outが目標画像に近いほど、その木構造の画像処理フィルタ群が優れていると評価する。評価方法については後述する。このように、入力画像Inに適用すると目標画像Tarとほぼ同じ出力画像Outを出力することができる木構造の画像処理フィルタ群、すなわち、評価の高い木構造の画像処理フィルタ群の決定が、遺伝的アルゴリズム(あるいは、遺伝的アルゴリズムを用いた遺伝的プログラミング)を用いて、以下で説明する画像処理手順自動生成部26で行われる。
画像処理手順自動生成部26は、画像処理手順の自動生成を行い、処理結果画像データD3をデータ保持部22に出力する。画像処理手順自動生成部26は、その機能を実現するため、初期世代個体群生成部261と、処理済画像データ生成部262と、評価指標値算出部263と、次世代個体群生成部264と、停止判定部269とを備える。
初期世代個体群生成部261は、所定数N個(ただし、Nは所定の自然数であり、その値は任意に設定することができる)の個体(所定数N個の画像処理フィルタ群)を生成して、これを初期世代の個体群として取得する。初期世代の個体群の生成の際、木構造の画像処理アルゴリズムを構成する非終端記号の個数や画像処理フィルタの個数は、所定の範囲内でランダムに決定される態様であっても、あらかじめ規定されている態様であってもよい。各個体の生成は、具体的には、終端記号と非終端記号とをランダムに組み合わせることによって実現される。
処理済画像データ生成部262は、各個体が示す画像処理手順に従い、所定の画像に対して画像処理を行って、その処理結果画像データをデータ保持部22に出力する処理を担う。また、処理済画像データ生成部262においては、木構造の画像処理フィルタ群を画像に作用させる際に、処理対象画像全体に対して作用させることも、編集領域の画像に対してのみ作用させることも可能である。本実施の形態において、画像処理手順自動生成処理の最終的な処理結果の出力を除いては、編集領域画像に対して木構造の画像処理フィルタ群を作用させることによって処理速度の向上を図っている。
評価指標値算出部263は、算出された指標値に基づいて各画像処理手順の適応度を評価する。例えば、編集領域画像データのみが指定されている場合は、評価指標値算出部263は、画像処理手順によって画像処理された編集領域画像データを評価対象画像データとし、この評価対象画像データと、目標画像データとの一致度を表示する指標値(第1指標値)を評価値として算出するとともに、各画像処理手順に対応する指標値に基づいて各画像処理手順の適応度を評価する。
また、編集領域画像データと、非編集領域画像データと、が指定された場合、評価指標値算出部263は、画像処理手順によって画像処理された非編集領域画像データを評価対象画像データとし、この評価対象画像データと、目標画像データとして使用される非編集領域画像データと、の一致度を表示する指標値(第2指標値)を評価値としてさらに算出する。そして、評価指標値算出部263は、編集領域画像データに基づいて算出された第1指標値と非編集領域画像データに基づいて演算された第2指標値と、に基づいて各画像処理手順の適応度を評価する。
すなわち、評価指標値算出部263は、編集領域の画像に対して処理済画像データ生成部262の処理が施された画像(編集領域評価対象画像)と目標画像との類似の程度の評価、および、非編集領域の画像に対して処理済画像データ生成部262の処理が施された画像(非編集領域評価対象画像)と非編集領域画像との類似の程度を評価するための指標値を算出する処理を担う。
以下で述べる方法によって、2つの画像の類似の程度を評価する指標値を、各世代を構成するN個の個体のそれぞれについて算出する。指標値は、0に近いほど2つの画像の類似の程度が大きい、すなわち、評価として高くなり、大きな値を取る指標値ほど2つの画像が類似していないことを示す。
指標値を算出する一般的な方法としては、評価対象画像と目標画像あるいは非編集領域画像とで対応する各画素点における階調値の差分の絶対値、または差分の二乗値を算出し、これの値を画像全体で積算する方法(差分評価)がある。
この評価方法は、Hを指標値、x、yをそれぞれ画像の画素点(x、y)とし、P(x、y)を目標画像あるいは非編集領域画像における(x、y)での階調値、Q(x、y)を評価対象画像の(x、y)における階調値として、以下の式2で表される。Σは画像の全ての画素で和を取ることを示している。
式2に示すように、評価指標値算出部263は、評価対象画像データ(例えば、画像処理手順によって画像処理された編集領域画像データ)上の画素点における階調値と、目標画像データ(操作部11からの入力操作により指定された画像処理が施された編集領域画像データ)上の対応する画素点における階調値と、の差分2乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価する。これにより、評価指標値算出部263は、各画像処理手順の適応度を良好に評価することができる。
また、本実施の形態では、上記のような指標値の算出方法のみならず、他に以下の算出方法も用いる。
上記の評価方法以外に本実施の形態では、式2で表される評価式に画像の階調に応じて重み係数K(P(x、y))を組み込んだ評価方法によって指標値を算出することができる。これは、以下の式3によって表されるものである。
式3に示すように、評価指標値算出部263は、評価対象画像データ上の各画素点における階調値と、目標画像データ上の対応する画素点における階調値と、の差分2乗値または差分絶対値に、重み係数を乗じた値を、全画素点について総和した総和値に基づいて評価する。
図7は、重み係数Kの値の取り方についての一例を示す図である。図7においては、画像のハイライト部(高明度部)、あるいは、シャドウ部(低明度部)になるほど重み係数Kの値が大きくなるように、すなわち、評価対象編集領域画像と目標画像と、あるいは、評価対象非編集領域画像と非編集領域画像との比較に際して、ハイライト部とシャドウ部の画素値の違いが大きく評価されるように、重み係数Kが規定されている。コントラストの明確な部分は、画像全体を印象づける上重要な要因となっている。従って、このような重み係数Kを用いることによって、画像全体の印象に大きく影響する、画像のハイライト部とシャドウ部とにおける階調の変化は厳しく評価される一方、階調値の変化の目立ちにくい中間部については評価を緩くすることができる。なお、重み係数の選び方は上記のような選択に限られたものではなく、使用者が重要とする階調値の重みを大きくする態様であればよい。
また、本実施の形態では、評価対象編集領域画像と目標画像とを比較し指標値を算出する際に、評価対象編集領域画像と処理対象画像データD1との差異も考慮に入れ、式1で示す指標値を算出する方法も用いられる。
すなわち、O(x、y)を処理対象画像データ上の画素点(x、y)における階調値と、P(x、y)を目標画像データ上の画素点(x、y)における階調値と、Q(x、y)を評価対象画像データ上の画素点(x、y)における階調値と、Lを強調抑制係数Lと、それぞれ表した場合、評価指標値算出部263は、次の式1で示される評価値Hに基づいて評価する。
Lが1より大きいと編集した内容はより強調され、一方、Lが1より小さいと編集は抑制され処理対象画像に近くなる。また、Lが1のときは、強調も抑制もされない。使用者が編集した目標画像は、必ずしも正解であるとは限らず、このため、編集後に編集を強調したり抑制したりすることがある。このような強調や抑制の編集処理も考慮に入れた評価を実現するために基画像(処理対象画像)も考慮に入れた評価を行って指標値の算出を行う。
図8は、式1による評価による強調・抑制の効果を示す概念図である。Pは目標画像の階調値、Q1およびQ2はそれぞれ異なる処理済画像の階調値を示しており、Q1とPとの階調値の差の絶対値およびQ2とPとの階調値の差の絶対値とは等しいことが示す図である。また、評価領域画像の階調値はOで示されている。式2で表されるような通常の差分による画像評価では、目標画像の階調値Pに対して、異なる処理済画像の階調値Q1およびQ2に対する評価、すなわち、指標値は等しくなる。このような場合において、使用者は編集結果を強調したいのであれば、強調抑制係数Lを1より大きくすることによって目標画像の階調値PをP’の位置に押し上げることができる。これによって、Q1よりQ2の方がP’に近くなるため、Q2の方がQ1より高い適応値となる。すなわち、使用者は強調抑制係数Lを1より大きく設定することで、編集がより強調された画像が高い評価を得ることができるようになる。また、逆に強調抑制係数Lを1より小さくすると、目標画像の階調値PはP’’の位置に押し下げられることになり、より階調値の小さいQ1が、階調値の高いQ2より大きな適応値を持つものと評価される。したがって、強調抑制係数Lを1より小さい値に取ることで、目標画像に対してなされた編集を抑制された画像が高い評価、すなわち0に近い指標値を取ることができる。
また、本実施の形態では、評価対象編集領域画像と目標画像と、あるいは、評価対象非編集領域画像と非編集領域画像とについて濃度ヒストグラムを作成し、該濃度ヒストグラムにおける分布をそれぞれ比較することによって指標値を算出することができる。i(i=0〜255)を階調値、hp(i)を目標画像の濃度ヒストグラム、hq(i)を評価対象編集領域画像の濃度ヒストグラムとすると、以下の式4によって目標画像と処理対象編集領域画像との比較、あるいは、非編集領域画像と処理対象非編集領域画像との比較を行う。
式4に示すように、評価指標値算出部263は、評価対象画像データのヒストグラム(第1濃度ヒストグラム)と、目標画像データのヒストグラム(第2濃度ヒストグラム)について、第1濃度ヒストグラムの各階調値における度数値と、第2濃度ヒストグラムの対応する階調値における度数値と、の差分2乗値または差分絶対値を、全階調値について総和した総和値に基づいて評価する。
このような濃度ヒストグラムを用いた評価方法は、画像全体の階調のバランスを編集結果に一致させたい場合に用いるのが有効である。例えば、処理結果として基の画像の2値化画像のような画像、すなわち、ハイライト部とシャドウ部に画素が偏った画像にしたい場合に用いると有効な評価方法である。従来の評価方法では、ある領域と似通った領域のみ編集されるような画像処理フィルタ群の評価が高くなる傾向があるが、濃度ヒストグラムによる評価方法を用いることで、編集した領域の位置の影響を受けないような結果を得られる。
また、画像抽出したエッジ成分同士を比較することにより指標値の算出を行うことが可能である。エッジ画像によって重み付けを行う方法(式5)や、エッジ画像同士で直接比較する方法(式6)によって指標値を算出することができる。エッジ画像は一般的なラプラシアンフィルタなどで生成する。
エッジ重み係数E(x、y)を目標画像P(x、y)から抽出したエッジ画像とすると、エッジ画像によって重み付けを行う指標値の算出は、式5によって行われる。
すなわち、式5は、式3の重み係数K(P(x、y))として、評価対象画像データにエッジ抽出処理を施したエッジ抽出画像データにつき、このエッジ画像データ上の対応する画素点の階調値E(x、y)を使用している。
式5の重み係数Eは、式2および式3が示す指標値の算出方法と違いエッジ画像に依存したものであるので、よりシャープな画像を高く評価できる。すなわち、画像において、階調値の変化の緩やかな部分の重要度を低くして指標値の算出を行う。従って、使用者が、目標画像の設定を行う際の画像編集で、シャープネス強調処理などを行った場合であって、画像の鮮鋭度を一致させたいと考える場合に有効な評価方法である。
また、評価対象編集領域画像と目標画像との、あるいは、評価対象非編集領域画像と非編集領域画像との、エッジ画像同士を直接比較する演算式は、Eq(x、y)を評価対象編集領域画像あるいは評価対象非編集領域画像におけるエッジ抽出画像、Ep(x、y))を目標画像あるいは非編集領域画像のエッジ抽出画像とすると、式6で示される。
式6に示すように、評価指標値算出部263は、エッジ抽出処理が施された評価対象画像データ上の各画素点における階調値と、エッジ抽出処理が施された目標画像データ上の対応する画素点における階調値と、の差分2乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価する。
この評価方法は、目標画像と処理対象編集領域画像との重なりの程度が大きい場合に高い評価をする評価方法であり、画像をゆがめるような編集を行うときに有効なものである。
また、比較を行う画像の周波数成分を取り出し、該周波数成分の差異を比較して指標値を算出することもできる。すなわち、評価指標値算出部263は、評価対象画像データを周波数領域に変換した画像データ(第1画像データ)と、目標画像データを周波数領域に変化した画像データ(第2画像データ)と、に基づいて評価する。この場合、編集箇所にとらわれず、画像全体のノイズや周波数成分毎の分布を合わせたい場合には、周波数成分を求めて指標値を算出する方法を用いることが有効である。周波数成分の算出には一般的なフーリエ変換等を用いる。
なお、上記の指標値の算出方法を複数用いることも可能である。これは、指標値の算出式の合成や、指標値の平均を取ることで実現される。例えば、使用者が、編集領域画像に対して、画像編集としてシャープネス処理を行った際には、エッジ抽出画像によって重み付けを行う方法(式5)とエッジ画像同士で直接比較する方法(式6)との組合せによって指標値を算出したり、さらに、色の修正も行った場合には、差分評価(式2)や重み係数Kを用いた差分評価(式3)で示される方法も組み合わせることにより、指標値を算出することが可能である。
以上の評価方法は、ユーザ意図情報取得部244において、使用者に選択させる。
次世代個体群生成部264(次世代画像処理手順生成部)は、評価指標値算出部263によって適応度が高いと判断される画像処理手順について、この画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する。例えば、次世代個体群生成部264は、同世代のN個の個体群に対して、後述する種々の遺伝子操作(自然淘汰、交叉、突然変異、エリート戦略)を行うことによって、あらたなN個の個体群を生成する。図2に示すように、次世代個体群生成部264は、その機能を実現するため、選択確率算出部265と、交叉処理部266と、突然変異処理部267と、エリート戦略処理部268とを備える。
選択確率算出部265は、同世代のN個の個体群に対して遺伝子操作を行うときに、どの個体に対して優先的に遺伝子操作を行うか示す選択確率を自然淘汰の原理に基づいて決定する。自然淘汰の原理とは、優秀な個体の遺伝子を優先的に次世代の個体に引き継がせていく原理であり、この場合は、同世代のN個の個体の中で、指標値が0に近い(評価の高い)個体ほど選択される確率を高くすることによって実現される。例えば、ある個体の指標値の逆数をその世代の全個体の指標値の逆数の和で割った値を用いる(ルーレット選択)。これは、個体iの指標値の逆数をfiとして、個体iが選ばれる確率をpiとすると、以下の式7で表される。
ルーレット選択による選択確率の決定は、指標値が0に近い個体のみならず、指標値が相対的に大きい個体についても選択されるので、生成される個体群の多様性を維持することが可能となる。
また、選択確率の決定方法については他の方法であってもよい。例えば、各個体を指標値の0に近い順に順位をつけ、順位毎に選択確率をあらかじめ決めておく方法(ランキング選択)や、あらかじめ決めた数だけ個体群の中からランダムで個体を取り出し、その中で最も指標値が0に近い個体を選択する方法(トーナメント選択)などが一般的によく用いられる。
交叉処理部266は、ペアとされた2つの個体を交叉させて、新たな個体を生成する処理を行う。所定の交叉位置(ただし、交叉位置は、木構造状の画像処理フィルタ群を構成する各ノードからランダムに選択された位置とする)より末端部分の部分木を入れ替えて、新たな個体を生成する処理である。これにより、各ペアからあらたな個体が2つ生成されることになる。
図9は、木構造の画像処理フィルタ群における交叉の一例を模式的に示す図である。図9においては、(a)と(b)とに示される個体が交叉させられ、あらたに(c)と(d)に示される個体が生成される様子が示されている。(a)において交叉位置としてp1が、(b)において交叉位置としてp2がランダムに選択され、(a)に示された木構造の画像処理フィルタ群のp1の位置より末端部分の部分木と、(b)に示された木構造の画像処理フィルタ群のp2の位置より末端部分の部分木とが、交叉させられることによって(c)と(d)に示される個体があらたに生成される。
また、前述したように、ペアの選択は選択確率算出部265において決定された選択確率に基づいて行われるため、指標値が0に近い個体同士の交叉が行われる確率が高くなる。従って、交叉により生成された個体は指標値が0に近い個体ができやすい。これにより、世代が進むにつれて指標値が大きい個体が自然淘汰されていき、各世代における指標値平均は0に近づいていくものと思われる。
突然変異処理部267は、交叉により新たに生成された個体群の各ノードに対して、所定の確率(任意の確率値に設定可能である)でノードの変更や部分木の変更を行う。また、該ノードより末端部分のノードの削除を突然変異の内容として実施することもある。突然変異を行う個体も、突然変異の内容もランダムに決められる。
図10は、木構造の画像処理アルゴリズムにおける突然変異の一例を模式的に示す図である。(a)は、木構造の画像処理フィルタ群において、ノードp5が突然変異の処理を行う位置として選択された様子を示している。また、(b)においては、p5で示される部分を、ランダムに生成されたp6で示される部分木に交換することによって、突然変異が実現されている。このように、木構造の画像処理フィルタ群におけるノードや部分木がランダムに変更されることによって、個体群の遺伝子の偏りを緩和することができる。
エリート戦略処理部268は、各世代において指標値の0に近い個体(エリート)をそのまま次の世代に残す処理を行う。これにより、指標値の最小値が大きくならないようにすることができる。次世代に残すエリート個体の数は任意であるが、エリートの遺伝子が集団の中に広まりすぎて個体群の多様性が失われるという恐れが出ない程度に調整される。
停止判定部269は、所定の停止条件を満たしているか否かを判定し、その判定によってあらたな個体群の生成を終了する。停止条件は、個体群の指標値の最小値が規定値を下回ったこと、世代数が規定値に達したことによって規定する態様であってもよいし、処理状況を表示部12で使用者が参照し、使用者の意志で終了させる態様であってもよい。使用者の意志で終了させる態様としては、例えば、各世代のエリート個体が表す画像処理フィルタ群を編集領域画像データや処理対処画像データに作用させ、結果の画像を表示部12に表示し、使用者が視認して納得のいく画像となった時点で画像処理手順の自動生成処理を終了すればよい。
このように、画像処理手順自動生成部26について、評価指標値算出部263による指標値の算出、および、次世代個体群生成部264による新たな画像処理手順の作成は、所定の停止条件を満たすまで実行される。
図11および図12は、上記の指示情報D2に基づいて、画像処理手順自動生成部26にて生成された画像処理手順によって生成された処理結果画像データD3の例であるIM3およびIM4を示す図である。図11、図12において、(a)〜(d)の領域は、図3および図5と同様の領域を表している。図11および図12ではともに、(a)の領域においては、図5における目標画像領域T2の編集内容が反映された画像処理が行われている。すなわち、領域(a)全体が濃い砂地になるような処理結果になっている。また、図5における非編集領域画像T3で指定された領域を含む領域(d)については、非編集領域画像T3を反映した処理結果、つまり、斜線で表される画像が領域(d)全体で保たれるような処理結果になっている。
一方、領域(b)に関しては、図11においては図5の領域(b)と同じ処理結果となっており、また、図12においては、図5の領域(b)とは異なる処理結果になっている。これは、評価指標値算出部263において、各個体の指標値が算出される際に用いられる画像は、図5における目標画像と非編集領域画像とであって、領域(b)が異なるだけのIM3とIM4とを生成する画像処理フィルタ群の指標値は同じ値をとるためである。
本実施の形態において、指標値が高い複数の処理結果画像を処理結果として表示部12に表示することにより、使用者がより望んでいる処理結果を選択することができる他、ユーザ意図情報取得部244において取得された、評価方法の種類や複数用いるかどうかの情報によって、編集領域あるいは非編集領域として指定されていない領域についても、精度よく使用者が望む処理結果画像に近い画像を生成可能にしている。
<3.画像処理装置における処理の流れ>
図13は、画像処理装置1において行われる処理の概略的な流れを示す図である。始めに、画像処理装置1の画像処理の対象となる画像データを処理対象画像データD1として、処理対象画像データ取得部21が取得する(ステップS1)。具体的には、画像処理装置1の使用者が画像処理の対象としたい画像データを特定し、操作部11によって処理対象画像データ取得部21に画像データの取得指示を与える。処理対象画像データ取得部21が係る指示に応答して、該画像データを読み込むことで処理対象画像データD1が処理対象画像データ取得部21によって取得される。取得された処理対象画像データD1は、データ保持部22に一時的に保持されるとともに表示部12に表示される。
図13は、画像処理装置1において行われる処理の概略的な流れを示す図である。始めに、画像処理装置1の画像処理の対象となる画像データを処理対象画像データD1として、処理対象画像データ取得部21が取得する(ステップS1)。具体的には、画像処理装置1の使用者が画像処理の対象としたい画像データを特定し、操作部11によって処理対象画像データ取得部21に画像データの取得指示を与える。処理対象画像データ取得部21が係る指示に応答して、該画像データを読み込むことで処理対象画像データD1が処理対象画像データ取得部21によって取得される。取得された処理対象画像データD1は、データ保持部22に一時的に保持されるとともに表示部12に表示される。
続いて、使用者が、表示部12に表示された処理対象画像に対して画像編集を行ったり、種々の項目からの選択や、パラメータ値を入力することによって、画像処理手順自動生成部26での処理に必要な処理条件である指示情報D2が、指示情報取得部24によって取得される(ステップS2)。
図14は、ステップS2における指示情報D2取得の処理の流れの詳細を示す図である。まず、編集領域画像データの取得が、編集領域画像データ取得部241で行われる(ステップS21)。
続いて、使用者によって編集された編集領域の画像データが、目標画像データとして、目標画像データ取得部242によって取得される(ステップS22)。ステップS21で指定した編集領域の画像に行う編集は、例えば、色相や明るさの変更、シャープネスの変更などや、異なる画像の挿入や描画・レタッチなどである。これらの編集過程は表示部12に逐次表示される。
続いて、使用者によって指定された非編集領域の画像データが非編集領域画像データ取得部243によって取得される(ステップS23)。
続いて、使用者によって設定されたユーザ意図情報の取得がユーザ意図情報取得部244によって取得される(ステップS24)。
指示情報取得部24は、ステップS21〜ステップS24にて取得された情報を指示情報D2としてデータ保持部22へ送信する。
なお、指示情報D2の取得の流れは、図14に示され流れに限定されるものではなく、例えば、非編集領域画像データの取得(ステップS23)が、編集領域画像データの取得(ステップS21)や目標画像データ(ステップS22)より先に行われる態様であっても、ユーザ意図情報の取得(ステップS24)の処理を他のステップより先に行われる態様であってもよい。
続いて、図13に戻って、画像処理手順自動生成部26にて、ステップS2で取得された指示情報に基づいて生成された木構造の画像処理フィルタ群を処理対象画像データD1に作用させた処理結果として、処理結果画像データD3が生成されデータ保持部22へ出力される(ステップS3)。
図15は、画像処理手順自動生成部26における処理の詳細な流れを示す図である。はじめに、初期世代個体群生成部261が、初期世代を構成するN個の個体を生成する(ステップS31)。ここで生成された各個体は、上述した通り、ランダムに選択された終端記号と非終端記号の組合せによって生成される。木構造状の染色体を、木の構造、入力画像の色、画像処理フィルタ、染色体の長さ、を全てランダムにして生成される。
続いて、処理済画像データ生成部262が、ステップS31において生成された初期世代の各個体が示す画像処理フィルタ群を、ステップS2の処理で取得された編集領域画像データおよび非編集領域画像データに対して作用させる(ステップS32)。これにより、各個体に対応した、それぞれ評価対象編集領域画像データ、および、評価対象非編集領域画像データを生成される。
続いて、評価指標値算出部263において、各個体に対応した、評価対象編集領域画像データと評価対象非編集領域画像データとが、それぞれ、目標画像データと非編集領域画像データと比較され、各個体の指標値が算出される(ステップS33)。
続いて、停止判定部269にて、ステップS33で算出された初期世代のN個の各個体の指標値のうち、最も大きな指標値を持つ個体の指標値が、あらかじめ規定された値より大きいか小さいかが判断される(ステップS34)。初期世代の個体の指標値のうち最も小さい値が規定された値を下回ったときはステップS341の処理へ進み、大きいときはステップS347の処理へ進む。ステップS347については後述する。
続いて、選択確率算出部265において、以下で行われる交叉や突然変異の処理を実施する際に、どの個体を優先的に選択して該処理が行われるかの確率である選択確率が、各個体の指標値に基づいて算出される(ステップS341)。
続いて、交叉処理部266にて、所定の個体数を生成するまで交叉が行われる。選択確率に基づいて選ばれた2個体からあらたな個体が生成される(ステップS342)初期世代のN個の個体から、Nが偶数の場合は(N/2)−1組のペアが生成され、Nが奇数の場合は、(Nー1)/2組のペアが生成される。ペアになった2つの個体を交叉させてあらたな個体を生成する処理が交叉処理部266で行われる。ペアを作る際には、ステップS341で算出された選択確率を用いて選択された2つの個体で行い(Nが偶数の場合は、N−2個、Nが奇数の場合は、N−1個の個体を選択する)、選択されたN−2個(奇数の場合はN−1個)個体から、互いに異なる2つの個体をペアとして、(N/2)−1組(Nが奇数の場合は、(N−1)/2組)のペアを生成する。生成されたペアの各個体において、ランダムに選ばれたノードに対して、該ノードより末端部分の部分木を2個体間で交換する。以上により、Nが偶数の個体に対しては、N−2個の個体が、Nが奇数のとき個体に対してはN−1個の個体が交叉によりあらたに生成される。
続いて、突然変異処理部267が、ステップS342で生成された各個体の各ノードに対して、所定の確率で突然変異を起こす(ステップS343)。
さらに、エリート戦略により生成される次世代の個体数が初期世代の個体数Nと等しくなるようにエリート個体の選出がエリート戦略処理部268によって行われる(ステップS344)。ステップS342における交叉によって生成された個体数がN−2個のとき、エリート戦略によって1個の個体を補充するとともに、次に指標値が0に近い固体を1つ残すか、または、ランダムに生成した遺伝子を補充する。一方、生成された個体数(N−1)個の場合、エリート戦略によって1個の個体を補充する。ステップS342〜ステップS344の処理で、初期世代のN個の個体からあらたなN個の個体が生成され、これらは第2世代の個体とされる。
続いて、停止判定部269が、ステップS341〜S344までで生成されたあらたな個体に対して、所定の世代(第G世代)の個体が生成されたか否かを判断する(ステップS345)。すなわち、ステップS32〜S344までの処理が所定回数(G−1回)実行されたか否かを判断する。ステップS345において、第G世代の個体が生成されていないと判断された場合、再びステップS32の処理に戻る。ステップS32に戻ったのちは、第2世代の個体群に対してあらたに第3世代を構成する個体群が生成されることになる。
続いて、ステップS345において、第G世代の個体が生成されたと判断された場合、各個体に対して、ステップS32およびステップS33で行われた処理と同様の処理によって、各個体の指標値が算出され、指標値の低い個体が抽出される。また、ステップS34において、指標値が規定値を下回った場合も指標値の低い固体が抽出される(ステップS346)。すなわち、処理済画像データ生成部262が、生成された初期世代の各個体が表す画像処理フィルタ群を、編集領域画像データおよび非編集領域画像データに対して作用させ、それぞれ評価対象編集領域画像データ、および、評価対象非編集領域画像データを生成し、それぞれを比較することで各個体に対する指標値が算出される。各個体のうち、算出された指標値の小さな順に個体を少なくとも1つ所定数抽出する。また、所定の指標値を下回る値を持つ個体を抽出する態様であってもよい。
なお、上記においては、次世代の個体は、指標値に基づいて自然淘汰の原理によって選択された個体からペアを作り、そのペアを交叉させて生成する構成としているが、次世代の個体の生成方法はこれに限らない。例えば、指標値の小さい個体をそのまま次世代の個体として残す方法(エリート戦略)を採用してもよい。また、ランダムに次世代の個体を生成する方法を採用してもよい。
ステップS346において抽出された個体が示す画像処理フィルタ群を、処理対象画像データD1に作用させ、処理対象画像全体に対して画像処理が行われた画像を生成し、処理結果を処理結果画像データD3として、データ保持部22に出力する(ステップS347)。
続いて、図13に戻って、データ保持部22に保持された処理結果画像データD3が、表示部12に表示される(ステップS4)。使用者は、表示部12に表示された処理結果画像を確認するとともに、処理結果画像が複数出力された場合は、もっとも望ましい処理結果である画像を選択することができる。以上で、画像処理装置における処理を終了する。
<4.本実施の形態における画像処理装置の利点>
以上のように、本実施の形態の画像処理装置1において、使用者は、(1)処理対象画像データD1の一部分として編集領域画像データを指定するとともに、(2)この編集領域画像データに使用者所望の画像処理が施された目標画像データを作成するだけで、遺伝的プログラミングに基づき、所望の処理結果を可能とする画像処理手順を得ることができる。そのため、画像処理に関する知識を有しない使用者であっても、高度な画像編集処理を容易に実行することが可能となる。また、画像処理に関する高度な知識を有する使用者は、画像編集作業の工数を低減させることができ、使用者の作業効率を向上させることができる。
以上のように、本実施の形態の画像処理装置1において、使用者は、(1)処理対象画像データD1の一部分として編集領域画像データを指定するとともに、(2)この編集領域画像データに使用者所望の画像処理が施された目標画像データを作成するだけで、遺伝的プログラミングに基づき、所望の処理結果を可能とする画像処理手順を得ることができる。そのため、画像処理に関する知識を有しない使用者であっても、高度な画像編集処理を容易に実行することが可能となる。また、画像処理に関する高度な知識を有する使用者は、画像編集作業の工数を低減させることができ、使用者の作業効率を向上させることができる。
また、本実施の形態の画像処理装置1は、処理対象画像データD1の一部分として非編集領域画像データを指定するとともに、非編集領域画像データ、および処理対象画像データ上において非編集領域画像データと同様な属性(明度等)を有する画像データに対して、画像処理が施されることを抑制できる。そのため、使用者のニーズにさらに適合した処理結果を得ることができる。
<5.変形例>
非編集領域画像データ取得部243によって取得される非編集領域画像データが、使用者の指定する非編集領域の基づくものではなく、使用者が指定した目標画像データに基づいて、非編集領域画像データ取得部243にて自動で決定される態様であってもよい。例えば、目標画像から特徴量(周波数成分やヒストグラム、階調値など)を抽出し、処理対象画像において、抽出した目標画像の特徴量と最も異なる領域を自動で抽出する態様であってもよい。
非編集領域画像データ取得部243によって取得される非編集領域画像データが、使用者の指定する非編集領域の基づくものではなく、使用者が指定した目標画像データに基づいて、非編集領域画像データ取得部243にて自動で決定される態様であってもよい。例えば、目標画像から特徴量(周波数成分やヒストグラム、階調値など)を抽出し、処理対象画像において、抽出した目標画像の特徴量と最も異なる領域を自動で抽出する態様であってもよい。
さらに、位置が近い(例えば、使用者が指定した編集領域の2倍の範囲内)複数の編集領域同士の外接矩形を取り、そこから該複数の編集領域を除いた領域を非編集領域とする態様であってもよい。
また、ユーザ意図情報取得部244において、各世代のエリート個体によって生成される画像の表示の可否を指定可能な態様であってもよい。
また、使用者が、画像処理手順自動生成部26における処理中に指示情報D2を変更、あるいは、追加する態様であってもよい(突然変異)。
さらに、処理の途中過程で、エリート個体を作用させた画像を見て、評価方法、あるいは、指示情報D2の変更や追加、画像処理アルゴリズム自動生成処理の終了を指定できる態様であってもよい。
また、初期世代の個体群の生成や、突然変異を起こすノードの選択などに用いるランダム値を変更したうえで同様の画像処理アルゴリズム自動生成処理を複数回行い、複数の処理結果を表示し、その中から最適である処理結果画像を使用者に選択させる態様であってもよい。
また、交叉を行う際のペアの数やエリート戦略として残す個体の数は、各世代の個体数Nが保たれるのであれば、任意の数に変更可能である。
使用者が編集した意図により、画像評価方法が選択される。例えば、画像全体のバランスの一致や、テクスチャの一致を重視、ノイズの除去、などに対応した評価方法を、上述の評価方法の組合せをあらかじめ設定しておき、これを使用者が選択する態様であってもよい。
1 画像処理装置
21 処理対象画像データ取得部
24 指示情報取得部
26 画像処理手順自動生成部
D1 処理対象画像データ
D2 指示情報
D3 処理結果画像データ
IM1 処理対象画像
T1 編集領域
T2 目標画像領域
T3 非編集領域
IM3 処理結果画像
IM4 処理結果画像
21 処理対象画像データ取得部
24 指示情報取得部
26 画像処理手順自動生成部
D1 処理対象画像データ
D2 指示情報
D3 処理結果画像データ
IM1 処理対象画像
T1 編集領域
T2 目標画像領域
T3 非編集領域
IM3 処理結果画像
IM4 処理結果画像
Claims (12)
- 処理対象画像データに対して画像処理を実行する画像処理装置であって、
(a) 使用者からの入力操作を受け付ける操作部と、
(b) 前記処理対象画像データのうち、前記操作部からの入力操作により指定された第1指定領域の画像データを、編集領域画像データとして取得する編集領域画像データ取得部と、
(c) 前記操作部からの入力操作により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する目標画像データ取得部と、
(d) 前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する画像処理手順生成部と、
を備え、
前記画像処理手順生成部は、
(d-1) 前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第1指標値を評価値として算出するとともに、各画像処理手順に対応する前記第1指標値に基づいて各画像処理手順の適応度を評価する評価指標値算出部と、
(d-2) 前記評価指標値算出部によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する次世代画像処理手順生成部と、
を有するとともに、
前記画像処理手順生成部による前記第1指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
(e) 前記処理対象画像データのうち、前記操作部からの入力操作によって指定された第2指定領域の画像データを、非編集領域画像データとして取得する非編集領域画像データ取得部と、
をさらに備え、
前記評価指標値算出部は、
前記画像処理手順によって画像処理された前記非編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとして使用される前記非編集領域画像データと、の一致度を表示する第2指標値を評価値としてさらに算出するとともに、
前記第1および第2評価指標値に基づいて各画像処理手順の適応度を評価することを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記評価指標値算出部は、
前記評価対象画像データ上の画素点における階調値と、
前記目標画像データ上の対応する画素点における階調値と、
の差分2乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記評価指標値算出部は、
前記評価対象画像データ上の各画素点における階調値と、
前記目標画像データ上の対応する画素点における階調値と、
の差分2乗値または差分絶対値に、重み係数を乗じた値を、全画素点について総和した総和値に基づいて評価することを特徴とする画像処理装置。 - 請求項4に記載の画像処理装置において、
前記重み係数は、前記評価対象画像データにエッジ抽出処理を施したエッジ抽出画像データにつき、該エッジ画像データ上の対応する画素点の階調値であることを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記評価指標値算出部は、次の式1で示される評価値Hに基づいて評価することを特徴とする画像処理装置。
- 請求項1または請求項2に記載の画像処理装置において、
前記評価指標値算出部は、前記評価対象画像データの第1濃度ヒストグラムと、前記目標画像データの第2濃度ヒストグラムにつき、
第1濃度ヒストグラムの各階調値における度数値と、
第2濃度ヒストグラムの対応する階調値における度数値と、
の差分2乗値または差分絶対値を、全階調値について総和した総和値に基づいて評価することを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記評価指標値算出部は、
エッジ抽出処理が施された前記評価対象画像データ上の各画素点における階調値と、
エッジ抽出処理が施された前記目標画像データ上の対応する画素点における階調値と、
の差分2乗値または差分絶対値を、全画素点について総和した総和値に基づいて評価することを特徴とする画像処理装置。 - 請求項1または請求項2に記載の画像処理装置において、
前記評価指標値算出部は、
前記評価対象画像データを周波数領域に変換した第1画像データと、
前記目標画像データを周波数領域に変化した第2画像データと、
に基づいて評価すること特徴とする画像処理装置。 - 請求項1ないし請求項9のいずれかに記載の画像処理装置において、
前記所定の停止条件を満たした場合、許容範囲内となる評価値に対応する画像処理手順を選択し、該選択された画像処理手順により画像処理された前記処理対象画像データを処理結果画像データとすることを特徴とする画像処理装置。 - 処理対象画像に所定の処理を行う画像処理方法であって、
(a) 使用者からの入力操作を受け付ける工程と、
(b) 前記処理対象画像データのうち、前記工程(a)により指定された第1指定領域の画像データを、編集領域画像データとして取得する工程と、
(c) 前記工程(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する工程と、
(d) 前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する工程と、
を備え、
前記工程(d)は、
(d-1) 前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第1指標値を評価値として算出するとともに、各画像処理手順に対応する前記第1指標値に基づいて各画像処理手順の適応度を評価する工程と、
(d-2) 前記工程(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する工程と、
を有するとともに、
前記工程(d)による前記第1指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行されることを特徴とする画像処理方法。 - 処理対象画像に対して画像処理を実行させるコンピュータ読み取り可能なプログラムであって、
前記コンピュータのCPUに、
(a) 使用者からの入力操作を受け付ける機能と、
(b) 前記処理対象画像データのうち、前記機能(a)により指定された第1指定領域の画像データを、編集領域画像データとして取得する機能と、
(c) 前記機能(a)により指定された画像処理を前記編集領域画像データに施すとともに、処理結果を目標画像データとして取得する機能と、
(d) 前記処理対象画像データに対して所定の順序で実行される複数の画像処理を、画像処理手順として生成する機能と、
を実現させ、
前記機能(d)は、
(d-1) 前記画像処理手順によって画像処理された前記編集領域画像データを評価対象画像データとし、該評価対象画像データと、前記目標画像データとの一致度を表示する第1指標値を評価値として算出するとともに、各画像処理手順に対応する前記第1指標値に基づいて各画像処理手順の適応度を評価する機能と、
(d-2) 前記機能(d-1)によって適応度が高いと判断される画像処理手順につき、該画像処理手順中の画像処理が優先的に含まれるよう、遺伝的プログラミングによって新たな画像処理手順を生成する機能と、
を有するとともに、
前記機能(d)による前記第1指標値の算出および前記新たな画像処理手順の作成は、所定の停止条件を満たすまで実行させることを特徴とするコンピュータ読み取り可能なプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007326348A JP2009151371A (ja) | 2007-12-18 | 2007-12-18 | 画像処理装置、画像処理方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007326348A JP2009151371A (ja) | 2007-12-18 | 2007-12-18 | 画像処理装置、画像処理方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009151371A true JP2009151371A (ja) | 2009-07-09 |
Family
ID=40920496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007326348A Pending JP2009151371A (ja) | 2007-12-18 | 2007-12-18 | 画像処理装置、画像処理方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009151371A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016045870A (ja) * | 2014-08-26 | 2016-04-04 | 大日本印刷株式会社 | 画像処理方法および画像処理装置 |
JP2016062269A (ja) * | 2014-09-17 | 2016-04-25 | 富士通株式会社 | アルゴリズム生成装置、アルゴリズム生成方法及びアルゴリズム生成用コンピュータプログラム |
JP2017162069A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社Screenホールディングス | 最適化方法、最適化装置、プログラムおよび画像処理装置 |
US10062007B2 (en) | 2015-06-26 | 2018-08-28 | Fujitsu Limited | Apparatus and method for creating an image recognizing program having high positional recognition accuracy |
US10303447B2 (en) | 2014-06-19 | 2019-05-28 | Fujitsu Limited | Program generating apparatus and method therefor |
CN112767318A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 一种图像处理效果的评价方法、装置、存储介质及设备 |
US20230098745A1 (en) * | 2021-09-24 | 2023-03-30 | Sap Se | Efficient support for automatic generation of a partially-editable dataset copy |
-
2007
- 2007-12-18 JP JP2007326348A patent/JP2009151371A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303447B2 (en) | 2014-06-19 | 2019-05-28 | Fujitsu Limited | Program generating apparatus and method therefor |
JP2016045870A (ja) * | 2014-08-26 | 2016-04-04 | 大日本印刷株式会社 | 画像処理方法および画像処理装置 |
JP2016062269A (ja) * | 2014-09-17 | 2016-04-25 | 富士通株式会社 | アルゴリズム生成装置、アルゴリズム生成方法及びアルゴリズム生成用コンピュータプログラム |
US10062007B2 (en) | 2015-06-26 | 2018-08-28 | Fujitsu Limited | Apparatus and method for creating an image recognizing program having high positional recognition accuracy |
JP2017162069A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社Screenホールディングス | 最適化方法、最適化装置、プログラムおよび画像処理装置 |
CN112767318A (zh) * | 2020-12-31 | 2021-05-07 | 科大讯飞股份有限公司 | 一种图像处理效果的评价方法、装置、存储介质及设备 |
CN112767318B (zh) * | 2020-12-31 | 2023-07-25 | 科大讯飞股份有限公司 | 一种图像处理效果的评价方法、装置、存储介质及设备 |
US20230098745A1 (en) * | 2021-09-24 | 2023-03-30 | Sap Se | Efficient support for automatic generation of a partially-editable dataset copy |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5157768B2 (ja) | 画像処理装置および方法、並びにプログラム | |
CN109712165B (zh) | 一种基于卷积神经网络的同类前景图像集分割方法 | |
JP5045619B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2009151371A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5173898B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
US8013870B2 (en) | Image masks generated from local color models | |
US11790484B2 (en) | Two-dimensional scalar field data visualization method and system based on colormap optimization | |
US7593020B2 (en) | Image editing using image-wide matting | |
US9697583B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP2011034178A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
EP3365867B1 (en) | Performing segmentation of cells and nuclei in multichannel images | |
CN110580696A (zh) | 一种细节保持的多曝光图像快速融合方法 | |
JP5617841B2 (ja) | 画像処理装置、画像処理方法および画像処理用プログラム | |
US8000553B2 (en) | Acquiring a series of gradient stops from a bitmap source | |
CN111274145A (zh) | 关系结构图生成方法、装置、计算机设备及存储介质 | |
Ravuri et al. | Deep no-reference tone mapped image quality assessment | |
JP2015064625A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP4599730B2 (ja) | 画像領域抽出装置 | |
Lu et al. | Multi-stage generation of tile images based on generative adversarial network | |
JP4248947B2 (ja) | 画像減色装置、画像減色方法および画像減色プログラム | |
JP6253962B2 (ja) | 情報処理装置及び方法 | |
JP6196517B2 (ja) | 目標画像生成支援装置、目標画像生成支援方法およびプログラム | |
JP6711031B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP2010257257A (ja) | 遺伝的処理装置、遺伝的処理方法およびプログラム | |
JP6375778B2 (ja) | 画像処理方法および画像処理装置 |