JP2008084076A - 画像処理装置、方法およびプログラム - Google Patents

Abstract

【課題】画像全体に亘って最適なラベル割り当てを行って画像処理を高精度に行うこと。
【解決手段】画像処理装置において、対象画像を複数の領域に分割する領域分割部１１２と、対象画像上の点と参照画像上の点とを対応付けるためのモデルであって、複数のモデルパラメータ及びモデルを識別するためのモデル識別ラベルを含む複数のパラメトリックモデルの中から、パラメトリックモデルとの適合度及び隣接する画素間でモデル識別ラベルが変化するか否かを表す円滑度を示す評価関数の値が最小になるパラメトリックモデルを選択し、選択されたパラメトリックモデルのモデル識別ラベルを領域内の画素に割り当てるラベル割り当ての処理を、複数の領域のうち画素数が多いものから順に実行するラベル割当部１１１とを備えた。
【選択図】 図１

Description

本発明は、入力された画像に関する複数のパラメータモデルを導入して、入力された画像の領域ごとにパラメータモデルを割り当てて画像処理を行う画像処理装置、方法およびプログラムに関する。

画像の領域ごとに予め定められたパラメトリックモデルを適用し、画像処理を行う技術としては、例えば、非特許文献１の技術が知られている。非特許文献１の技術では、画像の動きを推定する問題に対して、２つの画像間の局所的な動きをオプティカルフローなどの手法で推定し、推定された局所的な動きの集合から複数のモデルパラメータをアフィン変換と最小二乗法の手法により抽出し、k-means法、watershed法などの手法により画像を複数の領域に分割して、分割された領域ごとに最適なパラメータを選択するラベリングを行う技術が開示されている。このような技術によれば、画像の領域ごとに適切な動きモデルが選択される。

P. E. Eren, Y. Altunbasak and M. Tekalp, "Region-based affine motion segmentation using color information", IEEE ICASSP1997, Vol. 4, pp. 3005 - 3008, 1997

このような従来技術では、ラベリングは領域ごとにモデルパラメータの適合度のみを用いた最尤推定がおこなわれ、ラベリングが動き推定の結果の精度に大きな影響を与える。このため、サンプリング数が多いサイズの大きい領域では高精度となる一方、サイズの小さい領域に関してはサンプリング数が少なくなるので、最適なラベリングを行うことができず、動き推定の精度が低くなるという問題がある。

本発明は、上記に鑑みてなされたものであって、画像全体に亘って最適なラベル割り当てを行って、パラメータモデルを適用した画像処理を高精度に行うことができる画像処理装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、第１の画像を、それぞれが複数の画素を含む複数の領域に分割する領域分割部と、前記第１の画像上の点と第２の画像上の点とを対応付けるためのモデルであって、複数のモデルパラメータ及び前記モデルを識別するためのモデル識別ラベルを含む複数のパラメトリックモデルの中から、前記パラメトリックモデルとの適合度及び隣接する画素間で前記モデル識別ラベルが変化するか否かを表す円滑度を示す評価関数の値が最小になる前記パラメトリックモデルを選択し、選択された前記パラメトリックモデルの前記モデル識別ラベルを前記領域内の画素に割り当てるラベル割り当ての処理を、前記複数の領域のうち画素数が多いものから順に実行するラベル割当部と、各画素に割り当てられた前記モデル識別ラベルに対応する前記パラメトリックモデルに基づいて、前記第１の画像と前記第２の画像との対応関係を求める画像処理部と、を備えたことを特徴とする。

また、本発明は、動きのない画像である背景画像に対して動きのある領域である動領域を含む対象画像を、それぞれが複数の画素を含む複数の領域に分割する領域分割部と、背景領域か動領域かを識別する領域種別ラベルを前記領域内の画素に割り当てるラベル割り
当ての処理を、前記複数の領域のうち画素数が多いものから順に実行するラベル割当部と、各画素に割り当てられた前記領域種別ラベルに基づいて、前記対象画像から前記動領域を検出する動領域検出部と、を備えたことを特徴とする。
本発明は、上記画像処理装置に対応する画像処理方法およびプログラムである。

本発明によれば、画像全体に亘って最適なラベル割り当てを行って、画像処理を高精度に行うことができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法およびプログラムの最良な実施の形態を詳細に説明する。

（実施の形態１）
図１は、実施の形態１にかかる動き推定装置の機能的構成を示すブロック図である。実施の形態１にかかる動き推定装置は、対象画像と参照画像の各点の動きを推定するものであり、図１に示すように、局所動き推定部１０１と、モデル生成部１０７と、領域分割部１１２と、ラベル割当部１１１と、画像処理部１１３と、フレームメモリ１０６と、メモリ１０３とを主に備えている。

局所動き推定部１０１は、対象画像と参照画像から、ブロックマッチングの手法により２つ画像間の動き推定を行って、各点の動きベクトルを求める処理部である。

モデル生成部１０７は、局所動き推定の結果から、対象画像上の点と参照画像上の点とを対応付けるためパラメトリックモデルを生成するものである。パラメトリックモデルは、パラメトリックモデルを規定する複数のモデルパラメータ及びモデルを識別するためのモデル識別ラベルを含み、このモデル識別ラベルによりラベル付けされている。本実施の形態では、パラメトリックモデルは、モデルパラメータにより、モデル識別ラベルの領域における第１の画像における各点の第２の画像上との点の動きベクトルを求めるためのモデルである。モデル生成部１０７は、モデル定義部１０８と、クラスタリング処理部１０９と、パラメータ推定部１１０とを備えている。

モデル定義部１０８は、上記パラメトリックモデルを定義し生成してメモリ１０３に保存する処理部である。

クラスタリング処理部１０９は、局所動き推定部１０１で求めた対象画像上の各点の動きベクトルを分類して（クラスタリングして）、ラベル割り当ての初期値を付与する処理部である。

パラメータ推定部１１０は、モデル識別ラベルごとに、同一のモデル識別ラベル内において、パラメトリックモデルによって定められる動きベクトルと各点の局所動き推定部１０１によって求めた動きベクトルとの誤差から求められる誤差エネルギーを最小にするモデルパラメータを最小二乗法によって推定する処理部である。

領域分割部１１２は、対象画像のフレームを画素値に基づいた領域に分割する（クラスタリングする）処理部である。領域分割部１１２は、さらに分割された各領域に領域（クラスタ）を識別するための領域ラベルを割り当てる。

ラベル割当部１１１は、複数のパラメトリックモデルの中から、パラメトリックモデルとの適合度及び隣接する画素間でモデル識別ラベルが変化するか否かを表す円滑度を示す
評価関数の値が最小になるパラメトリックモデルを選択し、選択されたパラメトリックモデルのモデル識別ラベルを領域分割部１１２によって分割された領域（クラスタ）内の画素に割り当てるラベル割り当てを行う処理部である。
具体的には、ラベル割当部１１１は、分割された領域（クラスタ）内の画素に対して、対象画像の画素と参照画像の画素と各画素の動きベクトルに基づいた尤度エネルギーＵ₁と正則化エネルギーＵ₂とに基づいた上記評価関数が最小にするパラメトリックモデルを選択してラベル割り当ての処理を行っている。また、ラベル割当部１１１は、このようなラベル割り当ての処理を、複数の領域（クラスタ）のうち画素数が多い（クラスタサイズの大きい）ものから順に領域を選択して評価関数の値を計算して実行している。
画像処理部１１３は、各画素に割り当てられたモデル識別ラベルに対応するパラメトリックモデルに基づいて、対象画像と参照との対応関係を求めて動き推定を行い、その結果を動き推定結果として出力する処理部である。
なお、上記各部の詳細については後述する。

フレームメモリ１０６は、入力された対象画像と参照画像と保存する記憶媒体である。メモリは、各部で求めた計算結果やパラメータ、モデル定義部１０７で生成したパラメトリックモデル等を保存する記憶媒体である。

次に、各部の詳細について説明する。本実施の形態では、処理対象の２枚の画像を対象画像、参照画像とし、対象画像から参照画像への動きを求めている。

対象画像、参照画像の点ｎ∈Λ²の画素値をそれぞれｇ₁（ｎ），ｇ₂（ｎ）とする。

局所動き推定部１０１では、対象画像と参照画像から、ブロックマッチングの手法を用いて以下のように２つの画像間の動きを推定している。ここで、本実施の形態では、ブロックマッチングの手法を採用しているが、これに限定されるものではなく、例えば、オプティカルフロー推定、勾配法、ベイジアンメソッドなどの各手法を用いて動き推定を行ってもよい。

ブロックマッチングでは、対象画像を（１）式であらかじめ設定された矩形領域のブロックに分割する。

動き探索の領域をＷ∈Ｒ²とすると、差分二乗和基準（SSD：Sum of Squared Difference）に従ったブロックマッチングアルゴリズムは（２）式で示される。

ｄ（i）が動きベクトル、すなわちブロックｉの動きである。ブロックマッチングではブロック内は同一の動きベクトルを有すると仮定され、各画素の動きベクトルは、（３）式で表すことができる。

局所動き推定部１０１は、（２）、（３）式により動きベクトルを求める処理を行っている。

次に、モデル定義部１０８の詳細について説明する。モデル定義部１０８は、パラメトリックモデルを規定してメモリ１０３に保存する。パラメトリックモデルは、推定したい動きの数だけ用意される。各パラメトリックモデルは、推定したい動きの数分の任意の数のモデル識別ラベルα∈Ｌ⊂Ｚによって、一意に識別される。点ｎのラベルをｚ（ｎ）∈Ｌとし、モデル識別ラベルαが割り当てられている領域の集合、すなわち各動き領域Ｎαを（４）式で示す。

そして、モデル識別ラベルαが割り当てられた動き領域ごとのパラメトリックモデルを（５）式で定義する。

モデルパラメータａαは、対象画像から参照画像への平面から平面への幾何変換を定義したパラメータなど種々の形式を採用することができる。例えば、モデルパラメータａαとして、アファインモデルを用いた場合には（６）、（７）式、２次形式モデルを用いた場合には（８）、（９）式で示される。

この他、モデルパラメータとして、回転変換モデル、ユークリッド変換モデル、相似変換モデル、射影変換モデル、Ｌｉｅ変換モデルなどを用いてもよい。

モデル定義部１０８は、（５）、（６）、（７）式で定義されるパラメトリックモデル、若しくは、（５）、（８）、（９）式で定義されるパラメトリックモデルを生成してメモリ１０３に保存している。

次に、パラメータ推定部１１０の詳細について説明する。パラメトリックモデルによって定まる動きベクトルは、（１０）式で示されるので、これと（５）式を用いると、パラメトリックモデルによって定まる動きベクトルは（１１）式で示される。

一方、パラメトリックモデルによって得られる各点の動きベクトルと局所動き推定部１０１で求めた各点の動きベクトルの誤差を（１２）式で定義すると、誤差エネルギーは（１３）式で表される。従って、各動きベクトルの定義式（１０）、（１１）式により、誤差エネルギーは（１４）式のようになり、結局（１５）式で示されることになる。

一方、モデル識別ラベルα領域内の誤差は、（１６）式で示され、このモデル識別ラベルα領域内の誤差が（１７）式に示すように最小になるようにモデルパラメータが推定される。

本実施の形態では、モデルパラメータと得られた動きベクトルの誤差がガウス分布に従っていると仮定して、最適なモデルパラメータは最小二乗法を使用した数値解析によって求めている。すなわち、最小二乗法における正規方程式は、（１８）、（１９）、（２０）式に示されるため、モデルパラメータは（２１）式で示される。

かかる（２１）式は連立一次方程式であり、このため、パラメータ推定部１１０では、モデルパラメータを（２１）式により特異値分解法で求めている。なお、モデルパラメータを、ＬＵ分解などの他の手法で求めてもよい。

次に、クラスタリング処理部１０９の詳細について説明する。局所動き推定処理を終了した時点では、ラベル割り当て処理が行われていないため、モデルパラメータの推定を行うことができない。最初にモデルパラメータの推定処理を行う場合には、モデルパラメータの推定処理の実行前に、クラスタリング処理部１０９によって、局所動き推定部１０１によって求めた動きベクトルｄ（ｎ）をクラスタリングすることによりラベル割り当ての初期値として付与している。ここで、動きクラスタリング処理としては、輝度等の画素値に基づいて画像をｋ−Ｍｅａｎｓ法によって複数個にクラスタリングを行って画像を分割し、そのクラスタリング結果によって複数個のモデルパラメータを求め、求めたモデルパラメータを初期値としてｋ−Ｍｅａｎｓ法による数値解析処理によりモデルパラメータのラベルを求める。

次に、領域分割部１１２の詳細について説明する。領域分割部１１２では、例えばｋ−ｍｅａｎｓ法やｗａｔｅｒｓｈｅｄ法等の手法を用いて、対象画像のフレームを画素値の情報に基づいた領域に分割する。

すなわち、領域分割部１１２は、対象画像ｇ₁を画素値に応じてｋ個に分割（クラスタリング）する。そして、各領域（クラスタ）に各領域を一意に識別するための領域ラベルｗ（ｎ）∈Ｋ⊂Ｚを割り当てる。このとき、各領域（クラスタ）は、（２２）式で表される。

次に、ラベル割当部１１１の詳細について説明する。ラベル割当部１１１では、領域分割部１１２でクラスタリングされた各領域に対して割り当てるパラメトリックモデルを決定している。

ここで、対象画像ｇ₁（ｎ）、参照画像ｇ₂（ｎ）、動きベクトルｄ（ｎ）が与えられた場合のモデル識別ラベルｚ（ｎ）の確率密度関数は（２３）式で与えられる。

ベイズの定理を用いると、（２３）式は、（２４）式と等価となる。

ここで、ｚとｇ₁、ｄが独立であると仮定すると、（２４）式は、（２５）式と等価となる。

（２５）式において、ｐ（ｇ₂｜ｚ，ｇ₁，ｄ）は尤度関数といい、モデル識別ラベルｚの画像に対する適合度を表す。ｐ（ｚ）は事前密度といい、モデル識別ラベルｚの形状としてふさわしいかどうかの事前知識を表す。パラメトリックモデルに従った画素値の差分がガウス分布に従うと仮定すると尤度関数は（２６）、（２７）式のように定義することができる。

また、ラベルの事前密度は（２８）、（２９）式のように定義することができる。

Ｎ（ｎ）は点ｎの近傍を示し、モデル識別ラベルが同一のところでは低いエネルギーとなる密度関数である。この定式化の下で尤もらしいモデル識別ラベルｚは、（３０）式で示すＭＡＰ推定問題（Maximum a posteriori probability）の解である。

（３０）式の両辺のｌｏｇをとり、マイナス（−）を乗算すると、（３１）式のエネルギー最小化問題に帰着する。

（３１）式において、温度パラメータＴ、ノイズの標準偏差σをまとめてハイパーパラメータλとして記述している。Ｕ₁はパラメトリックモデルとの適合度を示す尤度エネルギー、Ｕ₂は隣接する画素間でモデル識別ラベルが変化するか否かを表す円滑度を示す正則化エネルギーであり、（３１）式は、尤度エネルギーＵ₁と正則化エネルギーＵ₂とからなる評価関数を示している。

ここで、非特許文献１の技術では、（３１）式を尤度エネルギーＵ₁のみで解法しており、正則化エネルギーの項Ｕ₂がないため、ラベル割り当ての精度が安定しない。

本実施の形態では、ラベル割当部１１１によって正則化エネルギーの項Ｕ₂を考慮した（３１）式を解法することにより、安定した精度でラベル割り当てを行うことができる。

次に、ラベル割当部１１１による（３１）式の解法について説明する。すなわち、ラベル割当部１１１は、（３２）式を解法して各領域（クラスタ）Ｋ_Kに対して、λＵ₁＋Ｕ₂が最小となるモデル識別ラベルαを求める。

ただし、ただし正則化エネルギーＵ₂には隣接するラベルのエネルギーが含まれるため、（３２）式のままでは計算することができない。ここで、領域（クラスタ）の境界のク
リーク（自画素と隣接画素の対）と内部のクリークに着目すると正則化エネルギーＵ₂は（３３）式のように変形することができる。

これにより、同一領域に含まれる点で構成されるクリークＣ₁と、異なる領域同士の点で構成されるクリークＣ₂に分けることができる。このとき各領域にどのモデル識別ラベルを選択したとしてもＣ₁のクリークポテンシャルは変化しない。すなわち、この場合Ｃ₂のクリークポテンシャルがエネルギーに影響を及ぼすことになる。

図２は、一辺ｒの正方形クラスタ、４周辺クリークを示す模式図である。図２のクラスタにおけるＣ₁の数を数えると以下のようになる。

頂点では２クリーク。頂点は４個。
辺上の点では３クリーク。辺上の点は４（ｒ−２）個。
内部の点では４クリーク。内部の点は（ｒ−２）²個。
それぞれ点の数を考慮すれば（３４）式を導くことができる。

また、図２の領域（クラスタ）におけるＣ₂の数を数えると以下のようになる。

頂点では２クリーク。頂点は４個。
辺上の点では１クリーク。辺上の点は４（ｒ−２）個
内部の点では０クリーク。内部の点は（ｒ−２）²個
従って、（３５）式が導かれる。

図３は、同一領域に含まれる点で構成されるクリークＣ₁、異なる点で構成されるクリークＣ₂の各個数を、領域内の全クリーク数に対する割合で示したグラフである。図３からわかるように、辺ｒの大きさが大きくなるに従い、Ｃ₂の影響が下がりＣ₁の占める割合が増加している。

このことから、辺ｒが大きくなると正則化エネルギーＵ₂に対するＣ₂の影響が下がりＣ₁が支配的になることが分かり、つまり領域のラベルをどのように選択しても正則化エネルギーＵ₂は大きく変化しなくなることがわかる。従って、辺ｒが大きいときには、全体エネルギーに対して相対的に正則化エネルギーＵ₂の与える影響は小さくなり、正則化エネルギーＵ₂の影響が大きくなり、エネルギー最小化問題はＵ₁に対する最尤推定の結果に近くなる。

一方、辺ｒが大きいときには大数の法則から、最尤エネルギーＵ₁のラベル選択に対する精度は高くなる。よって辺ｒが大きいときには最尤エネルギーＵ₁に対する最尤推定で
十分であるということが言える。

なお、図３では正方形の領域で例を示しているが、これに限定されるものではなく、正方形以外の領域に対しても同様である。これは、領域が大きくなるほど、外周が占める割合が同様に急激に低下するためである。

ただし、領域が例えばゴマ塩状で非常に数が多い場合には上述したとおりにならない可能性が高いが、これは領域の作り方で回避することができる。

図４は、辺ｒが大きい領域では正則化エネルギーＵ₂を考慮せず、辺ｒが小さい領域では正則化エネルギーＵ₂を考慮することを示す模式図である。図４に示すように、辺ｒの小さい領域である境界の領域で正則化エネルギーＵ₂を考慮していることがわかる。

具体的には、ラベル割当部１１１は、（３６）式のようにモデル識別ラベルｚ（ｎ）を−１に初期化して、領域が大きい順、すなわち領域内の画素数が大きい順に、領域（クラスタ）Ｋを選択する。そして、（３８）式により尤度エネルギーを算出し、（３９）式により正則化エネルギーを算出し、（３７）式によりラベル値を算出して、算出したラベル値でモデル識別ラベルｚ（ｎ）を（４０）式のように更新する。かかる算出処理およびモデル識別ラベルの更新をすべての領域について繰り返すことにより、モデル識別ラベルの割り当てを行っている。

ここで、（３８）式により、領域が大きいときには（３７）式は最尤推定そのものとして働き、領域が小さくなってくると徐々に事前密度が影響を及ぼしてくるようになっている。

ここで、同一サイズの領域（すなわち、画素数が同一の領域）が複数存在する場合には、領域の境界における画素数が小さい順に領域を選択することとしている。

次に、このように構成された実施の形態１にかかる動き推定装置による動き推定処理について説明する。図５は、実施の形態１にかかる動き推定処理の手順を示すフローチャートである。

まず、カウント回数Ｌを１に初期化し（ステップＳ１１）、（２）、（３）式により局所動き推定処理を行う（ステップＳ１２）。

局所動き推定処理が完了したら、モデル定義部１０８によりパラメトリックモデルを定義する（ステップＳ１３）。そして、クラスタリング処理部１０９によって動きクラスタリング処理を行い（ステップＳ１４）、対象画像上の各点の動きベクトルをクラスタリングしてラベル割り当ての初期値を求める。

次に、パラメータ推定部１１０によるモデルパラメータ推定処理を行い（ステップＳ１５）、各ラベルの領域に対するモデルパラメータを推定する。そして、領域分割部１１２によって、領域分割処理を行い（ステップＳ１６）、対象画像のフレームを画素値に基づいた領域にクラスタリングし、各領域に領域ラベルを割り当てる。

次いで、ラベル割当部１１１によって、ラベル割り当て処理を行い（ステップＳ１７）、領域分割部１１２によって分割された領域（クラスタ）に割り当てるパラメトリックモデルを選択し、選択されたパラメトリックモデルのモデル識別ラベルを領域内の画素に割り当てる。そして、カウント回数Ｌを１増加して（ステップＳ１８）、カウント回数Ｌが予め定められた所定回数を超えたか否かを調べる（ステップＳ１９）。

カウント回数Ｌが予め定められた所定回数を超えていない場合には（ステップＳ１９：Ｎｏ）、ステップＳ１５からＳ１８までの処理を繰り返す。

一方、ステップＳ１９において、カウント回数Ｌが予め定められた所定回数を超えた場合には（ステップＳ１９：Ｙｅｓ）、領域ごとに最適なパラメトリックモデルが選択されたことになり、画像処理部１１３によって、最適なパラメトリックモデルにより動き推定を行って動き推定結果を出力する（ステップＳ２０）。

次に、ステップＳ１４における動きクラスタリング処理について説明する。図６は、動きクラスタリング処理の手順を示すフローチャートである。

まず、クラスタリング処理部１０９は、輝度等の画素値に基づいて、対象画像をｋ−Ｍｅａｎｓ法によって複数個にクラスタリングを行って画像を分割しモデル識別ラベルを求める（ステップＳ２１）。

そして、そのクラスタリング結果によるモデル識別ラベルに基づき、初期モデルパラメータを推定し、複数個の初期モデルパラメータを求める（ステップＳ２２）。次に、求めた初期モデルパラメータを初期値としてｋ−Ｍｅａｎｓ法による数値解析処理によりモデルパラメータのモデル識別ラベルαを求める（ステップＳ２３）。ここで、モデル識別ラベルαは、複数個の初期モデルパラメータに対応して複数個求められる。かかる動きクラスタリング処理は、図５に示すように、局所的な動的マッチング処理が完了した直後に１回だけ実行される。

次に、ステップＳ１５におけるモデルパラメータ推定処理について説明する。図７は、モデルパラメータ推定処理の手順を示すフローチャートである。

まず、パラメータ推定部１１０は、クラスタリング処理部１０９によって求めたモデル識別ラベルαに対して、全ての格子点ｎに対して、（１９）式によりＡを、（２０）式によりｂを計算する（ステップＳ３１）。そして、（２１）式を特異値分解法（もしくはＬＵ法）による数値解析により解法処理を行う（ステップＳ３２）。そして、全てのモデル識別ラベルαに対して、上記ステップＳ３１およびＳ３２の処理を繰り返して実行する（
ステップＳ３３）。

次に、ステップＳ１７におけるラベル割り当て処理について説明する。図８は、ラベル割り当て処理の手順を示すフローチャートである。

まず、ラベル割当部１１１は、（３６）式のようにモデル識別ラベルｚ（ｎ）を−１に初期化する（ステップＳ４１）。そして、領域が大きい順、すなわち領域内の画素数が大きい順に、領域Ｋを選択する（ステップＳ４２）。このとき、同一サイズの領域（画素数が同一の領域）が複数存在する場合には、領域の境界における画素数が小さい順に領域を選択する。

そして、（３８）式により尤度エネルギーを算出し（ステップＳ４３）、（３９）式により正則化エネルギーを算出する（ステップＳ４４）。そして、（３７）式により最尤推定を行ってラベル値を算出する（ステップＳ４５）。そして、算出したラベル値でモデル識別ラベルｚ（ｎ）を（４０）式により更新する（ステップＳ４６）。

次に、全ての領域についてラベル割り当て処理が完了した否かを判断する（ステップＳ４７）。そして、まだ全ての領域についてラベル割り当て処理が完了していない場合には（ステップＳ４７：Ｎｏ）、次にサイズの大きい領域（すなわち、次に画素数の大きい領域）を選択して（ステップＳ４８）、ステップＳ４３からＳ４６までの処理を繰り返し行う。これにより、ラベルの割り当てが行われる。

図９は対象画像の例、図１０は参照画像の例、図１１は、領域分割の結果を示す。また、図１２は、図９の対象画像、図１０の参照画像を用いた場合の比較例としての従来の手法によるラベル割り当て処理結果を示す。図１３は、図９の対象画像、図１０の参照画像を用いた場合の実施の形態１のラベル割り当て処理結果を示す。

図１２と図１３を比較すればわかるように、実施の形態１による動き推定結果の方が、比較例に比べて高精度にラベル割り当てが行われていることがわかる。

このように実施の形態１にかかる動き推定装置１００では、（３６）〜（３９）式により最尤推定を行うことにより、領域が大きいときには最尤推定そのものを求め、領域が小さくなってくると徐々に事前密度が影響を及ぼしてくるように構成しているので、画像全体に亘って最適なモデル識別ラベルの割り当てを行って、最適なパラメトリックモデルを適用した動き推定処理を高精度に行うことができる。

（実施の形態２）
実施の形態１では、動き推定処理の過程で、パラメトリックモデルを定義し、モデルパラメータを推定してパラメトリックモデルを生成して動き推定処理を行っていたが、この実施の形態２では、本発明の画像処理装置を背景差分を行う動領域検出装置に適用している。

背景差分法は、あらかじめ撮影された背景画像に対して、動領域が含まれる対象画像との間の差分を取ることにより、動領域を検出するものである。

図１４は、実施の形態２にかかる動領域検出装置１４００の機能的構成を示すブロック図である。本実施の形態にかかる動領域検出装置は、あらかじめ撮影された動きのない画像である背景画像を用いて入力された対象画像から動きのある領域である動領域を検出するものであり、図１４に示すように、領域分割部１４１２と、ラベル割当部１４１１と、動領域検出部１４０１と、フレームメモリ１０６と、メモリ１０３とを主に備えている。

本実施の形態の領域分割部１４１２は、実施の形態１と同様に、対象画像を複数の領域に分割する。

ラベル割当部１４１１は、領域分割部１１２によって分割された領域（クラスタ）に領域種別ラベルを割り当てる処理部である。ここで、領域種別ラベルは、各領域が背景領域であるか動領域であるかを識別するためのラベルであり、本実施の形態では、背景領域の旨を示す領域種別ラベルαをα＝０、動領域の旨を示す領域種別ラベルαをα＝１としている。ただし、領域種別ラベルの値はこれに限定されるものはない。

より具体的には、ラベル割当部１４１１は、対象画像の点ｎの画素値と背景画像の点ｎの画素の差分値ｄ（ｎ）が予め定められた閾値Ｔ以下の場合に、分割された領域に背景領域の領域種別ラベルを割り当てており、この際に、領域の周囲の全ての領域が背景領域を示す領域種別ラベルが割り当てられている場合には閾値Ｔを増加し、領域の周囲の全ての領域が動領域を示す領域種別ラベルが割り当てられている場合には閾値Ｔを減少している。そして、ラベル割当部１４１１は、このような領域種別ラベルを領域内の画素に割り当てるラベル割り当ての処理を、複数の領域のうち画素数が多いものから順に実行している。

以下、ラベル割当部１４１１によるラベル割り当て処理の詳細について説明する。対象画像の点ｎの画素値をｇ₁（ｎ）、背景画像の点ｎの画素値をｇ₂（ｎ）とする。このとき、背景領域の差分値ｄ（ｎ）は、（４１）式で表される。そして、ノイズがガウス分布Ｎ（０，σ²）に従うとすると、背景領域の差分値ｄ（ｎ）もガウス分布に従う。

これに対し、動領域の差分値は上記ガウス分布には従わない。点ｎが（４２）式を満たせば、閾値Ｔ＝１．９６σ（σは定数）のときに９５％の確率で背景領域であると考えられる。一方、点ｎが（４２）式を満たさない場合には、動領域であると考えられる。

領域Ｋ_k内の平均差分値を（４３）式で定義する。

ここで、Ｎ（ｋ）は、領域内の画素数である。領域Ｋ_kが背景領域に属する場合には、中心極限定理より平均差分値は（４４）式のガウス分布に従う。すなわち、精度が（４５）式で示す倍率だけ向上することになる。従って、面積の大きい領域はそれだけラベリング精度が高くなることがわかる。

しかし、面積の小さい領域はそれほど精度が向上しない。そこで本実施の形態では、実施の形態１と同様に空間的な拘束条件を導入したラベル割り当て処理を行う。なお、本実施の形態では、実施の形態１と異なる手法のラベル割り当て処理を行う。

任意の領域の周囲がすべて背景領域であり領域種別ラベルα＝０とラベル割り当てされている場合には、この領域も背景領域になると考えた方がラベル割り当てはより安定すると考えられる。一方、任意の領域の周囲がすべて動領域であり領域種別ラベルα＝１とラベル割り当てされている場合には、この領域も動領域になると考えた方がラベル割り当てはより安定すると考えられる。以下ではこの概念を定式化する。

判定対象とする領域の周囲の領域が背景領域と判定されている場合には、任意の定数η＞０に対して、（４６）式を満たすようにすることによって、対象とする領域も背景領域と判定しやすくなる。すなわち、（４６）式により、閾値Ｔの値が増加するので、（４２）式により、判定対象の領域の画素の差分値ｄ（ｎ）が背景領域と判定される可能性が高くなる。

同様に、対象とする領域の周囲の領域が動領域と判定されている場合には、任意の定数β＞０に対して、（４７）式を満たすようにすることによって、対象とする領域も動領域と判定しやすくなる。すなわち、（４６）式により、閾値Ｔの値が減少するので、（４２）式により、判定対象の領域の画素の差分値ｄ（ｎ）が動領域と判定される可能性が高くなる。

ここで、η，βは、判定の対象とする領域の周囲の領域の状況によって決定されるべきである。従って、（４６）、（４７）式をまとめ、領域Ｋ_kに対する閾値Ｔを定義すると（４８）式のようになる。

ここで、γ（ｋ）は、領域Ｋ_kの周囲の領域に背景領域が多ければγ（ｋ）＞０、動領域が多ければγ（ｋ）＜０となるように定める。例えば、γ（ｋ）の値の範囲を−σ≦γ
（ｋ）≦σとすると、（４９）式のように設計することができる。

判定対象の領域に隣接する領域の領域種別ラベルがすべて背景領域（α＝０）の場合には、Ｎ（α＝０）＝Ｂ（ｋ）、Ｎ（α＝１）＝０が成立するため、γ（ｋ）＝σとなる。

一方、判定対象の領域に隣接する領域の領域種別ラベルがすべて動領域（α＝１）の場合には、Ｎ（α＝１）＝Ｂ（ｋ）、Ｎ（α＝０）＝０でが成立するため、γ（ｋ）＝−σとなる。さらに、領域の隣接する領域において背景領域と動領域とが同数の場合には、Ｎ（α＝０）＝Ｎ（α＝１）が成立するため、γ（ｋ）＝０となる。

従って、各領域に割り当てる領域種別ラベルをｚ（ｎ）で示すと、実施の形態２にかかるラベル割当部１４１１は、（５０）式により各領域に割り当てる領域種別ラベルｚ（ｎ）を初期化し、領域の画素数が大きい順に以下の処理を行う。境界領域の数Ｂ（ｋ）、判定対象の領域に隣接する領域の領域種別ラベルが背景領域である数Ｎ（α＝０）、判定対象の領域に隣接する領域の領域種別ラベルが動領域である数Ｎ（α＝１）を算出し、（５１）式によりγ（ｋ）を算出し、（５２）式の計算を行って、（５３）式によりラベル値を求める。そして、（５４）式により、求めたラベル値で領域に割り当てる領域種別ラベルｚ（ｎ）を更新する。

動領域検出部１４０１は、ラベル割当部１４１１の結果、すなわち各領域に割り当てられた領域種別ラベルｚ（ｎ）によって、対象画像の各領域の中から領域種別ラベルｚ（ｎ）＝０である動領域を検出する処理部である。

次に、以上のように構成された実施の形態２にかかる動領域検出処理について説明する。図１５は、実施の形態２の動領域検出処理の手順を示すフローチャートである。

まず、カウント回数Ｌを１に初期化する（ステップＳ５１）。そして、領域分割部１４１２によって、領域分割処理を行い（ステップＳ５２）、対象画像のフレームを画素値に基づいた領域に分割（クラスタリング）する。

次いで、ラベル割当部１４１１によって、分割された領域に領域種別ラベルを割り当てるラベル割り当て処理を行う（ステップＳ５３）。そして、カウント回数Ｌを１増加して（ステップＳ５４）、カウント回数Ｌが予め定められた所定回数を超えたか否かを調べる（ステップＳ５５）。

カウント回数Ｌが予め定められた所定回数を超えていない場合には（ステップＳ５５：Ｎｏ）、ステップＳ５２からＳ５４までの処理を繰り返す。

一方、ステップＳ５５において、カウント回数Ｌが予め定められた所定回数を超えた場合には（ステップＳ５５：Ｙｅｓ）、領域に領域種別ラベルが割り当てられたことになり、動領域検出部１４０１によって、領域種別ラベルが０である領域を動領域として検出して（ステップＳ５６）、検出結果を出力する。

次に、ステップＳ５３によるラベル割り当て処理について説明する。図１６は、実施の形態２にかかるラベル割り当て処理の手順を示すフローチャートである。

まず、ラベル割当部１４１１は、（５０）式のように、領域に割り当てる領域種別ラベルｚ（ｎ）を−１に初期化する（ステップＳ６１）。そして、領域が大きい順、すなわち領域の画素数が大きい順に、領域Ｋを選択する（ステップＳ６２）。このとき、同一画素数の領域が複数存在する場合には、領域の境界における画素数が小さい順にクラスタを選択する。

そして、境界領域の数Ｂ（ｋ）、クラスタの隣接ラベルが背景領域である数Ｎ（α＝０）、判定対象の領域の隣接する領域の領域種別ラベルが動領域である数Ｎ（α＝１）を算出する（ステップＳ６３）。次に、（５１）式によりγ（ｋ）を算出し（ステップＳ６４）、（５２）式により平均差分値を算出する（ステップＳ６５）。そして、（５３）式によりラベル値を求めて（ステップＳ６６）、（５４）式により、求めたラベル値で領域種別ラベルｚ（ｎ）を更新する（ステップＳ６７）。

次に、全ての領域についてラベル割り当て処理が完了した否かを判断する（ステップＳ６８）。そして、まだ全ての領域についてラベル割り当て処理が完了していない場合には（ステップＳ６８：Ｎｏ）、次に画素数が大きい領域を選択して（ステップＳ６９）、ステップＳ６３からＳ４７までの処理を繰り返し行う。これにより、ラベルの割り当てが行われる。

このように実施の形態２にかかる動領域検出装置では、（５１）〜（５３）式により背景領域か動領域かを識別する領域種別ラベルを領域内の画素に割り当てるラベル割り当ての処理を、複数の領域のうち画素数が多いものから順に実行しているので、ノイズなどによらず、画像の領域毎に安定して背景領域と動領域のラベル割り当てをおこなうことが可能となり、画像全体に亘って最適なラベル割り当てをして画像処理を高精度に行うことができる。

（実施の形態３）
実施の形態３は、本発明の画像処理装置をステレオマッチング装置に適用したものである。

図１７は、実施の形態３にかかるステレオマッチング装置１７００の機能的構成図である。本実施の形態にかかるステレオマッチング装置１７００は、左目用の第１視差画像と右目用の第２視差画像を入力し、２枚の視差画像を撮影し画像間の対応点から空間の奥行きを推定するものである。

本実施の形態にかかるステレオマッチング装置１７００は、図１７に示すように、領域分割部１１２と、ラベル割当部１１１と、対応点推定部１７０１と、フレームメモリ１０６と、メモリ１０３とを主に備えている。

本実施の形態では、メモリ１０３に予め複数のパラメトリックモデルが記憶されている。本実施の形態では、（５５）式に示すパラメトリックモデルを予め記憶し、ラベル割当部１１１では、（５５）式のパラメトリックモデルを用いてラベル割り当てを行っている点が実施の形態１と異なり、その他の処理については実施の形態と同様である。

ここで、ｎ₁は第１視差画像上の点の座標、ｎ₂は第２視差画像上の点の座標である。また、αはモデルパラメータであるとともに、パラメトリックモデルを識別するためのモデル識別ラベルである。すなわち、本実施の形態では、モデルパラメータとモデル識別ラベルとを同一のαとしている。
ステレオマッチングにおける空間の奥行きを推定するために、視差画像間の対応点（動き）を推定する。この場合、対応点の関係は左右の平行移動のみで近似できる場合が多い。例えば、左右の平行移動が０〜１６の範囲で行われると予めわかっている場合には、平行移動量を｛０，・・・，１６｝の範囲で設定することができる。本実施の形態では、モデルパラメータおよびモデル識別ラベルであるαを平行移動量として｛０，・・・，１６｝の範囲で設定している。

対応点推定部１７０１は、ラベル割り当て処理の結果に基づいて視差画像間の対応点（動き）を推定する処理部である。

次に、以上のように構成された本実施の形態にかかるステレオマッチング処理について説明する。図１８は、実施の形態３にかかるステレオマッチング処理の手順を示すフローチャートである。

まず、カウント回数Ｌを１に初期化する（ステップＳ７１）。そして、領域分割部１１
２によって、領域分割処理を行い（ステップＳ７２）、第１視差画像のフレームを画素値に基づいた領域に分割（クラスタリング）し、各領域に領域ラベルを割り当てる。

次いで、ラベル割り当て部１１１によって、ラベル割り当て処理を行い（ステップＳ７３）、領域分割部１１２によって分割された領域（クラスタ）に割り当てるパラメトリックモデルを選択し、選択されたパラメトリックモデルのモデル識別ラベルを領域内の画素に割り当てる。そして、カウント回数Ｌを１増加して（ステップＳ７４）、カウント回数Ｌが予め定められた所定回数を超えたか否かを調べる（ステップＳ７５）。

カウント回数Ｌが予め定められた所定回数を超えていない場合には（ステップＳ７５：Ｎｏ）、ステップＳ７２からＳ７４までの処理を繰り返す。

一方、ステップＳ７５において、カウント回数Ｌが予め定められた所定回数を超えた場合には（ステップＳ７５：Ｙｅｓ）、領域ごとに最適なパラメトリックモデルが選択されたことになり、最適なパラメトリックモデルにより対応点を検出して（ステップＳ７６）、対応点推定部１７０１によって空間の奥行きを推定する。

ここで、ステップＳ７３におけるラベル割り当て処理については、（５５）式のパラメトリックモデルを使用して実施の形態１と同様に行われる。

このように実施の形態３にかかるステレオマッチング装置１７００では、（５５）式のパラメトリックモデルを用い、（３６）〜（３９）式により最尤推定を行うことにより、クラスタが大きいときには最尤推定そのものを求め、クラスタが小さくなってくると徐々に事前密度が影響を及ぼしてくるように構成しているので、画像全体に亘って最適なラベル割り当てを行って、高精度に対応点を推定することでき、高精度に奥行きを推定可能となり、パラメトリックモデルを適用したステレオマッチング処理を高精度に行うことができる。

実施の形態１〜３の各装置は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭなどの記憶装置と、ＨＤＤ、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

本実施形態の各装置で実行される各プログラム（動き推定プログラム、動領域検出プログラム、ステレオマッチングプログラム）は、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の各装置で実行される各プログラム（動き推定プログラム、動領域検出プログラム、ステレオマッチングプログラム）を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の各装置で実行される各プログラム（動き推定プログラム、動領域検出プログラム、ステレオマッチングプログラム）をインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、本実施形態の各装置で実行される各プログラム（動き推定プログラム、動領域検出プログラム、ステレオマッチングプログラム）を、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

本実施形態の各装置で実行される各プログラム（動き推定プログラム、動領域検出プログラム、ステレオマッチングプログラム）は、上述した各部（局所動き推定部と、モデル定義部、クラスタリング処理部、パラメータ推定部、領域分割部、ラベル割り当て部、動領域検出部、対応点推定部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から〜プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、局所動き推定部と、モデル定義部、クラスタリング処理部、パラメータ推定部、領域分割部、ラベル割り当て部、動領域検出部、対応点推定部が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

実施の形態１にかかる動き推定装置の機能的構成を示すブロック図である。 一辺ｒの正方形クラスタ、４周辺クリークを示す模式図である。 クラスタの内部、境界のクリークの各個数とクラスタ内の全クリーク数に対する割合で示したグラフである。 クラスタと正則化エネルギーの関係を示す模式図である。 実施の形態１にかかる動き推定処理の手順を示すフローチャートである。 動きクラスタリング処理の手順を示すフローチャートである。 モデルパラメータ推定処理の手順を示すフローチャートである。 ラベル割り当て処理の手順を示すフローチャートである。 対象画像の例を示す説明図である。 参照画像の例を示す説明図である。 領域分割の結果を示す説明図である。 比較例としての従来の手法によるラベル割り当て処理結果を示す説明図である。 実施の形態１のラベル割り当て処理結果を示す説明図である。 実施の形態２にかかる動領域検出装置１４００の機能的構成図である。 実施の形態２の動領域検出処理の手順を示すフローチャートである。 実施の形態２にかかるラベル割り当て処理の手順を示すフローチャートである。 実施の形態３にかかるステレオマッチング装置の機能的構成図である。 実施の形態３にかかるステレオマッチング処理の手順を示すフローチャートである。

符号の説明

１００ 動き推定装置
１０１ 局所動き推定部
１０３ メモリ
１０６ フレームメモリ
１０７ モデル生成部
１０８ モデル定義部
１０９ クラスタリング処理部
１１０ パラメータ推定部
１１１，１４１１ ラベル割当部
１１２，１４１２ 領域分割部
１１３ 画像処理部
１４００ 動領域検出装置
１４０１ 動領域検出部
１７００ ステレオマッチング装置
１７０１ 対応点推定部

Claims (14)

1. 第１の画像を、それぞれが複数の画素を含む複数の領域に分割する領域分割部と、
   前記第１の画像上の点と第２の画像上の点とを対応付けるためのモデルであって、複数のモデルパラメータ及び前記モデルを識別するためのモデル識別ラベルを含む複数のパラメトリックモデルの中から、前記パラメトリックモデルとの適合度及び隣接する画素間で前記モデル識別ラベルが変化するか否かを表す円滑度を示す評価関数の値が最小になる前記パラメトリックモデルを選択し、選択された前記パラメトリックモデルの前記モデル識別ラベルを前記領域内の画素に割り当てるラベル割り当ての処理を、前記複数の領域のうち画素数が多いものから順に実行するラベル割当部と、
   各画素に割り当てられた前記モデル識別ラベルに対応する前記パラメトリックモデルに基づいて、前記第１の画像と前記第２の画像との対応関係を求める画像処理部と、
   を備えたことを特徴とする画像処理装置。
2. 前記第１の画像の特徴に基づいて前記パラメトリックモデルを生成するモデル生成部を更に備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記モデル生成部は、
   前記パラメトリックモデルを定義するモデル定義部と、
   前記第１の画像における各点の前記第２の画像上の対応点を分類して、分類した前記対応点ごとに、前記ラベル割り当ての初期値を付与するクラスタリング処理部と、
   前記モデル識別ラベルごとに、前記第１の画像上の各点と当該各点に対応する第２の画像上の対応点を最小の誤差で表すことのできる前記モデルパラメータを最小二乗法によって推定するパラメータ推定部と、
   を更に備えたことを特徴とする請求項２に記載の画像処理装置。
4. 前記モデル定義部は、前記第１の画像から前記第２の画像への平面から平面への幾何変換を定義することにより前記パラメトリックモデルを定義すること特徴とする請求項３に記載の画像処理装置。
5. 前記第１の画像と前記第２の画像の間の動き推定を行って、各点の対応点から前記第１の画像における各点の前記第２の画像上との点の動きベクトルを求める局所動き推定部をさらに備え、
   前記パラメトリックモデルは、前記モデル識別ラベルの領域における第１の画像における各点の前記第２の画像上との点の動きベクトルを求めるためのモデルであり、
   前記クラスタリング処理部は、前記局所動き推定部で求められた動きベクトルを分類して、分類した前記動きベクトルごとに前記ラベル割り当ての初期値を付与し、
   前記パラメータ推定部は、前記モデル識別ラベルごとに、前記パラメトリックモデルによって定められる前記動きベクトルと前記局所動き推定部によって求められた前記動きベクトルとに基づいて、前記モデルパラメータを推定し、
   前記画像処理部は、各画素に割り当てられた前記モデル識別ラベルに対応する前記パラメトリックモデルに基づいて、前記第１の画像の前記第２の画像に対する動きを推定することを特徴とする請求項４に記載の画像処理装置。
6. 前記ラベル割当部は、前記画素数が同一の前記領域が複数存在する場合には、前記領域の境界における画素数が小さい順に前記ラベル割り当ての処理を実行することを特徴とする請求項１に記載の画像処理装置。
7. 前記パラメトリックモデルを記憶する記憶部をさらに備え、
   前記モデルパラメータはあらかじめ問題に応じて設定されていることを特徴とする請求
   項１に記載の画像処理装置。
8. 前記パラメトリックモデルは、前記第１の画像としての第１視差画像上の点に対して前記第２の画像としての第２視差画像上の点を求めるためのモデルであり、前記第１視差画像の点と当該点に対応する前記第２視差画像の点の水平移動量を前記モデルパラメータおよび前記モデル識別ラベルとして含むことを特徴とする請求項１に記載の画像処理装置。
9. 動きのない画像である背景画像に対して動きのある領域である動領域を含む対象画像を、それぞれが複数の画素を含む複数の領域に分割する領域分割部と、
   背景領域か動領域かを識別する領域種別ラベルを前記領域内の画素に割り当てるラベル割り当ての処理を、前記複数の領域のうち画素数が多いものから順に実行するラベル割当部と、
   各画素に割り当てられた前記領域種別ラベルに基づいて、前記対象画像から前記動領域を検出する動領域検出部と、
   を備えたことを特徴とする画像処理装置。
10. 前記ラベル割当部は、前記対象画像の画素と前記背景画像の画素の差分値が予め定められた閾値以下の場合に、前記領域に前記背景領域の前記領域種別ラベルを割り当て、前記領域の周囲の全ての領域が前記背景領域を示す前記領域種別ラベルが割り当てられている場合には前記閾値を増加し、前記領域の周囲の全ての領域が前記動領域を示す前記領域種別ラベルが割り当てられている場合には前記閾値を増加することを特徴とする請求項９に記載の画像処理装置。
11. 第１の画像を、それぞれが複数の画素を含む複数の領域に分割する工程と、
    前記第１の画像上の点と第２の画像上の点とを対応付けるためのモデルであって、複数のモデルパラメータ及び前記モデルを識別するためのモデル識別ラベルを含む複数のパラメトリックモデルの中から、前記パラメトリックモデルとの適合度及び隣接する画素間で前記モデル識別ラベルが変化するか否かを表す円滑度を示す評価関数の値が最小になる前記パラメトリックモデルを選択し、選択された前記パラメトリックモデルの前記モデル識別ラベルを前記領域内の画素に割り当てるラベル割り当ての処理を、前記複数の領域のうち画素数が多いものから順に実行する工程と、
    各画素に割り当てられた前記モデル識別ラベルに対応する前記パラメトリックモデルに基づいて、前記第１の画像と前記第２の画像との対応関係を求める工程と、
    を含むことを特徴とする画像処理方法。
12. 動きのない画像である背景画像に対して動きのある領域である動領域を含む対象画像を、それぞれが複数の画素を含む複数の領域に分割する工程と、
    背景領域か動領域かを識別する領域種別ラベルを前記領域内の画素に割り当てるラベル割り当ての処理を、前記複数の領域のうち画素数が多いものから順に実行する工程と、
    各画素に割り当てられた前記領域種別ラベルに基づいて、前記対象画像から前記動領域を検出する工程と、
    を含むことを特徴とする画像処理方法。
13. 第１の画像を、それぞれが複数の画素を含む複数の領域に分割する手順と、
    前記第１の画像上の点と第２の画像上の点とを対応付けるためのモデルであって、複数のモデルパラメータ及び前記モデルを識別するためのモデル識別ラベルを含む複数のパラメトリックモデルの中から、前記パラメトリックモデルとの適合度及び隣接する画素間で前記モデル識別ラベルが変化するか否かを表す円滑度を示す評価関数の値が最小になる前記パラメトリックモデルを選択し、選択された前記パラメトリックモデルの前記モデル識別ラベルを前記領域内の画素に割り当てるラベル割り当ての処理を、前記複数の領域のう
    ち画素数が多いものから順に実行する手順と、
    各画素に割り当てられた前記モデル識別ラベルに対応する前記パラメトリックモデルに基づいて、前記第１の画像と前記第２の画像との対応関係を求める手順と、
    をコンピュータに実行させる画像処理プログラム。
14. 動きのない画像である背景画像に対して動きのある領域である動領域を含む対象画像を、それぞれが複数の画素を含む複数の領域に分割する手順と、
    背景領域か動領域かを識別する領域種別ラベルを前記領域内の画素に割り当てるラベル割り当ての処理を、前記複数の領域のうち画素数が多いものから順に実行する手順と、
    各画素に割り当てられた前記領域種別ラベルに基づいて、前記対象画像から前記動領域を検出する手順と、
    をコンピュータに実行させる画像処理プログラム。