JP2006221525A - オブジェクト検索システムおよび方法 - Google Patents

Abstract

【課題】特徴量が変化する同一および同種のオブジェクトを検索するのに適したオブジェクト検索システムおよび方法を提供する。
【解決手段】オブジェクト検索システム１０は、オブジェクトを含む入力画像に対して、特徴量記憶装置２３に格納されている色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行う第１のオブジェクト候補領域抽出部１６と、第１のオブジェクト候補領域に対して、特徴量記憶装置２３に格納されている形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行う第２のオブジェクト候補領域抽出部１７と、第２のオブジェクト候補領域からオブジェクト領域を決定して、入力画像に含まれているオブジェクトを求めるオブジェクト領域決定部１８とを具備する。
【選択図】 図１

Description

本発明は、オブジェクト検索システムおよび方法に関し、特に、工事写真に含まれる黒板を探し出すのに好適なオブジェクト検索システムおよび方法に関する。

公共事業では成果品を最後に必ず納品することになっており、工事の場合には、工事写真を納品する必要がある。工事写真には必ずといっていいほど黒板が写されている。この黒板には工事名称や工事の内容など重要な情報が記載されており、工事写真においては黒板の情報が極めて重要である。
そのため、納品する工事写真帳では、わざわざ黒板のみを切り取り、拡大して表示することがしばしば行われている。しかし、工事写真は通常では数百枚から数千枚と非常に多く、手作業で黒板を抽出する作業には大変な労力がかかる。
そこで、工事写真を画像化し、画像化した工事写真から黒板画像を自動的に抽出するシステムが要請されている。

しかしながら、工事現場における黒板のように、撮影された角度や照明などの撮影環境が異なるオブジェクト、および色や形状などの特徴量が異なる同種のオブジェクト（他の例では、赤い車と青い車）については、ユーザからすれば同じオブジェクトといえても、特徴量が変化してしまう。
そこで、検索対象である同一および同種のオブジェクトが含まれた多数の例示画像を入力として与え、抽出した色に関する特徴量、形状に関する特徴量をクラスタリングすることにより、そのオブジェクトが取り得る色および形状の特徴量を獲得し、その特徴量を利用して特徴量が変化する同一および同種のオブジェクトの検索を行うことが考えられる。

なお、多数の例示画像を用いてオブジェクトを検索する手法としては、下記の非特許文献１および非特許文献２に開示されているものがある。
非特許文献１では、例示画像群から抽出した特徴量から、ユーザが意図する距離関数と問合せ位置を推定することで、一般化された楕円距離による問合せを実現している。
非特許文献２では、例示画像群から抽出した特徴量から画像のクラスタリングを行い、各画像クラスタについて標準偏差法による特徴量毎の重み付けを行い、検索時には、重み付きのユークリッド距離による類似度計算を行っている。
Yoshiharu Ishikawa, Ravishankar Subramanya, Christos Faloutsos, "MindReader: Querying database through multiple examples", Proceeding of the 24th VLDB Conference New York, USA, 1998 Roberto Brunelli, Ornella Mich, "Image Retrieval by Examples", IEEE Trans. on Multimedia, Vol.2, No.3, pp.164-171, Sep. 2000

しかしながら、非特許文献１および非特許文献２に開示されている手法では、多次元からなる特徴量の中で、ユーザが類似性の観点として着目している特徴量または特徴量間の相関を推定し、ユーザの意図に則した問合せを行っており、これらの手法における複数の例示画像を用いることの目的は、ユーザの注目している特徴量を自動的に推測することにある。したがって、これらの手法は、特徴量が変化する同一および同種のオブジェクトの検索には必ずしも適しているとはいえない。

本発明の目的は、特徴量が変化する同一および同種のオブジェクトを検索するのに適したオブジェクト検索システムおよび方法を提供することにある。

本発明のオブジェクト検索システムは、例示画像に含まれるオブジェクト領域を抽出するオブジェクト領域抽出部（１１）と、該オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色特徴量を抽出する色特徴量抽出部（１２）と、該色特徴量抽出部によって抽出された前記色特徴量のクラスタリングを行ったのち、色に関する各クラスタが持つ特徴量を抽出する色特徴量クラスタリング部（１３）と、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出する形状特徴量抽出部（１４）と、該形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する形状特徴量クラスタリング部（１５）と、前記色特徴量クラスタリング部によって抽出された前記色に関する各クラスタが持つ特徴量が格納されるとともに、前記形状特徴量抽出部によって抽出された前記大まかな形状特徴量と前記形状特徴量クラスタリング部によって抽出された前記各クラスタの詳細な形状特徴量とを含む形状に関する各クラスタが持つ特徴量が格納される特徴量記憶装置（２３）と、オブジェクトを含む入力画像に対して、前記特徴量記憶装置に格納されている前記色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行う第１のオブジェクト候補領域抽出部（１６）と、該第１のオブジェクト候補領域抽出部により抽出された第１のオブジェクト候補領域に対して、前記特徴量記憶装置に格納されている前記形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行う第２のオブジェクト候補領域抽出部（１７）と、該第２のオブジェクト候補領域抽出部により抽出された第２のオブジェクト候補領域から前記オブジェクト領域を決定して、前記入力画像に含まれている前記オブジェクトを求めるオブジェクト領域決定部（１８）とを具備することを特徴とする。
ここで、前記第１のオブジェクト候補領域抽出部が、前記入力画像に対して、前記色に関する各クラスタが持つ特徴量に基づいて、該色に関する各クラスタが持つ各構成色の色相，彩度および輝度それぞれの範囲に収まる画素を抽出し、一つながりとなる領域をラベリングすることにより、色特徴量による第１の絞込みを行い、前記ラベリングされた各領域に対して、前記入力画像全体に対する面積の割合が閾値以下の領域を除去することにより、色特徴量による第２の絞込みを行い、クラスタの構成色が複数存在した場合には、そのすべての構成色を含む領域のみを抽出することにより、色特徴量による第３の絞込みを行い、該色特徴量による第３の絞込みにより抽出した各領域から空間関係および面積の特徴量を抽出したのち、該抽出した空間関係および面積の特徴量と前記色に関する各クラスタが持つ空間関係および面積の特徴量との類似度を計算し、該２つの類似度が所定の値以上となる領域のみを抽出することにより、色特徴量による第４の絞込みを行ってもよい。
前記第２のオブジェクト候補領域抽出部が、前記第１のオブジェクト候補領域抽出部によって抽出された前記第１のオブジェクト候補領域から大まかな形状特徴量を抽出したのち、前記形状に関する各クラスタが持つ特徴量に基づいて、該形状に関する各クラスタが持つ大まかな形状特徴量と前記抽出した大まかな形状特徴量との類似度を計算し、該計算した類似度が所定の範囲の値となる領域のみを抽出することにより、形状特徴量による第１の絞込みを行い、該形状特徴量による第１の絞込みにより抽出した領域から詳細な形状特徴量を抽出したのち、前記形状に関する各クラスタが持つ特徴量に基づいて、該形状に関する各クラスタが持つ詳細な形状特徴量と前記抽出した詳細な形状特徴量との類似度を計算し、該計算した類似度が所定の値以上となる領域のみを抽出することにより、形状特徴量による第２の絞込みを行ってもよい。

本発明のオブジェクト検索方法は、例示画像に含まれるオブジェクト領域が黒線で囲まれた例示画像データをオブジェクト検索抽出システム（１０）に入力する第１のステップと（Ｓ１１）、前記オブジェクト検索抽出システムにおいて、前記例示画像から前記オブジェクト領域を抽出し、該抽出したオブジェクト領域の画像に基づいて、色に関する各クラスタが持つ特徴量と形状に関する各クラスタが持つ特徴量とを抽出する第２のステップ（Ｓ１２〜Ｓ１７）と、オブジェクトを含む入力画像を前記オブジェクト検索システムに入力する第３のステップと（Ｓ２１）、第１のオブジェクト候補領域抽出部（１６）が、前記入力画像に対して、前記色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行う第４のステップ（Ｓ２２〜Ｓ２５）と、第２のオブジェクト候補領域抽出部（１７）が、前記第１のオブジェクト候補領域抽出部から入力される前記第１のオブジェクト候補領域に対して、前記形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行う第５のステップ（Ｓ２７，Ｓ２８）と、オブジェクト領域決定部（１８）が、前記第２のオブジェクト候補領域抽出部から入力される前記第２のオブジェクト候補領域から前記オブジェクト領域を決定して、前記入力画像に含まれている前記オブジェクトを求める第６のステップ（Ｓ３０）とを具備することを特徴とする。
ここで、前記第２のステップが、オブジェクト領域抽出部（１１）が、前記例示画像データについて水平方向に画素を走査して黒画素を検出することにより、前記オブジェクト領域を抽出するステップ（Ｓ１２）と、色特徴量抽出部（１２）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量として抽出するステップ（Ｓ１３）と、形状特徴量抽出部（１４）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を含む最小矩形領域の横幅に対する縦幅の割合を算出して大まかな形状特徴量を抽出するステップ（Ｓ１４）と、前記形状特徴量抽出部が、前記オブジェクト領域の輪郭となる全画素について接線角度を計算し、所定の角度毎に接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを前記詳細な形状特徴量として抽出するステップ（Ｓ１５）と、色特徴量クラスタリング部（１３）が、前記色特徴量抽出部によって抽出された前記色相の値の範囲の特徴量についてクラスタリングを行ったのち、前記色に関する各クラスタが持つ特徴量を抽出するステップ（Ｓ１６）と、形状特徴量クラスタリング部（１５）が、前記形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出するステップ（Ｓ１７）とを備えてもよい。

本発明のオブジェクト検索システムおよび方法は、たとえば、画像化した工事写真に含まれる黒板画像を正確に抽出することができる。

特徴量が変化する同一および同種のオブジェクトを検索するという目的を、多数の例示画像を用いて色に関する各クラスタが持つ特徴量と形状に関する各クラスタが持つ特徴量とを抽出しておき、入力画像に対して、色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行い、この第１のオブジェクト候補領域に対して、形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行ったのち、第２のオブジェクト候補領域からオブジェクト領域を決定して、入力画像に含まれているオブジェクトを求めることにより実現した。

以下、本発明のオブジェクト検索システムおよび方法の実施例について図面を参照して説明する。なお、以下では、入力画像である工事写真画像（以下、「データベース画像」と称する。）に含まれる黒板画像をオブジェクトとして抽出する場合を例として説明する。
図１は、本発明の一実施例によるオブジェクト検索システムを説明するための概略ブロック図である。本実施例によるオブジェクト検索システム１０は、オブジェクト領域抽出部１１と、色特徴量抽出部１２と、色特徴量クラスタリング部１３と、形状特徴量抽出部１４と、形状特徴量クラスタリング部１５と、第１のオブジェクト候補領域抽出部１６と、第２のオブジェクト候補領域抽出部１７と、オブジェクト領域決定部１８とを備えている。

ここで、オブジェクト領域抽出部１１および第１のオブジェクト候補領域抽出部１６は、外部の画像入力装置２０に接続されている。色特徴量クラスタリング部１３，形状特徴量クラスタリング部１５，第１のオブジェクト候補領域抽出部１６および第２のオブジェクト候補領域抽出部１７は、外部の特徴量記憶装置２３に接続されている。オブジェクト領域決定部１８は、外部のオブジェクト記憶装置２４に接続されている。

画像入力装置２０は、多数（複数）の例示画像データが格納された例示画像記憶装置２１から例示画像データを１つずつ読み出してオブジェクト検索システム１０に入力するとともに、データベース画像（黒板を含む工事写真を画像化した工事写真画像）を表すデータベース画像データが格納された画像記憶装置２２からデータベース画像データを読み出してオブジェクト検索システム１０に入力する。

図２は、工事写真画像、およびこの工事写真画像から抜き取った例示画像の一例を示す図である。図２の左側に示す工事写真画像は、黒板が含まれている工事写真を画像化したものであり、図２の右側に示す例示画像は、黒板を含む領域を工事写真画像から抜き取ったものである。オブジェクト検索システム１０は、例示画像記憶装置２１に格納されている複数の例示画像各々に含まれている黒板領域を抽出して、抽出した黒板領域の色特徴量および形状特徴量をそれぞれ個別に抽出したのち、抽出した色特徴量および形状特徴量をそれぞれクラスタリングして、各クラスタ内のデータを代表する特徴量（以下、「色に関する各クラスタが持つ特徴量」および「形状に関する各クラスタが持つ特徴量」と称する。）を求める。そして、求めた色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を表す特徴量データを特徴量記憶装置２３に格納する。

なお、黒板を含む例示画像から黒板領域の抽出を行うために、黒板領域を黒線で囲む処理をしたのちに、例示画像データは例示画像記憶装置２１に格納されている。これにより、オブジェクト領域抽出部１１は、画像入力装置２０から入力される例示画像を表す例示画像データから、黒画素（Ｒ＝０，Ｇ＝０，Ｂ＝０）で囲まれた領域を抽出することにより、オブジェクト領域、すなわち黒板領域を抽出することができる。

色特徴量抽出部１２は、オブジェクト領域抽出部１１によって抽出された黒板領域を構成している代表色を求め、求めた代表色の色特徴量を抽出する。
色特徴量クラスタリング部１３は、複数の例示画像について色特徴量抽出部１２によって抽出された色特徴量のクラスタリングを行ったのち、色に関する各クラスタが持つ特徴量を抽出する。

形状特徴量抽出部１４は、オブジェクト領域抽出部１１によって抽出された黒板領域の大まかな形状特徴量および詳細な形状特徴量を抽出する。
形状特徴量クラスタリング部１５は、複数の例示画像について形状特徴量抽出部１４によって抽出された詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する。
なお、形状に関する各クラスタが持つ特徴量は、形状特徴量抽出部１４により抽出された大まかな形状特徴量と、形状特徴量クラスタリング部１５により抽出された各クラスタの詳細な形状特徴量とを含む。

第１のオブジェクト候補領域抽出部１６は、画像入力装置２０から入力されるデータベース画像データによって表されるデータベース画像（工事写真画像）に対して、色に関する各クラスタが持つ特徴量を用いて段階的にオブジェクト候補領域の絞込みを行う。
第２のオブジェクト候補領域抽出部１７は、第１のオブジェクト候補領域抽出部１６により抽出された第１のオブジェクト候補領域に対して、形状に関する各クラスタが持つ特徴量を用いて段階的にオブジェクト候補領域の絞込みを行う。
オブジェクト領域決定部１８は、第２のオブジェクト候補領域抽出部１７により抽出された第２のオブジェクト候補領域からオブジェクト領域を決定し、決定したオブジェクト領域を黒板画像（オブジェクト）として、この黒板画像を表すオブジェクト領域データ（黒板画像データ）をオブジェクト記憶装置２４に格納する。

次に、オブジェクト検索システム１０の動作（本発明の一実施例によるオブジェクト検索方法）について説明する。
まず、複数の例示画像から色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を抽出するときのオブジェクト検索システム１０の動作について、図３に示すフローチャートを参照して説明する。

担当者は、画像入力装置２０を用いて、例示画像記憶装置２１に格納されている複数の例示画像データを１つずつ読み出したのち、読み出した例示画像データをオブジェクト検索システム１０に入力する（ステップＳ１１）。

画像入力装置２０から入力されてきた例示画像データによって表される例示画像においては、黒板領域は黒線で囲まれる処理がなされているため、オブジェクト検索システム１０のオブジェクト領域抽出部１１は、図４に示すように、この例示画像について水平方向に画素を走査して黒画素を検出していく。オブジェクト領域抽出部１１は、黒画素を検出すると、検出した黒画素の水平方向のライン上で、次に黒画素を検出するまでの画素を黒板領域の画素とすることにより、黒線で囲まれた黒板領域を抽出する（以上、ステップＳ１２）。
オブジェクト領域抽出部１１は、抽出した黒板領域を表す黒板領域データを色特徴量抽出部１２および形状特徴量抽出部１４に出力する。

色特徴量抽出部１２は、オブジェクト領域抽出部１１から黒板領域データが入力されると、以下のようにして、黒板領域を構成している代表色を求め、求めた代表色の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲を色特徴量として抽出する（ステップＳ１３）。
色特徴量抽出部１２は、オブジェクト領域抽出部１１から入力された黒板領域データをたとえばメディアンフィルタにより平滑化し、黒板領域の全画素について、色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の各次元について値を「７２」，「３２」および「３２」に等分割したＨＳＶヒストグラムを生成する。
続いて、色特徴量抽出部１２は、連続する５×５×５要素（計７２×２８×２８通り）の頻度の和をすべて計算し、頻度の和が最大となる５×５×５要素の範囲を検出したのち、検出した範囲の中で頻度が最大となる要素を検出して、検出した要素の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の各次元の座標（ｓ，ｔ，ｕ）を求める。

続いて、色特徴量抽出部１２は、７２等分割の色相（Ｈ）ヒストグラムと３２等分割の彩度（Ｓ）ヒストグラムと３２等分割の輝度（Ｖ）ヒストグラムとを生成したのち、各ヒストグラムについて、上記求めた座標（ｓ，ｔ，ｕ）の各座標値ｓ，ｔ，ｕを基準に、ヒストグラムの隣接する階級について（１）式に示す条件を満たすまで順に検索していき、検索した範囲を代表色が取る色相，彩度および輝度それぞれの範囲とする。なお、（１）式は、ヒストグラムのある階級ｉにおける度数ｆ(i)が閾値Ｔｈ_colorよりも小さくなったときに、その階級がヒストグラムの分割点であることを表している。ただし、その階級の度数だけでなく、その左右２つまでの階級の度数の和を計算することで、より適切な評価をするようにしている。
ｆ(i-2)＋ｆ(i-1)＋ｆ(i)＋ｆ(i+1)＋ｆ(i+2)＜Ｔｈ_color （１）
ここで、Ｔｈ_color＝（オブジェクト領域の全画素数）／４０

続いて、色特徴量抽出部１２は、検出した値の範囲は量子化したヒストグラム上での範囲であり実際の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲ではないため、（２）式により、検出した値の範囲を実際の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）の値の範囲に変換する。
ｍｉｎＨ＝ｍｉｎＨ_hist×５， ＭａｘＨ＝ＭａｘＨ_hist×５＋４
ｍｉｎＳ＝ｍｉｎＳ_hist×８， ＭａｘＳ＝ＭａｘＳ_hist×８＋７ （２）
ｍｉｎＶ＝ｍｉｎＶ_hist×８， ＭａｘＶ＝ＭａｘＶ_hist×８＋７
ここで、ｍｉｎＨ_histからＭａｘＨ_histが色相ヒストグラム上の色相の値の範囲（一端から一端）であり、ｍｉｎＳ_histからＭａｘＳ_histが彩度ヒストグラム上の彩度の値の範囲（下限から上限）であり、ｍｉｎＶ_histからＭａｘＶ_histが輝度ヒストグラム上の輝度の値の範囲（最小から最大）であり、ｍｉｎＨからＭａｘＨが実際の色相の値の範囲（一端から一端）であり、ｍｉｎＳからＭａｘＳが実際の彩度の値の範囲（下限から上限）であり、ｍｉｎＶからＭａｘＶが輝度の値の範囲（最小から最大）である。

また、色特徴量抽出部１２は、０≦ｔ≦４の場合は、その代表色を無彩色と判断する。無彩色を表現する際には、色相の値は無関係となるので、色相範囲を０°〜３５９°とすることで、色相の制限を排除する。

色特徴量抽出部１２は、この一連の処理を、一定数の代表色を抽出するまで、未探索な要素について繰り返す。図５に、２色まで代表色を抽出した結果の一例を示す。この例では、色相の値の範囲が０〜３５９であり、彩度の値の範囲が０〜３９であり、かつ輝度の値の範囲が２４０〜２５５である第１の代表色と、色相の値の範囲が１１９〜２１３であり、彩度の値の範囲が０〜１１９であり、かつ輝度の値の範囲が２４０〜２５５である第２の代表色とが抽出されている。

色特徴量抽出部１２は、以上のようにして抽出した代表色に対応する領域の画素数が黒板領域の全画素数に対して０．０５以下である場合には、抽出した代表色は黒板領域を特徴付ける代表色ではないと判断して、除去する。

また、色特徴量抽出部１２は、抽出した代表色が複数存在した場合には、各代表色が黒板領域に対して占める割合を獲得するために、各代表色に該当する画素数の黒板領域の全画素数に対する割合を求めて、各代表色の面積の特徴量を抽出する。図５に示す例では、第１の代表色の面積＝０．０９であり、第２の代表色の面積＝０．９１である。なお、面積の特徴量の次元の数は、代表色の次元の数と等しくなる。

さらに、色特徴量抽出部１２は、抽出した代表色が複数存在した場合には、複数の代表色がどのような位置関係を持っているかという情報を獲得するために、代表色同士の空間関係の特徴量を抽出する。
具体的には、色特徴量抽出部１２は、まず、面積が最大となる代表色領域の重心と、黒板領域を含む最小矩形領域とを算出する。そして、色特徴量抽出部１２は、その重心を中心とする最小矩形領域の縦横１／２の矩形領域と、この矩形領域を除く上下左右方向それぞれに存在するその他の代表色領域の画素数とを算出し、上下左右方向それぞれに存在するその他の代表色領域の画素数の、上下左右方向それぞれに存在するその他の代表色領域の全画素数に対する割合を算出して、代表色同士の空間関係の特徴量とする。図６に、求めた代表色同士の空間関係の特徴量の一例を示す。この例では、第１および第２の代表色同士の空間関係は、中・上・左・下および右方向の割合がそれぞれ、０．３０，０．６６，０．０１，０．０１および０．０２となるものである。この特徴量の次元数は、｛（構成色数−１）×５｝となる。
この特徴量により、面積が最大となる代表色領域を基準としたその他の代表色領域それぞれの空間関係を表現することができる。

形状特徴量抽出部１４は、黒板領域データがオブジェクト領域抽出部１１から入力されると、以下のようにして、黒板領域の形状特徴量を抽出する（ステップＳ１４）。
まず、形状特徴量抽出部１４は、実際に工事写真画像から黒板画像を抽出する際の形状特徴量による絞込みに要する処理時間を短縮するために、黒板領域の大まかな形状として黒板領域の縦横比を計算する。そして、形状特徴量抽出部１４は、黒板領域を含む最小矩形領域の横幅に対する縦幅の割合を算出し、この算出した割合を大まかな形状特徴量として抽出する。図７に、抽出した大まかな形状特徴量の一例を示す。この例では、大まかな形状特徴量＝１．２である。大まかな形状特徴量の次元数は１次元である。

続いて、形状特徴量抽出部１４は、以下のようにして、黒板領域の詳細な形状特徴量を抽出する（ステップＳ１５）。
形状特徴量抽出部１４は、図８に示すように、黒板領域の重心位置から下方向に下ろした線とオブジェクト領域の輪郭との交点を探索開始点として、黒板領域の輪郭となる画素を反時計回りに検索していく。形状特徴量抽出部１４は、黒板領域の輪郭となる全画素について接線角度を計算し、黒板領域の重心から見て１０°毎に接線角度の頻度を求めた３６分割の角度ヒストグラムを生成する。このとき、接線角度は、たとえば、ある輪郭上の画素からその４画素先に引いた直線の水平方向に対する角度として求める。形状特徴量抽出部１４は、この生成した角度ヒストグラムを詳細な形状特徴量とする。なお、詳細な形状の特徴量の次元数は３６次元である。

色特徴量クラスタリング部１３は、複数の例示画像について色特徴量抽出部１２によって抽出された色特徴量の中で、主観的に見た色の変動に最も則している特徴量は色相の特徴量であると考え、２×（代表色数）次元の色相（Ｈ）の値の範囲の特徴量について、以下の手順に従って色特徴量のクラスタリングを行う（ステップＳ１６）。
手順１：図９に示すように、すべての色相（Ｈ）の値の範囲のデータを同じクラスタに所属させる。
手順２：図１０に示すように、分割後のクラスタ数を「２」とするとともに、クラスタの重心座標をクラスタに属するデータの各次元の最小値および最大値として、ｋ−平均法によりクラスタリングする。
手順３：図１１に示すように、分割後の各クラスタの分散を計算し、その値が閾値Ｔｈ_var（＝４０）以上のクラスタを検出する。なお、閾値Ｔｈ_varは、たとえば、多数の例示画像を色に基づいて主観によりクラスタリングした際の全クラスタの中での最大の分散値とする。
手順４：図１２に示すように、手順３で検出したクラスタについて、再び手順２および手順３の処理を行う。
手順５：図１３に示すように、すべてのクラスタの分散が閾値Ｔｈ_var未満となった場合にクラスタリングを終了し、各クラスタについて、所属するデータの各色特徴量（代表色，空間関係および面積の特徴量）の平均値を、そのクラスタが持つ色特徴量とする。

ただし、例示画像によって代表色が異なる場合には、同じ代表色となる例示画像の集合毎にクラスタリングを行う。
また、ｋ−平均法は、初めにクラスタ数を決定しなければならないが、与える例示画像群によって、適切なクラスタ数が異なる。そこで、前述した処理により、クラスタ内の分散値を考慮し、その値が大きいクラスタをさらに分割していくことにより、適切なクラスタ数を決定することが可能となる。

ｋ−平均法の処理手順を以下に示す。
手順１：ランダムに選択したｋ個の点を初期クラスタの重心とする。
手順２：すべてのデータに対して、クラスタの重心との距離を計算し、最も近いクラスタに属させる。
手順３：各クラスタに属するデータの各座標の平均値を新しいクラスタの重心座標とする。
手順４：クラスタの重心座標が収束するまで手順１から手順３の処理を繰り返す。たとえば、各データのクラスタリングの結果が変化しなくなった時点で収束したとする。

形状特徴量クラスタリング部１５は、複数の例示画像について形状特徴量抽出部１４によって抽出された詳細な形状特徴量について、上述した色特徴量のクラスタリングの手順１から手順５に沿ってクラスタリングを行うことにより、各クラスタの詳細な形状特徴量を抽出する（ステップＳ１７）。このときに用いる閾値Ｔｈ_varは、色特徴量のクラスタリングの際と同様に、たとえば、複数の例示画像を形状に基づいて主観によりクラスタリングした際の全クラスタの中での最大の分散値である０．００１とする。
ここで、詳細な形状特徴量のクラスタリングに用いる閾値Ｔｈ_var（＝０．００１）を色特徴量のクラスタリングに用いる閾値Ｔｈ_var（＝４０）と異なる値とする理由は、クラスタリングに用いる特徴量の次元数と、取る値の範囲とが異なるためである。

色特徴量クラスタリング部１３は、抽出した色に関する各クラスタが持つ特徴量を特徴量記憶装置２３に格納し、形状特徴量クラスタリング部１５は、抽出した形状に関する各クラスタが持つ特徴量を特徴量記憶装置２３に格納する（ステップＳ１８）。これにより、この例示画像における各クラスタ内のデータを代表する特徴量である色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を表す特徴量データが、特徴量記憶装置２３に格納される。

以下、図１４の最下段に示す３つのデータベース画像に含まれている黒板画像を抽出するときのオブジェクト検索システム１０の動作について、図１５に示すフローチャートを参照して説明する。
担当者は、画像入力装置２０を用いて、画像記憶装置２２に格納されている多数のデータベース画像データ（工事写真画像データ）のうちの図１４に示す３つのデータベース画像データを１つずつ読み出したのち、読み出したデータベース画像データをオブジェクト検索システム１０に入力する（ステップＳ２１）。

オブジェクト検索システム１０の第１のオブジェクト候補領域抽出部１６は、画像入力装置２０からのデータベース画像データによって表されるデータベース画像（工事写真画像）に対して、特徴量記憶装置２３に格納されている色に関する各クラスタが持つ特徴量に基づいて、色に関する各クラスタが持つ各構成色の色相（Ｈ），彩度（Ｓ）および輝度（Ｖ）それぞれの範囲に収まる画素を抽出し、一つながりとなる領域をラベリングすることにより、色特徴量による第１の絞込みを行う（ステップＳ２２）。図１６に、色特徴量による第１の絞込みの結果の一例を示す。

続いて、第１のオブジェクト候補領域抽出部１６は、ラベリングされた各領域に対して、データベース画像全体に対する面積の割合が閾値Ｔｈ_area（＝（データベース画像全体の面積）／２００）以下の領域については、オブジェクト候補領域ではなくノイズ領域と判断して除去することにより、色特徴量による第２の絞込みを行う（ステップＳ２３）。図１７に、色特徴量による第２の絞込みの結果の一例を示す。

続いて、第１のオブジェクト候補領域抽出部１６は、クラスタの構成色が複数存在した場合には、そのすべての構成色を含む領域のみを抽出し、それ以外の領域は除去することにより、色特徴量による第３の絞込みを行う（ステップＳ２４）。図１８に、色特徴量による第３の絞込みの結果の一例を示す。

また、第１のオブジェクト候補領域抽出部１６は、抽出した各領域から前述したようにして空間関係および面積の特徴量を抽出したのち、抽出した空間関係および面積の特徴量と色に関する各クラスタが持つ空間関係および面積の特徴量との類似度を（３）式により計算し、共に０．６以上となる領域のみを抽出し、それ以外の領域は除去することにより、色特徴量による第４の絞込みを行う（ステップＳ２５）。図１９に、色特徴量による第４の絞込みの結果の一例を示す。

（３）式において、ｍは、空間関係（または面積）の特徴量の次元数であり、ｃｏｌｏｒ_c（ｉ）は、色に関するクラスタが持つ空間関係（または面積）のｉ番目の特徴量であり、ｃｏｌｏｒ_d（ｉ）は、領域から抽出した空間関係（または面積）のｉ番目の特徴量であり、Ｓｉｍ_colorは、０から１までの値を取り、１に近づくほど両者間の類似度が高くなる。

以上のようにして抽出された領域（第１のオブジェクト候補領域）を表す第１のオブジェクト候補領域データは、第１のオブジェクト候補領域抽出部１６から第２のオブジェクト候補領域抽出部１７に出力される（ステップＳ２６）。

第２のオブジェクト候補領域抽出部１７は、第１のオブジェクト候補領域抽出部１６から入力される第１のオブジェクト候補領域データによって表される第１のオブジェクト候補領域に対して、以下のようにして、形状に関する各クラスタが持つ特徴量を用いて、オブジェクト候補領域の絞込みを更に行う。

まず、第２のオブジェクト候補領域抽出部１７は、第１のオブジェクト候補領域から大まかな形状特徴量ｒａｔｉｏ_d（縦横比）を抽出したのち、特徴量記憶装置２３に格納されている形状に関する各クラスタが持つ特徴量に基づいて、形状に関する各クラスタが持つ大まかな形状特徴量ｒａｔｉｏ_cと、抽出した大まかな形状特徴量ｒａｔｉｏ_dとの類似度Ｓｉｍ_ratioを（４）式により計算する。その後、第２のオブジェクト候補領域抽出部１７は、類似度Ｓｉｍ_ratioが０．７５以上１．５以下となる領域のみを抽出し、それ以外の領域を除去することにより、形状特徴量による第１の絞込みを行う（ステップＳ２７）。図２０に、形状特徴量による第１の絞込みの結果の一例を示す。なお、（４）式においては、類似度Ｓｉｍ_ratioは、１に近づくほど両者の類似度が高くなるような値となる。

続いて、第２のオブジェクト候補領域抽出部１７は、形状特徴量による第１の絞込みにより抽出した領域から詳細な形状特徴量を抽出したのち、特徴量記憶装置２３に格納されている形状に関する各クラスタが持つ特徴量に基づいて、形状に関する各クラスタが持つ詳細な形状特徴量と、抽出した詳細な形状特徴量との類似度を、以下に示す（５）〜（７）式により計算する。その後、第２のオブジェクト候補領域抽出部１７は、類似度が０．６以上となる領域のみを抽出し、それ以外の領域を除去することにより、形状特徴量による第２の絞込みを行う（ステップＳ２８）。

なお、（５）式において、ｎは、詳細な形状特徴量の次元数であり、ｆｏｒｍ_c（ｉ）は、形状に関するクラスタが持つ詳細な形状のｉ番目の特徴量であり、ｆｏｒｍ_d（ｋ）は、抽出した詳細な形状のｋ（（７）式により算出）番目の特徴量である。なお、この類似度計算は、形状に関するクラスタが持つ詳細な形状のｉ番目の特徴量と、形状特徴量による第１の絞込みにより抽出した領域の対応する特徴量との値の差の絶対値を計算することを基本的な考え方としているが、ｉ番目同士の特徴量の差を取るだけでは、わずかな角度のずれが生じただけで類似していないと判断されてしまうため、（６）式のような計算を行うことにより、わずかな角度のずれを考慮して類似度を計算する。
ここで、（６）式では、形状に関するクラスタが持つ詳細な形状のｉ番目の特徴量と、形状特徴量による第１の絞込みにより抽出した領域のｉ番目、またその前後２つまでのｋ番目の特徴量との差を、ｉとの差の大きさによって重みを変えた上で計算する。そして、その中の最小値を、詳細な形状のｉ番目の特徴量に関する類似度としている。

続いて、第２のオブジェクト候補領域抽出部１７は、形状特徴量による第２の絞込みにより抽出された領域を第２のオブジェクト候補領域とし、第２のオブジェクト候補領域を表す第２のオブジェクト候補領域データと、第２のオブジェクト候補領域内の各領域の詳細な形状の特徴量を表す詳細な形状の特徴量データとをオブジェクト領域決定部１８に出力する（ステップＳ２９）。

オブジェクト領域決定部１８は、第２のオブジェクト候補領域抽出部１７から入力される第２のオブジェクト候補領域データおよび詳細な形状の特徴量データに基づいて、第２のオブジェクト候補領域の中に１つの領域しかない場合には、その領域をオブジェクト領域と決定し、一方、第２のオブジェクト候補領域の中に複数の領域がある場合には、複数の領域の中で詳細な形状の特徴量が最も類似した領域をオブジェクト領域と決定したのち、決定したオブジェクト領域の画像を黒板画像として、この黒板画像を表すオブジェクト領域データをオブジェクト記憶装置２４に格納する（ステップＳ３０）。図２１に、オブジェクト領域決定部１８により決定された黒板画像の一例を示す。
図２１に示すように、工事写真画像（データベース画像）に含まれている黒板画像（オブジェクト）を正確に抽出することができる。

以上の説明では、黒板領域を黒線で囲む処理がなされた例示画像データを例示画像記憶装置２１に格納したが、黒板領域を黒線で囲む処理がなされていない例示画像データを例示画像記憶装置２１に格納しておき、画像入力装置２０によって例示画像データを例示画像記憶装置２１から読み出したのちに、読み出した例示画像データによって表される例示画像を表示装置に表示させて、作業員が、表示された例示画像を見ながら、黒板領域を黒線で囲む処理を行ってもよい。この場合には、作業員によって黒線で囲む処理がなされた黒板領域を含む例示画像を表す例示画像データが、画像入力装置２０からオブジェクト領域抽出部１１に入力される。
また、ｋ−平均法によりクラスタリングを行ったが、単一パス法，重心法およびメディアン法などによりクラスタリングを行ってもよい。

以上説明したように、本発明のオブジェクト検索システムおよび方法は、たとえば、工事写真画像から黒板画像を検索するのに利用することができる。

本発明の一実施例によるオブジェクト検索システムを説明するための概略ブロック図である。（実施例１） 図２は、工事写真画像、およびこの工事写真画像から抜き取った例示画像の一例を示す図である。（実施例１） 例示画像から色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を抽出するときのオブジェクト検索システム１０の動作を説明するためのフローチャートである。（実施例１） オブジェクト領域抽出部１１の動作を説明するための図である。（実施例１） 色特徴量抽出部１２によって代表色を２色まで抽出した結果の一例を示す図である。（実施例１） 色特徴量抽出部１２によって求められた代表色同士の空間関係の特徴量の一例を示す図である。（実施例１） 形状特徴量抽出部１４によって抽出された大まかな形状特徴量の一例を示す図である。（実施例１） 形状特徴量抽出部１４による詳細な形状特徴量の抽出方法を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順１を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順２を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順３を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順４を説明するための図である。（実施例１） 色特徴量クラスタリング部１３における色特徴量のクラスタリング処理の手順５を説明するための図である。（実施例１） ３つの例示画像１〜３について色に関する各クラスタが持つ特徴量および形状に関する各クラスタが持つ特徴量を抽出した例を示す図である。（実施例１） 図１４の最下段に示す３つのデータベース画像に含まれている黒板画像を抽出するときのオブジェクト検索システム１０の動作について説明するためのフローチャートである。（実施例１） 第１のオブジェクト候補領域抽出部１６における色特徴量による第１の絞込みの結果の一例を示す図である。（実施例１） 第１のオブジェクト候補領域抽出部１６における色特徴量による第２の絞込みの結果の一例を示す図である。（実施例１） 第１のオブジェクト候補領域抽出部１６における色特徴量による第３の絞込みの結果の一例を示す図である。（実施例１） 第１のオブジェクト候補領域抽出部１６における色特徴量による第４の絞込みの結果の一例を示す図である。（実施例１） 第２のオブジェクト候補領域抽出部１７における形状特徴量による第１の絞込みの結果の一例を示す図である。（実施例１） オブジェクト領域決定部１８により求められた黒板画像の一例を示す図である。（実施例１）

符号の説明

１０ オブジェクト検索システム
１１ オブジェクト領域抽出部
１２ 色特徴量抽出部
１３ 色特徴量クラスタリング部
１４ 形状特徴量抽出部
１５ 形状特徴量クラスタリング部
１６ 第１のオブジェクト候補領域抽出部
１７ 第２のオブジェクト候補領域抽出部
１８ オブジェクト領域決定部
２０ 画像入力装置
２１ 例示画像記憶装置
２２ 画像記憶装置
２３ 特徴量記憶装置
２４ オブジェクト記憶装置
Ｓ１１〜Ｓ１８，Ｓ２１〜Ｓ３０ ステップ

Claims (5)

1. 例示画像に含まれるオブジェクト領域を抽出するオブジェクト領域抽出部（１１）と、
   該オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色特徴量を抽出する色特徴量抽出部（１２）と、
   該色特徴量抽出部によって抽出された前記色特徴量のクラスタリングを行ったのち、色に関する各クラスタが持つ特徴量を抽出する色特徴量クラスタリング部（１３）と、
   前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出する形状特徴量抽出部（１４）と、
   該形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する形状特徴量クラスタリング部（１５）と、
   前記色特徴量クラスタリング部によって抽出された前記色に関する各クラスタが持つ特徴量が格納されるとともに、前記形状特徴量抽出部によって抽出された前記大まかな形状特徴量と前記形状特徴量クラスタリング部によって抽出された前記各クラスタの詳細な形状特徴量とを含む形状に関する各クラスタが持つ特徴量が格納される特徴量記憶装置（２３）と、
   オブジェクトを含む入力画像に対して、前記特徴量記憶装置に格納されている前記色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行う第１のオブジェクト候補領域抽出部（１６）と、
   該第１のオブジェクト候補領域抽出部により抽出された第１のオブジェクト候補領域に対して、前記特徴量記憶装置に格納されている前記形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行う第２のオブジェクト候補領域抽出部（１７）と、
   該第２のオブジェクト候補領域抽出部により抽出された第２のオブジェクト候補領域から前記オブジェクト領域を決定して、前記入力画像に含まれている前記オブジェクトを求めるオブジェクト領域決定部（１８）と、
   を具備することを特徴とする、オブジェクト検索システム。
2. 前記第１のオブジェクト候補領域抽出部が、
   前記入力画像に対して、前記色に関する各クラスタが持つ特徴量に基づいて、該色に関する各クラスタが持つ各構成色の色相，彩度および輝度それぞれの範囲に収まる画素を抽出し、一つながりとなる領域をラベリングすることにより、色特徴量による第１の絞込みを行い、
   前記ラベリングされた各領域に対して、前記入力画像全体に対する面積の割合が閾値以下の領域を除去することにより、色特徴量による第２の絞込みを行い、
   クラスタの構成色が複数存在した場合には、そのすべての構成色を含む領域のみを抽出することにより、色特徴量による第３の絞込みを行い、
   該色特徴量による第３の絞込みにより抽出した各領域から空間関係および面積の特徴量を抽出したのち、該抽出した空間関係および面積の特徴量と前記色に関する各クラスタが持つ空間関係および面積の特徴量との類似度を計算し、該２つの類似度が所定の値以上となる領域のみを抽出することにより、色特徴量による第４の絞込みを行う、
   ことを特徴とする、請求項１記載のオブジェクト検索システム。
3. 前記第２のオブジェクト候補領域抽出部が、
   前記第１のオブジェクト候補領域抽出部によって抽出された前記第１のオブジェクト候補領域から大まかな形状特徴量を抽出したのち、前記形状に関する各クラスタが持つ特徴量に基づいて、該形状に関する各クラスタが持つ大まかな形状特徴量と前記抽出した大まかな形状特徴量との類似度を計算し、該計算した類似度が所定の範囲の値となる領域のみを抽出することにより、形状特徴量による第１の絞込みを行い、
   該形状特徴量による第１の絞込みにより抽出した領域から詳細な形状特徴量を抽出したのち、前記形状に関する各クラスタが持つ特徴量に基づいて、該形状に関する各クラスタが持つ詳細な形状特徴量と前記抽出した詳細な形状特徴量との類似度を計算し、該計算した類似度が所定の値以上となる領域のみを抽出することにより、形状特徴量による第２の絞込みを行う、
   ことを特徴とする、請求項１または２記載のオブジェクト検索システム。
4. 例示画像に含まれるオブジェクト領域が黒線で囲まれた例示画像データをオブジェクト検索抽出システム（１０）に入力する第１のステップと（Ｓ１１）、
   前記オブジェクト検索抽出システムにおいて、前記例示画像から前記オブジェクト領域を抽出し、該抽出したオブジェクト領域の画像に基づいて、色に関する各クラスタが持つ特徴量と形状に関する各クラスタが持つ特徴量とを抽出する第２のステップ（Ｓ１２〜Ｓ１７）と、
   オブジェクトを含む入力画像を前記オブジェクト検索システムに入力する第３のステップと（Ｓ２１）、
   第１のオブジェクト候補領域抽出部（１６）が、前記入力画像に対して、前記色に関する各クラスタが持つ特徴量を用いて、段階的に第１のオブジェクト候補領域の絞込みを行う第４のステップ（Ｓ２２〜Ｓ２５）と、
   第２のオブジェクト候補領域抽出部（１７）が、前記第１のオブジェクト候補領域抽出部から入力される前記第１のオブジェクト候補領域に対して、前記形状に関する各クラスタが持つ特徴量を用いて、段階的に第２のオブジェクト候補領域の絞込みを行う第５のステップ（Ｓ２７，Ｓ２８）と、
   オブジェクト領域決定部（１８）が、前記第２のオブジェクト候補領域抽出部から入力される前記第２のオブジェクト候補領域から前記オブジェクト領域を決定して、前記入力画像に含まれている前記オブジェクトを求める第６のステップ（Ｓ３０）と、
   を具備することを特徴とする、オブジェクト領域抽出方法。
5. 前記第２のステップが、
   オブジェクト領域抽出部（１１）が、前記例示画像データについて水平方向に画素を走査して黒画素を検出することにより、前記オブジェクト領域を抽出するステップ（Ｓ１２）と、
   色特徴量抽出部（１２）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色相，彩度および輝度の値の範囲を色特徴量として抽出するステップ（Ｓ１３）と、
   形状特徴量抽出部（１４）が、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域を含む最小矩形領域の横幅に対する縦幅の割合を算出して大まかな形状特徴量を抽出するステップ（Ｓ１４）と、
   前記形状特徴量抽出部が、前記オブジェクト領域の輪郭となる全画素について接線角度を計算し、所定の角度毎に接線角度の頻度を求めた角度ヒストグラムを生成して、該生成した角度ヒストグラムを前記詳細な形状特徴量として抽出するステップ（Ｓ１５）と、
   色特徴量クラスタリング部（１３）が、前記色特徴量抽出部によって抽出された前記色相の値の範囲の特徴量についてクラスタリングを行ったのち、前記色に関する各クラスタが持つ特徴量を抽出するステップ（Ｓ１６）と、
   形状特徴量クラスタリング部（１５）が、前記形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出するステップ（Ｓ１７）と、
   を備えることを特徴とする、請求項４記載のオブジェクト検索方法。

Images