JP2015128228A - 画像処理装置、画像処理システム、画像処理方法、画像処理プログラム、及び移動体制御装置 - Google Patents

Abstract

【課題】撮像装置により取得した偏光画像に含まれる偏光情報を利用した物体認識処理において、認識性能を向上させる。
【解決手段】画像認識部３０−１は、入力された偏光画像から、識別対象の形状を示す領域内の局所領域における偏光情報の差分に基づく特徴量を算出する偏光情報特徴量算出部３１と、偏光情報特徴量算出部３１により取得された特徴量を用いて、別対象の物体を識別する対象識別部３２とを有する。前記の特徴量には、Haar-like特徴量、ピクセル差分特徴量、ＨＯＧ特徴量、ＥＯＨ特徴量などがある。
【選択図】図９

Description

本発明は、所定の撮像領域を撮像して取得した偏光画像を処理することで、撮像領域に存在する物体を検出する画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム、並びにその検出結果を利用して、車両やロボットなどの移動体を制御する移動体制御装置に関する。

カメラ装置の撮像素子上に領域分割した偏光フィルタを配置し、画素毎に取得する光の偏光方向（Ｐ偏光、Ｓ偏光）を変えることで、偏光成分情報としてＰ偏光成分の強度に対応するＰ偏光成分情報を含むＰ偏光画像、及び偏光成分情報としてＳ偏光成分の強度に対応するＳ偏光成分情報を含むＳ偏光画像を取得し、それらの偏光画像から差分偏光度（ＳＤＯＰ：Sub Degree of Polarization）などの偏光情報を取得することで、物体の識別を可能にした立体物識別装置が知られている（特許文献１）。

より詳しく述べると、例えば、道路のアスファルト部分の差分偏光度を基準差分偏光度とし、識別対象領域の差分偏光度と基準差分偏光度との差分である相対差分偏光度が閾値以上の領域を路面構造物領域（マンホールなど）として抽出する。このように、差分偏光度の絶対量ではなく相対量を用いることで、撮影環境の違い（昼間と夜間などの時間帯の違い、晴天と雨天などの天候の違い）等の影響で、識別対象領域の差分偏光度の算出値にズレが生じても、同じ影響でズレが生じている基準差分偏光度との相対量を用いることで、ズレによる誤検出を防止している。

そして、抽出された路面構造物領域のエッジ情報と、予め記憶しておいた路面構造物の形状テンプレートの情報とを用いて、近似曲線を取得し、最小二乗法やハフ変換やモデル方程式を用いて、形状近似認識を行い、路面構造物を特定する。

しかしながら、上記の立体物識別装置では、識別対象領域の内外の偏光情報の差分に基づいて、識別対象物のエッジを抽出する構成であるため、前記識別対象外の部分（上記の基準差分偏光度）をどこに選ぶかにより、偏光の光源方向依存性、即ちカメラ装置に対する光源の方向の変化に基づき前記偏光情報の差分値に大きく変動が生じ、誤検出が多いという問題がある。

本発明は、このような問題を解決するためになされたものであり、その目的は、撮像装置により取得した偏光画像を利用した物体認識処理において、認識性能を向上させることである。

本発明は、所定の撮像領域を撮像して取得した偏光画像を処理して、前記撮像領域に存在する物体を識別する画像処理装置であって、前記偏光画像から識別対象の形状を示す領域内の局所領域における偏光情報の差分に基づく特徴量を取得する第１の特徴量取得手段と、該第１の特徴量取得手段により取得された特徴量を用いて、前記識別対象の物体を識別する対象識別手段と、を有する画像処理装置である。

本発明によれば、撮像装置により取得した偏光画像を利用した物体認識処理において、認識性能を向上させることができる。

本発明の実施形態に係る画像処理装置を含む移動体制御装置の概略構成を示すブロック図である。 図１における輝度／偏光画像生成部、画像認識部、及び車両制御部を実現するハードウェアであるコンピュータシステムの一例を示すブロック図である。 図１における撮像装置に設けられている光学フィルタの正面図である。 図１における撮像装置に設けられている光学フィルタ、撮像素子及び基板の断面図である。 物体による反射のモデルを説明するための図である。 多数の人物の平均像の輝度画像を示す図である。 多数の人物の平均像の輝度画像のSobelフィルタ出力を示す図である。 図６における輝度画像を輝度値とともに示す図である。 多数の人物の平均像の偏光画像を偏光情報の強度値とともに示す図である。 図１における画像認識部の第１の実施形態の機能ブロック図である。 図９における偏光情報特徴量算出部の一例について説明するための図である。 図１における画像認識部の第２の実施形態の機能ブロック図である。 図１における画像認識部の第３の実施形態の機能ブロック図である。 本発明の第１の実施形態の画像認識部及び第２の実施形態の画像認識部の効果について説明するためのグラフの一例を示す図である。 従来の輝度画像のみを用いる認識結果、並びに本発明の実施形態に係る偏光画像及び輝度画像を用いる認識結果について説明するための図である。

以下、本発明の実施形態について図面を参照して説明する。
〈移動体制御装置の概略構成〉
図１は、本発明の実施形態に係る画像処理装置を含む移動体制御装置の概略構成を示すブロック図である。

この移動体制御装置は、撮像装置１０、輝度／偏光画像生成部２０、画像認識部３０、及び車両制御部４０を備えている。ここで、輝度／偏光画像生成部２０、及び画像認識部３０が画像処理装置を構成する。また、この画像処理装置と撮像装置１０とが画像処理システムを構成し、この画像処理装置と車両制御部４０とが移動体制御装置を構成する。

この移動体制御装置は移動体としての車両に搭載され、フロントガラスの前方の撮像領域に存在する人や他の車両などを検出したとき、減速や停止制御を行うものである。ただし、本発明に係る移動体制御装置は、車両以外の移動体、例えばロボットの制御に適用することもできる。

撮像装置１０は、偏光カメラと呼ばれる偏光画像の取得機能を有するものであり、撮像レンズと、撮像素子と、光学フィルタとを内蔵しており、フロントガラスの前方の撮像領域からの入射光を撮像素子上に結像させ、電気信号に変換することで、撮像領域の画像Ｉ_０を取得する。ここで、画像Ｉ_０は画素毎にＰ偏光成分情報を含むＰ偏光画像と、画素毎にＳ偏光成分情報を含むＳ偏光画像とからなる。Ｐ偏光画像及びＳ偏光画像を取得するための手段の詳細については後述する。

画像Ｉ_０は輝度／偏光画像生成部２０に入力される。輝度／偏光画像生成部２０は、画像Ｉ_０から輝度画像、及びＳＤＯＰなどの偏光情報を含む偏光画像を生成して、それらの画像からなる画像Ｉ_１を出力する。

画像Ｉ_１は、画像認識部３０に入力される。画像認識部３０は、画像Ｉ_１のうちの偏光画像のみ、又は偏光画像及び輝度画像の双方を用いて、対象物（人や車両）を検出する。画像認識部３０の詳細については後述する。

画像認識部３０による認識結果は、移動体制御手段としての車両制御部４０へ送出される。車両制御部４０は、入力された認識結果に基づいて、車両のブレーキやステアリング操作の補助などの車両制御を行う。

〈画像処理装置及び車両制御部のハードウェア構成〉
図２は、図１における輝度／偏光画像生成部２０、画像認識部３０、及び車両制御部４０を実現するハードウェアであるコンピュータシステムの一例を示すブロック図である。

このコンピュータシステム２００は、バス２１０と、それぞれがバス２１０に接続された各種の制御及び処理を行うＣＰＵ２２０、ＲＯＭ２３０、ＲＡＭ２４０、ＨＤＤ（ハードディスク）２５０、及びＩ／Ｏ２６０を備えている。Ｉ／Ｏ２６０には撮像装置１０が接続される。

ＲＡＭ２４０は、ＣＰＵ２２０の作業領域として利用される。ＲＯＭ２３０（書き換え可能なものも含む）は、各種制御プログラムやテーブル、パラメータなどの固定情報の記録領域として利用される。

輝度／偏光画像生成部２０、画像認識部３０、及び車両制御部４０を実現する画像処理プログラムは、図示されていない光学ドライブ装置にＤＶＤ−ＲＯＭなどの記録媒体をセットすることで、ＨＤＤ２５０に一旦保存された後に必要なときにＲＡＭ２４０にロードされる。処理の対象となる画像はＩ／Ｏ２６０に撮像装置１０を介して入力される。

〈Ｐ偏光画像及びＳ偏光画像の取得〉
次に撮像装置１０においてＰ偏光画像及びＳ偏光画像を取得する手段について説明する。図３は、図１における撮像装置１０に設けられている光学フィルタの正面図であり、図４は、図１における撮像装置１０に設けられている光学フィルタ、撮像素子及び基板の断面図である。

光学フィルタ１３において、フィルタ基板１３１は、撮像レンズ（図示せず）を介して光学フィルタ１３に入射する入射光を透過させる透明な基板である。フィルタ基板１３１の撮像素子１２側の面には、偏光フィルタ層１３２が形成されている。偏光フィルタ層１３２を覆うように、更に充填層１３３が形成されている。

光学フィルタ１３に入射した光のうち、偏光フィルタ層１３２を透過した光は、基板ＳＴ上の撮像素子１２の画素領域に入射する。偏光フィルタ層１３２には撮像素子１２の画素サイズに対応した偏光子によりＳＷＳ（サブ波長構造）の領域分割偏光フィルタが形成されている。

ここでは、偏光子としてはＳ偏光成分透過領域ＰＯＬ１とＰ偏光成分透過領域ＰＯＬ２が横方向（行方向）に短冊状に交互に形成されている。このため、撮像素子１２の縦方向に並ぶ画素ＰＣ１、ＰＣ２はＳ偏光成分透過領域ＰＯＬ１に対向し、画像ＰＣ１、ＰＣ２の右隣に縦方向（列方向）に並ぶ画素ＰＣ３、ＰＣ４はＰ偏光成分透過領域ＰＯＬ２に対向する。

従って、画素ＰＣ１、ＰＣ２の光電変換出力はＳ偏光成分情報を含み、Ｐ偏光成分情報を含まない。また、画素ＰＣ３、ＰＣ４の光電変換出力はＰ偏光成分情報を含み、Ｓ偏光成分情報を含まない。

そこで、画素ＰＣ１、ＰＣ２のＰ偏光成分情報については、その両側の２個の画素のＰ偏光成分情報の平均値、即ち画素ＰＣ３、ＰＣ４の右隣の２個の画素の光電変換出力と、画素ＰＣ１、ＰＣ２の２列左の画素の光電変換出力の平均値を用いる。同様に、画素ＰＣ３、ＰＣ４のＳ偏光成分情報については、その両側の２個の画素のＳ偏光成分情報の平均値、即ち画素ＰＣ１、ＰＣ２の左隣の２個の画素の光電変換出力と、画素ＰＣ３、ＰＣ４の２列右の２個の画素の光電変換出力の平均値を用いる。他の画素についても同様に処理する。

このように処理することで、撮像素子１２の画素毎に、Ｐ偏光成分情報を含む光電変換出力であるＰ偏光画像、及びＳ偏光成分情報を含む光電変換出力であるＳ偏光画像を取得することができる。

なお、Ｓ偏光成分情報を含み、Ｐ偏光成分情報を含まない画素ＰＣ１、ＰＣ２などの光電変換出力、Ｐ偏光成分情報を含み、Ｓ偏光成分情報を含まない画素ＰＣ３、ＰＣ４などの光電変換出力から差分偏光画像を形成することにより、視差画像として各種情報検知に利用することができる。

ここでは、撮像素子としてはモノクロセンサを想定しているが、これに限定されるものでなく、カラーセンサであってもよい。また、撮像装置１０として、例えば特許文献１に記載されている各種偏光カメラ（カメラ前面に偏光子を配置しておき、偏光子を回転させながら複数枚の偏光角が異なる画像を取得するようなカメラなど）を採用することもできる。

〈輝度画像及び偏光情報の取得〉
次に、輝度／偏光画像生成部２０が、画像Ｉ_０から輝度画像、及び偏光情報を含む偏光画像を生成する手順について説明する。

まず輝度画像は、「（Ｓ偏光画像＋Ｐ偏光画像）/２」、即ちＳ偏光画像の偏光情報成分とＰ偏光画像の偏光情報成分の平均値を算出することで取得する。また、偏光画像は、偏光情報としてＳＤＯＰ（差分偏光度）を含むものを取得する。

ＳＤＯＰは、ストークスパラメータ：Ｓ_０、Ｓ_１を用いて以下の式〔１〕により定義される量である。
ＳＤＯＰ＝Ｓ_１/Ｓ_０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)} …式〔１〕
ここで、Ｉ(０，φ)は、軸角度を０度としたときの偏光子を通した光強度、Ｉ(９０，φ)は軸角度を９０度としたときの偏光子を通した光強度である。

先に説明した「領域分割偏光フィルタ」の例では、Ｉ(０，φ)はＳ偏光成分透過領域ＰＯＬ１の透過光を受光した画素の受光強度であり、Ｉ(９０，φ)はＰ偏光成分透過領域ＰＯＬ２の透過光を受光した画素の受光強度である。

従って、ＳＤＯＰは、「{(Ｓ偏光画像)−(Ｐ偏光画像)}/{(Ｓ偏光画像)＋(Ｐ偏光画像)}」＝「{(Ｓ偏光画像)−(Ｐ偏光画像)}/(輝度画像)」として取得することができる。

〈偏光の特性などについて〉
前述したように、画像認識部３０は、ＳＤＯＰなどの偏光情報を用いて物体を認識する。ここで、偏光情報は大きく光源の影響を受けるため、その物理量をそのまま使用したのでは、識別したい対象の特徴を上手く記述することが出来ない。以下に偏光の特性について、またその課題に対処する方法、即ち画像認識部３０において、識別したい対象の特徴を記述する方法について説明する。

物体表面の反射特性は、双方向反射分布関数(Bi-directional Reflectance Distribution Function 以下「ＢＲＤＦ」)により表現される。
物体表面上の「ある点におけるＢＲＤＦ」は入射方向と反射方向の双方向に依存し、照明方向からの入射光の強さに対する、観測方向への反射光の強さの比として定義される。

「偏光現象」を記述する反射モデルは種々提案されている。以下では、鏡面反射成分として「Torrance Sparrowモデル」を用い、拡散反射成分として「Lambertモデル」を用いる。

図５は、物体ＯＢによる反射のモデルを示している。この図において、Ｎは物体ＯＢの反射位置における「外向き法線ベクトル」を表す。Ｌは、前記反射位置から光源へ向かうベクトルで「光源ベクトル」と呼ぶ。Ｖは、前記反射位置から観察位置へ向かうベクトルで「視線方向ベクトル」と呼ぶ。Ｈは、光源ベクトルＬと視線方向ベクトルＶとの成す角を２等分する方向のベクトルで簡単に「２等分方向ベクトル」と呼ぶ。前記の各ベクトル：Ｎ、Ｌ、Ｖ、Ｈは「同一平面」上に位置する。この同一平面内で、角：ψ、θ_Ｌ、α、θ_ｉ、及びθを、図示のように定める。

物体ＯＢによる「Ｓ偏光ＢＲＤＦ：ρ_Ｓ(ψ，θ)」は、以下の式〔２〕により与えられ、「Ｐ偏光ＢＲＤＦ：ρ_Ｐ(ψ，θ)」は、以下の式〔３〕により与えられる。
ρ_Ｓ(ψ，θ)＝ｋ_ＳＲ_Ｓ(θ_ｉ)Ｄ＋ｋ_ｄcosθ_Ｌ …式〔２〕
ρ_Ｐ(ψ，θ)＝ｋ_ＰＲ_Ｐ(θ_ｉ)Ｄ＋ｋ_ｄcosθ_Ｌ …式〔３〕

式〔２〕及び〔３〕における右辺の第１項が鏡面反射モデル項(Torrance Sparrowモデル)、第２項が拡散反射モデル項(Lambertモデル)である。また、ｋ_ＳはＳ偏光の鏡面反射係数、ｋ_ＰはＰ偏光の鏡面反射係数を表し、ｋ_ｄは拡散反射係数を表す。

また、Ｒ_Ｓ(θ_ｉ)、Ｒ_Ｐ(θ_ｉ)は、それぞれＳ偏光、Ｐ偏光に対する「フレネル反射率」であり、以下の式〔４〕、〔５〕により与えられる。
Ｒ_Ｓ(θ_ｉ)＝{(ｎ_１cosθ_ｉ−ｎ_２cosθ_ｉ’)/(ｎ_１cosθ_ｉ＋ｎ_２cosθ_ｉ’)}^２ …式〔４〕
Ｒ_Ｐ(θ_ｉ)＝{(ｎ_１cosθ_ｉ’−ｎ_２cosθ_ｉ)/(ｎ_１cosθ_ｉ’＋ｎ_２cosθ_ｉ)}^２ …式〔５〕
ここで、ｎ_１、ｎ_２は、それぞれ空気及び物体ＯＢの屈折率である。

また、角：θ_ｉ’は、角：θ_ｉ及び屈折率：ｎ_１、ｎ_２と以下の式〔６〕の関係にある。
sinθ_ｉ’＝（ｎ_１/ｎ_２）sinθ_ｉ …式〔６〕

従って、θ_ｉ’は下記の式〔７〕で与えられる。
θ_ｉ’＝sin^−１｛（ｎ_１/ｎ_２）sinθ_ｉ｝ …式〔７〕

上記フレネル反射率の項により、反射モデルの挙動として偏光依存性が反映される。

上記の式〔２〕、〔３〕におけるＤは、反射位置における微小面積の「法線分布項」であり、以下の式〔８〕で表される。
Ｄ＝exp(−α^２/２ａ^２) …式〔８〕
ここで、αは分布関数の中心座標値であり、図５における角度パラメータ：αに対応している。また、ａは分布関数における標準偏差である。なお、「ａ」は微小面積の「角度分布に関するパラメータ」であり、機械工学で定義される「表面粗さ」（物体表面の凹凸を示す高さの分布の標準偏差を示すことが一般的）とは、物理的な関連性はない。また、法線分布項：Ｄは正規分布を表すガウス分布となっている。

次に、偏光情報について説明する。偏光情報として種々のものが考えられるが、以下では偏光情報として、「偏光度」、「差分偏光度（ＳＤＯＰ）」及び「偏光比」について説明する。

「偏光度（Degree of polarization）」は、偏光現象に関する周知のストークスパラメータ：Ｓ_０、Ｓ_１、Ｓ_２、Ｓ_３を用いて定義される量であり、以下「ＤＯＰ」と略記する。
ＤＯＰは、ストークスパラメータ：Ｓ_０〜Ｓ_３を用いて、以下の式〔９〕により定義される。
ＤＯＰ＝｛√（Ｓ_１ ^２＋Ｓ_２ ^２＋Ｓ_３ ^２）｝/Ｓ_０ …式〔９〕

ＳＤＯＰは、前述したとおり、ストークスパラメータ：Ｓ_０、Ｓ_１を用いて以下の式〔１０〕により定義される量である。
ＳＤＯＰ＝Ｓ_１/Ｓ_０＝{Ｉ(０，φ)−Ｉ(９０，φ)}/{Ｉ(０，φ)＋Ｉ(９０，φ)}＝{ρ_Ｓ(ψ，θ)−ρ_Ｐ(ψ，θ)}/{ρ_Ｓ(ψ，θ)＋ρ_Ｐ(ψ，θ)} …式〔１０〕

ストークスパラメータ：Ｓ_２＝Ｓ_３＝０の場合には、以下の式〔１１〕の関係が成り立つ。
ＤＯＰ＝｜ＳＤＯＰ｜ …式〔１１〕
そこで、この場合のＳＤＯＰも「偏光度」と呼ぶことにする。

偏光比は上記Ｉ(０，φ)とＩ(９０，φ)との比であり、以下の式〔１２〕により定義される。
偏光比＝Ｉ(０，φ)/Ｉ(９０，φ) …式〔１２〕

なお、偏光比は、上記のように「Ｉ(０，φ)とＩ(９０，φ)との比」であるので、上記の式〔１２〕に代えて、以下の式〔１３〕で表してもよい。
偏光比＝Ｉ(９０，φ)/Ｉ(０，φ) …式〔１３〕

以上の偏光情報を用いて有用な情報を取り出す方法を以下に示す。
図５を用いて説明した反射モデルでは、反射光の偏光状態は、物体ＯＢの材質(屈折率、表面状態、内部散乱係数)、光源と物体の角度、物体と観測点の角度を変数として表せる。即ち、上記偏光状態は、以下の式〔１４〕により表すことができる。
偏光状態＝Ｆ（光源状態、材質、角度） …式〔１４〕
ここで、Ｆは関数であることを表す。

この式において、各変数は以下のとおりである。また、光源状態・材質・角度のうち、どれか２つが決まれば残りの１つが定まる、という関係となっている。なお、「σ」は材質のざらつき具合を示すものであり、「ａ」と同じである。
光源状態＝ψの角度分布
材質＝ｋ_Ｓ、ｋ_Ｐ，ｋ_ｄ，ｎ_２，σ
角度=θ

図５を用いて説明した反射モデルでは、物体ＯＢの表面での「正反射によるスペキュラー光」を表す項（Ｒｓ、Ｒｐの項）が偏光状態を特徴付ける重要な量となっている。観察対象である物体ＯＢに対して、撮像装置１０と光源が同じ角度にあるような場合には、スペキュラー光は殆ど戻って来ず、その結果「偏光情報が得られない」ことが分かる。

光源の状態をコントロールできない場合には、このような困難があるため、光源の条件を固定できない車載用途などへの応用を考えた場合には以下のことを考えていく必要がある。

偏光状態は式〔１４〕で示したような関係にあるため、照射光を投射しない車載カメラでは、光源状態に依存して「偏光画像の持つ偏光情報」が変化する。即ち、例えば「路面と白線など異なる材質のもの」を区別する場合にも光源の状態によって、偏光情報（例えばＳＤＯＰ）は変化してしまう。これが偏光を利用する場合の難しさである。なお、偏光情報は、角度によっても変化するが「路面上の同じ角度のもの」を見る場合であれば、角度による偏光情報の変化は無視することができる。

認識処理を行う際には、何か物体の特徴量を用いて認識を行う必要があるが、単独で偏光を特徴量として用いる場合には、光源の影響を受けてしまう。そのため、光源状態によらない、偏光を活かした特徴量を導き出すことが必要となる。

前述の式〔２〕、〔３〕によれば、光源の高度（図５の角：ψ、即ち、角：θ_Ｌにより定まる。）によりＳ偏光成分とＰ偏光成分の反射強度の大きさは変化する。しかし、反射強度の大きさは常に、Ｐ偏光成分の方がＳ偏光成分よりも大きい。また、Ｓ偏光成分とＰ偏光成分の「反射強度の差」は、表面反射が大きい（即ち、内部散乱が小さい）ものほど大きい。

大雑把に言って、偏光度としての絶対量は捨て、相対量のみを見ることによって、光源状態によらず、対象のある部分の表面反射が大きい物質か、小さい物質か（散乱が大きな物質か、小さな物質か）という情報を得ることが出来る。つまり、ＳＤＯＰは光源角度によって、大きく変化するが、ある角度で見たときに対象の局所領域を構成する材質Ａと材質Ｂでの偏光情報の大小関係がA＞Bとなっていた場合には、他の角度でもA＞Bとなっている場合が多いということである。

そこで、前記のある角度で見たときに材質Ａと材質Ｂでの偏光情報の大小関係がA>Bとなっていた場合には、他の角度でもA>Bとなっている条件に関して以下解析を行う。前述のとおり、材質を表すパラメータはｋ_Ｓ、ｋ_Ｐ，ｋ_ｄ，ｎ_２，σであるので、これらのパラメータが変化した場合に角度によらず、同じ方向にＳＤＯＰ値が変化する条件を導き出す。

ここで、式〔２〕〜〔５〕、〔８〕及び〔１０〕より、ＳＤＯＰを求めると、下記の式〔１５〕のようになる。

ここで、空気中からの光線の入射を考えｎ_１＝１として、その場合のフレネル反射光をそれぞれ以下の式〔１６〕、〔１７〕に示す。
Ｒ_Ｓ(ｎ_２)＝{(cosθ_ｉ−ｎ_２cosθ_ｉ’)/(cosθ_ｉ＋ｎ_２cosθ_ｉ’)}^２ …式〔１６〕
Ｒ_Ｐ(ｎ_２)＝{(cosθ_ｉ’−ｎ_２cosθ_ｉ)/(cosθ_ｉ’＋ｎ_２cosθ_ｉ)}^２ …式〔１７〕

式〔１６〕、〔１７〕を用いて式〔１５〕を整理すると、以下の式〔１８〕が得られる。

この式〔１８〕が今回定義したモデルに対するＳＤＯＰの理論式である。ここで、鏡面反射成分と拡散成分の比を示すパラメータとして、「ｋ＝（ｋ_ｓ/ｋ_ｄ）」導入すると、以下の式〔１９〕のように整理される。

次に、材質を示すパラメータｋ、ｎ_２、σに関して式〔１９〕の右辺を微分して、θ_ｉやθ_Ｌなどの角度によらない動きを見ていく。
まず下記の式〔２０〕に示すように、ｋに関して式〔１９〕の右辺を微分する。

なお、以後、式〔２０〕における偏微分記号を「∂/∂ｋ」と記載することがある。偏微分される関数が他の文字で表される場合も同様である。

ここで、式が複雑になるため、下記の式〔２１〕、〔２２〕、〔２３〕に示す関数ｆ、ｇ、ｈを定義し、置き換えを行うと、式〔２０〕は〔２４〕となる。
ｆ＝exp(−α^２/２σ^２){Ｒ_ｓ(ｎ_２)−Ｒ_ｐ(ｎ_２)} …式〔２１〕
ｇ＝２cosθ_Ｌ …式〔２２〕
ｈ＝exp(−α^２/２σ^２){Ｒ_ｓ(ｎ_２)＋Ｒ_ｐ(ｎ_２)} …式〔２３〕

ここで、「−π/２≦θ_Ｌ≦π/２」であるから、ｆ、ｇ、ｈともに正の値のみ取り得る。そのため、「（∂/∂ｋ）（ＳＤＯＰ）≧０」となり、常に角度によらずｋを変化させた場合、一定の方向にＳＤＯＰの値は変化する。

次に、下記の式〔２５〕に示すように、σに関して式〔１９〕の右辺を微分する。

ここで、式が複雑になるため、下記の式〔２６〕、〔２７〕、〔２８〕に示す関数ｆ、ｇ、ｈを定義し、置き換えを行うと、式〔２５〕は〔２９〕となる。
ｆ＝ｋ{Ｒ_ｓ(ｎ_２)−Ｒ_ｐ(ｎ_２)} …式〔２６〕
ｇ＝ｋ{Ｒ_ｓ(ｎ_２)＋Ｒ_ｐ(ｎ_２)} …式〔２７〕
ｈ＝２cosθ_Ｌ …式〔２８〕

ここで、ｆ、ｇ、ｈが共に正の値のみを取り得ること、また各項も正の値のみを取り得ることを考えると、「（∂/∂σ）（ＳＤＯＰ）≧０」となり、常に角度によらずσを変化させた場合、一定の方向にＳＤＯＰの値は変化する。

次に、下記の式〔３０〕に示すように、ｎ_２に関して式〔１９〕の右辺を微分する。

ここで、式が複雑になるため、下記の式〔３１〕、〔３２〕に示す関数ｆ、ｇを定義し、置き換えを行うと、式〔３０〕は式〔３３〕となる。
ｆ＝ｋexp(−α^２/２σ^２) …式〔３１〕
ｇ＝２cosθ_Ｌ …式〔３２〕

ここで、「(ｇ/ｆ)＞＞２Ｒ_ｐ(ｎ_２)」であり、かつ「(ｇ/ｆ)＞＞２Ｒ_Ｓ(ｎ_２)」の場合を仮定すると、式〔３３〕の分子は以下の式〔３４〕となる。
(ｇ/ｆ)(∂/∂ｎ_２)Ｒ_Ｓ(ｎ_２)−(ｇ/ｆ)(∂/∂ｎ_２)Ｒ_Ｐ(ｎ_２) …式〔３４〕

また、「(∂/∂ｎ_２)Ｒ_Ｓ(ｎ_２)＞(∂/∂ｎ_２)Ｒ_Ｐ(ｎ_２)」であると考えられるので、「(ｇ/ｆ)＞＞２Ｒ_ｐ(ｎ_２)」であり、かつ「(ｇ/ｆ)＞＞２Ｒ_Ｓ(ｎ_２)」の条件が成立する場合には、「(∂/∂ｎ_２)≧０」であり、ｎ_２を変化させた場合、常に角度によらず一定の方向にＳＤＯＰの値は変化する。

ここで、ｆとｇには、下記の式〔３５〕に示す関係がある。
(ｇ/ｆ)＝２cosθ/{ｋexp(−α^２/２σ^２)}＝２ｋ_ｄcosθ/{ｋ_ｓexp(−α^２/２σ^２)} …式〔３５〕

この式〔３５〕の右辺の分子は拡散反射成分を示しており、分母はスペキュラー成分（マイクロファセットによる分布も含む）を示している。また、Ｒ_Ｐ(ｎ_２)≦１、Ｒ_Ｓ(ｎ_２)≦１であることを考えると、スペキュラー成分に対して、拡散成分が一定量以上ある場合、この近似条件が成り立ち、「(∂/∂ｎ_２)≧０」であり、ｎ_２を変化させた場合、常に角度によらず一定の方向にＳＤＯＰの値は変化する。

以上の解析より、スペキュラー成分に対して、拡散成分が一定量以上ある場合、前記のある光源角度の時の材質Ａと材質Ｂでの偏光情報の大小関係がA>Bとなっていた場合には、他の角度でもA>Bとなっていることが分かる。一般的に鏡面の物体以外は、スペキュラー成分に対して、拡散成分が大きいため、この条件を満たしている物体が多い。

次に実際の画像を例に上記の議論が正しいことを検証する。
図６は様々な方向から光が当たった９６２枚の人物の平均像の輝度画像を示す図である。ここで、図６Ａは輝度画像（生画像）を示し、図６Ｂは輝度画像をSobelフィルタで処理して、エッジ抽出及び平均化した後の平均輝度画像を示す。これらの２つの画像では、人のシルエットが表現されていることが分かる。特にSobelフィルタ後の画像を見ると分かるように、肩から手の領域で特徴が顕著である。

図７は、図６Ａに示す輝度画像の解像度を１／４に落とし、輝度値と共に示す図である。この図において、下端の横方向に並ぶ数値、左端の縦方向に並ぶ数値は、それぞれこの輝度画像の左上端を原点としたｘｙ直交座標のｘ座標、ｙ座標の値である。また、画像上の数値は輝度値である。図示のように、（ｘ，ｙ）＝（６，８）、（５，８）、（１０，８）の領域である肩の付近が高輝度（輝度値：５３、４７、４６）になっている。

図８は、様々な方向から光が当たった９６２枚の人物の平均像の偏光画像（生画像）の解像度を１／４に落とし、偏光情報（ここではＳＤＯＰ）の強度値と共に示す図である。

偏光画像の強度値は、輝度画像の輝度値と比べると、全体的に値が大きく、コントラストは小さい（そのため、図６Ａの輝度画像に対応する偏光画像は略真っ白になり、図６Ｂの平均輝度画像に対応する平均偏光画像は略真っ黒になる。）が、（ｘ，ｙ）＝（８，４）及びその付近の領域である頭部に特徴があることが分かる。これは毛髪の材料の光学的な特徴が、他の服などの部分と異なり、偏光情報として表れているためである。

つまり、この画像は様々な方向から光が当たった人物の平均像を示しているが、その場合にも、偏光画像ではそれ以外の部分と比較して、頭部が白く写っており、人物の他の部位と比較して頭部はＳＤＯＰが大きいことが分かる。

このように光源状態によらず、前述の通り、ある光源角度で見たときに対象の局所領域を構成する材質Ａと材質Ｂでの偏光情報の大小関係がA>Bとなっていた場合には、他の光源角度でもA>Bとなっている場合が多い。また、特徴がある領域が輝度と偏光とで異なるため、相互に補い合う関係となり、検出性能が向上する可能性が高い。

そのため、例えば上記の人画像を人検出用のトレーニング画像とし、例えば偏光画像において、その服部分（例えば胸部）と頭部の差分を特徴量の次元の一つとすると、光源状態によらず、人の検出を行うことが出来る。これが識別対象の形状を示す領域内の局所領域の差分に基づく特徴量を用いることで効果が出る理由である。

また、例えば多数の車両を後方から撮像して取得した平均像の偏光画像を車両検出用のトレーニング画像とし、その偏光画像において、リヤウィンドウとボディ後部との差分を特徴量の次元の一つとすることで、光源状態によらず、車両検出を行うことが出来る。特に車両のウィンドウはガラスでの鏡面反射になることから、偏光状態に大きく特徴が出るため、本特許の方法で偏光情報を利用することで車両の検出精度を大きく向上することができる。

次に、以上の解析の結果に基づいて提案した画像認識部について説明する。
〈画像認識部の第１の実施形態〉
図９は、図１における画像認識部３０の第１の実施形態の機能ブロック図である。
この画像認識部３０−１は、第１の特徴量取得手段としての偏光情報特徴量算出部３１と、対象識別手段としての対象識別部３２とを備えている。

偏光情報特徴量算出部３１は、入力された偏光画像より、識別対象の形状を示す領域内の局所領域の偏光情報の差分に基づく特徴量を取得する。対象識別部３２は、偏光情報特徴量算出部３１により取得された偏光情報特徴量より、公知のＳＶＭ(サポートベクタマシン)やAdaboostアルゴリズムなどを用い物体を識別し、対象検出結果を出力する。

偏光情報特徴量算出部３１は、偏光情報（偏光度又は差分偏光度又は偏光比）に対して、識別対象の形状を示す領域内の局所領域における差分に基づく特徴量を用いる。局所領域の差分には、Haar-like特徴量、ピクセル差分特徴量、ＨＯＧ特徴量、ＥＯＨ特徴量などがある（非特許文献１）。

ＥＯＨ特徴量の場合には、最初にソーベルフィルタを用いてエッジ画像を生成し、それをもとに、エッジ強度とエッジ方向を算出している。そのため、ソーベルフィルタでエッジを抽出する処理によって、識別対象の形状を示す領域内の隣接する局所領域の差分の情報を取り出し、その情報を元に特徴量を構成している。

また、ＨＯＧ特徴量の場合も、同じく最初にｘ方向、ｙ方向にエッジを抽出し、それをもとにエッジ方向ごとのエッジ強度を算出している。そのため、ｘ方向、ｙ方向にエッジを抽出する処理によって、識別対象の形状を示す領域内の隣接する局所領域の差分の情報を取り出し、その情報を元に特徴量を構成している。

Haar-like特徴量も同様に、隣接する識別対象の形状を示す領域内の隣接する局所領域の差分に基づき特徴量を構成している。また、ピクセル差分特徴量は、隣接する部分のみならず識別対象の形状を示す領域内において、離れた二点の局所領域における差分に基づき特徴量を構成している。

なお、輝度画像に対してこれらの特徴量を用いることは公知である（非特許文献１、２）。しかし、偏光情報に対してこれらの特徴量を用いることは、上述した解析の結果に基づいて、発明者が新規に提案したものである。

図１０は、偏光情報特徴量算出部３１の一例について説明するための図である。ここでは、偏光画像からＨＯＧ特徴量を算出する手順について説明する。

図１０Ａは、入力される偏光画像について説明するための図である。なお、ここでは人の線画を示しているが、実際には図８に示すようなグレースケール画像である。また、ここでは入力画像は、「横×縦＝３０×６０画素」で構成されている。

偏光情報特徴量算出部３１は、全ての画素について、縦方向及び横方向の勾配強度ｍ（ｕ，ｖ）と勾配方向Θ（ｕ，ｖ）を下記の式〔３６〕〜〔３９〕により算出する。ここで、Ｉは入力される偏光画像を表し、（ｕ，ｖ）は画素の横方向（ｘ方向）、縦方向（ｙ方向）の位置を表す。
ｆ_ｕ（ｕ，ｖ）＝Ｉ（ｕ＋１，ｖ）−Ｉ（ｕ−１，ｖ） …式〔３６〕
ｆ_ｖ（ｕ，ｖ）＝Ｉ（ｕ，ｖ＋１）−Ｉ（ｕ，ｖ−１） …式〔３７〕
ｍ（ｕ，ｖ）＝√（ｆ_ｕ ^２＋ｆ_ｖ ^２） …式〔３８〕
Θ（ｕ，ｖ）＝tan^−１（ｆ_ｖ/ｆ_ｕ） 式〔３９〕

次に、算出された勾配強度ｍ及び勾配方向Θを用いて、勾配方向のヒストグラムを作成する。ここでは、図１０Ｂに示すように、５×５画素を１セルとし、勾配方向の０°〜１８０°を２０°ずつ９分割し、方向毎に１セルに含まれる各画素の勾配強度ｍを加算して、図１０Ｃに示すような９方向の勾配強度ヒストグラムを作成する。このため、１セル当たり９次元の特徴量（特徴ベクトル）が生成される。

さらに図１０Ｄに示すように、３×３セルを１ブロックとし、１セルずつずらしながら多数のブロックを形成し、各ブロックにおいて、ブロック内の特徴量を連結して８１次元（９×３×３）の特徴量とし、さらにベクトルの大きさが１となるように正規化する。

最後に、正規化後の８１次元の特徴ベクトルを全て連結し、図１０Ｅに示すようなＨＯＧ特徴量を算出する。ここでは、横方向に４ブロック、縦方向に１０ブロックが配置できるため、４０ブロックについて８１次元、計３２４０次元の特徴ベクトルからなる高次元のＨＯＧ特徴量が生成される。

このＨＯＧ特徴量は対象識別部３２に入力される。対象識別部３２は入力されたＨＯＧ特徴量を基に、人クラスと人以外クラスを識別する。なお、対象識別部３２には、予め大量の人クラスの特徴量と人以外クラスの特徴量を与えて、どういった特徴量が人クラスに該当するかを識別するように構成をトレーニングしてある。

この場合、識別対象の形状を示す領域は、トレーニング用の人の偏光画像の全体（エッジ及び内部）を囲む全てのセル内の偏光画像であり、トレーニングにより該領域より抽出した人らしさを表す情報は、上記のＨＯＧ特徴量など多数の特徴ベクトルからなる特徴量の高次元空間における、ある領域範囲である。実際の識別器では、上記の多数の特徴ベクトルからなる特徴量の高次元空間における、人らしいと判定するある領域範囲が記憶されており、入力の特徴量から人か人以外かを判別する。

〈画像認識部の第２の実施形態〉
図１１は、図１における画像認識部３０の第２の実施形態の機能ブロック図である。この図において、図９と同じ部分には図９と同じ参照符号が付されている。その部分については説明を省略する。

この画像認識部３０−２は、前述した第１の特徴量取得手段としての偏光情報特徴量算出部３１と、第２の特徴量取得手段としての輝度情報特徴量算出部３３と、対象識別部３４とを備えている。輝度情報特徴量算出部３３は、入力される輝度画像に対して、エッジ成分に基づくＨＯＧ特徴量やＥＯＨなど識別対象の形状を示す領域内の局所領域の輝度（輝度情報）の差分に基づく特徴量を算出する。

対象識別部３４には、偏光情報特徴量算出部３１により算出された偏光情報の特徴量と、輝度情報特徴量算出部３３により算出された輝度情報の特徴量とが並列に入力される。対象識別部３４は、入力された偏光情報の特徴量及び輝度情報の特徴量から、公知のＳＶＭやAdaboostアルゴリズムなどを用い物体を識別し、対象検出結果を出力する。

第１の実施形態と比べると、入力される特徴量の次元数が増加するため、検出性能を向上させることができる。また、前述したように、特徴がある領域が輝度と偏光とで異なるため、２種類の特徴量を組み合わせることで、認識性能を向上させることもできる。

〈画像認識部の第３の実施形態〉
図１２は、図１における画像認識部３０の第３の実施形態の機能ブロック図である。この図において、図９、図１０と同じ部分には図９、図１０と同じ参照符号が付されている。この部分については説明を省略する。

この画像認識部３０−３は、前述した第１の特徴量取得手段としての偏光情報特徴量算出部３１と、対象識別部３２と、前述した第２の特徴量取得手段としての輝度情報特徴量算出部３３と、対象識別部３５と、結果結合部３６とを備えている。

対象識別部３５は、入力された輝度情報の特徴量から、公知のＳＶＭやAdaboostアルゴリズムなどを用い物体を識別し、対象検出結果を出力する。つまり、対象識別部３２、対象識別部３５は、それぞれ偏光情報特徴量算出部３１により算出された特徴量、輝度情報特徴量算出部３３により算出された特徴量を個別に使用して、対象検出結果を出力する。

結果結合部３６は、対象識別部３２の対象検出結果と、対象識別部３５の対象検出結果とを結合する。統合のアルゴリズムとしては、例えば、両方が検出した際に最終的に検出と判定するアンド論理や、どちらかが検出した場合には、検出したと判定するオア論理とすればよい。

また、画像認識部３０−３では、先に偏光情報を用いて検出して、その結果、対象物がありそうなところのみ輝度の特徴量演算と識別部での演算を行うことができるため、計算量を削減することが可能である。勿論、先に輝度情報の特徴量を用いて検出して、その後、可能性の高い部分のみ偏光情報の特徴量を用いて検出することもできる。

〈画像認識部による認識試験〉
図１３は、本発明の第１の実施形態の画像認識部及び第２の実施形態の画像認識部の効果について説明するためのグラフの一例を示す図である。ここでは、偏光情報としてＳＤＯＰを採用し、偏光情報特徴量としてＨＯＧ特徴量を算出し、対象識別部としてＳＶＭを用いた場合の人検出の試験結果を示している。

このグラフはＤＥＴ (Detection Error Tradeoff)カーブである。縦軸のMissed detection rate（非検出率）は人を認識しない確率であり、横軸のFalse detection rate（誤検出率）は人以外を人と認識する確率である。縦軸、横軸ともに対数の両対数グラフである。識別部における人クラスと人以外クラスとの閾値を変化させることで、誤検出率に対する非検出率の比較を行うことができる。このグラフ上の左下に行くほど、性能が良いことを示している。

図中の破線が一般的に使われている輝度情報を特徴量とした場合、太い実線が偏光情報を特徴量とした場合(第１の実施形態の構成)、細い実線が輝度情報と偏光情報を並列に特徴量とした場合(第２の実施形態の構成)の結果である。

破線の特性と太い実線の特性を比べると、一般的に行われている輝度を用いた認識と同程度もしくは、それ以上の性能が偏光情報のみを用いた認識で得られていることが分かる。また、前述の通り、輝度情報と偏光情報とは得ている情報が異なるため、相補関係があり、輝度情報と偏光情報を別の特徴量として、両者を識別部に同時に入力することにより、人検出において、検出率約９５%における誤検出率を約１×１０^−４から約１×１０^−５へと１桁も小さくすることが出来ることが分かる(図中の矢印分)。

〈画像認識部による認識結果〉
次に、図１３を参照して説明した画像認識部により、実際に撮像装置１０により取得された画像を処理して識別を行った結果について説明する。

図１４は、従来の輝度画像のみを用いる認識結果、並びに本発明の実施形態に係る偏光画像及び輝度画像を用いる認識結果について説明するための図である。ここで、図１４Ａは前者の認識結果であり、図１４Ｂは後者の認識結果である。

これらの図において、白線の枠が検出領域である。両者ともに、画面右側にいる2人は認識できているものの、画面左のバイクを誤検出している。しかしながら、バイクの誤検出の数は、前者が３、後者が１であるから、後者の方が少なく抑えられている。また、画面中央の誤りは前者のみで発生しており、後者では発生していない。このように、偏光情報の特徴量を用いることで、対象の誤検出を大きく抑えることが出来る。

なお、上記の実施形態では、Ｓ偏光成分を含み、Ｐ偏光成分を含まない画素についてのＰ偏光成分の取得処理、及び、Ｐ偏光成分を含み、Ｓ偏光成分を含まない画素についてのＳ偏光成分の取得処理を撮像装置１０内で実行しているが、この処理を撮像装置１０と輝度/偏光画像生成部２０との間で実行することもできる。
また、上記の実施形態では、Ｓ偏光画像とＰ偏光画像の平均から輝度画像を取得する処理を輝度/偏光画像生成部２０内で行っているが、この処理を撮像装置１０で行うように構成することもできる。
また、輝度/偏光画像生成部２０、画像認識部３０、及び車両制御部４０を撮像装置１０内に設けることもできる。

１０…撮像装置、２０…輝度/偏光画像生成部、３０，３０−１，３０−２，３０−３…画像認識部、３１…偏光情報特徴量算出部、３２，３４，３５…対象識別部、３３…輝度情報特徴量算出部、３６…結果結合部、４０…車両制御部。

https://www.vision.cs.chubu.ac.jp/04/pdf/TS03.pdf（平成２５年１２月１３日検索） 映像情報メディア学会誌Vol.64,No.3,pp.322-324(2010)

特開２０１１−１５０６８７号公報

Claims (18)

1. 所定の撮像領域を撮像して取得した偏光画像を処理して、前記撮像領域に存在する物体を識別する画像処理装置であって、
   前記偏光画像から識別対象の形状を示す領域内の局所領域における偏光情報の差分に基づく特徴量を取得する第１の特徴量取得手段と、該第１の特徴量取得手段により取得された特徴量を用いて、前記識別対象の物体を識別する対象識別手段と、を有する画像処理装置。
2. 請求項１に記載された画像処理装置において、
   前記撮像領域を撮像して取得した輝度画像から前記領域内の局所領域における輝度情報の差分に基づく特徴量を取得する第２の特徴量取得手段を有し、前記対象識別手段は、前記第１の特徴量取得手段により取得された特徴量、及び前記第２の特徴量取得手段により取得された特徴量を用いて、前記識別対象の物体を識別する、画像処理装置。
3. 請求項１に記載された画像処理装置において、
   前記局所領域における偏光情報の差分は、隣接する局所領域間の偏光情報の差分である、画像処理装置。
4. 請求項１に記載された画像処理装置において、
   前記局所領域における偏光情報の差分は、任意の画素間の偏光情報の差分である、画像処理装置。
5. 請求項２に記載された画像処理装置において、
   前記対象識別手段は、前記第１の特徴量取得手段により取得された特徴量及び前記第２の特徴量取得手段により取得された特徴量を併用して前記識別対象の物体を識別する対象識別手段からなる、画像処理装置。
6. 請求項２に記載された画像処理装置において、
   前記対象識別手段は、前記第１の特徴量取得手段により取得された特徴量、前記第２の特徴量取得手段により取得された特徴量を個別に使用する２つの対象識別手段からなる、画像処理装置。
7. 請求項１に記載された画像処理装置において、
   前記偏光情報は偏光度である、画像処理装置。
8. 請求項１に記載された画像処理装置において、
   前記偏光情報は差分偏光度である、画像処理装置。
9. 請求項１に記載された画像処理装置において、
   前記偏光情報は偏光比である、画像処理装置。
10. 請求項１に記載された画像処理装置において、
    前記対象識別手段は、サポートベクタマシンに基づいて、識別対象の物体のクラスとそれ以外のクラスとを識別する、画像処理装置。
11. 請求項１に記載された画像処理装置において、
    前記対象識別手段は、Adaboostに基づいて、識別対象の物体のクラスとそれ以外のクラスとを識別する、画像処理装置。
12. 請求項１に記載された画像処理装置において、
    前記対象識別手段は、人検出用の情報を有する、画像処理装置。
13. 請求項１２に記載された画像処理装置において、
    前記対象識別手段は、人の頭部の偏光情報の特徴量を用いる、画像処理装置。
14. 請求項１に記載された画像処理装置において、
    前記対象識別手段は、車両検出用の情報を有する、画像処理装置。
15. 偏光画像の取得機能を有する撮像装置と、請求項１〜１４のいずれかに記載された画像処理装置とを有する画像処理システム。
16. 請求項１４に記載された画像処理装置と、該画像処理装置による識別結果に基づいて、移動体を制御する移動体制御手段とを有する移動体制御装置。
17. 所定の撮像領域を撮像して取得した偏光画像を処理して、前記撮像領域に存在する物体を識別する機能を有する画像処理装置により実行される画像処理方法であって、
    前記偏光画像から識別対象の形状を示す領域内の局所領域における偏光情報の差分に基づく特徴量を取得するステップと、該ステップにより取得された特徴量を用いて、前記識別対象の物体を識別するステップと、を有する画像処理方法。
18. コンピュータを請求項１乃至１４のいずれかに記載された画像処理装置の各手段として機能させるための画像処理プログラム。
    

Images