JP5438591B2 - 感情強度測定装置、感情強度測定方法、及びプログラム - Google Patents

Description

本発明は、画像を観察した観察者の感情の強さを推定するための情報を生成する技術に関する。

瞳孔は自律神経系により制御される臓器である。外部刺激により驚きや興奮といった強い感情が生起する時には、アドレナリン作動性神経支配を受ける瞳孔散大筋により瞳孔径が拡大する（散瞳）。また疲労時や眠いとき、注意が逸れて強い感情が生起しない時には、コリン作動性神経支配を受ける瞳孔括約筋により瞳孔径は縮小する（縮瞳）。

感情の強さは、各種の自律神経反応において現れることは広く知られている。感情の強さをアンケートなどで評価する場合は、観察者が意識し言語化できる感情しか捉えることができない。しかし自律神経反応などの生体信号を用いることにより、観察者が無意識に持つ感情をも捉えることができる。感情は快／不快（valence）とその強度（arousal）という二軸で表されるが、例えば精神性発汗量は強度、心拍数は快／不快の方向と対応している。自律神経系により制御される瞳孔もまた感情の強度と対応している。瞳孔反応は、精神性の発汗や心拍と比較して馴化が少なく、また潜時も短い。そのため、様々な外部刺激がどのような強さの感情を引き起こすか、それを定量的に示すためには瞳孔径の測定が有効である。従来、音響信号や痛覚、触覚がもたらす感情の強さが瞳孔径から推定されてきた（例えば、非特許文献１等参照）。

瞳孔反応は目に入射する光刺激によっても引き起こされる。そのような反応は対光反射と呼ばれ、環境光や背景光の明るさに応じた瞳孔径の変化量は、感情の強さに応じた瞳孔径の変化量の数倍のオーダーとなる。この対光反射が存在するために、絵画や画像、映像など、視覚的なパターンがもたらす感情の強さを、瞳孔から推定することは困難であった。瞳孔反応が生じ、瞳孔径が変化したとしても、それが視覚パターンによってもたらされた感情に基づくものなのか、あるいは目に入射される光の強度の変化によるもの、すなわち対光反射によるものなのかを、確実に切り分ける手法が存在しなかったためである。

瞳孔反応から視覚パターンがもたらす感情の強さを推定するために提案された方法の一つに、視覚パターン（画像）が持つ平均輝度を一定にするという操作がある（例えば、非特許文献２等参照）。しかしながら、画像が持つ平均輝度を一定にしたとしても画像の位置によって輝度は相違する。そのため、観察者が視線を向けている画像の位置に応じ、その感情的な側面とは無関係に瞳孔径は変化する。例えば、観察者が見ている部分の輝度がたまたま下げられていたとしたら、感情的な側面とは無関係に、対光反射により瞳孔径は拡大することになる。観察者が画像のどの部分を凝視するかをあらかじめ決めておく、といった不自然かつ実施困難な状況を用意しない限り、画像の平均輝度を一定にしても対光反射の成分を取り除くことはできない。

Hofle, M., Kenntner-Mabiala, R., Pauli, P., Alpers, G. W. (2008) You can see pain in the eye: Pupillometry as an index of pain intensity under different luminance conditions. International Journal of Psychophysiology, 70, 171-175. Bradley, M., Miccoli, L., Escrig, M., & Lang, P. (2008) The pupil as a measure of emotional arousal and autonomic activation. Psychophysiology, 45, 602-607.

以上のように、瞳孔径は感情の強さや変化を敏感に反映すると同時に、環境や背景の明るさに応じて反射的な応答（対光反射）を示す。そのため、瞳孔反応は、画像のような視覚パターンがもたらす観察者の感情の強さを定量的に推定する手段として積極的に用いられてこなかった。

本発明はこのような点に鑑みてなされたものであり、瞳孔径の変動から感情に基づく成分のみを取り出し、画像を観察した観察者の感情の強さを定量的に推定するための情報を生成する技術を提供することを目的とする。

本発明では、任意に配置された複数のピクセルからなるニュートラル画像の輝度を時間に応じて変動させた変動ニュートラル画像を第１時間区間において出力し、入力されたターゲット画像の輝度を時間に応じて変動させた変動ターゲット画像を第２時間区間において出力し、これらに対して入力された第１時間区間での観察者の瞳孔径に対応する第１瞳孔径情報と、第２時間区間での観察者の瞳孔径に対応する第２瞳孔径情報とが装置とを用い、ターゲット画像を観察した観察者の感情の強さを推定するための情報を生成する。

ここで、変動ターゲット画像は観察者の感情を引き起こし得る画像であるが、変動ニュートラル画像は観察者の感情を引き起こす画像ではない。よって、変動ターゲット画像を観察している観察者の瞳孔径は当該観察者の感情に応じて変化することはあるが、変動ニュートラル画像を観察している観察者の瞳孔径が当該観察者の感情に応じて変化することはほとんどない。

一方、変動ニュートラル画像及び変動ターゲット画像の輝度は時間に応じて変動し、変動ニュートラル画像及び変動ターゲット画像の観察者の瞳孔径は当該輝度の変動に応じて変動する。よって、観察者の感情に応じた瞳孔径の変動は、変動ニュートラル画像や変動ターゲット画像の輝度の時間変動に依存する瞳孔径の変動からのずれとして検知できる。

そのため、変動ニュートラル画像が出力されている第１時間区間での観察者の瞳孔径に対応する第１瞳孔径情報と、変動ターゲット画像が出力されている第２時間区間での観察者の瞳孔径に対応する第２瞳孔径情報とを用いることで、瞳孔径の変動から感情に基づく成分のみを取り出し、画像を観察した観察者の感情の強さを定量的に推定するための情報を生成することができる。

図１は、感情強度測定装置の機能構成を説明するためのブロック図である。 図２は、感情強度測定装置の処理を説明するための図である。 図３は、変動ターゲット画像の一部分の輝度変化の様子を例示した図である。 時間的に明るさが変動する画像を観察者に見せながら観察者の瞳孔径を測定して得られた観測データを例示した図である。 図５は、一周期分の観測データを平均化して得られるデータを例示した図である。

以下、本発明の実施形態を説明する。

＜原理＞
まず、本発明の実施形態の原理を説明する。

観察者が画像を見た時に生じる瞳孔径の変化は、対光反射に基づく変化と感情に基づく変化に二分される。そのため、瞳孔径の変化分から対光反射の成分を差し引けば、画像が生体にもたらす感情の強さを定量的に推定できる。ここで感情の強さを感情強度と呼ぶ。感情強度をEp、画像を見たときの対光反射による瞳孔径の変化をR、観察者の感情強度を測定するため画像であるターゲット画像（後述）を観察者が見たときの瞳孔径をV_Image、感情を生起させない画像であるニュートラル画像（後述）を観察者が見たときの瞳孔径をV_neutralとすれば、式（１）のような関係が満たされる。

Ep≒ΔV-R …(1)
ただしΔV=V_Image-V_neutralである。ここで、最初に一様なニュートラル画像を観察者に呈示し、その後にターゲット画像を観察者に呈示し、観察者の瞳孔径を計測する方法を考えてみる。すると、観察者の感情に基づく瞳孔径の変化に加え、ニュートラル画像からターゲット画像に突然切り替わったことによる輝度の変化によって非線形な瞳孔径の変化（対光反射）が生じる（式(1)のR）。このような輝度の変化量は対光反射による瞳孔径の変化は観察者が視線を向けている位置の輝度の変化量に依存し、また観察者がターゲット画像のどの部分に視線を向けるかを前もって正確に予測することはまず不可能である。そのため、このような単純な方法によって対光反射の成分を取り除くことは不可能であるといってよい。

そこで本形態では、ニュートラル画像からターゲット画像に切り替わった際に生じる非線形な対光反射成分を取り除くのではなく、大きな対光反射を継続的に起こさせることによって対光反射の成分Rを定常化し、感情強度Epを推定する。すなわち、本形態でもターゲット画像とニュートラル画像への瞳孔反応の違いから観察者の感情の強さを推定する。ただし、ニュートラル画像とターゲット画像との輝度を時間に応じて変化させ、大きな対光反射を継続的に引き起こす。この場合、観察者の感情に基づく瞳孔径の変動は、ニュートラル画像やターゲット画像の輝度の変動に基づく瞳孔径の変動からの相違として検出できる。これが本形態の大きな特徴である。以下では、ニュートラル画像とターゲット画像の輝度を正弦波状に変化させる例を示す。なお、ニュートラル画像の輝度を時間に応じて変化させた画像を「変動ニュートラル画像」と呼び、ターゲット画像の輝度を時間に応じて変化させた画像を「変動ターゲット画像」と呼ぶことにする。

観察者には、コンピュータディスプレイなどの画像呈示装置を通して、変動ニュートラル画像を或る時間区間T1（例えば12秒の時間区間）中に呈示する。続いて変動ターゲット画像を時間区間T2（例えば12秒の時間区間）中に呈示する。その後に先ほどと同じ変動ニュートラル画像を時間区間T3（例えば12秒の時間区間）中に呈示する。この時に、観察者は、観察の間に顔をあまり動かさずに、画像を観察し続けるよう求められる。目は動かしてもよいし、瞬きをしてもよい。画像が呈示されている間に観察者の瞳孔の大きさ（直径）を眼球運動計測器（アイトラッカー）により計測する。得られたデータを後述する方法により処理し、ターゲット画像に対する感情強度を算出する。

次に、本形態の原理を詳細に説明する。ニュートラル画像としては、任意に配置された複数のピクセルからなる画像を用いる。例えば、式(2)に基づいて、ターゲット画像のピクセル位置をランダムに配置したものをニュートラル画像とする。

Neutral Image = randomorder (1:Ix, 1:Iy) …(2)
ただし、Neutral Imageはニュートラル画像を表し、(1:Ix, 1:Iy)はターゲット画像の各ピクセルのx座標（１以上Ix以下）とy座標（１以上Iy以下）とを表し、Ixはx座標（水平方向）のピクセル数を表し、Iyはy座標（垂直方向）のピクセル数を表し、randomorder (1:Ix, 1:Iy)はターゲット画像の各ピクセルの座標をランダムに変更することを表す。

ターゲット画像のピクセル位置をランダムに並び替えたものをニュートラル画像とした場合、ニュートラル画像とターゲット画像との平均輝度及びそれらに含まれる色の成分を同一としつつ、ターゲット画像が持つ感情を引き起こす成分を消したものをニュートラル画像とすることができる。

また、変動ニュートラル画像は、例えば、ニュートラル画像の輝度を正弦波状に変化させたものであり、変動ターゲット画像は、例えば、ターゲット画像の輝度を正弦波状に変化させたものである。これらの輝度の変化は大きな対光反射（瞳孔径の変動）を継続的かつ周期的に引き起こす。

輝度を変化させるためには、ニュートラル画像とターゲット画像の各ピクセルの輝度Yを取得する必要がある。輝度Yは、例えば、各画像の持つRGB値から式(3)により算出できる。

[X, Y, Z]=[ T ] [R, G, B] …(3)
ただし、X, Y, Zは、画像をXYZ表色系で表現した場合における各ピクセルの三刺激値であり、そのうちのYは各ピクセルの輝度を表す。また、R, G, Bは、画像をRGB表色系で表現した場合における各ピクセルのRGB値（∈{0, 1}）であり、TはRGB表色系をXYZ表色系に変換するための３行３列の変換行列である。変換行列Tは、画像測定結果に基づいて別途設定されてもよいし、NTSCなどの準拠した一般的な基準に基づいて設定されてもよい。

本形態では、以下の式(4)に基づいて、ニュートラル画像やターゲット画像の各ピクセルの輝度を時間的に正弦波状に変化させる。

Y(t)=Y+C*cos((2*π)/(φ*t)) …(4)
ただし、tは時間[0≦t≦∞]を表し、Y(t)は輝度変更後の各ピクセルの輝度[0≦Y(t) ≦1]を表し、Cは輝度変化量（コントラスト）[-0.5≦C≦0.5]を表す定数（例えば0.3）であり、φは輝度変化する時間の長さ[0≦φ≦∞]を表す定数であり、*は乗算を表し、/は除算を表す。

図３は、ある変動ターゲット画像の一部分（中央縦線）の輝度変化の様子を例示した図である。ここで、元のターゲット画像が持つ輝度を実線3Aで示している。各ピクセルの輝度は、一点鎖線3Bと二点鎖線3Cとで囲まれた範囲内で時間的に同期して変動する。この例の変動の速度（時間周波数）は0.5Hzである。

このように、時間的に明るさが変動する画像を観察者に見せながら、観察者の瞳孔径を測定すると、図４のような結果が得られる。図４の縦軸は瞳孔径、横軸は変動ターゲット画像が呈示された時間をゼロ秒とした時間経過を表している。ここで点線のグラフ4Aは、変動ニュートラル画像が出力される時間区間T1での瞳孔径、一点鎖線のグラフ4Bは変動ターゲット画像が出力される時間区間T2での瞳孔径、二点鎖線のグラフ4Cは再び変動ニュートラル画像が出力される時間区間T3での瞳孔径をそれぞれ表している。また、実線のグラフ4Dは変動ターゲット画像又は変動ニュートラル画像の輝度Yの変化を模式的に表している。

図４からわかるように、瞳孔径は輝度Yの変化（式(3)）にあわせて正弦波状に変化する。同時に瞳孔径の大きさが、変動ターゲット画像が出力された後に拡大している（一点鎖線のグラフ4B）。画像により引き出される感情が強い場合、このような瞳孔径の拡大傾向は、変動ターゲット画像が消えて再び変動ニュートラル画像が出力された後でもしばらく続く（二点鎖線のグラフ4C）。

本形態では、この結果を定量的に評価するために、図４で例示した瞳孔径を表すデータを以下に例示する式に従って処理する。

まず、観測された瞳孔径を表すデータ（瞳孔径情報）を、最初に変動ニュートラル画像が出力された時間区間T1に対応する瞳孔径情報、変動ターゲット画像が出力された時間区間T2に対応する瞳孔径情報、二回目に変動ニュートラル画像が出力された時間区間T3に対応する瞳孔径情報に分割する。次に、３分割されたそれぞれの瞳孔径情報を、輝度変動の１周期分（図４の例の場合は２秒に相当）に切り分ける。すると、時間区間T1-T3に対応する一周期分の瞳孔反応を表す瞳孔径情報がそれぞれ複数個ずつ得られる。

この一周期分の瞳孔径情報を式(5)に従って平均化して得られた結果が図５である。図５における横軸は時間を表し、縦軸は瞳孔径を表す。

Pi(tc)=(Σ_n=1 ^N{Vi(tc+φ*(n-1)})/N …(5)
ただし、tcは一周期内の時間[0≦tc≦φ]を表し、Pi(tc)は時間区間Tiにおける平均の瞳孔径[1≦i≦3]を表し、Vi(tc+φ*(n-1)は各時間区間Tiにおける瞳孔径を表し、nは各周期に対応する整数[1≦n≦N]であり、Nは全周期数を表す。ここで、最初に変動ニュートラル画像が出力された時間区間T1における瞳孔径をP1(t)（図５の点線のグラフ5A）、変動ターゲット画像が出力された時間区間T2における瞳孔径をP2(t)（図５の一点鎖線のグラフ5B）、再び変動ニュートラル画像が出力された時間区間T3における瞳孔径をP3(t)（図５の二点鎖線のグラフ5C）とする。実線のグラフ5Dは輝度Yの変化に対応している。

本形態では、例えば、以下の５つの測定値（M1〜M5)から感情強度（Ep）を推定する。
・瞳孔径の変動量の平均値
M1=Mean{P2(tc)/P1(tc)} …(6)
ただし、Mean{・}は・の平均を表す。
・瞳孔径の残効量の平均値
M2=Mean{P3(tc)/P1(tc)} …(7)
・瞳孔径の振幅比
M3=(Max(P2(0:φ/2))-Min(P2(φ/2:φ)))
/(Max(P1(0:φ/2))-Min(P1(φ/2:φ))) …(8)
ただし、Max(P1(0:φ/2))はP1(α)（0≦α≦φ/2）の最大値を表し、Min(P1(φ/2:φ))はP1(β)（φ/2≦β≦φ）の最小値を表す。
・瞳孔径変動の位相差
M4=(tc(Max(P2(0:φ/2)))+tc(Min(P2(φ/2:φ)))-φ/2)
/(tc(Max(P1(0:φ/2)))+tc(Min(P1(φ/2:φ)))-φ/2) …(9)
ただし、tc(Max(・))は・が最大となった時間を表し、tc(Min(・))は・が最小となった時間を表す。
・瞳孔径の拡大・縮小のバランス比
M5=|{P2(0:φ/2)-P1(0:φ/2)}/{P2(φ/2:φ)-P1(φ/2:φ)}| …(10)
ただし、｜・｜は・の絶対値を表す。

瞳孔反応は、網膜、皮質下、そして視覚皮質における神経細胞や神経核の働きに依存しており、これらの５測定値（M1〜M５）はそれぞれ脳内の異なるメカニズムを反映していると考えられる。例えば、式(8)と式(10)により算出される値は、画像がもたらす交感神経系の活性化と副交感神経系の抑制の強さを示している。式(9)から求められる値は、中脳にあるEW神経核から動眼神経系への投射の速度に比例する。

なお、M1〜M5の計算時に、時間区間T2, T3の各先頭の所定時間区間の瞳孔径のデータを用いないことが望ましい。この所定時間区間は瞳孔の反応潜時以上であることが望ましい。例えば、M1〜M5の計算時に、時間区間T2, T3の最初の一周期分の瞳孔径のデータを用いないことが望ましい。より具体的には、例えば、式(5)の代わりに以下の式(11)に従って時間区間T2, T3における平均の瞳孔径P2(tc),P3(tc)を求めることが望ましい。

Pi(tc)=(Σ_n=2 ^N{Vi(tc+φ*(n-1)})/N …(11)
なぜなら、時間区間T1と時間区間T2との間の変動ニュートラル画像から変動ターゲット画像に切り替わる時点、及び、時間区間T2と時間区間T3との間の変動ターゲット画像から変動ニュートラル画像に切り替わる時点で何らかの対光反射が生じる可能性があるからである。ターゲット画像のピクセル位置をランダムに配置したものをニュートラル画像とした場合、変動ニュートラル画像と変動ターゲット画像では、各時点においてその明るさの平均が完全に等しい。そのために変動ニュートラル画像から変動ターゲット画像へ切り替わるとき（或いはその逆のとき）に、大きい対光反射が起きるとは考えられないが、その大きさがゼロであるとは必ずしも保証されない。また、新しい刺激への非線形な応答である定位反応が生じる可能性もある。

時間区間T2, T3の各先頭の所定時間区間の瞳孔径のデータを用いないことにより、不確定な対光反射や定位反応の成分を除去することができる。特に、これらの先頭の所定時間区間を瞳孔の反応潜時以上の区間とした場合、不確定な対光反射や定位反応の成分を完全に除去することができる。例えば、瞳孔の反応潜時（0.5秒以下）は0.5秒以下と短いため、各画像が呈示されたから最初の一周期（2秒）のデータを省くことにより、不確定な対光反射や定位反応の成分を完全に除去することができる。以上の操作により、式(1)において未知数であったRは、輝度Yの変化によりもたらされる対光反射成分（P1(t)）として定量化されるため、Epの推定が可能になる。

本形態では、式(6)〜(10)から算出される5測定値（M1〜M5）の線形和を感情強度Epとして算出する（式(12)）。

Ep=W1*M1+W2*M2+W3*M3+W4*M4+W5*M5 …(12）
ただし、W1〜W5は式(6)〜(10）で記した各測定値（M1〜M5)への重み付け係数である。感情研究においてよく用いられている画像データベース（IAPS）の各画像に対して、感情の強さを反映しているとされる精神性発汗量を測定したデータがある（例えば、「Bradley, M. & Lang, P. (2007) Emotion and motivation. In Handbook of Psychophysiology (Edited by J.Cacioppo, L.Tassinary, G.Berntson), Cambridge University Press」参照）。同じデータベースを用いて、瞳孔径から感情強度式(12）を測定し、精神性発汗量と最も高い相関を示す重み付け値W1〜W5を推定した。その結果、[W1, W2, W3, W4, W5]=［1, 0.5, 0.5, 1, 0.5］という値が得られた。便宜的にこの値をW1〜W5として使用することも可能であるし、実施の状況や目的に応じてW1〜W5を可変とすることもできる。また、各測定値（M1〜M5)の一部が用いられず、W1〜W5の一部が０であってもよい。

本形態の方法により、自律神経系が制御する瞳孔径の反応を測定することで、任意の画像を見たときに観察者が持つ感情の強さを推定できる。これにより、アンケートといった主観的な手法に頼らず、画像への感情の強さを定量的に評価することが可能になった。瞳孔反応は、精神性発汗など他の自律神経に比べて馴化が少ないため、同一観察者から複数回の反応を測定することができるし、また複数の画像を評価する場合、その呈示順序も自在に変更可能である。精神性発汗など強い馴化が生じる自律神経測定の場合、最初の方に見せた画像への反応が大きくなる傾向にあり感情の推定が困難になるが、本形態によりその問題は解決された。また、本形態では、異なる脳内メカニズムを反映していると考えられる５測定値式(6)〜(10）を瞳孔反応から算出することから、個別の脳メカニズムと感情強度との関係を明確にすることができる。精神性発汗や筋電図よりも観察者が意識的に操作することが難しいことも、瞳孔径利用の利点である。

〔第１実施形態〕
次に、本発明の第１実施形態を説明する。

＜構成＞
図１に例示するように、第１実施形態の感情強度測定装置１１０は、色特性入力部１１１と画像入力部１１２と画像作成部１１３と瞳孔情報入力部１１４と感情計測部１１５と制御部１１６とを有し、画像呈示装置１２０及び瞳孔計測装置１３０に接続される。画像作成部１１３は、ニュートラル画像生成部１１３ａと変動ニュートラル画像生成部１１３ｂと変動ターゲット画像生成部１１３ｃと選択部１１３ｄとを有する。感情計測部１１５は、抽出部１１５ａと感情強度演算部１１５ｂとを有する。

なお、感情強度測定装置１１０は、例えば、CPU(central processing unit)、RAM(random-access memory)、ROM(read-only memory)などを含む公知又は専用のコンピュータと特別なプログラムとによって構成される特別な装置である。例えば、画像作成部１１３と感情計測部１１５と制御部１１６は、読み込まれた特別なプログラムを実行するCPUや処理データを格納するRAMなどから構成される。なお、以下では説明を省略するが、画像作成部１１３や感情計測部１１５や制御部１１６は、必要に応じてRAMに処理データを格納し、必要に応じてRAMに格納されたデータを読み出す。また、画像作成部１１３、感情計測部１１５及び制御部１１６の少なくとも一部が集積回路によって構成されていてもよい。また、色特性入力部１１１と画像入力部１１２と瞳孔情報入力部１１４は、例えば、入力ポートや通信装置などの入力インタフェースである。画像呈示装置１２０は、例えば、コンピュータディスプレイなどであり、瞳孔計測装置１３０は、例えば、眼球運動計測器（アイトラッカー）などである。

＜処理＞
感情強度測定装置１１０は、以下の処理によってターゲット画像を観察した観察者の感情の強さを推定するための情報を生成する（図２）。

まず、色特性入力部１１１に、RGB表色系をXYZ表色系に変換するための変換行列Tを特定するための情報が入力される。変換行列Tを特定するための情報は、変換行列Tそのものであってもよいし、変換行列Tを算出するための画像測定結果であってもよい（ステップＳ１１）。また、画像入力部１１２に、XYZ表色系のターゲット画像が入力される。ターゲット画像は、各ピクセルのRGB値（∈{0, 1}）を含む（ステップＳ１２）。

画像入力部１１２に入力されたターゲット画像はニュートラル画像生成部１１３ａに送られる。ニュートラル画像生成部１１３ａは、ターゲット画像を用いて任意に配置された複数のピクセルからなるニュートラル画像を生成する。好ましくは、ニュートラル画像生成部１１３ａは、ターゲット画像が含む各ピクセルの位置を任意に変更して得られる画像をニュートラル画像として出力する（例えば、式(2)）。この場合、ニュートラル画像とターゲット画像との平均輝度及びそれらに含まれる色の成分を同一としつつ、ターゲット画像が持つ感情を引き起こす成分を消したものをニュートラル画像とすることができる。その結果、変動ターゲット画像から変動ニュートラル画像に切り替わる時点で何らかの対光反射が生じる可能性を低減させることができる（ステップＳ１３）。

ニュートラル画像生成部１１３ａから出力されたニュートラル画像と色特性入力部１１１に入力された変換行列Tを特定するための情報とは変動ニュートラル画像生成部１１３ｂに入力される。変動ニュートラル画像生成部１１３ｂは、これらを用いてニュートラル画像の輝度を時間に応じて変動させた変動ニュートラル画像を生成する。なお、ニュートラル画像の輝度の変動のさせ方に制限はないが、その変動は時間に対して周期的であることが望ましく、正弦波状の変動（例えば、式(4)）であることが望ましい。輝度を正弦波状に変動させた場合、それによって生じる対光反射の変化を単純化でき、感情強度の抽出精度が向上するからである。変動ニュートラル画像生成部１１３ｂは、制御部１１６に制御された選択部１１３ｄの制御に基づき、時間区間T1において変動ニュートラル画像を出力する。なお、第１実施形態では、時間区間T1が「第１時間区間」に相当する。出力された変動ニュートラル画像は画像呈示装置１２０に入力され、画像呈示装置１２０は変動ニュートラル画像を出力する。変動ニュートラル画像を観測した観測者の瞳孔径は瞳孔計測装置１３０で観測される。瞳孔計測装置１３０は、時間区間T1での観察者の瞳孔径に対応する瞳孔径情報を出力し、当該瞳孔径情報は瞳孔情報入力部１１４に入力される（ステップＳ１４）。

画像入力部１１２から出力されたターゲット画像と変換行列Tを特定するための情報とは変動ターゲット画像生成部１１３ｃに入力される。変動ターゲット画像生成部１１３ｃは、これらを用いてターゲット画像の輝度を時間に応じて変動させた変動ターゲット画像を生成する。なお、ターゲット画像の輝度の変動のさせ方に制限はないが、その変動は時間に対して周期的であることが望ましく、正弦波状の変動（例えば、式(4)）であることが望ましい。輝度を正弦波状に変動させた場合、それによって生じる対光反射の変化を単純化でき、感情強度の抽出精度が向上するからである。また、非線形な対光反射を低減させるために、ターゲット画像の輝度の変動のさせ方とニュートラル画像の輝度の変動のさせ方とは同一であることが望ましい。変動ターゲット画像生成部１１３ｃは、制御部１１６に制御された選択部１１３ｄの制御に基づき、時間区間T1に続く時間区間T2において変動ターゲット画像を出力する。なお、第１実施形態では、時間区間T2が「第２時間区間」に相当する。出力された変動ターゲット画像は画像呈示装置１２０に入力され、画像呈示装置１２０は変動ターゲット画像を出力する。変動ターゲット画像を観測した観測者の瞳孔径は瞳孔計測装置１３０で観測される。瞳孔計測装置１３０は、時間区間T2での観察者の瞳孔径に対応する瞳孔径情報を出力し、当該瞳孔径情報は瞳孔情報入力部１１４に入力される（ステップＳ１５）。

さらに、変動ニュートラル画像生成部１１３ｂは、制御部１１６に制御された選択部１１３ｄの制御に基づき、時間区間T2に続く時間区間T3において再び変動ニュートラル画像を出力する。なお、第１実施形態では、時間区間T3が「第３時間区間」に相当する。出力された変動ニュートラル画像は画像呈示装置１２０に入力され、画像呈示装置１２０は変動ニュートラル画像を出力する。変動ニュートラル画像を観測した観測者の瞳孔径は瞳孔計測装置１３０で観測される。瞳孔計測装置１３０は、時間区間T3での観察者の瞳孔径に対応する瞳孔径情報を出力し、当該瞳孔径情報は瞳孔情報入力部１１４に入力される（ステップＳ１６）。

瞳孔情報入力部１１４に入力された瞳孔径情報は抽出部１１５ａに入力される。抽出部１１５ａは、制御部１１６の制御に基づいて時間区間T1,T2,T3での瞳孔径情報をそれぞれ時間区間T1,T2,T3ごとに分離抽出して出力する（ステップＳ１７）。

各時間区間T1,T2,T3での各瞳孔径情報は、それぞれ感情強度演算部１１５ｂに入力される。感情強度演算部１１５ｂは、各時間区間T1,T2,T3での瞳孔径情報を用い、ターゲット画像を観察した観察者の感情の強さを推定するための情報（感情強度Ep）を生成して出力する。なお、本形態の感情強度Epは、例えば、時間区間T1での瞳孔径情報によって特定される瞳孔径と時間区間T2での瞳孔径情報によって特定される瞳孔径との間の変動量（例えば、式(6)のM1）、時間区間T2での瞳孔径情報によって特定される瞳孔径と時間区間T3での瞳孔径情報によって特定される瞳孔径との間の変動量（例えば、式(7) のM2）、時間区間T1での瞳孔径情報によって特定される瞳孔径の大きさと時間区間T2での瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値（例えば、式(8)のM3）、時間区間T1での瞳孔径情報によって特定される瞳孔径の位相と時間区間T2での瞳孔径情報によって特定される瞳孔径の位相との間の相対値（例えば、式(9)のM4）、及び、時間区間T1での瞳孔径情報によって特定される瞳孔径の大きさと時間区間T2での瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値の変動値（例えば、式(10)のM5）、の少なくとも一部に対応する情報である。本形態の感情強度Epは、例えば、前述した式(12)によって特定される値である。

また、時間区間T2が先頭の所定時間区間と当該所定時間区間に続く第１利用時間区間とを含み、感情強度Epの算出に用いられる時間区間T2での瞳孔径情報が第１利用時間区間での観察者の瞳孔径に対応する情報であることが望ましい。また、時間区間T3が先頭の所定時間区間と当該所定時間区間に続く第２利用時間区間とを含み、感情強度Epの算出に用いられる時間区間T3での瞳孔径情報が第２利用時間区間での観察者の瞳孔径に対応する情報であることが望ましい。ここで、「先頭の所定時間区間」は瞳孔の反応潜時以上であることが望ましい。より具体的には、例えば、式(5)の代わりに以下の式(11)に従って時間区間T2, T3における平均の瞳孔径P2(tc),P3(tc)を求めることが望ましい。このように時間区間T2, T3の各先頭の所定時間区間の瞳孔径のデータを用いないことにより、不確定な対光反射や定位反応の成分を除去することができる。

〔第２実施形態〕
第２実施形態は第１実施形態の変形例であり、時間区間T3において変動ニュートラル画像を出力することなく、感情強度Epを算出する形態である。以下では第１実施形態との相違点のみを説明する。

＜構成＞
図１に例示するように、第２実施形態の感情強度測定装置２１０は、色特性入力部１１１と画像入力部１１２と画像作成部２１３と瞳孔情報入力部１１４と感情計測部２１５と制御部１１６とを有し、画像呈示装置１２０及び瞳孔計測装置１３０に接続される。画像作成部２１３は、ニュートラル画像生成部１１３ａと変動ニュートラル画像生成部１１３ｂと変動ターゲット画像生成部１１３ｃと選択部２１３ｄとを有する。感情計測部３１５は、抽出部２１５ａと感情強度演算部２１５ｂとを有する。なお、感情強度測定装置２１０は、例えば、第１実施形態と同様、CPU、RAM、ROMなどを含む公知又は専用のコンピュータと特別なプログラムとによって構成される特別な装置である。

＜処理＞
感情強度測定装置２１０は、以下の処理によってターゲット画像を観察した観察者の感情の強さを推定するための情報を生成する（図２）。

まず、第１実施形態で説明したステップＳ１１〜Ｓ１５の処理が実行される。ここで、制御部１１６に制御された選択部２１３ｄの制御のもと、時間区間T1での変動ニュートラル画像や時間区間T2での変動ターゲット画像の出力は行われるが、第１実施形態で説明した時間区間T3での変動ニュートラル画像の出力処理（ステップＳ１６）は実行されない。これらの処理によって瞳孔情報入力部１１４に入力された瞳孔径情報は抽出部２１５ａに入力される。抽出部２１５ａは、制御部１１６の制御に基づいて時間区間T1,T2（第１,２時間区間）での瞳孔径情報をそれぞれ時間区間T1,T2ごとに分離抽出して出力する（ステップＳ２７）。

各時間区間T1,T2での瞳孔径情報は、それぞれ感情強度演算部２１５ｂに入力される。感情強度演算部２１５ｂは、各時間区間T1,T2での瞳孔径情報を用い、ターゲット画像を観察した観察者の感情の強さを推定するための情報（感情強度Ep）を生成して出力する。なお、本形態の感情強度Epは、例えば、時間区間T1での瞳孔径情報によって特定される瞳孔径と時間区間T2での瞳孔径情報によって特定される瞳孔径との間の変動量（例えば、式(6)のM1）、時間区間T1での瞳孔径情報によって特定される瞳孔径の大きさと時間区間T2での瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値（例えば、式(8)のM3）、時間区間T1での瞳孔径情報によって特定される瞳孔径の位相と時間区間T2での瞳孔径情報によって特定される瞳孔径の位相との間の相対値（例えば、式(9)のM4）、及び、時間区間T1での瞳孔径情報によって特定される瞳孔径の大きさと時間区間T2での瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値の変動値（例えば、式(10)のM5）の少なくとも一部に対応する情報である。本形態の感情強度Epは、例えば、W2=0とした前述した式(12)によって特定される値である。

また、本形態でも、時間区間T2が先頭の所定時間区間と当該所定時間区間に続く第１利用時間区間とを含み、感情強度Epの算出に用いられる時間区間T2での瞳孔径情報が第１利用時間区間での観察者の瞳孔径に対応する情報であることが望ましく、「先頭の所定時間区間」が瞳孔の反応潜時以上であることが望ましい。より具体的には、例えば、式(5)の代わりに以下の式(11)に従って時間区間T2における平均の瞳孔径P2(tc)を求めることが望ましい。このように時間区間T2の先頭の所定時間区間の瞳孔径のデータを用いないことにより、不確定な対光反射や定位反応の成分を除去することができる。

〔第３実施形態〕
第３実施形態は第１実施形態の変形例であり、時間区間T1において変動ニュートラル画像を出力することなく、感情強度Epを算出する形態である。以下では第１実施形態との相違点のみを説明する。なお、第３実施形態では、時間区間T3が「第１時間区間」に相当し、時間区間T2が「第２時間区間」に相当する。

＜構成＞
図１に例示するように、第２実施形態の感情強度測定装置３１０は、色特性入力部１１１と画像入力部１１２と画像作成部３１３と瞳孔情報入力部１１４と感情計測部３１５と制御部１１６とを有し、画像呈示装置１２０及び瞳孔計測装置１３０に接続される。画像作成部３１３は、ニュートラル画像生成部１１３ａと変動ニュートラル画像生成部１１３ｂと変動ターゲット画像生成部１１３ｃと選択部３１３ｄとを有する。感情計測部３１５は、抽出部３１５ａと感情強度演算部３１５ｂとを有する。なお、感情強度測定装置３１０は、例えば、第１実施形態と同様、CPU、RAM、ROMなどを含む公知又は専用のコンピュータと特別なプログラムとによって構成される特別な装置である。

＜処理＞
感情強度測定装置３１０は、以下の処理によってターゲット画像を観察した観察者の感情の強さを推定するための情報を生成する（図２）。

まず、第１実施形態で説明したステップＳ１１〜Ｓ１３，Ｓ１４，１５の処理が実行される。ここで、制御部１１６に制御された選択部３１３ｄの制御のもと、時間区間T2での変動ターゲット画像の出力や時間区間T3での変動ニュートラル画像の出力は行われるが、第１実施形態で説明した時間区間T1での変動ニュートラル画像の出力処理（ステップＳ１４）は実行されない。瞳孔情報入力部１１４に入力された時間区間T2,T3での瞳孔径情報は抽出部３１５ａに入力される。抽出部３１５ａは、制御部１１６の制御に基づいて時間区間T2,T3での瞳孔径情報をそれぞれ時間区間T2,T3ごとに分離抽出して出力する（ステップＳ３７）。

各時間区間T2,T3での瞳孔径情報は、それぞれ感情強度演算部３１５ｂに入力される。感情強度演算部３１５ｂは、各時間区間T2,T3での瞳孔径情報を用い、ターゲット画像を観察した観察者の感情の強さを推定するための情報（感情強度Ep）を生成して出力する。

なお、本形態の感情強度Epは、時間区間T2での瞳孔径情報によって特定される瞳孔径と時間区間T3での瞳孔径情報によって特定される瞳孔径との間の変動量（例えば、式(7) のM2）、時間区間T3での瞳孔径情報によって特定される瞳孔径の大きさと時間区間T2での瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値（例えば、以下の式(13)のM3'）、時間区間T3での瞳孔径情報によって特定される瞳孔径の位相と時間区間T2での瞳孔径情報によって特定される瞳孔径の位相との間の相対値（例えば、以下の式(14)のM4'）、及び、時間区間T3での瞳孔径情報によって特定される瞳孔径の大きさと時間区間T2での瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値の変動値（例えば、以下の式(15)のM5'）、の少なくとも一部に対応する情報である。また、本形態の感情強度Epは、例えば、以下の式(16)によって特定される値である。

M3'=(Max(P2(0:φ/2))-Min(P2(φ/2:φ)))
/(Max(P3(0:φ/2))-Min(P3(φ/2:φ)))…(13）
M4'=(tc(Max(P2(0:φ/2)))+tc(Min(P2(φ/2:φ)))-φ/2)
/(tc(Max(P3(0:φ/2)))+tc(Min(P3(φ/2:φ)))-φ/2)） …(14）
M5'=|{P2(0:φ/2)-P3(0:φ/2)}
/{P2(φ/2:φ)-P3(φ/2:φ)}| …(15）
Ep=W2*M2+W3*M3'+W4*M4'+W5*M5' …(16）
また、本形態でも、時間区間T3が先頭の所定時間区間と当該所定時間区間に続く第２利用時間区間とを含み、感情強度Epの算出に用いられる時間区間T3での瞳孔径情報が第２利用時間区間での観察者の瞳孔径に対応する情報であることが望ましく、「先頭の所定時間区間」が瞳孔の反応潜時以上であることが望ましい。より具体的には、例えば、式(5)の代わりに以下の式(11)に従って時間区間T3における平均の瞳孔径P3(tc)を求めることが望ましい。このように時間区間T3の先頭の所定時間区間の瞳孔径のデータを用いないことにより、不確定な対光反射や定位反応の成分を除去することができる。

〔その他の変形例〕
なお、本発明は上述の実施の形態に限定されるものではない。例えば、上述の各実施形態では、ターゲット画像が含む各ピクセルの位置をランダムに変更して得られる画像をニュートラル画像とする例を示したが、ターゲット画像と無関係な任意に配置された複数のピクセルからなる画像をニュートラル画像としてもよい。

上述の各実施形態では、ニュートラル画像やターゲット画像の輝度を時間に対して正弦波状に変動させる例を示したが、例えば、ニュートラル画像やターゲット画像の輝度を時間に対して矩形波形状やのこぎり波状に変動させてもよい。

また、各実施形態では、感情強度測定装置と画像呈示装置と瞳孔計測装置とが別個の装置であったが、これらの少なくとも一部が一体化されていてもよい。

また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

１１０，１２０，３１０ 感情強度測定装置

Claims (10)

1. ターゲット画像を観察した観察者の感情の強さを推定するための情報を生成する感情強度測定装置であって、
   前記ターゲット画像が入力される画像入力部と、
   任意に配置された複数のピクセルからなるニュートラル画像の輝度を時間に応じて変動させた変動ニュートラル画像を第１時間区間において出力し、前記ターゲット画像の輝度を時間に応じて変動させた変動ターゲット画像を第２時間区間において出力する画像作成部と、
   前記第１時間区間での前記観察者の瞳孔径に対応する第１瞳孔径情報と、前記第２時間区間での前記観察者の瞳孔径に対応する第２瞳孔径情報とが入力される瞳孔情報入力部と、
   前記第２瞳孔径情報を前記第１瞳孔径情報で正規化することにより、前記ターゲット画像を観察した観察者の感情の強さを推定するための情報を生成する感情計算部と、
   を有し、
   前記観察者の感情の強さを推定するための情報は、前記第２瞳孔径情報を前記第１瞳孔径情報で正規化した値が大きいほど前記観察者の感情の強さが強いことに対応するものである、感情強度測定装置。
2. 請求項１の感情強度測定装置であって、
   前記第２時間区間は、前記第１時間区間に続く時間区間であり、
   前記第２時間区間は、先頭の所定時間区間と当該所定時間区間に続く第１利用時間区間とを含み、
   前記第２瞳孔径情報は、前記第１利用時間区間での前記観察者の瞳孔径に対応する情報である、
   ことを特徴とする感情強度測定装置。
3. 請求項２の感情強度測定装置であって、
   前記画像作成部は、さらに、前記第２時間区間に続く第３時間区間において前記変動ニュートラル画像を出力し、
   前記瞳孔情報入力部には、さらに、前記第３時間区間での前記観察者の瞳孔径に対応する第３瞳孔径情報が入力され、
   前記感情計算部は、さらに前記第３瞳孔径情報を前記第１瞳孔径情報で正規化した値を用い、前記ターゲット画像を観察した観察者の感情の強さを推定するための情報を生成し、
   前記観察者の感情の強さを推定するための情報は、前記第２瞳孔径情報を前記第１瞳孔径情報で正規化した値が大きいほど、かつ、前記第３瞳孔径情報を前記第１瞳孔径情報で正規化した値が大きいほど前記観察者の感情の強さが強いことに対応するものである
   ことを特徴とする感情強度測定装置。
4. 請求項３の感情強度測定装置であって、
   前記第３時間区間は、先頭の所定時間区間と当該所定時間区間に続く第２利用時間区間とを含み、
   前記第３瞳孔径情報は、前記第２利用時間区間での前記観察者の瞳孔径に対応する情報である、
   ことを特徴とする感情強度測定装置。
5. 請求項１から４の何れかの感情強度測定装置であって、
   前記ターゲット画像を観察した観察者の感情の強さを推定するための情報は、
   前記第１瞳孔径情報によって特定される瞳孔径と前記第２瞳孔径情報によって特定される瞳孔径との間の変動量、前記第１瞳孔径情報によって特定される瞳孔径の大きさと前記第２瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値、前記第１瞳孔径情報によって特定される瞳孔径の位相と前記第２瞳孔径情報によって特定される瞳孔径の位相との間の相対値、及び、前記第１瞳孔径情報によって特定される瞳孔径の大きさと前記第２瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値の変動値、の少なくとも一部の線形和である、
   ことを特徴とする感情強度測定装置。
6. 請求項３又は４の感情強度測定装置であって、
   前記ターゲット画像を観察した観察者の感情の強さを推定するための情報は、前記第１瞳孔径情報によって特定される瞳孔径と前記第２瞳孔径情報によって特定される瞳孔径との間の変動量、前記第２瞳孔径情報によって特定される瞳孔径と前記第３瞳孔径情報によって特定される瞳孔径との間の変動量、前記第１瞳孔径情報によって特定される瞳孔径の大きさと前記第２瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値、前記第１瞳孔径情報によって特定される瞳孔径の位相と前記第２瞳孔径情報によって特定される瞳孔径の位相との間の相対値、及び、前記第１瞳孔径情報によって特定される瞳孔径の大きさと前記第２瞳孔径情報によって特定される瞳孔径の大きさとの間の相対値の変動値、の少なくとも一部の線形和である、
   ことを特徴とする感情強度測定装置。
7. 請求項１から６の何れかの感情強度測定装置であって、
   前記ニュートラル画像は、前記ターゲット画像が含む各ピクセルの位置を任意に変更して得られる画像である、
   ことを特徴とする感情強度測定装置。
8. 請求項１から７の何れかの感情強度測定装置であって、
   前記変動ニュートラル画像の輝度及び前記変動ターゲット画像の輝度は、それぞれ、時間を変数とする正弦波で表現される、
   ことを特徴とする感情強度測定装置。
9. ターゲット画像を観察した観察者の感情の強さを推定するための情報を生成する感情強度測定方法であって、
   前記ターゲット画像が入力されるステップと、
   任意に配置された複数のピクセルからなるニュートラル画像の輝度を時間に応じて変動させた変動ニュートラル画像を第１時間区間において出力し、前記ターゲット画像の輝度を時間に応じて変動させた変動ターゲット画像を第２時間区間において出力するステップと、
   前記第１時間区間での前記観察者の瞳孔径に対応する第１瞳孔径情報と、前記第２時間区間での前記観察者の瞳孔径に対応する第２瞳孔径情報とが入力されるステップと、
   前記第２瞳孔径情報を前記第１瞳孔径情報で正規化することにより、前記ターゲット画像を観察した観察者の感情の強さを推定するための情報を生成するステップと、
   を有し、
   前記観察者の感情の強さを推定するための情報は、前記第２瞳孔径情報を前記第１瞳孔径情報で正規化した値が大きいほど前記観察者の感情の強さが強いことに対応するものである、感情強度測定方法。
10. 請求項１から８の何れかの感情強度測定装置としてコンピュータを機能させるためのプログラム。

Images