以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下では、視線検出結果を用いて発達障がいなどの診断を支援する診断支援装置に適用した例を説明する。適用可能な装置はこのような診断支援装置に限られるものではない。
本実施形態の診断支援装置は、注視すべき領域とそれ以外の領域に対する注視点を検出および判断する手段により、ADHDを従来より高い精度で診断支援できるだけでなく、自閉症スペクトラム症(ASD(Autistic Spectrum Disorder))の診断支援も実現できるようにした診断支援装置である。
また、本実施形態の診断支援装置は、2ヵ所に設置された照明部を用いて視線を検出する。また、本実施形態の診断支援装置は、視線検出前に被験者に1点を注視させて測定した結果を用いて、角膜曲率中心位置を高精度に算出する。
なお、照明部とは、光源を含み、被験者の眼球に光を照射可能な要素である。光源とは、例えばLED(Light Emitting Diode)などの光を発生する素子である。光源は、1個のLEDから構成されてもよいし、複数のLEDを組み合わせて1ヵ所に配置することにより構成されてもよい。以下では、このように照明部を表す用語として「光源」を用いる場合がある。
視点検出を精度よく行うためには、瞳孔位置を正しく検出できることが重要となっている。近赤外の光源を点灯させカメラで撮影した場合、カメラと光源の距離が一定以上離れていると、瞳孔は他の部分より暗くなることがわかっている。この特徴を用いて瞳孔位置が検出される。
本実施形態では、2台のカメラに対して、光源をそれぞれのカメラの外側に2ヶ所配置する。そして、これらの2つの光源を相互に異なるタイミングで点灯させ、点灯している光源からの距離が長い方(遠い方)のカメラで撮影する。これにより、瞳孔をより暗く撮影し、瞳孔と他の部分とを、より高精度に区別することが可能となる。
この場合、点灯させる光源が異なるため、通常のステレオ方式による三次元計測を単純に適用することができない。すなわち、視点を求める際の光源と角膜反射を結ぶ直線を世界座標で算出することができない。そこで本実施形態では、2つのタイミングでの、撮像に用いるカメラ相互の位置関係、および、点灯させる光源相互の位置関係を、仮想的な光源の位置(仮想光源位置)に対してそれぞれ対称とする。そして、2つの光源それぞれの点灯時に得られる2つの座標値を、左カメラによる座標値および右カメラによる座標値として世界座標に変換する。これにより、2つの光源それぞれの点灯時に得られる角膜反射位置を用いて、仮想光源と角膜反射を結ぶ直線を世界座標で算出すること、および、この直線に基づき視点を算出することが可能となる。
図1は、1つの光源を使用した場合の被験者の目11の様子を示す図である。図1に示すように、虹彩12と瞳孔13との暗さの差が十分ではなく、区別が困難となる。図2は、2つの光源を使用した場合の被験者の目21の様子を示す図である。図2に示すように、虹彩22と瞳孔23との暗さの差は、図1と比較して大きくなっている。
図3および4は、本実施形態の表示部、ステレオカメラ、赤外線光源および被験者の配置の一例を示す図である。
図3に示すように、本実施形態の診断支援装置は、表示部101と、ステレオカメラを構成する右カメラ102a、左カメラ102bと、LED光源103a、103bと、を含む。右カメラ102a、左カメラ102bは、表示部101の下に配置される。LED光源103a、103bは、右カメラ102a、左カメラ102bそれぞれの外側の位置に配置される。LED光源103a、103bは、例えば波長850nmの近赤外線を照射する光源である。図3では、9個のLEDによりLED光源103a、103b(照明部)を構成する例が示されている。なお、右カメラ102a、左カメラ102bは、波長850nmの近赤外光を透過できるレンズを使用する。なお、LED光源103a、103bと、右カメラ102a、左カメラ102bとの位置を逆にして、LED光源103a、103bを、右カメラ102a、左カメラ102bそれぞれの内側の位置に配置されていてもよい。
図4に示すように、LED光源103a、103bは、被験者の眼球111に向かって近赤外光を照射する。LED光源103aを照射したときに左カメラ102bで撮影を行い、LED光源103bを照射したときに右カメラ102aで撮影を行う。右カメラ102aおよび左カメラ102bと、LED光源103a、103bとの位置関係を適切に設定することにより、撮影される画像では、瞳孔112が低輝度で反射して暗くなり、眼球111内に虚像として生じる角膜反射113が高輝度で反射して明るくなる。従って、瞳孔112および角膜反射113の画像上の位置を2台のカメラ(右カメラ102a、左カメラ102b)それぞれで取得することができる。
さらに2台のカメラにより得られる瞳孔112および角膜反射113の位置から、瞳孔112および角膜反射113の位置の三次元世界座標値を算出する。本実施形態では、三次元世界座標として、表示部101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
図5は、診断支援装置100の機能の概要を示す図である。図5では、図3および4に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図5に示すように、診断支援装置100は、右カメラ102aと、左カメラ102bと、左カメラ102b用のLED光源103aと、右カメラ102a用のLED光源103bと、スピーカ205と、駆動・IF(interface)部313と、制御部300と、記憶部150と、表示部101と、を含む。図5において、表示画面201は、右カメラ102aおよび左カメラ102bとの位置関係を分かりやすく示しているが、表示画面201は表示部101において表示される画面である。なお、駆動部とIF部は一体でもよいし、別体でもよい。
スピーカ205は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する音声出力部として機能する。
駆動・IF部313は、ステレオカメラに含まれる各部を駆動する。また、駆動・IF部313は、ステレオカメラに含まれる各部と、制御部300とのインタフェースとなる。
制御部300は、例えば、CPU(Central Processing Unit)などの制御装置と、ROM(Read Only Memory)やRAM(Random Access Memory)などの記憶装置と、ネットワークに接続して通信を行う通信I/Fと、各部を接続するバスを備えているコンピュータなどにより実現できる。
記憶部150は、制御プログラム、測定結果、診断支援結果など各種情報を記憶する。記憶部150は、例えば、表示部101に表示する画像等を記憶する。表示部101は、診断のための対象画像等、各種情報を表示する。
図6は、図5に示す各部の詳細な機能の一例を示すブロック図である。図6に示すように、制御部300には、表示部101と、駆動・IF部313が接続される。駆動・IF部313は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
駆動・IF部313には、カメラIF314、315を介して、それぞれ、右カメラ102a、左カメラ102bが接続される。駆動・IF部313がこれらのカメラを駆動することにより、被験者を撮像する。右カメラ102aからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ102bとLED駆動制御部316とに入力される。これにより、LED光源103a、103bを発光させ、それに対応して左右カメラによる画像を取り込んでいる。
スピーカ駆動部322は、スピーカ205を駆動する。なお、診断支援装置100が、印刷部としてのプリンタと接続するためのインタフェース(プリンタIF)を備えてもよい。また、プリンタを診断支援装置100の内部に備えるように構成してもよい。
制御部300は、診断支援装置100全体を制御する。制御部300は、点灯制御部351と、位置検出部352と、曲率中心算出部353と、視線検出部354と、視点検出部355と、出力制御部356と、評価部357と、を備えている。なお、視線検出装置としては、少なくとも点灯制御部351、位置検出部352、曲率中心算出部353、および、視線検出部354が備えられていればよい。
制御部300に含まれる各要素(点灯制御部351、位置検出部352、曲率中心算出部353、視線検出部354、視点検出部355、出力制御部356、および、評価部357)は、ソフトウェア(プログラム)で実現してもよいし、ハードウェア回路で実現してもよいし、ソフトウェアとハードウェア回路とを併用して実現してもよい。
プログラムで実現する場合、当該プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disk Read Only Memory)、フレキシブルディスク(FD)、CD−R(Compact Disk Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されてコンピュータプログラムプロダクトとして提供される。プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
点灯制御部351は、LED駆動制御部316を用いて、LED光源103a、103bの点灯を制御する。例えば点灯制御部351は、LED光源103a、103bを、相互に異なるタイミングで点灯するように制御する。タイミングの差(時間)は、例えば、被験者の視線の移動等による視線検出結果への影響が生じない時間として予め定められた時間とすればよい。
位置検出部352は、ステレオカメラにより撮像された眼球の画像から、瞳孔の中心を示す瞳孔中心の位置(第1位置)を算出する。また位置検出部352は、撮像された眼球の画像から、角膜反射の中心を示す角膜反射中心の位置(第2位置)を算出する。
曲率中心算出部353は、仮想光源位置と角膜反射中心とを結ぶ直線(第1直線)から、角膜曲率中心(第4位置)を算出する。例えば、曲率中心算出部353は、この直線上で、角膜反射中心からの距離が所定値となる位置を、角膜曲率中心として算出する。所定値は、一般的な角膜の曲率半径値などから事前に定められた値を用いることができる。
角膜の曲率半径値には個人差が生じうるため、事前に定められた値を用いて角膜曲率中心を算出すると誤差が大きくなる可能性がある。従って、曲率中心算出部353が、個人差を考慮して角膜曲率中心を算出してもよい。この場合、曲率中心算出部353は、まず目標位置(第3位置)を被験者に注視させたときに算出された瞳孔中心および角膜反射中心を用いて、瞳孔中心と目標位置とを結ぶ直線(第2直線)と、角膜反射中心と仮想光源位置とを結ぶ直線(第1直線)と、の交点を算出する。そして曲率中心算出部353は、瞳孔中心と算出した交点との距離(第1距離)を算出し、例えば記憶部150に記憶する。
目標位置は、予め定められ、三次元世界座標値が算出できる位置であればよい。例えば、表示画面201の中央位置(三次元世界座標の原点)を目標位置とすることができる。この場合、例えば出力制御部356が、表示画面201上の目標位置(中央)に、被験者に注視させる画像(目標画像)等を表示する。これにより、被験者に目標位置を注視させることができる。
目標画像は、被験者を注目させることができる画像であればどのような画像であってもよい。例えば、輝度や色などの表示態様が変化する画像、および、表示態様が他の領域と異なる画像などを目標画像として用いることができる。
なお、目標位置は表示画面201の中央に限られるものではなく、任意の位置でよい。表示画面201の中央を目標位置とすれば、表示画面201の任意の端部との距離が最小になる。このため、例えば視線検出時の測定誤差をより小さくすることが可能となる。
距離の算出までの処理は、例えば実際の視線検出を開始するまでに事前に実行しておく。実際の視線検出時には、曲率中心算出部353は、仮想光源位置と角膜反射中心とを結ぶ直線上で、瞳孔中心からの距離が、事前に算出した距離となる位置を、角膜曲率中心として算出する。曲率中心算出部353が、仮想光源位置と、表示部上の目標画像を示す所定の位置(第3位置)と、瞳孔中心の位置と、角膜反射中心の位置と、から角膜曲率中心(第4位置)を算出する算出部に相当する。
視線検出部354は、瞳孔中心と角膜曲率中心とから被験者の視線を検出する。例えば視線検出部354は、角膜曲率中心から瞳孔中心へ向かう方向を被験者の視線方向として検出する。
視点検出部355は、検出された視線方向を用いて被験者の視点を検出する。視点検出部355は、例えば、表示画面201で被験者が注視する点である視点(注視点)を検出する。視点検出部355は、例えば図2のような三次元世界座標系で表される視線ベクトルとXY平面との交点を、被験者の注視点として検出する。
出力制御部356は、表示部101およびスピーカ205などに対する各種情報の出力を制御する。例えば、出力制御部356は、表示部101上の目標位置に目標画像を出力させる。また、出力制御部356は、診断画像、および、評価部357による評価結果などの表示部101に対する出力を制御する。
診断画像は、視線(視点)検出結果に基づく評価処理に応じた画像であればよい。例えば発達障がいを診断する場合であれば、発達障がいの被験者が好む画像(幾何学模様映像など)と、それ以外の画像(人物映像など)と、を含む診断画像を用いてもよい。
評価部357は、診断画像と、視点検出部355により検出された注視点とに基づく評価処理を行う。例えば発達障がいを診断する場合であれば、評価部357は、診断画像と注視点とを解析し、発達障がいの被験者が好む画像を注視したか否かを評価する。
図7は、1つの光源を用いると仮定した場合の処理の概要を説明する図である。図3〜図6で説明した要素については同一の符号を付し説明を省略する。図7の例では、2つのLED光源103a、103bの代わりに、1つのLED光源203が用いられる。
瞳孔中心407および角膜反射中心408は、それぞれ、1つのLED光源203を点灯させた際に検出される瞳孔の中心、および、角膜反射点の中心を表している。角膜曲率半径409は、角膜表面から角膜曲率中心410までの距離を表す。LED光源203は、ここでは1個のLEDとしているが、数個の小さいLEDを組み合わせて1ヵ所に配置されたものであっても構わない。
図8は、本実施形態の診断支援装置100により実行される処理の概要を説明する図である。図3〜図6で説明した要素については同一の符号を付し説明を省略する。
角膜反射点621は左カメラ102bで撮影したときの画像上の角膜反射点を表す。角膜反射点622は右カメラ102aで撮影したときの画像上の角膜反射点を表す。本実施形態では、右カメラ102aと右カメラ用のLED光源103b、および、左カメラ102bと左カメラ用のLED光源103aは、例えば右カメラ102aと左カメラ102bの中間位置を通る直線に対して左右対称の位置関係にある。このため、右カメラ102aと左カメラ102bの中間位置(仮想光源位置)に仮想光源303があるとみなすことができる。角膜反射点624は、仮想光源303に対応する角膜反射点を表す。角膜反射点621の座標値と角膜反射点622の座標値を、左右カメラの座標値を三次元世界座標に変換する変換パラメータを用いて変換することにより、角膜反射点624の世界座標値が算出できる。仮想光源303と角膜反射点624を結ぶ直線523上に角膜の曲率中心505が存在する。従って、図7で表した光源が1ヵ所の視線検出方法と同等の方法で視点検出が可能である。
なお右カメラ102aと左カメラ102bとの位置関係、および、LED光源103aとLED光源103bとの位置関係は、上述の位置関係に限られるものではない。例えば同一の直線に対して、それぞれの位置関係が左右対称となる関係であってもよいし、右カメラ102aと左カメラ102bと、LED光源103aとLED光源103bとは同一直線上になくてもよい。
図9は、視点検出(視線検出)を行う前に、角膜曲率中心位置と、瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理を説明するための図である。図3〜図6で説明した要素については同一の符号を付し説明を省略する。
目標位置605は、表示部101上の一点に目標画像等を出して、被験者に見つめさせるための位置である。本実施形態では表示部101の画面の中央位置としている。直線613は、仮想光源303と角膜反射中心612とを結ぶ直線である。直線614は、被験者が見つめる目標位置605(注視点)と瞳孔中心611とを結ぶ直線である。角膜曲率中心615は、直線613と直線614との交点である。曲率中心算出部353は、瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図10は、本実施形態の算出処理の一例を示すフローチャートである。
まず出力制御部356は、表示部101の画面上の1点に目標画像を再生し(ステップS101)、被験者にその1点を注視させる。次に、点灯制御部351は、LED駆動制御部316を用いてLED光源103a、103bのうち一方を被験者の目に向けて点灯させる(ステップS102)。制御部300は、左右カメラ(右カメラ102a、左カメラ102b)のうち点灯したLED光源からの距離が長い方のカメラで被験者の目を撮像する(ステップS103)。次に、点灯制御部351は、LED光源103a、103bのうち他方を被験者の目に向けて点灯させる(ステップS104)。制御部300は、左右カメラのうち点灯したLED光源からの距離が長い方のカメラで被験者の目を撮像する(ステップS105)。
なお、点灯したLED光源からの距離が長いカメラ以外のカメラによる撮像を停止しなくてもよい。すなわち、少なくとも点灯したLED光源からの距離が長い方のカメラで被験者の目を撮像し、撮像した画像が座標算出等に利用可能となっていればよい。
LED光源103aまたはLED光源103bの照射により、瞳孔部分は暗い部分(暗瞳孔)として検出される。またLED照射の反射として、角膜反射の虚像が発生し、明るい部分として角膜反射点(角膜反射中心)が検出される。すなわち、位置検出部352は、撮像された画像から瞳孔部分を検出し、瞳孔中心の位置を示す座標を算出する。位置検出部352は、例えば目を含む一定領域の中で最も暗い部分を含む所定の明るさ以下の領域を瞳孔部分として検出し、最も明るい部分を含む所定の明るさ以上の領域を角膜反射として検出する。また、位置検出部352は、撮像された画像から角膜反射部分を検出し、角膜反射中心の位置を示す座標を算出する。なお、位置検出部352は、左右カメラで取得した2つの画像それぞれに対して、各座標値を算出する(ステップS106)。
なお、左右カメラは、三次元世界座標を取得するために、事前にステレオ較正法によるカメラ較正が行われており、変換パラメータが算出されている。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。
位置検出部352は、この変換パラメータを使用して、左右カメラの座標から、瞳孔中心と角膜反射中心の三次元世界座標に変換を行う(ステップS107)。例えば位置検出部352は、LED光源103aが点灯されたときに左カメラ102bにより撮像された画像から得られた座標を左カメラの座標とし、LED光源103bが点灯されたときに右カメラ102aにより撮像された画像から得られた座標を右カメラの座標として、変換パラメータを用いて三次元世界座標への変換を行う。この結果得られる世界座標値は、仮想光源303から光が照射されたと仮定したときに左右カメラで撮像された画像から得られる世界座標値に対応する。曲率中心算出部353は、求めた角膜反射中心の世界座標と、仮想光源303の中心位置の世界座標とを結ぶ直線を求める(ステップS108)。次に、曲率中心算出部353は、表示部101の画面上の1点に表示される目標画像の中心の世界座標と、瞳孔中心の世界座標とを結ぶ直線を算出する(ステップS109)。曲率中心算出部353は、ステップS108で算出した直線とステップS109で算出した直線との交点を求め、この交点を角膜曲率中心とする(ステップS110)。曲率中心算出部353は、このときの瞳孔中心と角膜曲率中心との間の距離を算出して記憶部150などに記憶する(ステップS111)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
算出処理で表示部101上の1点を見つめる際の瞳孔中心と角膜曲率中心との間の距離は、表示部101内の視点を検出する範囲で一定に保たれている。瞳孔中心と角膜曲率中心との間の距離は、目標画像を再生中に算出された値全体の平均から求めてもよいし、再生中に算出された値のうち何回かの値の平均から求めてもよい。
図11は、視点検出を行う際に、事前に求めた瞳孔中心と角膜曲率中心との距離を使用して、補正された角膜曲率中心の位置を算出する方法を示した図である。注視点805は、一般的な曲率半径値を用いて算出した角膜曲率中心から求めた注視点を表す。注視点806は、事前に求めた距離を用いて算出した角膜曲率中心から求めた注視点を表す。
瞳孔中心811および角膜反射中心812は、それぞれ、視点検出時に算出された瞳孔中心の位置、および、角膜反射中心の位置を示す。直線813は、仮想光源303と角膜反射中心812とを結ぶ直線である。角膜曲率中心814は、一般的な曲率半径値から算出した角膜曲率中心の位置である。距離815は、事前の算出処理により算出した瞳孔中心と角膜曲率中心との距離である。角膜曲率中心816は、事前に求めた距離を用いて算出した角膜曲率中心の位置である。角膜曲率中心816は、角膜曲率中心が直線813上に存在すること、および、瞳孔中心と角膜曲率中心との距離が距離815であることから求められる。これにより一般的な曲率半径値を用いる場合に算出される視線817は、視線818に補正される。また、表示部101の画面上の注視点は、注視点805から注視点806に補正される。
図12は、本実施形態の視線検出処理の一例を示すフローチャートである。例えば、診断画像を用いた診断処理の中で視線を検出する処理として、図12の視線検出処理を実行することができる。診断処理では、図12の各ステップ以外に、診断画像を表示する処理、および、注視点の検出結果を用いた評価部357による評価処理などが実行される。
ステップS201〜ステップS207は、図10のステップS102〜ステップS108と同様であるため説明を省略する。
曲率中心算出部353は、ステップS207で算出した直線上であって、瞳孔中心からの距離が、事前の算出処理によって求めた距離と等しい位置を角膜曲率中心として算出する(ステップS208)。
視線検出部354は、瞳孔中心と角膜曲率中心とを結ぶベクトル(視線ベクトル)を求める(ステップS209)。このベクトルが、被験者が見ている視線方向を示している。視点検出部355は、この視線方向と表示部101の画面との交点の三次元世界座標値を算出する(ステップS210)。この値が、被験者が注視する表示部101上の1点を世界座標で表した座標値である。視点検出部355は、求めた三次元世界座標値を、表示部101の二次元座標系で表される座標値(x,y)に変換する(ステップS211)。これにより、被験者が見つめる表示部101上の視点(注視点)を算出することができる。
(変形例)
瞳孔中心位置と角膜曲率中心位置との距離を算出する算出処理は、図9および図10で説明した方法に限られるものではない。以下では、算出処理の他の例について図13および図14を用いて説明する。
図13は、本変形例の算出処理を説明するための図である。図3〜図6および図9で説明した要素については同一の符号を付し説明を省略する。
線分1101は、目標位置605と仮想光源位置とを結ぶ線分(第1線分)である。線分1102は、線分1101と平行で、瞳孔中心611と直線613とを結ぶ線分(第2線分)である。本変形例では、以下のように、線分1101、線分1102を用いて瞳孔中心611と角膜曲率中心615との距離616を算出して記憶しておく。
図14は、本変形例の算出処理の一例を示すフローチャートである。
ステップS301〜ステップS309は、図10のステップS101〜ステップS109と同様であるため説明を省略する。
曲率中心算出部353は、表示部101の画面上の1点に表示される目標画像の中心と、仮想光源位置とを結ぶ線分(図13では線分1101)を算出するとともに、算出した線分の長さ(L1101とする)を算出する(ステップS310)。
曲率中心算出部353は、瞳孔中心611を通り、ステップS310で算出した線分と平行な線分(図13では線分1102)を算出するとともに、算出した線分の長さ(L1102とする)を算出する(ステップS311)。
曲率中心算出部353は、角膜曲率中心615を頂点とし、ステップS310で算出した線分を下辺とする三角形と、角膜曲率中心615を頂点とし、ステップS311で算出した線分を下辺とする三角形とが相似関係にあることに基づき、瞳孔中心611と角膜曲率中心615との間の距離616を算出する(ステップS312)。例えば曲率中心算出部353は、線分1101の長さに対する線分1102の長さの比率と、目標位置605と角膜曲率中心615との間の距離に対する距離616の比率と、が等しくなるように、距離616を算出する。
距離616は、以下の(1)式により算出することができる。なおL614は、目標位置605から瞳孔中心611までの距離である。
距離616=(L614×L1102)/(L1101−L1102)・・・(1)
曲率中心算出部353は、算出した距離616を記憶部150などに記憶する(ステップS313)。記憶された距離は、その後の視点(視線)検出時に、角膜曲率中心を算出するために使用される。
図15は、表示される映像(診断画像)の一例を示す図である。図15に示すように、診断画像は、領域A1、A2、A3、および、A4を含む。領域A1は、例えば診断画像の中心を含む領域である。領域A2およびA3は、診断画像の中心を含まない領域として、例えば領域A1の周囲を囲む領域に配置される。図15では、領域A2が11個の部分領域(ウィンドウ)に分割され、領域A3が3個の部分領域に分割された例が示されている。なお、領域A2およびA3は、領域A1に対して上下、左右、対角線上に配置されているが、領域A2およびA3の分割数や分割方法は図15の例に限られるものではない。また領域A2およびA3は部分領域に分割されなくてもよい。領域A4は、領域A1、A2およびA3以外の領域(余白的な領域)である。
領域A1は、例えば人物を含む自然画の動画が表示される。領域A2およびA3の各部分領域は、静止画、または、動きの遅い動画が表示される。このように、領域A2およびA3には、領域A1の画像と比較して目立たない画像が表示される。さらに、領域A2は、イラスト(静止画)またはアニメーション(動画)が表示される。領域A3は、幾何学模様を含む画像が表示される。幾何学模様を含む画像は、静止画および動画のいずれであってもよい。
このような診断画像を用いる場合の診断処理の概要について説明する。まず、被験者に対する「課題」として、中央の動画を見るように「中央の映像をじっと見てください。」などの音声をスピーカ205から出力する。被験者が定型発達児の場合、指示に従い、所定の時間を中央の映像を注視することができる。しかし発達障がい、特に注意欠陥・多動性障がい(ADHD)の被験者の場合は、集中して見ることが困難であり、周辺の領域A2およびA3の画像を多く見る傾向が強い。また、特にASDの被験者の場合は、幾何学模様を好む傾向があり、より領域A3の画像を見ることが多くなる。
課題を出すことによって、以下のような被験者の傾向を区別することが容易になる。
・定型発達の被験者:真ん中を見続ける
・ADHD(注意欠陥・多動性障がい)の被験者:初めは真ん中を見て、その後周りを見る
・ASD(自閉症スペクトラム症)の被験者:幾何学模様を見る
図15のような診断画像は、特に定型発達の被験者を分かりやすく区別することが可能になる。すなわち本実施形態では、中央の領域A1に、定型発達の被験者が見やすいように大きい人物画像である診断画像を表示する。さらには、周囲の領域A2およびA3には、コントラストを下げたり、動きをなくすことで、領域A1の診断画像より目立たない(注目されにくい)診断画像を表示する。これにより、領域A1の画像を見やすくしている。
図16は、表示される映像(診断画像)の他の例を示す図である。図16の診断画像は、中央の領域A1に人物が含まれるアニメーションの動画が表示される画像となっている。この場合は、”ASDの被験者は、幾何学模様を好む傾向”に対して感度が低くなるが、ADHDの被験者に対しては、感度は変わらない。
図17は、表示される映像(診断画像)の他の例を示す図である。図17は、図15の診断画像に対して、領域A2、A3の画像のコントラストおよび彩度の少なくとも一方を低く設定された診断画像である。このような診断画像を用いることにより、定型発達の被験者は、より中央部の領域A1を見るようになる。それに対して、ADHDの被験者は、一箇所を注視するのが苦手なので、領域A2、A3の部分を変わらずに見ることになる。これにより感度が向上する。
図18は、表示される映像(診断画像)の他の例を示す図である。図18は、図16では領域A1内に表示される画像(動画)を画像全体に含み、かつ、図16と同様の位置に領域A2、A3の画像を重ねるように配置した診断画像である。図18の診断画像でも、中央の領域A1には人物が含まれるアニメーションの動画が表示される。このような映像についても同様な効果を得ることが可能である。
診断画像は図15〜図18に示す例に限られるものではなく、配置、大きさ、コントラスト、および、彩度などの表示態様について、さまざまな組み合わせが可能である。例えば診断画像は、注目させる画像(第1画像)と、第1画像以外の画像(第2画像)と、を少なくとも含んでいればよい。注目させる画像は、配置、大きさ、コントラスト、および、彩度などの表示態様を、他の画像より注目されやすい画像とすればよい。上記のようにスピーカ205等によって被験者に課題を認識させることにより、注目させる画像が、より注目されるように構成してもよい。
次に、このように構成された本実施形態にかかる診断支援装置100による診断支援処理について図19〜図23を用いて説明する。図19は、本実施形態における診断支援処理の一例を示すフローチャートである。なお、これ以前に個別のキャリブレーションは完了しているものとする。キャリブレーションには、上述のようなカメラキャリブレーション、および、視線検出のためのキャリブレーション(視線検出用較正)が含まれる。
まず出力制御部356は、中央(領域A1)の動画を見るようにスピーカ205から、「中央の映像をじっと見てください。」などの音声を出力する(ステップS401)。出力制御部356は、映像の再生を開始する(ステップS402)。出力制御部356は、映像の再生時間を管理するタイマをリセットする(ステップS403)。評価部357は、領域A1の注視点の停留時間を測定するためのカウンタCA1と、領域A2またはA3の注視点の停留時間を測定するためのカウンタCA23をリセットする(ステップS404)。本システムはカメラの1フレームごとに1回の注視点測定を行う。このため、1フレームごとに、注視している領域を判定して計数することにより各領域の注視時間を計測することが可能である。
次に、視点検出部355は、被験者の注視点を検出する(ステップS405)。注視点の検出は、例えば上述の図12または図14のような手順で実行することができる。視点検出部355は、検出が失敗したかを判断する(ステップS406)。瞬きなどにより、注視点を検出できない場合があるからである。検出が失敗した場合(ステップS406:Yes)、ステップS413に進む。
検出が成功した場合(ステップS406:No)、評価部357は、注視点座標と領域の座標範囲の比較により注視点が存在する領域(注視点領域)を取得する。評価部357は、取得した注視点領域が、領域A1であるか否かを判定する(ステップS408)。領域A1であるとき(ステップS408:Yes)、評価部357は、カウンタCA1をインクリメント(カウントアップ)する(ステップS409)。
注視点領域が領域A1でない場合(ステップS408:No)、評価部357は、注視点領域が領域A2であるか否かを判定する(ステップS410)。領域A2であるとき(ステップS410:Yes)、評価部357は、カウンタCA23をインクリメント(カウントアップ)する(ステップS412)。
領域A2でない場合(ステップS410:No)、評価部357は、注視点領域が領域A3であるか否かを判定する(ステップS411)。領域A3であるとき(ステップS411:Yes)、評価部357は、カウンタCA23をインクリメント(カウントアップ)する(ステップS412)。
領域A3でない場合(ステップS411:No)、ステップS413に進む。これは設定された領域(領域A1、A2またはA3)に注視点が含まれないことを意味する。
次に、出力制御部356は、映像の再生時間を管理するタイマの完了を確認する(ステップS413)。所定時間が経過していない場合には(ステップS413:No)、ステップS405に戻り、測定を継続する。タイマが完了した場合には(ステップS413:Yes)、出力制御部356は、映像の再生を停止させる(ステップS414)。
次に、評価部357は評価演算を行う(ステップS415)。例えば評価部357は、CA1の計数値と、CA23の計数値との比を評価値として求めればよい。CA23の割合が高いほど、課題の領域を注視できていないので、発達障がい、特にADHDの可能性が高くなる。また、所定の閾値を設けて、それ以上か、未満かにより、発達障がいのリスク、特にADHDのリスクが高いか否かを評価することも可能である。
出力制御部356は、評価結果を、表示画面201などに表示する(ステップS416)。
図20は、本実施形態における診断支援処理の別の例を示すフローチャートである。ステップS501〜ステップS503は図19のステップS401〜ステップS403と同様である。
評価部357は、領域A1の注視点の停留時間を測定するためのカウンタCA1と、領域A2、A3、または、A4の注視点の停留時間を測定するためのカウンタCA234をリセットする(ステップS504)。
ステップS505〜ステップS507は図19のステップS405〜ステップS407と同様である。
評価部357は、取得した注視点領域が、領域A1であるか否かを判定する(ステップS508)。領域A1であるとき(ステップS508:Yes)、評価部357は、カウンタCA1をインクリメント(カウントアップ)する(ステップS509)。領域A1でない場合(ステップS508:No)、評価部357は、カウンタCA234をインクリメント(カウントアップ)する(ステップS510)。
ステップS511〜ステップS512は図19のステップS413〜ステップS414と同様である。
次に評価部357は、評価演算を行う(ステップS513)。この例では評価部357は、CA1の計数値と、CA234の計数値との比を評価値として求めればよい。CA234の割合が高いほど、課題の領域を注視できていないので、発達障がい、特にADHDの可能性が高くなる。また、所定の閾値を設けて、それ以上か、未満かにより、発達障がいのリスク、特にADHDのリスクが高いか否かを評価することも可能である。ステップS514は図19のステップS416と同様である。
図20の診断支援処理は、領域A2、A3を区別せず、また領域A4を見た場合にもカウンタCA234が計数されるので、図19の診断支援処理と比較して若干精度が低くなる可能性があるが、構成を簡略化することが可能となる。
図21は、本実施形態における診断支援処理の別の例を示すフローチャートである。ステップS601〜ステップS603は図19のステップS401〜ステップS403と同様である。
評価部357は、領域A1の注視点の停留時間を測定するためのカウンタCA1と、領域A3の注視点の停留時間を測定するためのカウンタCA3と、領域A2またはA3の注視点の停留時間を測定するためのカウンタCA23をリセットする(ステップS604)。
ステップS605〜ステップS607は図19のステップS405〜ステップS407と同様である。
評価部357は、取得した注視点領域が、領域A1であるか否かを判定する(ステップS608)。領域A1であるとき(ステップS608:Yes)、評価部357は、カウンタCA1をインクリメント(カウントアップ)する(ステップS609)。
領域A1でない場合(ステップS608:No)、評価部357は、注視点領域が領域A3であるか否かを判定する(ステップS610)。領域A3であるとき(ステップS610:Yes)、評価部357は、カウンタCA3をインクリメント(カウントアップ)する(ステップS611)。さらに評価部357は、カウンタCA23をインクリメント(カウントアップ)する(ステップS613)。
領域A3でない場合(ステップS610:No)、評価部357は、注視点領域が領域A2であるか否かを判定する(ステップS612)。領域A2であるとき(ステップS612)、評価部357は、カウンタCA23をインクリメント(カウントアップ)する(ステップS613)。
ステップS614〜ステップS615は図19のステップS413〜ステップS414と同様である。
次に評価部357は、評価演算を行う(ステップS616)。この例では評価部357は、CA1の計数値と、CA23の計数値との比を求めればよい。CA23の割合が高いほど、課題の領域を注視できていないので、発達障がい、特にADHDの可能性が高くなる。また、所定の閾値を設けて、それ以上か、未満かにより、発達障がいのリスク、特にADHDのリスクが高いか否かを評価することも可能である。
また評価部357は、CA1の計数値とCA3の計数値とを比較することにより、人物と幾何学模様のどちらを好むかの評価値を求めることができる。幾何学模様の割合(CA3の割合)が高くなれば、発達障がい、特にASDの可能性が高くなる。また、所定の閾値を設けて、それ以上か、未満かにより、発達障がいのリスク、特にASDのリスクが高いか否かを評価することも可能である。ステップS617は図19のステップS416と同様である。
図22および23は、本実施形態における診断支援処理の別の例を示すフローチャートである。図22および23は、2種類の映像について図19と同様の処理を実行し、各映像での計数結果を加算するようにして、測定の精度を高めることを可能とした例である。これを応用して、さらに多くの映像についての評価を加算して、精度を高めることが可能となる。
複数の映像(診断画像)を用いる場合は、映像ごとに領域(領域A1、A2、A3など)を変更してもよい。図22および23では、ステップS704およびステップS719が、このように領域を設定する処理を表す。なお図19〜図21ではこのような領域設定処理の記載を省略しているが、同様の処理を実行してもよい。
これ以外のステップS701〜ステップS703、ステップS705〜ステップS715は、図19のステップS401〜ステップS414と同様である。また、ステップS716〜ステップS718、ステップS720〜ステップS731は、図19のステップS401〜ステップS416と同様である。
以上のように、本実施形態によれば、例えば以下のような効果が得られる。
(1)注意欠陥・多動性障がいの診断支援が可能になり、簡単に障がいの可能性を確認できる。
(2)社会性の発達についても同時に確認できるので、ASDの可能性も確認できる。
(3)2つの光源のうち、2台のカメラからそれぞれ遠い光源を点灯させたときの画像を撮影し使用することにより、瞳孔だけをより暗く撮影でき、瞳孔検出精度、および視線検出精度を向上させることができる。
(4)それぞれカメラから遠い1つの光源を使用するため、2つの光源の位置を離す必要がなくコンパクトにすることが可能である。