JP2023155992A - Estimation device, estimation method, and program - Google Patents

Estimation device, estimation method, and program Download PDF

Info

Publication number
JP2023155992A
JP2023155992A JP2022065550A JP2022065550A JP2023155992A JP 2023155992 A JP2023155992 A JP 2023155992A JP 2022065550 A JP2022065550 A JP 2022065550A JP 2022065550 A JP2022065550 A JP 2022065550A JP 2023155992 A JP2023155992 A JP 2023155992A
Authority
JP
Japan
Prior art keywords
response
driver
estimation
unit
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022065550A
Other languages
Japanese (ja)
Inventor
歩 川田
Ayumu Kawada
拡昌 橋本
Hiromasa Hashimoto
功 富澤
Isao Tomizawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Electronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Electronic Corp filed Critical Pioneer Electronic Corp
Priority to JP2022065550A priority Critical patent/JP2023155992A/en
Publication of JP2023155992A publication Critical patent/JP2023155992A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

To improve a degree of freedom in information to be outputted for estimating a state of a driver through a response of the driver.SOLUTION: An estimation device 10 is equipped with an output part 120, a detection part 140, and an estimation part 160. The output part 120 outputs demand response information requiring a response to a driver of a moving body. The detection part 140 detects the response of the driver to the demand response information. The estimation part 160 estimates a state of the driver on the basis of at least one of appropriateness or timing of the response.SELECTED DRAWING: Figure 1

Description

本発明は、推定装置、推定方法、およびプログラムに関する。 The present invention relates to an estimation device, an estimation method, and a program.

車両等の運転者の眠気や疲労度等を予測して、必要に応じた警告等を行う技術がある。 There is a technology that predicts the drowsiness and fatigue level of a driver of a vehicle, etc., and issues warnings as necessary.

特許文献1には、食事や睡眠に関する質問への回答内容に基づいて運転者の眠気リスクを予測することが記載されている。 Patent Document 1 describes predicting a driver's drowsiness risk based on the answers to questions regarding meals and sleep.

特開2019-61480号公報JP2019-61480A

しかしながら、特許文献1の技術によれば、ドライバは、運転者支援装置により毎回繰り返される同じ質問に、その都度答えることとなる。その結果、運転者が質問に飽きてしまったり、毎回決まったパターンの回答をしてしまったりして、予測制度が低下する可能性があった。 However, according to the technique disclosed in Patent Document 1, the driver has to answer the same questions that are repeated each time by the driver support device each time. As a result, there was a possibility that the driver would get bored with the questions or give answers in a fixed pattern each time, leading to a decline in the prediction accuracy.

本発明が解決しようとする課題としては、運転者の応答を通じて運転者の状態を推定するために出力する情報の、自由度を高めることが一例として挙げられる。 An example of the problem to be solved by the present invention is to increase the degree of freedom of information output for estimating the driver's condition based on the driver's responses.

請求項1に記載の発明は、
移動体の運転者に対して応答を求める要応答情報を出力する出力部と、
前記要応答情報に対する前記運転者の応答を検出する検出部と、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定部と、を備える
推定装置である。
The invention according to claim 1 includes:
an output unit that outputs response-required information requesting a response from a driver of the mobile object;
a detection unit that detects the driver's response to the response required information;
The estimation device includes an estimation unit that estimates the state of the driver based on at least one of appropriateness and timing of the response.

請求項13に記載の発明は、
一以上のコンピュータにより実行される推定方法であって、
移動体の運転者に対して応答を求める要応答情報を出力する出力ステップと、
前記要応答情報の出力に対する前記運転者の応答を検出する検出ステップと、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定ステップとを含む
推定方法である。
The invention according to claim 13 is
An estimation method performed by one or more computers, the method comprising:
an output step of outputting response-required information requesting a response from a driver of the mobile object;
a detection step of detecting the driver's response to the output of the response-required information;
The estimation method includes an estimating step of estimating the state of the driver based on at least one of appropriateness and timing of the response.

請求項14に記載の発明は、
請求項13に記載の推定方法をコンピュータに実行させるプログラムである。
The invention according to claim 14 is
A program that causes a computer to execute the estimation method according to claim 13.

実施形態に係る推定装置の機能構成を例示するブロック図である。1 is a block diagram illustrating a functional configuration of an estimation device according to an embodiment. FIG. 実施形態に係る推定方法の流れを例示するフローチャートである。3 is a flowchart illustrating the flow of an estimation method according to an embodiment. 推定装置を実現するための計算機を例示する図である。FIG. 2 is a diagram illustrating a computer for realizing an estimation device. 運転負荷と、推定装置で行われる処理との関係の第1例を示す図である。It is a figure which shows the 1st example of the relationship between an operating load and the process performed by an estimation device. 運転負荷と、推定装置で行われる処理との関係の第2例を示す図である。It is a figure which shows the 2nd example of the relationship between operating load and the process performed by an estimation device.

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。 Embodiments of the present invention will be described below with reference to the drawings. Note that in all the drawings, similar components are denoted by the same reference numerals, and descriptions thereof will be omitted as appropriate.

(実施形態)
図1は、実施形態に係る推定装置10の機能構成を例示するブロック図である。本実施形態に係る推定装置10は、出力部120、検出部140および推定部160を備える。出力部120は、移動体の運転者に対して応答を求める要応答情報を出力する。検出部140は、要応答情報に対する運転者の応答を検出する。推定部160は、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態を推定する。
(Embodiment)
FIG. 1 is a block diagram illustrating the functional configuration of an estimation device 10 according to an embodiment. The estimation device 10 according to this embodiment includes an output section 120, a detection section 140, and an estimation section 160. The output unit 120 outputs response required information requesting a response from the driver of the mobile object. The detection unit 140 detects the driver's response to the response required information. Estimating unit 160 estimates the driver's condition based on at least one of the appropriateness and timing of the response.

本実施形態において、移動体は特に限定されないが、たとえば、車両、飛行体、または船である。車両としては列車、四輪車、二輪車等が挙げられる。飛行体としてはドローン、航空機等が挙げられる。移動体の運転者はその移動体に搭乗していてもよいし、遠隔で移動体を運転していてもよい。本実施形態に係る推定装置10は、移動体に搭載されてもよいし、移動体に搭載されていなくてもよい。 In this embodiment, the moving object is not particularly limited, but may be, for example, a vehicle, an aircraft, or a ship. Vehicles include trains, four-wheeled vehicles, two-wheeled vehicles, and the like. Examples of flying objects include drones and aircraft. The driver of the moving object may be on board the moving object, or may be driving the moving object remotely. The estimation device 10 according to this embodiment may or may not be mounted on a moving body.

要応答情報は、たとえば運転者への問いかけである。問いかけの例としては、質問、提案、呼びかけが挙げられる。要応答情報に対する運転者の応答は、質問等への回答であってもよいし、相槌であってもよい。質問等への回答としては、「はい」、「うん」等の肯定を示す回答、「いいえ」、「いや」等の否定を示す回答、肯定否定以外の回答が挙げられる。要応答情報に対する運転者の応答としては、発声など音による応答、うなずきなど体の動きによる応答等が挙げられる。 The response-required information is, for example, a question to the driver. Examples of inquiries include questions, suggestions, and calls. The driver's response to the response-required information may be an answer to a question or the like, or may be a response. Examples of answers to questions include affirmative answers such as "yes" and "yes," negative answers such as "no" and "no," and answers other than affirmative and negative. The driver's response to the response-required information includes a sound response such as vocalization, a body movement response such as nodding, and the like.

要応答情報の出力はたとえば、スピーカーからの音声出力、またはディスプレイによる画像出力である。 The output of the response required information is, for example, audio output from a speaker or image output from a display.

検出部140は、マイクロフォンを用いた音検出、カメラ等を用いた画像検出、センサ等を用いた動き検出等により、運転者の応答を検出できる。 The detection unit 140 can detect the driver's response through sound detection using a microphone, image detection using a camera or the like, motion detection using a sensor or the like.

推定部160は、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態を推定する。したがって、要応答情報の自由度が高く、バリエーションに富んだ問いかけ等を通じて、運転者の状態を推定できる。 Estimating unit 160 estimates the driver's condition based on at least one of the appropriateness and timing of the response. Therefore, the degree of freedom in response information is high, and the driver's condition can be estimated through a wide variety of questions.

運転者の状態とは、たとえば運転者の疲労度または余裕度である。疲労度には眠気の強さが含まれうる。以下においては、疲労度に関する説明の高低を反転させることで、余裕度に関する説明に読み替えることができる。 The driver's condition is, for example, the driver's fatigue level or reserve level. The level of fatigue may include the level of sleepiness. In the following, by reversing the level of the explanation regarding the fatigue level, the explanation can be read as the explanation regarding the margin level.

図2は、本実施形態に係る推定方法の流れを例示するフローチャートである。本実施形態に係る推定方法は、一以上のコンピュータにより実行される。本推定方法は、出力ステップS10、検出ステップS20、および推定ステップS30を含む。出力ステップS10では、移動体の運転者に対して応答を求める要応答情報が出力される。検出ステップS20では、要応答情報の出力に対する運転者の応答が検出される。推定ステップS30では、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態が推定される。 FIG. 2 is a flowchart illustrating the flow of the estimation method according to this embodiment. The estimation method according to this embodiment is executed by one or more computers. This estimation method includes an output step S10, a detection step S20, and an estimation step S30. In output step S10, response-required information requesting a response from the driver of the mobile object is output. In the detection step S20, the driver's response to the output of the response required information is detected. In estimation step S30, the driver's condition is estimated based on at least one of the appropriateness and timing of the response.

本実施形態に係る推定方法は、本実施形態に係る推定装置10によって実行されうる。 The estimation method according to this embodiment can be executed by the estimation device 10 according to this embodiment.

以上、本実施形態によれば、推定部160は、応答の適正さおよびタイミングの少なくとも一方に基づいて運転者の状態を推定する。したがって、バリエーションに富んだ問いかけ等を通じて、運転者の状態を推定できる。 As described above, according to the present embodiment, the estimation unit 160 estimates the driver's condition based on at least one of the appropriateness and timing of the response. Therefore, the driver's condition can be estimated through a wide variety of questions.

(実施例1)
実施例1に係る推定装置10は、実施形態に係る推定装置10と同様の構成を有する。本実施例に係る推定装置10において、推定部160は、少なくとも応答のタイミングに基づいて運転者の状態を推定する。本実施例に係る推定装置10の機能構成は、図1で例示される。以下に詳しく説明する。
(Example 1)
The estimation device 10 according to Example 1 has the same configuration as the estimation device 10 according to the embodiment. In the estimation device 10 according to the present embodiment, the estimation unit 160 estimates the driver's condition based on at least the timing of the response. The functional configuration of the estimation device 10 according to this embodiment is illustrated in FIG. This will be explained in detail below.

本実施例において推定部160は、応答のタイミングに基づいて要応答情報の出力に対する応答時間を特定する。そして推定部160は、応答時間に基づいて運転者の状態を推定する。 In this embodiment, the estimating unit 160 specifies the response time for outputting the response-required information based on the timing of the response. The estimation unit 160 then estimates the driver's condition based on the response time.

応答時間はたとえば、出力部120が要応答情報を出力してから、検出部140が運転者の応答を検出するまでの時間である。要応答情報が音声出力される場合、応答時間は具体的には、問いかけ等の出力が終了してから、運転者の応答が始まるまでの時間である。応答時間は、応答の声が発せられるまでの時間であるほか、うなずき等のアクションが開始されるまでの時間でありうる。 The response time is, for example, the time from when the output unit 120 outputs the response-required information until when the detection unit 140 detects the driver's response. When the response-required information is output by voice, the response time is specifically the time from the end of the output of the question etc. until the driver's response begins. The response time may be the time until a response voice is uttered or the time until an action such as nodding is started.

推定部160は、応答時間が所定の時間Tより長い場合に、運転者が疲労していると判断する。推定部160はさらに、応答時間が、時間Tを大きく超過するほど、運転者の疲労度が高いと推定する。時間Tは特に限定されないが、たとえば0秒以上10秒以下である。推定部160はたとえば、運転者が疲労状態であるか否かを示す情報、運転者の疲労度、および運転者の余裕度のうち一以上を推定結果として出力することができる。疲労度は、疲労の強さを示す数値や記号等であり得る。余裕度は、余裕の大きさを示す数値や記号等であり得る。 The estimation unit 160 determines that the driver is fatigued when the response time is longer than the predetermined time T. The estimation unit 160 further estimates that the greater the response time exceeds the time T, the higher the driver's fatigue level. The time T is not particularly limited, but is, for example, 0 seconds or more and 10 seconds or less. The estimating unit 160 can output, for example, one or more of information indicating whether the driver is in a fatigued state, the driver's fatigue level, and the driver's margin level as the estimation result. The degree of fatigue may be a numerical value, symbol, etc. indicating the strength of fatigue. The degree of margin may be a numerical value, symbol, etc. that indicates the size of the margin.

なお、推定部160は、複数の応答時間の平均を用いて運転者の状態を判定してもよい。すなわち、出力部120が複数の要応答情報を出力し、検出部140が各要応答情報に対する運転者の応答を検出し、推定部160が各応答についての応答時間を特定する。そして、推定部160は、特定した複数の応答時間の平均を算出し、平均と時間Tを比較することで、運転者の状態を推定する。 Note that the estimation unit 160 may determine the driver's condition using the average of a plurality of response times. That is, the output unit 120 outputs a plurality of pieces of response-required information, the detection unit 140 detects the driver's response to each response-required information, and the estimation unit 160 specifies the response time for each response. Then, the estimating unit 160 calculates the average of the plurality of identified response times, and compares the average with the time T, thereby estimating the driver's condition.

推定部160は、応答時間または応答時間の平均と疲労度との関係を示す参照情報を用いて、疲労度を特定してもよい。参照情報は予め記憶部100に保持されており、推定部160がそれを読み出して用いる事ができる。参照情報はテーブルまたは数式等でありうる。推定部160は、特定した応答時間または応答時間の平均に対応する疲労度を参照情報から抽出し、抽出された疲労度をその運転者の疲労度とする。なお、記憶部100は推定装置10に備えられていてもよいし、推定装置10の外部に設けられていてもよい。記憶部100が推定装置10の内部に設けられる場合、例えば記憶部100は、後述するストレージデバイス1080を用いて実現される。 The estimation unit 160 may identify the fatigue level using reference information indicating the relationship between the response time or the average response time and the fatigue level. The reference information is held in advance in the storage unit 100, and the estimation unit 160 can read and use it. The reference information may be a table, a formula, or the like. The estimation unit 160 extracts the fatigue level corresponding to the specified response time or the average response time from the reference information, and sets the extracted fatigue level as the driver's fatigue level. Note that the storage unit 100 may be included in the estimation device 10 or may be provided outside the estimation device 10. When the storage unit 100 is provided inside the estimation device 10, the storage unit 100 is realized using a storage device 1080, which will be described later, for example.

たとえば出力部120は、要応答情報として質問を出力する。それに対して運転者が考え込んでしまいすぐに答えられない場合、疲労度が高いと判定される。その場合、出力部120はさらに運転者に休憩を促す出力を行う。一方、運転者がすぐに答えられた場合、疲労度は高くないと判定される。その場合、たとえば回答内容に応じた会話が、出力部120による出力によって続けられてもよい。たとえば出力部120が「昨日の夜何食べましたか?」という質問を要応答情報として出力し、運転者が「オムライスだった。」とすぐに回答したとする。その場合、推定部160が疲労度は高くないと判定し、回答内容に含まれるキーワードに基づいて、出力部120が「オムライスといえばおすすめ店は・・・」といった情報提示等の出力をさらに行ってもよい。また、推定部160が疲労度は高くないと判定した場合、出力部120は、運転者のニーズやパーソナリティを特定するための質問や会話を継続してもよい。推定装置10によれば、このように推定装置10と運転者との自然な会話のようなやり取りを通じて、運転者の状態を推定することが可能である。推定部160は、出力部120の出力に対する運転者の応答を検出部140が検知する度に、運転者の状態を推定してもよい。ただし、推定部160は、出力部120の出力に対する運転者の応答を、検出部140が検知しても、運転者の状態を推定しないことがあってもよい。 For example, the output unit 120 outputs a question as response information. If the driver is deep in thought and unable to answer immediately, it is determined that the driver is highly fatigued. In that case, the output unit 120 further outputs an output urging the driver to take a break. On the other hand, if the driver can answer immediately, it is determined that the driver's fatigue level is not high. In that case, for example, the conversation depending on the answer may be continued by output from the output unit 120. For example, assume that the output unit 120 outputs the question ``What did you eat last night?'' as response information, and the driver immediately answers ``It was omelet rice.'' In that case, the estimation unit 160 determines that the level of fatigue is not high, and the output unit 120 further outputs information such as “Speaking of omelette rice, what is the recommended restaurant?” based on the keywords included in the answer. It's okay. Further, when the estimation unit 160 determines that the degree of fatigue is not high, the output unit 120 may continue asking questions and having a conversation to identify the driver's needs and personality. According to the estimation device 10, it is possible to estimate the driver's condition through a natural conversation-like interaction between the estimation device 10 and the driver. The estimation unit 160 may estimate the driver's state every time the detection unit 140 detects the driver's response to the output of the output unit 120. However, the estimation unit 160 may not estimate the driver's state even if the detection unit 140 detects the driver's response to the output of the output unit 120.

推定装置10のハードウエア構成について以下に説明する。推定装置10の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、推定装置10の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。 The hardware configuration of the estimation device 10 will be explained below. Each functional component of the estimation device 10 may be realized by hardware that implements each functional component (e.g., a hardwired electronic circuit, etc.), or by a combination of hardware and software (e.g., an electronic circuit). It may also be realized by a combination of a circuit and a program that controls it. Hereinafter, a case in which each functional component of the estimation device 10 is realized by a combination of hardware and software will be further described.

図3は、推定装置10を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、SoC(System On Chip)、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、推定装置10を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。 FIG. 3 is a diagram illustrating a computer 1000 for realizing the estimation device 10. Computer 1000 is any computer. For example, the computer 1000 is an SoC (System On Chip), a personal computer (PC), a server machine, a tablet terminal, a smartphone, or the like. The computer 1000 may be a dedicated computer designed to implement the estimation device 10, or may be a general-purpose computer.

計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。 Computer 1000 has a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input/output interface 1100, and a network interface 1120. The bus 1020 is a data transmission path through which the processor 1040, memory 1060, storage device 1080, input/output interface 1100, and network interface 1120 exchange data with each other. However, the method for connecting the processors 1040 and the like to each other is not limited to bus connection. The processor 1040 is various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or an FPGA (Field-Programmable Gate Array). Memory 1060 is a main storage device implemented using RAM (Random Access Memory) or the like. The storage device 1080 is an auxiliary storage device implemented using a hard disk, an SSD (Solid State Drive), a memory card, a ROM (Read Only Memory), or the like.

入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース1100には、キーボード、マイクロフォン、カメラ、センサなどの入力装置や、ディスプレイ、スピーカーなどの出力装置が接続される。入出力インタフェース1100が入力装置や出力装置に接続する方法は、無線接続であってもよいし、有線接続であってもよい。 The input/output interface 1100 is an interface for connecting the computer 1000 and an input/output device. For example, input devices such as a keyboard, microphone, camera, and sensor, and output devices such as a display and speakers are connected to the input/output interface 1100. The method by which the input/output interface 1100 connects to the input device and the output device may be a wireless connection or a wired connection.

ネットワークインタフェース1120は、計算機1000をネットワークに接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。 Network interface 1120 is an interface for connecting computer 1000 to a network. This communication network is, for example, a LAN (Local Area Network) or a WAN (Wide Area Network). The method by which the network interface 1120 connects to the network may be a wireless connection or a wired connection.

ストレージデバイス1080は、推定装置10の各機能構成部を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。 The storage device 1080 stores program modules that implement each functional component of the estimation device 10. Processor 1040 reads each of these program modules into memory 1060 and executes them, thereby realizing the functions corresponding to each program module.

以下に本実施例に係る推定装置10の各機能構成部について詳しく説明する。 Each functional component of the estimation device 10 according to this embodiment will be explained in detail below.

出力部120は、出力する要応答情報を、現在の移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定する。出力部120は、出力部120からアクセス可能な記憶部100に予め保持された複数の要応答情報から、移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて、出力する要応答情報を選択してもよい。この場合、複数の要応答情報のそれぞれは、特定の位置、特定の天候、特定の日付、特定の時刻、および特定の目的地のうちの一つまたは二つ以上の組み合わせと、予め関連付けられている。出力部120は、要応答情報を出力する際の、移動体の位置、天候、日付、時刻、および目的地のうちの一つまたは二つ以上の組み合わせに対応する要応答情報を、複数の要応答情報から抽出する。そうすることで、出力する要応答情報を特定する。 The output unit 120 determines the response required information to be output based on at least one of the current location of the moving body, weather, date, time, and destination. The output unit 120 outputs information based on at least one of the location, weather, date, time, and destination of the moving body from a plurality of pieces of response-required information stored in advance in the storage unit 100 that can be accessed from the output unit 120. You may also select response-required information. In this case, each of the plural pieces of response information is associated in advance with one or a combination of two or more of a specific location, specific weather, specific date, specific time, and specific destination. There is. The output unit 120 outputs response-required information corresponding to one or more combinations of the location of the moving body, weather, date, time, and destination when outputting the response-required information. Extract from response information. By doing so, the response required information to be output is specified.

または、出力部120は、移動体の位置、天候、日付、時刻、および目的地の少なくとも一つを入力とし、要応答情報を出力とするモデルを用いて出力する要応答情報を決定してもよい。このモデルは、たとえば機械学習による学習済みモデルであり、ニューラルネットワークを含む。要応答情報は、モデルによって生成されうる。 Alternatively, the output unit 120 may determine the response-required information to be output using a model that receives at least one of the location, weather, date, time, and destination of the moving body and outputs the response-required information. good. This model is, for example, a trained model based on machine learning, and includes a neural network. The response-required information can be generated by a model.

出力部120が出力する要応答情報は、現在の移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに関連する情報とすることができる。たとえば出力部120は、現在および過去の天候に基づき、「こんなにいい天気は久しぶりですよね?」等の要応答情報を選択する。たとえば出力部120は、現在の日付および気温に基づき、「すっかり寒くなりましたね。冬は好きですか?」等の要応答情報を選択する。たとえば出力部120は、現在の時刻に基づき、「お腹が空いてきてませんか?」等の要応答情報を選択する。たとえば出力部120は、現在の移動体の位置に基づき、「この先右側にあるレストランに入りませんか?」等の要応答情報を選択する。たとえば出力部120は、目的地に基づき、「目的地のレストランで何を食べますか?」等の要応答情報を選択する。ただし、出力部120は、「昨夜は何を食べましたか?」等、現在の移動体の位置、天候、日付、時刻、および目的地のいずれにも関連しない要応答情報を出力してもよい。要応答情報は、たとえば「犬と猫ではどちらが好きですか?」、「うどんとラーメンではどちらをよく食べますか?」等の、運転者のパーソナリティを推定するための質問であってもよい。また、出力部120は、複数の質問等を組み合わせて要応答情報を生成してもよい。 The response-required information outputted by the output unit 120 can be information related to at least one of the current location of the moving body, weather, date, time, and destination. For example, the output unit 120 selects response-required information such as "It's been a long time since we've had this nice weather, right?" based on the current and past weather. For example, the output unit 120 selects response-required information such as "It's getting colder now. Do you like winter?" based on the current date and temperature. For example, the output unit 120 selects response-required information such as "Are you hungry?" based on the current time. For example, the output unit 120 selects response-required information such as "Would you like to enter the restaurant on the right?" based on the current position of the moving object. For example, the output unit 120 selects response-required information such as "What will you eat at the restaurant at your destination?" based on the destination. However, the output unit 120 may output response-required information that is not related to the current location of the moving object, weather, date, time, or destination, such as "What did you eat last night?" . The response-required information may be a question for estimating the driver's personality, such as "Which do you prefer, dogs or cats?" or "Which do you prefer, udon or ramen?" Further, the output unit 120 may generate response-required information by combining a plurality of questions and the like.

出力部120は、現在の移動体の位置を示す情報を、移動体に搭載されたGNSS(Global Navigation Satellite System)の受信機から取得することができる。出力部120は、過去および現在の天候情報、および将来の天候の予報情報をたとえば天候情報を提供するサーバから、通信ネットワークを通じて取得することができる。移動体がある目的地に向かってナビゲートされている場合、出力部120は、移動体の目的地を示す情報を、移動体のナビゲーションシステム、または自動運転システム等から取得する事ができる。 The output unit 120 can acquire information indicating the current position of the mobile object from a GNSS (Global Navigation Satellite System) receiver mounted on the mobile object. The output unit 120 can obtain past and present weather information and future weather forecast information from, for example, a server that provides weather information through a communication network. When a mobile object is being navigated toward a certain destination, the output unit 120 can acquire information indicating the destination of the mobile object from a navigation system, an automatic driving system, or the like of the mobile object.

出力部120が、出力する要応答情報を、現在の移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定することにより、バリエーションに富んだ質問を出力する事ができる。したがって、質問に対する飽きや、回答のパターン化による推定精度低下を避けることができる。 By determining the response required information to be outputted by the output unit 120 based on at least one of the current location of the moving object, weather, date, time, and destination, it is possible to output a wide variety of questions. can. Therefore, it is possible to avoid getting bored with questions and reducing estimation accuracy due to patterning of answers.

出力部120は、要応答情報を出力する。出力部120はたとえば、推定装置10に接続されたスピーカーに対し、要応答情報を音声出力させるための音データを出力する。または出力部120は、推定装置10に接続されたディスプレイに対し、要応答情報を表示させるための画像データを出力する。なお、画像データは静止画のデータであってもよいし、動画を構成するデータであってもよい。これらのスピーカーおよびディスプレイは、運転者に出力情報を認識させることができるよう設けられている。たとえばスピーカーおよびディスプレイは移動体内に設置されている。 The output unit 120 outputs response required information. The output unit 120 outputs, for example, sound data for causing a speaker connected to the estimating device 10 to output the response required information audibly. Alternatively, the output unit 120 outputs image data for displaying the response required information on a display connected to the estimation device 10. Note that the image data may be data of a still image or may be data constituting a moving image. These speakers and displays are provided so that the driver can recognize the output information. For example, speakers and displays are installed inside moving objects.

出力部120はさらに、運転者の応答の内容に基づき、出力すべき広告情報を特定し、推定された運転者の状態が所定の条件を満たすとき、特定した広告情報を出力してもよい。応答の内容は、たとえばパーソナリティを特定するための質問に対する回答内容である。パーソナリティには、好みや得意不得意なこと等が含まれる。または、応答の内容は、直近の要応答情報に対する回答内容であり、空腹であることや、やりたいこと等、運転者の気分や状態を示す内容でありうる。所定の条件を満たすときとは、たとえば、運転者の疲労度が高くないときであり、具体的には、推定部160が、運転者が疲労状態でないと判定したとき、推定された運転者の疲労度が所定の疲労度未満であるとき、または推定された運転者の余裕度が所定の余裕度以上であるときである。 The output unit 120 may further specify advertising information to be output based on the content of the driver's response, and output the specified advertising information when the estimated state of the driver satisfies a predetermined condition. The content of the response is, for example, the content of an answer to a question for identifying personality. Personality includes preferences, strengths and weaknesses, etc. Alternatively, the content of the response is a response to the latest response-required information, and may be content indicating the driver's mood or condition, such as being hungry or what he or she wants to do. The time when the predetermined condition is satisfied is, for example, when the driver's fatigue level is not high. Specifically, when the estimation unit 160 determines that the driver is not in a fatigue state, the estimated driver's fatigue level is not high. This is when the fatigue level is less than a predetermined fatigue level, or when the estimated driver's margin is greater than or equal to a predetermined margin.

たとえば記憶部100に予め保持された複数の広告情報のそれぞれに、予め特定のパーソナリティを示す情報が関連付けられている。出力部120は、運転者からの応答の内容に基づいて推定したパーソナリティに対応する、広告情報を抽出する。このようにして出力部120は、複数の広告情報のうちから、運転者の好みに応じた広告情報を選択して出力することができる。または、出力部120は、さらに移動体の位置に基づいて広告情報を特定して出力してもよい。その他、出力部120は、地図情報等に基づき広告情報を生成して出力してもよい。 For example, information indicating a specific personality is associated with each of a plurality of pieces of advertising information stored in the storage unit 100 in advance. The output unit 120 extracts advertising information corresponding to the personality estimated based on the content of the response from the driver. In this way, the output unit 120 can select and output advertising information according to the driver's preference from among a plurality of pieces of advertising information. Alternatively, the output unit 120 may further specify and output advertising information based on the location of the mobile object. In addition, the output unit 120 may generate and output advertising information based on map information or the like.

広告情報の出力は、要応答情報の出力と同様、たとえば、スピーカーからの音声出力、またはディスプレイによる画像出力である。 The output of the advertisement information is, like the output of the response required information, for example, an audio output from a speaker or an image output from a display.

検出部140は、運転者の応答を検出する。検出部140は、運転者の応答として、質問等への回答を検出してもよいし、要応答情報に対する運転者の相槌を検出してもよい。検出部140は、推定装置10に接続されたマイクロフォンから、運転者の発声等を含む音データを取得することができる。このマイクロフォンはたとえば移動体の運転席のダッシュボード、ステアリングホイール等に設けられる。検出部140は、取得した音データを既存の技術を用いて解析することにより、要応答情報に対する運転者の応答を検出できる。 The detection unit 140 detects the driver's response. The detection unit 140 may detect an answer to a question or the like as the driver's response, or may detect the driver's response to the response-required information. The detection unit 140 can acquire sound data including the driver's voice etc. from the microphone connected to the estimation device 10. This microphone is installed, for example, on the dashboard of the driver's seat of the mobile object, on the steering wheel, or the like. The detection unit 140 can detect the driver's response to the response required information by analyzing the acquired sound data using existing technology.

そのほか、検出部140は、推定装置10に接続されたカメラから運転者の少なくとも一部を含む画像データを取得してもよい。この画像データは、動画を構成しうる。検出部140は、取得した画像データを既存の技術を用いて解析する事により、運転者の挙動を認識する。検出部140は、運転者のうなずく挙動や首を横に振る挙動を、要応答情報に対する応答として検出する。 In addition, the detection unit 140 may acquire image data including at least a portion of the driver from a camera connected to the estimation device 10. This image data may constitute a moving image. The detection unit 140 recognizes the driver's behavior by analyzing the acquired image data using existing technology. The detection unit 140 detects the driver's nodding behavior or shaking his head behavior as a response to the response required information.

移動体には運転者以外の登場者がいる場合がある。検出部140が運転者からの応答であることの特定方法について、以下に説明する。検出部140は、たとえば画像により運転席に座っている人物の口の動きの有無を検出する。そして、運転席に座っている人物の口が動いているときに得られる音データを特定する。そして、その音データに運転者の声が含まれるとみなす。また、検出部140は、このように特定した運転者の発声に基づいて、運転者の声紋を特定してもよい。そうすれば、以後は画像を用いずに音データから運転者の声を特定できる。そのほか、検出部140は、複数のマイクロフォンの音データにより声の発生位置を特定することで、運転者の声を特定してもよい。たとえば複数のマイクロフォンのうち、運転席により近いマイクロフォンで得られた音データにおいて、より大きく取得された声を、運転者の声として特定できる。 There may be a person other than the driver in the moving object. The method by which the detection unit 140 identifies that the response is from the driver will be described below. The detection unit 140 detects, for example, the presence or absence of a mouth movement of a person sitting in a driver's seat based on an image. Then, the sound data obtained when the mouth of the person sitting in the driver's seat is moving is identified. Then, it is assumed that the sound data includes the driver's voice. Furthermore, the detection unit 140 may identify the driver's voiceprint based on the driver's voice identified in this manner. In this way, the driver's voice can be identified from the sound data without using images. In addition, the detection unit 140 may identify the driver's voice by identifying the voice generation position using sound data from a plurality of microphones. For example, in sound data obtained from a microphone closer to the driver's seat among a plurality of microphones, a louder voice can be identified as the driver's voice.

検出部140は、音声での応答が検出できない場合にのみ画像でうなずきを検出してもよい。また、要応答情報の出力後、所定の時間以内に検出部140が運転者の応答が検出できない場合、出力部120は再度、同一の要応答情報または、「聞いてる?」等、別の要応答情報を出力して、運転者の応答を促してもよい。または、要応答情報の出力後、所定の時間以内に検出部140が運転者の応答が検出できない場合、推定部160は運転者の疲労度が高いと判定してもよい。この場合、推定部160は、予め定められた疲労度を、運転者の疲労度とする。 The detection unit 140 may detect a nod in an image only when a vocal response cannot be detected. Further, if the detection unit 140 cannot detect a driver's response within a predetermined time after outputting the response-required information, the output unit 120 outputs the same response-required information or another request such as “Are you listening?” Response information may be output to prompt the driver to respond. Alternatively, if the detection unit 140 cannot detect the driver's response within a predetermined time after outputting the response-required information, the estimation unit 160 may determine that the driver's fatigue level is high. In this case, the estimation unit 160 sets the predetermined fatigue level as the driver's fatigue level.

推定部160は、要応答情報の出力タイミングと、その要応答情報に対する運転者の応答タイミングに基づいて、応答時間を特定する。応答時間については上述したとおりである。要応答情報の出力タイミングを示す信号は出力部120から取得できる。その他、要応答情報が音声出力される場合には、検出部140を通じてマイクロフォンの音データから、要応答情報の出力タイミングが特定されうる。要応答情報が画像出力される場合には、検出部140を通じてカメラの画像データから、要応答情報の出力タイミングが特定されうる。一方、推定部160は、検出部140の検出結果に基づいて、運転者の応答タイミングを特定する。推定部160は、要応答情報の出力タイミングから、その要応答情報に対する運転者の応答タイミングまでの時間を応答時間として特定する。 The estimation unit 160 specifies the response time based on the output timing of the response-required information and the driver's response timing to the response-required information. The response time is as described above. A signal indicating the output timing of the response required information can be obtained from the output unit 120. In addition, when the response-required information is output by voice, the output timing of the response-required information can be identified from the microphone sound data through the detection unit 140. When the response-required information is output as an image, the output timing of the response-required information can be identified from the image data of the camera through the detection unit 140. On the other hand, the estimation unit 160 identifies the driver's response timing based on the detection result of the detection unit 140. The estimation unit 160 specifies the time from the output timing of the response-required information to the driver's response timing to the response-required information as the response time.

推定部160は、上述した通り、特定した応答時間と所定の時間Tを比較することにより、運転者の状態を推定する。または、160は、特定した応答時間と上述した参照情報を用いて運転者の状態を推定する。推定部160の推定結果に応じて、出力部120がさらに運転者に対し、「休憩して下さい」等、休憩を促す情報を出力してもよい。たとえば、推定部160が、運転者が疲労状態であると判定した場合、運転者の疲労度が所定の疲労度以上である場合、または運転者の余裕度が所定の余裕度以下である場合、出力部120が休憩を促す情報を出力する。一方、推定部160が、運転者が疲労状態でないと判定した場合、運転者の疲労度が所定の疲労度未満である場合、または運転者の余裕度が所定の余裕度超過である場合、出力部120は休憩を促す情報を出力しない。 As described above, the estimation unit 160 estimates the driver's condition by comparing the specified response time and the predetermined time T. Alternatively, step 160 estimates the driver's condition using the identified response time and the reference information described above. Depending on the estimation result of the estimation section 160, the output section 120 may further output information urging the driver to take a break, such as "Please take a break." For example, if the estimation unit 160 determines that the driver is fatigued, if the driver's fatigue level is equal to or higher than a predetermined fatigue level, or if the driver's margin is equal to or lower than a predetermined margin, The output unit 120 outputs information encouraging a break. On the other hand, if the estimation unit 160 determines that the driver is not in a fatigued state, if the driver's fatigue level is less than the predetermined fatigue level, or if the driver's margin exceeds the predetermined margin, the output The unit 120 does not output information urging the user to take a break.

休憩を促す情報の出力は、要応答情報の出力と同様、たとえば、スピーカーからの音声出力、またはディスプレイによる画像出力である。 The output of the information urging the user to take a break is, like the output of the response-required information, for example, an audio output from a speaker or an image output from a display.

<出力タイミングおよび推定タイミング>
推定装置10では、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、出力部120が要応答情報を出力するタイミングおよび推定部160が運転者の状態を推定するタイミングの少なくとも一方が決定されてもよい。具体例としては、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、運転負荷の大きさが特定される。そして、運転負荷の大きさに基づいて、出力部120が要応答情報を出力するタイミングおよび推定部160が運転者の状態を推定するタイミングの少なくとも一方が決定される。
<Output timing and estimated timing>
The estimation device 10 determines the timing and timing at which the output unit 120 outputs the response-required information based on at least one of the current position of the moving object, the situation around the moving object, the situation inside the moving object, and the movement of the moving object. At least one of the timings at which the estimation unit 160 estimates the driver's condition may be determined. As a specific example, the magnitude of the operating load is specified based on at least one of the current position of the moving object, the situation around the moving object, the situation inside the moving object, and the operation of the moving object. Then, based on the magnitude of the operating load, at least one of the timing at which the output unit 120 outputs the response-required information and the timing at which the estimation unit 160 estimates the driver's condition is determined.

図4は運転負荷と、推定装置10で行われる処理との関係の第1例を示す図である。運転者の運転中、運転負荷が大きい時に要応答情報が出力されると、運転者の疲労以上に運転負荷の影響で応答の遅れ等が生じる可能性がある。そのような影響を抑制するために、出力部120は運転負荷が小さい期間中にのみ要応答情報を出力することが好ましい。または、出力部120は、運転負荷が中程度の期間中には要応答情報を出力する一方、推定部160はその要応答情報への応答を用いた運転者の状態推定を行わないことが好ましい。 FIG. 4 is a diagram showing a first example of the relationship between the operating load and the processing performed by the estimation device 10. If response-required information is output while the driver is driving and the operating load is heavy, a delay in response may occur due to the operating load more than due to driver fatigue. In order to suppress such an influence, it is preferable that the output unit 120 outputs the response-required information only during a period when the operating load is light. Alternatively, it is preferable that the output unit 120 outputs the response-required information during a period when the driving load is moderate, while the estimation unit 160 does not estimate the driver's state using the response to the response-required information. .

本図の例では、出力部120は、運転負荷の指数またはレベルが第2閾値未満である時、要応答情報を出力する。そして、推定部160は、その要応答情報に対する運転者の応答に基づいて、運転者の状態を推定する。出力部120は、運転負荷の指数またはレベルが第2閾値以上かつ第1閾値未満である時には要応答情報を出力しない。または、出力部120は、運転負荷の指数またはレベルが第2閾値以上かつ第1閾値未満である時に要応答情報を出力してもよいが、その場合、推定部160はその要応答情報への応答を用いた、運転者の状態推定は行わない。そして、出力部120は、運転負荷の指数またはレベルが第1閾値以上である時には要応答情報を出力しない。このように、運転負荷に応じて、出力部120による要応答情報の出力タイミングや、その要応答情報を用いた推定部160による推定タイミングを決定することが好ましい。 In the example of this figure, the output unit 120 outputs the response required information when the index or level of the operating load is less than the second threshold. Then, the estimation unit 160 estimates the driver's condition based on the driver's response to the response required information. The output unit 120 does not output the response required information when the operating load index or level is greater than or equal to the second threshold and less than the first threshold. Alternatively, the output unit 120 may output the response-required information when the operating load index or level is equal to or higher than the second threshold and less than the first threshold, but in that case, the estimation unit 160 outputs the response-required information. The driver's state is not estimated using the response. Then, the output unit 120 does not output the response required information when the index or level of the operating load is equal to or higher than the first threshold value. In this way, it is preferable to determine the output timing of the response required information by the output unit 120 and the estimation timing by the estimation unit 160 using the response required information in accordance with the operating load.

運転負荷の特定方法について以下に説明する。以下では、出力部120が運転負荷を特定する例について説明するが、運転負荷の特定は、出力部120が行ってもよいし、推定部160が同様の方法で行ってもよい。 The method for identifying the operating load will be explained below. Although an example in which the output unit 120 specifies the operating load will be described below, the output unit 120 may specify the operating load, or the estimation unit 160 may specify the operating load using a similar method.

出力部120は、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、運転負荷を特定できる。運転負荷はたとえば運転の困難さと言い換えることもできる。 The output unit 120 can specify the operating load based on at least one of the current position of the moving object, the situation around the moving object, the situation inside the moving object, and the operation of the moving object. The operating load can also be expressed as the difficulty of driving, for example.

出力部120は、以下のように移動体の現在の位置に基づいて運転負荷を特定できる。出力部120は、たとえば記憶部100から移動体周辺の地図情報を取得する。また、出力部120は、移動体に搭載されたGNSSの受信機から、移動体のその時の現在位置を取得する。そして、出力部120は、現在位置と地図情報を照らし合わせることにより、移動体がどのような場所を移動しているかを特定する。そして、出力部120は、移動体が位置する場所に応じて運転負荷を判定する。たとえば移動体が車両である場合、交差点、高速道路、車線数が多い道、道幅が狭い道、カーブ、繁華街、駐車場、および料金所の少なくともいずれかに位置するときには、それ以外の場所に位置するときよりも運転負荷が大きいと判定される。 The output unit 120 can specify the operating load based on the current position of the moving body as follows. The output unit 120 acquires map information around the mobile object from the storage unit 100, for example. Furthermore, the output unit 120 acquires the current position of the moving object at that time from a GNSS receiver mounted on the moving object. Then, the output unit 120 identifies what kind of place the mobile object is moving through by comparing the current position with the map information. Then, the output unit 120 determines the operating load depending on the location where the moving object is located. For example, if the moving object is a vehicle, when it is located at an intersection, a highway, a road with many lanes, a narrow road, a curve, a downtown area, a parking lot, and/or a toll booth, it may be located at any other location. It is determined that the operating load is greater than when the vehicle is located.

出力部120は、以下のように移動体の周囲の状況に基づいて運転負荷を特定できる。出力部120は移動体に搭載されたカメラやセンサ(ミリ波センサやLiDAR等)から、移動体の周囲の状況を示す情報を取得する。そして、移動体の周囲が混雑している場合、路面の凹凸が大きい場合、路面が濡れている場合等に、それ以外の場合よりも運転負荷が大きいと判定する。また、出力部120は過去および現在の天候情報を、天候情報を提供するサーバから取得する。または、出力部120は移動体に設けられたセンサ等から得られる情報から、現在の天候を特定する。そして、雨、雪、みぞれ等が現在降っている場合、霧が発生している場合等に、その他の場合よりも運転負荷が大きいと判定する。出力部120は、降雨量または降雪量等に応じて運転負荷の大きさを特定してもよい。その他、出力部120は、現在の時刻に基づき、夜、夕方、明け方等、周囲が暗い時刻においてはそれ以外の時刻よりも運転負荷が大きいと判定する。出力部120は暗さに応じて運転負荷の大きさを特定してもよい。 The output unit 120 can specify the operating load based on the surrounding situation of the moving object as described below. The output unit 120 acquires information indicating the situation around the moving object from a camera or sensor (millimeter wave sensor, LiDAR, etc.) mounted on the moving object. Then, when the area around the moving body is crowded, when the road surface is highly uneven, when the road surface is wet, etc., it is determined that the operating load is greater than in other cases. The output unit 120 also obtains past and current weather information from a server that provides weather information. Alternatively, the output unit 120 identifies the current weather from information obtained from a sensor or the like provided on the moving object. Then, if it is currently raining, snowing, sleeting, etc., or if there is fog, it is determined that the operating load is greater than in other cases. The output unit 120 may specify the magnitude of the operating load according to the amount of rainfall, snowfall, or the like. In addition, based on the current time, the output unit 120 determines that the operating load is greater at times when the surroundings are dark, such as night, evening, and dawn, than at other times. The output unit 120 may specify the magnitude of the operating load depending on darkness.

出力部120は、以下のように移動体内の状況に基づいて運転負荷を特定できる。出力部120は、移動体内を撮像するよう設けられたカメラや、移動体内の音を取得するマイクロフォン等から、車内の状況を示す情報を取得する。そして、出力部120は、たとえば移動体内で会話が行われている時には、それ以外の時よりも運転負荷が大きいと判定する。 The output unit 120 can specify the operating load based on the situation inside the moving body as described below. The output unit 120 acquires information indicating the situation inside the vehicle from a camera installed to take an image of the interior of the vehicle, a microphone that acquires sounds inside the vehicle, or the like. For example, the output unit 120 determines that the operating load is greater when a conversation is taking place within the moving object than at other times.

出力部120は、以下のように移動体の動作に基づいて運転負荷を特定できる。ナビゲーション装置等が交差点における右左折の案内を開始してから、移動体が右左折を終了するまでの期間や、移動体の速度が所定の速度以上である期間は、それ以外の期間よりも運転負荷が大きいと判定してもよい。出力部120は、たとえば移動体のステアリングの状態や速度を示す情報を、移動体の制御装置や各種センサ等から取得できる。 The output unit 120 can specify the operating load based on the movement of the moving body as follows. During the period from when the navigation device, etc. starts providing right/left turn guidance at an intersection until the moving object completes the turn, or during the period when the speed of the moving object is above a predetermined speed, driving is more difficult than during other periods. It may be determined that the load is large. The output unit 120 can obtain information indicating, for example, the steering state and speed of the moving object from a control device or various sensors of the moving object.

運転負荷はたとえば、負荷の大きさを示すレベルや指数によって示される。たとえば以上に説明したような複数の要素(移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作等)の組み合わせに基づいて運転負荷のレベルや指数を算出することもできる。たとえば出力部120は、要素ごとに運転負荷の高さを示すスコアを算出し、算出された複数のスコアを用いて得られる演算値(たとえば和、重み付け和、または平均として得られる値)を運転負荷の指数とする。また、指数の属する範囲に基づいてレベル分けすることで、運転負荷の指数を運転負荷のレベルに変換してもよい。 The operating load is indicated by, for example, a level or an index indicating the magnitude of the load. For example, the operating load level and index are calculated based on a combination of multiple factors as explained above (the current position of the moving object, the situation around the moving object, the situation inside the moving object, the movement of the moving object, etc.) You can also. For example, the output unit 120 calculates a score indicating the height of the operating load for each element, and calculates a calculated value (for example, a value obtained as a sum, a weighted sum, or an average) using the plurality of calculated scores. Let it be an index of load. Moreover, the index of operating load may be converted into the level of operating load by classifying into levels based on the range to which the index belongs.

推定装置10では、運転者の生体情報を用いて、出力部120が要応答情報を出力するタイミングおよび推定部160が運転者の状態を推定するタイミングの少なくとも一方が決定されてもよい。生体情報には脈拍、目の動き、まばたき、表情、体の動き等を示す情報が含まれる、生体情報に基づくタイミングで要応答情報の出力等を行うことで、運転者への不要な問いかけを減らし、効果的に状態推定ができる。 In the estimation device 10, at least one of the timing at which the output unit 120 outputs the response-required information and the timing at which the estimation unit 160 estimates the driver's condition may be determined using the driver's biological information. Biological information includes information indicating pulse, eye movements, blinks, facial expressions, body movements, etc. By outputting response information at a timing based on biological information, unnecessary questions to the driver can be avoided. state estimation can be performed effectively.

たとえば、運転座席やステアリングホイール等のハンドル等には、運転者の生体情報を取得するための一以上のセンサ(脈拍センサや振動センサ等)が設けられている。また、運転席の周囲には、運転者の顔や目を撮影するカメラが設けられている。そのほか、運転者が運転中に生体情報を取得するためのデバイス(リストバンドやゴーグル等のウェアラブルデバイス)を装着するようにしてもよい。出力部120はこれらのセンサ、カメラ、デバイス等から、運転者の生体情報を取得することができる。そして、出力部120は取得した生体情報を解析し、たとえば疲労が疑われたことをトリガーとして要応答情報を出力する。疲労が疑われるときの例としては、運転開始直後の所定期間内の平均脈拍数に対して、直近の平均脈拍数が所定値以上変化したとき、目がきょろきょろしたとき、まばたきが所定の頻度以上であるとき、疲れた表情であるとき、体を動かす頻度が所定の頻度以上であるとき等が挙げられる。なお、疲れた表情の検知は、顔の画像を既存の技術で解析することで行える。また、出力部120は、解析された運転者の状態に応じて、要応答情報の内容を変化させて出力させてもよい。たとえば、運転者が眠気を催していると解析された場合は、「眠くなっていませんか?」と問いかけてもよいし、運転者が緊張していると解析された場合は、「深呼吸してみませんか?」と問いかけるようにしてもよい。 For example, one or more sensors (pulse sensor, vibration sensor, etc.) for acquiring biological information of the driver are provided on a driver's seat, a steering wheel, or the like. Additionally, a camera is installed around the driver's seat to photograph the driver's face and eyes. In addition, the driver may wear a device (wearable device such as a wristband or goggles) for acquiring biometric information while driving. The output unit 120 can acquire the driver's biological information from these sensors, cameras, devices, and the like. Then, the output unit 120 analyzes the acquired biological information and outputs response-required information using, for example, suspected fatigue as a trigger. Examples of when fatigue is suspected include when the most recent average pulse rate changes by more than a predetermined value compared to the average pulse rate within a predetermined period immediately after the start of operation, when the eyes become unsteady, or when the blinking frequency exceeds the predetermined frequency. , when the person has a tired expression, when the frequency of body movement is more than a predetermined frequency, etc. Note that tired facial expressions can be detected by analyzing facial images using existing technology. Further, the output unit 120 may output the response-required information while changing the content according to the analyzed state of the driver. For example, if the analysis indicates that the driver is drowsy, you may ask, "Are you feeling sleepy?" If the analysis indicates that the driver is nervous, you may ask, "Are you feeling sleepy?" Would you like to try it?" you may ask.

たとえば出力部120は、運転者が運転を開始して以降、所定の周期で要応答情報の出力の可否を判定する。そして、上述した方法に従い、要応答情報の出力が可能である場合には、出力部120は要応答情報を出力する。 For example, the output unit 120 determines whether or not the response-required information can be output at predetermined intervals after the driver starts driving. Then, according to the method described above, if the response-required information can be output, the output unit 120 outputs the response-required information.

<応答時間の補正>
推定部160は、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて応答時間を補正し、補正された応答時間に基づいて運転者の状態を推定してもよい。具体例としては、推定部160は、移動体の現在の位置、移動体の周囲の状況、移動体内の状況、および移動体の動作のうち少なくとも一つに基づいて、運転負荷の大きさを特定する。また、推定部160は、運転負荷の大きさに基づいて、応答時間を補正する。そして推定部160は、補正された応答時間に基づいて運転者の状態を推定する。運転負荷の特定方法は上述した通りである。
<Response time correction>
The estimation unit 160 corrects the response time based on at least one of the current position of the moving object, the situation around the moving object, the situation inside the moving object, and the movement of the moving object, and calculates the response time based on the corrected response time. The driver's condition may also be estimated by As a specific example, the estimation unit 160 specifies the magnitude of the operating load based on at least one of the current position of the moving object, the situation around the moving object, the situation inside the moving object, and the operation of the moving object. do. Furthermore, the estimation unit 160 corrects the response time based on the magnitude of the operating load. The estimation unit 160 then estimates the driver's condition based on the corrected response time. The method for specifying the operating load is as described above.

運転負荷が大きいときには、通常以上に応答に時間を要することが想定される。そのため、運転負荷の重さに応じ、応答時間を補正したうえで、運転者の状態を推定することにより、推定精度を向上させることができる。 When the operating load is heavy, it is assumed that response time will be longer than usual. Therefore, the estimation accuracy can be improved by estimating the driver's condition after correcting the response time according to the weight of the driving load.

図5は、運転負荷と、推定装置10で行われる処理との関係の第2例を示す図である。本図の例では、出力部120は、運転負荷の指数またはレベルが第2閾値未満である時に、要応答情報を出力する。そして、推定部160はその要応答情報に対する応答時間に基づいて、上述した通り運転者の状態を推定する。このとき、運転負荷に基づく応答時間の補正は行われない。また、出力部120は運転負荷の指数またはレベルが第2閾値以上かつ第1閾値未満である時には要応答情報を出力する。そして推定部160はその要応答情報に対する応答時間を特定し、さらにその応答時間を補正する。例として推定部160は、特定した応答時間に補正係数を乗ずることで補正を行う。推定部160は、補正後の応答時間と所定の時間Tを比較することにより運転者の状態を推定する。補正係数はたとえば0.5以上0.8以下である。補正係数は、所定の固定値であってもよいし、運転負荷の大きさに応じた値であってもよい。出力部120は、運転負荷の指数またはレベルが第1閾値以上である時には要応答情報を出力しない。 FIG. 5 is a diagram showing a second example of the relationship between the operating load and the processing performed by the estimation device 10. In the example of this figure, the output unit 120 outputs the response required information when the index or level of the operating load is less than the second threshold. Then, the estimating unit 160 estimates the driver's condition as described above based on the response time to the response required information. At this time, the response time is not corrected based on the operating load. Further, the output unit 120 outputs response-required information when the index or level of the operating load is greater than or equal to the second threshold and less than the first threshold. Then, the estimation unit 160 specifies the response time for the response required information, and further corrects the response time. For example, the estimation unit 160 corrects the specified response time by multiplying it by a correction coefficient. The estimation unit 160 estimates the driver's condition by comparing the corrected response time and the predetermined time T. The correction coefficient is, for example, 0.5 or more and 0.8 or less. The correction coefficient may be a predetermined fixed value or may be a value depending on the magnitude of the operating load. The output unit 120 does not output the response required information when the index or level of the operating load is equal to or higher than the first threshold value.

その他、推定部160は、運転負荷に応じて推定に用いる時間Tまたは参照情報を変えてもよい。この場合、記憶部100に予め運転負荷ごとの時間Tを示す情報または運転負荷ごとの参照情報が保持される。そして推定部160が運転不可に応じた時間Tまたは参照情報を記憶部100から読み出して推定に用いる。 In addition, the estimation unit 160 may change the time T or reference information used for estimation depending on the operating load. In this case, information indicating the time T for each operating load or reference information for each operating load is stored in advance in the storage unit 100. Then, the estimation unit 160 reads out the time T or reference information corresponding to the inoperability from the storage unit 100 and uses it for estimation.

その他、推定部160は要応答情報の内容ごとに応答時間を補正してもよい。問いかけの内容によっては考える時間に差が出て標準的な応答時間がバラつく可能性があるからである。たとえば予め要応答情報の内容ごとに複数の運転者の応答時間の統計値(たとえば偏差)を取得し、記憶部100に保持させておく。そして、推定部160は、この統計値に基づいて、要応答情報の内容ごとに応答時間を補正する。推定部160は補正後の応答時間と所定の時間Tを比較することにより運転者の状態を推定する。 In addition, the estimating unit 160 may correct the response time for each content of response-required information. This is because the time required to think about the question may vary depending on the content of the question, and the standard response time may vary. For example, statistical values (for example, deviations) of response times of a plurality of drivers are obtained in advance for each content of response-required information and stored in the storage unit 100. Then, the estimation unit 160 corrects the response time for each content of the response-required information based on this statistical value. The estimation unit 160 estimates the driver's condition by comparing the corrected response time and the predetermined time T.

<基準時間T
問いかけ等への応答時間には、ある程度の個人差があると考えられる。そこで推定部160は、運転者の過去の応答時間に基づく基準時間Tと、運転者の今回の応答時間との比較に基づいて、運転者の状態を推定してもよい。基準時間Tはたとえば、過去に運転者が移動体の運転を開始してから所定時間が経過するまでの間において、検出部140により検出された応答のタイミングに基づいて特定された時間である。所定時間はたとえば5分以上30分以下である。運転を開始してから長時間経過していない間は、運転者が疲労していない状態であるとみなせる。したがって、そのような期間における応答時間を基準時間Tとして用いることで、推定精度を向上させることができる。
<Standard time T S >
It is thought that there are some individual differences in the response time to questions, etc. Therefore, the estimation unit 160 may estimate the driver's condition based on a comparison between the reference time T S based on the driver's past response times and the driver's current response time. The reference time T S is, for example, a time specified based on the timing of a response detected by the detection unit 140 during a period from when the driver started driving the mobile object in the past until a predetermined period of time has elapsed. . The predetermined time is, for example, 5 minutes or more and 30 minutes or less. It can be assumed that the driver is not fatigued until a long period of time has elapsed since the driver started driving. Therefore, by using the response time in such a period as the reference time TS , estimation accuracy can be improved.

運転者により運転が開始されると、所定時間が経過するまでに、出力部120は第1回目の要応答情報を出力する。そして推定部160はその要応答情報に対する応答時間を特定し、基準時間Tとして記憶する。その後、その運転者が運転を続けている間、応答時間を特定する度に、推定部160は特定した応答時間から基準時間Tを差し引く。そうすることで推定部160は応答時間と基準時間Tとの差を算出する。推定部160は、算出された差が大きいほど運転者の疲労度が高いと推定する。なお、基準時間Tを、上述した所定の時間Tとして用いてもよい。 When the driver starts driving, the output unit 120 outputs the first response required information before a predetermined period of time has elapsed. Then, the estimation unit 160 specifies the response time for the response required information and stores it as a reference time T.sub.S. Thereafter, while the driver continues driving, the estimation unit 160 subtracts the reference time T S from the specified response time every time the response time is specified. By doing so, the estimation unit 160 calculates the difference between the response time and the reference time TS . The estimation unit 160 estimates that the larger the calculated difference, the higher the driver's fatigue level. Note that the reference time T S may be used as the predetermined time T mentioned above.

他の例として、基準時間Tは、移動体の位置ごと、時刻ごと、または移動体の位置と時刻との組み合わせごとの、運転者の過去の応答時間の統計値であってもよい。統計値はたとえば平均値である。 As another example, the reference time T S may be a statistical value of the driver's past response time for each location of the moving object, each time, or a combination of the location of the moving object and the time. The statistical value is, for example, an average value.

たとえば運転者が移動体に搭乗してよく通る位置がある場合、その位置において出力部120が要応答情報を出力するようにしておく。そして、推定部160は、応答時間を特定すると、その応答時間を位置に対応付けて記憶部100に記憶させる。また、推定部160は、その位置で得られた複数の応答時間の平均値をその位置についての基準時間Tとして算出する。そして、次にその位置で要応答情報が出力され、応答時間が特定された時、推定部160は、上述したのと同様に、特定された応答時間と、その位置についての基準時間Tとを比較し、運転者の状態を推定する。同じ位置においては運転負荷が同じである可能性が高いため、このような方法によって推定精度を向上させることができる。 For example, if there is a position that the driver often passes while riding in a moving body, the output unit 120 is configured to output response-required information at that position. When the estimating unit 160 specifies the response time, the estimating unit 160 associates the response time with the position and stores it in the storage unit 100. Furthermore, the estimation unit 160 calculates the average value of the plurality of response times obtained at that position as the reference time T S for that position. Then, when the response required information is output at that position and the response time is specified, the estimation unit 160 calculates the specified response time and the reference time T S for that position, in the same way as described above. to estimate the driver's condition. Since there is a high possibility that the operating load is the same at the same location, the estimation accuracy can be improved by such a method.

たとえば運転者が日常的に移動体に搭乗していることが多い時間帯がある場合、その時間帯において出力部120が要応答情報を出力するようにしておく。なお、時間帯とは、ある時刻からある時刻までの間の期間を意味する。そして、推定部160は、応答時間を特定すると、その応答時間を時間帯に対応付けて記憶部100に記憶させる。また、推定部160は、その時間帯に得られた複数の応答時間の平均値をその時間帯についての基準時間Tとして算出する。そして、次にその時間帯で要応答情報が出力され、応答時間が特定された時、推定部160は、上述したのと同様に、特定された応答時間と、その時間帯についての基準時間Tとを比較し、運転者の状態を推定する。同じ時間帯においては運転負荷が同じである可能性が高いため、このような方法によって推定精度を向上させることができる。 For example, if there is a time period in which the driver is often riding in a moving body on a daily basis, the output unit 120 is configured to output the response-required information during that time period. Note that a time period means a period from a certain time to a certain time. Then, when the estimating unit 160 specifies the response time, the estimating unit 160 stores the response time in the storage unit 100 in association with a time period. Furthermore, the estimation unit 160 calculates the average value of the plurality of response times obtained in that time period as the reference time T S for that time period. Then, when the response required information is output in that time period and the response time is specified, the estimation unit 160 calculates the specified response time and the reference time T for that time period, as described above. The driver's condition is estimated by comparing with S. Since there is a high possibility that the operating loads are the same in the same time period, the estimation accuracy can be improved by such a method.

たとえば通勤や通学等のために、同じ時刻に同じ位置を通ることが多い場合、その時間帯および位置において出力部120が要応答情報を出力するようにしておく。そして、推定部160は、応答時間を特定すると、その応答時間を時間帯と位置との組み合わせに対応付けて記憶部100に記憶させる。また、推定部160は、その時間帯かつその位置で得られた複数の応答時間の平均値をその時間帯と位置との組み合わせについての基準時間Tとして算出する。そして、次にその時間帯かつその位置で要応答情報が出力され、応答時間が特定された時、推定部160は、上述したのと同様に、特定された応答時間と、その時間帯と位置との組み合わせについての基準時間Tとを比較し、運転者の状態を推定する。同じ時間帯かつ同じ位置においては運転負荷が同じである可能性が高いため、このような方法によって推定精度を向上させることができる。 For example, if the user often passes through the same location at the same time due to commuting to work or school, the output unit 120 is configured to output response-required information at that time and location. When the estimating unit 160 specifies the response time, the estimating unit 160 stores the response time in the storage unit 100 in association with the combination of time zone and location. Furthermore, the estimating unit 160 calculates the average value of the plurality of response times obtained in that time period and at that location as the reference time T S for the combination of that time period and location. Then, when the response required information is output in that time period and at that position and the response time is specified, the estimating unit 160 calculates the specified response time, the time period and the position, in the same manner as described above. The driver's condition is estimated by comparing the combination with the reference time TS . Since there is a high possibility that the operating load is the same in the same time zone and the same location, such a method can improve the estimation accuracy.

なお、記憶部100には、運転者ごとに特定された基準時間Tの統計値が保持されてもよい。たとえば記憶部100には個人識別子と声紋を示す情報とが関連付けられてさらに保持されており、運転者が誰であるかはその声紋により、特定される。声紋の代わりに顔認証により個人が特定されてもよい。たとえば運転者が移動体を運転する度に上記のように基準時間Tが特定される。そして、記憶部100に保持されたその運転者の個人識別子の基準時間Tの統計値が、新たに特定された基準時間Tを用いて更新される。推定部160は、その運転者の基準時間Tの統計値を、基準時間Tの代わりに用い、上述した方法と同様にして運転者の状態を推定できる。 Note that the storage unit 100 may hold statistical values of the reference time T S specified for each driver. For example, the storage unit 100 further stores a personal identifier and information indicating a voiceprint in association with each other, and the identity of the driver can be identified based on the voiceprint. Individuals may be identified using facial recognition instead of voice prints. For example, each time a driver drives a mobile object, the reference time TS is specified as described above. Then, the statistical value of the reference time T S of the personal identifier of the driver held in the storage unit 100 is updated using the newly specified reference time T S. The estimation unit 160 can estimate the driver's condition in the same manner as described above, using the statistical value of the driver's reference time T S instead of the reference time T S.

その他、推定部160は、運転者の生体情報をさらに用いて、運転者の状態を推定してもよい。生体情報については上述した通りである。たとえば推定部160は、応答時間を用いて疲労度または余裕度を示す第1スコアを算出し、生体情報を用いて疲労度または余裕度を示す第2スコアを算出する。そして、第1スコアと第2スコアとを用いて得られる演算値(たとえば和、重み付け和、または平均として得られる値)を推定結果としてもよい。たとえば推定部160は、上述したように疲労が疑われるときにおいて、それ以外のときよりも第2スコアを高くする。 In addition, the estimation unit 160 may further use the driver's biological information to estimate the driver's condition. The biometric information is as described above. For example, the estimation unit 160 uses the response time to calculate a first score indicating the degree of fatigue or the degree of reserve, and uses biological information to calculate a second score indicating the degree of fatigue or the degree of reserve. Then, a calculated value obtained using the first score and the second score (for example, a value obtained as a sum, a weighted sum, or an average) may be used as the estimation result. For example, the estimation unit 160 sets the second score higher when fatigue is suspected as described above than at other times.

推定部160は、運転継続時間や、運転負荷を示す指標の積算値等をさらに用いて運転者の状態を推定してもよい。推定部160は、運転継続時間が長いほど、疲労度が高いと推定する。また、運転開始からの運転負荷を示す指標の積算値が大きいほど、疲労度が高いと推定する。運転負荷を示す指標は、運転者が運転をしている間、出力部120または推定部160が所定の周期で算出する。 The estimating unit 160 may further estimate the driver's condition using the driving duration, the integrated value of the index indicating the driving load, and the like. The estimating unit 160 estimates that the longer the driving duration, the higher the fatigue level. Furthermore, it is estimated that the larger the integrated value of the index indicating the operating load from the start of operation, the higher the degree of fatigue. The index indicating the driving load is calculated by the output unit 120 or the estimation unit 160 at predetermined intervals while the driver is driving.

本実施例によれば、実施形態と同様の作用および効果が得られる。 According to this example, the same functions and effects as those of the embodiment can be obtained.

(実施例2)
実施例2に係る推定装置10は、実施形態に係る推定装置10の構成を有する。本実施例に係る推定装置10は、以下に説明する点を除いて実施例1に係る推定装置10と同じである。本実施例に係る推定装置10において推定部160は応答の適正さに基づいて運転者の状態を推定する。ここで、応答の適正さとは、たとえば応答のスムーズさおよび応答の正しさの少なくとも一方である。応答のスムーズさとは、たとえば、言いよどみの有無、および言い直しの有無である。応答の正しさとは、たとえば正答か誤答かである。
(Example 2)
The estimation device 10 according to the second embodiment has the configuration of the estimation device 10 according to the embodiment. The estimation device 10 according to the present embodiment is the same as the estimation device 10 according to the first embodiment except for the points described below. In the estimation device 10 according to the present embodiment, the estimation unit 160 estimates the driver's condition based on the appropriateness of the response. Here, the appropriateness of the response is, for example, at least one of the smoothness of the response and the correctness of the response. The smoothness of a response includes, for example, the presence or absence of hesitation and the presence or absence of rephrasing. The correctness of a response is, for example, whether it is a correct answer or a wrong answer.

応答のスムーズさに基づく推定について、以下に説明する。実施例1において説明したのと同様に、出力部120は要応答情報を出力する。すると検出部140はマイクロフォンから取得した音データを用いて、運転者の応答を検出する。ここで、検出部140はさらに、運転者の言いよどみの有無を検出する。言いよどみには「あー」、「うー」、「うーん」、「えー」、「えっと」等の発声が含まれる。また、検出部140は、運転者が応答する際の言い直しの有無を検出する。検出部140は既存の技術を用いて音データを解析することで言いよどみの有無および言い直しの有無を検出できる。 Estimation based on response smoothness will be explained below. As described in the first embodiment, the output unit 120 outputs the response required information. Then, the detection unit 140 detects the driver's response using the sound data acquired from the microphone. Here, the detection unit 140 further detects whether or not the driver is hesitant. Hesitations include utterances such as ``ah'', ``uh'', ``um'', ``um'', and ``um''. Furthermore, the detection unit 140 detects whether or not the driver rephrases his/her response. The detection unit 140 can detect the presence or absence of hesitation and the presence or absence of restatement by analyzing the sound data using existing technology.

推定部160は、検出部140から言いよどみの有無を示す情報および言い直しの有無を示す情報を取得する。そして、推定部160は、検出部140から取得した情報に基づき、言いよどみがないと特定した場合よりも、言いよどみがあると特定した場合に、運転者の疲労度が高いと推定する。また推定部160は、検出部140から取得した情報に基づき、言い直しがないと特定した場合よりも、言い直しがあると特定した場合に、運転者の疲労度が高いと推定する。 The estimating unit 160 acquires from the detecting unit 140 information indicating the presence or absence of hesitation and information indicating the presence or absence of restatement. Then, based on the information acquired from the detection unit 140, the estimating unit 160 estimates that the driver's fatigue level is higher when it is specified that there is stagnation in speaking than when it is specified that there is no stagnation. Furthermore, based on the information acquired from the detection unit 140, the estimating unit 160 estimates that the driver's fatigue level is higher when it is specified that there is a rewording than when it is specified that there is no rewording.

応答の正しさに基づく推定について、以下に説明する。応答の正しさに基づく推定が行われる場合、出力部120は、要応答情報として正しい答えが既知である質問を出力する。出力部120が出力する要応答情報の例としては「12ひく4はいくつですか?」、「今日は何曜日ですか?」「あなたの携帯電話の番号を答えて下さい。」、「この車の車検月を答えてください。」等が挙げられる。要応答情報はたとえば、推定装置10に予め登録されている情報を問う質問や、一般的に答えが定まる問題である。推定装置10に予め登録されている情報には、運転者に関する情報や移動体に関する情報が含まれる。 The estimation based on the correctness of the response will be explained below. When estimation is performed based on the correctness of the response, the output unit 120 outputs a question whose correct answer is known as response-required information. Examples of response-required information output by the output unit 120 include "How many times is 12 minus 4?", "What day of the week is it today?", "Please answer your mobile phone number", and "This car?" Please tell me the month of your vehicle inspection.'' The response-required information is, for example, a question asking about information registered in advance in the estimation device 10, or a question for which the answer is generally determined. The information registered in advance in the estimation device 10 includes information regarding the driver and information regarding the moving object.

出力部120が予め記憶部100に保持された複数の要応答情報から選択した要応答情報を出力する場合、各要応答情報には予め正答が関連付けられている。また、要応答情報が出力部120で生成される場合、要応答情報の正答も合わせて生成される。なお、一つの要応答情報に対して複数の正答が存在してもよい。 When the output unit 120 outputs response-required information selected from a plurality of response-required information stored in advance in the storage unit 100, a correct answer is associated with each response-required information in advance. Furthermore, when the response-required information is generated by the output unit 120, the correct answer of the response-required information is also generated. Note that a plurality of correct answers may exist for one piece of response required information.

出力部120が要応答情報を出力すると、検出部140は、その要応答情報に対する運転者による応答を検出する。そのとき、検出部140は、応答の内容をあわせて特定する。検出部140は、たとえばマイクロフォンから取得した運転者の声を既存の技術を用いて解析することで、回答内容を特定することができる。推定部160は、検出部140から回答内容を示す情報を取得する。そして、推定部160は、回答内容が出力された要応答情報の正答に一致するか否かを判定する。回答内容が出力された要応答情報の正答に一致する場合、推定部160は、応答が正しいと特定する。回答内容が出力された要応答情報の正答に一致しない場合、推定部160は、応答が正しくないと特定する。推定部160は、応答が正しいと特定した場合よりも、正しくないと特定した場合に、運転者の疲労度が高いと推定する。 When the output unit 120 outputs the response-required information, the detection unit 140 detects a response by the driver to the response-required information. At this time, the detection unit 140 also specifies the content of the response. The detection unit 140 can identify the content of the answer by, for example, analyzing the driver's voice obtained from the microphone using existing technology. The estimating unit 160 acquires information indicating the content of the answer from the detecting unit 140. Then, the estimation unit 160 determines whether or not the answer matches the correct answer of the output response-required information. If the response content matches the correct answer of the output response required information, the estimation unit 160 specifies that the response is correct. When the answer content does not match the correct answer of the output response required information, the estimation unit 160 specifies that the response is incorrect. The estimation unit 160 estimates that the driver's fatigue level is higher when the response is determined to be incorrect than when the response is determined to be correct.

なお、本実施例に係る推定装置10は、さらに実施例1で説明した応答時間等に基づいて運転者の状態を推定してもよい。たとえば推定部160は、応答時間T、運転開始からの運転継続時間T、運転開始からの運転負荷の積算値R、言いよどみスコアS、言い直しスコアS、正誤スコアSを特定する。言いよどみがある場合、S=1であり、言いよどみがない場合、S=0である。言い直しがある場合、S=1であり、言い直しがない場合、S=0である。応答が正しくない場合、S=1であり、応答が正しい場合、S=0である。そして、推定部160は、「疲労度指数=a×T+b×T+c×R+d×S+e×S+f×S」で示される関係を用いて疲労度指数を算出する。ここで、a、b、c、d、e、およびfはそれぞれ予め定められた定数である。定数としてゼロ、または正の実数を任意に適用することができる。その他、推定部160は、実施例1で説明した生体情報等をさらに用いて運転者の状態を推定してもよい。 Note that the estimation device 10 according to the present embodiment may further estimate the driver's condition based on the response time and the like described in the first embodiment. For example, the estimating unit 160 specifies the response time T r , the driving duration T d from the start of driving, the integrated value R of the driving load since the start of driving, the hesitation score S 1 , the restatement score S 2 , and the correctness score S 3 . If there is stagnation, S 1 =1, and if there is no stagnation, S 1 =0. If there is a rephrasing, S 2 =1, and if there is no rephrasing, S 2 =0. If the response is incorrect, S 3 =1; if the response is correct, S 3 =0. Then, the estimating unit 160 calculates the fatigue index using the relationship expressed as “fatigue index=a×T r +b×T d +c×R+d×S 1 +e×S 2 +f×S 3 ”. Here, a, b, c, d, e, and f are each predetermined constants. Zero or a positive real number can be arbitrarily applied as a constant. In addition, the estimating unit 160 may further use the biological information described in the first embodiment to estimate the driver's condition.

本実施例によれば、実施形態と同様の作用および効果が得られる。 According to this example, the same functions and effects as those of the embodiment can be obtained.

以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。 Although the embodiments and examples have been described above with reference to the drawings, these are merely illustrative of the present invention, and various configurations other than those described above may be adopted.

以下、参考形態の例を付記する。
1. 移動体の運転者に対して応答を求める要応答情報を出力する出力部と、
前記要応答情報に対する前記運転者の応答を検出する検出部と、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定部と、を備える
推定装置。
2. 1.に記載の推定装置において、
前記出力部は、出力する前記要応答情報を、現在の前記移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定する
推定装置。
3. 1.または2.に記載の推定装置において、
前記推定部は、前記応答のタイミングに基づいて前記要応答情報の出力に対する応答時間を特定し、
前記応答時間に基づいて前記運転者の状態を推定する
推定装置。
4. 3.に記載の推定装置において、
前記検出部は、前記運転者の応答として、前記要応答情報に対する前記運転者の相槌を検出する
推定装置。
5.3.または4.に記載の推定装置において、
前記推定部は、
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記応答時間を補正し、
補正された前記応答時間に基づいて前記運転者の状態を推定する
推定装置。
6. 3.~5.のいずれか一つに記載の推定装置において、
前記推定部は、前記運転者の過去の前記応答時間に基づく基準時間と、前記運転者の今回の前記応答時間との比較に基づいて、前記運転者の状態を推定する
推定装置。
7. 6.に記載の推定装置において、
前記基準時間は、過去に前記運転者が前記移動体の運転を開始してから所定時間が経過するまでの間において、前記検出部により検出された前記応答のタイミングに基づいて特定された時間である
推定装置。
8. 6.に記載の推定装置において、
前記基準時間は、前記移動体の位置ごと、時間帯ごと、または前記移動体の位置と時間帯との組み合わせごとの、前記運転者の過去の前記応答時間の統計値である
推定装置。
9. 1.~8.のいずれか一つに記載の推定装置において、
前記推定部は前記応答の適正さに基づいて前記運転者の状態を推定し、
前記応答の適正さは、前記応答のスムーズさおよび前記応答の正しさの少なくとも一方である
推定装置。
10. 1.~9.のいずれか一つに記載の推定装置において、
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する
推定装置。
11. 1.~10.のいずれか一つに記載の推定装置において、
前記運転者の生体情報を用いて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する、
推定装置。
12. 1.~11.のいずれか一つに記載の推定装置において、
前記出力部は、
前記応答の内容に基づき、出力すべき広告情報を特定し、
推定された前記運転者の状態が所定の条件を満たすとき、特定した前記広告情報を出力する
推定装置。
13. 一以上のコンピュータにより実行される推定方法であって、
移動体の運転者に対して応答を求める要応答情報を出力する出力ステップと、
前記要応答情報の出力に対する前記運転者の応答を検出する検出ステップと、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定ステップとを含む
推定方法。
14. 13.に記載の推定方法をコンピュータに実行させるプログラム。
Below, examples of reference forms will be added.
1. an output unit that outputs response-required information requesting a response from a driver of the mobile object;
a detection unit that detects the driver's response to the response required information;
An estimating device comprising: an estimating unit that estimates a state of the driver based on at least one of appropriateness and timing of the response.
2. 1. In the estimation device described in
The output unit is an estimation device that determines the response required information to be output based on at least one of the current location of the mobile object, weather, date, time, and destination.
3. 1. or 2. In the estimation device described in
The estimation unit specifies a response time for outputting the response required information based on the timing of the response,
An estimation device that estimates a state of the driver based on the response time.
4. 3. In the estimation device described in
The detection unit is an estimation device that detects the driver's response to the response-required information as the driver's response.
5.3. or 4. In the estimation device described in
The estimation unit is
correcting the response time based on at least one of the current position of the moving body, the situation around the moving body, the situation inside the moving body, and the operation of the moving body;
An estimation device that estimates the state of the driver based on the corrected response time.
6. 3. ~5. In the estimation device according to any one of
The estimation unit is an estimation device that estimates the state of the driver based on a comparison between a reference time based on the past response time of the driver and the current response time of the driver.
7. 6. In the estimation device described in
The reference time is a time specified based on the timing of the response detected by the detection unit in the past from when the driver started driving the mobile object until a predetermined time elapses. An estimation device.
8. 6. In the estimation device described in
The reference time is a statistical value of the response time of the driver in the past for each position of the mobile object, for each time period, or for each combination of the position of the mobile object and the time period.
9. 1. ~8. In the estimation device according to any one of
The estimation unit estimates the state of the driver based on the appropriateness of the response,
The appropriateness of the response is at least one of smoothness of the response and correctness of the response.
10. 1. ~9. In the estimation device according to any one of
a timing at which the output unit outputs the response-required information based on at least one of the current position of the mobile body, the situation around the mobile body, the situation inside the mobile body, and the operation of the mobile body; An estimating device that determines at least one timing at which the estimating unit estimates the state of the driver.
11. 1. ~10. In the estimation device according to any one of
determining at least one of the timing at which the output unit outputs the response-required information and the timing at which the estimation unit estimates the state of the driver, using biological information of the driver;
Estimation device.
12. 1. ~11. In the estimation device according to any one of
The output section is
Identifying advertising information to be output based on the content of the response,
An estimation device that outputs the specified advertisement information when the estimated state of the driver satisfies a predetermined condition.
13. An estimation method performed by one or more computers, the method comprising:
an output step of outputting response-required information requesting a response from a driver of the mobile object;
a detection step of detecting the driver's response to the output of the response-required information;
an estimating step of estimating a state of the driver based on at least one of appropriateness and timing of the response.
14. 13. A program that causes a computer to execute the estimation method described in .

10 推定装置
100 記憶部
120 出力部
140 検出部
160 推定部
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージデバイス
1100 入出力インタフェース
1120 ネットワークインタフェース
10 Estimation device 100 Storage unit 120 Output unit 140 Detection unit 160 Estimation unit 1000 Computer 1020 Bus 1040 Processor 1060 Memory 1080 Storage device 1100 Input/output interface 1120 Network interface

Claims (14)

移動体の運転者に対して応答を求める要応答情報を出力する出力部と、
前記要応答情報に対する前記運転者の応答を検出する検出部と、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定部と、を備える
推定装置。
an output unit that outputs response-required information requesting a response from a driver of the mobile object;
a detection unit that detects the driver's response to the response required information;
An estimating device comprising: an estimating unit that estimates a state of the driver based on at least one of appropriateness and timing of the response.
請求項1に記載の推定装置において、
前記出力部は、出力する前記要応答情報を、現在の前記移動体の位置、天候、日付、時刻、および目的地の少なくとも一つに基づいて決定する
推定装置。
The estimation device according to claim 1,
The output unit is an estimation device that determines the response required information to be output based on at least one of the current location of the mobile object, weather, date, time, and destination.
請求項1または2に記載の推定装置において、
前記推定部は、前記応答のタイミングに基づいて前記要応答情報の出力に対する応答時間を特定し、
前記応答時間に基づいて前記運転者の状態を推定する
推定装置。
The estimation device according to claim 1 or 2,
The estimation unit specifies a response time for outputting the response required information based on the timing of the response,
An estimation device that estimates a state of the driver based on the response time.
請求項3に記載の推定装置において、
前記検出部は、前記運転者の応答として、前記要応答情報に対する前記運転者の相槌を検出する
推定装置。
The estimation device according to claim 3,
The detection unit is an estimation device that detects the driver's response to the response-required information as the driver's response.
請求項3に記載の推定装置において、
前記推定部は、
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記応答時間を補正し、
補正された前記応答時間に基づいて前記運転者の状態を推定する
推定装置。
The estimation device according to claim 3,
The estimation unit is
correcting the response time based on at least one of the current position of the moving body, the situation around the moving body, the situation inside the moving body, and the operation of the moving body;
An estimation device that estimates the state of the driver based on the corrected response time.
請求項3に記載の推定装置において、
前記推定部は、前記運転者の過去の前記応答時間に基づく基準時間と、前記運転者の今回の前記応答時間との比較に基づいて、前記運転者の状態を推定する
推定装置。
The estimation device according to claim 3,
The estimation unit is an estimation device that estimates the state of the driver based on a comparison between a reference time based on the past response time of the driver and the current response time of the driver.
請求項6に記載の推定装置において、
前記基準時間は、過去に前記運転者が前記移動体の運転を開始してから所定時間が経過するまでの間において、前記検出部により検出された前記応答のタイミングに基づいて特定された時間である
推定装置。
The estimation device according to claim 6,
The reference time is a time specified based on the timing of the response detected by the detection unit in the past from when the driver started driving the mobile object until a predetermined time elapses. An estimation device.
請求項6に記載の推定装置において、
前記基準時間は、前記移動体の位置ごと、時間帯ごと、または前記移動体の位置と時間帯との組み合わせごとの、前記運転者の過去の前記応答時間の統計値である
推定装置。
The estimation device according to claim 6,
The reference time is a statistical value of the response time of the driver in the past for each position of the mobile object, for each time period, or for each combination of the position of the mobile object and the time period.
請求項1または2に記載の推定装置において、
前記推定部は前記応答の適正さに基づいて前記運転者の状態を推定し、
前記応答の適正さは、前記応答のスムーズさおよび前記応答の正しさの少なくとも一方である
推定装置。
The estimation device according to claim 1 or 2,
The estimation unit estimates the state of the driver based on the appropriateness of the response,
The appropriateness of the response is at least one of smoothness of the response and correctness of the response.
請求項1または2に記載の推定装置において、
前記移動体の現在の位置、前記移動体の周囲の状況、前記移動体内の状況、および前記移動体の動作のうち少なくとも一つに基づいて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する
推定装置。
The estimation device according to claim 1 or 2,
a timing at which the output unit outputs the response-required information based on at least one of the current position of the mobile body, the situation around the mobile body, the situation inside the mobile body, and the operation of the mobile body; An estimating device that determines at least one timing at which the estimating unit estimates the state of the driver.
請求項1または2に記載の推定装置において、
前記運転者の生体情報を用いて、前記出力部が前記要応答情報を出力するタイミングおよび前記推定部が前記運転者の状態を推定するタイミングの少なくとも一方を決定する、
推定装置。
The estimation device according to claim 1 or 2,
determining at least one of the timing at which the output unit outputs the response-required information and the timing at which the estimation unit estimates the state of the driver, using biological information of the driver;
Estimation device.
請求項1または2に記載の推定装置において、
前記出力部は、
前記応答の内容に基づき、出力すべき広告情報を特定し、
推定された前記運転者の状態が所定の条件を満たすとき、特定した前記広告情報を出力する
推定装置。
The estimation device according to claim 1 or 2,
The output section is
Identifying advertising information to be output based on the content of the response,
An estimation device that outputs the specified advertisement information when the estimated state of the driver satisfies a predetermined condition.
一以上のコンピュータにより実行される推定方法であって、
移動体の運転者に対して応答を求める要応答情報を出力する出力ステップと、
前記要応答情報の出力に対する前記運転者の応答を検出する検出ステップと、
前記応答の適正さおよびタイミングの少なくとも一方に基づいて前記運転者の状態を推定する推定ステップとを含む
推定方法。
An estimation method performed by one or more computers, the method comprising:
an output step of outputting response-required information requesting a response from a driver of the mobile object;
a detection step of detecting the driver's response to the output of the response-required information;
an estimating step of estimating a state of the driver based on at least one of appropriateness and timing of the response.
請求項13に記載の推定方法をコンピュータに実行させるプログラム。 A program that causes a computer to execute the estimation method according to claim 13.
JP2022065550A 2022-04-12 2022-04-12 Estimation device, estimation method, and program Pending JP2023155992A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022065550A JP2023155992A (en) 2022-04-12 2022-04-12 Estimation device, estimation method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022065550A JP2023155992A (en) 2022-04-12 2022-04-12 Estimation device, estimation method, and program

Publications (1)

Publication Number Publication Date
JP2023155992A true JP2023155992A (en) 2023-10-24

Family

ID=88421384

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022065550A Pending JP2023155992A (en) 2022-04-12 2022-04-12 Estimation device, estimation method, and program

Country Status (1)

Country Link
JP (1) JP2023155992A (en)

Similar Documents

Publication Publication Date Title
US10908677B2 (en) Vehicle system for providing driver feedback in response to an occupant&#39;s emotion
EP3675121B1 (en) Computer-implemented interaction with a user
JP7092116B2 (en) Information processing equipment, information processing methods, and programs
EP3889740B1 (en) Affective-cognitive load based digital assistant
JP6972629B2 (en) Information processing equipment, information processing methods, and programs
JP2017168097A (en) System and method for providing context-specific vehicular driver interactions
Kashevnik et al. Multimodal corpus design for audio-visual speech recognition in vehicle cabin
US20200276978A1 (en) Sleepiness level prediction device and sleepiness level prediction method
US20230237338A1 (en) Technique for efficient retrieval of personality data
US20220402517A1 (en) Systems and methods for increasing the safety of voice conversations between drivers and remote parties
JP2020169956A (en) Vehicle destination proposal system
US11074915B2 (en) Voice interaction device, control method for voice interaction device, and non-transitory recording medium storing program
JP2023155992A (en) Estimation device, estimation method, and program
Kashevnik et al. Decision support system for drivers & passengers: Smartphone-based reference model and evaluation
WO2019198299A1 (en) Information processing device and information processing method
JP7537259B2 (en) Attention target sharing device, attention target sharing method
US10915768B2 (en) Vehicle and method of controlling the same
JP7151400B2 (en) Information processing system, program, and control method
CN115428093A (en) Techniques for providing user-adapted services to users
JP7570949B2 (en) Information processing device, information processing method, and trained model
JP7527264B2 (en) Information processing device, information processing method, program, and information processing system
JP2019191859A (en) Vehicle information presentation device and vehicle information presentation method
JP2024088402A (en) Vehicle allocation support device, vehicle allocation support method, and program
JP2023145199A (en) Driving support system
JP2024073110A (en) Control method and information processing apparatus