JP7548847B2 - Driving Support Devices - Google Patents

Driving Support Devices Download PDF

Info

Publication number
JP7548847B2
JP7548847B2 JP2021028026A JP2021028026A JP7548847B2 JP 7548847 B2 JP7548847 B2 JP 7548847B2 JP 2021028026 A JP2021028026 A JP 2021028026A JP 2021028026 A JP2021028026 A JP 2021028026A JP 7548847 B2 JP7548847 B2 JP 7548847B2
Authority
JP
Japan
Prior art keywords
driving
learning
driver
vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021028026A
Other languages
Japanese (ja)
Other versions
JP2022129400A (en
Inventor
育郎 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2021028026A priority Critical patent/JP7548847B2/en
Publication of JP2022129400A publication Critical patent/JP2022129400A/en
Application granted granted Critical
Publication of JP7548847B2 publication Critical patent/JP7548847B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Description

本開示は、ドライバの運転特性を自動運転制御に反映させる運転支援装置に関する。 This disclosure relates to a driving assistance device that reflects the driver's driving characteristics in automated driving control.

近年、主として交通事故の削減及び運転負荷の軽減を目的として、運転支援機能や自動運転機能が搭載された車両の実用化が進められている。例えば自車両に設けられた車外撮影カメラやLiDAR(Light Detection and Ranging)等の種々のセンサにより検出された情報に基づいて自車両の周囲に存在する障害物を検知し、自車両と障害物との衝突を回避するよう自車両の運転を支援する装置が知られている。 In recent years, vehicles equipped with driving assistance functions and autonomous driving functions have been put into practical use, mainly for the purpose of reducing traffic accidents and easing the burden on drivers. For example, there is known a device that detects obstacles around the vehicle based on information detected by various sensors such as an exterior camera and LiDAR (Light Detection and Ranging) installed in the vehicle, and assists the driving of the vehicle to avoid collisions between the vehicle and the obstacles.

このような運転支援装置において、ドライバの違和感を無くすための技術が種々提案されている。例えば特許文献1には、手動運転制御時には環境項目について検出した環境項目値の組み合わせによって運転環境を特定し、運転環境に対応付けて運転者の運転操作を学習し、自動運転制御時には環境項目値を検出して運転環境を特定し、その運転環境での運転操作の学習結果を参照して自動運転制御を実行する運転支援装置が開示されている。また、特許文献2には、運転操作を示す情報と当該運転操作時における運転状況を示す情報とを取得し、取得した情報に基づいて運転状況が学習に適切であるか否かを判定し、不適切と判定された運転状況における運転操作を学習の対象外と判定する運転支援装置が開示されている。 Various technologies have been proposed for such driving assistance devices to eliminate driver discomfort. For example, Patent Document 1 discloses a driving assistance device that, during manual driving control, identifies the driving environment by a combination of environmental item values detected for environmental items, learns the driver's driving operation in association with the driving environment, and, during automatic driving control, detects environmental item values to identify the driving environment and executes automatic driving control by referring to the learning results of the driving operation in that driving environment. Patent Document 2 also discloses a driving assistance device that acquires information indicating the driving operation and information indicating the driving situation during the driving operation, determines whether the driving situation is appropriate for learning based on the acquired information, and determines that driving operations in driving situations determined to be inappropriate are not to be learned.

特開2015-089801号公報JP 2015-089801 A 特開2019-127207号公報JP 2019-127207 A

しかしながら、学習に不適切な運転状況を学習の対象外とすることによって安全性を向上させることができるものの、ドライバの違和感が増大するおそれがある。例えば死角を生じさせる遮蔽物の見えやすさが昼夜で変わり、夜間にはドライバが遮蔽物に気付きにくい状況があるとする。このような状況において、昼間の手動運転中に、ドライバが遮蔽物に気付いて遮蔽物の手前で減速していたとすると、運転支援装置は当該運転操作を学習する。一方、夜間の手動運転中に、ドライバが遮蔽物に気付かずに減速しなかった場合、運転支援装置は当該運転操作を学習の対象外とする。このように学習を重ねた結果に基づき、夜間に車両の自動運転制御を実行すると、学習対象とされた昼間の運転操作が参照され、ドライバは遮蔽物を認識していないにもかかわらず車両が減速することになって、ドライバが違和感を覚えるおそれがある。 However, although safety can be improved by excluding driving situations that are inappropriate for learning from the learning target, there is a risk of increasing discomfort to the driver. For example, suppose that the visibility of obstacles that cause blind spots changes between day and night, and there are situations at night where the driver has difficulty noticing the obstacle. In such a situation, if the driver notices an obstacle and decelerates in front of the obstacle during manual driving in the daytime, the driving assistance device learns the driving operation. On the other hand, if the driver does not notice an obstacle and does not decelerate during manual driving at night, the driving assistance device excludes the driving operation from the learning target. If automatic driving control of the vehicle is executed at night based on the results of such repeated learning, the daytime driving operation that was the learning target is referenced, and the vehicle decelerates even though the driver does not recognize the obstacle, which may cause the driver to feel uncomfortable.

本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、学習すべき運転操作を絞り込んで学習したドライバの運転特性を反映させて自動運転制御を実行した際にドライバが覚える違和感を低減可能な運転支援装置を提供することにある。 This disclosure has been made in consideration of the above problems, and the purpose of this disclosure is to provide a driving assistance device that can reduce the discomfort felt by the driver when automatic driving control is executed by narrowing down the driving operations to be learned and reflecting the learned driving characteristics of the driver.

上記課題を解決するために、本開示のある観点によれば、車両の手動運転時におけるドライバの運転特性を学習することによってドライバの運転特性を車両の自動運転制御に反映させる運転支援装置であって、自動運転制御中に取得される車両の走行状態の情報及び周囲環境の情報を含む運転環境情報を、手動運転中に取得された運転特性の学習に適した運転操作であると判定されたときの運転環境情報である学習対象データセット及び学習に適していない運転操作であると判定されたときの運転環境情報である学習対象外データセットを学習用データとする学習により構築されて、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルへ入力して得られた推定結果を取得する取得部と、推定結果が、学習に適していない運転操作をドライバが実行するとの推定結果である場合、学習対象データセットと学習対象外データセットとを比較して抽出される学習に適していない運転操作であると判定された運転環境の条件の蓄積情報に基づいて、運転操作推定モデルにより学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定するとともにドライバが認識していない非認識対象物を推定する、推定部と、推定された非認識対象物に関連する情報をドライバへ通知する、通知制御部とを備えた運転支援装置が提供される。 In order to solve the above problem, according to one aspect of the present disclosure, there is provided a driving assistance device that learns the driving characteristics of a driver during manual driving of a vehicle, thereby reflecting the driving characteristics of the driver in automatic driving control of the vehicle, and the driving environment information, including information on the vehicle's running state and information on the surrounding environment, acquired during automatic driving control is constructed by learning using a learning target dataset, which is driving environment information when it is determined that the driving operation acquired during manual driving is suitable for learning the driving characteristics, and a non-learning target dataset, which is driving environment information when it is determined that the driving operation is not suitable for learning, as learning data, and estimates whether the driver will perform a driving operation that is not suitable for learning. A driving assistance device is provided that includes an acquisition unit that acquires an estimation result obtained by inputting the estimation result into a driving operation estimation model for learning, an estimation unit that, when the estimation result is an estimation result that the driver will perform a driving operation unsuitable for learning, identifies the conditions of the driving environment in which the driver is estimated to perform a driving operation unsuitable for learning by the driving operation estimation model based on accumulated information of the conditions of the driving environment determined to be a driving operation unsuitable for learning, which is extracted by comparing a learning target dataset with a learning non-target dataset, and estimates an unrecognized object that the driver does not recognize, and a notification control unit that notifies the driver of information related to the estimated unrecognized object.

以上説明したように本開示によれば、学習すべき運転操作を絞り込んで学習したドライバの運転特性を反映させて自動運転制御を実行した際にドライバが覚える違和感を低減することができる。 As described above, according to the present disclosure, it is possible to reduce the discomfort felt by the driver when autonomous driving control is executed by narrowing down the driving operations to be learned and reflecting the learned driving characteristics of the driver.

本開示の一実施形態に係る運転支援装置を備えた車両の構成例を示す模式図である。1 is a schematic diagram illustrating a configuration example of a vehicle equipped with a driving assistance device according to an embodiment of the present disclosure. 同実施形態に係る運転支援装置の構成例を示すブロック図である。2 is a block diagram showing a configuration example of a driving assistance device according to the embodiment; FIG. 同実施形態に係る運転支援装置による学習フェーズの処理を示すフローチャートである。5 is a flowchart showing a process of a learning phase performed by the driving assistance device according to the embodiment; 同実施形態に係る運転支援装置による実行フェーズの処理を示すフローチャートである。5 is a flowchart showing a process of an execution phase performed by the driving assistance device according to the embodiment; 第1の適用事例における手動運転時の運転環境を示す説明図である。FIG. 2 is an explanatory diagram showing a driving environment during manual driving in a first application example. 第1の適用事例における自動運転時の運転環境を示す説明図である。FIG. 1 is an explanatory diagram showing a driving environment during autonomous driving in a first application example. 第2の適用事例における手動運転時の運転環境を示す説明図である。FIG. 13 is an explanatory diagram showing a driving environment during manual driving in a second application example. 第2の適用事例における自動運転時の運転環境を示す説明図である。FIG. 11 is an explanatory diagram showing a driving environment during autonomous driving in a second application example.

以下、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Below, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. Note that in this specification and drawings, components having substantially the same functional configurations are designated by the same reference numerals to avoid redundant description.

<1.車両の全体構成>
まず、本開示の一実施形態に係る運転支援装置を備えた車両の全体構成の一例を説明する。
<1. Overall configuration of the vehicle>
First, an example of the overall configuration of a vehicle equipped with a driving assistance device according to an embodiment of the present disclosure will be described.

図1は、運転支援装置50を備えた車両1の構成例を示す模式図である。
図1に示した車両1は、車両の駆動トルクを生成する駆動力源9から出力される駆動トルクを左前輪3LF、右前輪3RF、左後輪3LR及び右後輪3RR(以下、特に区別を要しない場合には「車輪3」と総称する)に伝達する四輪駆動車として構成されている。駆動力源9は、ガソリンエンジンやディーゼルエンジン等の内燃機関であってもよく、駆動用モータであってもよく、内燃機関及び駆動用モータをともに備えていてもよい。
FIG. 1 is a schematic diagram showing an example of the configuration of a vehicle 1 equipped with a driving assistance device 50.
1 is configured as a four-wheel drive vehicle in which a driving torque output from a driving force source 9 that generates a driving torque for the vehicle is transmitted to a left front wheel 3LF, a right front wheel 3RF, a left rear wheel 3LR, and a right rear wheel 3RR (hereinafter collectively referred to as "wheels 3" unless a distinction is required). The driving force source 9 may be an internal combustion engine such as a gasoline engine or a diesel engine, a driving motor, or may include both an internal combustion engine and a driving motor.

なお、車両1は、例えば前輪駆動用モータ及び後輪駆動用モータの二つの駆動用モータを備えた電気自動車であってもよく、それぞれの車輪3に対応する駆動用モータを備えた電気自動車であってもよい。また、車両1が電気自動車やハイブリッド電気自動車の場合、車両1には、駆動用モータへ供給される電力を蓄積する二次電池や、バッテリに充電される電力を発電するモータや燃料電池等の発電機が搭載される。 The vehicle 1 may be an electric vehicle equipped with two drive motors, for example a front-wheel drive motor and a rear-wheel drive motor, or an electric vehicle equipped with drive motors corresponding to each wheel 3. In addition, if the vehicle 1 is an electric vehicle or a hybrid electric vehicle, the vehicle 1 is equipped with a secondary battery that stores the power supplied to the drive motors, and a generator such as a motor or fuel cell that generates power to charge the battery.

車両1は、車両1の運転制御に用いられる機器として、駆動力源9、電動ステアリング装置15及びブレーキ装置17LF,17RF,17LR,17RR(以下、特に区別を要しない場合には「ブレーキ装置17」と総称する)を備えている。駆動力源9は、図示しない変速機や前輪差動機構7F及び後輪差動機構7Rを介して前輪駆動軸5F及び後輪駆動軸5Rに伝達される駆動トルクを出力する。駆動力源9や変速機の駆動は、一つ又は複数の電子制御装置(ECU:Electronic Control Unit)を含んで構成された車両制御部41により制御される。 The vehicle 1 is equipped with a driving force source 9, an electric steering device 15, and brake devices 17LF, 17RF, 17LR, 17RR (hereinafter collectively referred to as "brake devices 17" unless a distinction is required) as devices used to control the operation of the vehicle 1. The driving force source 9 outputs a driving torque that is transmitted to the front wheel drive shaft 5F and the rear wheel drive shaft 5R via a transmission, a front wheel differential mechanism 7F, and a rear wheel differential mechanism 7R (not shown). The operation of the driving force source 9 and the transmission is controlled by a vehicle control unit 41 that includes one or more electronic control units (ECUs: Electronic Control Units).

前輪駆動軸5Fには電動ステアリング装置15が設けられている。電動ステアリング装置15は図示しない電動モータやギヤ機構を含み、車両制御部41により制御されることによって左前輪3LF及び右前輪3RFの操舵角を調節する。車両制御部41は、手動運転中には、ドライバによるステアリングホイール13の操舵角に基づいて電動ステアリング装置15を制御する。また、車両制御部41は、自動運転制御中には、設定される走行軌道に基づいて電動ステアリング装置15を制御する。 The front-wheel drive shaft 5F is provided with an electric steering device 15. The electric steering device 15 includes an electric motor and a gear mechanism (not shown), and is controlled by the vehicle control unit 41 to adjust the steering angle of the left front wheel 3LF and the right front wheel 3RF. During manual driving, the vehicle control unit 41 controls the electric steering device 15 based on the steering angle of the steering wheel 13 by the driver. During automatic driving control, the vehicle control unit 41 also controls the electric steering device 15 based on the set driving trajectory.

ブレーキ装置17LF,17RF,17LR,17RRは、それぞれ前後左右の駆動輪3LF,3RF,3LR,3RRに制動力を付与する。ブレーキ装置17は、例えば油圧式のブレーキ装置として構成され、それぞれのブレーキ装置17に供給する油圧が車両制御部41により制御されることで所定の制動力を発生させる。車両1が電気自動車あるいはハイブリッド電気自動車の場合、ブレーキ装置17は、駆動用モータによる回生ブレーキと併用される。 Brake devices 17LF, 17RF, 17LR, and 17RR apply braking forces to front, rear, left, and right drive wheels 3LF, 3RF, 3LR, and 3RR, respectively. Brake devices 17 are configured, for example, as hydraulic brake devices, and a predetermined braking force is generated by controlling the hydraulic pressure supplied to each brake device 17 by the vehicle control unit 41. When vehicle 1 is an electric vehicle or hybrid electric vehicle, brake devices 17 are used in conjunction with regenerative braking using a drive motor.

車両制御部41は、車両1の駆動トルクを出力する駆動力源9、ステアリングホイール又は操舵輪の操舵角を制御する電動ステアリング装置15、車両1の制動力を制御するブレーキ装置17の駆動を制御する一つ又は複数の電子制御装置を含む。車両制御部41は、駆動力源9から出力された出力を変速して車輪3へ伝達する変速機の駆動を制御する機能を備えていてもよい。車両制御部41は、運転支援装置50から送信される情報を取得可能に構成され、車両1の自動運転制御を実行可能に構成されている。 The vehicle control unit 41 includes one or more electronic control devices that control the drive of the driving force source 9 that outputs the driving torque of the vehicle 1, the electric steering device 15 that controls the steering angle of the steering wheel or steered wheels, and the brake device 17 that controls the braking force of the vehicle 1. The vehicle control unit 41 may also have a function of controlling the drive of a transmission that changes the speed of the output output from the driving force source 9 and transmits it to the wheels 3. The vehicle control unit 41 is configured to be able to acquire information transmitted from the driving assistance device 50, and is configured to be able to execute automatic driving control of the vehicle 1.

また、車両1は、前方撮影カメラ31LF,31RF、後方撮影カメラ31R、車内撮影カメラ33、車両状態センサ35、GPS(Global Positioning System)センサ37及びHMI(Human Machine Interface)43を備えている。なお、本実施形態では後方撮影カメラ31Rは省略されていてもよい。 The vehicle 1 also includes forward-facing cameras 31LF, 31RF, a rearward-facing camera 31R, an interior camera 33, a vehicle state sensor 35, a GPS (Global Positioning System) sensor 37, and an HMI (Human Machine Interface) 43. Note that in this embodiment, the rearward-facing camera 31R may be omitted.

前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、車両1の周囲環境の情報を取得するための周囲環境センサを構成する。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、車両1の前方あるいは後方を撮影し、画像データを生成する。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、CCD(Charged-Coupled Devices)又はCMOS(Complementary Metal-Oxide-Semiconductor)等の撮像素子を備え、生成した画像データを運転支援装置50へ送信する。図1に示した車両1では、前方撮影カメラ31LF,31RFは、左右一対のカメラを含むステレオカメラとして構成され、後方撮影カメラ31Rは、いわゆる単眼カメラとして構成されているが、それぞれステレオカメラあるいは単眼カメラのいずれであってもよい。 The front photographing cameras 31LF, 31RF and the rear photographing camera 31R constitute an ambient environment sensor for acquiring information on the ambient environment of the vehicle 1. The front photographing cameras 31LF, 31RF and the rear photographing camera 31R photograph the front or rear of the vehicle 1 and generate image data. The front photographing cameras 31LF, 31RF and the rear photographing camera 31R are equipped with imaging elements such as CCD (Charged-Coupled Devices) or CMOS (Complementary Metal-Oxide-Semiconductor), and transmit the generated image data to the driving assistance device 50. In the vehicle 1 shown in FIG. 1, the front photographing cameras 31LF, 31RF are configured as a stereo camera including a pair of left and right cameras, and the rear photographing camera 31R is configured as a so-called monocular camera, but each may be either a stereo camera or a monocular camera.

車両1は、前方撮影カメラ31LF,31RF及び後方撮影カメラ31R以外に、例えばサイドミラー11L,11Rに設けられて左後方又は右後方を撮影するカメラを備えていてもよい。この他、車両1は、周囲環境の情報を取得するための周囲環境センサとして、LiDAR(Light Detection And Ranging)、ミリ波レーダ等のレーダセンサ、超音波センサのうちのいずれか一つ又は複数のセンサを備えていてもよい。 In addition to the front imaging cameras 31LF, 31RF and rear imaging camera 31R, the vehicle 1 may also be equipped with cameras mounted on the side mirrors 11L, 11R, for example, to capture images of the left rear or right rear. In addition, the vehicle 1 may also be equipped with one or more sensors as surrounding environment sensors for acquiring information about the surrounding environment, such as LiDAR (Light Detection And Ranging), a radar sensor such as a millimeter wave radar, or an ultrasonic sensor.

車内撮影カメラ33は、車内を撮影し、画像データを生成する。車内撮影カメラ33は、CCD又はCMOS等の撮像素子を備え、生成した画像データを運転支援装置50へ送信する。本実施形態において、車内撮影カメラ33は、少なくともドライバを撮影可能に配置される。設置される車内撮影カメラ33は1つのみであってもよく、複数であってもよい。 The in-vehicle camera 33 captures images of the interior of the vehicle and generates image data. The in-vehicle camera 33 is equipped with an imaging element such as a CCD or CMOS, and transmits the generated image data to the driving assistance device 50. In this embodiment, the in-vehicle camera 33 is positioned so that it can capture an image of at least the driver. Only one in-vehicle camera 33 may be installed, or multiple cameras may be installed.

車両状態センサ35は、車両1の操作状態及び挙動を検出する少なくとも一つのセンサからなる。車両状態センサ35は、例えば舵角センサ、アクセルポジションセンサ、ブレーキストロークセンサ、ブレーキ圧センサ又はエンジン回転数センサのうちの少なくとも一つを含み、ステアリングホイールあるいは操舵輪の操舵角、アクセル開度、ブレーキ操作量又はエンジン回転数等の車両1の操作状態を検出する。また、車両状態センサ35は、例えば車速センサ、加速度センサ、角速度センサのうちの少なくとも一つを含み、車速、前後加速度、横加速度、ヨーレート等の車両の挙動を検出する。車両状態センサ35は、検出した情報を含むセンサ信号を運転支援装置50へ送信する。 The vehicle state sensor 35 is composed of at least one sensor that detects the operation state and behavior of the vehicle 1. The vehicle state sensor 35 includes at least one of a steering angle sensor, an accelerator position sensor, a brake stroke sensor, a brake pressure sensor, or an engine speed sensor, and detects the operation state of the vehicle 1, such as the steering angle of the steering wheel or steering wheels, the accelerator opening, the amount of brake operation, or the engine speed. The vehicle state sensor 35 also includes at least one of a vehicle speed sensor, an acceleration sensor, or an angular velocity sensor, and detects the behavior of the vehicle, such as the vehicle speed, longitudinal acceleration, lateral acceleration, and yaw rate. The vehicle state sensor 35 transmits a sensor signal including the detected information to the driving assistance device 50.

GPSセンサ37は、GPS衛星からの衛星信号を受信する。GPSセンサ37は、受信した衛星信号に含まれる車両1の地図データ上の位置情報を運転支援装置50へ送信する。なお、GPSセンサ37の代わりに、車両1の位置を特定する他の衛星システムからの衛星信号を受信するアンテナが備えられていてもよい。 The GPS sensor 37 receives satellite signals from GPS satellites. The GPS sensor 37 transmits the position information on the map data of the vehicle 1 contained in the received satellite signals to the driving assistance device 50. Note that instead of the GPS sensor 37, an antenna that receives satellite signals from other satellite systems that identify the position of the vehicle 1 may be provided.

HMI43は、運転支援装置50により駆動され、画像表示や音声出力等の手段により、ドライバに対して種々の情報を提示する。HMI43は、例えばインストルメントパネル内に設けられた表示装置及び車両に設けられたスピーカを含む。表示装置は、ナビゲーションシステムの表示装置であってもよい。また、HMI43は、車両1の周囲の風景に重畳させてフロントウィンドウ上へ表示を行うHUD(ヘッドアップディスプレイ)を含んでもよい。 The HMI 43 is driven by the driving assistance device 50 and presents various information to the driver by means of image display, audio output, and the like. The HMI 43 includes, for example, a display device provided in the instrument panel and a speaker provided in the vehicle. The display device may be a display device of a navigation system. The HMI 43 may also include a HUD (head-up display) that displays information on the front window, superimposed on the scenery around the vehicle 1.

<2.運転支援装置>
続いて、本実施形態に係る運転支援装置50を具体的に説明する。
<2. Driving support device>
Next, the driving assistance device 50 according to this embodiment will be described in detail.

(2-1.構成例)
図2は、本実施形態に係る運転支援装置50の構成例を示すブロック図である。
運転支援装置50には、直接的に又はCAN(Controller Area Network)やLIN(Local Inter Net)等の通信手段を介して、周囲環境センサ31、車内撮影カメラ33、車両状態センサ35及びGPSセンサ37が接続されている。また、運転支援装置50には、車両制御部41及びHMI43が接続されている。なお、運転支援装置50は、車両1に搭載された電子制御装置に限られるものではなく、スマートホンやウェアラブル機器等の端末装置であってもよい。
(2-1. Configuration example)
FIG. 2 is a block diagram showing an example of the configuration of the driving support device 50 according to this embodiment.
The driving support device 50 is connected to an ambient environment sensor 31, an in-vehicle camera 33, a vehicle state sensor 35, and a GPS sensor 37 directly or via a communication means such as a controller area network (CAN) or a local inter net (LIN). A vehicle control unit 41 and an HMI 43 are also connected to the driving support device 50. The driving support device 50 is not limited to an electronic control device mounted on the vehicle 1, and may be a terminal device such as a smartphone or a wearable device.

運転支援装置50は、制御部51、記憶部53、運転特性データベース55、学習対象外データ実行時条件データベース57及び対象物影響度データベース59を備えている。制御部51は、一つ又は複数のCPU(Central Processing Unit)等のプロセッサや種々の周辺部品を備えて構成される。制御部51の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。 The driving assistance device 50 includes a control unit 51, a memory unit 53, a driving characteristics database 55, a non-learned data execution condition database 57, and an object impact database 59. The control unit 51 includes one or more processors such as a CPU (Central Processing Unit) and various peripheral components. A part or all of the control unit 51 may be configured with updatable firmware or the like, or may be a program module executed by commands from the CPU or the like.

記憶部53は、RAM(Random Access Memory)又はROM(Read Only Memory)等の記憶素子、あるいは、HDD(Hard Disk Drive)やCD(Compact Disk)、DVD(Digital Versatile Disk)、SSD(Solid State Drive)、USBフラッシュ、ストレージ装置等の一つ又は複数の記憶媒体により構成される。ただし、記憶部53の種類は特に限定されない。記憶部53は、制御部51により実行されるコンピュータプログラムや、演算処理に用いられる種々のパラメータ、検出データ、演算結果等の情報を記憶する。 The storage unit 53 is composed of a storage element such as a RAM (Random Access Memory) or a ROM (Read Only Memory), or one or more storage media such as a HDD (Hard Disk Drive), a CD (Compact Disk), a DVD (Digital Versatile Disk), an SSD (Solid State Drive), a USB flash, a storage device, etc. However, the type of the storage unit 53 is not particularly limited. The storage unit 53 stores information such as computer programs executed by the control unit 51, various parameters used in the calculation process, detection data, and calculation results.

運転特性データベース55、学習対象外データ実行時条件データベース57及び対象物影響度データベース59は、それぞれRAM又はROM等の記憶素子、あるいは、HDDやCD、DVD、SSD、USBフラッシュ、ストレージ装置等の記憶媒体により構成される。運転特性データベース55は、ドライバの運転操作を、当該運転操作が行われたときの車両1の周囲環境の情報に関連付けて記憶するデータベースである。学習対象外データ実行時条件データベース57は、制御部51により特定された、学習対象外データ実行時の運転操作のデータを記憶するデータベースである。また、対象物影響度データベース59は、制御部51により特定された、学習対象外データと判定された運転操作への周囲環境の影響度のデータを記憶するデータベースである。 The driving characteristic database 55, the non-learned data execution condition database 57, and the object influence database 59 are each composed of a memory element such as a RAM or ROM, or a memory medium such as a HDD, CD, DVD, SSD, USB flash, or storage device. The driving characteristic database 55 is a database that stores the driver's driving operation in association with information on the surrounding environment of the vehicle 1 when the driving operation is performed. The non-learned data execution condition database 57 is a database that stores data on the driving operation when non-learned data is executed, as identified by the control unit 51. The object influence database 59 is a database that stores data on the influence of the surrounding environment on the driving operation determined to be non-learned data, as identified by the control unit 51.

(2-2.機能構成)
本実施形態に係る運転支援装置50の制御部51は、車両1の手動運転中におけるドライバの運転特性を学習することによって当該ドライバの運転特性を車両1の自動運転制御に反映させる処理を実行可能に構成されている。また、制御部51は、学習した運転特性を反映させた車両1の自動運転制御を実行している間に、ドライバが認識していないと推定される周囲環境の情報をドライバへ通知する処理を実行可能に構成されている。
(2-2. Functional Configuration)
The control unit 51 of the driving assistance device 50 according to this embodiment is configured to be capable of executing a process of learning the driving characteristics of the driver while the vehicle 1 is being manually driven, and thereby reflecting the driving characteristics of the driver in the automatic driving control of the vehicle 1. The control unit 51 is also configured to be capable of executing a process of notifying the driver of information on the surrounding environment that is presumably not recognized by the driver, while executing the automatic driving control of the vehicle 1 reflecting the learned driving characteristics.

図2に示したように、制御部51は、周囲環境検出部61、ドライバ検出部63、走行状態検出部65、判定部67、学習部69、推定部71、運転条件設定部73及び通知制御部75を備えている。 As shown in FIG. 2, the control unit 51 includes a surrounding environment detection unit 61, a driver detection unit 63, a driving state detection unit 65, a judgment unit 67, a learning unit 69, an estimation unit 71, a driving condition setting unit 73, and a notification control unit 75.

(周囲環境検出部)
周囲環境検出部61は、車両1の周囲環境の情報を検出する。車両1の周囲環境の情報は、例えば車両1の走行経路上及び走行経路脇の障害物や資格を生じさせる遮蔽物等の情報、並びに、天候や明るさ等の気象環境情報を含む。具体的に、周囲環境検出部61は、周囲環境センサ31から送信される検出データに基づいて走行経路上及び走行経路脇の障害物等を検出する。また、周囲環境検出部61は、車両1から見た障害物等の位置、車両1から障害物等までの距離、及び車両1に対する障害物等の相対速度を算出する。検出される障害物又は遮蔽物は、他車両や歩行者、自転車、建造物、電柱、交通標識、交通信号機、自然物、その他の車両の周囲に存在するあらゆる検出対象を含む。また、道路上の白線を検出するなどの車線認識機能を備えていてもよい。周囲環境検出部61は、GPSセンサ37を介して取得される車両1の地図データ上の位置の情報及び進行方向前方の道路情報を用いて障害物等を検出してもよい。
(Ambient environment detection unit)
The surrounding environment detection unit 61 detects information on the surrounding environment of the vehicle 1. The information on the surrounding environment of the vehicle 1 includes, for example, information on obstacles and obstructions that cause obstacles on and beside the travel path of the vehicle 1, as well as meteorological environment information such as weather and brightness. Specifically, the surrounding environment detection unit 61 detects obstacles on and beside the travel path based on detection data transmitted from the surrounding environment sensor 31. The surrounding environment detection unit 61 also calculates the position of the obstacle as seen from the vehicle 1, the distance from the vehicle 1 to the obstacle, and the relative speed of the obstacle to the vehicle 1. The detected obstacles or obstructions include other vehicles, pedestrians, bicycles, buildings, utility poles, traffic signs, traffic signals, natural objects, and any other detection targets that exist around the vehicle. The surrounding environment detection unit 61 may also have a lane recognition function, such as detecting white lines on the road. The surrounding environment detection unit 61 may detect obstacles using information on the position on the map data of the vehicle 1 acquired via the GPS sensor 37 and road information ahead in the traveling direction.

また、周囲環境検出部61は、前方撮影カメラ31LF,31RFあるいは後方撮影カメラ31Rから送信される画像データに基づいて天候や明るさ等の気象環境情報を検出する。気象環境の情報は、例えば移動体通信等の無線通信手段を介してテレマティクスサービスから取得される情報に基づいて検出されてもよく、雨滴センサや照度計等のセンサを用いて検出されてもよい。周囲環境検出部61は、検出した周囲環境の情報を、時系列のデータとして記憶部53に記憶する。周囲環境の情報は、ドライバの情報とともに運転環境情報を構成する。 The surrounding environment detection unit 61 detects meteorological environment information such as weather and brightness based on image data transmitted from the front imaging cameras 31LF, 31RF or the rear imaging camera 31R. The meteorological environment information may be detected based on information acquired from a telematics service via wireless communication means such as mobile communication, or may be detected using a sensor such as a raindrop sensor or an illuminometer. The surrounding environment detection unit 61 stores the detected information on the surrounding environment in the memory unit 53 as time-series data. The information on the surrounding environment, together with the driver information, constitutes driving environment information.

(ドライバ検出部)
ドライバ検出部63は、車両1のドライバの情報を検出する。具体的に、ドライバ検出部63は、車内撮影カメラ33から送信される検出データに基づいて、運転席に座るドライバの顔認識処理を実行し、ドライバの識別を行う。ドライバの識別は、例えば運転支援装置50の起動時等、車内撮影カメラ33によって運転席に座る乗員が検出されたときに実行されてもよい。また、ドライバ検出部63は、車内撮影カメラ33から送信される検出データに基づいて、ドライバの視線の向きを検出する。ドライバ検出部63は、検出したドライバの視線の向きを、時系列のデータとして記憶部53に記憶する。ドライバの情報は、周囲環境の情報とともに運転環境情報を構成する。なお、ドライバの識別は、乗員によるタッチパネル等への操作入力により行われてもよい。
(Driver detection unit)
The driver detection unit 63 detects information about the driver of the vehicle 1. Specifically, the driver detection unit 63 performs face recognition processing of the driver sitting in the driver's seat based on the detection data transmitted from the in-vehicle camera 33, and identifies the driver. The driver may be identified when the in-vehicle camera 33 detects an occupant sitting in the driver's seat, for example, when the driving assistance device 50 is started. The driver detection unit 63 also detects the direction of the driver's line of sight based on the detection data transmitted from the in-vehicle camera 33. The driver detection unit 63 stores the detected direction of the driver's line of sight in the storage unit 53 as time-series data. The driver's information constitutes driving environment information together with information about the surrounding environment. The driver may be identified by an occupant's operation input to a touch panel or the like.

(走行状態検出部)
走行状態検出部65は、車両状態センサ35から送信される検出データに基づいて車両1の操作状態及び挙動の情報を検出する。走行状態検出部65は、ステアリングホイールあるいは操舵輪の操舵角、アクセル開度、ブレーキ操作量又はエンジン回転数等の車両1の操作状態、及び、車速、前後加速度、横加速度、ヨーレート等の車両の挙動の情報を取得し、これらの情報を、時系列のデータとして記憶部53に記憶する。
(Running condition detection unit)
The driving condition detection unit 65 detects information on the operation state and behavior of the vehicle 1 based on the detection data transmitted from the vehicle condition sensor 35. The driving condition detection unit 65 obtains information on the operation state of the vehicle 1, such as the steering angle of the steering wheel or steering wheels, the accelerator opening, the amount of brake operation, or the engine speed, and information on the behavior of the vehicle, such as the vehicle speed, the longitudinal acceleration, the lateral acceleration, and the yaw rate, and stores this information in the memory unit 53 as time-series data.

(判定部)
判定部67は、手動運転中に取得された運転環境情報に基づいて、ドライバの運転操作が学習に適した運転操作であるか否かを判定する。例えば判定部67は、車両1の挙動が安定しているか否か、車両1の走行状態が交通法規を遵守しているか否か、天候や明るさ等の気象条件が良好であるか否か、あるいはドライバの挙動が自然であるか否かのいずれか一つ又は複数を判定することによって、学習に適した運転操作であるか否かを判定してもよい。
(Determination unit)
The determination unit 67 determines whether the driver's driving operation is suitable for learning based on the driving environment information acquired during manual driving. For example, the determination unit 67 may determine whether the driving operation is suitable for learning by determining one or more of whether the behavior of the vehicle 1 is stable, whether the running state of the vehicle 1 complies with traffic laws, whether meteorological conditions such as weather and brightness are good, and whether the driver's behavior is natural.

具体的に、判定部67は、走行状態検出部65により検出された車両1の加減速度や角速度が所定の閾値を超える場合や、車速が法定速度を所定以上超えている又は下回っている場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、周囲環境検出部61により検出された情報に基づき、降雨量又は降雪量が所定量を超えると判定される場合や、周囲の明るさが所定以下と判定される場合、霧や靄等によって視界が所定距離未満になっていると判定される場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、ドライバ検出部63により検出されたドライバの情報に基づき、ドライバが目を閉じていたり脇見運転をしていると判定される場合に、学習に適していない運転操作であると判定してもよい。判定部67は、各時刻における運転環境情報に対して、学習に適した運転操作であるか否かの情報を付加して記憶する。 Specifically, the determination unit 67 may determine that the driving operation is not suitable for learning when the acceleration/deceleration or angular velocity of the vehicle 1 detected by the driving state detection unit 65 exceeds a predetermined threshold value, or when the vehicle speed exceeds or falls below the legal speed by a predetermined amount. The determination unit 67 may also determine that the driving operation is not suitable for learning when it is determined that the amount of rainfall or snowfall exceeds a predetermined amount, the surrounding brightness is determined to be equal to or less than a predetermined amount, or the visibility is determined to be less than a predetermined distance due to fog or mist, based on the information detected by the surrounding environment detection unit 61. The determination unit 67 may also determine that the driving operation is not suitable for learning when it is determined that the driver has his/her eyes closed or is looking away from the road, based on the information of the driver detected by the driver detection unit 63. The determination unit 67 adds information on whether the driving operation is suitable for learning to the driving environment information at each time and stores it.

(学習部)
学習部69は、学習に適した運転操作であると判定された運転環境情報である学習対象データセットを学習用データとして、ドライバの運転特性を学習する運転特性学習処理を実行する。例えば学習部69は、学習対象データセットのうちのドライバの運転操作の情報を、当該運転操作が行われたときの車両1の挙動の情報及び周囲環境の情報と関連付けて運転特性データベース55に記憶する。学習部69は、公知の機械学習モデルを用いて、学習対象データセットを学習用データとして運転特性学習モデルを構築してもよい。機械学習モデルは、例えばランダムフォレストであってもよく、サポートベクタマシン、近傍法、ディープラーニング等のニューラルネットワーク又はベイジアンネットワーク等を用いた計算モデルであってよい。運転特性の学習データは、車両1の自動運転制御中に検出された車両1の周囲環境のデータを入力データとして、車両1の運転条件を設定するために用いられる。
(Learning Department)
The learning unit 69 executes a driving characteristic learning process for learning the driving characteristics of the driver using a learning target data set, which is driving environment information determined to be a driving operation suitable for learning, as learning data. For example, the learning unit 69 associates information on the driver's driving operation in the learning target data set with information on the behavior of the vehicle 1 and information on the surrounding environment when the driving operation is performed, and stores the information in the driving characteristic database 55. The learning unit 69 may use a known machine learning model to construct a driving characteristic learning model using the learning target data set as learning data. The machine learning model may be, for example, a random forest, or a calculation model using a neural network such as a support vector machine, a nearest neighbor method, or a deep learning, or a Bayesian network. The learning data of the driving characteristics is used to set the driving conditions of the vehicle 1 using data on the surrounding environment of the vehicle 1 detected during the automatic driving control of the vehicle 1 as input data.

また、学習部69は、学習対象データセットと、学習に適していない運転操作であると判定された運転環境情報である学習対象外データセットを学習用データとして、学習に適していない運転操作をドライバが実行する運転環境情報を学習する学習処理を実行する。例えば学習部69は、学習対象データセットと学習対象外データセットとを比較して、学習に適していない運転操作であると判定される原因となった運転環境の条件を抽出し、学習対象外データセットに関連付けて学習対象外データ実行時条件データベース57に記憶する。学習に適していない運転操作であると判定される運転環境の条件として、例えば、降雨量又は降雪量が所定量を超えていることや、周囲の明るさが所定以下であること、霧や靄等によって視界が所定距離未満になっていること、ドライバが目を閉じていたり脇見運転をしていることなどが抽出される。 The learning unit 69 also executes a learning process to learn driving environment information in which the driver performs driving operations that are not suitable for learning, using the learning target dataset and the non-learning target dataset, which is driving environment information determined to be driving operations that are not suitable for learning, as learning data. For example, the learning unit 69 compares the learning target dataset with the non-learning target dataset to extract driving environment conditions that caused the driving operations to be determined to be not suitable for learning, and stores the driving environment conditions in the non-learning target data execution condition database 57 in association with the non-learning target dataset. As driving environment conditions that are determined to be driving operations that are not suitable for learning, for example, rainfall or snowfall exceeding a predetermined amount, ambient brightness being equal to or less than a predetermined amount, visibility being less than a predetermined distance due to fog or mist, the driver having their eyes closed or driving while looking away, etc. are extracted.

学習部69は、上述した公知の機械学習モデルを用いて、抽出した条件の情報と学習対象外データセットとを学習用データとして、個々の運転環境下において、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルを構築する。運転操作推定モデルは、学習対象外データ実行時条件データベースに記憶される。学習データ及び運転操作推定モデルは、車両1の自動運転制御において検出される車両1の周囲環境の情報及びドライバの情報を入力データとして、現在の運転環境下において、学習に適していない運転操作をドライバが実行するか否かを推定するために用いられる。 The learning unit 69 uses the above-mentioned publicly known machine learning model to construct a driving operation estimation model for estimating whether the driver will perform driving operations that are not suitable for learning in each driving environment, using the extracted condition information and the non-learning data set as learning data. The driving operation estimation model is stored in a non-learning data execution condition database. The learning data and the driving operation estimation model are used to estimate whether the driver will perform driving operations that are not suitable for learning in the current driving environment, using information on the surrounding environment of the vehicle 1 detected in the automatic driving control of the vehicle 1 and information on the driver as input data.

また、学習部69は、運転操作推定モデルを構築する際に、周囲環境に含まれる対象物ごとに、学習に適していないと判定された運転操作への影響度を求め、対象物の影響度の情報を対象物影響度データベース59に記憶する。周囲環境に含まれる対象物とは、車両1の走行経路上又は走行経路脇に存在する種々の障害物や遮蔽物である。また、対象物の影響度とは、それぞれの対象物に対する見えにくさや注意力の低下度等、走行安全の低下につながり得る影響度である。学習部69は、学習に適していないと判定された運転操作時の条件下で、それぞれの対象物の種類についてドライバからの見えにくさや、注意力の低下度を求める。対象物の影響度は、例えばあらかじめ設定された複数段階で評価することができるが、影響度の評価方法は特に限定されない。 In addition, when constructing the driving operation estimation model, the learning unit 69 determines the degree of influence on the driving operation that is determined to be unsuitable for learning for each object included in the surrounding environment, and stores information on the influence of the object in the object influence database 59. The objects included in the surrounding environment are various obstacles and obstructions that exist on the driving path of the vehicle 1 or beside the driving path. The influence of the object is the influence that may lead to a decrease in driving safety, such as the difficulty of seeing each object and the degree of reduced attention. The learning unit 69 determines the difficulty of seeing from the driver and the degree of reduced attention for each type of object under the driving operation conditions that are determined to be unsuitable for learning. The influence of the object can be evaluated, for example, at multiple levels set in advance, but the method of evaluating the influence is not particularly limited.

例えば学習部69は、Permutation Importanceの手法を用いて、運転操作推定モデルがどの対象物を認識できないリスクを考慮して学習に適していないと判定したかを分析し、分析結果を学習に適していない運転操作であると判定される運転環境の条件に関連付けて対象物影響度データベース59に記憶する。ただし、学習に適していないとの判断結果への対象物の影響度の分析方法は、Permutation Importanceの手法を用いる例に限定されない。 For example, the learning unit 69 uses a permutation importance technique to analyze which object the driving operation estimation model has determined to be unsuitable for learning, taking into account the risk of not being able to recognize the object, and stores the analysis result in the object influence database 59 in association with the conditions of the driving environment in which the driving operation is determined to be unsuitable for learning. However, the method of analyzing the influence of the object on the determination that the driving operation is unsuitable for learning is not limited to the example using the permutation importance technique.

(推定部)
推定部71は、車両1の自動運転制御において、現在の運転環境下において、学習に適していない運転操作をドライバが実行すると推定される場合に、学習に適していない運転操作をドライバが実行すると推定される条件を特定し、ドライバが認識していない周囲環境の対象物(以下、「非認識対象物」ともいう)を推定する。具体的に、推定部71は、車両1の自動運転制御中に取得される車両1の周囲環境の情報及びドライバの情報を運転操作推定モデルへ入力し、得られた推定結果に基づいて、現在の運転環境下において、学習に適していない運転操作をドライバが実行するか否かを判定する。つまり、推定部71は、車両1の自動運転制御において、現在の運転環境が、仮に車両1が手動運転中であった場合に学習に適していない運転操作をドライバが実行する運転環境に相当するか否かを判定する。
(Estimation section)
In the case where it is estimated that the driver will perform a driving operation that is not suitable for learning under the current driving environment in the automatic driving control of the vehicle 1, the estimation unit 71 specifies the conditions under which the driver will perform the driving operation that is not suitable for learning, and estimates an object in the surrounding environment that the driver does not recognize (hereinafter, also referred to as a "non-recognized object"). Specifically, the estimation unit 71 inputs information on the surrounding environment of the vehicle 1 and information on the driver acquired during the automatic driving control of the vehicle 1 into a driving operation estimation model, and determines whether or not the driver will perform a driving operation that is not suitable for learning under the current driving environment based on the obtained estimation result. In other words, in the automatic driving control of the vehicle 1, the estimation unit 71 determines whether or not the current driving environment corresponds to a driving environment in which the driver would perform a driving operation that is not suitable for learning if the vehicle 1 were being manually driven.

また、推定部71は、現在の運転環境下において、学習に適していない運転操作をドライバが実行すると推定された場合、学習対象外データ実行時条件データベース57に蓄積された学習データを参照して、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定する。例えば、降雨量又は降雪量が所定量を超え、周囲の明るさが所定以下であり、霧や靄等によって視界が所定距離未満になっており、あるいはドライバが目を閉じていたり脇見運転をしている場合、これらの条件が、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件として特定される。 In addition, when it is estimated that the driver will perform a driving operation that is not suitable for learning in the current driving environment, the estimation unit 71 refers to the learning data stored in the non-learning data execution condition database 57 to identify the conditions of the driving environment in which the driver is estimated to perform the driving operation that is not suitable for learning. For example, when the amount of rainfall or snowfall exceeds a predetermined amount, the surrounding brightness is below a predetermined level, visibility is less than a predetermined distance due to fog or mist, or the driver has his eyes closed or is looking away while driving, these conditions are identified as the conditions of the driving environment in which the driver is estimated to perform the driving operation that is not suitable for learning.

さらに、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、周囲環境として検出されている周囲車両や障害物等のうちドライバが認識していない非認識対象物を推定する。具体的に、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件に対して影響度が大きい周囲環境の対象物を特定する。また、推定部71は、周囲環境として検出されている周囲車両や障害物等のうち、特定した対象物に対応する障害物等を非認識対象物に設定する。 Furthermore, the estimation unit 71 estimates non-recognized objects that the driver does not recognize among the surrounding vehicles, obstacles, etc. detected as the surrounding environment based on the information stored in the object influence database 59. Specifically, the estimation unit 71 identifies objects in the surrounding environment that have a large influence on the conditions of the driving environment in which it is estimated that the driver will perform a driving operation that is not suitable for learning, based on the information stored in the object influence database 59. Furthermore, the estimation unit 71 sets the obstacles, etc. that correspond to the identified objects among the surrounding vehicles, obstacles, etc. detected as the surrounding environment as non-recognized objects.

なお、本実施形態において、推定部71は、運転操作推定モデルによる推定結果の情報を取得する取得部としての機能を有する。 In this embodiment, the estimation unit 71 functions as an acquisition unit that acquires information on the estimation results based on the driving operation estimation model.

(運転条件設定部)
運転条件設定部73は、車両1の自動運転制御において、基本的に、車両1の進行方向前方に存在する障害物との衝突を回避するように車両1の運転条件を設定する。例えば運転条件設定部73は、車両1の自動運転制御において、自車両と障害物との衝突を回避可能な走行軌道を設定するとともに、当該走行軌道に沿って車両1を走行させるための目標操舵角を設定する。例えば運転条件設定部73は、車両1が歩行者や周囲車両、その他障害物に衝突する可能性を示す指標であるリスクポテンシャルを用いて車両1の走行軌道を設定してもよい。この場合、障害物との距離が近いほど衝突リスクが高くなるようにリスクポテンシャルが設定され、運転条件設定部73は、衝突リスクがより小さくなる軌道上を車両1が走行するように走行軌道を設定する。また、車速が小さいほど衝突リスクが小さくなるようにリスクポテンシャルが設定されている場合、運転条件設定部73は、走行軌道及び車速を設定することにより、衝突リスクを低下させてもよい。
(Operation condition setting section)
In the automatic driving control of the vehicle 1, the driving condition setting unit 73 basically sets the driving conditions of the vehicle 1 so as to avoid a collision with an obstacle present ahead in the traveling direction of the vehicle 1. For example, in the automatic driving control of the vehicle 1, the driving condition setting unit 73 sets a traveling trajectory capable of avoiding a collision between the vehicle itself and an obstacle, and sets a target steering angle for driving the vehicle 1 along the traveling trajectory. For example, the driving condition setting unit 73 may set the traveling trajectory of the vehicle 1 using a risk potential that is an index indicating the possibility that the vehicle 1 will collide with a pedestrian, a surrounding vehicle, or other obstacle. In this case, the risk potential is set so that the closer the distance to the obstacle is, the higher the collision risk is, and the driving condition setting unit 73 sets the traveling trajectory so that the vehicle 1 runs on a trajectory where the collision risk is smaller. In addition, when the risk potential is set so that the collision risk is smaller as the vehicle speed is lower, the driving condition setting unit 73 may reduce the collision risk by setting the traveling trajectory and the vehicle speed.

また、本実施形態において、運転条件設定部73は、学習部69により学習された運転特性学習モデルを用いて、ドライバの運転特性を反映した運転条件を設定する。例えば運転条件設定部73は、学習されたドライバの運転特性に基づいてリスクポテンシャルの高さ又は設定範囲を補正することで、実現される自動運転制御にドライバの運転特性を反映させる。運転条件設定部73は、設定した運転条件の情報を車両制御部41へ送信する。運転条件の情報を受信した車両制御部41は、設定された運転条件の情報に基づいてそれぞれの制御装置の駆動を制御する。これにより、ドライバの運転特性が反映された自動運転制御が実現される。 In addition, in this embodiment, the driving condition setting unit 73 sets driving conditions that reflect the driving characteristics of the driver using the driving characteristic learning model learned by the learning unit 69. For example, the driving condition setting unit 73 reflects the driver's driving characteristics in the realized automated driving control by correcting the level or setting range of the risk potential based on the learned driving characteristics of the driver. The driving condition setting unit 73 transmits information on the set driving conditions to the vehicle control unit 41. The vehicle control unit 41, which has received the information on the driving conditions, controls the operation of each control device based on the information on the set driving conditions. In this way, automated driving control that reflects the driver's driving characteristics is realized.

(通知制御部)
通知制御部75は、HMI43の駆動を制御することにより車両1の乗員に対して通知を行う。本実施形態では、通知制御部75は、推定部71により非認識対象物の存在が推定された場合に、当該推定された非認識対象物の情報をドライバへ通知する。通知制御部75は、警告音や音声を出力したり、画像表示やテキスト表示を行うことによって、非認識対象物の情報を通知する。具体的な通知方法は特に限定されるものではなく、一定の警告音や音声を出力したり、画像表示やテキスト表示を行ったりしてもよく、あるいは、非認識対象物の位置を通知してもよい。また、通知制御部75は、非認識対象物の情報と併せて、推定された非認識対象物の存在に起因して設定された運転条件の情報をドライバへ通知してもよい。
(Notification control section)
The notification control unit 75 notifies the occupants of the vehicle 1 by controlling the driving of the HMI 43. In this embodiment, when the estimation unit 71 estimates the presence of an unrecognized object, the notification control unit 75 notifies the driver of information on the estimated unrecognized object. The notification control unit 75 notifies the driver of the information on the unrecognized object by outputting a warning sound or voice, or by displaying an image or text. The specific notification method is not particularly limited, and may be to output a certain warning sound or voice, display an image or text, or to notify the position of the unrecognized object. In addition, the notification control unit 75 may notify the driver of information on the driving conditions set due to the presence of the estimated unrecognized object together with the information on the unrecognized object.

<3.運転支援装置の動作>
続いて、本実施形態に係る運転支援装置の動作例をフローチャートに沿って具体的に説明する。以下、手動運転時に実行される学習フェーズの処理と、自動運転時に実行される実行フェーズの処理とに分けて、運転支援装置の動作の例を説明する。
3. Operation of the driving support device
Next, an example of the operation of the driving support device according to the present embodiment will be specifically described with reference to a flowchart. Below, the example of the operation of the driving support device will be described by dividing the process into a learning phase executed during manual driving and an execution phase executed during automatic driving.

(3-1.学習フェーズの処理)
図3は、学習フェーズにおいて実行される処理の一例を示すフローチャートである。
まず、運転支援装置50を含む車載システムが起動されると(ステップS11)、制御部51の運転条件設定部73は、車両1が手動運転中であるか否かを判定する(ステップS13)。例えば運転条件設定部73は、運転モードの切替スイッチが手動運転モードに設定されているか否かを判定する。例えば運転モードは、車両1の乗員による操作入力に基づいて切り替えられるように構成される。車両1が手動運転中でない場合(S13/No)、制御部51は、実行フェーズの処理へ移行する。
(3-1. Learning Phase Processing)
FIG. 3 is a flowchart showing an example of a process executed in the learning phase.
First, when the in-vehicle system including the driving assistance device 50 is started (step S11), the driving condition setting unit 73 of the control unit 51 determines whether or not the vehicle 1 is being manually driven (step S13). For example, the driving condition setting unit 73 determines whether or not the driving mode changeover switch is set to the manual driving mode. For example, the driving mode is configured to be switched based on an operation input by the occupant of the vehicle 1. If the vehicle 1 is not being manually driven (S13/No), the control unit 51 transitions to processing of the execution phase.

一方、車両1が手動運転中である場合(S13/Yes)、制御部51は、車両1の運転環境情報を取得する(ステップS15)。具体的に、制御部51の周囲環境検出部61は、周囲環境センサ31から送信される検出データを取得し、当該検出データに基づいて車両1の周囲環境の情報を検出する。本実施形態において、周囲環境検出部61は、周囲環境センサ31から送信される検出データに基づいて、少なくとも車両1の走行経路上や走行経路脇に存在する他車両や人物、建造物、交通標識、白線等を検出する。また、制御部51のドライバ検出部63は、車内撮影カメラ33から送信される画像データに基づいて、ドライバの顔及び視線の向きの情報を検出する。また、制御部51の走行状態検出部65は、車両状態センサ35から送信される検出データに基づいて、車両1の操作状態及び挙動の情報を検出する。 On the other hand, if the vehicle 1 is being manually driven (S13/Yes), the control unit 51 acquires driving environment information of the vehicle 1 (step S15). Specifically, the surrounding environment detection unit 61 of the control unit 51 acquires detection data transmitted from the surrounding environment sensor 31, and detects information on the surrounding environment of the vehicle 1 based on the detection data. In this embodiment, the surrounding environment detection unit 61 detects at least other vehicles, people, buildings, traffic signs, white lines, etc. that are present on or beside the driving path of the vehicle 1 based on the detection data transmitted from the surrounding environment sensor 31. In addition, the driver detection unit 63 of the control unit 51 detects information on the driver's face and line of sight based on image data transmitted from the in-vehicle camera 33. In addition, the driving state detection unit 65 of the control unit 51 detects information on the operation state and behavior of the vehicle 1 based on the detection data transmitted from the vehicle state sensor 35.

次いで、制御部51の判定部67は、取得された運転環境情報が学習に適した運転操作の実行時に検出されたデータであるか否かを判定する(ステップS17)。例えば判定部67は、車両1の挙動が安定しているか否か、車両1の走行状態が交通法規を遵守しているか否か、天候や明るさ等の気象条件が良好であるか否か、あるいはドライバの挙動が自然であるか否かのいずれか一つ又は複数を判定することによって、学習に適した運転操作であるか否かを判定してもよい。学習に適した運転操作の実行時に検出された運転環境情報のデータは、学習対象データセットとして記憶される。 Next, the determination unit 67 of the control unit 51 determines whether the acquired driving environment information is data detected when a driving operation suitable for learning is performed (step S17). For example, the determination unit 67 may determine whether the driving operation is suitable for learning by determining one or more of whether the behavior of the vehicle 1 is stable, whether the running state of the vehicle 1 complies with traffic laws, whether meteorological conditions such as weather and brightness are good, or whether the driver's behavior is natural. The data of the driving environment information detected when a driving operation suitable for learning is performed is stored as a learning target dataset.

具体的に、判定部67は、走行状態検出部65により検出された車両1の加減速度や角速度が所定の閾値を超える場合や、車速が法定速度を所定以上超えている又は下回っている場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、周囲環境検出部61により検出された情報に基づき、降雨量又は降雪量が所定量を超えると判定される場合や、周囲の明るさが所定以下と判定される場合、霧や靄等によって視界が所定距離未満になっていると判定される場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、ドライバ検出部63により検出されたドライバの情報に基づき、ドライバが目を閉じていたり脇見運転をしていると判定される場合に、学習に適していない運転操作であると判定してもよい。 Specifically, the determination unit 67 may determine that the driving operation is not suitable for learning when the acceleration/deceleration or angular velocity of the vehicle 1 detected by the driving state detection unit 65 exceeds a predetermined threshold value, or when the vehicle speed exceeds or falls below the legal speed by a predetermined amount. The determination unit 67 may also determine that the driving operation is not suitable for learning when it is determined that the amount of rainfall or snowfall exceeds a predetermined amount, the surrounding brightness is determined to be equal to or lower than a predetermined amount, or the visibility is determined to be less than a predetermined distance due to fog or mist, based on the information detected by the surrounding environment detection unit 61. The determination unit 67 may also determine that the driving operation is not suitable for learning when it is determined that the driver has his/her eyes closed or is looking away from the road, based on the information of the driver detected by the driver detection unit 63.

次いで、制御部51の学習部69は、ステップS17の判定結果に基づいて、取得された運転環境情報が学習対象データセットであるか否かを判別する(ステップS19)。取得された運転環境情報が学習対象データセットである場合(S19/Yes)、学習部69は、学習対象データセットを学習用データとして、運転特性学習処理を実行する(ステップS21)。例えば学習部69は、ドライバの運転操作の情報を、当該運転操作が行われたときの車両1の挙動の情報及び周囲環境の情報と関連付けて運転特性データベース55に記憶する。学習部69は、公知の機械学習モデルを用いて、学習に適した運転操作であると判定された運転環境情報である学習対象データセットを学習用データとして、運転特性学習モデルを構築してもよい。 Next, the learning unit 69 of the control unit 51 determines whether the acquired driving environment information is a learning target dataset based on the judgment result of step S17 (step S19). If the acquired driving environment information is a learning target dataset (S19/Yes), the learning unit 69 executes a driving characteristic learning process using the learning target dataset as learning data (step S21). For example, the learning unit 69 stores information on the driver's driving operation in the driving characteristic database 55 in association with information on the behavior of the vehicle 1 when the driving operation is performed and information on the surrounding environment. The learning unit 69 may use a known machine learning model to construct a driving characteristic learning model using the learning target dataset, which is driving environment information determined to be a driving operation suitable for learning, as learning data.

取得された運転環境情報が学習対象データセットである場合(S19/Yes)にはステップS21において運転特性学習処理が実行された後、また、取得された運転環境情報が学習対象データセットでない場合(S19/No)には運転特性学習処理を実行せずに、学習部69は、取得された運転環境情報とこれまでに記憶されている運転環境情報とを用いて、学習対象データセットと学習対象外データセットとを比較し、差分を抽出する(ステップS23)。例えば死角を生む遮蔽物の見えやすさが昼夜で変わるような運転環境の場合、運転環境の差分として、昼間又は夜間の違い、及び当該遮蔽物に視線を向けている又は向けていないの違いが抽出される。学習部69は、地図データ上の走行位置が同じ地点を走行した際に取得された学習対象データセットと学習対象外データセットとを比較してもよい。これにより、少なくとも同じ道路条件における学習対象データセットと学習対象外データセットとが比較され、学習に適していない運転操作が行われる条件の推定精度を高めることができる。 If the acquired driving environment information is the learning target data set (S19/Yes), the driving characteristic learning process is executed in step S21. If the acquired driving environment information is not the learning target data set (S19/No), the driving characteristic learning process is not executed. Instead, the learning unit 69 uses the acquired driving environment information and the driving environment information stored so far to compare the learning target data set with the learning target data set and extracts the difference (step S23). For example, in the case of a driving environment in which the visibility of an obstacle that creates a blind spot changes between day and night, the difference between day and night and whether the line of sight is directed to the obstacle or not is extracted as the difference in the driving environment. The learning unit 69 may compare the learning target data set and the learning target data set acquired when the vehicle travels through the same driving position on the map data. This allows the learning target data set and the learning target data set under at least the same road conditions to be compared, and the estimation accuracy of the conditions under which driving operations that are not suitable for learning are performed can be improved.

次いで、学習部69は、学習対象データセットと学習対象外データセットとの差分に基づいて、学習に適していない運転操作であると判定される原因となった運転環境の条件を抽出し、学習対象外データ実行時条件データベース57に記憶する(ステップS25)。例えば上述の死角を生む遮蔽物の見えやすさが昼夜で変わるような運転環境の場合、学習に適していない運転操作であると判定される原因となった運転環境の条件として、夜間及び当該遮蔽物に視線を向けていないことが抽出される。 Next, the learning unit 69 extracts the conditions of the driving environment that caused the driving operation to be determined to be unsuitable for learning based on the difference between the learning data set and the non-learning data set, and stores the extracted conditions in the non-learning data execution condition database 57 (step S25). For example, in the case of a driving environment in which the visibility of the obstruction that creates the above-mentioned blind spot changes between day and night, nighttime and not directing the gaze toward the obstruction are extracted as the conditions of the driving environment that caused the driving operation to be determined to be unsuitable for learning.

次いで、学習部69は、抽出した運転環境の条件の情報と学習対象外データセットとを学習用データとして、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルを構築する(ステップS27)。さらに、学習部69は、周囲環境に含まれる対象物ごとに、学習に適していないと判定された運転操作への影響度を求め、対象物の影響度の情報を対象物影響度データベース59に記憶する(ステップS29)。例えば学習部69は、Permutation Importanceの手法を用いて、運転操作推定モデルがどの障害物を認識できないリスクを考慮して学習に適していないと判定したかを分析し、障害物や遮蔽物の種類ごとに影響度を求める。 Next, the learning unit 69 uses the extracted information on the conditions of the driving environment and the non-learning dataset as learning data to construct a driving operation estimation model for estimating whether the driver will perform driving operations that are not suitable for learning (step S27). Furthermore, the learning unit 69 determines the degree of influence on driving operations determined to be not suitable for learning for each object included in the surrounding environment, and stores the information on the influence of the object in the object influence database 59 (step S29). For example, the learning unit 69 uses a permutation importance method to analyze which obstacles the driving operation estimation model has determined to be not suitable for learning in consideration of the risk of not being able to recognize them, and determines the influence for each type of obstacle or obstruction.

次いで、学習部69は、求めた対象物の影響度の情報を、学習に適していないと判定された運転操作時の運転環境の条件と関連付けて、対象物影響度データベース59に記憶する(ステップS31)。次いで、制御部51は、車載システムが停止したか否かを判定する(ステップS33)。車載システムが停止した場合(S33/Yes)、制御部51は、制御処理を終了する。一方、車載システムが停止していない場合(S33/No)、ステップS13に戻って、これまで説明した各ステップの処理を繰り返し実行する。 Next, the learning unit 69 associates the determined information on the impact of the object with the conditions of the driving environment during the driving operation that was determined to be unsuitable for learning, and stores the information in the object impact database 59 (step S31). Next, the control unit 51 determines whether the in-vehicle system has stopped (step S33). If the in-vehicle system has stopped (S33/Yes), the control unit 51 ends the control process. On the other hand, if the in-vehicle system has not stopped (S33/No), the process returns to step S13 and repeats the processing of each step described so far.

このようにして、車両1の手動運転時においては、学習に適した運転操作を実行したときの運転環境情報に基づいて運転特性学習モデルが構築される。また、車両1の手動運転時においては、車両1の運転環境が、学習に適していない運転操作を実行し得る運転環境に相当するか否かを推定する運転操作推定モデルが構築される。さらに、車両1の手動運転時においては、ドライバが学習に適していない運転操作を実行し得る運転環境の条件が学習されるとともに、学習に適していない運転操作へ影響し得る周囲環境の対象物及び対象物ごとの影響度が学習される。運転支援装置50は、ドライバごとに、これらの学習データを記憶することができる。 In this way, when the vehicle 1 is being manually driven, a driving characteristic learning model is constructed based on driving environment information when a driving operation suitable for learning is performed. Also, when the vehicle 1 is being manually driven, a driving operation estimation model is constructed that estimates whether the driving environment of the vehicle 1 corresponds to a driving environment in which a driving operation unsuitable for learning may be performed. Furthermore, when the vehicle 1 is being manually driven, the conditions of the driving environment in which the driver may perform a driving operation unsuitable for learning are learned, and the objects in the surrounding environment that may affect a driving operation unsuitable for learning and the degree of influence of each object are learned. The driving assistance device 50 can store this learning data for each driver.

(3-2.実行フェーズの処理)
図4は、実行フェーズにおいて実行される処理の一例を示すフローチャートである。
まず、運転支援装置50を含む車載システムが起動されると(ステップS41)、ステップS13の処理と同様に、運転条件設定部73は、車両1が自動運転制御中であるか否かを判定する(ステップS43)。車両1が自動運転制御中でない場合(S43/No)、制御部51は、学習フェースの処理へ移行する。
(3-2. Processing in the Execution Phase)
FIG. 4 is a flowchart showing an example of a process executed in the execution phase.
First, when the in-vehicle system including the driving assistance device 50 is started (step S41), the driving condition setting unit 73 determines whether the vehicle 1 is under automatic driving control (step S43), similar to the process of step S13. If the vehicle 1 is not under automatic driving control (S43/No), the control unit 51 proceeds to the learning phase process.

一方、車両1が自動運転制御中である場合(S43/Yes)、ステップS15の処理と同様に、制御部51は、車両1の運転環境情報を取得する(ステップS45)。具体的に、制御部51の周囲環境検出部61は、周囲環境センサ31から送信される検出データを取得し、当該検出データに基づいて車両1の周囲環境の情報を検出する。また、制御部51のドライバ検出部63は、車内撮影カメラ33から送信される画像データに基づいて、ドライバの顔及び視線の向きの情報を検出する。また、制御部51の走行状態検出部65は、車両状態センサ35から送信される検出データに基づいて、車両1の操作状態及び挙動の情報を検出する。 On the other hand, if the vehicle 1 is under automatic driving control (S43/Yes), similar to the process of step S15, the control unit 51 acquires driving environment information of the vehicle 1 (step S45). Specifically, the surrounding environment detection unit 61 of the control unit 51 acquires detection data transmitted from the surrounding environment sensor 31, and detects information on the surrounding environment of the vehicle 1 based on the detection data. In addition, the driver detection unit 63 of the control unit 51 detects information on the driver's face and line of sight direction based on image data transmitted from the in-vehicle camera 33. In addition, the driving state detection unit 65 of the control unit 51 detects information on the operation state and behavior of the vehicle 1 based on the detection data transmitted from the vehicle state sensor 35.

次いで、推定部71は、取得した運転環境情報のうち、周囲環境の情報及びドライバの情報を入力データとして、運転操作推定モデルに基づいて、現在の運転環境下において、学習に適していない運転操作をドライバが実行するかを推定する(ステップS47)。つまり、推定部71は、車両1の自動運転制御において、仮に車両1が手動運転中であった場合に、現在の運転環境下においてドライバが学習に適していない運転操作を実行するか否かを判定する。 Next, the estimation unit 71 uses the surrounding environment information and the driver information from the acquired driving environment information as input data and estimates whether the driver will perform a driving operation that is not suitable for learning in the current driving environment based on the driving operation estimation model (step S47). In other words, in the automatic driving control of the vehicle 1, if the vehicle 1 is being manually driven, the estimation unit 71 determines whether the driver will perform a driving operation that is not suitable for learning in the current driving environment.

次いで、推定部71は、ステップS47の推定結果に基づいて、現在の運転環境下において、学習に適していない運転操作をドライバが実行するかを判別する(ステップS49)。ドライバが学習に適していない運転操作を実行すると判定されない場合(S49/No)、ステップS45に戻って、上述した各ステップの処理を繰り返す。一方、ドライバが学習に適していない運転操作を実行すると判定される場合(S49/Yes)、推定部71は、周囲環境の対象物のうち、運転操作へ影響を及ぼす対象物を抽出する(ステップS51)。具体的に、推定部71は、学習対象外データ実行時条件データベース57に蓄積された学習データを参照して、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定する。さらに、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、周囲環境として検出されている周囲車両や障害物等のうちドライバが認識していない対象物を推定する。 Next, the estimation unit 71 determines whether the driver will perform a driving operation that is not suitable for learning in the current driving environment based on the estimation result of step S47 (step S49). If it is not determined that the driver will perform a driving operation that is not suitable for learning (S49/No), the process returns to step S45 and repeats the processing of each step described above. On the other hand, if it is determined that the driver will perform a driving operation that is not suitable for learning (S49/Yes), the estimation unit 71 extracts objects that affect the driving operation from among the objects in the surrounding environment (step S51). Specifically, the estimation unit 71 refers to the learning data stored in the non-learning data execution condition database 57 to identify the conditions of the driving environment in which it is estimated that the driver will perform a driving operation that is not suitable for learning. Furthermore, the estimation unit 71 estimates objects that the driver does not recognize from among surrounding vehicles, obstacles, etc. detected as the surrounding environment based on the information stored in the object influence database 59.

次いで、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、抽出した対象物それぞれの影響度を評価する(ステップS53)。本実施形態では、推定部71は、影響度が最も大きい対象物を、ドライバが認識していない非認識対象物に設定する。次いで、制御部51の通知制御部75は、抽出された対象物及び対象物の影響度に基づいて推定された非認識対象物の情報をドライバへ通知する(ステップS55)。例えば通知制御部75は、警告音や音声を出力したり、画像表示やテキスト表示を行うことによって、非認識対象物の対象や位置の情報をドライバへ通知する。また、通知制御部75は、非認識対象物の情報と併せて、推定された非認識対象物の存在に起因して設定された運転条件の情報をドライバへ通知してもよい。 Next, the estimation unit 71 evaluates the impact of each of the extracted objects based on the information stored in the object impact database 59 (step S53). In this embodiment, the estimation unit 71 sets the object with the greatest impact as a non-recognized object not recognized by the driver. Next, the notification control unit 75 of the control unit 51 notifies the driver of the extracted objects and information on the non-recognized objects estimated based on the impact of the objects (step S55). For example, the notification control unit 75 notifies the driver of the object and position information of the non-recognized object by outputting a warning sound or voice, or by displaying an image or text. In addition to the information on the non-recognized object, the notification control unit 75 may also notify the driver of the driving conditions set due to the presence of the estimated non-recognized object.

次いで、制御部51の運転条件設定部73は、運転特性学習データに基づいて、車両1の自動運転制御の運転条件を設定する(ステップS57)。例えば運転条件設定部73は、障害物との衝突のリスクや走行路からの逸脱のリスクを設定したリスクポテンシャルを用いて、リスクがより小さくなる軌道上を車両1が走行するように走行軌道及び車速を設定する。その際に、学習対象データセットを用いて学習した運転特性学習データに基づいてリスクポテンシャルの高さ又は設定範囲を補正する。これにより、実現される自動運転制御にドライバの運転特性が反映される。 Next, the driving condition setting unit 73 of the control unit 51 sets driving conditions for the automatic driving control of the vehicle 1 based on the driving characteristic learning data (step S57). For example, the driving condition setting unit 73 uses a risk potential that sets the risk of collision with an obstacle or the risk of deviation from the driving path to set a driving trajectory and vehicle speed so that the vehicle 1 drives on a trajectory that reduces the risk. At that time, the level or setting range of the risk potential is corrected based on the driving characteristic learning data learned using the learning target dataset. This allows the driver's driving characteristics to be reflected in the automatic driving control that is realized.

次いで、制御部51は、車載システムが停止したか否かを判定する(ステップS59)。車載システムが停止した場合(S59/Yes)、制御部51は、制御処理を終了する。一方、車載システムが停止していない場合(S59/No)、ステップS43に戻って、これまで説明した各ステップの処理を繰り返し実行する。 Next, the control unit 51 determines whether the in-vehicle system has stopped (step S59). If the in-vehicle system has stopped (S59/Yes), the control unit 51 ends the control process. On the other hand, if the in-vehicle system has not stopped (S59/No), the control unit 51 returns to step S43 and repeats the process of each step described so far.

このようにして、車両1の自動運転制御時においては、ドライバごとの運転特性の学習データを反映させて車両1の自動運転制御が実行される。その際に、仮に手動運転時であった場合にドライバが学習に適していない運転操作を実行すると判定され得る運転環境に相当する場合には、当該学習に適していない運転操作と判定される運転環境の条件を特定するとともに、そのような運転環境下でドライバが認識していない非認識対象物が推定され、当該非認識対象物に関連する情報がドライバへ通知される。したがって、非認識対象物に起因して車両1の運転条件が設定された場合に、ドライバはその原因を知ることができ、ドライバの違和感を低減することができる。 In this way, during automatic driving control of vehicle 1, the learning data of the driving characteristics of each driver is reflected and automatic driving control of vehicle 1 is executed. At that time, if the driving environment corresponds to one in which it may be determined that the driver performs driving operations that are not suitable for learning if the driving environment is manual, the conditions of the driving environment that are determined to be driving operations that are not suitable for learning are identified, and unrecognized objects that the driver does not recognize in such a driving environment are estimated, and information related to the unrecognized objects is notified to the driver. Therefore, when the driving conditions of vehicle 1 are set due to unrecognized objects, the driver can know the cause, and the discomfort of the driver can be reduced.

<4.適用事例>
ここまで本実施形態に係る運転支援装置50について説明した。以下、本実施形態に係る運転支援装置50を適用した走行シーンの例の幾つかを説明する。
<4. Application Examples>
The driving support device 50 according to this embodiment has been described above. Below, some examples of driving scenes to which the driving support device 50 according to this embodiment is applied will be described.

(4-1.第1の適用事例)
図5~図6は、第1の適用事例を説明するための図であり、それぞれ車両1が見通しの悪いT字路を直進通過する走行シーンを示す説明図である。図5は、昼間及び夜間の手動運転中の運転環境を示し、図6は、昼間及び夜間の自動運転制御中の運転環境を示している。
(4-1. First Application Example)
5 and 6 are diagrams for explaining the first application example, each showing a driving scene in which the vehicle 1 passes straight through a T-junction with poor visibility. Fig. 5 shows the driving environment during manual driving in the daytime and at night, and Fig. 6 shows the driving environment during automatic driving control in the daytime and at night.

図5に示す手動運転時において、昼間は明るく相対的に前方を見やすい状況であるため、ドライバは、側壁101による死角の存在に気付き、車両1を十分に減速させてT字路を通過する。運転支援装置50は、当該昼間の運転操作を学習に適した運転操作であると判定し、このときに取得された運転環境情報を学習対象データセットとして、ドライバの運転特性を学習する。 During manual driving as shown in FIG. 5, since it is bright during the day and it is relatively easy to see ahead, the driver notices the presence of a blind spot caused by the side wall 101 and sufficiently decelerates the vehicle 1 to pass through the T-junction. The driving assistance device 50 determines that the daytime driving operation is suitable for learning, and learns the driving characteristics of the driver using the driving environment information acquired at this time as a learning target dataset.

一方、夜間は暗く相対的に前方を見にくい状況であるため、ドライバは、側壁101による死角の存在に気付かず、減速することなくT字路を通過する。運転支援装置50は、当該夜間の運転操作を、学習に適していない運転操作であると判定し、このときに取得された運転環境情報を学習対象外データセットとする。この場合、運転支援装置50は、学習対象データセットと学習対象外データセットとを比較した差分として「昼間又は夜間」を抽出するとともに、学習に適していない運転操作であると判定された条件が「夜間」であると特定する。さらに、運転支援装置50は、ドライバが側壁101に気付かずに車両1を減速させることなくT字路を通過していることから、当該夜間の運転環境において、周囲環境に存在する側壁101の影響度を高く評価する。 On the other hand, at night, it is dark and relatively difficult to see ahead, so the driver does not notice the blind spot caused by the side wall 101 and passes through the T-junction without slowing down. The driving assistance device 50 determines that the night driving operation is not suitable for learning, and sets the driving environment information acquired at this time as a non-learning dataset. In this case, the driving assistance device 50 extracts "daytime or nighttime" as the difference between the learning dataset and the non-learning dataset, and specifies that the condition determined to be the driving operation not suitable for learning is "nighttime". Furthermore, since the driver passes through the T-junction without noticing the side wall 101 and without slowing down the vehicle 1, the driving assistance device 50 highly evaluates the influence of the side wall 101 present in the surrounding environment in the night driving environment.

図6に示す自動運転制御時において、昼間及び夜間ともに、運転支援装置50は、死角を生じさせる側壁101の存在を検知し、自動運転制御により車両1を十分に減速させてT字路を通過させる。このとき、昼間であれば、ドライバも側壁101による死角の存在に気付くため、自動運転制御により車両1が減速しても違和感を覚えることがない。一方、夜間において、ドライバが側壁101に気付かないとすると、自動運転制御により車両1が減速すると、その原因が不明であるためドライバが違和感を覚える。 During the automatic driving control shown in FIG. 6, both during the day and at night, the driving assistance device 50 detects the presence of a side wall 101 that creates a blind spot, and uses automatic driving control to sufficiently decelerate the vehicle 1 to pass through the T-junction. During the day, the driver will also notice the presence of the blind spot caused by the side wall 101, so will not feel uncomfortable even if the vehicle 1 decelerates due to automatic driving control. On the other hand, at night, if the driver does not notice the side wall 101, the driver will feel uncomfortable when the vehicle 1 decelerates due to automatic driving control, as the cause is unknown.

しかしながら、運転支援装置50は、当該夜間の運転環境下において、ドライバが学習に適していない運転操作を実行すると判定し、対象物影響度データベース59に記憶された情報に基づいて、周囲環境に存在する側壁101をドライバが認識していないと推定する。運転支援装置50は、認識していないと推定される側壁101あるいは側壁101による死角の存在について、ドライバに通知する。運転支援装置50は、例えば「右前方に見えにくい飛び出しポイントがあるため減速します」等の音声通知を行う。これにより、ドライバは、自動運転制御により車両1が減速した原因を知ることができ、ドライバが覚える違和感を低減することができる。 However, the driving assistance device 50 determines that the driver will perform driving operations that are not suitable for learning in the nighttime driving environment, and estimates that the driver does not recognize the side wall 101 that exists in the surrounding environment based on the information stored in the object impact database 59. The driving assistance device 50 notifies the driver of the side wall 101 that is estimated to be unrecognized or the presence of a blind spot caused by the side wall 101. The driving assistance device 50 issues a voice notification such as, for example, "There is a difficult-to-see jump-out point ahead to the right, so please slow down." This allows the driver to know the reason why the vehicle 1 has decelerated due to the automatic driving control, and the discomfort felt by the driver can be reduced.

(4-2.第2の適用事例)
図7~図8は、第2の適用事例を説明するための図であり、それぞれ車両1が交差点を右折する際に、右折先に横断歩道を横断しようとする歩行者がいる走行シーンを示す説明図である。図7は、昼間及び夜間かつ降雨時の手動運転中の運転環境を示し、図8は、昼間及び夜間かつ降雨時の自動運転制御中の運転環境を示している。
(4-2. Second application example)
7 and 8 are diagrams for explaining the second application example, each of which is an explanatory diagram showing a driving scene in which the vehicle 1 turns right at an intersection and there is a pedestrian about to cross a pedestrian crossing ahead of the right turn. Fig. 7 shows the driving environment during manual driving during the day and at night during rain, and Fig. 8 shows the driving environment during automatic driving control during the day and at night during rain.

図7に示す手動運転時において、昼間は明るく相対的に前方を見やすい状況であるため、ドライバは、横断歩道を横断しようとする歩行者103の存在に気付き、歩行者103が横断し終えるまで車両1を一時停止させ、歩行者103が横断し終えた後に車両1を進行させる。運転支援装置50は、当該昼間の運転操作を、学習に適した運転操作であると判定し、このときに取得された運転環境情報を学習対象データセットとして、ドライバの運転特性を学習する。 During manual driving as shown in FIG. 7, because it is bright during the day and the road ahead is relatively easy to see, the driver notices the presence of a pedestrian 103 attempting to cross the crosswalk, stops the vehicle 1 temporarily until the pedestrian 103 has finished crossing, and then continues the vehicle 1 after the pedestrian 103 has finished crossing. The driving assistance device 50 determines that the daytime driving operation is suitable for learning, and learns the driver's driving characteristics using the driving environment information acquired at this time as a learning target dataset.

一方、夜間は暗く相対的に前方を見にくい状況であるため、ドライバは、横断歩道を横断しようとする歩行者103の存在に気付かず、一時停止することなく交差点を右折する。運転支援装置50は、当該夜間の運転操作を、学習に適していない運転操作であると判定し、このときに取得された運転環境情報を学習対象外データセットとする。この場合、運転支援装置50は、学習対象データセットと学習対象外データセットとを比較した差分として「昼間又は夜間」及び「晴又は降雨」を抽出するとともに、学習に適していない運転操作であると判定された条件が「夜間かつ降雨」であると特定する。さらに、運転支援装置50は、ドライバが歩行者103に気付かずに交差点を右折した結果、歩行者とニアミスの状態になったことから、当該夜間の運転環境において、周囲環境に存在する歩行者103の影響度を高く評価する。 On the other hand, at night, it is dark and relatively difficult to see ahead, so the driver does not notice the presence of the pedestrian 103 trying to cross the crosswalk and turns right at the intersection without stopping. The driving assistance device 50 determines that the night driving operation is not suitable for learning, and sets the driving environment information acquired at this time as a non-learning dataset. In this case, the driving assistance device 50 extracts "daytime or nighttime" and "sunny or raining" as the difference between the learning dataset and the non-learning dataset, and specifies that the condition determined to be the driving operation not suitable for learning is "nighttime and raining". Furthermore, since the driver turns right at the intersection without noticing the pedestrian 103, resulting in a near miss with the pedestrian, the driving assistance device 50 highly evaluates the influence of the pedestrian 103 present in the surrounding environment in the night driving environment.

図8に示す自動運転制御時において、昼間及び夜間ともに、運転支援装置50は、横断歩道を横断しようとする歩行者103の存在を検知し、自動運転制御により車両1を一旦停止させ、歩行者が横断し終えた後に車両1を進行させる。このとき、昼間であれば、ドライバも歩行者103の存在に気付くため、自動運転制御により車両1が一旦停止しても違和感を覚えることがない。一方、夜間において、ドライバが歩行者103に気付かないとすると、自動運転制御により車両1が一旦停止すると、その原因が不明であるためドライバが違和感を覚える。 During the automatic driving control shown in FIG. 8, both during the day and at night, the driving assistance device 50 detects the presence of a pedestrian 103 attempting to cross the crosswalk, stops the vehicle 1 under automatic driving control, and allows the vehicle 1 to proceed after the pedestrian has finished crossing. During the day, the driver will also notice the presence of the pedestrian 103, so will not feel uncomfortable even if the vehicle 1 is stopped under automatic driving control. On the other hand, at night, if the driver does not notice the pedestrian 103, the driver will feel uncomfortable when the vehicle 1 is stopped under automatic driving control because the reason is unknown.

しかしながら、運転支援装置50は、当該夜間の運転環境下において、ドライバが学習に適していない運転操作を実行すると判定し、対象物影響度データベース59に記憶された情報に基づいて、周囲環境に存在する歩行者103をドライバが認識していないと推定する。運転支援装置50は、認識していないと推定される歩行者103の存在について、ドライバに通知する。運転支援装置50は、例えば「右折先に歩行者がいるため一時停止します」等の音声通知を行う。これにより、ドライバは、自動運転制御により車両1が一時停止した原因を知ることができ、ドライバが覚える違和感を低減することができる。 However, the driving assistance device 50 determines that the driver will perform driving operations that are not suitable for learning in the nighttime driving environment, and estimates that the driver does not recognize the pedestrian 103 present in the surrounding environment based on the information stored in the object impact database 59. The driving assistance device 50 notifies the driver of the presence of the pedestrian 103 that is estimated to be unrecognized. The driving assistance device 50 issues a voice notification such as, for example, "There is a pedestrian ahead where you will turn right, so we will stop temporarily." This allows the driver to know the reason why the vehicle 1 has stopped temporarily due to the automatic driving control, and the discomfort felt by the driver can be reduced.

<5.まとめ>
以上のように、本実施形態に係る運転支援装置50は、手動運転時において学習に適した運転操作が行われたときに取得された学習対象データセットを学習データとして、ドライバの運転特性を学習する。このため、車両1の挙動が安定し、前方の障害物や遮蔽物による死角の見落としのおそれが少ない等、ドライバによる適切な運転操作を学習した結果に基づいて車両1の自動運転制御時の運転条件を設定することができる。したがって、ドライバの手動運転時の運転特性を反映した自動運転制御を実行するにあたり、安全かつ安定した自動運転制御を実現することができる。
<5. Summary>
As described above, the driving assistance device 50 according to the present embodiment learns the driving characteristics of the driver using the learning target data set acquired when the driver performs a driving operation suitable for learning during manual driving as learning data. Therefore, the driving conditions during automatic driving control of the vehicle 1 can be set based on the results of learning an appropriate driving operation by the driver, such as a stable behavior of the vehicle 1 and a low risk of overlooking a blind spot due to an obstacle or obstruction in front of the vehicle 1. Therefore, when performing automatic driving control that reflects the driving characteristics of the driver during manual driving, safe and stable automatic driving control can be realized.

また、本実施形態に係る運転支援装置50は、手動運転時において学習に適していない運転操作が行われたときに取得された学習対象外データセットに基づいて、ドライバが学習に適していない運転操作を行い得る運転環境の条件と、学習に適していない運転操作へ影響する周囲環境の対象物及び当該対象物の影響度とを学習する。このため、車両1の自動運転制御中において、ドライバが手動運転をしていると仮定した場合に障害物等を見落としたり注意力が低下したりする等の学習に適していない運転操作を行うことを推定することができるとともに、当該運転環境においてドライバが認識しない非認識対象物を推定することができる。そして、運転支援装置50は、当該非認識対象物に関連する情報をドライバに通知するため、非認識対象物に起因して車両1の操舵角が変化したり加減速したりしたときにドライバが覚える違和感を低減することができる。 The driving support device 50 according to this embodiment learns the conditions of the driving environment in which the driver may perform driving operations that are not suitable for learning, and the objects in the surrounding environment that affect the driving operations that are not suitable for learning, and the influence of the objects, based on the non-learning data set acquired when a driving operation that is not suitable for learning is performed during manual driving. Therefore, during automatic driving control of the vehicle 1, it is possible to estimate that the driver will perform driving operations that are not suitable for learning, such as overlooking obstacles or decreasing attention, if the driver is assumed to be driving manually, and to estimate unrecognized objects that the driver does not recognize in the driving environment. The driving support device 50 then notifies the driver of information related to the unrecognized objects, thereby reducing the discomfort felt by the driver when the steering angle of the vehicle 1 changes or the vehicle 1 accelerates or decelerates due to the unrecognized objects.

また、本実施形態に係る運転支援装置50において、非認識対象物に関連する情報と併せて、非認識対象物に起因して設定された運転条件の情報を通知することにより、ドライバは、車両1が示す挙動を知ることができる。したがって、ドライバが覚える違和感をより低減することができる。 In addition, in the driving assistance device 50 according to this embodiment, by notifying the driver of information on driving conditions set due to unrecognized objects together with information related to unrecognized objects, the driver can be informed of the behavior exhibited by the vehicle 1. This can further reduce the sense of discomfort felt by the driver.

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiment of the present disclosure has been described in detail above with reference to the attached drawings, the present disclosure is not limited to such examples. It is clear that a person with ordinary knowledge in the technical field to which the present invention pertains can conceive of various modified or revised examples within the scope of the technical ideas described in the claims, and it is understood that these also naturally fall within the technical scope of the present disclosure.

例えば、上記実施形態では、車両1に搭載された運転支援装置50が学習機能を備えていたが、本開示はかかる例に限定されない。例えば運転支援装置50が有する学習機能の一部又は全部が、移動体通信手段を介して通信可能なサーバ装置に設けられ、運転支援装置50は、当該サーバ装置に対してデータを送受信するように構成されていてもよい。 For example, in the above embodiment, the driving assistance device 50 mounted on the vehicle 1 has a learning function, but the present disclosure is not limited to such an example. For example, a part or all of the learning function of the driving assistance device 50 may be provided in a server device that can communicate via mobile communication means, and the driving assistance device 50 may be configured to transmit and receive data to and from the server device.

また、上記実施形態では、学習に適していない運転操作を前記ドライバが実行するかを推定するための運転操作推定モデルが用いられ、制御部51は、運転操作推定モデルにより学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定するとともにドライバが認識していない非認識対象物を推定していたが、本開示はかかる例に限定されない。上記運転操作推定モデルは、学習に適していない運転操作をドライバが実行し得る運転環境であるかを推定するための運転環境推定モデルであってもよい。この場合、運転環境推定モデルからは、例えば学習に適していない運転操作をドライバが実行し得る運転環境であるか否かの推定結果が出力される。 In addition, in the above embodiment, a driving operation estimation model is used to estimate whether the driver will perform a driving operation that is not suitable for learning, and the control unit 51 identifies the conditions of the driving environment in which it is estimated that the driver will perform a driving operation that is not suitable for learning using the driving operation estimation model, and estimates unrecognized objects that the driver does not recognize, but the present disclosure is not limited to such an example. The driving operation estimation model may be a driving environment estimation model for estimating whether the driving environment is one in which the driver can perform a driving operation that is not suitable for learning. In this case, the driving environment estimation model outputs an estimation result of whether the driving environment is one in which the driver can perform a driving operation that is not suitable for learning, for example.

また、上記制御部51を構成するプロセッサに、自動運転制御中に取得される車両の走行状態の情報及び周囲環境の情報を含む運転環境情報を、手動運転中に取得された運転特性の学習に適した運転操作であると判定されたときの運転環境情報である学習対象データセット及び学習に適していない運転操作であると判定されたときの運転環境情報である学習対象外データセットを学習用データとする学習により構築されて、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルへ入力して得られた推定結果を取得することと、推定結果が、学習に適していない運転操作をドライバが実行するとの推定結果である場合、学習対象データセットと学習対象外データセットとを比較して抽出される、学習に適していない運転操作であると判定された運転環境の条件の蓄積情報に基づいて、運転操作推定モデルにより学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定するとともにドライバが認識していない非認識対象物を推定することと、推定された非認識対象物に関連する情報をドライバへ通知することと、を含む動作を実行させるコンピュータプログラムを記憶した記憶媒体も本開示の技術的範囲に属する。 In addition, a storage medium that stores a computer program that causes a processor constituting the control unit 51 to execute operations including inputting driving environment information, including information on the vehicle's driving state and information on the surrounding environment acquired during automatic driving control, into a driving operation estimation model for estimating whether the driver will perform a driving operation that is not suitable for learning, constructed by learning using a learning target dataset that is driving environment information when the driving operation is determined to be suitable for learning the driving characteristics acquired during manual driving and a learning non-target dataset that is driving environment information when the driving operation is determined to be unsuitable for learning as learning data, and acquiring an estimation result obtained; and, when the estimation result is an estimation result that the driver will perform a driving operation that is not suitable for learning, identifying the conditions of the driving environment in which the driver is estimated to perform a driving operation that is not suitable for learning by the driving operation estimation model based on accumulated information of the conditions of the driving environment that is determined to be an unsuitable driving operation, extracted by comparing the learning target dataset and the learning non-target dataset, and estimating an unrecognized object that the driver does not recognize; and notifying the driver of information related to the estimated unrecognized object.

1…車両、31…周囲環境センサ、33…車内撮影カメラ、35…車両状態センサ、50…運転支援装置、51…制御部、55…運転特性データベース、57…学習対象外データ実行時条件データベース、59…対象物影響度データベース、61…周囲環境検出部、63…ドライバ検出部、65…走行状態検出部、67…判定部、69…学習部、71…推定部、73…運転条件設定部、75…通知制御部
1...vehicle, 31...surrounding environment sensor, 33...in-vehicle camera, 35...vehicle condition sensor, 50...driving support device, 51...control unit, 55...driving characteristics database, 57...non-learning data execution condition database, 59...object influence degree database, 61...surrounding environment detection unit, 63...driver detection unit, 65...driving condition detection unit, 67...determination unit, 69...learning unit, 71...estimation unit, 73...driving condition setting unit, 75...notification control unit

Claims (5)

車両の手動運転時におけるドライバの運転特性を学習することによって前記ドライバの運転特性を前記車両の自動運転制御に反映させる運転支援装置において、
自動運転制御中に取得される車両の走行状態の情報及び周囲環境の情報を含む運転環境情報を、
手動運転中に取得された前記運転特性の学習に適した運転操作であると判定されたときの前記運転環境情報である学習対象データセット及び前記学習に適していない運転操作であると判定されたときの前記運転環境情報である学習対象外データセットを学習用データとする学習により構築されて、前記学習に適していない運転操作を前記ドライバが実行するかを推定するための運転操作推定モデルへ入力して得られた推定結果を取得する、取得部と、
前記推定結果が、前記学習に適していない運転操作を前記ドライバが実行するとの推定結果である場合、
前記学習対象データセットと前記学習対象外データセットとを比較して抽出される、前記学習に適していない運転操作であると判定された運転環境の条件の蓄積情報に基づいて、
前記運転操作推定モデルにより前記学習に適していない運転操作を前記ドライバが実行すると推定された運転環境の条件を特定するとともに前記ドライバが認識していない非認識対象物を推定する、推定部と、
推定された前記非認識対象物に関連する情報を前記ドライバへ通知する、通知制御部と、
を備えた運転支援装置。
A driving assistance device that learns driving characteristics of a driver during manual driving of a vehicle and reflects the driving characteristics of the driver in automatic driving control of the vehicle,
Driving environment information including vehicle driving state information and surrounding environment information acquired during autonomous driving control,
an acquisition unit that acquires an estimation result obtained by inputting a learning target data set, which is the driving environment information when the driving operation is determined to be suitable for learning the driving characteristics acquired during manual driving, and a non-learning target data set, which is the driving environment information when the driving operation is determined to be unsuitable for the learning, into a driving operation estimation model for estimating whether the driver will perform the driving operation that is unsuitable for the learning; and
When the estimation result is an estimation result that the driver performs a driving operation that is not suitable for the learning,
Based on accumulated information on conditions of a driving environment determined to be a driving operation not suitable for the learning, which is extracted by comparing the learning target dataset with the learning non-target dataset,
an estimation unit that specifies a driving environment condition in which the driver is estimated to perform a driving operation that is not suitable for the learning by the driving operation estimation model, and estimates a non-recognized object that is not recognized by the driver;
a notification control unit that notifies the driver of information related to the estimated unrecognized object;
A driving assistance device equipped with the above.
手動運転中に取得した前記運転環境情報に基づいて、学習に適した運転操作であるか否かを判定する判定部と、
前記学習対象データセットと前記学習対象外データセットとを比較して抽出される、前記学習に適していない運転操作であると判定された前記運転環境の条件の情報を蓄積するデータベースと、
前記学習対象データセット及び前記学習対象外データセットを学習用データとして学習を行い前記運転操作推定モデルを生成する学習部と、
をさらに含む、請求項1に記載の運転支援装置。
a determination unit that determines whether a driving operation is suitable for learning based on the driving environment information acquired during manual driving;
A database that accumulates information on the conditions of the driving environment that are determined to be driving operations that are not suitable for the learning, the information being extracted by comparing the learning target dataset with the learning non-target dataset; and
a learning unit that performs learning using the training data set and the non-training data set as training data to generate the driving operation estimation model;
The driving assistance device of claim 1 , further comprising:
前記データベースは、ドライバごとに前記学習に適していない運転操作であると判定された前記運転環境の条件の情報を蓄積し、
前記学習部は、ドライバごとに前記運転操作推定モデルを生成する、請求項2に記載の運転支援装置。
The database accumulates information on the conditions of the driving environment that are determined to be driving operations that are not suitable for the learning for each driver,
The driving assistance device according to claim 2 , wherein the learning unit generates the driving performance estimation model for each driver.
前記学習部は、学習した前記運転操作推定モデルに基づいて、前記車両の周囲環境に含まれるそれぞれの対象物について、前記学習に適していないと判定された運転操作への影響度を求め、
前記通知制御部は、前記自動運転制御中に、前記推定された前記非認識対象物の情報のうちの前記影響度の大きい前記非認識対象物に関連する情報を前記ドライバへ通知する、請求項2又は3のいずれか1項に記載の運転支援装置。
the learning unit calculates, for each object included in the surrounding environment of the vehicle, a degree of influence on the driving operation determined to be unsuitable for the learning based on the learned driving operation estimation model;
4. The driving assistance device according to claim 2, wherein the notification control unit notifies the driver of information related to the non-recognized object having a large influence among the information of the estimated non-recognized object during the autonomous driving control.
前記通知制御部は、推定された前記非認識対象物に関連する情報と併せて、前記非認識対象物に起因して設定された運転条件の情報を通知する、請求項1~4のいずれか1項に記載の運転支援装置。
The driving assistance device according to any one of claims 1 to 4, wherein the notification control unit notifies information of driving conditions set due to the non-recognized object together with information related to the estimated non-recognized object.
JP2021028026A 2021-02-25 2021-02-25 Driving Support Devices Active JP7548847B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021028026A JP7548847B2 (en) 2021-02-25 2021-02-25 Driving Support Devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021028026A JP7548847B2 (en) 2021-02-25 2021-02-25 Driving Support Devices

Publications (2)

Publication Number Publication Date
JP2022129400A JP2022129400A (en) 2022-09-06
JP7548847B2 true JP7548847B2 (en) 2024-09-10

Family

ID=83150725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021028026A Active JP7548847B2 (en) 2021-02-25 2021-02-25 Driving Support Devices

Country Status (1)

Country Link
JP (1) JP7548847B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013178827A (en) 2013-06-03 2013-09-09 Denso Corp Driving situation estimation device and driving support system
JP2017021546A (en) 2015-07-10 2017-01-26 田山 修一 Image displaying system, and method, for on-vehicle use
JP2018152020A (en) 2017-03-15 2018-09-27 株式会社東芝 Spatial information calculation device for mobile object and collision prevention system
JP2019127207A (en) 2018-01-26 2019-08-01 株式会社デンソーテン Driving support device and method of learning driving characteristics
JP2019179372A (en) 2018-03-30 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013178827A (en) 2013-06-03 2013-09-09 Denso Corp Driving situation estimation device and driving support system
JP2017021546A (en) 2015-07-10 2017-01-26 田山 修一 Image displaying system, and method, for on-vehicle use
JP2018152020A (en) 2017-03-15 2018-09-27 株式会社東芝 Spatial information calculation device for mobile object and collision prevention system
JP2019127207A (en) 2018-01-26 2019-08-01 株式会社デンソーテン Driving support device and method of learning driving characteristics
JP2019179372A (en) 2018-03-30 2019-10-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and program

Also Published As

Publication number Publication date
JP2022129400A (en) 2022-09-06

Similar Documents

Publication Publication Date Title
CN107176165B (en) Vehicle control device
EP3211616A2 (en) Driver assistance apparatus
US20160328619A1 (en) Vehicle driving assistance device and vehicle having the same
JP2021064118A (en) Remote autonomous vehicle and vehicle remote command system
CN108604413B (en) Display device control method and display device
CN113246993B (en) driving support system
JP2018086874A (en) Following-start control apparatus of vehicle
KR101552017B1 (en) Performance enhanced driver assistance systems and controlling method for the same
EP4149809B1 (en) Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog
JP6631569B2 (en) Operating state determining apparatus, operating state determining method, and program for determining operating state
WO2021235043A1 (en) Vehicle control device
JP2024518934A (en) Optical interference detection during vehicle navigation
JP2022139524A (en) Drive support device and recording medium
JP2022122299A (en) Drive support device
EP3919338A1 (en) Autonomous driving control method and device
JP7548847B2 (en) Driving Support Devices
CN116022139A (en) Danger avoiding system, danger avoiding control method and vehicle
CN115123209A (en) Driving support device
WO2024189867A1 (en) Risk prediction device, risk prediction method, and recording medium
KR102559534B1 (en) Method and apparatus for supporting driving lines of vehicle in bad weather
US20230034419A1 (en) Vehicle control apparatus
KR102541416B1 (en) Method and apparatus for displaying a HUD image based on realtime traffic information
WO2024048180A1 (en) Information processing device, information processing method, and vehicle control system
WO2023053355A1 (en) Driving assistance device, vehicle, and recording medium recording computer program
US20240375613A1 (en) Information processing device, information processing method, recording medium, and in-vehicle system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240829

R150 Certificate of patent or registration of utility model

Ref document number: 7548847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150