JP7548847B2 - Driving Support Devices - Google Patents
Driving Support Devices Download PDFInfo
- Publication number
- JP7548847B2 JP7548847B2 JP2021028026A JP2021028026A JP7548847B2 JP 7548847 B2 JP7548847 B2 JP 7548847B2 JP 2021028026 A JP2021028026 A JP 2021028026A JP 2021028026 A JP2021028026 A JP 2021028026A JP 7548847 B2 JP7548847 B2 JP 7548847B2
- Authority
- JP
- Japan
- Prior art keywords
- driving
- learning
- driver
- vehicle
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 description 50
- 238000000034 method Methods 0.000 description 28
- 230000006399 behavior Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 239000003595 mist Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本開示は、ドライバの運転特性を自動運転制御に反映させる運転支援装置に関する。 This disclosure relates to a driving assistance device that reflects the driver's driving characteristics in automated driving control.
近年、主として交通事故の削減及び運転負荷の軽減を目的として、運転支援機能や自動運転機能が搭載された車両の実用化が進められている。例えば自車両に設けられた車外撮影カメラやLiDAR(Light Detection and Ranging)等の種々のセンサにより検出された情報に基づいて自車両の周囲に存在する障害物を検知し、自車両と障害物との衝突を回避するよう自車両の運転を支援する装置が知られている。 In recent years, vehicles equipped with driving assistance functions and autonomous driving functions have been put into practical use, mainly for the purpose of reducing traffic accidents and easing the burden on drivers. For example, there is known a device that detects obstacles around the vehicle based on information detected by various sensors such as an exterior camera and LiDAR (Light Detection and Ranging) installed in the vehicle, and assists the driving of the vehicle to avoid collisions between the vehicle and the obstacles.
このような運転支援装置において、ドライバの違和感を無くすための技術が種々提案されている。例えば特許文献1には、手動運転制御時には環境項目について検出した環境項目値の組み合わせによって運転環境を特定し、運転環境に対応付けて運転者の運転操作を学習し、自動運転制御時には環境項目値を検出して運転環境を特定し、その運転環境での運転操作の学習結果を参照して自動運転制御を実行する運転支援装置が開示されている。また、特許文献2には、運転操作を示す情報と当該運転操作時における運転状況を示す情報とを取得し、取得した情報に基づいて運転状況が学習に適切であるか否かを判定し、不適切と判定された運転状況における運転操作を学習の対象外と判定する運転支援装置が開示されている。
Various technologies have been proposed for such driving assistance devices to eliminate driver discomfort. For example,
しかしながら、学習に不適切な運転状況を学習の対象外とすることによって安全性を向上させることができるものの、ドライバの違和感が増大するおそれがある。例えば死角を生じさせる遮蔽物の見えやすさが昼夜で変わり、夜間にはドライバが遮蔽物に気付きにくい状況があるとする。このような状況において、昼間の手動運転中に、ドライバが遮蔽物に気付いて遮蔽物の手前で減速していたとすると、運転支援装置は当該運転操作を学習する。一方、夜間の手動運転中に、ドライバが遮蔽物に気付かずに減速しなかった場合、運転支援装置は当該運転操作を学習の対象外とする。このように学習を重ねた結果に基づき、夜間に車両の自動運転制御を実行すると、学習対象とされた昼間の運転操作が参照され、ドライバは遮蔽物を認識していないにもかかわらず車両が減速することになって、ドライバが違和感を覚えるおそれがある。 However, although safety can be improved by excluding driving situations that are inappropriate for learning from the learning target, there is a risk of increasing discomfort to the driver. For example, suppose that the visibility of obstacles that cause blind spots changes between day and night, and there are situations at night where the driver has difficulty noticing the obstacle. In such a situation, if the driver notices an obstacle and decelerates in front of the obstacle during manual driving in the daytime, the driving assistance device learns the driving operation. On the other hand, if the driver does not notice an obstacle and does not decelerate during manual driving at night, the driving assistance device excludes the driving operation from the learning target. If automatic driving control of the vehicle is executed at night based on the results of such repeated learning, the daytime driving operation that was the learning target is referenced, and the vehicle decelerates even though the driver does not recognize the obstacle, which may cause the driver to feel uncomfortable.
本開示は、上記問題に鑑みてなされたものであり、本開示の目的とするところは、学習すべき運転操作を絞り込んで学習したドライバの運転特性を反映させて自動運転制御を実行した際にドライバが覚える違和感を低減可能な運転支援装置を提供することにある。 This disclosure has been made in consideration of the above problems, and the purpose of this disclosure is to provide a driving assistance device that can reduce the discomfort felt by the driver when automatic driving control is executed by narrowing down the driving operations to be learned and reflecting the learned driving characteristics of the driver.
上記課題を解決するために、本開示のある観点によれば、車両の手動運転時におけるドライバの運転特性を学習することによってドライバの運転特性を車両の自動運転制御に反映させる運転支援装置であって、自動運転制御中に取得される車両の走行状態の情報及び周囲環境の情報を含む運転環境情報を、手動運転中に取得された運転特性の学習に適した運転操作であると判定されたときの運転環境情報である学習対象データセット及び学習に適していない運転操作であると判定されたときの運転環境情報である学習対象外データセットを学習用データとする学習により構築されて、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルへ入力して得られた推定結果を取得する取得部と、推定結果が、学習に適していない運転操作をドライバが実行するとの推定結果である場合、学習対象データセットと学習対象外データセットとを比較して抽出される学習に適していない運転操作であると判定された運転環境の条件の蓄積情報に基づいて、運転操作推定モデルにより学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定するとともにドライバが認識していない非認識対象物を推定する、推定部と、推定された非認識対象物に関連する情報をドライバへ通知する、通知制御部とを備えた運転支援装置が提供される。 In order to solve the above problem, according to one aspect of the present disclosure, there is provided a driving assistance device that learns the driving characteristics of a driver during manual driving of a vehicle, thereby reflecting the driving characteristics of the driver in automatic driving control of the vehicle, and the driving environment information, including information on the vehicle's running state and information on the surrounding environment, acquired during automatic driving control is constructed by learning using a learning target dataset, which is driving environment information when it is determined that the driving operation acquired during manual driving is suitable for learning the driving characteristics, and a non-learning target dataset, which is driving environment information when it is determined that the driving operation is not suitable for learning, as learning data, and estimates whether the driver will perform a driving operation that is not suitable for learning. A driving assistance device is provided that includes an acquisition unit that acquires an estimation result obtained by inputting the estimation result into a driving operation estimation model for learning, an estimation unit that, when the estimation result is an estimation result that the driver will perform a driving operation unsuitable for learning, identifies the conditions of the driving environment in which the driver is estimated to perform a driving operation unsuitable for learning by the driving operation estimation model based on accumulated information of the conditions of the driving environment determined to be a driving operation unsuitable for learning, which is extracted by comparing a learning target dataset with a learning non-target dataset, and estimates an unrecognized object that the driver does not recognize, and a notification control unit that notifies the driver of information related to the estimated unrecognized object.
以上説明したように本開示によれば、学習すべき運転操作を絞り込んで学習したドライバの運転特性を反映させて自動運転制御を実行した際にドライバが覚える違和感を低減することができる。 As described above, according to the present disclosure, it is possible to reduce the discomfort felt by the driver when autonomous driving control is executed by narrowing down the driving operations to be learned and reflecting the learned driving characteristics of the driver.
以下、添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Below, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. Note that in this specification and drawings, components having substantially the same functional configurations are designated by the same reference numerals to avoid redundant description.
<1.車両の全体構成>
まず、本開示の一実施形態に係る運転支援装置を備えた車両の全体構成の一例を説明する。
<1. Overall configuration of the vehicle>
First, an example of the overall configuration of a vehicle equipped with a driving assistance device according to an embodiment of the present disclosure will be described.
図1は、運転支援装置50を備えた車両1の構成例を示す模式図である。
図1に示した車両1は、車両の駆動トルクを生成する駆動力源9から出力される駆動トルクを左前輪3LF、右前輪3RF、左後輪3LR及び右後輪3RR(以下、特に区別を要しない場合には「車輪3」と総称する)に伝達する四輪駆動車として構成されている。駆動力源9は、ガソリンエンジンやディーゼルエンジン等の内燃機関であってもよく、駆動用モータであってもよく、内燃機関及び駆動用モータをともに備えていてもよい。
FIG. 1 is a schematic diagram showing an example of the configuration of a
1 is configured as a four-wheel drive vehicle in which a driving torque output from a
なお、車両1は、例えば前輪駆動用モータ及び後輪駆動用モータの二つの駆動用モータを備えた電気自動車であってもよく、それぞれの車輪3に対応する駆動用モータを備えた電気自動車であってもよい。また、車両1が電気自動車やハイブリッド電気自動車の場合、車両1には、駆動用モータへ供給される電力を蓄積する二次電池や、バッテリに充電される電力を発電するモータや燃料電池等の発電機が搭載される。
The
車両1は、車両1の運転制御に用いられる機器として、駆動力源9、電動ステアリング装置15及びブレーキ装置17LF,17RF,17LR,17RR(以下、特に区別を要しない場合には「ブレーキ装置17」と総称する)を備えている。駆動力源9は、図示しない変速機や前輪差動機構7F及び後輪差動機構7Rを介して前輪駆動軸5F及び後輪駆動軸5Rに伝達される駆動トルクを出力する。駆動力源9や変速機の駆動は、一つ又は複数の電子制御装置(ECU:Electronic Control Unit)を含んで構成された車両制御部41により制御される。
The
前輪駆動軸5Fには電動ステアリング装置15が設けられている。電動ステアリング装置15は図示しない電動モータやギヤ機構を含み、車両制御部41により制御されることによって左前輪3LF及び右前輪3RFの操舵角を調節する。車両制御部41は、手動運転中には、ドライバによるステアリングホイール13の操舵角に基づいて電動ステアリング装置15を制御する。また、車両制御部41は、自動運転制御中には、設定される走行軌道に基づいて電動ステアリング装置15を制御する。
The front-
ブレーキ装置17LF,17RF,17LR,17RRは、それぞれ前後左右の駆動輪3LF,3RF,3LR,3RRに制動力を付与する。ブレーキ装置17は、例えば油圧式のブレーキ装置として構成され、それぞれのブレーキ装置17に供給する油圧が車両制御部41により制御されることで所定の制動力を発生させる。車両1が電気自動車あるいはハイブリッド電気自動車の場合、ブレーキ装置17は、駆動用モータによる回生ブレーキと併用される。
Brake devices 17LF, 17RF, 17LR, and 17RR apply braking forces to front, rear, left, and right drive wheels 3LF, 3RF, 3LR, and 3RR, respectively.
車両制御部41は、車両1の駆動トルクを出力する駆動力源9、ステアリングホイール又は操舵輪の操舵角を制御する電動ステアリング装置15、車両1の制動力を制御するブレーキ装置17の駆動を制御する一つ又は複数の電子制御装置を含む。車両制御部41は、駆動力源9から出力された出力を変速して車輪3へ伝達する変速機の駆動を制御する機能を備えていてもよい。車両制御部41は、運転支援装置50から送信される情報を取得可能に構成され、車両1の自動運転制御を実行可能に構成されている。
The
また、車両1は、前方撮影カメラ31LF,31RF、後方撮影カメラ31R、車内撮影カメラ33、車両状態センサ35、GPS(Global Positioning System)センサ37及びHMI(Human Machine Interface)43を備えている。なお、本実施形態では後方撮影カメラ31Rは省略されていてもよい。
The
前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、車両1の周囲環境の情報を取得するための周囲環境センサを構成する。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、車両1の前方あるいは後方を撮影し、画像データを生成する。前方撮影カメラ31LF,31RF及び後方撮影カメラ31Rは、CCD(Charged-Coupled Devices)又はCMOS(Complementary Metal-Oxide-Semiconductor)等の撮像素子を備え、生成した画像データを運転支援装置50へ送信する。図1に示した車両1では、前方撮影カメラ31LF,31RFは、左右一対のカメラを含むステレオカメラとして構成され、後方撮影カメラ31Rは、いわゆる単眼カメラとして構成されているが、それぞれステレオカメラあるいは単眼カメラのいずれであってもよい。
The front photographing cameras 31LF, 31RF and the rear photographing
車両1は、前方撮影カメラ31LF,31RF及び後方撮影カメラ31R以外に、例えばサイドミラー11L,11Rに設けられて左後方又は右後方を撮影するカメラを備えていてもよい。この他、車両1は、周囲環境の情報を取得するための周囲環境センサとして、LiDAR(Light Detection And Ranging)、ミリ波レーダ等のレーダセンサ、超音波センサのうちのいずれか一つ又は複数のセンサを備えていてもよい。
In addition to the front imaging cameras 31LF, 31RF and
車内撮影カメラ33は、車内を撮影し、画像データを生成する。車内撮影カメラ33は、CCD又はCMOS等の撮像素子を備え、生成した画像データを運転支援装置50へ送信する。本実施形態において、車内撮影カメラ33は、少なくともドライバを撮影可能に配置される。設置される車内撮影カメラ33は1つのみであってもよく、複数であってもよい。
The in-
車両状態センサ35は、車両1の操作状態及び挙動を検出する少なくとも一つのセンサからなる。車両状態センサ35は、例えば舵角センサ、アクセルポジションセンサ、ブレーキストロークセンサ、ブレーキ圧センサ又はエンジン回転数センサのうちの少なくとも一つを含み、ステアリングホイールあるいは操舵輪の操舵角、アクセル開度、ブレーキ操作量又はエンジン回転数等の車両1の操作状態を検出する。また、車両状態センサ35は、例えば車速センサ、加速度センサ、角速度センサのうちの少なくとも一つを含み、車速、前後加速度、横加速度、ヨーレート等の車両の挙動を検出する。車両状態センサ35は、検出した情報を含むセンサ信号を運転支援装置50へ送信する。
The
GPSセンサ37は、GPS衛星からの衛星信号を受信する。GPSセンサ37は、受信した衛星信号に含まれる車両1の地図データ上の位置情報を運転支援装置50へ送信する。なお、GPSセンサ37の代わりに、車両1の位置を特定する他の衛星システムからの衛星信号を受信するアンテナが備えられていてもよい。
The
HMI43は、運転支援装置50により駆動され、画像表示や音声出力等の手段により、ドライバに対して種々の情報を提示する。HMI43は、例えばインストルメントパネル内に設けられた表示装置及び車両に設けられたスピーカを含む。表示装置は、ナビゲーションシステムの表示装置であってもよい。また、HMI43は、車両1の周囲の風景に重畳させてフロントウィンドウ上へ表示を行うHUD(ヘッドアップディスプレイ)を含んでもよい。
The HMI 43 is driven by the
<2.運転支援装置>
続いて、本実施形態に係る運転支援装置50を具体的に説明する。
<2. Driving support device>
Next, the driving
(2-1.構成例)
図2は、本実施形態に係る運転支援装置50の構成例を示すブロック図である。
運転支援装置50には、直接的に又はCAN(Controller Area Network)やLIN(Local Inter Net)等の通信手段を介して、周囲環境センサ31、車内撮影カメラ33、車両状態センサ35及びGPSセンサ37が接続されている。また、運転支援装置50には、車両制御部41及びHMI43が接続されている。なお、運転支援装置50は、車両1に搭載された電子制御装置に限られるものではなく、スマートホンやウェアラブル機器等の端末装置であってもよい。
(2-1. Configuration example)
FIG. 2 is a block diagram showing an example of the configuration of the driving
The driving
運転支援装置50は、制御部51、記憶部53、運転特性データベース55、学習対象外データ実行時条件データベース57及び対象物影響度データベース59を備えている。制御部51は、一つ又は複数のCPU(Central Processing Unit)等のプロセッサや種々の周辺部品を備えて構成される。制御部51の一部又は全部は、ファームウェア等の更新可能なもので構成されてもよく、また、CPU等からの指令によって実行されるプログラムモジュール等であってもよい。
The driving
記憶部53は、RAM(Random Access Memory)又はROM(Read Only Memory)等の記憶素子、あるいは、HDD(Hard Disk Drive)やCD(Compact Disk)、DVD(Digital Versatile Disk)、SSD(Solid State Drive)、USBフラッシュ、ストレージ装置等の一つ又は複数の記憶媒体により構成される。ただし、記憶部53の種類は特に限定されない。記憶部53は、制御部51により実行されるコンピュータプログラムや、演算処理に用いられる種々のパラメータ、検出データ、演算結果等の情報を記憶する。
The
運転特性データベース55、学習対象外データ実行時条件データベース57及び対象物影響度データベース59は、それぞれRAM又はROM等の記憶素子、あるいは、HDDやCD、DVD、SSD、USBフラッシュ、ストレージ装置等の記憶媒体により構成される。運転特性データベース55は、ドライバの運転操作を、当該運転操作が行われたときの車両1の周囲環境の情報に関連付けて記憶するデータベースである。学習対象外データ実行時条件データベース57は、制御部51により特定された、学習対象外データ実行時の運転操作のデータを記憶するデータベースである。また、対象物影響度データベース59は、制御部51により特定された、学習対象外データと判定された運転操作への周囲環境の影響度のデータを記憶するデータベースである。
The driving
(2-2.機能構成)
本実施形態に係る運転支援装置50の制御部51は、車両1の手動運転中におけるドライバの運転特性を学習することによって当該ドライバの運転特性を車両1の自動運転制御に反映させる処理を実行可能に構成されている。また、制御部51は、学習した運転特性を反映させた車両1の自動運転制御を実行している間に、ドライバが認識していないと推定される周囲環境の情報をドライバへ通知する処理を実行可能に構成されている。
(2-2. Functional Configuration)
The
図2に示したように、制御部51は、周囲環境検出部61、ドライバ検出部63、走行状態検出部65、判定部67、学習部69、推定部71、運転条件設定部73及び通知制御部75を備えている。
As shown in FIG. 2, the
(周囲環境検出部)
周囲環境検出部61は、車両1の周囲環境の情報を検出する。車両1の周囲環境の情報は、例えば車両1の走行経路上及び走行経路脇の障害物や資格を生じさせる遮蔽物等の情報、並びに、天候や明るさ等の気象環境情報を含む。具体的に、周囲環境検出部61は、周囲環境センサ31から送信される検出データに基づいて走行経路上及び走行経路脇の障害物等を検出する。また、周囲環境検出部61は、車両1から見た障害物等の位置、車両1から障害物等までの距離、及び車両1に対する障害物等の相対速度を算出する。検出される障害物又は遮蔽物は、他車両や歩行者、自転車、建造物、電柱、交通標識、交通信号機、自然物、その他の車両の周囲に存在するあらゆる検出対象を含む。また、道路上の白線を検出するなどの車線認識機能を備えていてもよい。周囲環境検出部61は、GPSセンサ37を介して取得される車両1の地図データ上の位置の情報及び進行方向前方の道路情報を用いて障害物等を検出してもよい。
(Ambient environment detection unit)
The surrounding
また、周囲環境検出部61は、前方撮影カメラ31LF,31RFあるいは後方撮影カメラ31Rから送信される画像データに基づいて天候や明るさ等の気象環境情報を検出する。気象環境の情報は、例えば移動体通信等の無線通信手段を介してテレマティクスサービスから取得される情報に基づいて検出されてもよく、雨滴センサや照度計等のセンサを用いて検出されてもよい。周囲環境検出部61は、検出した周囲環境の情報を、時系列のデータとして記憶部53に記憶する。周囲環境の情報は、ドライバの情報とともに運転環境情報を構成する。
The surrounding
(ドライバ検出部)
ドライバ検出部63は、車両1のドライバの情報を検出する。具体的に、ドライバ検出部63は、車内撮影カメラ33から送信される検出データに基づいて、運転席に座るドライバの顔認識処理を実行し、ドライバの識別を行う。ドライバの識別は、例えば運転支援装置50の起動時等、車内撮影カメラ33によって運転席に座る乗員が検出されたときに実行されてもよい。また、ドライバ検出部63は、車内撮影カメラ33から送信される検出データに基づいて、ドライバの視線の向きを検出する。ドライバ検出部63は、検出したドライバの視線の向きを、時系列のデータとして記憶部53に記憶する。ドライバの情報は、周囲環境の情報とともに運転環境情報を構成する。なお、ドライバの識別は、乗員によるタッチパネル等への操作入力により行われてもよい。
(Driver detection unit)
The
(走行状態検出部)
走行状態検出部65は、車両状態センサ35から送信される検出データに基づいて車両1の操作状態及び挙動の情報を検出する。走行状態検出部65は、ステアリングホイールあるいは操舵輪の操舵角、アクセル開度、ブレーキ操作量又はエンジン回転数等の車両1の操作状態、及び、車速、前後加速度、横加速度、ヨーレート等の車両の挙動の情報を取得し、これらの情報を、時系列のデータとして記憶部53に記憶する。
(Running condition detection unit)
The driving
(判定部)
判定部67は、手動運転中に取得された運転環境情報に基づいて、ドライバの運転操作が学習に適した運転操作であるか否かを判定する。例えば判定部67は、車両1の挙動が安定しているか否か、車両1の走行状態が交通法規を遵守しているか否か、天候や明るさ等の気象条件が良好であるか否か、あるいはドライバの挙動が自然であるか否かのいずれか一つ又は複数を判定することによって、学習に適した運転操作であるか否かを判定してもよい。
(Determination unit)
The
具体的に、判定部67は、走行状態検出部65により検出された車両1の加減速度や角速度が所定の閾値を超える場合や、車速が法定速度を所定以上超えている又は下回っている場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、周囲環境検出部61により検出された情報に基づき、降雨量又は降雪量が所定量を超えると判定される場合や、周囲の明るさが所定以下と判定される場合、霧や靄等によって視界が所定距離未満になっていると判定される場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、ドライバ検出部63により検出されたドライバの情報に基づき、ドライバが目を閉じていたり脇見運転をしていると判定される場合に、学習に適していない運転操作であると判定してもよい。判定部67は、各時刻における運転環境情報に対して、学習に適した運転操作であるか否かの情報を付加して記憶する。
Specifically, the
(学習部)
学習部69は、学習に適した運転操作であると判定された運転環境情報である学習対象データセットを学習用データとして、ドライバの運転特性を学習する運転特性学習処理を実行する。例えば学習部69は、学習対象データセットのうちのドライバの運転操作の情報を、当該運転操作が行われたときの車両1の挙動の情報及び周囲環境の情報と関連付けて運転特性データベース55に記憶する。学習部69は、公知の機械学習モデルを用いて、学習対象データセットを学習用データとして運転特性学習モデルを構築してもよい。機械学習モデルは、例えばランダムフォレストであってもよく、サポートベクタマシン、近傍法、ディープラーニング等のニューラルネットワーク又はベイジアンネットワーク等を用いた計算モデルであってよい。運転特性の学習データは、車両1の自動運転制御中に検出された車両1の周囲環境のデータを入力データとして、車両1の運転条件を設定するために用いられる。
(Learning Department)
The
また、学習部69は、学習対象データセットと、学習に適していない運転操作であると判定された運転環境情報である学習対象外データセットを学習用データとして、学習に適していない運転操作をドライバが実行する運転環境情報を学習する学習処理を実行する。例えば学習部69は、学習対象データセットと学習対象外データセットとを比較して、学習に適していない運転操作であると判定される原因となった運転環境の条件を抽出し、学習対象外データセットに関連付けて学習対象外データ実行時条件データベース57に記憶する。学習に適していない運転操作であると判定される運転環境の条件として、例えば、降雨量又は降雪量が所定量を超えていることや、周囲の明るさが所定以下であること、霧や靄等によって視界が所定距離未満になっていること、ドライバが目を閉じていたり脇見運転をしていることなどが抽出される。
The
学習部69は、上述した公知の機械学習モデルを用いて、抽出した条件の情報と学習対象外データセットとを学習用データとして、個々の運転環境下において、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルを構築する。運転操作推定モデルは、学習対象外データ実行時条件データベースに記憶される。学習データ及び運転操作推定モデルは、車両1の自動運転制御において検出される車両1の周囲環境の情報及びドライバの情報を入力データとして、現在の運転環境下において、学習に適していない運転操作をドライバが実行するか否かを推定するために用いられる。
The
また、学習部69は、運転操作推定モデルを構築する際に、周囲環境に含まれる対象物ごとに、学習に適していないと判定された運転操作への影響度を求め、対象物の影響度の情報を対象物影響度データベース59に記憶する。周囲環境に含まれる対象物とは、車両1の走行経路上又は走行経路脇に存在する種々の障害物や遮蔽物である。また、対象物の影響度とは、それぞれの対象物に対する見えにくさや注意力の低下度等、走行安全の低下につながり得る影響度である。学習部69は、学習に適していないと判定された運転操作時の条件下で、それぞれの対象物の種類についてドライバからの見えにくさや、注意力の低下度を求める。対象物の影響度は、例えばあらかじめ設定された複数段階で評価することができるが、影響度の評価方法は特に限定されない。
In addition, when constructing the driving operation estimation model, the
例えば学習部69は、Permutation Importanceの手法を用いて、運転操作推定モデルがどの対象物を認識できないリスクを考慮して学習に適していないと判定したかを分析し、分析結果を学習に適していない運転操作であると判定される運転環境の条件に関連付けて対象物影響度データベース59に記憶する。ただし、学習に適していないとの判断結果への対象物の影響度の分析方法は、Permutation Importanceの手法を用いる例に限定されない。
For example, the
(推定部)
推定部71は、車両1の自動運転制御において、現在の運転環境下において、学習に適していない運転操作をドライバが実行すると推定される場合に、学習に適していない運転操作をドライバが実行すると推定される条件を特定し、ドライバが認識していない周囲環境の対象物(以下、「非認識対象物」ともいう)を推定する。具体的に、推定部71は、車両1の自動運転制御中に取得される車両1の周囲環境の情報及びドライバの情報を運転操作推定モデルへ入力し、得られた推定結果に基づいて、現在の運転環境下において、学習に適していない運転操作をドライバが実行するか否かを判定する。つまり、推定部71は、車両1の自動運転制御において、現在の運転環境が、仮に車両1が手動運転中であった場合に学習に適していない運転操作をドライバが実行する運転環境に相当するか否かを判定する。
(Estimation section)
In the case where it is estimated that the driver will perform a driving operation that is not suitable for learning under the current driving environment in the automatic driving control of the
また、推定部71は、現在の運転環境下において、学習に適していない運転操作をドライバが実行すると推定された場合、学習対象外データ実行時条件データベース57に蓄積された学習データを参照して、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定する。例えば、降雨量又は降雪量が所定量を超え、周囲の明るさが所定以下であり、霧や靄等によって視界が所定距離未満になっており、あるいはドライバが目を閉じていたり脇見運転をしている場合、これらの条件が、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件として特定される。
In addition, when it is estimated that the driver will perform a driving operation that is not suitable for learning in the current driving environment, the
さらに、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、周囲環境として検出されている周囲車両や障害物等のうちドライバが認識していない非認識対象物を推定する。具体的に、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件に対して影響度が大きい周囲環境の対象物を特定する。また、推定部71は、周囲環境として検出されている周囲車両や障害物等のうち、特定した対象物に対応する障害物等を非認識対象物に設定する。
Furthermore, the
なお、本実施形態において、推定部71は、運転操作推定モデルによる推定結果の情報を取得する取得部としての機能を有する。
In this embodiment, the
(運転条件設定部)
運転条件設定部73は、車両1の自動運転制御において、基本的に、車両1の進行方向前方に存在する障害物との衝突を回避するように車両1の運転条件を設定する。例えば運転条件設定部73は、車両1の自動運転制御において、自車両と障害物との衝突を回避可能な走行軌道を設定するとともに、当該走行軌道に沿って車両1を走行させるための目標操舵角を設定する。例えば運転条件設定部73は、車両1が歩行者や周囲車両、その他障害物に衝突する可能性を示す指標であるリスクポテンシャルを用いて車両1の走行軌道を設定してもよい。この場合、障害物との距離が近いほど衝突リスクが高くなるようにリスクポテンシャルが設定され、運転条件設定部73は、衝突リスクがより小さくなる軌道上を車両1が走行するように走行軌道を設定する。また、車速が小さいほど衝突リスクが小さくなるようにリスクポテンシャルが設定されている場合、運転条件設定部73は、走行軌道及び車速を設定することにより、衝突リスクを低下させてもよい。
(Operation condition setting section)
In the automatic driving control of the
また、本実施形態において、運転条件設定部73は、学習部69により学習された運転特性学習モデルを用いて、ドライバの運転特性を反映した運転条件を設定する。例えば運転条件設定部73は、学習されたドライバの運転特性に基づいてリスクポテンシャルの高さ又は設定範囲を補正することで、実現される自動運転制御にドライバの運転特性を反映させる。運転条件設定部73は、設定した運転条件の情報を車両制御部41へ送信する。運転条件の情報を受信した車両制御部41は、設定された運転条件の情報に基づいてそれぞれの制御装置の駆動を制御する。これにより、ドライバの運転特性が反映された自動運転制御が実現される。
In addition, in this embodiment, the driving
(通知制御部)
通知制御部75は、HMI43の駆動を制御することにより車両1の乗員に対して通知を行う。本実施形態では、通知制御部75は、推定部71により非認識対象物の存在が推定された場合に、当該推定された非認識対象物の情報をドライバへ通知する。通知制御部75は、警告音や音声を出力したり、画像表示やテキスト表示を行うことによって、非認識対象物の情報を通知する。具体的な通知方法は特に限定されるものではなく、一定の警告音や音声を出力したり、画像表示やテキスト表示を行ったりしてもよく、あるいは、非認識対象物の位置を通知してもよい。また、通知制御部75は、非認識対象物の情報と併せて、推定された非認識対象物の存在に起因して設定された運転条件の情報をドライバへ通知してもよい。
(Notification control section)
The
<3.運転支援装置の動作>
続いて、本実施形態に係る運転支援装置の動作例をフローチャートに沿って具体的に説明する。以下、手動運転時に実行される学習フェーズの処理と、自動運転時に実行される実行フェーズの処理とに分けて、運転支援装置の動作の例を説明する。
3. Operation of the driving support device
Next, an example of the operation of the driving support device according to the present embodiment will be specifically described with reference to a flowchart. Below, the example of the operation of the driving support device will be described by dividing the process into a learning phase executed during manual driving and an execution phase executed during automatic driving.
(3-1.学習フェーズの処理)
図3は、学習フェーズにおいて実行される処理の一例を示すフローチャートである。
まず、運転支援装置50を含む車載システムが起動されると(ステップS11)、制御部51の運転条件設定部73は、車両1が手動運転中であるか否かを判定する(ステップS13)。例えば運転条件設定部73は、運転モードの切替スイッチが手動運転モードに設定されているか否かを判定する。例えば運転モードは、車両1の乗員による操作入力に基づいて切り替えられるように構成される。車両1が手動運転中でない場合(S13/No)、制御部51は、実行フェーズの処理へ移行する。
(3-1. Learning Phase Processing)
FIG. 3 is a flowchart showing an example of a process executed in the learning phase.
First, when the in-vehicle system including the driving
一方、車両1が手動運転中である場合(S13/Yes)、制御部51は、車両1の運転環境情報を取得する(ステップS15)。具体的に、制御部51の周囲環境検出部61は、周囲環境センサ31から送信される検出データを取得し、当該検出データに基づいて車両1の周囲環境の情報を検出する。本実施形態において、周囲環境検出部61は、周囲環境センサ31から送信される検出データに基づいて、少なくとも車両1の走行経路上や走行経路脇に存在する他車両や人物、建造物、交通標識、白線等を検出する。また、制御部51のドライバ検出部63は、車内撮影カメラ33から送信される画像データに基づいて、ドライバの顔及び視線の向きの情報を検出する。また、制御部51の走行状態検出部65は、車両状態センサ35から送信される検出データに基づいて、車両1の操作状態及び挙動の情報を検出する。
On the other hand, if the
次いで、制御部51の判定部67は、取得された運転環境情報が学習に適した運転操作の実行時に検出されたデータであるか否かを判定する(ステップS17)。例えば判定部67は、車両1の挙動が安定しているか否か、車両1の走行状態が交通法規を遵守しているか否か、天候や明るさ等の気象条件が良好であるか否か、あるいはドライバの挙動が自然であるか否かのいずれか一つ又は複数を判定することによって、学習に適した運転操作であるか否かを判定してもよい。学習に適した運転操作の実行時に検出された運転環境情報のデータは、学習対象データセットとして記憶される。
Next, the
具体的に、判定部67は、走行状態検出部65により検出された車両1の加減速度や角速度が所定の閾値を超える場合や、車速が法定速度を所定以上超えている又は下回っている場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、周囲環境検出部61により検出された情報に基づき、降雨量又は降雪量が所定量を超えると判定される場合や、周囲の明るさが所定以下と判定される場合、霧や靄等によって視界が所定距離未満になっていると判定される場合に、学習に適していない運転操作であると判定してもよい。また、判定部67は、ドライバ検出部63により検出されたドライバの情報に基づき、ドライバが目を閉じていたり脇見運転をしていると判定される場合に、学習に適していない運転操作であると判定してもよい。
Specifically, the
次いで、制御部51の学習部69は、ステップS17の判定結果に基づいて、取得された運転環境情報が学習対象データセットであるか否かを判別する(ステップS19)。取得された運転環境情報が学習対象データセットである場合(S19/Yes)、学習部69は、学習対象データセットを学習用データとして、運転特性学習処理を実行する(ステップS21)。例えば学習部69は、ドライバの運転操作の情報を、当該運転操作が行われたときの車両1の挙動の情報及び周囲環境の情報と関連付けて運転特性データベース55に記憶する。学習部69は、公知の機械学習モデルを用いて、学習に適した運転操作であると判定された運転環境情報である学習対象データセットを学習用データとして、運転特性学習モデルを構築してもよい。
Next, the
取得された運転環境情報が学習対象データセットである場合(S19/Yes)にはステップS21において運転特性学習処理が実行された後、また、取得された運転環境情報が学習対象データセットでない場合(S19/No)には運転特性学習処理を実行せずに、学習部69は、取得された運転環境情報とこれまでに記憶されている運転環境情報とを用いて、学習対象データセットと学習対象外データセットとを比較し、差分を抽出する(ステップS23)。例えば死角を生む遮蔽物の見えやすさが昼夜で変わるような運転環境の場合、運転環境の差分として、昼間又は夜間の違い、及び当該遮蔽物に視線を向けている又は向けていないの違いが抽出される。学習部69は、地図データ上の走行位置が同じ地点を走行した際に取得された学習対象データセットと学習対象外データセットとを比較してもよい。これにより、少なくとも同じ道路条件における学習対象データセットと学習対象外データセットとが比較され、学習に適していない運転操作が行われる条件の推定精度を高めることができる。
If the acquired driving environment information is the learning target data set (S19/Yes), the driving characteristic learning process is executed in step S21. If the acquired driving environment information is not the learning target data set (S19/No), the driving characteristic learning process is not executed. Instead, the
次いで、学習部69は、学習対象データセットと学習対象外データセットとの差分に基づいて、学習に適していない運転操作であると判定される原因となった運転環境の条件を抽出し、学習対象外データ実行時条件データベース57に記憶する(ステップS25)。例えば上述の死角を生む遮蔽物の見えやすさが昼夜で変わるような運転環境の場合、学習に適していない運転操作であると判定される原因となった運転環境の条件として、夜間及び当該遮蔽物に視線を向けていないことが抽出される。
Next, the
次いで、学習部69は、抽出した運転環境の条件の情報と学習対象外データセットとを学習用データとして、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルを構築する(ステップS27)。さらに、学習部69は、周囲環境に含まれる対象物ごとに、学習に適していないと判定された運転操作への影響度を求め、対象物の影響度の情報を対象物影響度データベース59に記憶する(ステップS29)。例えば学習部69は、Permutation Importanceの手法を用いて、運転操作推定モデルがどの障害物を認識できないリスクを考慮して学習に適していないと判定したかを分析し、障害物や遮蔽物の種類ごとに影響度を求める。
Next, the
次いで、学習部69は、求めた対象物の影響度の情報を、学習に適していないと判定された運転操作時の運転環境の条件と関連付けて、対象物影響度データベース59に記憶する(ステップS31)。次いで、制御部51は、車載システムが停止したか否かを判定する(ステップS33)。車載システムが停止した場合(S33/Yes)、制御部51は、制御処理を終了する。一方、車載システムが停止していない場合(S33/No)、ステップS13に戻って、これまで説明した各ステップの処理を繰り返し実行する。
Next, the
このようにして、車両1の手動運転時においては、学習に適した運転操作を実行したときの運転環境情報に基づいて運転特性学習モデルが構築される。また、車両1の手動運転時においては、車両1の運転環境が、学習に適していない運転操作を実行し得る運転環境に相当するか否かを推定する運転操作推定モデルが構築される。さらに、車両1の手動運転時においては、ドライバが学習に適していない運転操作を実行し得る運転環境の条件が学習されるとともに、学習に適していない運転操作へ影響し得る周囲環境の対象物及び対象物ごとの影響度が学習される。運転支援装置50は、ドライバごとに、これらの学習データを記憶することができる。
In this way, when the
(3-2.実行フェーズの処理)
図4は、実行フェーズにおいて実行される処理の一例を示すフローチャートである。
まず、運転支援装置50を含む車載システムが起動されると(ステップS41)、ステップS13の処理と同様に、運転条件設定部73は、車両1が自動運転制御中であるか否かを判定する(ステップS43)。車両1が自動運転制御中でない場合(S43/No)、制御部51は、学習フェースの処理へ移行する。
(3-2. Processing in the Execution Phase)
FIG. 4 is a flowchart showing an example of a process executed in the execution phase.
First, when the in-vehicle system including the driving
一方、車両1が自動運転制御中である場合(S43/Yes)、ステップS15の処理と同様に、制御部51は、車両1の運転環境情報を取得する(ステップS45)。具体的に、制御部51の周囲環境検出部61は、周囲環境センサ31から送信される検出データを取得し、当該検出データに基づいて車両1の周囲環境の情報を検出する。また、制御部51のドライバ検出部63は、車内撮影カメラ33から送信される画像データに基づいて、ドライバの顔及び視線の向きの情報を検出する。また、制御部51の走行状態検出部65は、車両状態センサ35から送信される検出データに基づいて、車両1の操作状態及び挙動の情報を検出する。
On the other hand, if the
次いで、推定部71は、取得した運転環境情報のうち、周囲環境の情報及びドライバの情報を入力データとして、運転操作推定モデルに基づいて、現在の運転環境下において、学習に適していない運転操作をドライバが実行するかを推定する(ステップS47)。つまり、推定部71は、車両1の自動運転制御において、仮に車両1が手動運転中であった場合に、現在の運転環境下においてドライバが学習に適していない運転操作を実行するか否かを判定する。
Next, the
次いで、推定部71は、ステップS47の推定結果に基づいて、現在の運転環境下において、学習に適していない運転操作をドライバが実行するかを判別する(ステップS49)。ドライバが学習に適していない運転操作を実行すると判定されない場合(S49/No)、ステップS45に戻って、上述した各ステップの処理を繰り返す。一方、ドライバが学習に適していない運転操作を実行すると判定される場合(S49/Yes)、推定部71は、周囲環境の対象物のうち、運転操作へ影響を及ぼす対象物を抽出する(ステップS51)。具体的に、推定部71は、学習対象外データ実行時条件データベース57に蓄積された学習データを参照して、学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定する。さらに、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、周囲環境として検出されている周囲車両や障害物等のうちドライバが認識していない対象物を推定する。
Next, the
次いで、推定部71は、対象物影響度データベース59に蓄積された情報に基づいて、抽出した対象物それぞれの影響度を評価する(ステップS53)。本実施形態では、推定部71は、影響度が最も大きい対象物を、ドライバが認識していない非認識対象物に設定する。次いで、制御部51の通知制御部75は、抽出された対象物及び対象物の影響度に基づいて推定された非認識対象物の情報をドライバへ通知する(ステップS55)。例えば通知制御部75は、警告音や音声を出力したり、画像表示やテキスト表示を行うことによって、非認識対象物の対象や位置の情報をドライバへ通知する。また、通知制御部75は、非認識対象物の情報と併せて、推定された非認識対象物の存在に起因して設定された運転条件の情報をドライバへ通知してもよい。
Next, the
次いで、制御部51の運転条件設定部73は、運転特性学習データに基づいて、車両1の自動運転制御の運転条件を設定する(ステップS57)。例えば運転条件設定部73は、障害物との衝突のリスクや走行路からの逸脱のリスクを設定したリスクポテンシャルを用いて、リスクがより小さくなる軌道上を車両1が走行するように走行軌道及び車速を設定する。その際に、学習対象データセットを用いて学習した運転特性学習データに基づいてリスクポテンシャルの高さ又は設定範囲を補正する。これにより、実現される自動運転制御にドライバの運転特性が反映される。
Next, the driving
次いで、制御部51は、車載システムが停止したか否かを判定する(ステップS59)。車載システムが停止した場合(S59/Yes)、制御部51は、制御処理を終了する。一方、車載システムが停止していない場合(S59/No)、ステップS43に戻って、これまで説明した各ステップの処理を繰り返し実行する。
Next, the
このようにして、車両1の自動運転制御時においては、ドライバごとの運転特性の学習データを反映させて車両1の自動運転制御が実行される。その際に、仮に手動運転時であった場合にドライバが学習に適していない運転操作を実行すると判定され得る運転環境に相当する場合には、当該学習に適していない運転操作と判定される運転環境の条件を特定するとともに、そのような運転環境下でドライバが認識していない非認識対象物が推定され、当該非認識対象物に関連する情報がドライバへ通知される。したがって、非認識対象物に起因して車両1の運転条件が設定された場合に、ドライバはその原因を知ることができ、ドライバの違和感を低減することができる。
In this way, during automatic driving control of
<4.適用事例>
ここまで本実施形態に係る運転支援装置50について説明した。以下、本実施形態に係る運転支援装置50を適用した走行シーンの例の幾つかを説明する。
<4. Application Examples>
The driving
(4-1.第1の適用事例)
図5~図6は、第1の適用事例を説明するための図であり、それぞれ車両1が見通しの悪いT字路を直進通過する走行シーンを示す説明図である。図5は、昼間及び夜間の手動運転中の運転環境を示し、図6は、昼間及び夜間の自動運転制御中の運転環境を示している。
(4-1. First Application Example)
5 and 6 are diagrams for explaining the first application example, each showing a driving scene in which the
図5に示す手動運転時において、昼間は明るく相対的に前方を見やすい状況であるため、ドライバは、側壁101による死角の存在に気付き、車両1を十分に減速させてT字路を通過する。運転支援装置50は、当該昼間の運転操作を学習に適した運転操作であると判定し、このときに取得された運転環境情報を学習対象データセットとして、ドライバの運転特性を学習する。
During manual driving as shown in FIG. 5, since it is bright during the day and it is relatively easy to see ahead, the driver notices the presence of a blind spot caused by the
一方、夜間は暗く相対的に前方を見にくい状況であるため、ドライバは、側壁101による死角の存在に気付かず、減速することなくT字路を通過する。運転支援装置50は、当該夜間の運転操作を、学習に適していない運転操作であると判定し、このときに取得された運転環境情報を学習対象外データセットとする。この場合、運転支援装置50は、学習対象データセットと学習対象外データセットとを比較した差分として「昼間又は夜間」を抽出するとともに、学習に適していない運転操作であると判定された条件が「夜間」であると特定する。さらに、運転支援装置50は、ドライバが側壁101に気付かずに車両1を減速させることなくT字路を通過していることから、当該夜間の運転環境において、周囲環境に存在する側壁101の影響度を高く評価する。
On the other hand, at night, it is dark and relatively difficult to see ahead, so the driver does not notice the blind spot caused by the
図6に示す自動運転制御時において、昼間及び夜間ともに、運転支援装置50は、死角を生じさせる側壁101の存在を検知し、自動運転制御により車両1を十分に減速させてT字路を通過させる。このとき、昼間であれば、ドライバも側壁101による死角の存在に気付くため、自動運転制御により車両1が減速しても違和感を覚えることがない。一方、夜間において、ドライバが側壁101に気付かないとすると、自動運転制御により車両1が減速すると、その原因が不明であるためドライバが違和感を覚える。
During the automatic driving control shown in FIG. 6, both during the day and at night, the driving
しかしながら、運転支援装置50は、当該夜間の運転環境下において、ドライバが学習に適していない運転操作を実行すると判定し、対象物影響度データベース59に記憶された情報に基づいて、周囲環境に存在する側壁101をドライバが認識していないと推定する。運転支援装置50は、認識していないと推定される側壁101あるいは側壁101による死角の存在について、ドライバに通知する。運転支援装置50は、例えば「右前方に見えにくい飛び出しポイントがあるため減速します」等の音声通知を行う。これにより、ドライバは、自動運転制御により車両1が減速した原因を知ることができ、ドライバが覚える違和感を低減することができる。
However, the driving
(4-2.第2の適用事例)
図7~図8は、第2の適用事例を説明するための図であり、それぞれ車両1が交差点を右折する際に、右折先に横断歩道を横断しようとする歩行者がいる走行シーンを示す説明図である。図7は、昼間及び夜間かつ降雨時の手動運転中の運転環境を示し、図8は、昼間及び夜間かつ降雨時の自動運転制御中の運転環境を示している。
(4-2. Second application example)
7 and 8 are diagrams for explaining the second application example, each of which is an explanatory diagram showing a driving scene in which the
図7に示す手動運転時において、昼間は明るく相対的に前方を見やすい状況であるため、ドライバは、横断歩道を横断しようとする歩行者103の存在に気付き、歩行者103が横断し終えるまで車両1を一時停止させ、歩行者103が横断し終えた後に車両1を進行させる。運転支援装置50は、当該昼間の運転操作を、学習に適した運転操作であると判定し、このときに取得された運転環境情報を学習対象データセットとして、ドライバの運転特性を学習する。
During manual driving as shown in FIG. 7, because it is bright during the day and the road ahead is relatively easy to see, the driver notices the presence of a
一方、夜間は暗く相対的に前方を見にくい状況であるため、ドライバは、横断歩道を横断しようとする歩行者103の存在に気付かず、一時停止することなく交差点を右折する。運転支援装置50は、当該夜間の運転操作を、学習に適していない運転操作であると判定し、このときに取得された運転環境情報を学習対象外データセットとする。この場合、運転支援装置50は、学習対象データセットと学習対象外データセットとを比較した差分として「昼間又は夜間」及び「晴又は降雨」を抽出するとともに、学習に適していない運転操作であると判定された条件が「夜間かつ降雨」であると特定する。さらに、運転支援装置50は、ドライバが歩行者103に気付かずに交差点を右折した結果、歩行者とニアミスの状態になったことから、当該夜間の運転環境において、周囲環境に存在する歩行者103の影響度を高く評価する。
On the other hand, at night, it is dark and relatively difficult to see ahead, so the driver does not notice the presence of the
図8に示す自動運転制御時において、昼間及び夜間ともに、運転支援装置50は、横断歩道を横断しようとする歩行者103の存在を検知し、自動運転制御により車両1を一旦停止させ、歩行者が横断し終えた後に車両1を進行させる。このとき、昼間であれば、ドライバも歩行者103の存在に気付くため、自動運転制御により車両1が一旦停止しても違和感を覚えることがない。一方、夜間において、ドライバが歩行者103に気付かないとすると、自動運転制御により車両1が一旦停止すると、その原因が不明であるためドライバが違和感を覚える。
During the automatic driving control shown in FIG. 8, both during the day and at night, the driving
しかしながら、運転支援装置50は、当該夜間の運転環境下において、ドライバが学習に適していない運転操作を実行すると判定し、対象物影響度データベース59に記憶された情報に基づいて、周囲環境に存在する歩行者103をドライバが認識していないと推定する。運転支援装置50は、認識していないと推定される歩行者103の存在について、ドライバに通知する。運転支援装置50は、例えば「右折先に歩行者がいるため一時停止します」等の音声通知を行う。これにより、ドライバは、自動運転制御により車両1が一時停止した原因を知ることができ、ドライバが覚える違和感を低減することができる。
However, the driving
<5.まとめ>
以上のように、本実施形態に係る運転支援装置50は、手動運転時において学習に適した運転操作が行われたときに取得された学習対象データセットを学習データとして、ドライバの運転特性を学習する。このため、車両1の挙動が安定し、前方の障害物や遮蔽物による死角の見落としのおそれが少ない等、ドライバによる適切な運転操作を学習した結果に基づいて車両1の自動運転制御時の運転条件を設定することができる。したがって、ドライバの手動運転時の運転特性を反映した自動運転制御を実行するにあたり、安全かつ安定した自動運転制御を実現することができる。
<5. Summary>
As described above, the driving
また、本実施形態に係る運転支援装置50は、手動運転時において学習に適していない運転操作が行われたときに取得された学習対象外データセットに基づいて、ドライバが学習に適していない運転操作を行い得る運転環境の条件と、学習に適していない運転操作へ影響する周囲環境の対象物及び当該対象物の影響度とを学習する。このため、車両1の自動運転制御中において、ドライバが手動運転をしていると仮定した場合に障害物等を見落としたり注意力が低下したりする等の学習に適していない運転操作を行うことを推定することができるとともに、当該運転環境においてドライバが認識しない非認識対象物を推定することができる。そして、運転支援装置50は、当該非認識対象物に関連する情報をドライバに通知するため、非認識対象物に起因して車両1の操舵角が変化したり加減速したりしたときにドライバが覚える違和感を低減することができる。
The driving
また、本実施形態に係る運転支援装置50において、非認識対象物に関連する情報と併せて、非認識対象物に起因して設定された運転条件の情報を通知することにより、ドライバは、車両1が示す挙動を知ることができる。したがって、ドライバが覚える違和感をより低減することができる。
In addition, in the driving
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiment of the present disclosure has been described in detail above with reference to the attached drawings, the present disclosure is not limited to such examples. It is clear that a person with ordinary knowledge in the technical field to which the present invention pertains can conceive of various modified or revised examples within the scope of the technical ideas described in the claims, and it is understood that these also naturally fall within the technical scope of the present disclosure.
例えば、上記実施形態では、車両1に搭載された運転支援装置50が学習機能を備えていたが、本開示はかかる例に限定されない。例えば運転支援装置50が有する学習機能の一部又は全部が、移動体通信手段を介して通信可能なサーバ装置に設けられ、運転支援装置50は、当該サーバ装置に対してデータを送受信するように構成されていてもよい。
For example, in the above embodiment, the driving
また、上記実施形態では、学習に適していない運転操作を前記ドライバが実行するかを推定するための運転操作推定モデルが用いられ、制御部51は、運転操作推定モデルにより学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定するとともにドライバが認識していない非認識対象物を推定していたが、本開示はかかる例に限定されない。上記運転操作推定モデルは、学習に適していない運転操作をドライバが実行し得る運転環境であるかを推定するための運転環境推定モデルであってもよい。この場合、運転環境推定モデルからは、例えば学習に適していない運転操作をドライバが実行し得る運転環境であるか否かの推定結果が出力される。
In addition, in the above embodiment, a driving operation estimation model is used to estimate whether the driver will perform a driving operation that is not suitable for learning, and the
また、上記制御部51を構成するプロセッサに、自動運転制御中に取得される車両の走行状態の情報及び周囲環境の情報を含む運転環境情報を、手動運転中に取得された運転特性の学習に適した運転操作であると判定されたときの運転環境情報である学習対象データセット及び学習に適していない運転操作であると判定されたときの運転環境情報である学習対象外データセットを学習用データとする学習により構築されて、学習に適していない運転操作をドライバが実行するかを推定するための運転操作推定モデルへ入力して得られた推定結果を取得することと、推定結果が、学習に適していない運転操作をドライバが実行するとの推定結果である場合、学習対象データセットと学習対象外データセットとを比較して抽出される、学習に適していない運転操作であると判定された運転環境の条件の蓄積情報に基づいて、運転操作推定モデルにより学習に適していない運転操作をドライバが実行すると推定された運転環境の条件を特定するとともにドライバが認識していない非認識対象物を推定することと、推定された非認識対象物に関連する情報をドライバへ通知することと、を含む動作を実行させるコンピュータプログラムを記憶した記憶媒体も本開示の技術的範囲に属する。
In addition, a storage medium that stores a computer program that causes a processor constituting the
1…車両、31…周囲環境センサ、33…車内撮影カメラ、35…車両状態センサ、50…運転支援装置、51…制御部、55…運転特性データベース、57…学習対象外データ実行時条件データベース、59…対象物影響度データベース、61…周囲環境検出部、63…ドライバ検出部、65…走行状態検出部、67…判定部、69…学習部、71…推定部、73…運転条件設定部、75…通知制御部
1...vehicle, 31...surrounding environment sensor, 33...in-vehicle camera, 35...vehicle condition sensor, 50...driving support device, 51...control unit, 55...driving characteristics database, 57...non-learning data execution condition database, 59...object influence degree database, 61...surrounding environment detection unit, 63...driver detection unit, 65...driving condition detection unit, 67...determination unit, 69...learning unit, 71...estimation unit, 73...driving condition setting unit, 75...notification control unit
Claims (5)
自動運転制御中に取得される車両の走行状態の情報及び周囲環境の情報を含む運転環境情報を、
手動運転中に取得された前記運転特性の学習に適した運転操作であると判定されたときの前記運転環境情報である学習対象データセット及び前記学習に適していない運転操作であると判定されたときの前記運転環境情報である学習対象外データセットを学習用データとする学習により構築されて、前記学習に適していない運転操作を前記ドライバが実行するかを推定するための運転操作推定モデルへ入力して得られた推定結果を取得する、取得部と、
前記推定結果が、前記学習に適していない運転操作を前記ドライバが実行するとの推定結果である場合、
前記学習対象データセットと前記学習対象外データセットとを比較して抽出される、前記学習に適していない運転操作であると判定された運転環境の条件の蓄積情報に基づいて、
前記運転操作推定モデルにより前記学習に適していない運転操作を前記ドライバが実行すると推定された運転環境の条件を特定するとともに前記ドライバが認識していない非認識対象物を推定する、推定部と、
推定された前記非認識対象物に関連する情報を前記ドライバへ通知する、通知制御部と、
を備えた運転支援装置。 A driving assistance device that learns driving characteristics of a driver during manual driving of a vehicle and reflects the driving characteristics of the driver in automatic driving control of the vehicle,
Driving environment information including vehicle driving state information and surrounding environment information acquired during autonomous driving control,
an acquisition unit that acquires an estimation result obtained by inputting a learning target data set, which is the driving environment information when the driving operation is determined to be suitable for learning the driving characteristics acquired during manual driving, and a non-learning target data set, which is the driving environment information when the driving operation is determined to be unsuitable for the learning, into a driving operation estimation model for estimating whether the driver will perform the driving operation that is unsuitable for the learning; and
When the estimation result is an estimation result that the driver performs a driving operation that is not suitable for the learning,
Based on accumulated information on conditions of a driving environment determined to be a driving operation not suitable for the learning, which is extracted by comparing the learning target dataset with the learning non-target dataset,
an estimation unit that specifies a driving environment condition in which the driver is estimated to perform a driving operation that is not suitable for the learning by the driving operation estimation model, and estimates a non-recognized object that is not recognized by the driver;
a notification control unit that notifies the driver of information related to the estimated unrecognized object;
A driving assistance device equipped with the above.
前記学習対象データセットと前記学習対象外データセットとを比較して抽出される、前記学習に適していない運転操作であると判定された前記運転環境の条件の情報を蓄積するデータベースと、
前記学習対象データセット及び前記学習対象外データセットを学習用データとして学習を行い前記運転操作推定モデルを生成する学習部と、
をさらに含む、請求項1に記載の運転支援装置。 a determination unit that determines whether a driving operation is suitable for learning based on the driving environment information acquired during manual driving;
A database that accumulates information on the conditions of the driving environment that are determined to be driving operations that are not suitable for the learning, the information being extracted by comparing the learning target dataset with the learning non-target dataset; and
a learning unit that performs learning using the training data set and the non-training data set as training data to generate the driving operation estimation model;
The driving assistance device of claim 1 , further comprising:
前記学習部は、ドライバごとに前記運転操作推定モデルを生成する、請求項2に記載の運転支援装置。 The database accumulates information on the conditions of the driving environment that are determined to be driving operations that are not suitable for the learning for each driver,
The driving assistance device according to claim 2 , wherein the learning unit generates the driving performance estimation model for each driver.
前記通知制御部は、前記自動運転制御中に、前記推定された前記非認識対象物の情報のうちの前記影響度の大きい前記非認識対象物に関連する情報を前記ドライバへ通知する、請求項2又は3のいずれか1項に記載の運転支援装置。 the learning unit calculates, for each object included in the surrounding environment of the vehicle, a degree of influence on the driving operation determined to be unsuitable for the learning based on the learned driving operation estimation model;
4. The driving assistance device according to claim 2, wherein the notification control unit notifies the driver of information related to the non-recognized object having a large influence among the information of the estimated non-recognized object during the autonomous driving control.
The driving assistance device according to any one of claims 1 to 4, wherein the notification control unit notifies information of driving conditions set due to the non-recognized object together with information related to the estimated non-recognized object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021028026A JP7548847B2 (en) | 2021-02-25 | 2021-02-25 | Driving Support Devices |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021028026A JP7548847B2 (en) | 2021-02-25 | 2021-02-25 | Driving Support Devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022129400A JP2022129400A (en) | 2022-09-06 |
JP7548847B2 true JP7548847B2 (en) | 2024-09-10 |
Family
ID=83150725
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021028026A Active JP7548847B2 (en) | 2021-02-25 | 2021-02-25 | Driving Support Devices |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7548847B2 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013178827A (en) | 2013-06-03 | 2013-09-09 | Denso Corp | Driving situation estimation device and driving support system |
JP2017021546A (en) | 2015-07-10 | 2017-01-26 | 田山 修一 | Image displaying system, and method, for on-vehicle use |
JP2018152020A (en) | 2017-03-15 | 2018-09-27 | 株式会社東芝 | Spatial information calculation device for mobile object and collision prevention system |
JP2019127207A (en) | 2018-01-26 | 2019-08-01 | 株式会社デンソーテン | Driving support device and method of learning driving characteristics |
JP2019179372A (en) | 2018-03-30 | 2019-10-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and program |
-
2021
- 2021-02-25 JP JP2021028026A patent/JP7548847B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013178827A (en) | 2013-06-03 | 2013-09-09 | Denso Corp | Driving situation estimation device and driving support system |
JP2017021546A (en) | 2015-07-10 | 2017-01-26 | 田山 修一 | Image displaying system, and method, for on-vehicle use |
JP2018152020A (en) | 2017-03-15 | 2018-09-27 | 株式会社東芝 | Spatial information calculation device for mobile object and collision prevention system |
JP2019127207A (en) | 2018-01-26 | 2019-08-01 | 株式会社デンソーテン | Driving support device and method of learning driving characteristics |
JP2019179372A (en) | 2018-03-30 | 2019-10-17 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022129400A (en) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107176165B (en) | Vehicle control device | |
EP3211616A2 (en) | Driver assistance apparatus | |
US20160328619A1 (en) | Vehicle driving assistance device and vehicle having the same | |
JP2021064118A (en) | Remote autonomous vehicle and vehicle remote command system | |
CN108604413B (en) | Display device control method and display device | |
CN113246993B (en) | driving support system | |
JP2018086874A (en) | Following-start control apparatus of vehicle | |
KR101552017B1 (en) | Performance enhanced driver assistance systems and controlling method for the same | |
EP4149809B1 (en) | Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog | |
JP6631569B2 (en) | Operating state determining apparatus, operating state determining method, and program for determining operating state | |
WO2021235043A1 (en) | Vehicle control device | |
JP2024518934A (en) | Optical interference detection during vehicle navigation | |
JP2022139524A (en) | Drive support device and recording medium | |
JP2022122299A (en) | Drive support device | |
EP3919338A1 (en) | Autonomous driving control method and device | |
JP7548847B2 (en) | Driving Support Devices | |
CN116022139A (en) | Danger avoiding system, danger avoiding control method and vehicle | |
CN115123209A (en) | Driving support device | |
WO2024189867A1 (en) | Risk prediction device, risk prediction method, and recording medium | |
KR102559534B1 (en) | Method and apparatus for supporting driving lines of vehicle in bad weather | |
US20230034419A1 (en) | Vehicle control apparatus | |
KR102541416B1 (en) | Method and apparatus for displaying a HUD image based on realtime traffic information | |
WO2024048180A1 (en) | Information processing device, information processing method, and vehicle control system | |
WO2023053355A1 (en) | Driving assistance device, vehicle, and recording medium recording computer program | |
US20240375613A1 (en) | Information processing device, information processing method, recording medium, and in-vehicle system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240806 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7548847 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |