CN115195752A - 驾驶辅助装置 - Google Patents

驾驶辅助装置 Download PDF

Info

Publication number
CN115195752A
CN115195752A CN202110323498.5A CN202110323498A CN115195752A CN 115195752 A CN115195752 A CN 115195752A CN 202110323498 A CN202110323498 A CN 202110323498A CN 115195752 A CN115195752 A CN 115195752A
Authority
CN
China
Prior art keywords
vehicle
sight
line
passenger
sight line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110323498.5A
Other languages
English (en)
Inventor
丸山雅纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to CN202110323498.5A priority Critical patent/CN115195752A/zh
Priority to US17/676,849 priority patent/US20220306120A1/en
Publication of CN115195752A publication Critical patent/CN115195752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0225Failure correction strategy
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明所要解决的问题在于,提供一种可以高精度地推定乘客的视线的驾驶辅助装置。为了解决上述问题,驾驶辅助装置11具备:周边信息获取部40,用于获取车辆1的周边的周边信息;驾驶员监控摄像头50,用于获取与车辆1的乘客有关的乘客信息;外部信息检测部201,用于基于周边信息来检测包括车辆1的周围的对象物的位置及速度的外部信息;视线推定部202,用于基于乘客信息来推定车辆1的乘客的视线;及,视线校正部203,用于基于由外部信息检测部201检测到的外部信息来校正推定出的视线。

Description

驾驶辅助装置
技术领域
本发明涉及一种驾驶辅助装置。
背景技术
目前已知一种检测驾驶员是否正在看着车镜的技术(例如,参考专利文献1)。专利文献1中所述的车镜控制装置判断驾驶员是否正在看着车镜,并根据判断结果对车镜的镜面角度进行调整。
[现有技术文献]
(专利文献)
专利文献1:日本特开2013-047019号公报
发明内容
[发明所要解决的问题]
但是,判断乘客是否正在看着车镜的技术难度较高,并且需要高精度地推定乘客的视线。
因此,本发明的目的在于提供一种可以高精度地推定乘客的视线的驾驶辅助装置。
本公开的一态样的驾驶辅助装置(例如,后述的驾驶辅助装置11)具备:周边信息获取部(例如,后述的周边信息获取部40),用于获取车辆(例如,后述的车辆1)周边的周边信息;乘客信息获取部(例如,后述的驾驶员监控摄像头50),用于获取与前述车辆的乘客有关的乘客信息;外部信息检测部(例如,后述的外部信息检测部201),用于基于前述周边信息来检测包括前述车辆的周围的对象物的位置及速度的外部信息;视线推定部(例如,后述的视线推定部202),用于基于前述乘客信息来推定前述车辆的乘客的视线;及,视线校正部(例如,后述的视线校正部203),用于基于由前述外部信息检测部检测到的前述外部信息来校正推定出的前述视线。
前述对象物是另一车辆(例如,后述的另一车辆300),当前述外部信息包括在从前述车辆行进方向朝向侧方方向偏移的位置上行驶的前述另一车辆时,前述外部信息检测部计算出前述另一车辆与前述车辆的相对速度,前述视线校正部基于由前述外部信息检测部检测到的前述相对速度来校正前述视线。
前述视线推定部基于前述相对速度来判断前述乘客是否从前述侧视镜对左右方向的特定范围内目视确认了特定时间,当前述乘客从前述侧视镜对左右方向的特定范围内目视确认了特定时间时,前述视线校正部对前述视线进行校正。
当前述另一车辆的相对速度大于或等于特定值时,前述视线推定部判断前述乘客的视线是否从前述侧视镜在左右方向的前述特定范围内跟随前述另一车辆,当判断为前述乘客的视线未跟随前述另一车辆时,推定前述乘客将视线朝向前述侧视镜的方向,前述视线校正部将表示前述侧视镜的视线方向的基准的基准侧视镜视线方向和推定出的前述侧视镜的方向的视线之间的误差作为校正值,来校正前述视线。
前述驾驶辅助装置还具备乘客状况推定部(例如,后述的乘客状况推定部204),所述乘客状况推定部基于前述乘客信息来推定前述车辆的乘客状况,当由前述乘客状况推定部推定出前述乘客佩戴眼镜时,前述视线校正部对前述视线进行校正。
另外,前述视线信息获取部配置在前述车辆的左右方向的中央。
前述对象物是另一车辆(例如,后述的另一车辆300),当前述外部信息包括存在于前述车辆行进方向上的前述另一车辆时,前述外部信息检测部检测前述另一车辆与前述车辆的相对速度,当前述另一车辆的相对速度大于或等于特定量时,前述视线推定部判断前述乘客的视线是否已经改变,而当判断为前述乘客的视线没有改变时,推定前述乘客将视线从驾驶座朝向车辆行进方向,前述视线校正部将表示前述车辆行进方向的基准的基准行进方向和前述推定出的乘客的行进方向视线之间的误差作为校正值,来校正前述视线。
(发明的效果)
根据本发明,能够提供一种可以高精度地推定乘客的视线的驾驶辅助装置。
附图说明
图1是绘示出本实施方式的车辆的构成的框图。
图2是绘示出本实施方式的车辆的驾驶辅助装置的功能构成的图。
图3是绘示出当另一车辆在从车辆行进方向朝向侧方方向偏移的位置上行驶时对车辆的乘客的视线进行校正的具体示例的图。
图4是绘示出当另一车辆在车辆行进方向的前方行驶时对车辆的乘客的视线进行校正的具体示例的图。
图5是绘示出当另一车辆在从车辆行进方向朝向侧方方向偏移的位置上行驶时对车辆的乘客的视线进行校正的处理的流程图。
图6是绘示出当另一车辆在车辆行进方向的前方行驶时对车辆的乘客的视线进行校正的处理的流程图。
具体实施方式
以下,参考附图,对本发明的驾驶辅助装置的实施方式进行说明。
图1是绘示出本实施方式的车辆1的构成的框图。图1结合平面图和侧视图来示出车辆1的轮廓。车辆1例如是轿车型四轮乘用车。
车辆1具备控制装置2。控制装置2包括可以经由车载网络而通信连接的多个电子控制单元(Electronic Control Unit;ECU)(自动驾驶ECU 20~停止控制ECU 29)。各ECU作为计算机发挥功能,所述计算机包括以CPU为代表的处理器、半导体存储器等的存储设备、及相对于外部设备的接口等。在存储设备中存储处理器所执行的程序和处理器所用于处理的数据等。各ECU也可以具备多个处理器、存储设备、及接口等。
以下,对各自动驾驶ECU 20~停止控制ECU 29的功能等进行说明。此外,可以对ECU的数量及负责的功能进行适当设计,也可以对本实施方式所示的ECU进行细化或集成。
自动驾驶ECU 20执行与车辆1的自动驾驶有关的控制。在自动驾驶中,自动驾驶ECU 20对车辆1的转向以及加速和减速中的至少任意一种进行自动控制。
转向ECU 21对电动助力转向装置3进行控制。电动助力转向装置3包括根据驾驶员对方向盘31的驾驶操作(转向操作)来使前轮进行转向的机构。另外,电动助力转向装置3包括:用于辅助转向操作或施加自动转向前轮所需的驱动力的电动机、和检测转向角的传感器等。当车辆1的驾驶状态为自动驾驶时,转向ECU 21响应于来自自动驾驶ECU 20的指示,来对电动助力转向装置3进行自动控制,而控制车辆1的行进方向。
行驶辅助ECU 22及23对检测车辆周围状况的摄像头41、LIDAR 42及毫米波雷达43进行控制及检测结果的信息处理。摄像头41对车辆1的前方、侧方及后方进行摄像。在本实施方式的情况下,在车辆1的前部设置两个摄像头41,在侧部及后部各设置一个摄像头41。行驶辅助ECU 22及23藉由分析摄像头41拍摄到的图像,可以提取目标轮廓和道路上的车道标记(白线等)。
LIDAR 42是光检测和测距(Light Detection and Ranging;LIDAR),用于检测车辆1的周围的目标,并测量与目标的距离。在本实施方式的情况下,设置五个LIDAR 42,车辆1的前部的各角部各设置一个,后部中央设置一个,后部各侧方各设置一个。
毫米波雷达43检测车辆1的周围的目标,并测量与目标的距离。在本实施方式的情况下,设置五个毫米波雷达43,车辆1的前部中央设置一个,前部的各角部各设置一个,后部各角部各设置一个。
行驶辅助ECU 22对车辆1的前部的一个摄像头41和各LIDAR 42进行控制及检测结果的信息处理。行驶辅助ECU 23对车辆1的前部的另一个摄像头41和各毫米波雷达43进行控制及检测结果的信息处理。藉由具备两组用于检测车辆1的周围状况的ECU,可以提高检测结果的可靠性,另外,藉由具备摄像头41、LIDAR 42、及毫米波雷达43这些不同种类的检测单元,可以多方面地对车辆1的周边环境进行分析。
位置识别ECU 24对陀螺仪传感器5、GPS传感器24b、及通信装置24c进行控制及检测结果或通信结果的信息处理。陀螺仪传感器5检测车辆1的旋转运动。位置识别ECU 24可以藉由陀螺仪传感器5的检测结果和车轮速度等来判断车辆1的前进路线。
GPS传感器24b检测车辆1的当前位置。通信装置24c与提供地图信息、交通信息等的服务器进行无线通信,以获取这些信息。位置识别ECU 24可以访问存储设备中构建的地图信息的数据库24a,并且位置识别ECU 24可以搜索从当前位置到目的地的路线等。
通信控制ECU 25具备用于车辆与车辆之间通信的通信装置25a。通信装置25a与周边的另一车辆进行无线通信,而在车辆之间进行信息交换。
驱动控制ECU 26控制动力装置6。动力装置6是输出使车辆1的驱动轮旋转的驱动力的机构,例如包括发动机和变速器。驱动控制ECU 26例如响应于由设置在加速器踏板7A上的操作检测传感器7D检测到的驾驶员的驾驶操作(加速器操作或者加速操作),来控制发动机的输出。且,驱动控制ECU 26基于车速传感器7C检测到的车速等信息,来切换变速器的变速级。当车辆1的驾驶状态为自动驾驶时,驱动控制ECU 26响应于来自自动驾驶ECU 20的指示,来对动力装置6进行自动控制,而控制车辆1的加速和减速。
车辆外部通知控制ECU 27对方向指示灯(转向灯)8等的照明装置进行控制。在图1的例子中,方向指示灯8设置在车辆1的前部、侧视镜12、及后部。
车辆内部通知控制ECU 28对输入/输出装置9进行控制。输入/输出装置9将信息输出给驾驶员并接受来自驾驶员的信息输入。输入/输出装置9具有语音输出装置91、显示装置92、及输入装置93。
语音输出装置91藉由语音向驾驶员通知信息。
显示装置92藉由显示图像向驾驶员通知信息。显示装置92配置在例如驾驶座的正面,而构成仪表板等。此外,此处,虽然列举了语音和显示,但也可以使用振动和光来通知信息。另外,输入/输出装置9也可以将语音、显示、振动或光中的多个组合起来进行通知。进一步,根据要通知的信息的级别(例如紧急程度),输入/输出装置9可以具有不同的组合,或不同的通知方式。
输入装置93配置在驾驶员可操作的位置,是对车辆1进行指示的开关组,但也可以包括语音输入装置。
停止控制ECU 29对制动装置10和驻车制动器(未图示)等进行控制。制动装置10例如是盘式制动装置,其设置在车辆1的各车轮上,并藉由对车轮的旋转施加阻力来使车辆1减速或停止。
停止控制ECU 29例如响应于由设置在制动踏板7B上的操作检测传感器7E检测到的驾驶员的驾驶操作(制动操作),来控制制动装置10的操作。当车辆1的驾驶状态为自动驾驶时,停止控制ECU 29响应于来自ECU 20的指示,来对制动装置10进行自动控制,而控制车辆1的减速及停止。也可以操作制动装置10和驻车制动器,以维持车辆1的停止状态。另外,当动力装置6的变速器具备停车锁定机构时,也可以操作该停车锁定机构以维持车辆1的停止状态。
车辆1还具备驾驶员监控摄像头50,其获取与车辆1的乘客有关的乘客信息,作为拍摄图像。驾驶员监控摄像头50例如由利用电荷耦合器件(Charge Coupled Device;CCD)、或互补金属氧化物半导体(Complementary Metal Oxide Semiconductor;CMOS)等的固体摄像元件的数码摄像头构成,其种类没有特别限定。驾驶员监控摄像头50配置在车辆1的左右方向的中央。例如,驾驶员监控摄像头50设置在显示装置92的附近,也可以配置在车辆1的左右方向的中央。
以下对本实施方式的车辆1的驾驶辅助装置11的处理进行说明。
图2是绘示出本实施方式的车辆1的驾驶辅助装置11的功能构成的图。如图2所示,驾驶辅助装置11具备控制装置2、周边信息获取部40、及驾驶员监控摄像头50。
控制装置2具备外部信息检测部201、视线推定部202、视线校正部203、及乘客状况推定部204。周边信息获取部40具备上述的摄像头41、LIDAR 42、及毫米波雷达43。
周边信息获取部40获取车辆1的周边的周边信息。例如,周边信息获取部40获取车辆1的前方、侧方、及后方的周边信息。周边信息是例如由摄像头41获取的车辆1的前方、侧方、及后方周边的图像。另外,周边信息也可以是例如由LIDAR 42或毫米波雷达43获取的车辆1的前方、侧方、及后方周边的数据。
如上所述,驾驶员监控摄像头50获取与车辆1的乘客有关的乘客信息,作为拍摄图像。
外部信息检测部201基于由周边信息获取部40获取的周边信息,来检测包括车辆1的周围的对象物的位置及速度的外部信息。
具体而言,外部信息检测部201基于由摄像头41拍摄到的车辆1的周边的拍摄图像和由LIDAR 42或毫米波雷达43获取的车辆1的周边的数据,来检测包括在车辆1的周围行驶的另一车辆的位置及速度的外部信息。
视线推定部202基于作为由驾驶员监控摄像头50获取的乘客信息的拍摄图像,来推定车辆1的乘客的视线。
视线校正部203基于由外部信息检测部201检测到的外部信息,来校正由视线推定部202推定出的车辆1的乘客的视线。
乘客状况推定部204基于由驾驶员监控摄像头50获取的乘客信息来推定车辆1的乘客状况。具体而言,乘客状况推定部204分析作为由驾驶员监控摄像头50获取的乘客信息的拍摄图像,来推定车辆1的车内的乘客的状况。
更具体而言,当检测到的外部信息包括在从车辆1的行进方向朝向侧方方向偏移的位置上行驶的另一车辆时,外部信息检测部201计算出另一车辆与车辆1的相对速度。
视线校正部203基于由外部信息检测部201检测到的相对速度,来校正由视线推定部202推定出的车辆1的乘客的视线。
另外,视线推定部202基于相对速度,来判断车辆1的乘客是否从侧视镜12对左右方向的侧视镜视线区域R的范围内目视确认了特定时间(例如,0.3秒钟)。
当乘客从侧视镜12对左右方向的侧视镜视线区域R的范围内目视确认了特定时间时,视线校正部203校正由视线推定部202推定出的视线。
图3是绘示出当另一车辆300在从车辆1的行进方向朝向侧方方向偏移的位置上行驶时对车辆1的乘客的视线进行校正的具体示例的图。如图3所示,车辆1直行行驶,另一车辆300在从车辆1的行进方向朝向侧方方向偏移的位置上行驶。
作为车辆1的乘客H的基准的视线表示为视线A。
车辆1的右侧的侧视镜12中的侧视镜视线区域R被定义为视线方向B1和视线方向B2之间的区域。
基准侧视镜视线方向D1是表示侧视镜12的视线方向的基准的视线。
视线D2表示由视线推定部202推定出的乘客H的视线。
另外,视线A和基准侧视镜视线方向D1是已知的值,因此,视线A和基准侧视镜视线方向D1形成的区域C也是已知的值。
而且,如图3所示,当另一车辆300的相对速度大于或等于特定值(例如,10km/h)时,视线推定部202判断在侧视镜视线区域R的范围内乘客H的视线是否跟随另一车辆300。例如,当乘客H的视线随着另一车辆300的移动而移动时,视线推定部202判断为乘客H的视线跟随另一车辆300。
当判断为乘客的视线未跟随另一车辆300时,视线推定部202推定出乘客H将视线D2朝向侧视镜12的方向。
视线校正部203将表示侧视镜12的视线方向的基准的基准侧视镜视线方向D1以及推定出的侧视镜的方向的视线D2之间的误差E1作为校正值,来校正视线。
另外,当由乘客状况推定部204推定出车辆1的乘客佩戴眼镜时,视线校正部203对由视线推定部202推定出的视线D2进行校正。
此外,在上述的说明中,侧视镜12、另一车辆300、基准侧视镜视线方向D1、及视线D2均表示同一侧方向内(例如,侧视镜12的右侧方向或左侧方向)的状况。
除了上述的处理之外,当另一车辆300在车辆1的行进方向的前方行驶时,驾驶辅助装置11还执行如下所示的处理。
图4是绘示出当另一车辆300在车辆1的行进方向的前方行驶时对车辆1的乘客的视线进行校正的具体示例的图。
如图4所示,车辆1直行行驶,另一车辆300在车辆1的行进方向的前方行驶。
基准行进方向D3是表示车辆1的行进方向的基准的视线方向,视线D4表示由视线推定部202推定出的乘客H的视线。
当检测到的外部信息包括存在于车辆1的行进方向的另一车辆300时,外部信息检测部201检测另一车辆300与车辆1的相对速度。
当另一车辆300的相对速度大于或等于特定值(例如,10km/h)时,视线推定部202判断乘客H的视线是否已经改变。具体而言,当乘客H的视线移动了一定范围以上时,视线推定部202判断为乘客H的视线已经改变。
当视线推定部202判断为乘客H的视线没有改变时,推定乘客H将视线D4从驾驶座朝向车辆行进方向(例如,直行方向)。
视线校正部203将表示车辆1的行进方向的基准的基准行进方向D3以及推定出的乘客H的视线D4之间的误差E2作为校正值,来校正视线D4。
此外,在上述的实施方式中,视线校正部203不是对乘客视角的上下方向的视线进行校正,而是对左右方向的视线进行校正。
图5是绘示出当另一车辆300在从车辆1的行进方向朝向侧方方向偏移的位置上行驶时对车辆1的乘客的视线进行校正的处理的流程图。
在步骤S1中,周边信息获取部40获取车辆1的周边的周边信息。
在步骤S2中,驾驶员监控摄像头50获取与车辆1的乘客有关的乘客信息,作为拍摄图像。
在步骤S3中,外部信息检测部201基于由周边信息获取部40获取的周边信息,来检测包括车辆1的周围的另一车辆的位置及速度的外部信息。另外,当检测到的外部信息包括在从车辆1的行进方向朝向侧方方向偏移的位置上行驶的另一车辆300时,外部信息检测部201计算出另一车辆300与车辆1的相对速度。
在步骤S4中,乘客状况推定部204分析作为由驾驶员监控摄像头50获取的乘客信息的拍摄图像,来推定车辆1的车内乘客的状况。而且,视线推定部202判断乘客状况推定部204是否推定出车辆1的乘客佩戴眼镜。当推定出车辆1的乘客佩戴眼镜时(是),则处理移至步骤S5。另一方面,当未推定出车辆1的乘客佩戴眼镜时(否),则处理移至步骤S10。
在步骤S5中,视线推定部202判断另一车辆300的相对速度是否大于或等于特定值(例如,10km/h)。当相对速度大于或等于特定值(是)时,则处理移至步骤S6。另一方面,当相对速度低于特定值(否)时,则处理移至步骤S10。
在步骤S6中,视线推定部202判断车辆1的乘客是否从侧视镜12对左右方向的侧视镜视线区域R的范围内目视确认了特定时间(例如,0.3秒钟)。当对侧视镜视线区域R的范围内目视确认了特定时间(是)时,则处理移至步骤S7。另一方面,当对侧视镜视线区域R的范围内未目视确认了特定时间(否)时,则处理移至步骤S10。
在步骤S7中,视线推定部202判断在侧视镜视线区域R的范围内乘客H的视线是否跟随另一车辆300。当视线跟随另一车辆300(是)时,则处理移至步骤S8。另一方面,当视线未跟随另一车辆300(否)时,则处理移至步骤S10。
在步骤S8中,由于在步骤S7中,视线推定部202判断为乘客H的视线未跟随另一车辆300,因此,推定乘客H将视线D2朝向侧视镜12的方向,而不是朝向另一车辆300。
在步骤S9中,视线校正部203将表示侧视镜12的视线方向的基准的基准侧视镜视线方向D1以及推定出的侧视镜的方向的视线D2之间的误差E1作为校正值,来校正视线。
在步骤S10中,视线校正部203将乘客H的视线特定为视线D2,而不对推定出的侧视镜的方向的视线D2进行校正。
图6是绘示出当另一车辆300在车辆1的行进方向的前方行驶时对车辆1的乘客的视线进行校正的处理的流程图。
在步骤S11中,周边信息获取部40获取车辆1的周边的周边信息。
在步骤S12中,驾驶员监控摄像头50获取与车辆1的乘客有关的乘客信息,作为拍摄图像。
在步骤S13中,外部信息检测部201基于由周边信息获取部40获取的周边信息,来检测包括车辆1的周围的另一车辆的位置及速度的外部信息。另外,当检测到的外部信息包括在车辆1的车辆行进方向上行驶的另一车辆300时,外部信息检测部201计算出另一车辆300与车辆1的相对速度。
在步骤S14中,乘客状况推定部204分析作为由驾驶员监控摄像头50获取的乘客信息的拍摄图像,来推定车辆1的车内乘客的状况。而且,视线推定部202判断乘客状况推定部204是否推定出车辆1的乘客佩戴眼镜。当推定出车辆1的乘客佩戴眼镜时(是),则处理移至步骤S15。另一方面,当未推定出车辆1的乘客佩戴眼镜时(否),则处理移至步骤S19。
在步骤S15中,视线推定部202判断另一车辆300的相对速度是否大于或等于特定值(例如,10km/h)。当相对速度大于或等于特定值(是)时,则处理移至步骤S16。另一方面,当相对速度低于特定值(否)时,则处理移至步骤S19。
此外,此时,代替相对速度,也可以将来自乘客位置的视线作为基准,来判断相对于另一车辆是否发生特定角度的位移,当位移大于或等于特定值时,则处理移至步骤S16(例如以视角的单位计为5deg/sec)。亦即,当将在相邻车道或在前方行驶特定距离或更远的车辆作为对象时,即使在相对速度满足特定值的情况下,如果以乘客视线进行转换,仍可能是较小的位移。另一方面,藉由将另一车辆300的相对速度转换成视线角度,并将阈值设为视角的单位,视线推定部202容易推定并判断视线是否朝向车辆行进方向。
在步骤S16中,当另一车辆300的相对速度大于或等于特定值时,视线推定部202判断乘客H的视线是否已经改变。当视线已经改变(是)时,则处理移至步骤S19。另一方面,当视线未改变(否)时,则处理移至步骤S17。
在步骤S17中,当视线推定部202判断为乘客H的视线没有改变时,推定乘客H将视线D4从驾驶座朝向车辆行进方向(例如,直行方向)。
在步骤S18中,视线校正部203将表示车辆1的行进方向的基准的基准行进方向D3以及推定出的乘客H的视线D4之间的误差E2作为校正值,来校正视线D4。
在步骤S19中,视线校正部203将乘客H的视线特定为视线D4,而不对推定出的侧视镜的方向的视线D2进行校正。
根据本实施方式,例如,起到以下的效果。
驾驶辅助装置11具备:周边信息获取部40,用于获取车辆1的周边的周边信息;驾驶员监控摄像头50,用于获取与车辆1的乘客有关的乘客信息;外部信息检测部201,用于基于周边信息来检测包括车辆1的周围的对象物(例如,另一车辆300)的位置及速度的外部信息;视线推定部202,用于基于乘客信息来推定车辆1的乘客的视线;及,视线校正部203,用于基于由外部信息检测部201检测到的外部信息来校正推定出的视线。由此,驾驶辅助装置11藉由基于外部信息来校正推定出的视线,从而可以高精度地推定乘客的视线。
另外,对象物是另一车辆300,当外部信息包括在从车辆1的行进方向朝向侧方方向偏移的位置上行驶的另一车辆300时,外部信息检测部201计算出另一车辆300与车辆1的相对速度,视线校正部203基于由外部信息检测部201检测到的相对速度来校正视线。由此,驾驶辅助装置11藉由基于另一车辆300与车辆1的相对速度来校正推定出的视线,从而可以高精度地推定乘客的视线。
另外,视线推定部202基于相对速度来判断乘客H是否从侧视镜12对左右方向的侧视镜视线区域R的范围内目视确认了特定时间,当乘客H从侧视镜12对左右方向的侧视镜视线区域R的范围内目视确认了特定时间时,视线校正部203对视线进行校正。
由此,驾驶辅助装置11藉由当在侧视镜视线区域R的范围内目视确认了特定时间时,推定视线朝向侧视镜12的方向,从而可以高精度地推定视线。
另外,当另一车辆300的相对速度大于或等于特定值时,视线推定部202判断乘客H的视线是否从侧视镜12在左右方向的侧视镜视线区域R的范围内跟随另一车辆300,当判断为乘客H的视线未跟随另一车辆300时,推定乘客H将视线朝向侧视镜12的方向。视线校正部203将表示侧视镜12的视线方向的基准的基准侧视镜视线方向D1以及推定出的侧视镜12的方向的视线D2之间的误差E1作为校正值,来校正视线D2。
由此,驾驶辅助装置11藉由将基准侧视镜视线方向D1以及推定出的侧视镜12的方向的视线D2之间的误差E1作为校正值,来校正视线D2,而可以获得校正误差后的视线。
另外,驾驶辅助装置11还具备乘客状况推定部204,所述乘客状况推定部204基于乘客信息来推定车辆1的乘客状况,当由乘客状况推定部204推定出乘客H佩戴眼镜时,视线校正部203对视线进行校正。尤其在乘客佩戴眼镜的情况下,由于眼镜的影响,视线的推定容易产生误差。因此,驾驶辅助装置11藉由在乘客佩戴眼镜时对视线进行校正,可以高精度地推定视线。
另外,驾驶员监控摄像头50配置在车辆1的左右方向的中央。由此,驾驶辅助装置11可以使用配置在车辆1的左右方向的中央的驾驶员监控摄像头50,来推定乘客的视线。尤其是藉由将驾驶员监控摄像头50配置在车辆宽度的中央,可以广角地检测乘客,由于相对于乘客的正面形成角度而不会受到转向操作等的干扰,因此,适合用于校正视线。
另外,对象物是另一车辆300,当外部信息包括存在于车辆1的行进方向上的另一车辆300时,外部信息检测部201检测另一车辆300与车辆1的相对速度,当另一车辆300的相对速度大于或等于特定量时,视线推定部202判断乘客H的视线是否已经改变,当判断为乘客H的视线没有改变时,推定乘客H将视线从驾驶座朝向车辆行进方向,视线校正部203将表示车辆1的行进方向的基准的基准行进方向D3和推定出的乘客H的视线D4之间的误差E2作为校正值,来校正视线D4。由此,驾驶辅助装置11例如在车辆1直行行驶时,可以高精度地进行视线的校正。
以上,对本发明的实施方式进行了说明,上述的驾驶辅助装置11可以藉由硬件、软件或它们的组合实现。另外,由上述的驾驶辅助装置11进行的控制方法也可以藉由硬件、软件或它们的组合实现。此处,由软件实现是指由计算机读取并执行程序来实现。
可以使用各种类型的非暂时计算机可读介质(non-transitory computerreadable medium)来存储程序,并提供给计算机。非暂时计算机可读介质包括各种类型的有形记录介质(tangible storage medium)。非暂时计算机可读介质的示例包括磁记录介质(例如,硬盘驱动器)、光磁记录介质(例如,磁光盘)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半导体存储器(例如,掩膜ROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、闪存ROM、RAM(random access memory))。
以上,对本发明的一实施方式进行了说明,但本发明并不限定于此。可以在本发明的主旨范围内对细节的构造进行适当变更。
附图标记
1:车辆
11:驾驶辅助装置
40:周边信息获取部
50:驾驶员监控摄像头
201:外部信息检测部
202:视线推定部
203:视线校正部
204:乘客状况推定部

Claims (7)

1.一种驾驶辅助装置,具备:
周边信息获取部,用于获取车辆周边的周边信息;
乘客信息获取部,用于获取与前述车辆的乘客有关的乘客信息;
外部信息检测部,用于基于前述周边信息来检测包括前述车辆的周围的对象物的位置及速度的外部信息;
视线推定部,用于基于前述乘客信息来推定前述车辆的乘客的视线;及,
视线校正部,用于基于由前述外部信息检测部检测到的前述外部信息来校正推定出的前述视线。
2.根据权利要求1所述的驾驶辅助装置,其中,
前述对象物是另一车辆,
当前述外部信息包括在从前述车辆行进方向朝向侧方方向偏移的位置上行驶的前述另一车辆时,前述外部信息检测部计算出前述另一车辆与前述车辆的相对速度,
前述视线校正部基于由前述外部信息检测部检测到的前述相对速度来校正前述视线。
3.根据权利要求2所述的驾驶辅助装置,其中,
前述视线推定部基于前述相对速度来判断前述乘客是否从前述侧视镜对左右方向的特定范围内目视确认了特定时间,
当前述乘客从前述侧视镜对左右方向的特定范围内目视确认了特定时间时,前述视线校正部对前述视线进行校正。
4.根据权利要求3所述的驾驶辅助装置,其中,
当前述另一车辆的相对速度大于或等于特定值时,前述视线推定部判断前述乘客的视线是否从前述侧视镜在左右方向的前述特定范围内跟随前述另一车辆,当判断为前述乘客的视线未跟随前述另一车辆时,推定前述乘客将视线朝向前述侧视镜的方向,
前述视线校正部将表示前述侧视镜的视线方向的基准的基准侧视镜视线方向和推定出的前述侧视镜的方向的视线之间的误差作为校正值,来校正前述视线。
5.根据权利要求4所述的驾驶辅助装置,其中,
前述驾驶辅助装置还具备乘客状况推定部,所述乘客状况推定部基于前述乘客信息来推定前述车辆的乘客状况,
当由前述乘客状况推定部推定出前述乘客佩戴眼镜时,前述视线校正部对前述视线进行校正。
6.根据权利要求5所述的驾驶辅助装置,其中,
前述乘客信息获取部配置在前述车辆的左右方向的中央。
7.根据权利要求1所述的驾驶辅助装置,其中,
前述对象物是另一车辆,
当前述外部信息包括存在于前述车辆行进方向上的前述另一车辆时,前述外部信息检测部检测前述另一车辆与前述车辆的相对速度,
当前述另一车辆的相对速度大于或等于特定量时,前述视线推定部判断前述乘客的视线是否已经改变,而当判断为前述乘客的视线没有改变时,推定前述乘客将视线从驾驶座朝向车辆行进方向,
前述视线校正部将表示前述车辆行进方向的基准的基准行进方向和前述推定出的乘客的行进方向视线之间的误差作为校正值,来校正前述视线。
CN202110323498.5A 2021-03-26 2021-03-26 驾驶辅助装置 Pending CN115195752A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110323498.5A CN115195752A (zh) 2021-03-26 2021-03-26 驾驶辅助装置
US17/676,849 US20220306120A1 (en) 2021-03-26 2022-02-22 Driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110323498.5A CN115195752A (zh) 2021-03-26 2021-03-26 驾驶辅助装置

Publications (1)

Publication Number Publication Date
CN115195752A true CN115195752A (zh) 2022-10-18

Family

ID=83362966

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323498.5A Pending CN115195752A (zh) 2021-03-26 2021-03-26 驾驶辅助装置

Country Status (2)

Country Link
US (1) US20220306120A1 (zh)
CN (1) CN115195752A (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430676B2 (en) * 2014-06-23 2019-10-01 Denso Corporation Apparatus detecting driving incapability state of driver
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
EP3849865A4 (en) * 2018-09-11 2022-06-29 Netradyne, Inc. Inward/outward vehicle monitoring for remote reporting and in-cab warning enhancements
JP2021015496A (ja) * 2019-07-12 2021-02-12 株式会社東海理化電機製作所 判定装置およびプログラム
WO2022103846A1 (en) * 2020-11-10 2022-05-19 NetraDyne, Inc. Visual login
JP2022142614A (ja) * 2021-03-16 2022-09-30 パナソニックIpマネジメント株式会社 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム

Also Published As

Publication number Publication date
US20220306120A1 (en) 2022-09-29

Similar Documents

Publication Publication Date Title
CN110730739B (zh) 通知系统及其控制方法、车辆以及程序
US11180164B2 (en) Vehicle control apparatus, vehicle, and control method
KR102004062B1 (ko) 자동차의 운전자 보조 시스템 조작 방법, 운전자 보조 시스템 및 자동차
US11433888B2 (en) Driving support system
CN112046481B (zh) 自动驾驶装置和方法
US11299148B2 (en) Travel control apparatus and vehicle
CN113492846A (zh) 控制装置、控制方法以及存储程序的计算机可读取存储介质
US11654931B2 (en) Driving assistance device and vehicle
CN112298166A (zh) 驻车支援装置以及驻车支援装置的控制方法
US20240199053A1 (en) Vehicle display control device, vehicle display control method, and non-transitory storage medium
US20200384992A1 (en) Vehicle control apparatus, vehicle, operation method of vehicle control apparatus, and non-transitory computer-readable storage medium
CN115140039A (zh) 驾驶辅助装置
US11590979B2 (en) Vehicle control device, vehicle, vehicle control method, and storage medium
CN115195599A (zh) 控制装置、控制装置的动作方法以及存储介质
CN115195752A (zh) 驾驶辅助装置
JP2023045138A (ja) 車両用表示装置、車両、表示方法及びプログラム
JP6933677B2 (ja) 車両制御装置、車両制御方法、車両およびプログラム
US20240262203A1 (en) Vehicle display control device, vehicle display control method, and non-transitory storage medium
JP7554699B2 (ja) 画像処理装置および画像処理方法、車両用制御装置、プログラム
US11772676B2 (en) Driving support device
JP7181956B2 (ja) 移動体の制御装置及び制御方法並びに車両
US11524681B2 (en) Control apparatus for vehicle, control method for vehicle, and computer-read able recording medium
WO2024069689A1 (ja) 運転支援方法及び運転支援装置
US11273831B2 (en) Vehicle and control device for the same
JP7104649B2 (ja) 車両の制御システム、車両の制御方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination