CN116198534A - 人机共驾的意图融合控制方法、装置、设备及存储介质 - Google Patents

人机共驾的意图融合控制方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116198534A
CN116198534A CN202111451350.6A CN202111451350A CN116198534A CN 116198534 A CN116198534 A CN 116198534A CN 202111451350 A CN202111451350 A CN 202111451350A CN 116198534 A CN116198534 A CN 116198534A
Authority
CN
China
Prior art keywords
driving
driver
control
vehicle
control strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111451350.6A
Other languages
English (en)
Inventor
沈晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Co Wheels Technology Co Ltd
Original Assignee
Beijing Co Wheels Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Co Wheels Technology Co Ltd filed Critical Beijing Co Wheels Technology Co Ltd
Priority to CN202111451350.6A priority Critical patent/CN116198534A/zh
Publication of CN116198534A publication Critical patent/CN116198534A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/60Other road transportation technologies with climate change mitigation effect
    • Y02T10/72Electric energy management in electromobility

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供了一种人机共驾的意图融合控制方法。其中方法包括:获取车辆的当前行驶场景信息;基于所述当前行驶场景信息,从非自动驾驶控制策略库中,或者,通过非自动驾驶控制策略预测模型,获取驾驶者控制策略;基于所述驾驶者控制策略,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策;基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶。在自动驾驶模式下,机器意图可以根据驾驶员的历史行车数据感知学习用户意图与驾驶习惯。将机器驾驶意图和人类的驾驶意图更好的融合,集中两者的优势,得到最合理的驾驶意图,最大程度的满足双方的需求。

Description

人机共驾的意图融合控制方法、装置、设备及存储介质
技术领域
本申请涉及计算机领域,尤其涉及人机共驾的意图融合控制方法、装置、电子设备及存储介质。
背景技术
ADAS(Advanced Driving Assistance System,高级驾驶辅助系统),主要包括三个模块,分别为感知模块、决策模块和执行模块,其中,感知模块通过传感器对环境的进行感知,决策模块根据感知结果做出对车辆的控制决策,执行模块则根据控制决策输出具体的控制信息到车辆对应的动作执行单元。
人机共驾指驾驶人和驾驶辅助系统分享智能车辆的控制权并协同完成驾驶任务。人机共驾是驾驶辅助系统ADAS的一部分。在现有的ADAS架构方案中,机器意图和人的意图很少交互,几乎是独立运行的,忽略了驾驶员的感受。且机器驾驶的能力和风格在同一版软件上是固定不变的,车辆的驾驶风格不能依据驾驶人的不同而发生变化。
发明内容
本申请提供了一种人机共驾的意图融合控制方法、装置、电子设备及系统,以感知学习用户意图与驾驶习惯。本申请的技术方案如下:
第一方面,本申请实施例提供了一种人机共驾的意图融合控制方法,包括:
获取车辆的当前行驶场景信息;
基于所述当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略;其中,所述非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源;
基于所述驾驶者控制策略,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策;
基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶。
第二方面,本申请实施例提供了一种人机共驾的意图融合控制装置,包括:
感知模块,用于获取车辆的当前行驶场景信息;
获取模块,用于基于所述当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略;其中,所述非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源;
调整模块,用于基于所述驾驶者控制策略,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策;
控制模块,用于基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶。
第三方面,本申请实施例提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请第一方面实施例所述的人机共驾的意图融合控制方法。
第四方面,本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行本申请第一方面实施例所述的人机共驾的意图融合控制方法。
第五方面,本申请实施例提供了一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现本申请第一方面实施例所述的人机共驾的意图融合控制方法的步骤。
本申请实施例提供的技术方案至少带来以下有益效果:
本申请在获取当前行驶场景信息后,从符合驾驶者在不同场景下的驾驶控制策略习惯的信息源中,得到对应当前行驶场景的符合驾驶者习惯的驾驶控制策略;在通过该驾驶者控制策略调整自动驾驶模式下的控制决策,再根据调整后的控制决策控制车辆行驶,使车辆的自动驾驶控制策略更倾向于驾驶者的驾驶习惯。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1是根据一示例性实施例示出的人机共驾的意图融合控制方法的流程图。
图2是根据另一示例性实施例示出的人机共驾的意图融合控制方法的流程图。
图3是根据又一示例性实施例示出的人机共驾的意图融合控制方法的流程图。
图4是根据一示例性实施例示出的人机共驾的意图融合控制装置的框图。
图5是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
其中,在本申请的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
ADAS(Advanced Driving Assistance System,高级驾驶辅助系统),主要包括三个模块,分别为感知模块、决策模块和执行模块,其中,感知模块通过传感器对环境的进行感知,例如识别障碍物等;决策模块根据感知结果做出对车辆的控制决策,例如对于障碍物是刹车、打方向、还是继续直行等;执行模块则根据控制决策输出具体的控制信息到车辆对应的动作执行单元,例如,给制动执行单元的控制数据。
模型预测控制(Model Predictive Control,MPC)算法,是一种闭环优化控制,其主要思想是在某一个采样时刻K,依据当前状态变量,内部模型,代价函数,和约束条件对系统未来的状态变量(或输出)进行预测,计算控制输入序列,并将得到的输入序列的第一个控制输入应用于实际系统。在下一个采样时刻K+1,重新对系统状态采样并重复k时刻的操作。MPC是一种广泛应用的现代控制算法,通过滚动优化,它在一定程度上能够提供优秀的鲁棒性以弥补模型参数的不确定性或扰动。
在ADAS架构方案中,机器意图和驾驶人的意图很少交互,几乎是独立运行的,忽略了驾驶员的感受。且机器驾驶的能力和风格在同一版软件上是固定不变的,车辆的驾驶风格不能依据驾驶人的不同而发生变化。
为了解决上述问题,本申请实施例提出了一种人机共驾的意图融合控制方法,是对ADAS系统部分功能的辅助。
图1是根据本申请一个实施例的人机共驾的意图融合控制方法的流程图。需要说明的是,本申请实施例的人机共驾的意图融合控制方法可应用于本申请实施例的人机共驾的意图融合控制装置。该人机共驾的意图融合控制装置可被配置于电子设备上。如图1所示,该人机共驾的意图融合控制方法可以包括步骤S101-步骤S104。
在步骤S101中,获取车辆的当前行驶场景信息。
在本申请实施例中,ADAS系统通过各种传感器感知环境信息,并融合多个传感器的感知信息,得到车辆的当前行驶场景。
例如由车外传感器(侧向雷达,前视摄像头、毫米波雷达等)采集到的信息通过融合得到当前车辆的行驶场景状态,此场景状态体现自动驾驶的机器意图,用于路径规划。
获取全局最全面的感知信息,将感知信息融合得到瞬态行驶场景状态。
在步骤S102中,基于当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略,其中,非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源。
可选的,所述非自动驾驶控制策略信息源可以为非自动驾驶控制决策库,其中,所述非自动驾驶控制决策库中存储有在非自动驾驶模式下不同行驶场景对应的驾驶者的驾驶控制策略;或者,
可选的,所述非自动驾驶控制策略信息源还可以为非自动驾驶控制策略预测模型,其中,所述非自动驾驶控制策略预测模型基于输入的行驶场景信息输出非自动驾驶模式下对应该行驶场景信息的驾驶者的驾驶控制策略。
基于所述当前行驶场景信息,从非自动驾驶控制策略库中,或者,通过非自动驾驶控制策略预测模型,获取驾驶者控制策略。
可以理解,机器意图要学习驾驶员意图,需要获取在非自动驾驶模式下,驾驶员的历史行车数据,根据历史行车数据获取需要的驾驶员在与机器意图相同的驾驶场景下的驾驶操作数据,根据该驾驶操作数据得到驾驶者的驾驶控制策略,从而学习该车辆驾驶员的驾驶习惯。也就是说,将瞬态场景与经验场景融合,做出全局最优的决策控制。
在本申请实施例中,根据当前行驶场景信息获取对应该场景下驾驶者的驾驶者控制策略的方式可以有多种可能的实现方式,例如从预先建立的非自动驾驶控制策略库中获取,或者,通过预先构建和训练好的非自动驾驶控制策略预测模型来获取。
可选的,非自动驾驶控制策略库的构建方法,包括:
获取车辆的历史行车数据,并从历史行车数据中确定非自动驾驶模式下的目标历史行车数据;
按照预设行驶场景分类规则,对所述目标历史行车数据中的行车场景进行分类,并从所述目标历史行车数据中确定每个所述行车场景分类对应的驾驶者的驾驶控制策略;
基于所述行车场景分类和对应的驾驶者的驾驶控制策略,构建非自动驾驶控制策略库。
可选的,非自动驾驶控制策略预测模型的训练方法,包括:
从车辆的历史行车数据中获取训练样本,所述训练样本包括非自动驾驶模式下的行车场景以及该行车场景下的驾驶者的驾驶控制策略;
通过所述行车场景以及该行车场景下的驾驶者的驾驶控制策略对机器学习模型进行训练,得到非自动驾驶控制策略预测模型。
也就是说,在非自动驾驶模式下,将当前车辆的行驶场景进行分类,记录驾驶者在该行驶场景下做出的判断(例如,刹车,避让,加速,超车等)与行驶的轨迹。学习该驾驶员在该行驶场景下的操作控制特征,用于调整在自动驾驶过程中,机器在做出控制决策时的权重系数的调整以及轨迹规划中的曲率的调整,权重系数和轨迹规划的曲率表征了驾驶者的驾驶风格,从而让机器做到人类驾驶风格的学习。
在步骤S103中,基于驾驶者控制策略,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策。
可选的,基于驾驶者控制策略,通过调整自动驾驶模式下的控制决策中的参数权重系数来调整轨迹规划中的曲率,得到目标控制决策,得到目标控制决策。
作为一个示例,自动驾驶模式下,控制决策得到一个轨迹规划,是比较激烈的,但是对于女驾驶者来说,能承受的是不太激烈的轨迹规划,通过调整轨迹规划中涉及的参数的权重系数,从而调节轨迹规划中的曲率。
可以理解,通过调整控制决策中的参数权重系数来实现对轨迹规划中的曲率的调整,轨迹规划的曲率表征驾驶者的驾驶风格,从而使机器车辆向人类的驾驶风格学习。
在步骤S104中,基于目标控制决策和当前驾驶模式,控制车辆行驶。
当前驾驶模式可以是自动驾驶模式,也可以为非自动驾驶模式。在不同的驾驶模式下,采用对应的控制方法控制安全车辆行驶。
本申请实施例的人机共驾的意图融合控制方法,在获取当前行驶场景信息后,从符合驾驶者在不同场景下的驾驶控制策略习惯的信息源中,得到对应当前行驶场景的符合驾驶者习惯的驾驶控制策略;在通过该驾驶者控制策略调整自动驾驶模式下的控制决策,再根据调整后的控制决策控制车辆行驶,使车辆的自动驾驶控制策略更倾向于驾驶者的驾驶习惯。机器意图可以根据驾驶员的历史行车数据感知学习用户意图与驾驶习惯,调节ADAS的控制策略。将机器驾驶意图和人类的驾驶意图更好的融合,集中两者的优势,得到最合理的驾驶意图,最大程度的满足双方的需求而不是割裂的各自控制。
图2是根据本申请另一个实施例的人机共驾的意图融合控制方法的流程图。如图2所示,该人机共驾的意图融合控制方法可以包括步骤S201-步骤S206。
在步骤S201中,获取车辆的当前行驶场景信息。
在步骤S202中,基于所述当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略,其中,所述非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源。
在步骤S203中,基于驾驶者控制数据,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策。
需要说明的是,在本申请的实施例中,上述步骤201-步骤203的实现过程可参见上述步骤101-103的实现过程的描述,在此不再赘述。
在步骤S204中,判断当前驾驶模式是否为自动驾驶模式。
本申请实施例的车辆通过域控制器切换车辆的驾驶模式,其中,域控制器(DomainControl Unit,DCU),根据汽车电子部件功能,将整车分为动力域、底盘域、车身域、自动驾驶域和智能信息域,借助CPU(central processing unit,中央处理器)强大的算力,将分布式的ECU(Electronic Control Unit,电子控制单元)统一起来,控制功能迅速、集中。
在本申请实施例中,域控制器根据方向盘转矩信号和方向盘力信号,判断驾驶员是否介入,如果驾驶员介入,则将车辆的控制权交给驾驶者,进入非自动驾驶模式。
如果判断驾驶员未介入,则还处于自动驾驶模式。
可以理解,在机器驾驶模式下(即自动驾驶模式下),在未探测到危险行驶场景的条件下,首先通过方向盘力及转矩信号,判断驾驶者是否希望介入车辆驾驶。当明确驾驶者希望介入时,系统退出自动驾驶并将驾驶权交给驾驶者。当未检测到驾驶员介入时,当车辆有失稳趋势时,ADAS系统响应ESC(Electronic Stability Controller,电子稳定性控制系统)的请求执行对应的操作;当车辆无失稳趋势时,ADAS系统响应机器驾驶请求进入自动驾驶模式。
汽车电子稳定控制系统ESC是车辆新型的主动安全系统,是汽车防抱死制动系统和牵引力控制系统功能的进一步扩展,并在此基础上,增加了车辆转向行驶时横摆率传感器、侧向加速度传感器和方向盘转角传感器,通过ECU控制前后、左右车轮的驱动力和制动力,确保车辆行驶的侧向稳定性。
可选的,判断驾驶员当前是否介入的方法,包括:
获取方向盘转矩信号和方向盘力信号;
判断方向盘转矩信号是否超过转矩阈值;
在方向盘转矩信号超过转矩阈值的情况下,基于方向盘力信号,获取驾驶员手力值;
基于驾驶员手力值,判断驾驶员当前是否介入。
在方向盘转矩信号未超过转矩阈值的情况下,对方向盘转矩信号进行傅里叶频谱分析,得到方向盘转矩信号的频谱特征,判断该频谱特征是否超过预设阈值;
响应于该频谱特征未超过预设阈值,判断驾驶员手脱离,驾驶员未介入;
响应于该频谱特征超过预设阈值,基于方向盘力信号,获取驾驶员手力值;再基于驾驶员手力值,判断驾驶员当前是否介入。
在步骤S205中,响应于当前驾驶模式为自动驾驶模式,基于目标控制决策,控制车辆行驶。
在自动驾驶模式下,智能汽车根据高级驾驶辅助系统的控制决策,控制车辆行驶。
在步骤S206中,响应于当前驾驶模式为非自动驾驶模式,根据目标控制决策,对车辆的驾驶行为进行提醒。
在非自动驾驶模式下,机器也将通过行驶场景状态对驾驶者的驾驶行为进行提醒及打分,比如超速警示,避障警示,碰撞提醒,从而使得驾驶者的行驶行为向更为保守的自动驾驶学习。本申请实施例的人机共驾的意图融合控制方法,机器意图可以根据驾驶员的历史行车数据感知学习用户意图与驾驶习惯,调节ADAS的控制策略。将机器驾驶意图和人类的驾驶意图更好的融合,集中两者的优势,得到最合理的驾驶意图,最大程度的满足双方的需求而不是割裂的各自控制。在自动驾驶模式下,根据融合后的驾驶意图控制车辆行驶。在非自动驾驶模式下,根据目标控制决策对车辆的驾驶行为进行提醒,提高行驶的安全性。
图3是根据本申请另一个实施例的人机共驾的意图融合控制方法的流程图。如图3所示,该人机共驾的意图融合控制方法可以包括步骤S301-步骤S308。
在步骤S301中,获取车辆的当前行驶场景信息。
在步骤S302中,基于所述当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略,其中,所述非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源。
在步骤S303中,基于驾驶者控制数据,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策。
需要说明的是,在本申请的实施例中,上述步骤301-步骤303的实现过程可参见上述步骤101-103的实现过程的描述,在此不再赘述。
在步骤S304中,判断当前驾驶模式是否为自动驾驶模式。
在步骤S305中,响应于当前驾驶模式为自动驾驶模式,判断驾驶员当前是否介入。
需要说明的是,在本申请的实施例中,上述步骤304-步骤305的实现过程可参见上述步骤204的实现过程的描述,在此不再赘述。
需要说明的是,自动驾驶模式分为人机共驾模式和全自动驾驶模式。
麻省理工认为自动驾驶应该分为两个等级:一、人机共驾;二、全自动驾驶。这样的分类方式不仅能够提供有建设性的指导方针,添加必要的限制条件同时还可以对要实现的目标进行量化设定。
在本申请实施例中,如果判断存在驾驶员介入,则处于人机共驾模式。
在步骤S306中,响应于驾驶员处于介入状态,判断目标控制决策与驾驶员的驾驶控制意图是否发生冲突。
判断目标控制决策与驾驶员的驾驶控制意图是否发生冲突时,一种可能的实现方式,是通过预先设置的控制策略中的对应参数的差值门限,来判断目标控制决策与驾驶员的驾驶控制意图是否发生冲突。
举例说明,机器驾驶是有一个轨迹的曲率的,在高速公路大道上面,对于环形的转弯场景,会根据路面附着系数和周边环境给出一个轨迹规划的曲率。但是路面附着系数驾驶员是不知道的,如果路面附着系数比较低的话,轨迹规划的曲率应该比较小,不然容易产生侧滑,弯道过不去。但是此时,驾驶者不知道路面附着系数比较小的话,驾驶者的驾驶意图是比较激进的,仍然坚持大曲率过弯。这是判断机器意图中的规划曲率参数与驾驶者的驾驶意图中的期望曲率参数的冲突程度,即判断两者的差值是否超过预设的差值门限,如果超过怎判断发生冲突,得到一个融合后的曲率,即得到融合后的轨迹规划。
举例说明,利用车辆动力学模型预测下一时刻车辆的纵向加速度和横向加速度;判断驾驶人的当前驾驶操作是否正常,若是,则按照驾驶人意图操作控制车辆;否则进行下一步;对驾驶人操作信号进行相应控制调整,实现紧急避险下的人机共驾。
其中,驾驶员行为包括方向盘转角输入、油门输入、自动输入和档位输入。驾驶员的驾驶控制意图由车内传感器加速踏板,档位,制动踏板,车内摄像头等传感器采集到信息进行融合得到。
在非自动驾驶模式下,驾驶员的一些操作信息可以从整车控制器获取。其中,整车控制器是整个汽车的核心控制部件,相当于汽车的大脑。采集加速踏板信号、制动踏板信号及其他部件信号,并做出相应判断后,控制下层的各部件控制器的动作,驱动汽车正常行驶。
根据驾驶员的操作行为,只能获取当前的驾驶员的操作数据,例如现在只能获取方向盘转角信息,需要预测未来几秒或者几毫米的方向盘输入,根据预测的未来的行驶轨迹,得到驾驶者意图。
在判断驾驶者意图与机器意图是否有冲突时,可以根据预测的安全驾驶风险,如果存在风险,则判断发生冲突。
还可以根据车辆的机器意图中包括的控制量信息,与驾驶员意图中的车辆的控制量信息进行比较,根据比较结果判断是否发生冲突。
还可以根据驾驶员的一些操作,例如明显的误操作等行为,判断驾驶者意图与机器意图是否有冲突。
在步骤S307中,响应于目标控制决策与驾驶员的驾驶控制行为发生冲突,通过纳什博弈算法,对输入车辆的控制信号进行修正。
举例说明,车辆在进行转弯时,EPS(Electrical Power Steering,电子转向系统)会输出一个转向转矩,此时若驾驶员在抢方向,首先看边界环境、边界条件,看是否有危险,是否要撞护栏,或者说,按照驾驶员的操作的方向走,为了减轻该碰撞,通过纳什博弈,得到一个矫正值作为最终的方向盘转角输入。
在本申请实施例中,ADAS系统在决策时采用模型预测控制MPC算法,将该MPC算法输出的控制决策,与驾驶人的操作意图进行纳什博弈,得到修正后的车辆控制信息,发送到车辆对应的执行单元去执行。
ADAS系统在执行之前,MPC算法是根据目标轨迹形成控制量,例如感知到障碍物,根据障碍物信息规划行车轨迹,执行模块根据规划的行车轨迹去控制车辆行驶。
也就是说,当机器驾驶模式与驾驶者的驾驶意图有相冲突时,例如,车辆探测到前方危险,而驾驶者仍然执意行驶时,此时ADAS系统输出控制决策请求与驾驶者的驾驶意图请求相悖。此时驾驶员的输入与ADAS系统的输出将通过纳什博弈对车辆控制信号进行输入修正,而修正过的输入传递给车辆控制器,再将下一时刻的车辆表现传递给车端,进行新一轮的滚动优化,从而达到人机共驾的效果。
对驾驶员输入车辆的控制信号进行修正,例如,对驾驶员输入的方向盘转角、油门踏板进行修正,实现对大转角、急加速情况的缓解。
还可以根据驾驶员特征识别技术,识别驾驶员的当前状态信息,例如是否处于疲劳驾驶,是否处于酒驾状态,是否处于路怒状态等等,在判断驾驶员的状态会对驾驶行为造成不安全影响时,获取辅助驾驶系统输出的控制量,将该控制量直接作为车辆的实际控制量,根据该实际控制量控制车辆行驶,即机器完全接管车辆控制权,根据机器意图控制车辆行驶。
在步骤S308中,通过修正后的车辆控制信号,控制车辆行驶。
修正后的车辆控制信号为车辆实际的控制量,根据该实际控制量控制车辆行驶。
本申请实施例的人机共驾的意图融合控制方法,机器意图可以根据驾驶员的历史行车数据感知学习用户意图与驾驶习惯,调节ADAS的控制策略。将机器驾驶意图和人类的驾驶意图更好的融合,集中两者的优势,得到最合理的驾驶意图,最大程度的满足双方的需求而不是割裂的各自控制。面对人机共驾模式,根据机器意图与驾驶员意图是否发生冲突,对驾驶员的控制量的输出进行调整,可以实现紧急避险,并对驾驶人的误操作行为进行甄别,提升人机共驾系统安全性。
图4是根据一示例性实施例示出的一种人机共驾的意图融合控制装置的框图。参照图4,该人机共驾的意图融合控制装置可以包括:感知模块401、获取模块402、调整模块403和控制模块404。
具体地,感知模块401,用于获取车辆的当前行驶场景信息;
获取模块402,用于基于所述当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略;其中,所述非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源;
调整模块403,用于基于所述驾驶者控制数据,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策;
控制模块404,用于基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶。
在本申请的一些实施例中,调整模块403,具体用于:
基于所述驾驶控制数据,通过调整自动驾驶模式下的控制决策中的参数权重系数来调整轨迹规划中的曲率,得到目标控制决策。
在本申请的一些实施例中,控制模块404在基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶时,用于:
判断所述当前驾驶模式是否为自动驾驶模式;
响应于当前驾驶模式为自动驾驶模式,基于所述目标控制决策,控制所述车辆行驶;和/或,
响应于当前驾驶模式为非自动驾驶模式,根据所述目标控制决策,对车辆的驾驶行为进行提醒。
在本申请的一些实施例中,控制模块404在基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶时,还用于:
判断所述当前驾驶模式是否为自动驾驶模式;
响应于当前驾驶模式为自动驾驶模式,判断驾驶员当前是否介入;
响应于所述驾驶员处于介入状态,判断所述目标控制决策与驾驶员的驾驶控制意图是否发生冲突;
响应于所述目标控制决策与驾驶员的驾驶控制行为发生冲突,通过纳什博弈算法,对输入车辆的控制信号进行修正;
通过修正后的车辆控制信号,控制所述车辆行驶。
在本申请的一些实施例中,控制模块404在判断驾驶员当前是否介入时,具体用于:
获取方向盘力信号,并基于所述方向盘力信号,获取驾驶员手力值;
基于所述驾驶员手力值,判断驾驶员当前是否介入。
在本申请的一些实施例中,所述装置还包括非自动驾驶控制策略库构建模块,用于:
获取车辆的历史行车数据,并从历史行车数据中确定非自动驾驶模式下的目标历史行车数据;
按照预设行驶场景分类规则,对所述目标历史行车数据中的行车场景进行分类,并从所述目标历史行车数据中确定每个所述行车场景分类对应的驾驶者的驾驶控制策略;
基于所述行车场景分类和对应的驾驶者的驾驶控制策略,构建非自动驾驶控制策略库。
在本申请的一些实施例中,所述装置还包括模型训练模块,用于:
从车辆的历史行车数据中获取训练样本,所述训练样本包括非自动驾驶模式下的行车场景以及该行车场景下的驾驶者的驾驶控制策略;
通过所述行车场景以及该行车场景下的驾驶者的驾驶控制策略对机器学习模型进行训练,得到非自动驾驶控制策略预测模型。
可选的,该人机共驾的意图融合控制装置可被配置于CCU(Central ControlUnit,中央处理器)上,基于CCU就只有一个电路板,全部都是信号,有效减少不必要的线束连接和通讯数据量。其中,CCU属于现有技术。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请实施例的人机共驾的意图融合控制装置,机器意图可以根据驾驶员的历史行车数据感知学习用户意图与驾驶习惯,调节ADAS的控制策略。将机器驾驶意图和人类的驾驶意图更好的融合,集中两者的优势,得到最合理的驾驶意图,最大程度的满足双方的需求而不是割裂的各自控制。面对人机共驾模式,根据机器意图与驾驶员意图是否发生冲突,对驾驶员的控制量的输出进行调整,可以实现紧急避险,并对驾驶人的误操作行为进行甄别,提升人机共驾系统安全性。根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图5所示,是根据本申请实施例的用于实现人机共驾的意图融合控制的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示,该电子设备包括:一个或多个处理器501、存储器502,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的人机共驾的意图融合控制的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的人机共驾的意图融合控制的方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的人机共驾的意图融合控制的方法对应的程序指令/模块(例如,附图4所示的感知模块401、获取模块402、调整模块403和控制模块404)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功。
存储器502可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据人机共驾的意图融合控制的电子设备的使用所创建的数据等。此外,存储器502可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器502可选包括相对于处理器501远程设置的存储器,这些远程存储器可以通过网络连接至人机共驾的意图融合控制的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
人机共驾的意图融合控制的方法的电子设备还可以包括:输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接,图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息,以及产生与人机共驾的意图融合控制的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置504可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
在示例性实施例中,还提供了一种计算机程序产品,当计算机程序产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述方法。
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (11)

1.一种人机共驾的意图融合控制方法,其特征在于,包括:
获取车辆的当前行驶场景信息;
基于所述当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略,其中,所述非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源;
基于所述驾驶者控制策略,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策;
基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶。
2.根据权利要求1所述的方法,其特征在于,所述非自动驾驶控制策略信息源为非自动驾驶控制决策库,其中,所述非自动驾驶控制决策库中存储有在非自动驾驶模式下不同行驶场景对应的驾驶者的驾驶控制策略;或者,
所述非自动驾驶控制策略信息源为非自动驾驶控制策略预测模型,其中,所述非自动驾驶控制策略预测模型基于输入的行驶场景信息输出非自动驾驶模式下对应该行驶场景信息的驾驶者的驾驶控制策略。
3.根据权利要求1所述的方法,其特征在于,所述基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶,包括:
判断所述当前驾驶模式是否为自动驾驶模式;
响应于当前驾驶模式为自动驾驶模式,基于所述目标控制决策,控制所述车辆行驶;和/或,
响应于当前驾驶模式为非自动驾驶模式,根据所述目标控制决策,对所述车辆的驾驶行为进行提醒。
4.根据权利要求1所述的方法,其特征在于,所述基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶,包括:
判断所述当前驾驶模式是否为自动驾驶模式;
响应于所述当前驾驶模式为自动驾驶模式,判断驾驶员当前是否介入;
响应于所述驾驶员处于介入状态,判断所述目标控制决策与驾驶员的驾驶控制意图是否发生冲突;
响应于所述目标控制决策与驾驶员的驾驶控制行为发生冲突,通过纳什博弈算法,对输入所述车辆的车辆控制信号进行修正;
通过修正后的所述车辆控制信号,控制所述车辆行驶。
5.根据权利要求4所述的方法,其特征在于,所述判断驾驶员当前是否介入的方法,包括:
获取方向盘力信号,并基于所述方向盘力信号,获取驾驶员手力值;
基于所述驾驶员手力值,判断驾驶员当前是否介入。
6.根据权利要求1所述的方法,其特征在于,所述基于所述驾驶者控制策略,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策,包括:
基于所述驾驶者控制策略,通过调整自动驾驶模式下的控制决策中的参数权重系数来调整轨迹规划中的曲率,得到目标控制决策。
7.根据权利要求1所述的方法,其特征在于,获取车辆的当前行驶场景信息前,所述方法还包括构建所述非自动驾驶控制策略库,
所述构建非自动驾驶控制策略库,包括:
获取车辆非自动驾驶模式下的历史行车数据;
按照预设行驶场景分类规则,对所述目标历史行车数据中的行车场景进行分类,并从所述目标历史行车数据中确定每个所述行车场景分类对应的驾驶者的驾驶控制策略;
基于所述行车场景分类和对应的驾驶者的驾驶控制策略,构建非自动驾驶控制策略库。
8.根据权利要求1所述的方法,其特征在于,获取车辆的当前行驶场景信息前,所述方法还包括训练所述驶控制策略预测模型,
所述训练驶控制策略预测模型,包括:
从车辆非自动驾驶模式下的历史行车数据中获取训练样本,所述训练样本包括行车场景以及该行车场景下的驾驶者的驾驶控制策略;
通过所述行车场景以及该行车场景下的驾驶者的驾驶控制策略对机器学习模型进行训练,得到非自动驾驶控制策略预测模型。
9.一种人机共驾的意图融合控制装置,其特征在于,包括:
感知模块,用于获取车辆的当前行驶场景信息;
获取模块,用于基于所述当前行驶场景信息,从非自动驾驶控制策略信息源中,获取驾驶者控制策略;其中,所述非自动驾驶控制策略信息源是符合驾驶者在不同场景下的驾驶控制策略习惯的信息源;
调整模块,用于基于所述驾驶者控制策略,调整自动驾驶模式下的控制决策的相关参数,得到目标控制决策;
控制模块,用于基于所述目标控制决策和当前驾驶模式,控制所述车辆行驶。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至8中任一项所述的人机共驾的意图融合控制方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1至8中任一项所述的人机共驾的意图融合控制方法。
CN202111451350.6A 2021-12-01 2021-12-01 人机共驾的意图融合控制方法、装置、设备及存储介质 Pending CN116198534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111451350.6A CN116198534A (zh) 2021-12-01 2021-12-01 人机共驾的意图融合控制方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111451350.6A CN116198534A (zh) 2021-12-01 2021-12-01 人机共驾的意图融合控制方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116198534A true CN116198534A (zh) 2023-06-02

Family

ID=86511702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111451350.6A Pending CN116198534A (zh) 2021-12-01 2021-12-01 人机共驾的意图融合控制方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116198534A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117022325A (zh) * 2023-08-28 2023-11-10 广州汽车集团股份有限公司 汽车驾驶控制方法、装置、电子设备和存储介质
CN117261904A (zh) * 2023-11-21 2023-12-22 北京航空航天大学 一种自适应场景与风格的混动汽车驾驶模式决策方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117022325A (zh) * 2023-08-28 2023-11-10 广州汽车集团股份有限公司 汽车驾驶控制方法、装置、电子设备和存储介质
CN117022325B (zh) * 2023-08-28 2024-02-23 广州汽车集团股份有限公司 汽车驾驶控制方法、装置、电子设备和存储介质
CN117261904A (zh) * 2023-11-21 2023-12-22 北京航空航天大学 一种自适应场景与风格的混动汽车驾驶模式决策方法
CN117261904B (zh) * 2023-11-21 2024-01-30 北京航空航天大学 一种自适应场景与风格的混动汽车驾驶模式决策方法

Similar Documents

Publication Publication Date Title
CN112389427B (zh) 车辆轨迹优化方法、装置、电子设备和存储介质
CN111775949B (zh) 一种人机共驾控制系统的个性化驾驶员转向行为辅助方法
US10875529B2 (en) Vehicle control device
JP6970117B2 (ja) 運転者のルールベース型支援のための制御データ作成方法
US10240933B2 (en) Method for guiding a vehicle and a driver assistance system
US11543825B2 (en) Human supervision of an automated driving system
WO2018066560A1 (ja) 車両制御装置
US9446729B2 (en) Driver assistance system
US20170166215A1 (en) Vehicle control system using tire sensor data
JP2018203032A (ja) 自動運転システム
JP6630443B2 (ja) 車両制御装置
JP2018509335A (ja) 車両の少なくとも一部自動運転方法
WO2021129156A1 (zh) 智能汽车的控制方法、装置和控制系统
CN116198534A (zh) 人机共驾的意图融合控制方法、装置、设备及存储介质
US20200130711A1 (en) Autonomous vehicle system for detecting safety driving model compliance status of another vehicle, and planning accordingly
WO2019203022A1 (ja) 移動体、情報処理装置、情報処理方法、及びプログラム
WO2019003302A1 (ja) 車両制御装置
CA3068410A1 (en) Vehicle traveling assistance method and vehicle traveling assistance device
CN114761895A (zh) 混合自动车队的直接和间接控制
Ludwig et al. Cooperative dynamic vehicle control allocation using time-variant differential games
CN115362095A (zh) 用于运行车辆的驾驶员辅助系统的具有针对部分自动化功能的驾驶员节制的方法、驾驶员辅助系统和车辆
CN113928328A (zh) 受损驾驶辅助
Balachandran et al. Creating predictive haptic feedback for obstacle avoidance using a model predictive control (MPC) framework
CN112109731B (zh) 车辆控制方法、装置、电子设备、存储介质及车辆
US20240059322A1 (en) Cooperative teleoperation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination