CN109398349A - 一种基于几何规划及强化学习的自动泊车方法及系统 - Google Patents

Abstract

本发明涉及一种基于几何规划及强化学习的自动泊车方法及系统，本发明方法在自动泊车的初始阶段，通过确定泊车状态，利用几何规划确定泊车轨迹，再交由轨迹跟踪和底盘控制进行控制，利用上述阶段，车辆能够调整到能够一次入库的位姿，此时再交由强化学习进行控制。与现有技术相比，本发明可以消除轨迹规划‑轨迹跟踪‑底盘控制的误差，达到更为理想的泊车位姿，且能够适用于城市内的狭小泊车环境，对环境的适应性强。

Description

一种基于几何规划及强化学习的自动泊车方法及系统

技术领域

本发明涉及智能汽车自动泊车规划技术领域，尤其是涉及一种基于几何规划及强化学习的自动泊车方法及系统。

背景技术

现有的自动泊车技术主要通过以下方法实现：基于规则的决策规划方法，即通过固定的泊车流程，利用有限状态机控制车辆的状态，并通过规划的方法规划行车轨迹。这种泊车控制方法的输出结果可预测，较稳定，但不具备智能性，无法有效应对真实泊车的复杂场景。同时，轨迹规划-轨迹跟踪-底盘控制的传统架构无法消除轨迹跟踪和底盘控制的误差，导致规划的轨迹和实际的轨迹不一致，无法适应泊车场景对位姿要求较严格的工况。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于几何规划及强化学习的自动泊车方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种基于几何规划及强化学习的自动泊车方法，该方法包括以下步骤：

S1：驾驶员控制车辆至泊车库位周边后，激活自动泊车系统，开启自动泊车模式。

S2：泊车模块控制车辆缓速直线行驶。

S3：利用车身周围的感知模块检测泊车库位的角点坐标和限位块位置，判断库位是否符合标准，若是，则确定停车位，进入步骤S4；否则，返回步骤S2。

优选地，若检测到多个库位，则选择距离车辆最近的库位，并判断该库位是否符合标准，若不符合，再选择下一库位并进行判断。

判断库位是否符合标准的内容为：

获取库位区域位置与大小，并检测库位区域以内是否存在障碍物；若库位区域形状及大小符合要求，且不存在障碍物，则认为该库位符合标准。

S4：根据车辆相对泊车库位的坐标和当前姿态规划泊车路径。

S5：根据规划的第一段泊车曲线是否能实现无碰撞入库判断是否需要多段路径规划，若是，则执行下一步；否则，进入步骤S7。

S6：对车辆进行多路段路径调整。

优选地，利用多段R-S曲线规划方法对进行多路段路径调整。即：

61)以车辆后轴右侧不碰到库位角点为前提，确定第一段R-S曲线的起始点；

62)将车辆向右打方向盘至极限位置后，向右后倒车至车辆左后方点在库位左侧线或其延长线上；

63)将车辆向左打方向盘至极限位置后，向左前方前进至车辆位姿调整到某一角度或到距离前方障碍物安全距离处。

S7：获取环境信息和车辆状态信息以进行强化学习网络训练，获取车辆控制指令，即：

71)搭建深度强化学习网络，将库位角点相对自车的坐标和车辆的状态信息作为输入，将方向盘转角控制指令和油门、刹车踏板控制指令作为输出，以最后一段泊车过程获取的反馈最大为目标进行训练；

72)训练完成后，深度强化学习网络根据当前输入，输出车辆的控制指令。

S8：根据车辆控制指令控制车辆入库，泊车结束，退出自动泊车模式。

一种基于几何规划及强化学习的自动泊车系统，该系统包括：

泊车模块，用于控制车辆缓速直线行驶；

感知模块，用于采集环境图像、识别库位线、判断车辆相对库位位姿信息以及检测障碍物信息并判断库位是否被占用；

决策模块，用于根据感知模块的融合信息和指令记录，判断库位的有效性及当前所处的泊车阶段，并为规划模块提供用于规划泊车路径的位姿信息；

规划模块，用于根据库位信息和车辆相对库位的位姿，规划R-S轨迹并发送轨迹散点至根据跟踪模块；

轨迹跟踪模块，用于接受规划模块传来的轨迹散点，通过控制器控制方向盘、挡位、油门与制动踏板，进而控制车辆跟踪规划轨迹；

强化学习模块，用于通过库位相对自车的位置信息和车辆的状态信息，输出方向盘转角控制指令和车速控制指令；

底盘执行器控制模块，用于接收轨迹跟踪模块传来的跟踪规划轨迹，通过控制器计算期望的方向盘、挡位、油门与制动踏板控制量或直接接收强化学习模块的控制指令，通过线控底盘执行器跟踪上述控制量。

优选地，所述的感知模块包括设置于车身前后侧、左右侧的四个摄像头及设置于车身周围的十二个超声波雷达，所述的摄像头用于采集环境图像、识别库位线并采用双目匹配方法判断相对库位位姿信息，所述的超声波雷达用于检测障碍物信息，判断库位是否被占用。

优选地，所述的轨迹跟踪模块包含ECU和线控单元。

优选地，在本发明系统中：

当驾驶员将车辆停泊到合理位置时，选择开启自动泊车模式；

当决策模块未获取到传感模块发来的库位融合信息时，规划模块发送直线规划路径，控制车辆低速前行，传感模块继续进行检测；

当检测到可用库位后，由决策模块判断库位是否可用和库位类型，并判断当前车辆处于何种泊车阶段，规划模块根据库位信息规划此阶段路径，并发送路径散点至控制模块进行跟踪；

当自动泊车模式终止时，决策模块通过控制制动踏板完成停车后退出自动泊车模式。

与现有技术相比，本发明具有以下优点：

(1)本发明在自动泊车的初始阶段，根据泊车状态进行泊车的几何规划，并确定泊车轨迹，再交由轨迹跟踪模块和底盘执行器控制模块进行控制；通过上述阶段，车辆能够调整到一次入库的位姿，此时再交由强化学习模块进行控制，可消除轨迹规划-轨迹跟踪-底盘控制的误差，达到更为理想的泊车位姿；

(2)本发明将强化学习网络训练作为最后一段的控制策略，可以减少泊车过程原地调整方向次数，能够适用于城市内的狭小泊车环境，对环境的适应性强。

附图说明

图1为本发明自动泊车分段控制的原理示意图；

图2为本发明的基于几何规划及强化学习的自动泊车方法的流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

本发明涉及一种基于几何规划及强化学习的自动泊车方法，该方法包括下列步骤：

步骤1、由驾驶员控制车辆至泊车库位周边后，开启自动泊车模式，泊车系统接管车辆控制。

步骤2、泊车模块控制车辆缓速直线行驶。

步骤3、通过车身周围的摄像头和超声波传感器进行库位角点坐标和限位块位置的检测，推算库位区域位置与大小，并检测库位区域以内障碍物存在与否；若库位区域形状大小符合要求，且不存在障碍物，确定停车位，进入步骤4；否则，回到步骤2。

作为优选，步骤3中若检测到多个库位，选择距离本车最近的库位，判断是否符合标准；若不符合，再选择判断下一库位。

步骤3中判断库位合适与否的判断标准包括库位类型、库位大小和库位内是否存在障碍物。

如图1所示，作为优选，首先规划基于R-S曲线的轨迹。

步骤4、根据自车相对库位的坐标和当前姿态S，规划泊车路径。

步骤5、由规划的第一段泊车曲线是否能实现无碰撞入库来判断是否需要多段路径规划，若是，进入步骤6；否则，进入步骤7；

作为优选地，步骤6如图1所示，调整的具体步骤为：利用多段R-S曲线调整，调整方法(以向右泊车为例)如下：

61)以车辆后轴右侧不碰到库位角点为前提，确定第一段R-S曲线的起始点A。

62)车辆向右打方向盘至极限位置，向右后倒车，至车辆左后方点在库位左侧线或其延长线上，车辆此时位于B点。

63)车辆向左打方向盘至极限位置，向左前方前进，至车辆位姿调整到某一角度或到距离前方障碍物安全距离处，车辆此时位于C点。

步骤7：进入最后一段入库的状态后，将环境信息和车辆状态信息输入，通过训练后的强化学习网络，得到车辆控制指令，车辆遵循此控制指令由C点行驶至D 点。图1中O1、O2、O3分别为起始点A到B点、B点到C点、C点到D点构成的弧线圆心。

步骤8：底盘执行器控制模块控制车辆入库，泊车结束，退出泊车模式。

本发明还提供了一种基于几何规划及强化学习的自动泊车系统，该系统包括感知模块、决策模块、规划模块、强化学习模块、轨迹跟踪模块和底盘执行器控制模块。

感知模块包括设置在车身周围的摄像头和超声波雷达，摄像头用于采集环境图像，识别库位线并采用双目匹配方法判断相对库位位姿信息，超声波雷达用于检测障碍物信息，判断库位是否被占用。优选地，感知模块包括设置于车身前后左右侧的4个摄像头及设置于车身周围的12个超声波雷达，摄像头安装于车身的后视镜下方，车身的前、后方各设置4个超声波雷达，车身的左、右两侧各设置2个超声波雷达。

决策模块与感知模块连接，根据感知模块的融合信息和指令记录，判断库位的有效性以及当前所处的泊车阶段，提供给规划模块位姿信息用于规划泊车路径。

规划模块与决策模块连接，根据库位信息和自车相对库位的位姿，规划R-S 轨迹或是将位姿信息发送给机器学习模块，发送轨迹散点到底盘执行器控制模块进行跟踪。

机器学习模块为工业用计算机，通过机器学习方法确定垂直泊车起始点位姿输入与二次螺旋线参数的关系，并将规划好的螺旋线泊车轨迹发送给规划模块。

轨迹跟踪模块包含ECU和线控单元，接受规划模块传来的轨迹散点，通过控制器控制方向盘、挡位、油门与制动踏板，进而控制车辆跟踪规划轨迹。

强化学习模块，用于通过库位相对自车的位置信息和车辆的状态信息，输出方向盘转角控制指令和车速控制指令；

底盘执行器控制模块(包括路径跟踪和底盘控制)接受轨迹跟踪模块传来的跟踪规划轨迹(或直接接收强化学习模块的控制指令)，通过线控底盘执行器跟踪上述控制量。

本系统具有自动泊车模式，本系统的具体控制过程为：

当驾驶员将车辆停泊到合理位置时，系统选择开启自动泊车模式；

当决策模块未获取到传感模块发来的库位融合信息时，规划模块发送直线规划路径，控制车辆低速前行，传感模块继续进行检测；

当检测到可用库位后，由决策模块判断库位是否可用和库位类型，并判断当前车辆处于何种泊车阶段，规划模块根据库位信息规划此阶段路径，并发送路径散点至控制模块进行跟踪；

当自动泊车模式终止时，决策模块通过控制制动踏板完成停车后退出自动泊车模式。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于几何规划及强化学习的自动泊车方法，其特征在于，该方法包括以下步骤：

1)驾驶员控制车辆至泊车库位周边后，激活自动泊车系统，开启自动泊车模式；

2)泊车模块控制车辆缓速直线行驶；

3)利用车身周围的感知模块检测泊车库位的角点坐标和限位块位置，判断库位是否符合标准，若是，则确定停车位，进入步骤4)；否则，返回步骤2)；

4)根据车辆相对泊车库位的坐标和当前姿态规划泊车路径；

5)根据规划的第一段泊车曲线是否能实现无碰撞入库判断是否需要多段路径规划，若是，则执行下一步；否则，进入步骤7)；

6)对车辆进行多路段路径调整；

7)获取环境信息和车辆状态信息以进行强化学习网络训练，获取车辆控制指令；

8)根据车辆控制指令控制车辆入库，泊车结束，退出自动泊车模式。

2.根据权利要求1所述的一种基于几何规划及强化学习的自动泊车方法，其特征在于，步骤3)中，若检测到多个库位，则选择距离车辆最近的库位，并判断该库位是否符合标准，若不符合，再选择下一库位并进行判断。

3.根据权利要求2所述的一种基于几何规划及强化学习的自动泊车方法，其特征在于，判断库位是否符合标准的内容为：

获取库位区域位置与大小，并检测库位区域以内是否存在障碍物；若库位区域形状及大小符合要求，且不存在障碍物，则认为该库位符合标准。

4.根据权利要求1所述的一种基于几何规划及强化学习的自动泊车方法，其特征在于，利用多段R-S曲线规划方法对进行多路段路径调整。

5.根据权利要求4所述的一种基于几何规划及强化学习的自动泊车方法，其特征在于，步骤6)的具体步骤包括：

61)以车辆后轴右侧不碰到库位角点为前提，确定第一段R-S曲线的起始点；

62)将车辆向右打方向盘至极限位置后，向右后倒车至车辆左后方点在库位左侧线或其延长线上；

63)将车辆向左打方向盘至极限位置后，向左前方前进至车辆位姿调整到某一角度或到距离前方障碍物安全距离处。

6.根据权利要求1所述的一种基于几何规划及强化学习的自动泊车方法，其特征在于，步骤7)的具体步骤包括：

71)搭建深度强化学习网络，将库位角点相对自车的坐标和车辆的状态信息作为输入，将方向盘转角控制指令和油门、刹车踏板控制指令作为输出，以最后一段泊车过程获取的反馈最大为目标进行训练；

72)训练完成后，深度强化学习网络根据当前输入，输出车辆的控制指令。

7.一种实现如权利要求1-6任一项所述的基于几何规划及强化学习的自动泊车方法的自动泊车系统，其特征在于，该系统包括：

泊车模块，用于控制车辆缓速直线行驶；

感知模块，用于采集环境图像、识别库位线、判断车辆相对库位位姿信息以及检测障碍物信息并判断库位是否被占用；

决策模块，用于根据感知模块的融合信息和指令记录，判断库位的有效性及当前所处的泊车阶段，并为规划模块提供用于规划泊车路径的位姿信息；

规划模块，用于根据库位信息和车辆相对库位的位姿，规划R-S轨迹并发送轨迹散点至根据跟踪模块；

轨迹跟踪模块，用于接受规划模块传来的轨迹散点，通过控制器控制方向盘、挡位、油门与制动踏板，进而控制车辆跟踪规划轨迹；

强化学习模块，用于通过库位相对自车的位置信息和车辆的状态信息，输出方向盘转角控制指令和车速控制指令；

底盘执行器控制模块，用于接收轨迹跟踪模块传来的跟踪规划轨迹，通过控制器计算期望的控制量或直接接收强化学习模块的控制指令，通过线控底盘执行器跟踪控制量。

8.根据权利要求7所述的自动泊车系统，其特征在于，所述的感知模块包括设置于车身前后侧、左右侧的四个摄像头及设置于车身周围的十二个超声波雷达，所述的摄像头用于采集环境图像、识别库位线并采用双目匹配方法判断相对库位位姿信息，所述的超声波雷达用于检测障碍物信息，判断库位是否被占用。

9.根据权利要求7所述的自动泊车系统，其特征在于，所述的轨迹跟踪模块包含ECU和线控单元。

10.根据权利要求7所述的自动泊车系统，其特征在于，所述的控制量包括方向盘、挡位、油门与制动踏板控制量。