CN102541063B - 缩微智能车辆寻线控制方法和装置 - Google Patents

Abstract

本发明涉及智能交通领域，提供一种缩微智能车辆寻线控制方法，利用图像采集装置，获得道路的单通道灰度图像，对图像进行自适应阈值二值化处理，对单通道二值化图像进行边缘检测，在经过边缘检测处理后的图像中进行寻线处理，确定左车道线或/和右车道线；还提供一种缩微智能车辆寻线控制装置，包括与中央处理器相连接的图像获取模块、图像自适应阈值二值化处理模块、边缘检测模块、车道线寻线处理模块和车道线识别模块；本发明对图像进行滤光处理，能够去除比车道线宽的其它白色干扰，极大提升了光线不均匀、车道有强反光等在复杂环境下识别左或/和右车道线的准确率。

Description

缩微智能车辆寻线控制方法和装置

技术领域

本发明涉及智能交通领域，特别涉及一种缩微智能车辆寻线控制方法和装置。

背景技术

随着经济的发展和人民生活水平的提高，交通活动已经成为人们生活中的重要组成部分。然而由于汽车增长过快，道路相对不足，交通控制问题已成为经济发展的瓶颈。智能交通系统(Intelligent Transport Systems，简称ITS)于上世纪60年代末产生，是将先进的信息技术、数据通讯传输技术、电子控制技术、计算机技术及智能车辆技术等综合运用于整个交通运输管理体系。智能车辆是一个集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统。作为智能交通系统的重要研究内容之一，智能车辆驾驶已经成为未来汽车市场的发展趋势。智能车辆驾驶系统集中地运用了计算机、传感器、信息融合、通讯、人工智能以及自动控制等技术，是典型的高新技术综合体。作为智能交通系统的重要研究内容之一，智能车辆驾驶主要研究整体自动或者作为辅助驾驶系统完成车辆驾驶任务。目前的智能车辆技术中自主导航和自动驾驶是智能车辆开发的关键技术，而自主导航和自动驾驶的实现过程中，关键技术是完成道路的识别和跟踪的计算机视觉处理技术。

在李德毅院士等专家的倡导下，智能车辆驾驶领域的相关专家已于2009开始，陆续在北京、重庆、西安、天津等地进行了多次工作会议以及缩微智能车辆自主驾驶演示。经研究发现，缩微智能车辆完成道路识别和跟踪的前提是能够正确识别左右车道线，但是现有方法都是在缩微环境相对单一，光线相对均匀的情况下识别车道线的，在光线反射不均匀、地面有强烈反光等环境较复杂的情况下寻线效果欠佳。

发明内容

本发明的目的是解决现有缩微智能车辆在缩微道路环境复杂、光线不均匀、车道有强反光的情况下寻线不稳定而提出一种基于视觉处理的缩微智能车辆寻线控制方法。

本发明的缩微智能车辆寻线控制方法，包括：

步骤110、利用图像采集装置，获得道路的单通道灰度图像；

步骤130、对图像进行自适应阈值二值化处理，将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，得到单通道二值化图像；

步骤140、对单通道二值化图像进行边缘检测，将白色和黑色相接处的像素点赋值为255，其余赋值为0；

步骤150、在经过边缘检测处理后的图像中进行寻线处理；

步骤160、确定左车道线或/和右车道线。

作为一种优选实施方式，在步骤130前，包括步骤120，对图像进行滤光处理，即用单通道灰度图像像素点减去背景图像相同位置的像素点；所述背景图像为对单通道灰度图像进行腐蚀处理和膨胀处理，除去和车道线相同宽度的白色线后得到的图像。

优选的，所述对单通道灰度图像进行腐蚀处理和膨胀处理为，对所述单通道灰度图像首先腐蚀NY次，然后膨胀NY次，其中，

表示向上取整运算，n为控制系数，n＝5×v+n′，v为缩微智能车辆当前行驶速度，单位为米/秒，v≥0，n′为缩微智能车辆静止状态时所采集的图像中车道线的宽度，单位为像素。

作为另一种优选实施方式，在步骤160后，还包括步骤170，根据所得左车道线或/和右车道线，拟合生成中轴车道线，如果左车道线和右车道线都有，则左车道线和右车道线的X轴坐标的平均值为中轴车道线，如果只有右车道线，则右车道线向X轴负方向平移半个车道即为中轴车道线，如果只有左车道线，则左车道线向X轴正方向平移半个车道即为中轴车道线。

作为另一种优选实施方式，在步骤170后，还包括制动控制步骤，根据前进方向和中轴车道线之间的夹角和距离调整车轮的角度，或者如果左车道线和右车道线都没有且缩微智能车辆不在十字路口或丁字路口，则缩微智能车辆判定不在车道行驶，采取停车操作。

优选的，步骤110所述利用图像采集装置，获得道路的单通道灰度图像为，利用图像采集装置采集道路的三通道RGB图像，然后将三通道RGB图像转换成单通道灰度图像；所述将三通道RGB图像转换成单通道灰度图像采用以下公式进行：

Y＝0.212671×R+0.715160×G+0.072169×B

其中，Y为灰度图像像素点灰度值；R为RGB图像像素点红色分量值；G为RGB图像像素点绿色分量值；B为RGB图像像素点蓝色分量值。

本发明的缩微智能车辆寻线控制装置，包括与中央处理器相连接的图像获取模块、图像自适应阈值二值化处理模块、边缘检测模块、车道线寻线处理模块和车道线识别模块；

所述图像获取模块，用于获得道路的单通道灰度图像；

所述图像自适应阈值二值化处理模块，用于将图像进行自适应阈值二值化处理，即将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，得到单通道二值化图像；

所述边缘检测模块，对单通道二值化图像进行边缘检测，将白色和黑色相接处的像素点赋值为255，其余赋值为0；

所述车道线寻线处理模块，用于在图像中寻线；

所述车道线识别模块，用于确定左车道线或/和右车道线。

作为一种优选实施方式，包括图像滤光处理模块，用于对图像进行滤光处理，即用单通道灰度图像像素点减去背景图像相同位置的像素点，所述背景图像为对单通道灰度图像进行腐蚀处理和膨胀处理，除去和车道线相同宽度的白色线后得到的图像。

作为另一种优选实施方式，，包括中轴车道线拟合模块，用于根据所得左车道线或/和右车道线，拟合生成中轴车道线。

优选的，所述图像获取模块图像包括三通道RGB图像获取单元和转换处理单元，所述三通道RGB图像获取单元用于获取三通道RGB图像，所述转换处理单元用于将三通道RGB图像转换成单通道灰度图像；所述将三通道RGB图像转换成单通道灰度图像采用以下公式：

Y＝0.212671×R+0.715160×G+0.072169×B

其中，Y为灰度图像像素点灰度值；R为RGB图像像素点红色分量值；G为RGB图像像素点绿色分量值；B为RGB图像像素点蓝色分量值。

与现有技术相比，本发明对图像进行滤光处理，能够去除比车道线宽的其它白色干扰，极大提升了光线不均匀、车道有强反光等在复杂环境下识别左或/和右车道线的准确率。

附图说明

图1为本发明缩微智能车辆寻线控制方法优选实施例流程示意图；

图2为本发明优选实施例图像采取装置采集的的两幅带地面强反光的三通道RGB图像，图2a左车道线和右车道线都有，图2b只有右车道线；

图3为本发明优选实施例将三通道RGB图像转换成单通道灰度图像后的图像，图3a是对图2a转换后的图像，图3b是对图2b转换后的图像；

图4为本发明优选实施例经过腐蚀和膨胀处理后的图像，图4a是对图3a处理后的图像，图4b是对图3b处理后的图像；

图5为本发明优选实施例经过滤光处理后的图像，图5a是对图4a处理后的图像，图5b是对图4b处理后的图像；

图6为本发明优选实施例未经过滤光处理的单通道灰度图像进行自适应阈值二值化处理后图像，图6a是对图3a处理后的图像，图6b是对图3b处理后的图像；

图7为本发明优选实施例对经过滤光处理后的图像进行自适应阈值二值化处理后的图像，图7a是对图5a处理后的图像，图7b是对图5b处理后的图像；

图8为本发明优选实施经过边缘检测处理后的图像，图8a是对图7a处理后的图像，图8b是对图7b处理后的图像；

图9为本发明优选实施经过拟合生成一条中轴车道线的处理后的图像，图9a是对图8a处理后的图像，图9b是对图8b处理后的图像；

图10为本发明缩微智能车辆寻线控制装置优选实施例结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步详细说明。

本发明缩微智能车辆寻线控制方法，具体步骤如图1所示，包括：

步骤210、利用图像采集装置，获得道路的单通道灰度图像

作为一种优选实施方式，可利用图像采集装置采集道路的单通道灰度图像；

作为另一种优选实施方式，利用图像采集装置采集道路的三通道RGB图像，然后将三通道RGB图像转换成单通道灰度图像；

所述图像采取装置可采用通用或者专用摄像头，例如，COMS摄像头，或者CCD摄像头等；

所述将三通道RGB图像转换成单通道灰度图像可采用本领域常用方式；优选地，根据地面是黑色，车道线是白色的常见环境，所述将三通道RGB图像转换成单通道灰度图像采用以下公式进行转换；

Y＝0.212671×R+0.715160×G+0.072169×B    (1)

其中，Y为灰度图像像素点灰度值；R为RGB图像像素点红色分量值；G为RGB图像像素点绿色分量值；B为RGB图像像素点蓝色分量值。

典型的，本实施例采集两幅三通道RGB图像，如图2a和图2b所示，都带有地面强反光。将图2a和图2b经过公式(1)转换后的图像分别如图3a和图3b所示：

作为一种优选实施方式，还包括步骤220、对图像进行滤光处理，即用单通道灰度图像像素点减去背景图像相同位置的像素点；

所述背景图像为对单通道灰度图像进行腐蚀处理和膨胀处理，除去和车道线相同宽度的白色线后得到的图像；

所述膨胀指将一些图像(或图像中的一部分区域，称之为AP)与核(称之为BP)进行卷积。核可以是任何的形状或大小，它拥有一个单独定义出来的参考点(anchor point)。多数情况下，核是一个小的中间带有参考点的实心正方形或圆盘。核可以视为模板或掩码，膨胀是求局部最大值的操作。核BP与图像卷积，即计算核BP覆盖的区域的像素点最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增大。

所述腐蚀是膨胀的反操作。腐蚀操作要计算核区域像素的最小值。腐蚀可以通过下面的算法生成一个新的图像：当核BP与图像卷积时，计算被BP覆盖区域的最小像素值，并把这个值放到参考点上。腐蚀能够消除细的凸起。腐蚀可以将斑点、噪声点腐蚀掉，膨胀将被噪声、阴影分割成的多个部分“融合”起来。

通常，需要对目标图像先腐蚀nx次，后膨胀nx次，作用为去除宽度小于或者等于nx的白线，留下宽度大于nx的白色块。

本实施例中，对所述单通道灰度图像首先腐蚀NY次，然后膨胀NY次，

表示向上取整运算，n为控制系数，n＝5×v+n′，v为缩微智能车辆当前行驶速度，单位为米/秒，v≥0，n′为缩微智能车辆静止状态时所采集的图像中车道线的宽度，单位为像素；本实施例中，将图3a和图3b所示图像经过腐蚀和膨胀处理后的图像分别如图4a和图4b所示；将图4a和图4b所示图像经过滤光处理后的图像分别如图5a和图5b所示；

步骤230、对图像进行自适应阈值二值化处理，即将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，得到单通道二值化图像；

为了能将车道线和车道更好的分离，将图像进行自适应阈值二值化处理，将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0；所述阈值优选采用日本学者大津于1979年提出的大津法得到，可将车道线和车道较好地分离。

本实施例中，将图5a和图5b所示图像经过自适应阈值二值化处理后的图像分别如图7a和图7b所示；与之相比较，将未经过滤光处理的单通道灰度图像(如图3a和图3b所示)经过自适应阈值二值化处理后得到如图6a和图6b所示，在车道线识别时会将反光区域和地面相接处误识别为车道线，缩微智能车做出错误的驾驶行为。

步骤240，对单通道二值化图像进行边缘检测，将白色和黑色相接处的像素点赋值为255，其余赋值为0；

对去除背景的单通道二值化图像做边缘检测后一条白色直线就会被分成两条宽度只有一个像素的直线，防止后续寻线时在同一白色线上重复寻线；

本实施例中，将图7a和图7b所示图像经过边缘检测处理后的图像分别如图8a和图8b所示；

步骤250、在经过边缘检测处理后的图像中进行寻线处理；

如果是白色直线则取直线上距离相差Nx个像素点的任意两点来确定所寻线段的位置，如果是白色弯线则寻找的是弯线的切线，以切点为中心弯道上直线距离相差Nx个像素点的两点确定一条线段来近似弯道的切线；所述Nx取值范围为20-50；

优选的，经过试验验证，当所述Nx取值为30时，能够在不丢失车道线的前提下尽量去除其它白线的干扰；

步骤260、确定左车道线或/和右车道线；

将所寻线段的两个点转换成缩微智能车平面直角坐标系下的坐标点，由转换后的两个点确定所寻线段在缩微智能车平面直角坐标系下的位置，在缩微智能车平面直角坐标系下，根据所寻线段与X轴相交值为正值的确定为右线，为负值的确定为左线，距离缩微智能车辆最近且距离不超过一个车道宽度的左线确定为左车道线，距离缩微智能车辆最近且距离不超过一个车道宽度右线确定为右车道线；

特别地，为了确定左车道线或/和右车道线，需要转换之前先要对图像摄取装置进行标定，优选采用张正友的标定算法得到坐标转换矩阵，图像坐标系下的点与坐标转换矩阵运算后得到缩微智能车平面直角坐标系下的点。缩微智能车平面直角坐标系的原点在缩微智能车体中心正下方地面上，Y轴平行地面指向车体前进方向，X轴平行地面与Y轴垂直指向车体右方。

优选的，所述缩微智能车平面直角坐标系的生成时间无特别限定，在本步骤之前的任意步骤都可以生成。

优选的，进一步包括步骤270、根据所得左车道线或/和右车道线，拟合生成中轴车道线；

优选地，如果左车道线和右车道线都有，则左车道线和右车道线X轴坐标的平均值为中轴车道线，如果只有右车道线，则右车道线向X轴负方向平移半个车道即为中轴车道线，如果只有左车道线，则左车道线向X轴正方向平移半个车道即为中轴车道线。

本实施例中，对两幅图像分别经过拟合生成一条中轴车道线的处理后的图像分别如图9a和图9b所示；

进一步地，包括制动控制步骤，根据前进方向和拟合中轴车道线之间的夹角和距离调整车轮的角度，或者如果左车道线和右车道线都没有且缩微智能车辆不在十字路口或丁字路口，则缩微智能车辆不在车道行驶，则采取停车操作。

本发明的一种缩微智能车辆寻线控制装置，如图10所示，包括与中央处理器相连接的图像获取模块、图像自适应阈值二值化处理模块、边缘检测模块、车道线寻线处理模块和车道线识别模块：

所述图像获取模块，用于获得道路的单通道灰度图像；

所述图像获取模块可以直接获取单通道灰度图像，也可以间接获取；

优选的，所述图像获取模块图像包括三通道RGB图像获取单元和转换处理单元，所述三通道RGB图像获取单元用于获取三通道RGB图像，所述转换处理单元用于将三通道RGB图像转换成单通道灰度图像；

所述图像采取装置可采用通用或者专用摄像头，例如，COMS摄像头，或者CCD摄像头等；

所述将三通道RGB图像转换成单通道灰度图像可采用本领域常用方式；优选地，根据地面是黑色，车道线是白色的常见环境，所述将三通道RGB图像转换成单通道灰度图像采用以下公式进行转换；

Y＝0.212671×R+0.715160×G+0.072169×B

其中，Y为灰度图像像素点灰度值；R为RGB图像像素点红色分量值；G为RGB图像像素点绿色分量值；B为RGB图像像素点蓝色分量值。

作为一种优选实施方式，还包括图像滤光处理模块，用于对图像进行滤光处理，即用单通道灰度图像像素点减去背景图像相同位置的像素点，

所述背景图像为对单通道灰度图像进行腐蚀处理和膨胀处理，除去和车道线相同宽度的白色线后得到的图像；

所述膨胀指将一些图像(或图像中的一部分区域，称之为AP)与核(称之为BP)进行卷积。核可以是任何的形状或大小，它拥有一个单独定义出来的参考点(anchor point)。多数情况下，核是一个小的中间带有参考点的实心正方形或圆盘。核可以视为模板或掩码，膨胀是求局部最大值的操作。核BP与图像卷积，即计算核BP覆盖的区域的像素点最大值，并把这个最大值赋值给参考点指定的像素。这样就会使图像中的高亮区域逐渐增大。

所述腐蚀是膨胀的反操作。腐蚀操作要计算核区域像素的最小值。腐蚀可以通过下面的算法生成一个新的图像：当核BP与图像卷积时，计算被BP覆盖区域的最小像素值，并把这个值放到参考点上。腐蚀能够消除细的凸起。腐蚀可以将斑点、噪声点腐蚀掉，膨胀将被噪声、阴影分割成的多个部分“融合”起来。

通常，需要对目标图像先腐蚀nx次，后膨胀nx次，作用为去除宽度小于或者等于nx的白线，留下宽度大于nx的白色块。

本实施例中，对所述单通道灰度图像首先腐蚀NY次，然后膨胀NY次，

表示向上取整运算，n为控制系数，n＝5×v+n′，v为缩微智能车辆当前行驶速度，单位为米/秒，v≥0，n′为缩微智能车辆静止状态时所采集的图像中车道线的宽度，单位为像素；

所述图像自适应阈值二值化处理模块，用于将图像进行自适应阈值二值化处理，即将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，得到单通道二值化图像；

为了能将车道线和车道更好的分离，将图像进行自适应阈值二值化处理，将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0；所述阈值优选采用日本学者大津于1979年提出的大津法得到，可将车道线和车道较好地分离。

所述边缘检测模块，对单通道二值化图像进行边缘检测，将白色和黑色相接处的像素点赋值为255，其余赋值为0，

对去除背景的单通道二值化图像做边缘检测后一条白色直线就会被分成两条宽度只有一个像素的直线，防止后续寻线时在同一白色线上重复寻线；

所述车道线寻线处理模块，用于在图像中寻线，如果是白色直线则取直线上距离相差Nx个像素点的任意两点来确定所寻线段的位置，如果是白色弯线则寻找的是弯线的切线，以切点为中心弯道上直线距离相差Nx个像素点的两点确定一条线段来近似弯道的切线；所述Nx取值范围为20-50；

优选的，经过试验验证，当所述Nx取值为30时，能够在不丢失车道线的前提下尽量去除其它白线的干扰；

所述车道线识别模块，用于将所寻线段的两个点转换成缩微智能车平面直角坐标系下的坐标点，由转换后的两个点确定所寻线段在缩微智能车平面直角坐标系下的位置，在缩微智能车平面直角坐标系下，根据所寻线段与X轴相交值为正值的确定为右线，为负值的确定为左线，距离缩微智能车辆最近且距离不超过一个车道宽度的左线确定为左车道线，距离缩微智能车辆最近且距离不超过一个车道宽度右线确定为右车道线；

特别地，为了确定左车道线或/和右车道线，需要转换之前先要对图像摄取装置进行标定，优选采用张正友的标定算法得到坐标转换矩阵，图像坐标系下的点与坐标转换矩阵运算后得到缩微智能车平面直角坐标系下的点。缩微智能车平面直角坐标系的原点在缩微智能车体中心正下方地面上，Y轴平行地面指向车体前进方向，X轴平行地面与Y轴垂直指向车体右方。

进一步地，作为一种优选实施方式，还包括中轴车道线拟合模块，用于根据所得左车道线或/和右车道线，拟合生成中轴车道线。

优选地，如果左车道线和右车道线都有，则左车道线和右车道线的X轴坐标的平均值为中轴车道线，如果只有右车道线，则右车道线向X轴负方向平移半个车道即为中轴车道线，如果只有左车道线，则左车道线向X轴正方向平移半个车道即为中轴车道线。

进一步地，作为一种优选实施方式，还包括制动控制模块，用于根据前进方向和拟合中轴车道线之间的夹角和距离调整车轮的角度，或者如果左车道线和右车道线都没有且缩微智能车辆不在十字路口或丁字路口，则缩微智能车辆判定不在车道行驶，采取停车操作。

本发明所述缩微智能车辆驾驶最主要的任务就是能够正确寻线保持车辆行驶在正确的道路上，维持车辆之间的一个安全距离。

本发明部分功能可采用图像处理软件来进行，典型的，如OpenCV，其是由Intel公司提供的开源计算机视觉库，由一系列C函数和少量C++类构成，实现了图像处理和计算机视觉方面的很多通用算法。

本发明虽然是基于缩微智能车辆在缩微三维交通环境下的寻线控制，为智能真车控制研究提供了模拟现实、可重复、可验证、可评价的试验平台，但除了部分的具体参数外，相关方法或装置同样适用于智能真车的寻线控制。

本发明所举实施方式或者实施例对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施方式或者实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.缩微智能车辆寻线控制方法，其特征在于，包括：

步骤110、利用图像采集装置，获得道路的单通道灰度图像；

步骤120、对图像进行滤光处理，即用单通道灰度图像像素点减去背景图像相同位置的像素点；所述背景图像为对单通道灰度图像进行腐蚀处理和膨胀处理，除去和车道线相同宽度的白色线后得到的图像；所述对单通道灰度图像进行腐蚀处理和膨胀处理为，对所述单通道灰度图像首先腐蚀NY次，然后膨胀NY次，其中，

表示向上取整运算，n为控制系数，n=5×v+n′，v为缩微智能车辆当前行驶速度，单位为米/秒，v≥0，n′为缩微智能车辆静止状态时所采集的图像中车道线的宽度，单位为像素；

步骤130、对图像进行自适应阈值二值化处理，将大于阈值的像素点赋值为255，小于阈值的像素点赋值为0，得到单通道二值化图像；

步骤140、对单通道二值化图像进行边缘检测，将白色和黑色相接处的像素点赋值为255，其余赋值为0；

步骤150、在经过边缘检测处理后的图像中进行寻线处理；

步骤160、确定左车道线或/和右车道线；

步骤170、根据所得左车道线或/和右车道线，拟合生成中轴车道线，如果左车道线和右车道线都有，则左车道线和右车道线的X轴坐标的平均值为中轴车道线，如果只有右车道线，则右车道线向X轴负方向平移半个车道即为中轴车道线，如果只有左车道线，则左车道线向X轴正方向平移半个车道即为中轴车道线；

步骤180、制动控制步骤，根据前进方向和中轴车道线之间的夹角和距离调整车轮的角度，或者如果左车道线和右车道线都没有且缩微智能车辆不在十字路口或丁字路口，则缩微智能车辆判定不在车道行驶，采取停车操作。

2.如权利要求1所述方法，其特征在于，步骤110所述利用图像采集装置，获得道路的单通道灰度图像为，利用图像采集装置采集道路的三通道RGB图像，然后将三通道RGB图像转换成单通道灰度图像；所述将三通道RGB图像转换成单通道灰度图像采用以下公式进行：

Y=0.212671×R+0.715160×G+0.072169×B

其中，Y为灰度图像像素点灰度值；R为RGB图像像素点红色分量值；G为RGB图像像素点绿色分量值；B为RGB图像像素点蓝色分量值。

Images