CN112232272B - 一种激光与视觉图像传感器融合的行人识别方法 - Google Patents

Abstract

本发明提供了一种激光与视觉图像传感器融合的行人识别方法，包括：以相同预设的基准方向获取激光图像点云数据和捕捉视觉图像的信息；分析出所述激光图像点云数据中目标特征的第一位置并用追踪器对所述的位置进行修正，其中，所述位置包括在所述激光图像中的第一距离和第一方向角；从所述视觉图像的信息中分析出所述目标特征的第二位置，其中，所述位置包括在所述视觉图像中的第一距离和第二方向角；计算出所述第一距离和所述第二距离的第一偏差值或/和所述第一方向角和第二方向角的第二偏差值；根据第一偏差值和第二偏差值判断目标特征是否为误检。

Description

一种激光与视觉图像传感器融合的行人识别方法

技术领域

本发明涉及智能机器人领域，尤其涉及一种激光与视觉图像传感器融合的行人识别方法。

背景技术

激光追踪是一种是在黑夜中也能捕捉对象的一种定位方法，追踪特定的目标，一般需要输入大量的模型的来使提取特定目标的模型更加准确；视觉图像识别可以很，不过对视觉模型捕捉的图像对光线有一定的要求。

一般的激光人腿识别方法，或是直接基于激光数据，利用一些传统机器学习算法来识别出人腿位置，或是先将激光数据转换成灰度图，然后再利用深度学习相关的算法来直接检测出人腿位置。

发明内容

本发明的目的之一在于，融合激光和视觉图像传感器识别行人。

为实现上述目的，本发明提供了一种激光与视觉图像传感器融合的行人识别方法，包括：

以相同预设的基准方向获取激光图像点云数据和捕捉视觉图像的信息；

分析出所述激光图像点云数据中目标特征的第一位置并用追踪器对所述的位置进行修正，其中，所述位置包括在所述激光图像中的第一距离和第一方向角；

从所述视觉图像的信息中分析出所述目标特征的第二位置，其中，所述位置包括在所述视觉图像中的第一距离和第二方向角；

计算出所述第一距离和所述第二距离的第一偏差值或/和所述第一方向角和第二方向角的第二偏差值；

根据第一偏差值和第二偏差值判断目标特征是否为误检。

进一步地，判断所述误检的具体步骤包括：

预设第一阈值和第二阈值，其中，所述第一阈值和所述第一距离、所述第二距离相关，所述第二阈值和所述第一方向角、所述第二方向相关；

所述第一偏差值落入到第一阈值范围内且所述第二偏差值落入到第二阈值范围内，则判断出所述目标特征检测正确；

所述第一偏差值没有落入到第一阈值范围内或/和所述第二偏差值落入到第二阈值范围内，则判断出所述目标特征为误检。

进一步地，还包括确定所述激光图像点云数据中包含的目标特征的数量的具体步骤：

对所述前景图像中的各目标特征所在的图像区域进行梯度分析；

获得所述前景图像中的各目标特征所在的图像区域中各像素的梯度信息；

将区域内像素的梯度信息满足预设梯度要求的目标特征的图像区域确定为兴趣区域；

对各兴趣区域进行标注编号，对标注的各所述兴趣区域进行聚类，根据聚类结果从标注的各兴趣区域汇总确定目标特征区域；

将所述图像区域的数量确定为所述待识别图像中包含目标特征的数量。

进一步地，根据各兴趣区域携带的颜色对各兴趣区域进行聚类，获得多个区域簇，每个区域簇中包括至少一个兴趣区域；

将满足人腿颜色要求的区域簇中各兴趣区域确定为目标特征区域，其中，所述满足人腿颜色要求的区域簇中包括的各兴趣区域携带的颜色均位于预设人腿颜色范围内。

进一步地，利用所述追踪器对追踪多帧所述激光点云数据连续出现的目标特征；

将所述连续出现的目标特征才会视为正例提取并保存所述正例。

进一步地，分析视觉图像检测的行人检测结果和追踪器追踪的结果得出方向角偏差；

查看在第二阈值范围内是否有目标特征存在并标记该目标特征已分配；

若所有目标特征的方向角都不在该角度区间范围内，则该行人不分人配腿。

进一步地，追踪器训练的具体步骤包括：

将激光人腿识别算法预测出的人腿识别结果输入至已有的跟踪器，所述跟踪器会输出一组人腿跟踪结果；

比较人腿识别结果和人腿跟踪结果之间的位置偏差，如果对于每一组人腿识别结果，其对应的位置偏差都不大，则可以直接将识别结果作为输出；如果有一组人腿的位置偏差过大，则视该帧的人腿识别结果为误检，取跟踪结果为最终输出；

在输出完人腿结果之后，会使用相应的结果来更新跟踪器。

进一步地，所述对同一匹配图像组中的各待合成图像进行拼接，获得所述待识别图像，包括：

对匹配成功的多个所述待合成图像进行拼接，对拼接区域进行图像融合处理，获得所述待识别图像。

进一步地，在所述根据各人腿所在的图像区域的数量，确定所述待识别图像中包含的人腿数量之后，所述方法还包括：

根据所述待识别图像中包含的人腿数量，对所述人腿数量信息进行显示。

进一步地，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和第一确定单元，所述第一获得单元，用于获得待识别图像；

所述第二获得单元，用于将所述待识别图像输入预设人腿识别模型中，获得所述预设人腿识别模型输出的识别结果；

所述第三获得单元，用于当所述识别结果为所述待识别图像中包含人腿图像时，从所述待识别图像中获得前景图像；

所述第四获得单元，用于对所述前景图像进行人腿检测，获得所述前景图像中的各人腿所在的图像区域；

所述第一确定单元，用于根据各人腿所在的图像区域的数量，确定所述待识别图像中包含的人腿数量。

与现有技术相比，本发明具有如下技术效果：

在本申请中需要判断出右边图像中方框标记中数目是否正确，判断方式主要是根据视觉图像中人腿的距离和角度和激光识别技术识别的人腿的位置是否一样；在本申请中需要补全激光识别技术中判定漏捡的人腿，补全方式是根据识别主要是根据视觉图像中人腿的距离和角度，在激光识别技术图中增加新的人腿目标；在激光识别技术图每一个行人都会获得至多一个人腿与之绑定，所有未绑定的人腿都将被弃置，本发明可以在一定程度上降低只依靠激光数据识别人腿的不稳定性，以提供高质量的人腿识别结果。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种激光与视觉图像传感器融合的行人识别方法流程图；

图2为本发明实施例提供的一种激光与视觉图像传感器融合的行人识别方法流程图；

图3为本发明实施例提供的激光与视觉图像传感器融合的行人识别方法示意图；

图4为本发明实施例提供的激光与视觉图像传感器融合的行人识别方法示意图示意图；

图5为本发明实施例提供的激光与视觉图像传感器融合的行人识别方法示意图示意图；

图6为本发明实施例提供的激光与视觉图像传感器融合的行人识别方法示意图；

图7为本发明实施例提供的激光与视觉图像传感器融合的行人识别方法流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。这里将详细地对示例行实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或者相似的要素。以下示例性实施例中所述描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与所述附图权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在一些实施例中，本发明提供了一种激光与视觉图像传感器融合的行人识别方法，具体地，在图1中所示，包括：

101、以相同预设的基准方向获取激光图像点云数据和捕捉视觉图像的信息；

201、分析出所述激光图像点云数据中目标特征的第一位置并用追踪器对所述的位置进行修正，其中，所述位置包括在所述激光图像中的第一距离和第一方向角；

301、从所述视觉图像的信息中分析出所述目标特征的第二位置，其中，所述位置包括在所述视觉图像中的第一距离和第二方向角；

401、计算出所述第一距离和所述第二距离的第一偏差值或/和所述第一方向角和第二方向角的第二偏差值；

501、根据第一偏差值和第二偏差值判断目标特征是否为误检。

在一些实施例中，在图2中所示，判断所述误检的具体步骤包括：

511、预设第一阈值和第二阈值，其中，所述第一阈值和所述第一距离、所述第二距离相关，所述第二阈值和所述第一方向角、所述第二方向相关；

512、所述第一偏差值落入到第一阈值范围内且所述第二偏差值落入到第二阈值范围内，则判断出所述目标特征检测正确；

513、所述第一偏差值没有落入到第一阈值范围内或/和所述第二偏差值落入到第二阈值范围内，则判断出所述目标特征为误检。

预设一定的基准以及一定篇幅，理想状态下，在视觉识别图像和激光识别图像中，其角度和距离是相同的，激光结合视觉识别图像识别人腿，可以非常准备地识别人腿在激光中的准确位置，即视觉图像识别修正激光识别技术错误。

在一些实施例中，激光识别技术需要识别激光图像点云数据的人腿数目，确定所述激光图像点云数据中包含的目标特征的数量的具体步骤：

对所述前景图像中的各目标特征所在的图像区域进行梯度分析；

获得所述前景图像中的各目标特征所在的图像区域中各像素的梯度信息；

将区域内像素的梯度信息满足预设梯度要求的目标特征的图像区域确定为兴趣区域；

对各兴趣区域进行标注编号，对标注的各所述兴趣区域进行聚类，根据聚类结果从标注的各兴趣区域汇总确定目标特征区域；

将所述图像区域的数量确定为所述待识别图像中包含目标特征的数量。

在一些实施例中，根据各兴趣区域携带的颜色对各兴趣区域进行聚类，获得多个区域簇，每个区域簇中包括至少一个兴趣区域；

将满足人腿颜色要求的区域簇中各兴趣区域确定为目标特征区域，其中，所述满足人腿颜色要求的区域簇中包括的各兴趣区域携带的颜色均位于预设人腿颜色范围内。

在图3中所示，左边为视觉识别技术图，右边为激光识别技术图；在图4中所示，左边为激光识别技术图，右边误捡的补全图激光图像识别技术识别的人腿数目，左图为图像识别技术识别的人腿数目，在本申请中需要判断出右边图像中方框标记中数目是否正确，判断方式主要是根据视觉图像中人腿的距离和角度和激光识别技术识别的人腿的位置是否一样。

在图5中所示，左边为视觉识别技术图，右边为激光识别技术图；在图6中所示，左边为激光识别技术图，右边漏捡的补全图，在本申请中需要补全激光识别技术中判定漏捡的人腿，补全方式是根据识别主要是根据视觉图像中人腿的距离和角度，在激光识别技术图中增加新的人腿目标。

在一些实施例中，利用所述追踪器对追踪多帧所述激光点云数据连续出现的目标特征；

将所述连续出现的目标特征才会视为正例提取并保存所述正例。

在一些实施例中，分析视觉图像检测的行人检测结果和追踪器追踪的结果得出方向角偏差；

查看在第二阈值范围内是否有目标特征存在并标记该目标特征已分配；

若所有目标特征的方向角都不在该角度区间范围内，则该行人不分人配腿。

在一些实施例中，追踪器训练的具体步骤包括：

将激光人腿识别算法预测出的人腿识别结果输入至已有的跟踪器，所述跟踪器会输出一组人腿跟踪结果；

比较人腿识别结果和人腿跟踪结果之间的位置偏差，如果对于每一组人腿识别结果，其对应的位置偏差都不大，则可以直接将识别结果作为输出；如果有一组人腿的位置偏差过大，则视该帧的人腿识别结果为误检，取跟踪结果为最终输出；

在输出完人腿结果之后，会使用相应的结果来更新跟踪器。

在图7中所示，提供了一种训练追踪器的方法以及人腿识别的方法：

在步骤601中、输入激光数据；

在步骤602中、激光人腿识别算法；

在步骤603中、人腿追踪模块；

在步骤604中、人腿识别结果；

在步骤605中、融合后的人腿结果；

在步骤606中、融合模块；

在步骤607中、行人检测结果；

在步骤608中、图像行人检测算法；

在步骤609中、输入视觉图像数据。

最主要是更新识别器，提高激光识别技术单独识别人腿的正确率。

在一些实施例中，所述对同一匹配图像组中的各待合成图像进行拼接，获得所述待识别图像，包括：

对匹配成功的多个所述待合成图像进行拼接，对拼接区域进行图像融合处理，获得所述待识别图像。

在一些实施例中，在所述根据各人腿所在的图像区域的数量，确定所述待识别图像中包含的人腿数量之后，所述方法还包括：

根据所述待识别图像中包含的人腿数量，对所述人腿数量信息进行显示。

在一些实施例中，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和第一确定单元，

所述第一获得单元，用于获得待识别图像；

所述第二获得单元，用于将所述待识别图像输入预设人腿识别模型中，获得所述预设

人腿识别模型输出的识别结果；

所述第三获得单元，用于当所述识别结果为所述待识别图像中包含人腿图像时，从所述待识别图像中获得前景图像；

所述第四获得单元，用于对所述前景图像进行人腿检测，获得所述前景图像中的各人腿所在的图像区域；

所述第一确定单元，用于根据各人腿所在的图像区域的数量，确定所述待识别图像中包含的人腿数量。

本方法首先得到激光图像上的人腿位置，接着利用相匹配的可见光图像上的行人检测结果作融合，从而辅助提升激光人腿的识别效果。在融合前，本方法在当前激光帧人腿位置的基础上，还通过利用跟踪算法，进一步结合历史帧的人腿位置，从而有效地对人腿的漏检进行一定的补全，并对误检进行相应的去除。具体来说，在本方法中，首先得到激光帧上的人腿位置和方向角，同时利用跟踪器对得到的人腿位置进行相应的修订，接着获得激光帧对应的可见光图像上的行人检测结果及其方向角。然后，计算出激光帧上的人腿方向角和可见光图像上的行人方向角之间的偏差量，根据方向角的偏差，可以将激光帧上的人腿和可见光图像上的行人绑定在一起。若方向角偏差小于阈值，则将该人腿分配给行人，并将其标记为已分配，若方向角偏差超过阈值，则认为该帧激光上的人腿识别为误检，将其去除。若在某个行人的方向角区间里包含了多个人腿结果，则只取距离最近的某个人腿作为待绑定目标，并将其标记为已分配，满足方向角条件的其他人腿标记为未分配，等待下一轮的分配。在最后的结果中，每一个行人都会获得至多一个人腿与之绑定，所有未绑定的人腿都将被弃置。本发明可以在一定程度上降低只依靠激光数据识别人腿的不稳定性，以提供高质量的人腿识别结果。

容易理解地，融合处理也就是利用图像融合技术，将多源信道所采集的关于一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间的分辨率和光谱的分辨率，有利于检测。本发明利用图像融合技术中加权融合的方法，将拼接区域的像素值按照预设的全职相加，使拼接区域更加自然，方便观察。具体的，预设人腿识别模型是对预设训练图像进行机器学习得到的，预设训练图像主要为具有人腿特征的图像和不具有人腿特征的图像。预设人腿模型主要是利用预设训练图像在不同尺度和纵横比下的表达，创建图像金字塔，将不同尺度和纵横比的同一个训练图像在不同尺寸和纵横比下的表达，创建图像金字塔，将不同尺寸度和纵横比下的人腿测响应图中的人腿区域映射在原始分辨率的预设训练图中，从而识别所输入的预设训练图像的人腿区域。经过使用大量的预设训练图像对预设人腿模型的训练，会在预设人腿模型中产生一个二次分类器，二次分类器用于判断待识别图像中是否存在人腿。其中，图像金字塔是图像多尺寸表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。其中，图像的金字塔是一系列以金字塔形状排列分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始的图像集合。其通过梯度向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。

一种计算机可读介质，计算机可读储存介质上存储有计算机程序，所述计算机程序被处理器执行时实现。其上存储有计算机程序，当计算机程序被处理器执行时实现上述从调度服务器侧描述的机器人自检控制方法。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种激光与视觉图像传感器融合的行人识别方法，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (5)

1.一种激光与视觉图像传感器融合的行人识别方法，其特征在于，包括：

以相同预设的基准方向获取激光图像点云数据和捕捉视觉图像的信息；

分析出所述激光图像点云数据中目标特征的第一位置并用追踪器对所述的位置进行修正，其中，所述位置包括在所述激光图像中的第一距离和第一方向角；

从所述视觉图像的信息中分析出所述目标特征的第二位置，其中，所述位置包括在所述视觉图像中的第二距离和第二方向角；

计算出所述第一距离和所述第二距离的第一偏差值和所述第一方向角和第二方向角的第二偏差值；

根据第一偏差值和第二偏差值判断目标特征是否为误检；

判断所述误检的具体步骤包括：

预设第一阈值和第二阈值，其中，所述第一阈值和所述第一距离、所述第二距离相关，所述第二阈值和所述第一方向角、所述第二方向相关；

所述第一偏差值落入到第一阈值范围内且所述第二偏差值落入到第二阈值范围内，则判断出所述目标特征检测正确；

所述第一偏差值没有落入到第一阈值范围内或/和所述第二偏差值没有落入到第二阈值范围内，则判断出所述目标特征为误检；

还包括确定所述激光图像点云数据中包含的目标特征的数量的具体步骤：

对前景图像中的各目标特征所在的图像区域进行梯度分析；

获得所述前景图像中的各目标特征所在的图像区域中各像素的梯度信息；

将区域内像素的梯度信息满足预设梯度要求的目标特征的图像区域确定为兴趣区域；

对各兴趣区域进行标注编号，对标注的各所述兴趣区域进行聚类，根据聚类结果从标注的各兴趣区域汇总确定目标特征区域；

将所述图像区域的数量确定为待识别图像中包含目标特征的数量；

根据各兴趣区域携带的颜色对各兴趣区域进行聚类，获得多个区域簇，每个区域簇中包括至少一个兴趣区域；将满足人腿颜色要求的区域簇中各兴趣区域确定为目标特征区域，其中，所述满足人腿颜色要求的区域簇中包括的各兴趣区域携带的颜色均位于预设人腿颜色范围内；

追踪器训练的具体步骤包括：

将激光人腿识别算法预测出的人腿识别结果输入至已有的跟踪器，所述跟踪器会输出一组人腿跟踪结果；

比较人腿识别结果和人腿跟踪结果之间的位置偏差，如果对于每一组人腿识别结果，其对应的位置偏差都不大，则直接将识别结果作为输出；如果有一组人腿的位置偏差过大，则视该组的人腿识别结果为误检，取跟踪结果为最终输出；

在输出完人腿结果之后，会使用相应的结果来更新跟踪器；

所述对同一匹配图像组中的各待合成图像进行拼接，获得所述待识别图像，包括：

对匹配成功的多个所述待合成图像进行拼接，对拼接区域进行图像融合处理，获得所述待识别图像。

2.根据权利要求1所述的激光与视觉图像传感器融合的行人识别方法，其特征在于，利用所述追踪器对追踪多帧所述激光点云数据连续出现的目标特征；

将所述连续出现的目标特征视为正例提取并保存所述正例。

3.根据权利要求1所述的激光与视觉图像传感器融合的行人识别方法，其特征在于，分析视觉图像检测的行人检测结果和追踪器追踪的结果得出方向角偏差；

查看在第二阈值范围内是否有目标特征存在并标记该目标特征已分配；

若所有目标特征的方向角都不在预设角度区间范围内，则该行人不分配人腿。

4.根据权利要求1所述的方法，其特征在于，在所述根据各人腿所在的图像区域的数量，确定所述待识别图像中包含的人腿数量之后，所述方法还包括：

根据所述待识别图像中包含的人腿数量，对所述人腿数量信息进行显示。

5.一种采用如权利要求1至4中任意一项所述的激光与视觉图像传感器融合的行人识别方法对图像包含的人腿数量进行识别的系统，其特征在于，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和第一确定单元，

所述第一获得单元，用于获得待识别图像；

所述第二获得单元，用于将所述待识别图像输入预设人腿识别模型中，获得所述预设人腿识别模型输出的识别结果；

所述第三获得单元，用于当所述识别结果为所述待识别图像中包含人腿图像时，从所述待识别图像中获得前景图像；

所述第四获得单元，用于对所述前景图像进行人腿检测，获得所述前景图像中的各人腿所在的图像区域；

所述第一确定单元，用于根据各人腿所在的图像区域的数量，确定所述待识别图像中包含的人腿数量。