CN104021368A - 估计路面高度形状的方法和系统 - Google Patents

估计路面高度形状的方法和系统 Download PDF

Info

Publication number
CN104021368A
CN104021368A CN201310063898.2A CN201310063898A CN104021368A CN 104021368 A CN104021368 A CN 104021368A CN 201310063898 A CN201310063898 A CN 201310063898A CN 104021368 A CN104021368 A CN 104021368A
Authority
CN
China
Prior art keywords
road surface
road
interest
points
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310063898.2A
Other languages
English (en)
Inventor
陈超
师忠超
鲁耀杰
王刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201310063898.2A priority Critical patent/CN104021368A/zh
Priority to EP14155999.7A priority patent/EP2772883B1/en
Priority to JP2014035646A priority patent/JP6442834B2/ja
Publication of CN104021368A publication Critical patent/CN104021368A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供一种在道路场景中估计路面高度形状的方法和系统，该方法包括：获得道路场景的视差图；基于所述视差图检测路面感兴趣区；基于所述路面感兴趣区确定多个路面感兴趣点；以及基于所述多个路面感兴趣点来估计路面高度形状。根据本发明的各个实施例能够准确且高效地针对各种道路进行路面高度检测和估计。

Description

估计路面高度形状的方法和系统
技术领域
本发明通常涉及图像处理领域，且更具体地涉及基于立体视觉的视差图来估计路面高度形状的技术。
背景技术
如今，随着图像处理技术的不断深化发展，人们已经不能满足于仅反映物体的平面视觉的二维图像了，人们已经越来越注意到还能反映物体的远近、凸凹和深浅的立体感的立体视觉、例如3D/三维技术，并研究和产生了诸多应用。
人的左右眼在观察物体时存在视差，这一发现奠定了双目立体视觉的理论基础。双目立体视觉是由不同位置的两台摄像机(所谓双目摄像机)或者一台摄像机经过移动或旋转拍摄同一场景，通过各种算法匹配出相应像点，从而计算出该像点的视差并生成视差图，然后基于三角测量原理恢复该像点的深度（距离）信息。该双目立体视觉计算像点的视差图的计算和生成已经是本领域技术中公知的，其详细算法和过程在此不赘述。
这种立体视觉的应用范围非常广泛，诸如三维电影、基于三维技术的道路检测、行人检测、自动驾驶等等应用。
而随着对机动车的自动化要求的不断提高，能够感知可靠的立体道路环境的立体视觉应用对于车辆的安全辅助/自主驾驶十分重要，尤其是对于环境远复杂于高速公路、乡间道路的城市道路。如何能够更准确地且高效地检测出道路本身以及道路的高度等各种参数已经成为研究的重点。如果能够准确地得到道路的包括高度的各种参数，则可以通过这些参数来获得更为广泛的应用，例如位于道路上某处的行人、车辆或建筑物的实际高度计算等等。
已知的技术也对道路的检测提出了一些解决方案。例如，下面列出两篇相关文献：
相关文献1：题为“A Complete U-V-Disparity Study for Stereovision Based3D Driving Environment Analysis”，作者为Zhencheng Hu,Francisco Lamosa,Keiichi U chimura，Kumamoto University于Proceedings of the 5th internationalConference on 3-D Digital Imaging and Modeling刊登的,日期为2005年6月13日。
相关文献2：发明人为Nakano的于2009年2月12日在美国专利局公开的题为“Image Processing Apparatus and Method”的美国专利申请公开号US2009/0041337A1。
其中，相关文献1描述了一种基于立体视觉的道路场景分析算法，其先从原始视差图中构造V视差图，然后通过对整个V视差图进行一系列运算来区分道路平面、非道路区域、障碍物等。由于通常道路场景包括了行人、建筑物、道路、障碍物等等对象而变得非常复杂，因此对整个V视差图进行运算的计算量极大，且这种运算非常容易受到道路场景中各个对象的影响而导致道路检测错误。
而相关文献2描述了一种基于三维信息检测道路标线的算法。其只适用于有清晰的道路标线的场景，例如标线清晰的高速公路等，然而对于无道路标线或道路标线不清楚的道路、例如乡间道路、某些城市道路和某些高速公路、国道、省道等等则无法进行准确且高效的道路检测。
因此，需要一种能够准确且高效地针对各种道路进行路面高度检测和估计的解决方案。
发明内容
根据本发明的一个方面，提供一种在道路场景中估计路面高度形状的方法，包括：获得道路场景的视差图；基于所述视差图检测路面感兴趣区；基于所述路面感兴趣区确定多个路面感兴趣点；以及基于所述多个路面感兴趣点来估计路面高度形状。
优选地，所述基于所述视差图检测路面感兴趣区的步骤可以包括：选取所述视差图的下部视差图；对所述下部视差图进行二值化以得到二值图；对所述二值图进行形态学腐蚀；选择在形态学腐蚀后的图像中的预定部分中设置一个或多个种子；基于所述一个或多个种子进行区域生长；将区域生长后得到的区块作为路面感兴趣区。
优选地，所述预定部分可以覆盖路面的一部分但不超出路面边界。
优选地，所述预定部分可以位于图像的中下方。
优选地，基于所述路面感兴趣区确定多个路面感兴趣点的步骤可以包括：对所述路面感兴趣区进行后处理；将经过后处理的路面感兴趣区和所述视差图的交集作为所述多个路面感兴趣点。
优选地，所述后处理可以包括如下之一：对所述路面感兴趣区进行形态学膨胀，将形态学膨胀后的路面感兴趣区作为经过后处理的路面感兴趣区；提取所述路面感兴趣区的路面轮廓，对所述路面轮廓进行形态学膨胀，且所述形态学膨胀后的路面轮廓作为经过后处理的路面感兴趣区；以及提取所述路面感兴趣区的路面轮廓，对所述路面轮廓进行形态学膨胀，且将所述形态学膨胀后的路面轮廓所包围的区块作为经过后处理的路面感兴趣区。
优选地，所述基于所述多个路面感兴趣点来估计路面高度形状的步骤可以包括如下之一：根据所述多个路面感兴趣点，选择在所述视差图中具有相同距离D且具有相同水平坐标X的最低点作为各个路面候选点，基于所述路面候选点来进行路面的平面拟合以得到所述路面高度形状；以及将所述多个路面感兴趣点进行V视图投影，选择在所述V视图投影中具有相同距离D的最低点作为各个路面候选点，基于所述路面候选点来进行路面的一段或多段直线拟合以得到所述路面高度形状。
优选地，该方法还可以包括：根据所述路面高度形状来估计道路场景中的对象的实际高度。
优选地，所述根据所述路面高度形状来估计道路场景中的对象的实际高度可以包括：基于所述估计的路面高度形状，针对所述对象的距离D’，得到与所述距离D’相对应的路面高度h(d),其中d表示与所述距离D’对应的视差值；基于如下公式来得到所述对象的实际高度hs(D’)：
h s ( D ′ ) = ( y - h ( d ) ) b d - v ,
其中，b表示用于拍摄视差图的双目摄像机的基线长度，v表示与所述双目摄像机相关的预定偏移值，y表示具有视差值d的像素点的纵坐标。
根据本发明的另一方面，提供一种在道路场景中估计路面高度形状的系统，包括：获得道路场景的视差图的装置；基于所述视差图检测路面感兴趣区的装置；基于所述路面感兴趣区确定多个路面感兴趣点的装置；以及基于所述一个或多个路面感兴趣点来估计路面高度形状的装置。
根据本发明的实施例的方法和系统能够处理复杂的路面情况，对于路边的沟渠，高架桥附近的建筑物等干扰有较强的鲁棒性，可有效地去除过高于路面的物体以及过低于路面的物体，使得路面高度的检测结果较为可靠与准确。
上述现有技术的参考文献1采用整个视差图进行路面高度估计，而在本发明中，可以采用先进行路面感兴趣区与感兴趣点的检测、据此再进行路面高度估计的方式使得能去除过高于路面的物体以及过低于路面的物体，从而更准确地找到路面可能处于的区域。与此同时，由于仅使用有限数量的路面感兴趣点进行路面的直线／平面拟合来得到路面高度形状，其计算量大大减小。
如何准确地找到道路可能位于的区域对于路面高度估计非常有用，所以根据本发明的实施例进行路面感兴趣区的检测从而找到道路最可能位于的区域，很有助于进行更准确的路面高度估计。而路面感兴趣区是不大于整个道路路面的一块区域，其相对于整个路面来说更易于检测，这有使得增加了检测精确度和可靠性且大大减少了计算量。
上述参考文献2使用道路标线来进行路面高度估计，而在本发明中的先进行路面感兴趣区与感兴趣点的检测、据此再进行路面高度估计的方式不依赖于道路标线及其他道路标识，对不同及复杂的道路类型有较强的适应性。
估计出的路面高度形状信息可以被用来确定道路场景中的实际对象距路面的真实高度，从而为例如车辆及行人检测提供方便。
附图说明
图1图示了应用本发明的各个实施例的硬件系统的示例结构。
图2示出了根据第一实施例的估计路面高度形状的方法的示例。
图3图示了图2所示的方法中的基于视差图检测路面感兴趣区的步骤的示例过程。
图4A-4G示出了上述基于视差图检测路面感兴趣区的步骤的实际应用例子。
图5示出了确定路面感兴趣点的步骤的示例过程。
图6的(a)到(i)示出了对路面感兴趣区进行的后处理的三种示例过程。
图7示出了在估计路面高度形状的示例过程中进行V视差图投影的实际应用例子。
图8A和8B示出了根据本发明的实施例得到的路面高度检测与现有技术的传统方式得到的V视差图投影和路面高度估计的结果比较示意。
图9示出了在V视差图中进行路面的分段直线拟合的结果示例。
图10示出了根据本发明的基于所估计的路面高度形状而得到的示例的路面点。
图11图示了根据第二实施例的一种在道路场景中估计路面高度形状的系统的示例。
具体实施方式
现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
本公开将按下列顺序进行描述：
1．术语或词汇含义解释
2．应用本发明的硬件系统的结构
3．根据第一实施例的估计路面高度形状的方法的示例
3-1．检测路面感兴趣区的示例过程
3-2．确定路面感兴趣点的示例过程
3-2-1．路面感兴趣区的后处理的示例过程
3-3．估计路面高度形状的示例过程
3-4．估计对象实际高度的示例过程
4．根据第二实施例的估计路面高度形状的系统的示例
1．术语或词汇含义解释
为了便于理解，将在该章节中解释一些现有技术中的术语或词汇、以及在本公开中为方便说明而定义的术语或词汇。这些术语或词汇的解释如果与现有技术中常用或惯用的术语或词汇的解释相冲突，应按照本公开所公开的发明原理来合理判断适用何种解释。
视差图
本领域技术人员公知，视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
视差图(disparity map)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。而视差值d与物体的深度距离D有一定的对应关系d（D），因此，知道视差值，就可以计算出深度距离，且反之亦然。
V视差图
本领域技术人员公知，在原视差图中，每个像素点表示了三维空间中的一个点（U-水平维，V-垂直维，D-深度维）。在侧面投影到垂直平面（仅有V-垂直维和D-深度维）之后，所有像素点的U坐标消失了，这种新生成的映射图像就是V视差图。V视差图可以从视差图中计算得到。V视差图中任意一点(d,v)的灰度值是对应视差图的纵坐标为v的行中视差值等于d的点的个数。
二值图
二值图是指每个像素不是黑就是白，其灰度值没有中间过渡的图像。二值图像一般用来描述对象的大概轮廓。
形态学腐蚀（Morphology Erosion）和形态学膨胀（Morphology Dilation）
本领域技术人员公知，形态学运算是针对二值图像依据数学形态学的集合论方法发展起来的图像处理方法。数学形态学起源于岩相学对岩石结构的定量描述工作，近年来在数字图像处理和机器视觉领域中得到了广泛的应用，形成了一种独特的数字图像分析方法和理论。通常形态学图像处理表现为一种邻域运算形式，一种特殊定义的邻域称之为“结构元素”（StructureElement），在每个像素位置上它与二值图像对应的区域进行特定的逻辑运算，逻辑运算的结果为输出图像的相应像素。形态学运算的效果取决于结构元素的大小、内容以及逻辑运算的性质。常见的形态学运算有腐蚀和膨胀。用B代表结构元素，对二值图A中的每一点z，腐蚀和膨胀的定义为：
腐蚀：
膨胀：
其中，E为欧几里得空间，而A为空间E中的二值图，Bz={b+z|b∈B}，Bs表示B的对称矩阵，即Bs={p∈E|-p∈B}，p表示欧几里得空间中的元素。
换句话说，腐蚀的具体操作是：用一个结构元素B(例如3×3的大小)扫描图像中的每一个像素z，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0。膨胀的具体操作是：用一个结构元素B(例如是3×3的大小)扫描图像中的每一个像素z，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。腐蚀是一种消除边界点，使边界向内部收缩的过程，可以用来消除小且无意义的物体。膨胀是将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程，可以用来填补物体中的空洞。其他细节可参考https://en.wikipedia.org/wiki/Morphological_image_processing以及其他相关文献。
区域生长
本领域技术人员公知，区域生长的基本思想是将具有相似性质的像素集合起来构成区域。首先，对每个要分割的区域找一个种子点，然后将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中。将这些新像素当作新的种子点继续进行上面的过程，直到没有满足条件的像素点时停止生长。
其中相似性准则可以是灰度级、彩色、组织、梯度或其他特性。相似性的测度可以由所确定的阈值来决定。区域生长方法的实现有三个关键点：①种子点的选取；②生长准则的确定；③区域生长停止的条件。
选取的种子点原则上是待提取区域的有代表性的点可以是单个像素，也可以是包括若干个像素的子区域。
区域生长准则原则上是评价与种子点相似程度的度量。区域生长准则多采用与种子点的距离度量。种子点可以随着区域的生长而变化，也可以设定为一个固定的数值。区域生长的停止条件，对于渐变区域进行生长时的停止判断非常重要。一般是结合生长准则来进行合理的设定。判定生长停止的阈值可以是确定的值，也可是随生长而变化的值。区域生长的其他细节可参考https://en.wikipedia.org/wiki/Region_growing以及其他相关文献。
路面感兴趣区（Region of Interest，ROI）
本公开中提到的“路面感兴趣区”（ROI）是用来找到路面感兴趣点的区域。尽可能找到更可能包括整个路面的区域作为路面感兴趣区ROI。
路面感兴趣点（Point of Interest,POI）
本公开中提到的“路面感兴趣点”（POI）一般在上述“路面感兴趣区ROI”中选取，用于进行路面高度的平面拟合或直线拟合的各个参考点。如何选取POI将对路面高度的平面拟合和直线拟合的结果产生重要的影响。应该选取POI使得这些POI尽可能都位于立体图像中的实际路面上。
路面高度形状
本公开中所提到的“路面高度形状”包括路面高度的（一段或多段）直线函数或曲线函数（二维概念）、路面高度的平面函数或曲面函数（三维概念）。其中，在本公开中，路面高度形状的值可以是在图像像素的意义上的路面高度，而非实际场景中的路面的以米或厘米为单位的真实高度。
2．应用本发明的硬件系统的结构
图1图示了应用本发明的各个实施例的硬件系统100的示例结构。例如，硬件系统100可以被安装在机动车辆上以进行车辆的自动控制。示例地，应用本发明的各个实施例的硬件系统100可以包括：双目摄像机101、解码器102、存储设备103、数字信号处理器104和车辆控制模块105。该双目摄像机101的基线长度为b，表示双目摄像机的左右两个摄像头相距的距离，且左边的摄像头拍摄道路景物而得到左图像，且右边的摄像头拍摄同一景物而得到右图像，该双目摄像机101将拍摄到的左图像和右图像并将其输入解码器102。解码器102将接收到的左图像和右图像转换为视差图。该视差图可被存储在存储设备103中以便随时由数字信号处理器104处理来得到路面高度形状的估计以及其他处理结果。在该数字信号处理器104中进行的处理将在如下参考附图1-10来详细描述。经过数字信号处理器104的处理得到的路面高度估计和/或其他处理结果可以被存储在存储设备103中，同时也可以被传输到车辆控制模块105中以便对机动车辆进行诸如自动驾驶、行人检测等的进一步自动控制。
当然该应用例子仅是一个示例，而不是对本发明的限制。
以下还将具体描述上述数字信号处理器104的用于得到路面高度估计的处理过程。
3．根据第一实施例的估计路面高度形状的方法的示例
图2示出了根据第一实施例的估计路面高度形状的方法200的示例。一种在道路场景中估计路面高度形状的方法200包括：获得道路场景的视差图（S201）；基于所述视差图检测路面感兴趣区（S202）；基于所述路面感兴趣区确定多个路面感兴趣点（S203）；以及基于所述多个路面感兴趣点来估计路面高度形状（S204）。
该方法200可以在图1所示的数字信号处理器104中进行。例如，在步骤S201中要获得的道路场景的视差图可以通过图1中的双目摄像机101拍摄道路场景来得到，该视差图的例子见图4B。通常，该拍摄的道路场景可以包括道路、建筑物、行人、路边的障碍物等等。
3-1．检测路面感兴趣区的示例过程
图3图示了方法200中的步骤S202的基于所述视差图检测路面感兴趣区的步骤的示例过程。
所述基于所述视差图检测路面感兴趣区的步骤（S202）可以包括：选取所述视差图的下部视差图（S2021）；对所述下部视差图进行二值化以得到二值图（S2022）；对所述二值图进行形态学腐蚀（S2023）；选择在形态学腐蚀后的图像中的预定部分中设置一个或多个种子（S2024）；基于所述一个或多个种子进行区域生长（S2025）；将区域生长后得到的区块作为路面感兴趣区（S2026）。
检测路面感兴趣区的目的是为了找到路面感兴趣点。而一般路面都在拍摄的图像的下方，参考图4A所示。因此在S2021步骤中，可以选取所述视差图（如图4B）的下部视差图（如图4B的视差图的下半部分），由此可以减少随后进行二值化、形态学腐蚀、设置种子、区域生成等等步骤的运算量。
在步骤S2022中，通过对下部视差图进行二值化来得到二值图，参考图4C。也可见，仅对视差图的下部进行二值化。
假设二值化的阈值为Td：若像素点P(i,j)的视差值小于阈值Td，将其置为最大值，否则将其置为0，其中i，j分别代表视差图中的横坐标和纵坐标，从而得到二值化后的二值图I(x,y)，x，y分别代表二值图中的横坐标和纵坐标。
得到二值图的好处在于：可以粗略地得到包括路面的路肩在内的一些物体的轮廓，参考图4C，已经粗略地可见路面的路肩的轮廓。当然，此处的二值图并非完全黑或白，而是黑或灰，这仅是为了方便示例和添加白色文字，
实际上此处的二值图中的灰色即代表灰度值最高（即255）的白色。
接下来，在步骤S2023中，对所述二值图进行形态学腐蚀。如上所述，形态学腐蚀是使物体边界向内部收缩的过程，可以用来消除小且无意义的物体。选择用于形态学腐蚀的结构元素T(i,j)（通常是3×3的矩阵）。用先前选择的结构元素T(i,j)（例如，它的内部元素为：T(i,j)={(-1,-1),(-1,0),(-1,1),(0,-1),(0,0),(0,1),(1,-1),(1,0),(1,1)}），来腐蚀上述步骤中得到的二值化图像I(x,y)，得到腐蚀后的图像C(x,y)：
以上进行腐蚀运算的公式是本领域技术人员公知的，在此不作为限制。且可以参考本领域公知的其他腐蚀运算方式来进行腐蚀以实现相同的效果。
参考图4D可见，腐蚀后的图像使得路面的边界（例如道路标线、路肩等能够区分可行驶区域和非可行驶区域的标志）变得更清晰，因为图4C的二值图中的边界（例如道路标线、路肩等能够区分可行驶区域和非可行驶区域的标志）内部的细小的白点（在图中用灰点表示）被消除了。这样做的好处是，使得更容易找到路面的边界，且使得接下来的种子的区域生长（以下将详细描述）不会因为路面的边界内部的细小白点（或灰点）而错误地生长到路面外部。
然后，在步骤S2024中，选择在形态学腐蚀后的图像中的预定部分中设置一个或多个种子。该预定部分应该覆盖路面的一部分但不超出路面边界。路面通常位于车辆正前方，因此在车辆行驶过程中，靠近车辆前方的一小块区域是路面的一部分的概率较大。据此，在本实施例中，可以选择车辆正前方的一小块三角形或梯形区域作为区域生长的种子点，这样可以尽可能地保证该预定部分处于路面的范围内，而不超出路面的边界。参考图4E所示，可以在图像的中下方设置一个小的三角形作为该预定部分，并在该预定部分中设置一个或多个种子。
选择和设置种子可能影响基于种子的区域生长的结果。为了尽可能地使得基于种子的区域生长后得到的区域能与实际路面的形状非常接近，可以尽量在更可能是路面的区域中选择种子，同时也可以通过选择更多的种子来消除少量种子可能带来的不确定性来提高区域生长的准确性。
在步骤S2025中，基于上述选择和设置的一个或多个种子进行区域生长。如前对术语或词汇含义解释章节的描述，区域生长包括将种子像素周围邻域中与种子像素有相同或相似性质的像素合并到种子像素所在的区域中，将这些新像素当作新的种子点继续进行上面的过程，直到没有满足条件的像素点时停止生长。
这里有一个问题：有时候路面的边界比较模糊并且不连续，区域生长的过程可能会跨过道路边界延伸到路面以外的区域。对于这种情况可以存在至少如下3个解决方法：
方法1：尽管有时路面边界很模糊，但它确实是一直存在于可行驶区域（例如，路面）与非可行驶区域（例如路肩、绿化带、路边其他建筑等）之间的，因为可行驶区域和非可行驶区域、或称路面区域和非路面区域具有不同的颜色，纹理或高度等。根据此特性，可以设定一个较低的阈值Td来使得更不容易跨过即使模糊的道路边界，从而避免过于宽松的区域生长。
方法2：采用较大的结构元素T(i,j)（例如5×5的矩阵等等）来腐蚀二值图以分割路面和非路面区域。
方法3：调整区域生长的其他参数，设置较大的邻域窗口，这样区域生长也不会穿过那些细小的不连续的道路边界缝隙而生长到道路边界外面。
从而，假设区域生长后得到的区块例如参考图4F所示。还可以参考图4G来示例在不同道路场景中进行种子设置和区域生长的仿真结果。可见，根据本发明的实施例的种子设置和区域生长的结果都能较为准确和可靠地找到与真实路面相同或近似的路面区块。
在步骤S2026中，将区域生长后得到的区块作为路面感兴趣区（ROI）。有一点需要说明，该路面感兴趣区ROI可能并不等同于完整的路面区域，它可能小于或等于完整的路面区域。这是因为在本实施例中，该路面高度估计算法只需要一块可靠的路面区域进行后续的路面高度估计，因此不需要检测到完整的路面区域。而且相对于完整的路面区域，小于或等于完整的路面区域的路面感兴趣区ROI更易于检测，这样可以进一步减少计算量。而且，由于通过检测到的虽小但可靠的路面区域来进行路面高度估计，可以使得路面高度的估计更加准确。
3-2．确定路面感兴趣点的示例过程
可以在用于确定路面感兴趣点的步骤S203中，基于所述路面感兴趣区（ROI）确定多个路面感兴趣点（POI）。图5示出了确定路面感兴趣点的步骤S203的示例过程。该步骤S203可以具体地包括：对所述路面感兴趣区进行后处理（S2031）；将经过后处理的路面感兴趣区和所述视差图的交集作为所述多个路面感兴趣点（S2032）。
3-2-1．路面感兴趣区的后处理的示例过程
图6的(a)到(i)示出了对路面感兴趣区进行的后处理的三种示例过程。
在步骤S2031中的后处理可以包括如下方案之一：（1）对所述路面感兴趣区进行形态学膨胀，将形态学膨胀后的路面感兴趣区作为经过后处理的路面感兴趣区；（2）提取所述路面感兴趣区的路面轮廓，对所述路面轮廓进行形态学膨胀，且所述形态学膨胀后的路面轮廓作为经过后处理的路面感兴趣区；以及（3）提取所述路面感兴趣区的路面轮廓，对所述路面轮廓进行形态学膨胀，且将所述形态学膨胀后的路面轮廓所包围的区块作为经过后处理的路面感兴趣区。
具体地，如果采用上述后处理的方案（1），用于确定路面感兴趣点的步骤S203将选择路面感兴趣区ROI中的所有点作为路面感兴趣点POI，参考图6中的(a)-(c)。可替换地，如果采用上述后处理的方案（2），将选择路面感兴趣区ROI的轮廓或其附近的点作为路面感兴趣点POI，参考图6中的(d)-(f)。可替换地，如果采用上述后处理的方案（3），将选择路面感兴趣区ROI轮廓内的所有点作为路面感兴趣点POI，参考图6中的(g)-(i)。
上述三种方案（1）-（3）各有特点，可以根据实际情况来选择最佳方案，但其目的都是为了能够确定更能代表路面高度形状的路面感兴趣点POI，从而能够更准确地基于这些路面感兴趣点POI进行如下所述的路面高度形状估计。
3-3．估计路面高度形状的示例过程
用于估计路面高度形状的步骤S204可以包括如下方案之一：（a）根据所述多个路面感兴趣点，选择在所述视差图中具有相同距离D且具有相同水平坐标X的最低点作为各个路面候选点，基于所述路面候选点来进行路面的平面拟合以得到所述路面高度形状；以及（b）将所述多个路面感兴趣点进行V视图投影，选择在所述V视图投影中具有相同距离D的最低点作为各个路面候选点，基于所述路面候选点来进行路面的一段或多段直线拟合以得到所述路面高度形状。
上述方案（a）可以简称为路面平面拟合。
首先需要根据路面感兴趣点POI来选择路面候选点。在实际的3D环境中，路面通常位于其他物体的底部。因此在道路场景图像中，路面也位于图像的下部，所以可以根据高度特征进行路面候选点的选择。例如，对于那些有着相同坐标X与相同距离D（或相同视差值d）的点，可选择具有最小y坐标值的点（即，最低点）作为各个路面候选点。经过此处理过程，点的数据进一步减小了，并且过高于路面的干扰点得到了去除，这样也可以尽可能地增加路面候选点确实位于实际路面上的概率。
然后利用选择的路面候选点进行三维空间内的路面的平面拟合，因为实际路面在三维空间中通常是平面的。进行了路面平面拟合之后，可以得到一个路面平面的各种参数，即能够得到拟合的该路面高度形状（路面平面）为路面高度的一种函数，例如h(x,y,D)或h(x,y，d)（即，在立体空间中由横坐标x、纵坐标y、深度距离D或横坐标x、纵坐标y、视差值d确定的路面上某一点的高度）。
可替换地，上述方案（b）可以简称为路面直线拟合。其处理过程包括以下步骤：
在选择路面候选点之前，先对路面POI进行侧面投影以构造V视差图。在原视差图中，每个像素点表示了三维空间中的一个点（U-水平维，V-垂直维，D-深度维）。在侧面投影到垂直平面（V-垂直维，D-深度维）之后，所有像素点的U坐标消失了，这种新生成的映射图像就是V视差图。V视差图中的值就是原视差图中像素点在U方向上的累积个数。在这里仅利用V视差图来进行直线拟合使得由于大大减小由于拟合的点的数量而减少了计算量。参考图7可以更容易理解该V视差图的投影。图7示出了进行V视差图投影的不同道路场景的实际应用例子。
然后，选择路面候选点。在原视差图中，路面通常位于图像的中下部，在V视差图投影之后，路面点依然应该位于图像的底部。所以可以根据高度特征进行路面候选点的选取。在V视差图中，对于具有相同视差值d（或相同深度距离D）的像素点，仅选择具有最小y坐标值的点（即最低点）作为各个路面候选点。如图7所示，在基于POI的V视差图的示例中，可见看上去像是道路线的上方有一些干扰点，而经过此选择最低点的处理过程，过高于路面的干扰点得到了去除，并且点的数据进一步减小了，这样也可以尽可能地增加路面候选点确实位于实际路面上的概率。
然后，利用选取的路面候选点进行V-D二维空间（即V视差图）内的路面的直线拟合，可以得到一段路面直线的各种参数，即能够得到拟合的该路面高度形状（路面直线）为路面高度的一种函数，例如h(D)或h(d)（即，在V视差图中由深度距离D或视差值d确定的路面上某一点的高度）。当然，由于路面并不总是很直的，所以有时可能需要进行分段的直线拟合，即得到多段路面直线的各种参数。
这里可以使用多种直线拟合算法，如最小二乘法，Hough变换等方法。当然现实世界中的路面不总是平的，有上坡、下坡等道路类型。所以还可以采用分段直线的道路模型来描述道路侧面轮廓，作为路面高度形状。在每一个分段当中，依然可以采用传统的直线拟合方法求取直线参数。在本实施例中，如果采用分段直线的道路模型并采用Hough变换进行分段的直线拟合，可以得到在V视差图中进行路面的分段直线拟合的结果示例参考图9所示。
图8A和8B示出了根据本发明的实施例得到的路面高度检测与现有技术的传统方式得到的V视差图投影和路面高度估计的结果比较示意。
而由于本发明利用路面感兴趣区以及路面感兴趣点来进行V视差图投影和直线拟合，参考图8A和8B所示，本发明的实施例相比于传统方法中利用整个V视差图投影来进行路面检测，可以消除高于实际路面和低于实际路面的干扰点，使得能够更准确地进行路面高度检测和估计，且不依赖于道路标线，同时还减少了计算量。
3-4．估计对象实际高度的示例过程
图10示出了根据本发明的基于所估计的路面高度形状而得到的示例的路面点。也就是说，这些路面点都具有路面的高度。在估计本发明的实施例得到了例如图10所示的路面高度形状估计（无论平面估计还是直线估计）之后，根据所述路面高度形状（例如，h(x,y,d)或h(d)）来估计道路场景中某一实际对象的实际高度。
下面以采用Hough变换来估计得到直线的路面高度形状h(d)为例来说明如何根据所述路面高度形状来估计路面上某一对象的实际高度。
首先，基于估计的路面高度形状h(d)，针对该对象的具体距离D’，得到与所述距离D’相对应的路面高度h(d),其中d表示与距离D’对应的视差值。
其中， h ( d ) = ρ - d · cos ( θ ) sin ( θ )
这里，h(d)是路面高度，d是距离D’处的视差值。ρ和θ是用Hough变换估计得到的路面直线的参数。这里的路面高度h(d)并不是实际的路面高度，而是图像坐标高度（单位为像素）。
然后，基于如下公式来得到该对象的实际高度hs(D’)：
h s ( D ′ ) = ( y - h ( d ) ) b d - v ,
其中，b表示用于拍摄视差图的双目摄像机的基线长度，v表示与所述双目摄像机相关的预定偏移值，y表示具有视差值d的像素点的纵坐标。其中，b和v都是在双目摄像机出厂时固有的参数。该实际高度hs(D’)的单位可以是米或厘米等。
如此，通过准确且高效地检测路面和/或估计路面高度形状，可以利用所得到的路面高度形状来进行其他各种应用，包括但不限于路面场景中的对象、例如行人、车辆、建筑物等的实际高度估计，也可以进一步应用于基于自动道路驾驶、车辆检测、行人检测等等对车辆的控制应用。
根据本发明的实施例的方法能够处理复杂的路面情况，对于路边的沟渠，高架桥附近的建筑物等干扰有较强的鲁棒性，可有效地去除过高于路面的物体以及过低于路面的物体，使得路面高度的检测结果较为可靠与准确。
相比于上述现有技术的采用整个视差图进行路面高度估计，在本发明中的先进行路面感兴趣区与感兴趣点的检测、据此再进行路面高度估计的方式使得能去除过高于路面的物体以及过低于路面的物体，从而更准确地找到路面可能处于的区域。与此同时，由于仅使用有限数量的路面感兴趣点进行路面的直线／平面拟合来得到路面高度形状，其计算量大大减小。
如何准确地找到道路可能位于的区域对于路面高度估计非常有用，所以根据本发明的实施例进行路面感兴趣区的检测从而找到道路最可能位于的区域，很有助于进行更准确的路面高度估计。而路面感兴趣区是不大于整个道路路面的一块区域，其相对于整个路面来说更易于检测，这有使得增加了检测精确度和可靠性且大大减少了计算量。
相比于现有技术中使用道路标线来进行路面高度估计，在本发明中的先进行路面感兴趣区与感兴趣点的检测、据此再进行路面高度估计的方式不依赖于道路标线及其他道路标识，对不同及复杂的道路类型有较强的适应性。
4．根据第二实施例的估计路面高度形状的系统的示例
图11图示了根据第二实施例的一种在道路场景中估计路面高度形状的系统1100的示例。该系统1100包括：获得道路场景的视差图的装置1101；基于所述视差图检测路面感兴趣区的装置1102；基于所述路面感兴趣区确定多个路面感兴趣点的装置1103；以及基于所述一个或多个路面感兴趣点来估计路面高度形状的装置1104。
当然，该系统1100还可以包括用于实现诸如参考图1-10以上描述的各个实施例的方法以及步骤的其他装置，在此不一一赘述。
根据本发明的实施例的系统能够处理复杂的路面情况，对于路边的沟渠，高架桥附近的建筑物等干扰有较强的鲁棒性，可有效地去除过高于路面的物体以及过低于路面的物体，使得路面高度的检测结果较为可靠与准确。
相比于上述现有技术的采用整个视差图进行路面高度估计，在本发明中的先进行路面感兴趣区与感兴趣点的检测、据此再进行路面高度估计的方式使得能去除过高于路面的物体以及过低于路面的物体，从而更准确地找到路面可能处于的区域。与此同时，由于仅使用有限数量的路面感兴趣点进行路面的直线／平面拟合来得到路面高度形状，其计算量大大减小。
如何准确地找到道路可能位于的区域对于路面高度估计非常有用，所以根据本发明的实施例进行路面感兴趣区的检测从而找到道路最可能位于的区域，很有助于进行更准确的路面高度估计。而路面感兴趣区是不大于整个道路路面的一块区域，其相对于整个路面来说更易于检测，这有使得增加了检测精确度和可靠性且大大减少了计算量。
相比于现有技术中使用道路标线来进行路面高度估计，在本发明中的先进行路面感兴趣区与感兴趣点的检测、据此再进行路面高度估计的方式不依赖于道路标线及其他道路标识，对不同及复杂的道路类型有较强的适应性。
而且，通过准确且高效地检测路面和/或估计路面高度形状，可以利用所得到的路面高度形状来进行其他各种应用，包括但不限于路面场景中的对象、例如行人、车辆、建筑物等的实际高度估计，也可以进一步应用于基于自动道路驾驶、行人检测等等对车辆的控制应用。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

Claims (10)

1.一种在道路场景中估计路面高度形状的方法，包括：
获得道路场景的视差图；
基于所述视差图检测路面感兴趣区；
基于所述路面感兴趣区确定多个路面感兴趣点；以及
基于所述多个路面感兴趣点来估计路面高度形状。
2.根据权利要求1的方法，其中，所述基于所述视差图检测路面感兴趣区的步骤包括：
选取所述视差图的下部视差图；
对所述下部视差图进行二值化以得到二值图；
对所述二值图进行形态学腐蚀；
选择在形态学腐蚀后的图像中的预定部分中设置一个或多个种子；
基于所述一个或多个种子进行区域生长；
将区域生长后得到的区块作为路面感兴趣区。
3.根据权利要求2的方法，其中，所述预定部分覆盖路面的一部分但不超出路面边界。
4.根据权利要求2或3的方法，其中，所述预定部分位于图像的中下方。
5.根据权利要求1的方法，其中，所述基于所述路面感兴趣区确定多个路面感兴趣点的步骤包括：
对所述路面感兴趣区进行后处理；
将经过后处理的路面感兴趣区和所述视差图的交集作为所述多个路面感兴趣点。
6.根据权利要求5的方法，其中，所述后处理包括如下之一：
对所述路面感兴趣区进行形态学膨胀，将形态学膨胀后的路面感兴趣区作为经过后处理的路面感兴趣区；
提取所述路面感兴趣区的路面轮廓，对所述路面轮廓进行形态学膨胀，且所述形态学膨胀后的路面轮廓作为经过后处理的路面感兴趣区；以及
提取所述路面感兴趣区的路面轮廓，对所述路面轮廓进行形态学膨胀，且将所述形态学膨胀后的路面轮廓所包围的区块作为经过后处理的路面感兴趣区。
7.根据权利要求1的方法，其中，所述基于所述多个路面感兴趣点来估计路面高度形状的步骤包括如下之一：
根据所述多个路面感兴趣点，选择在所述视差图中具有相同距离D且具有相同水平坐标X的最低点作为各个路面候选点，基于所述路面候选点来进行路面的平面拟合以得到所述路面高度形状；以及
将所述多个路面感兴趣点进行V视图投影，选择在所述V视图投影中具有相同距离D的最低点作为各个路面候选点，基于所述路面候选点来进行路面的一段或多段直线拟合以得到所述路面高度形状。
8.根据权利要求1的方法，还包括：根据所述路面高度形状来估计道路场景中的对象的实际高度。
9.根据权利要求8的方法，其中，所述根据所述路面高度形状来估计道路场景中的对象的实际高度包括：
基于所述估计的路面高度形状，针对所述对象的距离D’，得到与所述距离D’相对应的路面高度h(d),其中d表示与所述距离D’对应的视差值；
基于如下公式来得到所述对象的实际高度hs(D’)：
h s ( D ′ ) = ( y - h ( d ) ) b d - v ,
其中，b表示用于拍摄视差图的双目摄像机的基线长度，v表示与所述双目摄像机相关的预定偏移值，y表示具有视差值d的像素点的纵坐标。
10.一种在道路场景中估计路面高度形状的系统，包括：
获得道路场景的视差图的装置；
基于所述视差图检测路面感兴趣区的装置；
基于所述路面感兴趣区确定多个路面感兴趣点的装置；以及
基于所述一个或多个路面感兴趣点来估计路面高度形状的装置。
CN201310063898.2A 2013-02-28 2013-02-28 估计路面高度形状的方法和系统 Pending CN104021368A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201310063898.2A CN104021368A (zh) 2013-02-28 2013-02-28 估计路面高度形状的方法和系统
EP14155999.7A EP2772883B1 (en) 2013-02-28 2014-02-20 Road-surface height shape estimation method and system
JP2014035646A JP6442834B2 (ja) 2013-02-28 2014-02-26 路面高度形状推定方法とシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310063898.2A CN104021368A (zh) 2013-02-28 2013-02-28 估计路面高度形状的方法和系统

Publications (1)

Publication Number Publication Date
CN104021368A true CN104021368A (zh) 2014-09-03

Family

ID=50193214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310063898.2A Pending CN104021368A (zh) 2013-02-28 2013-02-28 估计路面高度形状的方法和系统

Country Status (3)

Country Link
EP (1) EP2772883B1 (zh)
JP (1) JP6442834B2 (zh)
CN (1) CN104021368A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104833364A (zh) * 2015-05-07 2015-08-12 苏州天鸣信息科技有限公司 一种在颠簸道路上的安全路线指示方法
CN107764458A (zh) * 2017-09-25 2018-03-06 中国航空工业集团公司西安飞机设计研究所 一种飞机操纵特性曲线生成方法
CN109117840A (zh) * 2018-08-16 2019-01-01 上海鹰瞳医疗科技有限公司 感兴趣区域修正方法和设备
CN109117837A (zh) * 2018-07-26 2019-01-01 上海鹰瞳医疗科技有限公司 感兴趣区域确定方法和设备
WO2020029758A1 (zh) * 2018-08-07 2020-02-13 北京市商汤科技开发有限公司 对象三维检测及智能驾驶控制的方法、装置、介质及设备
CN110832568A (zh) * 2017-07-05 2020-02-21 歌乐株式会社 车辆用外界识别装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105261017B (zh) * 2015-10-14 2018-12-11 长春工业大学 基于路面约束的图像分割法提取行人感兴趣区域的方法
CN111243003B (zh) * 2018-11-12 2023-06-20 海信集团有限公司 车载双目摄像机及其检测道路限高杆的方法、装置
CN110503093B (zh) * 2019-07-24 2022-11-04 中国航空无线电电子研究所 基于视差图dbscan聚类的感兴趣区域提取方法
JP7229129B2 (ja) * 2019-09-05 2023-02-27 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
JP7206172B2 (ja) * 2019-09-19 2023-01-17 京セラ株式会社 物体検出装置、物体検出システム、移動体及び物体検出方法
CN112149493B (zh) * 2020-07-31 2022-10-11 上海大学 基于双目立体视觉的道路高程测量方法
WO2022099620A1 (zh) * 2020-11-13 2022-05-19 深圳市大疆创新科技有限公司 三维点云分割方法和装置、可移动平台
EP4287160A4 (en) * 2021-03-11 2024-03-27 NEC Corporation IMAGE ANALYZING DEVICE, IMAGE ANALYZING METHOD AND COMPUTER READABLE MEDIUM WITH PROGRAM STORED THEREIN
CN114495043B (zh) * 2022-04-06 2022-08-16 北京中科慧眼科技有限公司 基于双目视觉系统的上下坡路况检测方法、系统和智能终端
CN116630899B (zh) * 2023-07-21 2023-10-20 四川公路工程咨询监理有限公司 一种高速公路边坡病害监测预警系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040096082A1 (en) * 2002-08-28 2004-05-20 Hiroaki Nakai Obstacle detection device and method therefor
CN102156977A (zh) * 2010-12-22 2011-08-17 浙江大学 一种基于视觉的道路检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5441549B2 (ja) * 2009-07-29 2014-03-12 日立オートモティブシステムズ株式会社 道路形状認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040096082A1 (en) * 2002-08-28 2004-05-20 Hiroaki Nakai Obstacle detection device and method therefor
CN102156977A (zh) * 2010-12-22 2011-08-17 浙江大学 一种基于视觉的道路检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PAOLO LOMBARDI等: "Unified stereovision for ground, road, and obstacle detection", 《INTELLIGENT VEHICLES SYMPOSIUM,IEEE》 *
SERGIO A. RODRÍGUEZ F等: "Visual confirmation of mobile objects tracked by a multi-layer lidar", 《INTELLIGENT TRANSPORTATION SYSTEMS (ITSC), 2010 13TH INTERNATIONAL IEEE CONFERENCE ON, IEEE》 *
XIN LI等: "A real-time vehicle detection and tracking system in outdoor traffic scenes", 《PATTERN RECOGNITION, ICPR 2004. PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON，IEEE》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104833364A (zh) * 2015-05-07 2015-08-12 苏州天鸣信息科技有限公司 一种在颠簸道路上的安全路线指示方法
CN104833364B (zh) * 2015-05-07 2018-05-18 深圳市爱民科技有限公司 一种在颠簸道路上的安全路线指示方法
CN110832568A (zh) * 2017-07-05 2020-02-21 歌乐株式会社 车辆用外界识别装置
CN110832568B (zh) * 2017-07-05 2022-03-25 歌乐株式会社 车辆用外界识别装置
CN107764458A (zh) * 2017-09-25 2018-03-06 中国航空工业集团公司西安飞机设计研究所 一种飞机操纵特性曲线生成方法
CN109117837A (zh) * 2018-07-26 2019-01-01 上海鹰瞳医疗科技有限公司 感兴趣区域确定方法和设备
CN109117837B (zh) * 2018-07-26 2021-12-07 上海鹰瞳医疗科技有限公司 感兴趣区域确定方法和设备
WO2020029758A1 (zh) * 2018-08-07 2020-02-13 北京市商汤科技开发有限公司 对象三维检测及智能驾驶控制的方法、装置、介质及设备
US11100310B2 (en) 2018-08-07 2021-08-24 Beijing Sensetime Technology Development Co., Ltd. Object three-dimensional detection method and apparatus, intelligent driving control method and apparatus, medium and device
CN109117840A (zh) * 2018-08-16 2019-01-01 上海鹰瞳医疗科技有限公司 感兴趣区域修正方法和设备
CN109117840B (zh) * 2018-08-16 2024-07-12 上海鹰瞳医疗科技有限公司 感兴趣区域修正方法和设备

Also Published As

Publication number Publication date
EP2772883B1 (en) 2018-10-10
EP2772883A3 (en) 2016-03-09
JP2014170540A (ja) 2014-09-18
EP2772883A2 (en) 2014-09-03
JP6442834B2 (ja) 2018-12-26

Similar Documents

Publication Publication Date Title
CN104021368A (zh) 估计路面高度形状的方法和系统
CN111209770B (zh) 一种车道线识别方法及装置
EP3735675B1 (en) Image annotation
US10762359B2 (en) Computer aided traffic enforcement using dense correspondence estimation with multi-level metric learning and hierarchical matching
Ozgunalp et al. Multiple lane detection algorithm based on novel dense vanishing point estimation
Xu et al. Road curb extraction from mobile LiDAR point clouds
Cheng et al. Extraction and classification of road markings using mobile laser scanning point clouds
US9378424B2 (en) Method and device for detecting road region as well as method and device for detecting road line
Labayrade et al. In-vehicle obstacles detection and characterization by stereovision
KR101569919B1 (ko) 차량의 위치 추정 장치 및 방법
EP2779025B1 (en) Method and system for detecting road edge
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
EP2743861B1 (en) Method and device for detecting continuous object in disparity direction based on disparity map
Perrollaz et al. A visibility-based approach for occupancy grid computation in disparity space
CN103206957B (zh) 车辆自主导航的车道线检测与跟踪方法
EP3324359B1 (en) Image processing device and image processing method
Luo et al. Multiple lane detection via combining complementary structural constraints
CN104700071A (zh) 一种全景图道路轮廓的提取方法
Hautière et al. Road scene analysis by stereovision: a robust and quasi-dense approach
Samadzadegan et al. Automatic lane detection in image sequences for vision-based navigation purposes
CN103679121A (zh) 采用视差图像检测路边的方法及系统
Dhiman et al. A multi-frame stereo vision-based road profiling technique for distress analysis
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
JP2010055340A (ja) 走行路推定装置及びプログラム
JP2020095623A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140903