CN101187982B - 一种用于从图像中分割出对象的方法及装置 - Google Patents

Abstract

本发明涉及一种用于从图像中分割出对象的方法及装置，该方法包括步骤：(A)预先设定一个用于所述对象的参考宽度；(B)从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；(C)获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及，(D)根据所述参考宽度的成像宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并且从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。利用该方法及装置，能够从图像中分割出包含完整对象的区域，从而系统能够正确识别出该分割的区域中所包含的车辆。

Description

一种用于从图像中分割出对象的方法及装置

技术领域

本发明涉及图像识别领域，尤其涉及一种用于从图像中分割出对象的方法及装置。

背景技术

在基于机器视觉的车辆识别系统中，当从安装在自身车辆或其它移动/固定的物体上的摄像机这样的图像拾取装置所拾取的图像中识别车辆时，首先需要从该拾取的图像中分割出包含车辆的区域(也称为ROI(感兴趣区域))，然后再根据该分割的区域来识别车辆。

由于在阳光或其它光源的照射下，对于不同形状的车辆而言，底部存在阴影是其共同特征，因此，车底阴影是基于机器视觉的车辆图像分割技术中从图像中分割出包含车辆的区域时所依据的一个主要特征。

在现有技术中，基于车底阴影从图像中分割出包含车辆的区域的方法主要有两种：一种方法是利用车底阴影的灰度比路面暗的特点，计算当前路面的灰度平均值，并以这个平均值作为基准值，将图像中所有灰度值低于这个基准值的区域提取作为车底阴影区域，然后基于该车底阴影区域来分割出包含车辆的区域；另一种方法是利用车底阴影区域始终比其周围区域更暗的特点，将图像中局部更暗的区域提取作为车底阴影区域，然后基于该车底阴影区域来分割出包含车辆的区域，这种方法在特开2003-76987的日本专利文献和2006年3月17日提交的申请号为200610009379.8、发明名称为“车辆图像分割方法和装置”的中国专利申请中有详细描述。

由于车底阴影在车辆图像分割技术中的重要作用，所以车底阴影对从图像中能否分割出包含车辆的区域具有较大影响。然而，在一些情况下，由于受光照角度的影响，车底阴影是不完整的，导致基于该车底阴影从图像中分割的区域仅包括部分车辆特征，如图1-4所示；而在另外一些情况下，由于受光照角度和车辆间相互位置的影响，车底阴影是由两个车辆的车底阴影连接在一起构成的，所以导致基于该车底阴影从图像中分割的区域包括了两个车辆的特征，如图5-6所示。

对于分割的仅包括部分车辆特征的区域，由于其包含的车辆特征不够充足，所以识别系统基于该区域可能不能正确识别出其中所包含的车辆；而对于分割的包括了两个车辆特征的区域，识别系统基于该区域可能会漏识别其中一个车辆或将两个车辆误识别成为一个车辆，这也会导致不能正确识别出该区域中所包含的车辆。

上述问题不但在基于机器视觉的车辆识别系统中存在，在基于机器视觉的对诸如行人这样的对象的识别系统中也存在。

发明内容

考虑到上述问题，本发明的目的在于提供一种用于从图像中分割对象的方法及装置。利用该方法及装置，能够从图像中分割出包含完整对象的区域，从而系统能够正确识别出该分割的区域中所包含的车辆。

为了实现本发明的目的，按照本发明的一种用于从图像中分割出对象的方法，包括步骤：

(A)预先设定一个用于所述对象的参考宽度；

(B)从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；

(C)获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及

(D)根据所述参考宽度的成像宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并且从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。

为了实现本发明的目的，按照本发明的一种用于从图像中分割出对象的装置，包括：

设置单元，用于预先设定一个用于所述对象的参考宽度；

提取和确定单元，用于从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；

获得单元，用于获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及

调整和分割单元，用于根据所述参考宽度的成像宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。

附图说明

图1-4示出了车底阴影不完整的例子；

图5-6示出了车底阴影由两个车辆阴影连接在一起构成的例子；

图7示出了本发明一个实施例的用于从图像中分割出对象的方法的流程图；

图8A和8B示出了利用小孔透视成像原理计算最大车宽的成像宽度的示意图；

图9和10示出了基于本发明的方法分割出包括车辆的区域的示意图；

图11示出了基于本发明的方法分割出两个包括车辆的区域的示意图；

图12示出了本发明的用于从图像中分割出对象的装置。

具体实施方式

下面将结合附图7-8B，以从所拍摄到的图像中分割出包含车辆的区域为例，详细描述本发明一个实施例的用于从图像中分割出对象的方法。

如图7所示，首先，预先将路面行驶的正常车辆的最大车宽设置为车辆的参考宽度(步骤S10)。通常情况下，路面行驶的正常车辆的最大车宽为2.5m，不过在实际应用中，考虑到计算误差可以把最大车宽设定为2.8m。

接着，从摄像机所拍摄的图像中提取车辆的车底阴影，并且基于该提取的车底阴影确定该图像中包含车辆的候选区域(步骤S20)。在本发明中，既可以利用上述特开2003-76987的日本专利文献和申请号为200610009379.8的中国专利申请所公开的方法来从图像中提取车辆的车底阴影，也可以使用其它方法来从图像中提取车辆的车底阴影。

接下来，基于小孔透视成像原理，计算作为参考宽度的最大车宽在图像中的该提取的车底阴影位置处的成像宽度(步骤S30)。

图8A和8B示出了利用小孔透视成像原理计算最大车宽的成像宽度的示意图。在图8A中，AB表示最大车宽，O′O表示最大车宽到摄像机镜头的垂直距离，A′B′表示最大车宽在摄像机的成像装置上的成像的像素宽度(即成像宽度)，OT表示最大车宽的成像到摄像机镜头的垂直距离(等于摄像机的焦距f)，A_x为摄像机中的径向畸变，那么基于小孔透视成像原理可以得到以下等式(1)：

$\frac{\mathrm{AB}}{A^{\′}{B}^{\′}\×\mathrm{Ax}}=\frac{O^{\′}O}{\mathrm{OT}}\⇒\frac{\mathrm{AB}}{A^{\′}{B}^{\′}\×\mathrm{Ax}}=\frac{O^{\′}O}{f}\⇒A^{\′}{B}^{\′}=\frac{\mathrm{AB}\×f}{O^{\′}O\×\mathrm{Ax}}---\left(1\right)$

在图8B中，H表示摄像机到地面的距离，TA′表示真实世界中车辆下底边的成像到图像消失线的像素距离，A_y为摄像机中的切向畸变，O′O和OT与图8A中的O′O和OT相同，那么基于小孔透视成像原理可以得到下面的等式(2)：

$\frac{H}{{\mathrm{TA}}^{\′}\×\mathrm{Ay}}=\frac{O^{\′}O}{\mathrm{OT}}\⇒\frac{H}{{\mathrm{TA}}^{\′}\×\mathrm{Ay}}=\frac{O^{\′}O}{f}\⇒O^{\′}O=\frac{H\×f}{{\mathrm{TA}}^{\′}\×\mathrm{Ay}}---\left(2\right)$

根据等式(1)和(2)，可以得到等式(3)：

$A^{\′}{B}^{\′}=\frac{\mathrm{AB}\×{\mathrm{TA}}^{\′}\×\mathrm{Ay}}{H\×\mathrm{Ax}}---\left(3\right)$

在等式(3)中，Ax和Ay是每个摄像机的已知内部参数，H可以预先测定，以及AB作为最大车宽是已知的，所以根据等式(3)，通过对TA′取不同的值，就可以得到最大车宽在图像中的不同位置处的成像宽度A′B′。

然后，判断该提取的车底阴影的宽度是否小于作为参考宽度的最大车宽在图像中的该提取的车底阴影位置处的成像宽度(步骤S40)。

如果判断结果为该提取的车底阴影的宽度小于作为参考宽度的最大车宽在图像中的该提取的车底阴影位置处的成像宽度，则进一步判断在图像中是否能从该提取的车底阴影左右边缘附近找到车辆的左右垂直边缘(步骤S50)。由于在2006年3月17日提交的申请号为200610055053.9、发明名称为“基于车辆特征的车辆定位方法和装置”的中国专利申请和其它的一些科技和专利文献中已经详细描述了寻找垂直边缘的方法，所以在此省略对其的说明。

如果判断结果为能够找到车辆的左右垂直边缘，或者不能找到车辆的左右垂直边缘，则根据等式(4)计算Δwidth(步骤S60)：

Δwidth＝(width_max-width_shadow)/2         (4)

其中，width_max表示作为参考宽度的最大车宽在图像中的该提取的车底阴影位置处的成像宽度，width_shadow表示该提取的车底阴影的宽度。

然后，将该确定的候选区域的左右两边分别向外延伸Δwidth(步骤S70)。

如果判断结果为仅能找到车辆的左垂直边缘，则分别基于等式(5)和(6)来计算Δwidth_left和Δwidth_right(步骤S80)：

Δwidth_left＝width_max×0.05           (5)

Δwidth_right＝width_max-width_shadow    (6)

然后，将该确定的候选区域的左右两边分别向外延伸Δwidth_left和Δwidth_right(步骤S90)。

如果判断结果为仅能找到车辆的右垂直边缘，则分别基于等式(7)和(8)来计算Δwidth_left和Δwidth_right(步骤S100)：

Δwidth_left＝width_max-width_shadow    (7)

Δwidth_right＝width_max×0.05         (8)

然后，将该确定的候选的左右两边分别向外延伸Δwidth_left和Δwidth_right(步骤S110)。

最后，将该经过如此延伸的候选区域从图像中分割出作为包含完整车辆的区域，如图9和10所示(步骤S120)。

如果判断结果为该提取的车底阴影的宽度大于作为参考宽度的最大车宽在图像中的该提取的车底阴影位置处的成像宽度，则进一步判断该提取的车底阴影的宽度与作为参考宽度的最大车宽在图像中的该提取的车底阴影位置处的成像宽度的比值是否在1.2-2.5的范围内(步骤S130)。

车底阴影的宽度大于作为参考宽度的最大车宽是由于两车水平间距较近两车的车底阴影连在一起造成的，而且现有车辆的最小车宽为1.5m，因此当两车阴影连在一起时，车底阴影的宽度与作为参考宽度的最大车宽的比值一般在1.2-2.5的范围之内。

当判断结果为该比值在1.2-2.5的范围内时，将该确定的候选区域中从该提取的底部阴影左边起向右宽度等于该参考宽度的成像宽度的区域分割出作为完整包含一个车辆的区域，以及，将该确定的候选区域中从该提取的底部阴影右边起向左宽度等于该参考宽度的成像宽度的区域分割出作为完整包含另一个车辆的区域，如图11所示(步骤S140)。

上述就是本发明一个实施例的用于从图像中分割出对象的方法。从上面的描述可以看出，在车辆的车底阴影的宽度小于参考宽度的相应成像宽度的情况下，基于参考宽度的成像宽度来延伸候选区域的各个边，因此，根据该延伸后的候选区域从图像中分割出来的区域已经包括完整的车辆，从而识别系统基于该分割的区域能够正确识别出其中所包含的车辆；而在车辆的车底阴影的宽度大于参考宽度的相应成像宽度并且两者的比值位于预定范围内的情况下，分别从车辆的车底阴影的两边向内分割出两个宽度与参考宽度的成像宽度相等的区域，因此，这两个区域中的每一个仅完整地包含一个车辆，从而识别系统基于该分割的区域能够正确识别出每个区域所包含的车辆。

其它变型

虽然在上述实施例中将路面行驶的正常车辆的最大车宽设置为车辆的参考宽度，但是本发明并不局限于此。在本发明中，该参考宽度可以根据需要设置为其它合适的宽度。

虽然在上述实施例中，首先在步骤20中从摄像机所拍摄的图像中提取车辆的车底阴影并确定候选区域，然后在步骤30中基于小孔透视成像原理直接计算最大车宽在图像中的该提取的车底阴影位置处的成像宽度，但是本发明并不局限于此。在本发明中，可以首先基于小孔透视成像原理预先计算最大车宽在摄像机所拍摄的图像中的不同位置处的成像宽度，然后从图像中提取车辆的车底阴影并确定候选区域，接着从所预先计算的最大车宽在图像中的不同位置处的成像宽度中，检索出最大车宽在图像中的该提取的车底阴影位置处的成像宽度。

虽然在上述实施例和变型中基于小孔透视成像原理计算参考宽度在由摄像机拍摄的图像中的不同位置处的成像宽度，但是本发明并不局限于此。在本发明中，可以基于其它合适的方法来计算参考宽度在由摄像机拍摄的图像中的不同位置处的成像宽度。

虽然在上述实施例中以车辆为例说明了本发明，但是本发明并不局限于此。本发明可以应用在用于识别诸如行人这样的对象的识别系统中。

本发明的用于从图像中分割出对象的方法可以利用软件、硬件或软硬件结合的方式来实现。

图12示出了本发明的利用软件、硬件或软硬件结合的方式实现的用于从图像中分割出对象的装置。在图12中，仅示出了与本发明相关的部件。

如图12所示，用于从图像中分割出对象的装置10包括：设置单元12，用于预先设定一个用于所述对象的参考宽度；提取和确定单元14，用于从所述图像中提取所述对象的底部阴影，并且基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；获得单元16，用于获得所述参考宽度在所述图像中的所述提取的底部阴影位置处的成像宽度；以及，调整和分割单元18，用于根据所述参考宽度的成像宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并且从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。

本领域的技术人员应当理解，本发明所公开的用于从图像中分割出对象的方法及装置，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (11)

1.一种用于从图像中分割出对象的方法，包括步骤：

(A)预先设定一个用于所述对象的参考宽度；

(B)从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；

(C)获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及

(D)根据所述参考宽度的成像宽度和所述提取的底部阴影的宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并且从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。

2.如权利要求1所述的方法，其中，所述步骤(D)具体是：

判断所述提取的底部阴影的宽度是否小于所述参考宽度在所述图像中的所述提取的底部阴影位置处的成像宽度；

如果所述判断结果是肯定的，则进一步判断在所述图像中是否能够在所述提取的底部阴影的左右边缘附近找到所述对象的左右垂直边缘；以及

如果所述进一步判断结果为能找到或者不能找到所述对象的左右垂直边缘，则将所述确定的候选区域左右两边分别向外延伸所述参考宽度的成像宽度减去所述提取的底部阴影的宽度所得到的差值的二分之一，并且从所述图像中分割出所述延伸后的候选区域作为包含所述对象的区域。

3.如权利要求2所述的方法，其中，还包括步骤：

如果所述进一步判断结果为仅能找到所述对象的右垂直边缘，则将所述确定的候选区域左边向外延伸所述参考宽度的成像宽度减去所述提取的底部阴影的宽度所得到的差值以及将所述确定的候选区域右边向外延伸预定长度，其中，所述预定长度等于所述参考宽度的成像宽度×0.05。

4.如权利要求2所述的方法，其中，还包括步骤：

如果所述进一步判断结果为仅能找到所述对象的左垂直边缘，则将所述确定的候选区域右边向外延伸所述参考宽度的成像宽度减去所述提取的底部阴影的宽度所得到的差值以及将所述确定的候选区域左边向外延伸预定长度，其中，所述预定长度等于所述参考宽度的成像宽度×0.05。

5.如权利要求2所述的方法，其中，还包括步骤：

如果所述判断结果是否定的，则判断所述提取的底部阴影的宽度与所述参考宽度在所述图像中的所述提取的底部阴影位置处的成像宽度的比值是否处于预定范围之内，其中，所述预定范围是1.2至2.5；

如果所述比值在所述预定范围之内，则将所述确定的候选区域中从所述提取的底部阴影左边起向右宽度等于所述参考宽度在所述图像中的所述提取的底部阴影位置处的成像宽度的区域分割作为基本上完整包含一个所述对象的区域，以及，将所述确定的候选区域中从所述提取的底部阴影右边起向左宽度等于所述参考宽度在所述图像中的所述提取的底部阴影位置处的成像宽度的区域分割作为基本上完整包含另一个所述对象的区域。

6.如权利要求1所述的方法，其中，所述步骤(C)进一步包括：

计算所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度。

7.如权利要求1所述的方法，其中，所述步骤(C)进一步包括：

预先计算所述参考宽度在所述图像中的各个位置处的成像宽度；以及

从所述预先计算的成像宽度中，检索出所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度。

8.如权利要求1至7的任意一个所述的方法，其中，所述参考宽度等于所述对象的最大宽度。

9.如权利要求1至7的任意一个所述的方法，其中，所述对象包括车辆。

10.如权利要求6或7所述的方法，其中，进一步包括：

基于小孔透视成像原理来计算所述参考宽度在所述图像中的成像宽度。

11.一种用于从图像中分割出对象的装置，包括：

设置单元，用于预先设定一个用于所述对象的参考宽度；

提取和确定单元，用于从所述图像中提取所述对象的底部阴影，并基于所述提取的底部阴影确定所述图像中包含所述对象的候选区域；

获得单元，用于获得所述参考宽度在所述图像中的所述对象的底部阴影位置处的成像宽度；以及

调整和分割单元，用于根据所述参考宽度的成像宽度和所述提取的底部阴影的宽度来调整所述确定的候选区域以使得所述调整后的候选区域包含基本上完整的所述对象，并从所述图像中分割出所述调整后的候选区域作为包含所述对象的区域。

Images