CN111989541A - 立体摄像机装置 - Google Patents

Abstract

本发明提供一种可以在确保视差偏移的算出精度的情况下降低算出成本的立体摄像机装置。本发明具备：特征点检测部(220)，其检测左摄像机(111)及右摄像机(112)分别拍摄到的多个图像的特征点；特征点追踪部(240)，其在左摄像机(111)及右摄像机(112)各自于不同时刻拍摄到的多个图像之间追踪特征点；追踪范围决定部(230)，其将特征点追踪部(240)中的针对多个图像的特征点的追踪限制在多个图像的一部分追踪范围；以及视差偏移修正量算出部(250)，其根据不同时刻之间的车辆(1)的移动距离和与特征点追踪部(240)追踪到的特征点相关的视差来算出用于修正左摄像机(111)及右摄像机(112)之间的视差偏移的视差偏移修正量。

Description

立体摄像机装置

技术领域

本发明涉及立体摄像机装置。

背景技术

作为推断对象物的三维位置的手段，有立体摄像机系统。

在立体摄像机系统中，利用配置在多个位置的摄像机从不同的多个视点拍摄同一对象物，根据多个摄像机各自得到的多个图像中的视觉的差异(所谓的视差)来算出到对象物的距离。此外，在立体摄像机系统中的到对象物的距离的算出中，除了视差等信息以外，还要考虑被称为视差偏移的、在视差中产生的偏移状的误差。该视差偏移会因为振动或温度变化所引起的摄像机等装置的形变、螺固时产生的物理性负荷等而随时间变化，因此，要准确地算出到对象物的距离，就需要校正视差偏移。

在车辆等移动体上搭载的立体摄像机系统中，已知有如下校正方法：根据从利用多个摄像机拍摄静止物得到的图像获得的视差来算出静止物相对于车辆的距离变化，并对该距离变化与移动体的移动量进行比较，由此，以距离变化与移动量变得相等的方式算出视差偏移。然而，在该校正方法中，仅在拍摄到可以判定是静止物的物体时才能算出视差偏移，无法充分确保校正视差偏移的机会。

因此，作为以增加视差偏移的校正机会为目的的技术，例如在专利文献1中揭示有一种立体摄像机装置，其进行到物体的距离检测，所述装置具备：2台摄像机，它们隔开基线长度地设置；以及运算单元，其用于根据所述2台摄像机获取到的图像来计算到图像上的物体的距离，所述运算单元具备：图像处理单元，其探索所述2台摄像机获取到的图像的对应点，根据对应点在拍摄面上的位置坐标的差来计算2个视差；偏移值计算单元，其至少在2个时刻根据由所述图像处理单元规定的所述2个视差而跨及整个所述图像来计算视差偏移值；以及统计处理单元，其对所述视差偏移值的分布进行统计解析，决定用作校正参数的所述视差偏移值的最佳值。

现有技术文献

专利文献

专利文献1：日本专利特开2012-83330号公报

发明内容

发明要解决的问题

然而，在上述现有技术中，虽然通过使用在多个摄像机拍摄到的图像上检测到的特征点的视差来算出移动体的移动距离、增加了视差偏移的校正机会，但是，当要针对整个图像来追踪特征点而获取视差时，处理负荷变得极高，若考虑算出成本，则认为无法针对充分数量的特征点获取视差。此外，图像上的特征点的检测并非一定能准确地进行，因此，还认为会因将图像上的相似的点误追踪为特征点而导致算出错误的视差偏移。

本发明是鉴于上述内容而成，其目的在于提供一种可以在确保视差偏移的算出精度的情况下降低算出成本的立体摄像机装置。

解决问题的技术手段

本申请包含多种解决上述问题的技术手段，举其一例，为一种立体摄像机装置，其具备：摄像装置，其具有配置在车辆上的多个摄像部；以及图像处理装置，其具有视差图像生成部及相对位置算出部，所述视差图像生成部使用用于修正所述多个摄像部之间的视差偏移的视差偏移修正量，根据所述多个摄像部分别拍摄到的多个图像来生成视差图像，所述相对位置算出部根据所述视差图像来算出对象物相对于所述多个摄像部的相对位置，其中，所述图像处理装置具备：特征点检测部，其检测所述多个摄像部分别拍摄到的所述多个图像的特征点；特征点追踪部，其在所述多个摄像部各自于不同时刻拍摄到的所述多个图像之间追踪所述特征点；追踪范围决定部，其将所述特征点追踪部中的针对所述多个图像的所述特征点的追踪限制在所述多个图像的一部分追踪范围；以及视差偏移修正量算出部，其根据所述不同时刻之间的所述车辆的移动距离和与所述特征点追踪部追踪到的特征点相关的视差，来算出用于修正所述多个摄像部之间的视差偏移的视差偏移修正量。

发明的效果

根据本发明，可以在确保视差偏移的算出精度的情况下降低算出成本。

附图说明

图1为表示第1实施方式的本实施方式的立体摄像机装置的硬件构成的图。

图2是将第1实施方式的图像处理装置的处理功能与相关构成一起挑选出来加以展示的功能框图。

图3为说明视差偏移修正量算出处理的基本原理的图。

图4为表示视差偏移修正部的处理功能的功能框图。

图5为表示特征点检测区域决定部的处理功能的功能框图。

图6为说明成为特征点检测区域决定部的排除对象的图像中的区域的一例的图。

图7为说明成为特征点检测区域决定部的排除对象的图像中的区域的一例的图，是表示成为视差未算出区域排除部的排除对象的区域的一例的图。

图8为说明成为特征点检测区域决定部的排除对象的图像中的区域的一例的图，是表示成为视差不稳定区域排除部的排除对象的区域的一例的图。

图9为说明成为特征点检测区域决定部的排除对象的图像中的区域的一例的图，是表示成为特定物体区域排除部的排除对象的区域的一例的图。

图10为表示追踪范围决定部的处理功能的功能框图。

图11为表示特征点追踪部对特征点的追踪的情形的图。

图12为表示特征点追踪部对特征点的追踪的情形的图。

图13为示意性地表示拍摄预想区域算出部中的拍摄预想区域(探索范围)的算出方法的一例的图。

图14为示意性地表示拍摄预想区域算出部中的拍摄预想区域(探索范围)的算出方法的一例的图。

图15为表示第2实施方式的视差偏移修正部的处理功能的功能框图。

图16为表示第2实施方式的视差偏移算出判定部的处理功能的功能框图。

图17为表示在视差偏移修正量算出判定部中判定不执行视差偏移修正量算出处理的情况的条件的一览的图。

图18为表示第3实施方式的视差偏移修正量算出判定部的处理功能的功能框图。

具体实施方式

下面，一边参考附图，一边对本发明的实施方式进行说明。

＜第1实施方式＞

一边参考图1～图14，一边对本发明的第1实施方式进行说明。

图1为表示本实施方式的立体摄像机装置的硬件构成的图。

图1中，立体摄像机装置100具备：立体摄像机110(摄像装置)，其具有左摄像机111及右摄像机112这左右一对摄像机(摄像部)；图像处理装置120，其由作为存储装置的只读存储器(ROM)或随机存取存储器(RAM)等存储器130和作为处理器的中央处理装置(CPU)140构成；以及接口150，其用于通过CAN(Control Area Network)通信等在立体摄像机装置100与外部的传感器类或其他装置等外部装置160之间进行通信，立体摄像机110、图像处理装置120以及接口150由用于相互进行信息的授受的通信电路即总线线路100a连接在一起。

在本实施方式中，立体摄像机装置100是搭载于汽车等车辆1(参考图3等)上的车载立体摄像机装置，作为外部装置160，除了检测加速踏板的开度(也就是节气门开度)、制动器的操作量(也就是制动踏板的操作量)、方向盘的操舵角、车速、加速度、温度、湿度等的各种传感器类以外，还有对车辆1的各种动作进行控制的ECU(Electronic Control Unit)等。

再者，经由接口150获取的各种信息可为在CAN通信电路(CAN总线)上流通的发动机转速、车速、轮速、操舵角、节气门开度等各种信息，例如，可获取ECU根据由检测车轮的转速的传感器等得到的信息来运算车速并流通到CAN通信电路中的结果。此外，虽未图示，但在图像处理装置120中设置有例如检测作为配置在基板上的元件的存储器130、CPU140等的温度的元件温度传感器。

存储器130是存储有用于图像处理装置中的各种处理的控制程序和各种信息的记录介质。CPU140按照存储器130中存储的控制程序对经由接口150导入的信号进行规定的运算处理，从而进行立体物和路面的检测、对象物2(参考图3)的位置(到对象物2的距离、方向)的算出等。CPU140的运算结果经由接口150输出至外部装置160(ECU等)，用于加速、制动、转向等车辆1的各种动作的判断和控制。再者，虽然例示了ROM及RAM等半导体存储器作为图像处理装置120的存储器130(存储装置)，但只要是存储装置，都能拿来替代，例如也可设为硬盘驱动器等磁存储装置。

立体摄像机110所具有的多个(本实施方式中为2台)摄像机(左摄像机111及右摄像机112)以相互的光轴平行的方式以规定的光轴间隔(基线长)加以配置，分别由CCD、CMOS等影像传感器和光学镜头等构成。立体摄像机110为车载立体摄像机，以通过左摄像机111及右摄像机112来拍摄车辆1前方的方式加以配置。

图2是将本实施方式的图像处理装置的处理功能与相关构成一起挑选出来加以展示的功能框图。

图2中，图像处理装置120具有：视差偏移修正部121，其算出并输出用于修正立体摄像机110的左摄像机111及右摄像机112的视差中的误差(后面称为视差偏移)的修正量(视差偏移修正量)；视差图像生成部122，其根据左摄像机111及右摄像机112分别拍摄到的多个图像，使用视差偏移修正量来生成视差图像(以视差为像素值的图像)；以及距离算出部123(相对位置算出部)，其根据视差图像生成部122生成的视差图像来算出对象物2相对于立体摄像机110的相对位置(到对象物2的距离和方向)。距离算出部123算出的对象物2的相对位置(到对象物2的距离、方向)除了经由接口150送至外部装置160外，还存储至图像处理装置120的存储器130等。

所谓视差偏移，是指视差中产生的偏移状的误差。视差偏移的值是由构成立体摄像机110的左摄像机111及右摄像机112的设置位置预先决定的，但会因设置后发生的振动或温度变化所引起的装置的形变、螺固时产生的物理性负荷等而随时间变化。在本实施方式的视差偏移修正部121中，根据视差偏移的经时变化来算出用于恰当地修正视差偏移的值的视差偏移修正量。在视差图像生成部122中，通过使用视差偏移修正部121算出的视差偏移修正量对基于由左摄像机111及右摄像机112得到的图像的视差进行修正来生成视差图像，由此提高视差图像的精度。因而，由于视差图像的精度提高，能够抑制在距离算出部123中使用视差图像来算出距离时的误差的产生，所以能准确地推断对象物的三维位置。

此处，一边参考图3，一边对本实施方式中的算出视差偏移修正量的处理(后面称为视差偏移修正量算出处理)的基本原理进行说明。

图3为说明视差偏移修正量算出处理的基本原理的图。

图3中，将搭载有本实施方式的立体摄像机装置100的车辆1的时刻t1时的位置s1与对象物(静止物体)的距离设为L1，将时刻t2时的位置s2与对象物(静止物体)的距离设为距离L2，将时刻t1时的车辆1的位置s1与时刻t2时的车辆1的位置s2的距离设为移动量dz。再者，立体摄像机装置100相对于车辆1的相对位置(安装位置)是已知的，因此，认为立体摄像机110到对象物2的距离与车辆1到对象物2的距离在实质上是相同的。

在像本实施方式这样使用2台摄像机(左摄像机111及右摄像机112)的立体摄像机装置100中，立体摄像机110(或车辆1)到对象物的距离Z[mm]由下述(式1)表示。

[数式1]

在上述(式1)中，f[mm]表示左摄像机111及右摄像机112的焦距，wi[mm/px]表示像素间距，B[mm]表示左摄像机111与右摄像机112的光轴间距离(也就是基线长)，d[mm]表示视差，ε[px]表示视差偏移。

在车辆1等移动体上搭载的立体摄像机装置100中，根据静止的对象物2(静止物体)的视差来算出移动的车辆1到对象物2的距离，对该距离的规定时间内的变化(也就是基于对象物的视差的车辆1的移动距离)与车辆1的移动量(根据视差以外的信息获得的车辆1的移动距离)进行比较而以车辆1到对象物2的距离变化与车辆1的移动量变得相等的方式选择视差偏移，由此能推断立体摄像机110的视差偏移。即，通过以取消该视差偏移的方式算出视差偏移修正量，可以提高视差图像生成部122生成的视差图像的精度、抑制在距离算出部123中算出距离时的误差的产生。

若将图3所示的多个(本实施方式中为2个)不同时刻(时刻t1、时刻t2)时的视差分别设为视差d1[px]、视差d2[px]，则根据视差算出的车辆1到对象物2的距离变化与车辆1的移动量满足下述(式2)。

[数式2]

通过针对ε(视差偏移)来求解上述(式2)，可以推断出视差偏移，从而根据该视差偏移来算出视差偏移修正量。

图4为表示视差偏移修正部的处理功能的功能框图。

图4中，视差偏移修正部121具有：特征点检测部220，其针对立体摄像机110的左摄像机111及右摄像机112分别拍摄到的多个图像(此处是左摄像机111和右摄像机112于同时刻拍摄到的2个图像)而检测相互对应的特征点；特征点追踪部240，其在左摄像机111及右摄像机112各自于不同时刻拍摄到的多个图像之间追踪特征点；追踪范围决定部230，其将特征点追踪部240中的特征点的追踪范围限制在图像中的一部分(决定追踪范围)；视差偏移修正量算出部250，其根据与特征点追踪部240追踪到的特征点相关的视差和进行了特征点的追踪的不同时刻间的车辆的移动距离来算出视差偏移；以及特征点检测区域决定部210，其针对左摄像机111及右摄像机112拍摄到的多个图像各方而将在特征点检测部220中检测特征点的区域限制在图像中的一部分(决定特征点检测区域)。

图5为表示特征点检测区域决定部的处理功能的功能框图。

图5中，特征点检测区域决定部210具有：视差未算出区域排除部211，其针对立体摄像机110的左摄像机111及右摄像机112拍摄到的多个图像中的各图像而将未得到视差的区域排除；视差不稳定区域排除部212，其针对左摄像机111及右摄像机112拍摄到的多个图像各方而将视差的精度较低的区域排除；以及特定物体区域排除部213，其针对左摄像机111及右摄像机112拍摄到的多个图像各方而将预先规定的特定物体的区域排除。

在特征点检测区域决定部210中，通过排除不应检测特征点的区域、反过来说就是限制要检测特征点的区域(也就是决定要检测特征点的区域(特征点检测区域))来谋求处理时间的缩短和精度的提高。在本实施方式中，是使用三维上静止的区域的时间序列上的视差变化来推断视差偏移的值。因而，无须在没有纹理而无法算出视差的区域、视差的精度较低的特定图案的区域、拍摄到正在移动的物体的区域内进行特征点检测，所以通过将排除了这些区域之后的区域决定为要检测特征点的对象区域(特征点检测区域)，能够期待处理时间的缩短和精度的提高。

图6～图9为说明在特征点检测区域决定部中成为排除对象的图像中的区域的一例的图。图6为表示在特征点检测区域决定部中处理的图像的一例的图。此外，图7展示了图6所示的图像当中成为视差未算出区域排除部的排除对象的区域的一例，图8展示了图6所示的图像当中成为视差不稳定区域排除部的排除对象的区域的一例，图9展示了图6所示的图像当中成为特定物体区域排除部的排除对象的区域的一例。

如图7所示，在视差未算出区域排除部211中，在图像300中将算不出视差的区域(视差未算出区域311～313)排除。区域311～313内例示的排除对象区域在图像300中例如为没有纹理而无法算出视差的区域。即，作为排除对象区域，考虑是在图像300中拍摄到天空等的区域311、拍摄到道路等的区域311、312。再者，在无法算出视差的排除对象区域的选择中，例如在过去的时间点上生成的视差图像中选择未得到视差的区域即可。此外，也可构成为利用算出视差时获得的、表示左右图像的一致程度如何的匹配代价等数值，一致程度较低的点(像素)即便得到了视差也予以排除。

如图8所示，在视差不稳定区域排除部212中，在图像300中将视差的精度可能较低的区域(视差不稳定区域321)排除。区域321内例示的排除对象区域在图像300中例如为栅栏等细小重复图案的区域321，有可能在视差图像的生成过程中算出错误的视差。

如图9所示，在特定物体区域排除部213中，在图像300中将拍摄到特定物体的区域(特定物体区域331～333)排除。此处所说的所谓特定物体，是指未静止的可能性较高的物体。即，作为排除对象区域，在图像300中考虑拍摄到正在移动的可能性较高的车辆的区域331、332和拍摄到行人的区域333。再者，区域331～333的提取也就是车辆、行人等特定物体的提取例如可以通过利用与预先保持的图案的符合率来进行判定的图案匹配等方法来进行。此外，不限于上述特定物体，例如检测、追踪到其他特定物体而结果判定为正在移动的物体也可予以排除。

再者，图6～图9中，作为在视差未算出区域排除部211中加以排除的算不出视差的区域311～113、在视差不稳定区域排除部212中加以排除的视差的精度可能较低的区域321、以及在特定物体区域排除部213中加以排除的拍摄到特定物体的区域331～333，是分别以某一定范围的形式来表现、说明的成为排除对象的区域，但这些区域无须为多个像素相连的区域，也可将1像素单位视为区域来判定视差的有无和精度、有无拍摄到特定物体等，从而判定是否是视差未算出区域311～113、视差不稳定区域321或者特定物体区域331～333中的任一种。

此外，图5中，作为特征点检测区域决定部210的处理，例示、说明了按视差未算出区域排除部211、视差不稳定区域排除部212、特定物体区域排除部213这一顺序来进行处理的情况，但并不限于此，也可调换这些处理功能的顺序来构成特征点检测区域决定部210。

特征点检测部220在特征点检测区域决定部210决定好的特征点检测区域(即，例如图像300当中作为视差未算出区域311～113、视差不稳定区域321以及特定物体区域331～333排除掉的区域以外的范围)内进行1个以上的特征点的检测。作为特征点的检测方法，例如可以使用FAST(Features from Accelerated Segment Test)。FAST是针对某一点(像素)而高速判定与其周边像素相比是否具有不同亮度，常用作高速找出有特征的点的方法。

图10为表示追踪范围决定部的处理功能的功能框图。此外，图11及图12为表示特征点追踪部对特征点的追踪的情形的图。

如图11及图12所示，特征点追踪部240从时刻t1后的其他时刻t2时的图像420上检测到的多个特征点中探索与某一时刻t1时的图像410中拍摄到的1个以上的特征点(此处例示特征点p1)相对应的点，并将探索到的特征点p2与特征点p1加以关联，由此进行特征点的追踪。

再者，在本实施方式中，仅例示说明1个以上的特征点中的特征点p1。

在特征点追踪部240中的特征点的追踪中，在时刻t1、t2的图像410、420之间关联了错误的特征点的情况下，在视差偏移修正部121中会算出错误的视差偏移(即，会算出错误的视差偏移修正量)，所以需要在拍摄时刻t1、t2的不同图像410、420之间高精度地追踪对应的特征点p1、p2。因此，在追踪范围决定部230中，将在特征点追踪部240中成为追踪对象的特征点的追踪范围限制在图像中的一部分(决定追踪范围)。由此，将特征点追踪部240中的特征点p1的追踪缩小到追踪范围，从而可以抑制拍摄时刻t1、t2的不同图像410、420之间的错误的特征点的关联的发生。此外，可以减少成为判定是否为对应特征点的对象的特征点的数量，因此还能期待处理时间的削减。

图10中，追踪范围决定部230具有：拍摄预想位置算出部231，其算出预测时刻t1上拍摄到的图像410上的某一特征点p1在时刻t2上拍摄到的图像420上被拍摄到的位置(拍摄预想位置p11)；以及拍摄预想区域算出部232，其根据拍摄预想位置算出部231算出的拍摄预想位置p11来算出预测在时刻t2上拍摄到的图像420上拍摄到与特征点p1相对应的特征点p2的范围(拍摄预想区域411)作为探索范围。

拍摄预想位置算出部231算出预测时刻t1时拍摄到的图像410上的某一特征点p1在时刻t2时拍摄到的图像420上被拍摄到的位置(拍摄预想位置p11)。在本实施方式中，在特征点检测区域决定部210中仅将三维上静止的物体视为作为特征点的检测对象，因此，特征点的拍摄位置在图像410(时刻t1)与图像420(时刻t2)之间发生变化的主要原因可以说是车辆1(自身车辆)的移动。

因而，根据时刻t1时拍摄到的图像410中的某一特征点p1在摄像机坐标系(例如，以立体摄像机装置100为基准，在立体摄像机装置100的中心设定原点，朝上方设定z轴、朝前方设定y轴、朝右方设定x轴得到的坐标系)中的三维位置(X1,Y1,Z1)和图像410的图像坐标系(例如，在图像410、420的左下角设定原点，朝右方设定i轴、朝上方设定j轴得到的坐标系)中的位置(i1,j1)，时刻t2时拍摄到的图像420的图像坐标系中的拍摄预想位置p11的位置(i2,j2)由下述(式3)及(式4)表示。

[数式3]

[数式4]

在上述(式3)及(式4)中，f[mm]表示焦距，wi[mm/px]表示像素间距，v[mm/s]表示从外部装置160中包含的车速传感器获得的车辆1(自身车辆)的车速。再者，在本实施方式中，为了简化说明，考虑车辆1(自身车辆)正以匀速v前进的情况。

拍摄预想区域算出部232根据拍摄预想位置算出部231算出的拍摄预想位置p11来算出预测在时刻t2时拍摄到的图像420上拍摄到与特征点p1相对应的特征点p2的范围(拍摄预想区域411)作为探索范围。拍摄预想区域算出部232算出的探索范围从追踪范围决定部230作为追踪范围输出至特征点追踪部240。

通过设定该拍摄预想区域411并作为追踪范围加以输出，在特征点p1静止的情况下，可以在特征点追踪部240中实现高精度的追踪。此外，即便在时刻t2时拍摄到的图像420中有大量检测特征点的情况下，通过设定追踪范围，也能将不需要的特征点的追踪排除在范围外而不会对其耗费计算成本。该追踪范围的设定尤其是对条纹花样等重复图案(例如在视差不稳定区域排除部212中未成为去除对象这样的重复图案)也有效，即便在图像上出现了多个相似特征点的情况下，也能仅将作出像静止物样子的移动的点选出而加以关联。

图13及图14为示意性地表示拍摄预想区域算出部中的拍摄预想区域(探索范围)的算出方法的一例的图。

在拍摄预想区域算出部232中，关于拍摄预想区域411，例如在图像410中，以拍摄预想位置算出部231算出的拍摄预想位置p11为中心、在考虑视差误差造成的拍摄位置的错位的方向和考虑纵倾造成的拍摄位置的错位的方向上在考虑了这些误差的范围内进行设定。

视差误差是沿从图像410的中心穿过拍摄预想位置p11这样的线段产生(即，从图像410的中心沿辐射方向产生)，因此，在沿着该线段的方向上以拍摄预想位置p11为中心而在图像410的中心方向和与图像410的中心相反的方向上分别设定可能产生视差误差的范围。此外，纵倾是沿图像410的上下方向产生，因此，以拍摄预想位置p11为中心而沿上下方向设定可能因纵倾而产生的误差的范围。继而，将考虑了视差误差和因纵倾而产生的误差的范围这两方的范围设定为拍摄预想区域411。此时，拍摄预想区域411是由沿着从图像410的中心穿过拍摄预想位置p11这样的线段的2条线段和沿图像410的上下方向延伸的2条线段围成的区域。

如此，通过考虑认为误差较大的视差误差和车载环境下因车辆的加减速或者在细微的凹凸上行驶而产生的纵倾造成的垂直方向的检测位置的误差，能够恰当地设定拍摄预想区域411。

再者，也可构成为考虑用于拍摄预想位置算出部231中的运算的其他的摄像机特性相关的参数也就是焦距f、像素间距wi、速度v、时刻t1、t2、时刻t1时的拍摄位置(i1,j1)、时刻t2时的拍摄位置(i2,j2)等来设定拍摄预想区域411。

特征点追踪部240针对特征点检测部220检测到的1个以上的特征点各方而在追踪范围决定部230设定的追踪范围内于不同时刻拍摄到的多个图像之间进行对应的特征点的探索。即，在特征点追踪部240中，针对在不同时刻拍摄到的多个图像之间关联起来的特征点而算出时间序列的视差信息。

视差偏移修正量算出部250使用特征点追踪部240得到的特征点的时间序列的视差信息和车辆1(自身车辆)的移动量(移动距离)来进行视差偏移修正量算出处理，算出视差偏移修正量。再者，在本实施方式中，例示、说明了使用针对2个不同时刻得到的视差信息来算出视差偏移修正量的情况，而例如通过在时间序列上使用大量数据，可以提高稳定性。再者，在使用针对3个以上的不同时刻得到的视差信息的情况下，用于算出视差偏移的式子变得冗长，无法唯一地求解，因此，要通过优化计算来算出视差偏移。此外，也考虑使用多个特征点的信息来算出视差偏移。

对以如上方式构成的本实施方式的作用效果进行说明。

在现有技术中，通过使用在多个摄像机拍摄到的图像上检测到的特征点的视差来算出移动体的移动距离、增加了视差偏移的校正机会，但是，当要针对整个图像来追踪特征点而获取视差时，处理负荷变得极高，若考虑算出成本，则认为无法针对充分数量的特征点获取视差。此外，图像上的特征点的检测并非一定能准确地进行，因此，还认为会因将图像上的相似的点误追踪为特征点而导致算出错误的视差偏移。

相对于此，在本实施方式中，立体摄像机装置100具备：立体摄像机110，其配置在车辆1上，具有多个左摄像机111及右摄像机112；以及图像处理装置120，其具有视差图像生成部122及距离算出部123，所述视差图像生成部122使用用于修正左摄像机111及右摄像机112之间的视差偏移的视差偏移修正量，根据左摄像机111及右摄像机112分别拍摄到的多个图像来生成视差图像，所述距离算出部123根据视差图像来算出对象物相对于左摄像机111及右摄像机112的相对位置，其中，图像处理装置120构成为具备：特征点检测部220，其检测左摄像机111及右摄像机112分别拍摄到的多个图像的特征点；特征点追踪部240，其在左摄像机111及右摄像机112各自于不同时刻拍摄到的多个图像之间追踪特征点；追踪范围决定部230，其将特征点追踪部240中的针对多个图像的特征点的追踪限制在多个图像的一部分追踪范围；以及视差偏移修正量算出部250，其根据不同时刻之间的车辆1的移动距离和与特征点追踪部240追踪到的特征点相关的视差来算出用于修正左摄像机111及右摄像机112之间的视差偏移的视差偏移修正量，因此可以在确保视差偏移的算出精度的情况下降低算出成本。

即，在本实施方式中，在追踪范围决定部230中，构成为将特征点追踪部240中的针对多个图像的特征点的追踪限制在多个图像的一部分追踪范围(探索范围)，因此抑制了将追踪对象特征点与其他特征点错误地关联起来的可能，由此，能确保视差偏移的算出精度，此外，通过将特征点的追踪范围限制在图像的一部分，可以减少特征点的对应的判定相关的处理量，从而能降低算出成本。

此外，在追踪范围决定部230中，构成为尤其根据认为误差较大的视差偏移和车辆的纵倾量来决定追踪范围，因此能更高精度地决定追踪范围，从而能确保视差偏移的算出精度。

此外，在特征点检测区域决定部210中，构成为针对左摄像机111及右摄像机112拍摄到的多个图像各方而决定将在特征点检测部220中检测特征点的区域限制在图像中的一部分的特征点检测区域，因此可以通过排除不应检测特征点的区域来谋求处理时间的缩短和精度的提高。

此外，在特征点检测区域决定部210中，构成为在视差未算出区域排除部211中针对左摄像机111及右摄像机112拍摄到的多个图像各方而将未得到视差的区域排除，因此可以排除没有纹理而无法算出视差的区域，从而能谋求处理时间的缩短和精度的提高。

此外，在特征点检测区域决定部210中，构成为在视差不稳定区域排除部212中针对左摄像机111及右摄像机112拍摄到的多个图像各方而将视差的精度较低的区域排除，因此可以排除视差的精度较低的特定图案的区域，从而能谋求处理时间的缩短和精度的提高。

此外，在特征点检测区域决定部210中，构成为在特定物体区域排除部213中针对左摄像机111及右摄像机112拍摄到的多个图像各方而将预先规定的特定物体的区域排除，因此可以排除拍摄到正在移动的物体的区域，从而能谋求处理时间的缩短和精度的提高。

＜第2实施方式＞

一边参考图15及图16，一边对本发明的第2实施方式进行说明。在本实施方式中，仅对与第1实施方式的不同点进行说明，在本实施方式中使用的附图中，对与第1实施方式相同的构件标注相同符号，并省略说明。

本实施方式展示具备视差偏移修正量算出判定部610的情况，所述视差偏移修正量算出判定部610根据是否是能高精度地算出视差偏移修正量的状态来判定是否进行视差偏移修正量的算出(视差偏移修正量算出处理)。在本实施方式中，要高精度地求出视差偏移修正量，满足以下2个条件是比较重要的：高精度地求出用于视差偏移修正量的算出的参数即自身车辆的移动量和视差；以及，仅使用假定的静止的点的视差。因此，在认为不满足这2个条件的场景下，通过视差偏移修正量算出判定部610来简易地判定不执行视差偏移修正量算出处理，由此，能确保视差偏移修正量的精度。

图15为表示本实施方式的视差偏移修正部的处理功能的功能框图。

图15中，本实施方式中的视差偏移修正部121A具有：视差偏移修正量算出判定部610，其根据规定条件来判定是否算出视差偏移；特征点检测部220，在视差偏移修正量算出判定部610判定要算出视差偏移的情况下，所述特征点检测部220针对立体摄像机110的左摄像机111及右摄像机112分别拍摄到的多个图像(此处是左摄像机111和右摄像机112于同时刻拍摄到的2个图像)而检测相互对应的特征点；特征点追踪部240，其在左摄像机111及右摄像机112各自于不同时刻拍摄到的多个图像之间追踪特征点；追踪范围决定部230，其将特征点追踪部240中的特征点的追踪范围限制在图像中的一部分(决定追踪范围)；视差偏移修正量算出部250，其根据与特征点追踪部240追踪到的特征点相关的视差和进行了特征点的追踪的不同时刻间的车辆的移动距离来算出视差偏移；以及特征点检测区域决定部210，其针对左摄像机111及右摄像机112拍摄到的多个图像各方而将在特征点检测部220中检测特征点的区域限制在图像中的一部分(决定特征点检测区域)。

图16为表示视差偏移算出判定部的处理功能的功能框图。

图16中，视差偏移修正量算出判定部610具有：速度判定部611，其根据车辆1(自身车辆)的速度来判定是否进行视差偏移修正量的算出；加速度判定部612，其根据车辆1(自身车辆)的加速度来判定是否进行视差偏移修正量的算出；直线前进判定部613，其根据车辆1(自身车辆)是否正直线前进来判定是否进行视差偏移修正量的算出；以及场景判定部614，其根据是否是可算出视差偏移修正量的场景来判定是否进行视差偏移修正量的算出。在判定部611～614中的至少任1方中判定不执行视差偏移修正量算出处理的情况下，将不执行视差偏移修正量算出处理这一判定结果作为视差偏移修正量算出判定部610中的判定结果输出至特征点检测区域决定部210，不执行涉及到特征点检测区域决定部210的处理的、视差偏移算出处理的一系列处理。

速度判定部611根据车辆1(自身车辆)的速度来判定是否算出视差偏移修正量。我们知道，车辆上安装的速度传感器在低速域内误差通常会增大，因而认为，在低速域内使用外部装置160中包含的车速传感器的检测值算出的车辆1(自身车辆)的移动量的误差增大。因此，在速度判定部611中，例如在外部装置160中包含的车速传感器的检测值为20km/h以下的情况下，判断车辆1(自身车辆)的移动量产生的误差超过容许范围，从而判定不执行视差偏移修正量算出处理。

加速度判定部612根据车辆1(自身车辆)的加速度来判定是否算出视差偏移修正量。从外部装置160中包含的各种传感器获得的值从测出起到图像处理装置120中的接收为止会发生时间上的滞后，因此，在加减速时，立体摄像机110中的拍摄时刻与速度有可能被错误地关联起来。因此，在加速度判定部612中，在外部装置160中包含的加速度传感器的检测值为预先规定的阈值以上的情况下，即，在正进行容许范围以上的加减速的情况下，判断立体摄像机110中的拍摄时刻与速度被错误地关联起来的可能性超过容许范围，从而判定不执行视差偏移修正量算出处理。采用这样的加速度判定部612的话，还可以避免执行车辆1的打滑状态下的视差偏移修正量算出处理。再者，也可构成为通过观测速度传感器的检测值的单位时间内的变化量(差分值)或者外部装置160中包含的陀螺仪传感器的输出来判定加速度(加速及减速)。

直线前进判定部613根据车辆1(自身车辆)是否正直线前进来判定是否算出视差偏移修正量。在车辆1的弯道行驶时，车辆1的移动量的推断值的误差增大。因此，在直线前进判定部613中，在可以判断车辆1正直线前进的情况以外，判定不执行视差偏移修正量算出处理。再者，关于车辆1是否正直线前进(是否为弯道行驶)的判定，可以根据来自外部装置160中包含的导航系统等的GPS信息、地图数据、来自检测操舵角和横摆角等的车辆传感器的检测值等来进行判定。即，例如在外部装置160中包含的操舵角传感器的检测值处于预先规定的范围之外的情况下，判定不执行视差偏移修正量算出处理。

场景判定部614根据是否是可算出视差偏移修正量的场景来判定是否进行视差偏移修正量的算出。例如，在车辆1正在拥堵道路上行驶时，立体摄像机110的大部分视野内都会拍摄到以低速运动的物体，因此，静止物体与移动物体的区分变得困难，因在移动物体上检测到特征点而导致算出错误的视差偏移修正值的可能性升高。因此，在场景判定部614中，例如在从外部装置160中包含的导航系统等获取是否正在拥堵道路上行驶这一信息，在正在拥堵道路上行驶的情况下，判断不是可算出视差偏移修正量的场景，从而判定不实施视差偏移修正量算出处理。再者，出于同样的理由，例如在正在商业街等来往行人较多的道路上行驶的情况下，也判断不是可算出视差偏移修正量的场景，从而判定不实施视差偏移修正量算出处理。

图17为表示在视差偏移修正量算出判定部中判定不执行视差偏移修正量算出处理的情况的条件的一览的图。

像根据图17所知，在视差偏移修正量算出判定部610中，是根据来自外部装置160中包含的各种传感器类的输入值、来自导航系统的信息来判定是否执行视差偏移修正量算出处理，因此能高速完成处理，在不应执行视差偏移修正量算出处理的场景下能确保计算资源。

再者，视差偏移修正量算出判定部610中的速度判定部611、加速度判定部612、直线前进判定部613以及场景判定部614中的各判定处理可以相互独立地进行，因此，也可构成为视需要使用这些判定部611～614中的一部分。例如，在使用的是低速域内精度也较好的车速传感器的车辆1中，可以省略速度判定部611，此外，只要能将弯道行驶时的移动量高精度地模型化，就能省略直线前进判定部613。即，在视差偏移修正量算出判定部610中，构成为根据实施时的构成要素而仅进行需要的判定即可。

其他构成与第1实施方式相同。

在以如上方式构成的本实施方式中，也能获得与第1实施方式同样的效果。

此外，在本实施方式中，由于构成为在认为视差偏移修正量的算出误差增大的场景下不执行视差偏移修正量算出处理，因此，在不适合视差偏移修正量的算出的状态下执行特征点检测等处理的情况不复存在，可以将计算资源分配给其他处理。此外，可以降低算出错误的视差偏移修正量的可能。

＜第3实施方式＞

一边参考图18，一边对本发明的第3实施方式进行说明。在本实施方式中，仅对与第2实施方式的不同点进行说明，在本实施方式中使用的附图中，对与第2实施方式相同的构件标注相同符号，并省略说明。

本实施方式是配备判定执行视差偏移修正量算出处理的情况的视差偏移修正量算出判定部610A来代替第2实施方式的视差偏移修正部121A中设置的、判定不执行视差偏移修正量算出处理的情况的视差偏移修正量算出判定部610。即，在本实施方式中，在视差偏移修正量算出判定部610A判定要执行视差偏移修正量算出处理的情况下，视差偏移修正部121A执行视差偏移算出处理。因而，在本实施方式中，尽管是应执行视差偏移修正量算出处理来更新视差偏移修正量的状态却不执行视差偏移修正量算出处理这一情形不复存在，可以在恰当的时刻更新视差偏移修正量。

图18为表示本实施方式的视差偏移修正量算出判定部的处理功能的功能框图。

图18中，本实施方式中的视差偏移修正量算出判定部610A具有：环境变化判定部615，其根据立体摄像机110的周边环境的变化来判定是否进行视差偏移修正量的算出；以及经过时间判定部616，其根据从上一次视差偏移修正值算出处理的执行起的经过时间来判定是否进行视差偏移修正量的算出。在判定部615、616中的至少任一方中判定要执行视差偏移修正量算出处理的情况下，将要执行视差偏移修正量算出处理这一判定结果作为视差偏移修正量算出判定部610A中的判定结果输出至特征点检测区域决定部210，执行涉及到特征点检测区域决定部210的处理的、视差偏移算出处理的一系列处理。

环境变化判定部615根据立体摄像机110的周边环境与上一次视差偏移修正量算出处理执行时的环境相比是否发生了大幅变化来判定是否算出视差偏移修正量。作为立体摄像机110的周边环境，例如有湿度、温度等，在因温度、湿度的变化而发生了壳体的变形等、认为视差偏移已发生变化的可能性较高的情况下，须赶紧修正该问题。因此，在环境变化判定部615中，在来自外部装置160中包含的温度传感器或湿度传感器的检测值相距上一次视差偏移修正量算出处理执行时的变化量大于预先规定的阈值的情况下，判断立体摄像机110的周边环境发生了大幅变化，从而判定要执行视差偏移修正量算出处理。

经过时间判定部616根据从上一次视差偏移修正值算出处理的执行起的经过时间来判定是否算出视差偏移修正量。认为立体摄像机110会因经年变化等某种因素而出现视差偏移的变化。因此，在经过时间判定部616中，在从上一次视差偏移修正值算出处理的执行起的经过时间为预先规定的阈值以上的情况下，判断视差偏移已发生变化的可能性较高，从而判定要执行视差偏移修正量算出处理。再者，在应对经年劣化的情况下，例如将几个月的期间设定为阈值即可。此外，在应对制动、人手撞击造成的冲击等的情况下，将几天～几周左右的期间设定为阈值，由此可以防止在视差偏移不一致的状态下行驶这一情形。

其他构成与第1实施方式及第2实施方式相同。

在以如上方式构成的本实施方式中，也能获得与第1实施方式同样的效果。

此外，在本实施方式中，可以在不实际算出视差偏移的情况下判定应算出视差偏移修正量的状况来执行处理，因此，平时不会进行视差偏移修正量算出处理，由此，一方面能确保计算资源，另一方面可以在需要的时刻进行动作而确保视差的精度。

＜附注＞

再者，本发明不限定于上述实施方式，包含不脱离其主旨的范围内的各种变形例和组合。此外，本发明不限定于具备上述实施方式中说明过的所有构成，也包含其构成的一部分去掉后的形态。

此外，上述各构成、功能等例如可通过利用集成电路进行设计等来实现它们的一部分或全部。此外，上述各构成、功能等也可通过由处理器解释并执行实现各功能的程序而以软件来实现。

符号说明

1…车辆，2…对象物，100…立体摄像机装置，100a…总线线路，110…立体摄像机，111…左摄像机，112…右摄像机，113…视差未算出区域，120…图像处理装置，121、121A…视差偏移修正部，122…视差图像生成部，123…距离算出部，130…存储器，140…中央处理装置(CPU)，150…接口，160…外部装置，210…特征点检测区域决定部，211…视差未算出区域排除部，212…视差不稳定区域排除部，213…特定物体区域排除部，220…特征点检测部，230…追踪范围决定部，231…拍摄预想位置算出部，232…拍摄预想区域算出部，240…特征点追踪部，250…视差偏移修正量算出部，300、410、420…图像，311…视差未算出区域，321…视差不稳定区域，331…特定物体区域，332…特定物体区域，333…特定物体区域，411…拍摄预想区域，610…视差偏移修正量算出判定部，610A…视差偏移修正量算出判定部，611…速度判定部，612…加速度判定部，613…直线前进判定部，614…场景判定部，615…环境变化判定部，616…经过时间判定部。

Claims (13)

1.一种立体摄像机装置，其具备：

摄像装置，其具有配置在车辆上的多个摄像部；以及

图像处理装置，其具有视差图像生成部及相对位置算出部，所述视差图像生成部使用用于修正所述多个摄像部之间的视差偏移的视差偏移修正量，根据所述多个摄像部分别拍摄到的多个图像来生成视差图像，所述相对位置算出部根据所述视差图像来算出对象物相对于所述多个摄像部的相对位置，所述立体摄像机装置的特征在于，

所述图像处理装置具备：

特征点检测部，其检测所述多个摄像部分别拍摄到的所述多个图像的特征点；

特征点追踪部，其在所述多个摄像部各自于不同时刻拍摄到的所述多个图像之间追踪所述特征点；

追踪范围决定部，其将所述特征点追踪部中的针对所述多个图像的所述特征点的追踪限制在所述多个图像的一部分追踪范围；以及

视差偏移修正量算出部，其根据所述不同时刻之间的所述车辆的移动距离和与所述特征点追踪部追踪到的特征点相关的视差来算出用于修正所述多个摄像部之间的视差偏移的视差偏移修正量。

2.根据权利要求1所述的立体摄像机装置，其特征在于，

所述追踪范围决定部根据所述视差偏移和所述车辆的纵倾量来决定所述追踪范围。

3.根据权利要求1所述的立体摄像机装置，其特征在于，

还具备特征点检测区域决定部，所述特征点检测区域决定部针对所述多个摄像部拍摄到的多个图像各方而决定将由所述特征点检测部检测所述特征点的区域限制在所述图像中的一部分的特征点检测区域。

4.根据权利要求3所述的立体摄像机装置，其特征在于，

所述特征点检测区域决定部具备视差未算出区域排除部，所述视差未算出区域排除部针对所述多个摄像部拍摄到的多个图像各方而将未得到视差的区域排除。

5.根据权利要求3所述的立体摄像机装置，其特征在于，

所述特征点检测区域决定部具备视差不稳定区域排除部，所述视差不稳定区域排除部针对所述多个摄像部拍摄到的多个图像各方而将视差的精度较低的区域排除。

6.根据权利要求3所述的立体摄像机装置，其特征在于，

所述特征点检测区域决定部具备特定物体区域排除部，所述特定物体区域排除部针对所述多个摄像部拍摄到的多个图像各方而将预先规定的特定物体的区域排除。

7.根据权利要求1所述的立体摄像机装置，其特征在于，

所述图像处理装置还具备视差偏移修正量算出判定部，所述视差偏移修正量算出判定部根据规定条件来判定是否算出所述视差偏移，

在所述视差偏移修正量算出判定部判定不算出所述视差偏移的情况下，所述视差偏移修正量算出部不算出所述视差偏移。

8.根据权利要求7所述的立体摄像机装置，其特征在于，

在所述车辆的速度比预先规定的阈值低的情况下，所述视差偏移修正量算出判定部判定不算出所述视差偏移。

9.根据权利要求7所述的立体摄像机装置，其特征在于，

在所述车辆的加速度的绝对值为预先规定的阈值以上的情况下，所述视差偏移修正量算出判定部判定不算出所述视差偏移。

10.根据权利要求7所述的立体摄像机装置，其特征在于，

在所述车辆没有直线前进的情况下，所述视差偏移修正量算出判定部判定不算出所述视差偏移。

11.根据权利要求7所述的立体摄像机装置，其特征在于，

在所述多个图像中拍摄到大量以低速移动的物体的情况下，所述视差偏移修正量算出判定部判定不算出所述视差偏移。

12.根据权利要求7所述的立体摄像机装置，其特征在于，

在从上一次视差偏移修正量算出时起的湿度及温度的值的变化量为预先规定的阈值以上的情况下，所述视差偏移修正量算出判定部算出所述视差偏移。

13.根据权利要求7所述的立体摄像机装置，其特征在于，

在从上一次视差偏移修正量算出时起的经过时间为阈值以上的情况下，所述视差偏移修正量算出判定部算出所述视差偏移。

Images