CN103245322B - 一种基于双目立体视觉的测距方法及系统 - Google Patents

一种基于双目立体视觉的测距方法及系统 Download PDF

Info

Publication number
CN103245322B
CN103245322B CN201310121750.XA CN201310121750A CN103245322B CN 103245322 B CN103245322 B CN 103245322B CN 201310121750 A CN201310121750 A CN 201310121750A CN 103245322 B CN103245322 B CN 103245322B
Authority
CN
China
Prior art keywords
point
fixity
theta
tan
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310121750.XA
Other languages
English (en)
Other versions
CN103245322A (zh
Inventor
曹力
陈文�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN201310121750.XA priority Critical patent/CN103245322B/zh
Publication of CN103245322A publication Critical patent/CN103245322A/zh
Application granted granted Critical
Publication of CN103245322B publication Critical patent/CN103245322B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种基于双目立体视觉的测距方法及系统,该方法通过获得两个固定点之间的位置关系从而转换为以一个固定点为原点构建测距模型,根据该模型通过简单的标定即可获取未知参数,实现目标测距;同时利用热像仪与可见光CCD摄像机组成的异源测距,提高了红外-可见光图像的信息量,提供了目标的位置信息。

Description

一种基于双目立体视觉的测距方法及系统
技术领域
本发明涉及一种测距方法,更具体的说是一种基于双目立体视觉的测距方法及系统。
背景技术
双目立体视觉测距法是一种被动测距方法,该方法是模仿人类利用双目感知距离的一种测距方法。其主要是运用两台摄像机对公共视野范围内同一物体在不同位置成像获得立体相对,并根据成像视差测量物体的距离信息。现有的双目立体视觉测距系统都是通过单一源的可见光图像传感器实现的。然而当遭遇大雾、下雨等能见度比较低的恶劣天气或其它复杂环境时,仅仅依靠一对可见光摄像机实现目标测距是比较困难的。随着科学技术的飞速发展,多传感器技术的应用日益广泛。如果能够在可见光摄像机基础上融合其它类型传感器信息,就可以为复杂环境下的目标测距提供更加丰富的信息。
2011年浙江理工大学王雷雷的硕士论文《基于可见光与红外汽车夜视系统目标测距》中提出了一种主动红外的双目视觉测距系统。这种主动红外摄像机通过红外灯发出红外线,利用CCD或CMOS感受红外光的光谱(即可以感受可见光,也可以感受红外光),配合红外灯作为“照明源”实现成像。由此可见,该系统需要由红外灯发射红外光照射目标才能由CCD或CMOS观察到,因此需要携带红外探照灯和额外的电源;并且该系统的作用距离还受限于红外探照灯的功率,因此主动式红外探测器适用于室内。使用于室外时,受环境气候影响较大。如遇雾天、下雪、下雨、刮风沙等恶劣天气时,能见度下降,作用距离因此而缩短。此外,其接受光谱的设备CCD或CMOS依然是可见光摄像机。
不同于主动红外探测器,热像仪是一种对物体散发出的红外线进行感光成像的设备,可以将物体发出的不可见红外能量转变为可见的热图像。热图像上的不同颜色代表被测物体的不同温度,因此并不需要额外的光源。热像仪采集的图像具有很好的云雾穿透、以及特殊的识别伪装的能力。而可见光摄像机有较高的时空分辨率,所成的图像含有丰富的几何和纹理细节。这两种图像的信息具有互补性,冗余性,可以利用它们来改变实际应用中单一成像传感器的不足,从而有效拓展目标检测的空间和时间覆盖范围,提高系统的空间分辨率以及目标检测和抗干扰能力。因此如果能够利用红外-可见光图像实现双目测距可以提高图像的信息量,提供目标的位置信息,这对于复杂背景条件下目标跟踪、事先预警等是非常有意义的。
传统的双目测距方法是利用两台性能参数完全一致的可见光摄像机,将其置于平行摄像模式,根据三角形原理求解目标的距离信息。此外,虽然立体平行摄像系统成像模型简单便于计算,可是不允许摄像机左右旋转,从而大大减小了摄像机的等效视界,甚至会造成盲区。理论上,对于立体视觉而言只要两台摄像机的内参数(焦距、主点等)及外参数(两台摄像机的相对位置关系)已知,即可根据透视投影矩阵实现三维重建从而获取空间任意点的三维空间坐标。这样即可不受视野限制,扩大系统的测距范围。此外,如果两台摄像机相对位置关系为已知更可以大大降低双目测距的难度。实际上,两台摄像机的相对位置通常是指两个镜头光心的相对位置。然而镜头光心并不是一个明确定义的不变的物理位置,它看不见摸不着,经常随着镜头焦距的变换或者镜头位置的变化而移动,因此实际操作中很难测量光心到各个点的距离。目前主要通过标定算法对摄像系统进行精确标定获取外参数。然而精确的标定算法大多需要借助额外的标定模板,操作复杂,耗时较长,而且一旦摄像系统的任意参数发生变化就需要重新标定,只适用于摄像机固定的场所。因此如果能够简单获取摄像机的相对位置关系将大大降低测距系统的复杂度。
发明内容
本发明解决的技术问题是一种避免重复标定摄像系统参数的基于双目立体视觉的测距方法,该方法主要用于计算机视觉领域。
为解决上述技术问题,本发明一种基于双目立体视觉的测距方法,该方法通过旋转左右两台摄像机来实现汇聚模式下的测距,包括以下步骤:
步骤1、设置两个固定点R1和R2,并测量这两个固定点之间的垂直间距t和水平间距r,将旋转前左光心O1与固定点R1的连接线围绕着固定点R1旋转、旋转前右光心O2与固定点R2的连接线围绕着固定点R2旋转使得旋转后的两个光轴相交;其中,旋转前两个光轴平行;
步骤2、采集一组图像,并在交汇视野范围内任选三个空间参考点Q1、Q2、Q3,分别确定三个空间参考点在左视图中的横坐标和右视图中的横坐标,并测量三个空间参考点与固定点R1之间的水平距离和垂直距离;
步骤3、根据三角形的相似原理,构建上述三个空间参考点与固定点R1构成的透视投影关系模型;
步骤4、利用步骤3建立的三个空间参考点与固定点R1构成的透视投影关系模型来确定固定点R1与旋转前左光心O1之间的垂直间距n1和水平间距m1、固定点R2与旋转前右光心O2之间的垂直间距n2和水平间距m2、左镜头的主点横坐标uo1和右镜头的主点横坐标uo2
步骤5、选取待测目标点P,并根据步骤4中获得的固定点R1与旋转前左光心O1之间的垂直间距n1和水平间距m1以及固定点R2与旋转前右光心O2之间的垂直间距n2和水平间距m2、左镜头的主点横坐标uo1和右镜头的主点横坐标uo2来确定待测目标点P在以固定点R1为原点的坐标系下的距离关系即待测目标点P与固定点R1之间的水平间距x0和垂直距离z01、待测目标点P到固定点R1的直线距离l1、待测目标点P到固定点R1的水平间距x0与待测目标P到固定点R1的直线距离l1的夹角θ。
进一步地优选方案,本发明基于双目立体视觉的测距方法中,所述步骤3中建立的三个空间参考点与固定点R1构成的透视投影关系模型如下:
u 1 ( k ) - u o 1 = f 1 ( x 0 ( k ) - z 01 ( k ) tan θ 1 - m 1 sec θ 1 ) z 01 ( k ) + x 0 ( k ) tan θ 1 + n 1 sec θ 1
u 2 ( k ) - u o 2 = f 2 ( ( x 0 ( k ) - r ) - ( z 01 ( k ) + t ) tan θ 2 - m 2 sec θ 2 ) z 01 ( k ) + t + ( x 0 ( k ) - r ) tan θ 2 + n 2 sec θ 2
式中,u1(k)、u2(k)分别为三个空间参考点Q1、Q2和Q3在左、右视图的横坐标,其中k=1,2,3,f1为左镜头的焦距,f2为右镜头的焦距,uo1为左镜头的主点横坐标;uo2为右镜头的主点横坐标,x0(k)为三个参考点Q1、Q2、Q3到R1点的水平距离,z01(k)为三个参考点Q1、Q2、Q3到固定点R1的垂直距离,θ1为左光轴的旋转角度,θ2为右光轴的旋转角度。
进一步地优选方案,本发明基于双目立体视觉的测距方法中,所述步骤5中利用下式确定待测目标点P在以固定点R1为原点的坐标系下的距离关系:
u 1 - u o 1 = f 1 ( x 0 - z 01 tan θ 1 - m 1 sec θ 1 ) z 01 + x 0 tan θ 1 + n 1 sec θ 1
u 2 - u o 2 = f 2 ( ( x 0 - r ) - ( z 01 + t ) tan θ 2 - m 2 sec θ 2 ) z 01 + t + ( x 0 - r ) tan θ 2 + n 2 sec θ 2
式中,u1为待测目标点P在左视图中的横坐标,u2为待测目标点P在右视图中的横坐标,x0为待测目标点P到固定点R1的水平距离,z01为待测目标点P到固定点R1的垂直距离;
待测目标点P在XR1Z坐标系下的距离公式如下:
z 01 = a 2 t + r + e 2 - e 1 a 1 + a 2
x0=a1z01+e1
l 1 = x 0 2 + z 01 2
θ = arctan ( z 01 x 0 )
其中 a 1 = f 1 tan θ 1 + u 1 - u o 1 f 1 - tan θ 1 ( u 1 - u o 1 ) , a 2 = f 2 tan θ 2 + u 2 - u o 2 f 2 - tan θ 2 ( u 2 - u o 2 ) , e 1 = sec θ 1 f 1 m 1 + n 1 ( u 1 - u o 1 ) f 1 - tan θ 1 ( u 1 - u o 1 ) , l1为待测目标点P到R1的直线距离。
进一步地优选方案,本发明基于双目立体视觉的测距方法中,所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q1、Q2、Q3到固定点R1的水平距离x0(k)和垂直距离z01(k)通过测量得到。
进一步地优选方案,本发明基于双目立体视觉的测距方法中,所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q1、Q2、Q3到固定点R1的水平距离x0(k)和垂直距离z01(k)通过下式确定:
z 01 ( k ) = l 1 ( k ) sin ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) )
x 0 ( k ) = l 1 ( k ) cos ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) )
其中,l1(k)为三个参考点Q1、Q2、Q3到固定点R1的直线距离;l2(k)为三个参考点Q1、Q2、Q3到固定点R2的直线距离。
进一步地优选方案,本发明基于双目立体视觉的测距方法中,所述步骤5中待测目标点P的选取范围为步骤2中采集的一组图像内选取或重新采集一组图像并在该图像中选取。
为了实现该测距方法,本发明同时提出了一种基于双目立体视觉的测距系统,该系统包括两台摄像装置、左转台和右转台,所述两台摄像装置分别设置在左转台和右转台上,将左转台和右转台的旋转中心作为两个固定点,通过旋转左右转台使得两台摄像装置实现交汇模式。其中,两台摄像装置为热像仪和可见光CCD摄像机的组合或均为可见光CCD摄像机或均为热像仪。
本发明与现有技术相比具有以下显著的进步:(1)该方法通过获得两个固定点之间的位置关系从而转换为以一个固定点为原点构建测距模型,根据该模型通过简单的标定即可获取未知参数,实现目标测距;该方法实现简单,大部分参数通过人工测量即可获取,大大简化了汇聚模式下的测距过程。(2)该方法和系统实现了热像仪与可见光CCD摄像机组成的异源测距,提高了红外-可见光图像的信息量,提供了目标的位置信息,这对于复杂背景条件下目标跟踪、事先预警等是非常有意义的。
下面结合附图和具体实施方式对本发明作进一步详细的描述;
附图说明
图1是本发明中转台水平转动引起的光心和旋转中心的相对位置变化示意图;
图2是本发明中立体汇聚模式下双目测距原理示意图;
图3是本发明中立体汇聚模式下转台旋转中心与待测点的几何位置关系图
图4是本发明中测距系统的结构示意图。
图5是本发明的测距流程示意图。
具体实施方式
本发明一种基于双目立体视觉的测距方法,该方法通过旋转左右两台摄像机来实现汇聚模式下的测距,包括以下步骤:
步骤1、设置两个固定点R1和R2,并测量这两个固定点之间的垂直间距t和水平间距r,将旋转前左光心O1与固定点R1的连接线围绕着固定点R1旋转、旋转前右光心O2与固定点R2的连接线围绕着固定点R2旋转使得旋转后的两个光轴相交;其中,旋转前两个光轴平行;
步骤2、采集一组图像,并在交汇视野范围内任选三个空间参考点Q1、Q2、Q3,分别确定三个空间参考点在左视图中的横坐标和右视图中的横坐标,并测量三个空间参考点与固定点R1之间的水平距离和垂直距离;其中采集的一组图像可以为红外-可见光图像、可见光图像-可见光图像、红外-红外图像三种组合中的任意一组;
步骤3、根据三角形的相似原理,构建上述三个空间参考点与固定点R1构成的透视投影关系模型,具体如下:
u 1 ( k ) - u o 1 = f 1 ( x 0 ( k ) - z 01 ( k ) tan θ 1 - m 1 sec θ 1 ) z 01 ( k ) + x 0 ( k ) tan θ 1 + n 1 sec θ 1
u 2 ( k ) - u o 2 = f 2 ( ( x 0 ( k ) - r ) - ( z 01 ( k ) + t ) tan θ 2 - m 2 sec θ 2 ) z 01 ( k ) + t + ( x 0 ( k ) - r ) tan θ 2 + n 2 sec θ 2
式中,u1(k)、u2(k)分别为三个空间参考点Q1、Q2和Q3在左、右视图的横坐标,其中k=1,2,3,f1为左镜头的焦距,f2为右镜头的焦距,uo1为左镜头的主点横坐标;uo2为右镜头的主点横坐标,x0(k)为三个参考点Q1、Q2、Q3到固定点R1的水平距离,z01(k)为三个参考点Q1、Q2、Q3到固定点R1的垂直距离,θ1为左光轴的旋转角度,θ2为右光轴的旋转角度;其中,三个参考点Q1、Q2、Q3到固定点R1的水平距离x0(k)和垂直距离z01(k)通过测量得到或者利用下式确定:
z 01 ( k ) = l 1 ( k ) sin ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) )
x 0 ( k ) = l 1 ( k ) cos ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) )
其中,l1(k)为三个参考点Q1、Q2、Q3到固定点R1的直线距离;l2(k)为三个参考点Q1、Q2、Q3到固定点R2的直线距离;
步骤4、利用步骤3建立的三个空间参考点与固定点R1构成的透视投影关系模型来确定固定点R1与旋转前左光心O1之间的垂直间距n1和水平间距m1、固定点R2与旋转前右光心O2之间的垂直间距n2和水平间距m2、左镜头的主点横坐标uo1和右镜头的主点横坐标uo2
步骤5、选取待测目标点P,并根据步骤4中获得的固定点R1与旋转前左光心O1之间的垂直间距n1和水平间距m1以及固定点R2与旋转前右光心O2之间的垂直间距n2和水平间距m2、左镜头的主点横坐标uo1和右镜头的主点横坐标uo2来确定待测目标点P在以固定点R1为原点的坐标系下的距离关系即待测目标点P与固定点R1之间的水平间距x0和垂直距离z01、待测目标点P到固定点R1的直线距离l1、待测目标点P到固定点R1的水平间距x0与待测目标P到固定点R1的直线距离l1的夹角θ,具体为:
利用下式确定待测目标点P在以固定点R1为原点的坐标系下的距离关系:
u 1 - u o 1 = f 1 ( x 0 - z 01 tan θ 1 - m 1 sec θ 1 ) z 01 + x 0 tan θ 1 + n 1 sec θ 1
u 2 - u o 2 = f 2 ( ( x 0 - r ) - ( z 01 + t ) tan θ 2 - m 2 sec θ 2 ) z 01 + t + ( x 0 - r ) tan θ 2 + n 2 sec θ 2
式中,u1为待测目标点P在左视图中的横坐标,u2为待测目标点P在右视图中的横坐标,这两个参数可以人工提取,也可以通过计算机运算获得;当采集的一组图像为可见光-可见光图像和红外-红外图像时,通过诸如背景差、二值分割等预处理可以提取出目标点在左视图中的横坐标u1,再利用同源图像视差匹配方法可以获得目标点在右视图中的横坐标u2;而当采集的一组图像为红外-可见光图像时,同样可以通过诸如背景差、二值分割等预处理可以提取出目标点在左视图中的横坐标u1,但需要利用异源图像视差匹配方法获得目标点在右视图中的横坐标u2;x0为待测目标点P到固定点R1的水平距离,z01为待测目标点P到固定点R1的垂直距离;
待测目标点P在XR1Z坐标系下的距离公式如下:
z 01 = a 2 t + r + e 2 - e 1 a 1 + a 2
x0=a1z01+e1
l 1 = x 0 2 + z 01 2
θ = arctan ( z 01 x 0 )
其中 a 1 = f 1 tan θ 1 + u 1 - u o 1 f 1 - tan θ 1 ( u 1 - u o 1 ) , a 2 = f 2 tan θ 2 + u 2 - u o 2 f 2 - tan θ 2 ( u 2 - u o 2 ) , e 1 = sec θ 1 f 1 m 1 + n 1 ( u 1 - u o 1 ) f 1 - tan θ 1 ( u 1 - u o 1 ) , l1为待测目标点P到R1的直线距离。
实现上述测距方法的系统,该系统包括两台摄像装置、左转台和右转台,所述两台摄像装置分别设置在左转台和右转台上,将左转台和右转台的旋转中心作为两个固定点,通过旋转左右转台使得两台摄像装置实现交汇模式。其中,两台摄像装置为热像仪和可见光CCD摄像机的组合或均为可见光CCD摄像机或均为热像仪。
利用上述系统来实现测距的具体过程如下:
该方法以左转台的旋转中心为基准点,测量汇聚模式下待测目标点P到旋转中心的距离。转台的水平转动将导致光心和转台旋转中心的相对位置发生变化,该位置变化如图1所示,左转台旋转中心R1和右转台旋转中心R2的位置不会随着旋转而改变。旋转前左镜头光轴001和旋转前右镜头光轴002相平行。旋转后左镜头光轴003和旋转后右镜头光轴004相交且交点为O点。P为待测目标点,以左转台旋转中心R1为坐标系原点,根据图1可得到XR1Z坐标系中的旋转前后光心距离的变化关系:
旋转前:b=r+m2-m1(1)
d=|t+n2-n1|(2)
x=x0-m1(3)
z1=z01+n1(4)
旋转后:bv=r+(m2cosθ2-n2sinθ2)-(m1cosθ1-n1sinθ1)(5)
dv=|t+(n2cosθ2+m2sinθ2)-(n1cosθ1+m1sinθ1)|(6)
xv=x0-(m1cosθ1-n1sinθ1)(7)
zv1=z01+(n1cosθ1+m1sinθ1)(8)
(1)、(2)、(3)、(4)、(5)、(6)、(7)和(8)式中:
m1为旋转前R1和O1的水平间距,对应图1中的|O1B|;n1为旋转前R1和O1的垂直间距,对应图1中的|R1B|;m2为旋转前R2和O2的水平间距,对应图1中的|O2C|;n2为旋转前R2和O2的垂直间距,对应图1中的|R2C|;r为R1和R2水平间距,对应图1中的|R1A|;t为R1和R2的垂直间距,对应图1中的|R2A|;b为旋转前O1和O2的水平间距,对应图1中的|DO2|;d为旋转前O1和O2的垂直间距,图1中的|DO1|;x0为P点到R1点的水平距离,对应图1中的|PE|;z01为P点到R1点的垂直距离,对应图1中的|R1E|;x为旋转前P点到O1点的水平距离,对应图1中的|PF|;z1为P点到O1点的垂直距离,对应图1中的|O1F|;bv为旋转后O1’和O2’的水平距离;dv为旋转后O1’和O2’的垂直距离;xv为旋转后P点到O1’点的水平距离,对应图1中的|PG|;zv1为旋转后P点到O2’点的垂直距离,对应图1中的|O1’G|。||表示绝对值。注:在XR1Z坐标系中,当Oi在Ri右边时,mi﹥0;当Oi在Ri后方时,ni﹥0;当R1在R2前方时t﹥0;顺时针旋转时θi﹥0,(i=1,2)。
通过旋转将立体视觉系统从平行模式转换至汇聚模式,立体汇聚模式的双目视觉测距法的原理图如图2所示。在图2中,P为待测目标点。根据三角形的相似原理,得出以下等式:
u 1 - u o 1 = f 1 ( x 0 - z 01 tan θ 1 - m 1 sec θ 1 ) z 01 + x 0 tan θ 1 + n 1 sec θ 1 - - - - ( 9 )
u 2 - u o 2 = f 2 ( ( x 0 - r ) - ( z 01 + t ) tan θ 2 - m 2 sec θ 2 ) z 01 + t + ( x 0 - r ) tan θ 2 + n 2 sec θ 2 - - - ( 10 )
(9)式和(10)式中,u1为P点在左像平面005中的横坐标;u2为P点在右像平面006中的的横坐标;uo1为左镜头的主点横坐标;uo2为右镜头的主点横坐标;f1为左镜头的焦距,对应图2中的|O1’Uo1|;f2为右镜头的焦距,对应图2中的|O2’Uo2|;f1、f2在摄像机出厂时已设定,bv为O1’和O2’的水平间距,对应图2中的|HO2’|;dv为O1’和O2’的垂直间距,对应图2中的|HO1’|;xv为P点到O1’点的水平距离,对应图1中|PG|,图2中的|PG|;zv1为P点到O2’点的垂直距离,对应图1中的|O1’G|,图2中|O1’G|。
结合图1和图2,根据式(1)-(8),可以将式(9)和(10)转化为下式:
u 1 ( k ) - u o 1 = f 1 ( x 0 ( k ) - z 01 ( k ) tan θ 1 - m 1 sec θ 1 ) z 01 ( k ) + x 0 ( k ) tan θ 1 + n 1 sec θ 1 - - - ( 11 )
u 2 ( k ) - u o 2 = f 2 ( ( x 0 ( k ) - r ) - ( z 01 ( k ) + t ) tan θ 2 - m 2 sec θ 2 ) z 01 ( k ) + t + ( x 0 ( k ) - r ) tan θ 2 + n 2 sec θ 2 - - - ( 12 )
为了获得目标点P在XR1Z坐标系下的距离公式即z01、x0、l1和θ,必须先对公式(11)、(12)中的未知参数uo1、uo2、m1、m2、n1、n2进行标定,具体标定如下:
在实际应用中,红外热像仪和可见光相机的镜头焦距可以通过出厂技术参数获取;u1和u2可以通过图像匹配获取;θ1和θ2可以通过转台的旋转刻度读取;r和t也可以通过人工测量得到。此外还需要求解uo1、uo2、m1、n1、m2和n2才能实现测距。对于一个f、θ1、θ2、r和t已经固定的双目测距系统,一个已知u1、u2、x0和z01的空间点可以提供两个方程。因此选择三个已知空间参考点,组成一个六元二次方程组即能求解这6个未知参数。假设已知三个空间参考点Q1、Q2和Q3,它们与左旋转中心R1的位置关系分别为x0(k)和z01(k)(k=1,2,3),它们在左右视图的横坐标分别为u1(k)、u2(k),则可以根据式(11)和(12)得到方程组(13):
u 1 ( k ) - u o 1 = f 1 ( x 0 ( k ) - z 01 ( k ) tan θ 1 - m 1 sec θ 1 ) z 01 ( k ) + x 0 ( k ) tan θ 1 + n 1 sec θ 1
u 2 ( k ) - u o 2 = f 2 ( ( x 0 ( k ) - r ) - ( z 01 ( k ) + t ) tan θ 2 - m 2 sec θ 2 ) z 01 ( k ) + t + ( x 0 ( k ) - r ) tan θ 2 + n 2 sec θ 2 k = 1,2,3 - - - ( 13 )
在实际操作中,r和t比较容易测量;x0(k)和z01(k)虽然也可以测量,但是相对比较复杂,而且也容易造成比较大的误差。相对而言,目标点到各个旋转中心的直线距离确是比较方便测量的,并且该直线距离与水平距离x0(k)和垂直距离z01(k)也存在固定的几何位置关系(如图3所示)。根据图3所示的几何关系可以求解出下式:
z 01 ( k ) = l 1 ( k ) sin ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) ) - - - ( 14 )
x 0 ( k ) = l 1 ( k ) cos ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) ) - - - ( 15 )
其中,l1(k)为三个参考点Q1、Q2、Q3到R1点的直线距离;l2(k)为三个参考点Q1、Q2、Q3到R2点的直线距离;
因此可以通过直接测量r、t、l1(k)、l2(k)这四个值计算出三个参考点的x0(k)和z01(k),进而根据方程组(13)求解出uo1、uo2、m1、n1、m2和n2
根据式(1)-(15)中所有参数f1、f2、uo1、uo2、u1、u2、r、t、θ1、θ2、m1、n1、m2、n2的数值均为已知。
联立式(11)和(12)即可求解出目标点P在XR1Z坐标系下的距离公式:
z 01 = a 2 t + r + e 2 - e 1 a 1 + a 2 - - - ( 16 )
x0=a1z01+e1(17)
l 1 = x 0 2 + z 01 2 - - - ( 18 )
θ = arctan ( z 01 x 0 )
其中 a 1 = f 1 tan θ 1 + u 1 - u o 1 f 1 - tan θ 1 ( u 1 - u o 1 ) , a 2 = f 2 tan θ 2 + u 2 - u o 2 f 2 - tan θ 2 ( u 2 - u o 2 ) ,
e 1 = sec θ 1 f 1 m 1 + n 1 ( u 1 - u o 1 ) f 1 - tan θ 1 ( u 1 - u o 1 ) , e 2 = sec θ 2 f 2 m 2 + n 2 ( u 2 - u o 2 ) f 2 - tan θ 2 ( u 2 - u o 2 ) .
l1为X-Z平面上点P到R1的直线距离,对应图3中的|PR1|;θ为X-Z平面上目标点P的水平方向角,对应图3中的∠PR1J。
设计如图4所示的双目立体汇聚模式测距系统,热像仪在左,可见光CCD在右,两台摄像机分别安装两台在可以左右旋转的转台上,调节转台的水平仪确保两台转台水平放置。两转台的旋转轴夹角(即摄像机光轴夹角)为θ12,转台的转盘上有刻度可以显示旋转的角度。
如图5所示,当两台摄像机分别为红外热像仪和可见光摄像机时,本方法的基本流程如下:
(1)建立初始固定场景:将热像仪和CCD分别安装在平行转台上,测量R1和R2前后左右的距离r和t。旋转摄像机,使左右镜头交汇,从转盘上读取θ1和θ2
(2)采集真实数据:采集两幅图像,在双摄像机的视景范围内随机选取3个参考点,分别测量这3个点的l1(k)及l2(k)。结合步骤(1)中测得的r和t,根据式(14)和(15)计算出x0(k)和z01(k)。记录每个参考点在红外热图像中的横坐标u1(k)及其在可见光图像中的横坐标u2(k),(k=1,2,3)。为提高标定的准确性,减少误匹配对参数标定的影响,该过程中的对应点横坐标通过人为匹配。
(3)未知参数标定:将(u1(k),u2(k),x0(k),z01(k),f1,f212,r,t)作为参数输入方程组(13),结合对应的约束条件(如主点横坐标必然小于图像的像素尺寸),利用Levenberg-Marquardt法寻找(uo1,uo2,m1,m2,n1,n2)的最优解。
(4)距离计算:在红外图或可见光图中指定待测点,利用匹配算法在另一幅图中获取对应点横坐标ui,(i=1,2),利用步骤(3)中求解出的(uo1,uo2,m1,m2,n1,n2),结合事先获得的(f1,f212,r,t),输入u1和u2,即可求解出l1和θ。
实施例
利用热像仪和CCD摄像机以不同的夹角分别对两个不同距离的目标点A和B进行了测距实验,实验中所用的热像仪是氧化钒非制冷式焦平面探测器,测距结果如表1所示。该场景中r=155mm,t=-120mm。
表1本发明测距方法结果
注:相对误差计算公式:
El=︱l1t-l1c︱/l1t×100%
Eθ=︱θtc︱/|θt|×100%
其中l1t、θt表示目标的真实距离和方向角,l1c、θc为根据本文方法计算出的目标距离和方向角,︱︱表示绝对值。

Claims (6)

1.一种基于双目立体视觉的测距方法,该方法通过旋转左右两台摄像机来实现汇聚模式下的测距,其特征在于,包括以下步骤:
步骤1、设置两个固定点R1和R2,并测量这两个固定点之间的垂直间距t和水平间距r,将旋转前左光心O1与固定点R1的连接线围绕着固定点R1旋转、旋转前右光心O2与固定点R2的连接线围绕着固定点R2旋转使得旋转后的两个光轴相交;其中,旋转前两个光轴平行;
步骤2、采集一组图像,并在交汇视野范围内任选三个空间参考点Q1、Q2、Q3,分别确定三个空间参考点在左视图中的横坐标和右视图中的横坐标,并测量这三个空间参考点与固定点R1之间的水平距离和垂直距离;
步骤3、根据三角形的相似原理,构建上述三个空间参考点与固定点R1构成的透视投影关系模型;
步骤4、利用步骤3建立的三个空间参考点与固定点R1构成的透视投影关系模型来确定固定点R1与旋转前左光心O1之间的垂直间距n1和水平间距m1、固定点R2与旋转前右光心O2之间的垂直间距n2和水平间距m2、左镜头的主点横坐标uo1和右镜头的主点横坐标uo2
步骤5、选取待测目标点P,并根据步骤4中获得的固定点R1与旋转前左光心O1之间的垂直间距n1和水平间距m1以及固定点R2与旋转前右光心O2之间的垂直间距n2和水平间距m2、左镜头的主点横坐标uo1和右镜头的主点横坐标uo2来确定待测目标点P在以固定点R1为原点的坐标系下的距离关系即待测目标点P与固定点R1之间的水平间距x0和垂直距离z01、待测目标点P到固定点R1的直线距离l1、待测目标点P到固定点R1的水平间距x0与待测目标P到固定点R1的直线距离l1的夹角θ。
2.根据权利要求1所述的基于双目立体视觉的测距方法,其特征在于,所述步骤3中建立的三个空间参考点与固定点R1构成的透视投影关系模型如下:
u 1 ( k ) - u o 1 = f 1 ( x 0 ( k ) - z 01 ( k ) tan θ 1 - m 1 sec θ 1 ) z 01 ( k ) + x 0 ( k ) tan θ 1 + n 1 sec θ 1
u 2 ( k ) - u o 2 = f 2 ( ( x 0 ( k ) - r ) - ( z 01 ( k ) + t ) tan θ 2 - m 2 sec θ 2 ) z 01 ( k ) + t + ( x 0 ( k ) - r ) tan θ 2 + n 2 sec θ 2
式中,u1(k)、u2(k)分别为三个空间参考点Q1、Q2和Q3在左、右视图的横坐标,其中k=1,2,3,f1为左镜头的焦距,f2为右镜头的焦距,uo1为左镜头的主点横坐标;uo2为右镜头的主点横坐标,x0(k)为三个参考点Q1、Q2、Q3到R1点的水平距离,z01(k)为三个参考点Q1、Q2、Q3到固定点R1的垂直距离,θ1为左光轴的旋转角度,θ2为右光轴的旋转角度。
3.根据权利要求2所述的基于双目立体视觉的测距方法,其特征在于,所述步骤5中利用下式确定待测目标点P在以固定点R1为原点的坐标系下的距离关系:
u 1 - u o 1 = f 1 ( x 0 - z 01 tan θ 1 - m 1 sec θ 1 ) z 01 + x 0 tan θ 1 + n 1 sec θ 1
u 2 - u o 2 = f 2 ( ( x 0 - r ) - ( z 01 + y ) tan θ 2 - m 2 sec θ 2 ) z 01 + t + ( x 0 - r ) tan θ 2 + n 2 sec θ 2
式中,u1为待测目标点P在左视图中的横坐标,u2为待测目标点P在右视图中的横坐标,x0为待测目标点P到固定点R1的水平距离,z01为待测目标点P到固定点R1的垂直距离;
待测目标点P在XR1Z坐标系下的距离公式如下:
z 01 = a 2 t + r + e 2 - e 1 a 1 - a 2
x0=a1z01+e1
l 1 = x 0 2 + z 01 2
θ = arctan ( z 01 x 0 )
其中 a 1 = f 1 tan θ 1 + u 1 - u o 1 f 1 - tan θ 1 ( u 1 - u o 1 ) , a 2 = f 2 tan θ 2 + u 2 - u o 2 f 2 - tan θ 2 ( u 2 - u o 2 ) , e 1 = sec θ 1 f 1 m 1 + n 1 ( u 1 - u o 1 ) f 1 - tan θ 1 ( u 1 - u o 1 ) , e 2 = sec θ 2 f 2 m 2 + n 2 ( u 2 - u o 2 ) f 2 - tan θ 2 ( u 2 - u o 2 ) .
4.根据权利要求2或3所述的基于双目立体视觉的测距方法,其特征在于,所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q1、Q2、Q3到固定点R1的水平距离x0(k)和垂直距离z01(k)通过测量得到。
5.根据权利要求2或3所述的基于双目立体视觉的测距方法,其特征在于,所述三个空间参考点与固定点R1构成的透视投影关系模型中的三个参考点Q1、Q2、Q3到固定点R1的水平距离x0(k)和垂直距离z01(k)通过下式确定:
z 01 ( k ) = l 1 ( k ) sin ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) )
x 0 ( k ) = l 1 ( k ) cos ( ar cos ( l 1 ( k ) 2 + t 2 + r 2 - l 2 ( k ) 2 2 l 1 ( k ) · t 2 + r 2 ) - arctan ( t r ) )
其中,l1(k)为三个参考点Q1、Q2、Q3到固定点R1的直线距离;l2(k)为三个参考点Q1、Q2、Q3到固定点R2的直线距离。
6.根据权利要求1所述的基于双目立体视觉的测距方法,其特征在于,所述步骤5中待测目标点P的选取范围为步骤2中采集的一组图像内选取或重新采集一组图像并在该图像中选取。
CN201310121750.XA 2013-04-10 2013-04-10 一种基于双目立体视觉的测距方法及系统 Expired - Fee Related CN103245322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310121750.XA CN103245322B (zh) 2013-04-10 2013-04-10 一种基于双目立体视觉的测距方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310121750.XA CN103245322B (zh) 2013-04-10 2013-04-10 一种基于双目立体视觉的测距方法及系统

Publications (2)

Publication Number Publication Date
CN103245322A CN103245322A (zh) 2013-08-14
CN103245322B true CN103245322B (zh) 2015-11-11

Family

ID=48925003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310121750.XA Expired - Fee Related CN103245322B (zh) 2013-04-10 2013-04-10 一种基于双目立体视觉的测距方法及系统

Country Status (1)

Country Link
CN (1) CN103245322B (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103630112A (zh) * 2013-12-03 2014-03-12 青岛海尔软件有限公司 利用双摄像头实现目标定位的方法
CN103697914B (zh) * 2013-12-20 2016-08-17 河北汉光重工有限责任公司 双目被动测距中ccd相机实验标定方法
CN104111059A (zh) * 2014-07-16 2014-10-22 宇龙计算机通信科技(深圳)有限公司 一种测距和定位装置、方法及终端
CN104618709B (zh) * 2015-01-27 2017-05-03 天津大学 一种双双目红外与可见光融合立体成像系统
CN105758369B (zh) * 2015-08-24 2019-01-25 江苏理工学院 激光跟踪测量系统
CN105783860A (zh) * 2015-08-24 2016-07-20 江苏理工学院 简易型二维激光扫描设备
CN105758300A (zh) * 2015-08-24 2016-07-13 江苏理工学院 简易型高温锻件测量设备
CN105758370B (zh) * 2015-08-24 2019-01-25 江苏理工学院 一种激光跟踪测量系统
CN105758372A (zh) * 2015-08-24 2016-07-13 江苏理工学院 测距仪
CN105758366A (zh) * 2015-08-24 2016-07-13 江苏理工学院 新型三维激光扫描设备
CN105758390A (zh) * 2015-08-24 2016-07-13 江苏理工学院 新型全站仪
CN105758388B (zh) * 2015-08-24 2019-01-25 江苏理工学院 一种全站仪
CN105758375A (zh) * 2015-08-24 2016-07-13 江苏理工学院 简易型激光跟踪测量系统
CN105758371B (zh) * 2015-08-24 2019-01-25 江苏理工学院 一种高温锻件测量设备
CN105758367A (zh) * 2015-08-24 2016-07-13 江苏理工学院 一种二维激光扫描设备
CN105758368A (zh) * 2015-08-24 2016-07-13 江苏理工学院 新型激光跟踪测量系统
CN105758373A (zh) * 2015-08-24 2016-07-13 江苏理工学院 新型测距仪
CN105758378A (zh) * 2015-08-24 2016-07-13 江苏理工学院 新型隧道断面仪
CN105758387A (zh) * 2015-08-24 2016-07-13 江苏理工学院 简易型全站仪
CN105758298A (zh) * 2015-08-24 2016-07-13 江苏理工学院 大型高温锻件测量设备
CN105758379A (zh) * 2015-08-24 2016-07-13 江苏理工学院 简易型隧道断面仪
CN105867611A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技(天津)有限公司 虚拟现实系统中的空间定位方法、装置及系统
CN106056107B (zh) * 2016-07-28 2021-11-16 福建农林大学 一种基于双目视觉避桩控制方法
CN107462218B (zh) * 2017-08-01 2020-06-16 南京农业大学 一种自主导航拖拉机夜间全景视觉相对定位系统和方法
CN108388341B (zh) * 2018-02-11 2021-04-23 苏州笛卡测试技术有限公司 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
CN108645375B (zh) * 2018-06-05 2020-11-17 浙江零跑科技有限公司 一种用于车载双目系统快速车辆测距优化方法
CN113834571A (zh) * 2020-06-24 2021-12-24 杭州海康威视数字技术股份有限公司 一种目标测温方法、装置及测温系统
CN112066950B (zh) * 2020-07-24 2022-10-14 北京空间机电研究所 一种多光轴平行的测绘相机单中心投影转换方法
CN115046478B (zh) * 2022-08-10 2022-12-02 深之蓝海洋科技股份有限公司 水下相对位姿的测量方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1914481A (zh) * 2004-02-03 2007-02-14 伊斯拉视像系统股份公司 用于确定物体在空间中的位置的方法
CN101458081A (zh) * 2007-12-14 2009-06-17 株式会社拓普康 测量装置
EP2239538A1 (en) * 2009-04-10 2010-10-13 SiliconFile Technologies Inc. Apparatus for detecting three-dimensional distance
CN101946156A (zh) * 2008-02-12 2011-01-12 特林布尔公司 确定觇标相对于具有摄影机的勘测仪器的坐标
CN102506815A (zh) * 2011-11-10 2012-06-20 河北汉光重工有限责任公司 基于图像识别的多目标跟踪与被动距离测量装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335357B2 (en) * 2005-03-04 2012-12-18 Kabushiki Kaisha Toshiba Image processing apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1914481A (zh) * 2004-02-03 2007-02-14 伊斯拉视像系统股份公司 用于确定物体在空间中的位置的方法
CN101458081A (zh) * 2007-12-14 2009-06-17 株式会社拓普康 测量装置
CN101946156A (zh) * 2008-02-12 2011-01-12 特林布尔公司 确定觇标相对于具有摄影机的勘测仪器的坐标
EP2239538A1 (en) * 2009-04-10 2010-10-13 SiliconFile Technologies Inc. Apparatus for detecting three-dimensional distance
CN102506815A (zh) * 2011-11-10 2012-06-20 河北汉光重工有限责任公司 基于图像识别的多目标跟踪与被动距离测量装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种基于立体模板的双目视觉传感器现场标定方法;陈刚等;《光学精密工程》;20041231;第12卷(第6期);第626至631页 *
双目CCD结构光三维测量系统中的立体匹配;叶海加等;《光学精密工程》;20040131;第12卷(第1期);第71至75页 *
双目立体视觉测距系统误差模型的研究;李海滨等;《光学技术》;20060131;第32卷(第1期);第24至30页 *

Also Published As

Publication number Publication date
CN103245322A (zh) 2013-08-14

Similar Documents

Publication Publication Date Title
CN103245322B (zh) 一种基于双目立体视觉的测距方法及系统
CA3157194C (en) Systems and methods for augmentation of sensor systems and imaging systems with polarization
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
CN104299261B (zh) 人体三维成像方法及系统
CN102062588B (zh) 一种计算机双目视觉义齿扫描装置及其三维重建方法
CN100562707C (zh) 双目视觉转轴标定方法
CN104034263B (zh) 一种锻件尺寸的非接触测量方法
CN201522266U (zh) 一种计算机双目视觉义齿扫描装置
CN102982551B (zh) 空间三条不平行直线线性求解抛物折反射摄像机内参数
CN105526906B (zh) 大角度动态高精度激光测角方法
Gerke Using horizontal and vertical building structure to constrain indirect sensor orientation
CN112254670B (zh) 一种基于光扫描和智能视觉融合的3d信息采集设备
Wong et al. Comparative evaluation of range sensing technologies for underground void modeling
CN106408601A (zh) 一种基于gps的双目融合定位方法及装置
CN106096207A (zh) 一种基于多目视觉的旋翼无人机抗风评估方法及系统
CN103196393A (zh) 一种几何形状及表面色彩实时成像装置
Patrucco et al. Thermal and optical data fusion supporting built heritage analyses
Mahmoudzadeh et al. Kinect, a novel cutting edge tool in pavement data collection
Hoegner et al. 3D building reconstruction and construction site monitoring from RGB and TIR image sets
Teo Video-based point cloud generation using multiple action cameras
US20230177724A1 (en) Vehicle to infrastructure extrinsic calibration system and method
Borrmann Multi-modal 3D mapping-Combining 3D point clouds with thermal and color information
CN105423949A (zh) 一种基于结构光4维成像方法及装置
Hoegner et al. Automatic 3D reconstruction and texture extraction for 3D building models from thermal infrared image sequences
Agrawal et al. RWU3D: Real World ToF and Stereo Dataset with High Quality Ground Truth

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151111

Termination date: 20210410