CN105335977B - 摄像系统及目标对象的定位方法 - Google Patents
摄像系统及目标对象的定位方法 Download PDFInfo
- Publication number
- CN105335977B CN105335977B CN201510711384.2A CN201510711384A CN105335977B CN 105335977 B CN105335977 B CN 105335977B CN 201510711384 A CN201510711384 A CN 201510711384A CN 105335977 B CN105335977 B CN 105335977B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- layer
- camera
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000004807 localization Effects 0.000 title claims abstract 4
- 239000011159 matrix material Substances 0.000 claims abstract description 56
- 230000003287 optical effect Effects 0.000 claims description 51
- 238000013507 mapping Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供一种目标对象的定位方法,用于摄像机系统,所述摄像机系统包括:第一摄像机,用于获取第一图像;以及第二摄像机,用于获取第二图像;所述定位方法包括:a.获取包含目标对象的所述第一图像及第二图像;b.根据第一图像获取第一目标图像,第一目标图像包含目标对象;c.根据第一摄像机和第二摄像机的定标信息及第二摄像机的状态信息,计算初始单应矩阵;d.根据初始单应矩阵,将第二图像映射到第一图像中,获取第二目标图像;e.对第一目标图像和第二目标图像进行光流匹配,计算光流信息;f.根据光流信息计算修正单应矩阵;g.根据修正单应矩阵,将第一目标图像映射到第二图像中,获取修正第二目标图像,以在第二图像中定位目标对象。
Description
技术领域
本发明涉及计算机应用技术领域,尤其涉及一种摄像系统及目标对象的定位方法。
背景技术
PTZ摄像机(Pan-Tilt-Zoom),简称球型摄像机,其集成了云台系统和摄像机系统。摄像机系统可以进行视野的拉伸,而云台又可以使摄像机系统进行水平转动和垂直转动。因此,PTZ摄像机可以实现对监控场景中的目标进行跟踪和放大,在监控系统中发挥着重要的作用。
在枪球联动系统中,广角枪型摄像机对监控区域进行背景建模,检测运动目标,然后控制球型摄像机进行跟踪,这里的控制包括控制球型摄像机的P(水平转动)、T(倾斜转动)、Zoom(缩放)以及球型摄像机转动时的速度等。这样先利用广角枪型摄像机的大视野对大场景进行目标检测,再利用球型摄像机的P、T、Zoom以及球型摄像机的转动速度对目标进行跟踪和缩放,达到了既监控大视野,又不遗漏小目标细节的目的。
球型摄像机的图像是宽屏的,而目标对象并非与球型摄像机的图像的形状相适应,例如某些目标对象为瘦高的行人,若将整幅球型摄像机图像进行抓拍,输出给属性分析模块,既存储了目标周围大量的无效信息,又影响属性分析结果。若只保存球机图像的中间部分,也是不合理的。在实际枪球联动系统的应用中,球机在枪机控制下进行运动,对目标进行跟踪,与此同时目标也在不停的运动。因此,目标可能会出现在球型摄像机图像的不同位置。
发明内容
本发明为了克服上述现有技术存在的缺陷,提供一种摄像系统及目标对象的定位方法,其能够快速有效定位目标对象,并获取可用于图像处理的目标图像。
本发明提供一种目标对象的定位方法,用于摄像机系统,所述摄像机系统包括:第一摄像机,用于获取第一图像,所述第一图像为一场景视域的广角图像;以及第二摄像机,用于获取第二图像,所述第二图像为所述场景视域的局部放大图;所述定位方法包括:a.获取包含目标对象的所述第一图像及第二图像;b.根据所述第一图像获取第一目标图像,所述第一目标图像包含所述目标对象;c.根据所述第一摄像机和所述第二摄像机的定标信息及所述第二摄像机的状态信息,计算初始单应矩阵;d.根据所述初始单应矩阵,将所述第二图像映射到所述第一图像中,获取第二目标图像;e.对所述第一目标图像和所述第二目标图像进行光流匹配,计算光流信息;f.根据所述光流信息计算修正单应矩阵;g.根据所述修正单应矩阵,将所述第一目标图像映射到所述第二图像中,获取修正第二目标图像,以在所述第二图像中定位所述目标对象。
优选地,所述步骤b包括:在所述第一图像中,以所述目标对象的中心为中心,截取矩形目标图像作为所述第一目标图像。
优选地,所截取的矩形目标图像为96*96个像素的正方形目标图像。
优选地,所述初始单应矩阵为所述第二图像转换到所述第一图像的单应矩阵。
优选地,所述步骤c包括:c1.获取所述定标信息,所述定标信息包括所述第一摄像机的第一图像的像素坐标转换到所述第二摄像机的物理坐标的第二单应矩阵;c2.根据所述第二摄像机的第二图像的像素坐标及所述第二摄像机的状态信息计算对应所述第二摄像机的第二图像的像素坐标的所述第二摄像机的物理坐标;c3.根据所述第二单应矩阵的逆矩阵和所述第二摄像机的物理坐标计算对应于所述第二摄像机的第二图像的像素坐标的所述第一摄像机的第一图像的像素坐标;以及c4.根据所述第一摄像机的第一图像的像素坐标及所述第二摄像机的第二图像的像素坐标计算所述初始单应矩阵。
优选地,所述步骤c2包括:根据所述第二图像选取至少四个不共线的像素点的像素坐标作为所述第二摄像机的像素坐标。
优选地,所述步骤e包括:e1.计算所述第一目标图像和所述第二目标图像的高斯金字塔;e2.逐层计算所述第二目标图像的高斯金字塔的梯度信息;e3.根据所述梯度信息逐层对所述第一目标图像和所述第二目标图像进行光流匹配,计算光流信息。
优选地,所述步骤e1包括:利用高斯核对所述第一目标图像和所述第二目标图像进行卷积操作;根据所述第一目标图像和所述第二目标图像,建立高度为3的高斯金字塔,分别记为第一目标图像集合A和第二目标图像集合B,其中,所述第一目标图像集合A包括大小逐渐减小的第一层第一目标子图像A1、第二层第一目标子图像A2、第三层第一目标子图像A3;所述第二目标图像集合B包括大小逐渐减小的第一层第二目标子图像B1、第二层第二目标子图像B2、第三层第二目标子图像B3。
优选地,所述高斯核为[1/16 1/4 3/8 1/4 1/16]x[1/16 1/4 3/8 1/4 1/16]T。
优选地,所述第一层第一目标子图像A1及所述第一层第二目标子图像B1为96*96像素点的图像;所述第二层第一目标子图像A2及所述第二层第二目标子图像B2为48*48像素点的图像;所述第三层第一目标子图像A3及所述第三层第二目标子图像B3为24*24像素点的图像。
优选地,所述步骤e2包括:
根据如下公式逐层计算所述第二目标图像集合B的梯度信息:
其中,表示所述第i层第二目标子图像Bi的梯度信息,gradx表示所述第i层第二目标子图像Bi在X方向的梯度信息,grady表示所述第i层第二目标子图像Bi在Y方向的梯度信息,i依次取3、2、1。
优选地,所述步骤e3包括:
根据如下公式计算所述光流信息
其中,dx表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的在X方向的偏移量,dy表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的在X方向的偏移量,表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的光流信息,
ΣNgxx、ΣNgyy、ΣNgxy、errx及erry分别根据如下公式计算:
ΣNgxx=ΣNgradx*gradx;
ΣNgyy=ΣNgrady*grady;
ΣNgxy=ΣNgradx*grady;
errx=ΣNDiff*gradx;
erry=ΣNDiff*grady;
其中,N表示特征点P的邻域,特征点P在所述第一目标图像集合A的各层中选取,Diff表示领域N内像素点的灰度差值。
优选地,所述领域N为以特征点P为中心、奇数个像素点为边长的正方形区域。
优选地,第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的光流信息根据第i+1层第一目标子图像Ai+1及所述第i+1层第二目标子图像Bi+1的光流信息来计算。
优选地,所述步骤f包括:在所述第一目标图像中选取N个像素点作为第一像素点;在所述第二目标图像中选取分别与所述第一像素点对应的N个像素点作为第二像素点;利用所述光流信息修正N个所述第一像素点的像素坐标,获得N个修正第一像素点;利用所述修正第一像素点与所述第二像素点的像素坐标计算所述修正单应矩阵。
优选地,所述第一目标图像具有第一目标框,所述第一目标框为所述第一目标图像的外接矩形,所述步骤g包括:根据所述修正单应矩阵,将所述第一目标框映射到所述第二图像中,将获取的映射目标框的外接矩形作为第二目标框,将所述第二目标框内的图像作为所述修正第二目标图像。
优选地,所述修正第二目标图像用于所述目标对象的图像识别和图像分析。
根据本发明的又一方面,还提供一种摄像系统,包括:第一摄像机,用于获取第一图像,所述第一图像为一场景视域的广角图像;第二摄像机,用于获取第二图像,所述第二图像为所述场景视域的局部放大图;以及定位装置,利用上述的定位方法,根据所述第一图像控制所述第二摄像机以在所述第二图像中定位所述目标对象。
优选地,所述第一摄像机为枪型摄像机,所述第二摄像机为球型摄像机。
相比现有技术,本发明通过两种摄像机获取广角图像及局部放大图像,根据广角图像及局部放大图像映射和光流匹配,计算出图像之间的偏移,进而将广角图像中包含目标对象的目标图像映射到局部放大图像中,来定位局部放大图像中的目标对象。本发明仅将局部放大图像中包含目标对象的目标图像用于对于目标对象的图像处理。本发明的目标对象定位方法所提供的目标图像准确地包含了目标对象,并且其不会包含大量无效的信息来增加图像处理的时间和负载。
附图说明
通过参照附图详细描述其示例实施方式,本发明的上述和其它特征及优点将变得更加明显。
图1示出了根据本发明实施例的摄像系统的示意图。
图2示出了根据本发明实施例的目标对象的定位方法的流程图。
图3示出了根据本发明实施例的第一图像。
图4示出了根据本发明实施例的第二图像。
图5示出了根据本发明实施例的第一目标图像。
图6示出了根据本发明实施例的第二目标图像。
图7示出了根据本发明实施例的修正第二目标图像。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的实施方式;相反,提供这些实施方式使得本发明将全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构,因而将省略对它们的重复描述。
下面结合图1至图7描述本发明提供的摄像系统及目标对象的定位方法。
摄像系统100优选地是双摄像机联动系统,其包括第一摄像机110、第二摄像机120和定位装置130。第一摄像机110用于获取一场景视域广角图像的第一图像200。优选地,第一摄像机110为用于拍摄广角图像的枪型摄像机。第二摄像机120用于获取第二图像300。第二图像300是第一图像200的场景视域的局部放大图。第二摄像机120优选地,是球型摄像机。定位装置130通过本发明提供的定位方法,根据第一图像200控制第二摄像机120以在第二图像300中定位目标对象900。在一个实施例中,定位装置130可以与第一摄像机110集成在一起。在另一个实施例中,定位装置130可以与第二摄像机120集成在一起。在又一个实施例中,定位装置130是一个独立的装置,并通过有线或无线的方式与第一摄像机110和第二摄像机120连接通讯。在其他实施例中,定位装置130还可以分布式地分别与第一摄像机110和第二摄像机120集成以在第一摄像机110和第二摄像机120执行不同的步骤。
本发明提供的目标对象的定位方法参见图2所示的流程图。该定位方法包括如下步骤:
S210:获取包含目标对象的所述第一图像200及第二图像300。本步骤通过第一摄像机110和第二摄像机120对包含目标对象900的同一场景的拍摄获得。第二图像300为第一图像200的局部放大图。
S220:根据所述第一图像200获取第一目标图像210,第一目标图像210包含目标对象900。
具体而言,第一目标图像210是以目标中心为中心,在第一图像200中截取的矩形目标图像。该矩形目标图像优选地是一正方形的目标图像。例如,第一目标图像210可以是96*96像素点的正方形目标图像。
在一个具体实施例中,第一目标图像210具有第一目标框220。第一目标图像210位于第一目标框220内。在该具体实施例中,定位装置130还获取第一目标框220的位置信息和大小信息。位置信息可以是第一目标框中心点的像素坐标,也可以是第一目标框各顶点的像素坐标。大小信息可以是以像素点为单位来提供。
S230:根据第一摄像机110和第二摄像机120的定标信息及第二摄像机120的状态信息,计算初始单应矩阵。
初始单应矩阵为第二图像300转换到第一图像200的单应矩阵。具体而言初始单应矩阵根据如下方式计算。
首先,获取第一摄像机110和第二摄像机120的定标信息。该定标信息包括第一摄像机110的第一图像200的像素坐标转换到第二摄像机120的物理坐标的第二单应矩阵。第二单应矩阵可以通过现有的方式获得,例如可以根据专利号为CN103198487A的发明“一种用于视频监控系统中的自动定标方法”中的定标方法来获得第二单应矩阵。该第二单应矩阵优选地为3*3的矩阵,可以将任意一点的第一摄像机110的第一图像200的像素坐标转换为第二摄像机120的物理坐标。
然后,根据第二摄像机120的第二图像300的像素坐标及第二摄像机120的状态信息计算对应第二摄像机120的第二图像300的像素坐标的所述第二摄像机120的物理坐标(水平及垂直偏转)。具体而言,在第二图像300上选取N个点的像素坐标。N至少选取在第二图像300上不共线四个像素点。
然后,根据第二单应矩阵的逆矩阵和第二摄像机120的物理坐标计算对应于第二摄像机120的第二图像300的像素坐标的第一摄像机110的第一图像200的像素坐标。最后,根据第一摄像机110的第一图像200的像素坐标及第二摄像机120的第二图像300的像素坐标计算初始单应矩阵。
具体而言,在一个具体实施例中,为了提高计算精度和计算效率,在第二图像300上选取5个像素点,分别为第二图像300的中心像素点以及靠近四个顶点的像素点。这5个像素点分别记作pi(i=1-5),其像素坐标分别记作(Xdi,Ydi)。再根据第二摄像机120的内部参数、第二摄像机120当前的物理坐标(Pc、Tc)(Pc为水平偏转坐标、Tc为垂直偏转坐标)以及第二摄像机120当前的焦距值,来计算第二摄像机120当前的第二图像300中对应这5个像素点的第二摄像机120的物理坐标。然后根据第一图像200的像素坐标到第二摄像机120的物理坐标系的第二单应矩阵的逆矩阵,计算与第二摄像机120的物理坐标对应的第一摄像机110的第一图像200的5个像素点的像素坐标(Xbi,Ybi)。然后根据第二摄像机120的第二图像300上5个点的像素坐标(Xdi,Ydi)和第一摄像机120的第一图像200上对应的5个点的像素坐标(Xbi,Ybi),计算第二图像300转换到第一图像200的初始单应矩阵。
S240:根据初始单应矩阵,将第二图像300映射到第一图像200中,获取第二目标图像310。
具体而言,也就是根据初始单应矩阵,将第二图像300映射到第一图像200的尺度上,如图6所示。其中,当第二图像300存在没有原始数据的部分时,此处以灰度值0来填充。在第二图像300映射的时候,可以利用图像插值。为使插值的后的图像效果更好,本发明优选三次曲线插值。
S250:对所述第一目标图像和所述第二目标图像进行光流匹配,计算光流信息。
具体而言,为解决大位移的光流匹配,故采用高斯金字塔对第一目标图像210和第二目标图像310进行处理。高斯金字塔是一个图像集合,集合中每一个图像都源自于同一个原始图像,经过该图像的高斯降采样获得。优选地,在本实施例中,利用[1/16 1/4 3/8 1/41/16]x[1/16 1/4 3/8 1/4 1/16]T的高斯核对第一目标图像210和第二目标图像310进行卷积操作,其中T表示矩阵转置。根据第一目标图像210和第二目标图像310,建立高度为3的高斯金字塔,分别记为第一目标图像集合A和第一目标图像集合B。第一目标图像集合A包括大小逐渐减小的第一层第一目标子图像A1、第二层第一目标子图像A2、第三层第一目标子图像A3。第二目标图像集合B包括大小逐渐减小的第一层第二目标子图像B1、第二层第二目标子图像B2、第三层第二目标子图像B3。在一个具体实施例中,第一层第一目标子图像A1及第一层第二目标子图像B1为96*96像素点的图像。第二层第一目标子图像A2及第二层第二目标子图像B2为48*48像素点的图像。第三层第一目标子图像A3及第三层第二目标子图像B3为24*24像素点的图像。
建立第一目标图像210和第二目标图像310的高斯金字塔后,逐层计算第二目标图像的高斯金字塔的梯度信息。具体而言,根据如下公式逐层计算第二目标图像集B的梯度信息:
其中,表示第i层第二目标子图像Bi的梯度信息,gradx表示第i层第二目标子图像Bi在X方向的梯度信息,grady表示所述第i层第二目标子图像Bi在Y方向的梯度信息,i依次取3、2、1,T表示矩阵转置。在一些实施例中可以用中心差分、Sharr等方法计算梯度信息gradx及grady。本发明优选地,使用Sharr方法来计算计算梯度信息gradx及grady。
然后,根据梯度信息逐层对第一目标子图像和第二目标子图像进行光流匹配,计算光流信息。
以如下公式表示光流匹配的原理:
Zd=err,
其中,Z表示梯度矩阵,d表示偏移量,err表示差值。梯度矩阵Z、偏移量d及差值err分别为:
其中,dx表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的在X方向的偏移量,dy表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的在X方向的偏移量,表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的光流信息。
ΣNgxx、ΣNgyy、ΣNgxy、errx及erry分别根据如下公式计算:
ΣNgxx=ΣNgradx*gradx;
ΣNgyy=ΣNgrady*grady;
ΣNgxy=ΣNgradx*grady;
errx=ΣNDiff*gradx;
erry=ΣNDiff*grady,
其中,N表示特征点P的邻域,特征点P在第一目标图像集合A的各层中选取,Diff表示领域N内像素点的灰度差值。领域N为以特征点P为中心、奇数个像素点为边长的正方形区域。优选的,领域N为15*15像素点的正方形区域。
将梯度矩阵偏移量及差值带入公式Zd=err得:
相应地,光流信息为:
进一步简化得:
其中,det(Z)表示梯度矩阵Z的行列式的值。
相应地,X方向的光流信息和Y方向的光流信息根据如下公式计算:
具体而言,在本步骤中可以利用Newton-Raphson迭代法计算出该特征点P的精确解,得到第一目标图像210的中心点Pc的光流信息,记作[dx,dy]。以上公式描述的是具体每一层图像的光流信息计算方法,在金字塔图层中,在计算某一层的光流信息时,需要上层的光流信息的结果,作为下层的光流初始估计值,其中最上层图像的光流初始估计值为0。最先计算的是高斯金子塔最上层图像的光流信息,该层的输出结果,作为下一层的输入。现在使用符号描述两个相邻层间的递归操作。假定相邻的两个层分别是L和L+1,并且第L+1层的光流信息已经计算出来,为dL+1,则从第L+1层图像计算第L层的光流初始估计值gL的表达式为:
gL=2(gL+1+dL+1)
其中,假定算法在最高层没有可信的光流初始估计值,即:
按照上述公式,在第L层图层计算光流矢量时,不在该层目标图像的特征点位置坐标开始搜索匹配,而是在该层目标图像的特征点像素坐标平移gL处开始搜索匹配,计算残差最小位置,这样每一层搜索到的光流矢量都是小位移。
同样的方法可以计算L-1层的位移矢量dL+1,此过程一直进行到图像最底层L=1,即到达原始图像为止,此时图像和位移矢量都是原始的分辨率。则最底层的光流位移矢量为:
d=g1+d1
也可以用每一层的光流矢量来表示:
如此操作,来保证在高斯金子塔每一层的光流信息计算过程中,特征点P的位移都是小位移。
S260:根据所述光流信息计算修正单应矩阵。其中,修正单应矩阵用于将第一目标图像210映射到第二图像300中。
具体而言,本步骤通过如下方式计算修正单应矩阵:首先,在第一目标图像210中选取N个像素点作为第一像素点。在第二目标图像310中选取分别与第一像素点对应的N个像素点作为第二像素点。利用光流信息修正N个第一像素点的像素坐标,获得N个修正第一像素点。利用修正第一像素点与第二像素点的像素坐标计算所述修正单应矩阵。
在一个具体实施例中,N优选地,取5。则本步骤首先,在第一目标图像210中选取5个像素点作为第一像素点pbi。在第二目标图像310中选取分别与第一像素点对应的5个像素点作为第二像素点pdi。将5个第一像素点的像素坐标减去步骤S250计算获得的光流信息[dx,dy],获得5个修正第一像素点pbi’的像素坐标。利用修正第一像素点pbi’与第二像素点pdi的像素坐标计算修正单应矩阵。
S270:根据修正单应矩阵,将第一目标图像210映射到第二图像300中,获取修正第二目标图像,以在第二图像300中定位目标对象900。
具体而言,第一目标图像210具有第一目标框220。第一目标框220为第一目标图像210的外接矩形。本步骤还包括:根据修正单应矩阵,将第一目标框220映射到第二图像300中,将获取的映射目标框的外接矩形作为第二目标框320。将第二目标框320内的图像作为修正第二目标图像。在一些具体实施例,映射目标框并非是矩形,因此,优选地,将映射目标框的外接矩形作为第二目标框320。第二目标框320内修正第二目标图像可用于目标对象900后续的图像识别和图像分析。
本发明通过对第一图像和第二图像进行高斯金字塔及光流匹配的操作在第二图像300中准确定位目标对象900的位置和大小,并且减少最终获得的修正第二目标图像中的无效信息。
相比现有技术,本发明通过两种摄像机获取广角图像及局部放大图像,根据广角图像及局部放大图像映射和光流匹配,计算出图像之间的偏移,进而将广角图像中包含目标对象的目标图像映射到局部放大图像中,来定位局部放大图像中的目标对象。本发明仅将局部放大图像中包含目标对象的目标图像用于对于目标对象的图像处理。本发明的目标对象定位方法所提供的目标图像准确地包含了目标对象,并且其不会包含大量无效的信息来增加图像处理的时间和负载。
以上具体地示出和描述了本发明的示例性实施方式。应该理解,本发明不限于所公开的实施方式,相反,本发明意图涵盖包含在所附权利要求范围内的各种修改和等效置换。
Claims (19)
1.一种目标对象的定位方法,用于摄像机系统,所述摄像机系统包括:
第一摄像机,用于获取第一图像,所述第一图像为一场景视域的广角图像;以及
第二摄像机,用于获取第二图像,所述第二图像为所述场景视域的局部放大图;
所述定位方法包括:
a.获取包含目标对象的所述第一图像及第二图像;
b.根据所述第一图像获取第一目标图像,所述第一目标图像包含所述目标对象;
c.根据所述第一摄像机和所述第二摄像机的定标信息及所述第二摄像机的状态信息,计算初始单应矩阵;
d.根据所述初始单应矩阵,将所述第二图像映射到所述第一图像中,获取第二目标图像;
e.对所述第一目标图像和所述第二目标图像进行光流匹配,计算光流信息;
f.根据所述光流信息计算修正单应矩阵;
g.根据所述修正单应矩阵,将所述第一目标图像映射到所述第二图像中,获取修正第二目标图像,以在所述第二图像中定位所述目标对象。
2.如权利要求1所述的定位方法,其特征在于,所述步骤b包括:
在所述第一图像中,以所述目标对象的中心为中心,截取矩形目标图像作为所述第一目标图像。
3.如权利要求2所述的定位方法,其特征在于,所截取的矩形目标图像为96*96个像素的正方形目标图像。
4.如权利要求1所述的定位方法,其特征在于,所述初始单应矩阵为所述第二图像转换到所述第一图像的单应矩阵。
5.如权利要求4所述的定位方法,其特征在于,所述步骤c包括:
c1.获取所述定标信息,所述定标信息包括所述第一摄像机的第一图像的像素坐标转换到所述第二摄像机的物理坐标的第二单应矩阵;
c2.根据所述第二摄像机的第二图像的像素坐标及所述第二摄像机的状态信息计算对应所述第二摄像机的第二图像的像素坐标的所述第二摄像机的物理坐标;
c3.根据所述第二单应矩阵的逆矩阵和所述第二摄像机的物理坐标计算对应于所述第二摄像机的第二图像的像素坐标的所述第一摄像机的第一图像的像素坐标;以及
c4.根据所述第一摄像机的第一图像的像素坐标及所述第二摄像机的第二图像的像素坐标计算所述初始单应矩阵。
6.如权利要求5所述的定位方法,其特征在于,所述步骤c2包括:
根据所述第二图像选取至少四个不共线的像素点的像素坐标作为所述第二摄像机的像素坐标。
7.如权利要求1所述的定位方法,其特征在于,所述步骤e包括:
e1.计算所述第一目标图像和所述第二目标图像的高斯金字塔;
e2.逐层计算所述第二目标图像的高斯金字塔的梯度信息;
e3.根据所述梯度信息逐层对所述第一目标图像和所述第二目标图像进行光流匹配,计算光流信息。
8.如权利要求7所述的定位方法,其特征在于,所述步骤e1包括:
利用高斯核对所述第一目标图像和所述第二目标图像进行卷积操作;
根据所述第一目标图像和所述第二目标图像,建立高度为3的高斯金字塔,分别记为第一目标图像集合A和第二目标图像集合B,其中,
所述第一目标图像集合A包括大小逐渐减小的第一层第一目标子图像A1、第二层第一目标子图像A2、第三层第一目标子图像A3;
所述第二目标图像集合B包括大小逐渐减小的第一层第二目标子图像B1、第二层第二目标子图像B2、第三层第二目标子图像B3。
9.如权利要求8所述的定位方法,其特征在于,所述高斯核为[1/16 1/4 3/8 1/4 1/16]x[1/16 1/4 3/8 1/4 1/16]T。
10.如权利要求8所述的定位方法,其特征在于,
所述第一层第一目标子图像A1及所述第一层第二目标子图像B1为96*96像素点的图像;
所述第二层第一目标子图像A2及所述第二层第二目标子图像B2为48*48 像素点的图像;
所述第三层第一目标子图像A3及所述第三层第二目标子图像B3为24*24像素点的图像。
11.如权利要求8所述的定位方法,其特征在于,所述步骤e2包括:
根据如下公式逐层计算所述第二目标图像集合B的梯度信息:
其中,表示第i层第二目标图像Bi的梯度信息,gradx表示所述第i层第二目标子图像Bi在X方向的梯度信息,grady表示所述第i层第二目标子图像Bi在Y方向的梯度信息,i依次取3、2、1。
12.如权利要求11所述的定位方法,其特征在于,所述步骤e3包括:
根据如下公式计算所述光流信息
其中,dx表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的在X方向的偏移量,dy表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的在Y方向的偏移量,表示所述第i层第一目标子图像Ai及所述第i层第二目标子图像Bi的光流信息,
ΣNgyy、ΣNgyy、∑Ngxy、errx及erry分别根据如下公式计算:
∑Ngxx=∑Ngradx*gradx;
∑Ngyy=∑Ngrady*grady;
∑Ngxy=∑Ngradx*grady;
errx=∑NDiff*gradx;
erry=∑NDiff*grady;
其中,N表示特征点P的邻域,特征点P在所述第一目标图像集合A的各层中选取,Diff表示邻域N内像素点的灰度差值。
13.如权利要求12所述的定位方法,其特征在于,所述邻域N为以特征点P为中心、奇数个像素点为边长的正方形区域。
14.如权利要求12所述的定位方法,其特征在于,第i层第一目标子图像Ai及所述第i层第二目标图像Bi的光流信息根据第i+1层第一目标子图像Ai+1及所述第i+1层第二目标子图像Bi+1的光流信息来计算。
15.如权利要求1所述的定位方法,其特征在于,所述步骤f包括:
在所述第一目标图像中选取N个像素点作为第一像素点;
在所述第二目标图像中选取分别与所述第一像素点对应的N个像素点作为第二像素点;
利用所述光流信息修正N个所述第一像素点的像素坐标,获得N个修正第一像素点;
利用所述修正第一像素点与所述第二像素点的像素坐标计算所述修正单应矩阵。
16.如权利要求1所述的定位方法,其特征在于,所述第一目标图像具有第一目标框,所述第一目标框为所述第一目标图像的外接矩形,所述步骤g包括:
根据所述修正单应矩阵,将所述第一目标框映射到所述第二图像中,将获取的映射目标框的外接矩形作为第二目标框,将所述第二目标框内的图像作为所述修正第二目标图像。
17.如权利要求1至16任一项所述的定位方法,其特征在于,所述修正第二目标图像用于所述目标对象的图像识别和图像分析。
18.一种摄像系统,其特征在于,包括:
第一摄像机,用于获取第一图像,所述第一图像为一场景视域的广角图像;
第二摄像机,用于获取第二图像,所述第二图像为所述场景视域的局部放大图;以及
定位装置,利用如权利要求1至17任一项所述的定位方法,根据所述第一图像控制所述第二摄像机以在所述第二图像中定位所述目标对象。
19.如权利要求18所述的摄像系统,其特征在于,所述第一摄像机为枪型摄像机,所述第二摄像机为球型摄像机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510711384.2A CN105335977B (zh) | 2015-10-28 | 2015-10-28 | 摄像系统及目标对象的定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510711384.2A CN105335977B (zh) | 2015-10-28 | 2015-10-28 | 摄像系统及目标对象的定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105335977A CN105335977A (zh) | 2016-02-17 |
CN105335977B true CN105335977B (zh) | 2018-05-25 |
Family
ID=55286482
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510711384.2A Active CN105335977B (zh) | 2015-10-28 | 2015-10-28 | 摄像系统及目标对象的定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105335977B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107650122B (zh) * | 2017-07-31 | 2019-11-05 | 宁夏巨能机器人股份有限公司 | 一种基于3d视觉识别的机器人手爪定位系统及其定位方法 |
CN109242769B (zh) * | 2018-12-13 | 2019-03-19 | 腾讯科技(深圳)有限公司 | 一种图像处理方法和装置 |
CN109506658B (zh) * | 2018-12-26 | 2021-06-08 | 广州市申迪计算机系统有限公司 | 机器人自主定位方法和系统 |
CN111698455B (zh) * | 2019-03-13 | 2022-03-11 | 华为技术有限公司 | 控制球机与枪机联动的方法、装置及介质 |
CN111800604A (zh) * | 2020-06-12 | 2020-10-20 | 深圳英飞拓科技股份有限公司 | 基于枪球联动检测人形和人脸数据的方法及装置 |
CN111800605A (zh) * | 2020-06-15 | 2020-10-20 | 深圳英飞拓科技股份有限公司 | 基于枪球联动的车形、车牌传输的方法及系统、设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0714081A1 (en) * | 1994-11-22 | 1996-05-29 | Sensormatic Electronics Corporation | Video surveillance system |
US6215519B1 (en) * | 1998-03-04 | 2001-04-10 | The Trustees Of Columbia University In The City Of New York | Combined wide angle and narrow angle imaging system and method for surveillance and monitoring |
CN102148965A (zh) * | 2011-05-09 | 2011-08-10 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控系统 |
CN102932598A (zh) * | 2012-11-06 | 2013-02-13 | 苏州科达科技股份有限公司 | 由摄像机对画面中的图像进行智能跟踪的方法 |
CN103024350A (zh) * | 2012-11-13 | 2013-04-03 | 清华大学 | 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统 |
CN103105858A (zh) * | 2012-12-29 | 2013-05-15 | 上海安维尔信息科技有限公司 | 在固定相机和云台相机间进行目标放大、主从跟踪的方法 |
CN103198487A (zh) * | 2013-04-15 | 2013-07-10 | 厦门博聪信息技术有限公司 | 一种用于视频监控系统中的自动定标方法 |
CN104574425A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种基于旋转模型的主从摄像机系统的标定以及联动方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8488001B2 (en) * | 2008-12-10 | 2013-07-16 | Honeywell International Inc. | Semi-automatic relative calibration method for master slave camera control |
-
2015
- 2015-10-28 CN CN201510711384.2A patent/CN105335977B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0714081A1 (en) * | 1994-11-22 | 1996-05-29 | Sensormatic Electronics Corporation | Video surveillance system |
US6215519B1 (en) * | 1998-03-04 | 2001-04-10 | The Trustees Of Columbia University In The City Of New York | Combined wide angle and narrow angle imaging system and method for surveillance and monitoring |
CN102148965A (zh) * | 2011-05-09 | 2011-08-10 | 上海芯启电子科技有限公司 | 多目标跟踪特写拍摄视频监控系统 |
CN102932598A (zh) * | 2012-11-06 | 2013-02-13 | 苏州科达科技股份有限公司 | 由摄像机对画面中的图像进行智能跟踪的方法 |
CN103024350A (zh) * | 2012-11-13 | 2013-04-03 | 清华大学 | 一种双目ptz视觉系统的主从跟踪方法及应用该方法的系统 |
CN103105858A (zh) * | 2012-12-29 | 2013-05-15 | 上海安维尔信息科技有限公司 | 在固定相机和云台相机间进行目标放大、主从跟踪的方法 |
CN103198487A (zh) * | 2013-04-15 | 2013-07-10 | 厦门博聪信息技术有限公司 | 一种用于视频监控系统中的自动定标方法 |
CN104574425A (zh) * | 2015-02-03 | 2015-04-29 | 中国人民解放军国防科学技术大学 | 一种基于旋转模型的主从摄像机系统的标定以及联动方法 |
Non-Patent Citations (2)
Title |
---|
Heterogeneous Fusion of Omnidirectional and PTZ Cameras for Multiple Object Tracking;Chung-Hao Chen 等;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20080709;第18卷(第8期);1052-1063 * |
一种用于鱼眼PTZ主从监控系统的标定方法;石皓 等;《系统仿真学报》;20131008;第25卷(第10期);2412-2417 * |
Also Published As
Publication number | Publication date |
---|---|
CN105335977A (zh) | 2016-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105335977B (zh) | 摄像系统及目标对象的定位方法 | |
CN111145238B (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
CN111750820B (zh) | 影像定位方法及其系统 | |
CN105957015B (zh) | 一种螺纹桶内壁图像360度全景拼接方法及系统 | |
CN110782394A (zh) | 全景视频快速拼接方法及系统 | |
CN109064404A (zh) | 一种基于多相机标定的全景拼接方法、全景拼接系统 | |
JP4377932B2 (ja) | パノラマ画像生成装置およびプログラム | |
CN112767542A (zh) | 一种多目相机的三维重建方法、vr相机和全景相机 | |
CN109005334B (zh) | 一种成像方法、装置、终端和存储介质 | |
CN108734657B (zh) | 一种具有视差处理能力的图像拼接方法 | |
CN111199528A (zh) | 一种鱼眼图像畸变矫正方法 | |
JP2010041417A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、撮像装置 | |
CN107016646A (zh) | 一种基于改进的逼近投影变换图像拼接方法 | |
JPH1093808A (ja) | 画像合成装置および方法 | |
CN114549666B (zh) | 一种基于agv的环视图像拼接标定方法 | |
CN111815517B (zh) | 一种基于球机抓拍图片的自适应全景拼接方法 | |
JP6240016B2 (ja) | 追跡装置および追尾システム | |
CN103971375A (zh) | 一种基于图像拼接的全景凝视相机空间标定方法 | |
US20210120194A1 (en) | Temperature measurement processing method and apparatus, and thermal imaging device | |
JP2005269419A (ja) | 画像変形推定方法および画像変形推定装置 | |
CN108200360A (zh) | 一种多鱼眼镜头全景摄像机的实时视频拼接方法 | |
JP2003179800A (ja) | 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム | |
CN108156383B (zh) | 基于相机阵列的高动态十亿像素视频采集方法及装置 | |
US20090059018A1 (en) | Navigation assisted mosaic photography | |
JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |