CN107316325B - 一种基于图像配准的机载激光点云与影像配准融合方法 - Google Patents

Abstract

本发明公开了一种基于图像配准的机载激光点云与影像配准融合方法，用于将机载LiDAR系统采集的三维地形点云与航拍影像进行融合，生成真彩色三维点云图，包括以下步骤：利用三维激光点云生成点云正射投影图像A并建立点云‑像素索引；利用航拍影像生成航拍正射拼接图像B；对图像A和图像B进行图像配准操作，将点云正射投影图像A的像素坐标转换到航拍正射拼接图像B的像素坐标系下；利用点云‑像素索引进行反投影，找到每一个点云对应的航拍正射拼接图像B的像素坐标，将像素颜色值赋值给点云，融合后生成真彩色点云图。本方法对点云数据与影像数据是否同步采集不作限制，甚至可以使用第三方生成的航拍或遥感正射影像作为配准图像。

Description

一种基于图像配准的机载激光点云与影像配准融合方法

技术领域

本发明涉及无人机航拍测绘技术领域，具体涉及一种基于图像配准的机载激光点云与影像配准融合方法。

背景技术

激光扫描测量技术(Light Detection And Ranging)，简称LiDAR，又称“实景复制技术”，是三维数据技术和场景建模技术中最新的一种。机载LiDAR技术即把LiDAR技术使用在航空器上实现对地观测，集全球定位系统、惯性导航系统与激光三种技术于一身，能够快速高效地获取地物表面每个采样点的精确三维空间坐标。近年来，随着机载激光扫描测量技术的快速发展，其在数字城市、灾害监测、海岸工程、林业调查等方面具有广阔的应用前景。然而，该技术只能获取目标物体的离散三维空间坐标和反射强度信息，并不具备获取物体真实纹理信息的能力。而随着数字成像技术与图像传感器的快速发展，获取高清可见光图像并不是难题，与之对应的图像处理和融合技术在机器视觉、遥感航拍领域获得广泛的应用。图像带有的目标物体纹理信息与激光扫描技术获取的三维信息形成互补。

为了生成真彩色点云图，需要将点云和影像进行配准融合。三维点云和航拍影像数据的配准融合是不同类型传感器之间的数据配准融合问题，属于经典的二维-三维融合问题。根据配准的流程与配准特征的区别，目前二维和三维的配准方法可以分为下面几种：(1)激光扫描仪与相机同机位置标定法；(2)基于特征的3D-2D配准方法；(3)基于立体像对的3D-3D配准方法。第一种方法需要对相机和扫描仪固定安装和同步采集，并且需要进行精确的标定操作，存在一定的局限性；第二种方法要求点云和影像中存在较为明显的特征(点、线、平面)作为配准基元，且配准基元的提取精度对配准结果影响大；第三种方法对拍摄影像的倾斜角度和重叠度有要求，并且生成影像点云算法和过程较为复杂，精度也很难保证，不能满足快速高效地生成真彩色点云的要求。针对无人机机载航拍测绘，当扫描对象为荒地、山峰或海岸线等明显特征不多的地形时，现有的方法不能够完全解决数据的快速高效配准融合问题。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于图像配准的机载激光点云与影像配准融合方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于图像配准的机载激光点云与影像配准融合方法，所述方法包括下列步骤：

S1、对三维激光点云进行正射投影，生成点云正射投影图像A并建立点云-像素索引；

S2、对相机拍摄的航空影像进行畸变校正，对校正后的影像进行正射和拼接处理，生成航拍正射拼接图像B；

S3、将点云正射投影图像A作为浮动图像，航拍正射拼接图像B作为参考图像，对点云正射投影图像A与航拍正射拼接图像B进行图像配准操作，使用图像配准算法求解变换参数，将点云正射投影图像A的像素坐标变换到航拍正射拼接图像B的坐标系下；

S4、使用投影过程中建立的点云-像素索引对点云正射投影图像A的像素进行反投影，找到每个点云对应的航拍正射拼接图像B的像素坐标，从而把航拍正射拼接图像B的颜色值赋给对应的点云，生成真彩色点云图。

进一步地，所述步骤S1中生成点云正射投影图像A的过程包括：S11、采样过程；S12、量化过程；S13、插值过程。

进一步地，所述采样过程包括：

S111、选择投影平面，建立像素坐标系并且计算投影平面内全部投影点的最小外包矩形，以北东地坐标系下的O-XY平面为投影面，以外包矩形的左上角为坐标系原点O，正南方向为V轴，正东方向为轴U，建立像素坐标系O-UV；

S112、计算点云X坐标和Y坐标的变化范围，Y_max和Y_min分别代表Y轴坐标的最大和最小值，X_max和X_min分别代表X轴坐标的最大和最小值，通过手动设定投影图像宽度W，像素大小S和图像高度H的计算公式为：

S113、每个点云在投影图像下对应的像素坐标为(u,v)，计算公式为：

S114、使用最邻近法对像素坐标进行取整，将与之最邻近的像素坐标赋给(u,v)，同时记录点云坐标和像素坐标的对应关系，生成点云-像素索引。

进一步地，所述量化过程具体为：

对每一个像素点的值进行量化填充，选择高程进行量化生成高程投影图像，选择激光反射强度进行量化生成强度投影图像。

进一步地，所述插值过程具体为：

对于图像中的空白像素，使用周围的像素通过高阶内插法进行内插，同时也对点云进行内插，并建立点云-像素索引，高阶内插函数如下：

其中，|x|为周围像素到(u,v)的距离值。

进一步地，所述步骤S3的图像配准算法中图像配准使用的变换模型为仿射变换模型，该仿射变换模型的齐次方程表达如下：

其中，(x_A,y_A)为点云正射投影图像A的像素坐标，(x_B,y_B)为航拍正射拼接图像B中的像素坐标，M为点云正射投影图像A到航拍正射拼接图像B的仿射变换关系，其中

是旋转、缩放和反转的合成矩阵，

是平移向量，该仿射变换模型有6个未知参数，找到3对不共线的同名特征点坐标即可求出未知参数。

进一步地，所述仿射变换模型进行简化的过程如下:

对未知参数作出限制，只考虑旋转平移和缩放，令

a₁₁＝a₂₂＝k cosθ,a₁₂＝-a₂₁＝k sinθ,b₁＝kc₁,b₂＝kc₂,把仿射变换模型简化成RST变换模型，表达如下：

其中k表示缩放比例，θ表示图像间的旋转角，[c₁,c₂]^T表示缩放前的平移向量，简化后的RST变换模型有4个未知参数，找到2对同名特征点即可解算出结果。

本发明相对于现有技术具有如下的优点及效果：

1)本发明方法适用于无人机测绘领域，具有稳定性高、精度高的优点。

2)本发明方法对激光扫描仪与相机的是否固定安装和同步采集不作限制，甚至可以使用第三方航拍影像作为配准影像，灵活性高。

3)本发明方法能够很好适用于无明显特征的扫描区域，如荒地、草地、海岸线等，并且具有计算量低，成图效率高和稳定性高的特点。

附图说明

图1是本发明公开的基于图像配准的机载激光点云与影像配准融合方法的流程图；

图2是点云正射投影模型；

图3是点云与影像坐标关系映射图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例公开的一种基于图像配准的机载激光点云与影像配准融合方法，用于机载激光点云与航拍影像的配准融合以及真彩色点云图的生成，包括以下步骤：

S1、对三维激光点云进行正射投影，生成点云正射投影图像A并建立点云-像素索引，将点云正射投影图像A作为浮动图像；

其中，生成点云正射投影图像A包括采样、量化和插值，具体过程如下：

S11、采样过程：

S111、选择投影平面，建立像素坐标系并且计算投影平面内全部投影点的最小外包矩形。以北东地(North-East-Down，NED)坐标系下的O-XY平面为投影面，以外包矩形的左上角为坐标系原点O，正南方向为V轴，正东方向为轴U，建立像素坐标系O-UV。

S112、计算点云X坐标和Y坐标的变化范围，Y_max和Y_min分别代表Y轴坐标的最大和最小值，X_max和X_min分别代表X轴坐标的最大和最小值，通过手动设定投影图像宽度W，像素大小S和图像高度H的计算公式为：

S113、每个点云在投影图像下对应的像素坐标为(u,v)，计算公式为：

S114、使用最邻近法对像素坐标进行取整，将与之最邻近的像素坐标赋给(u,v)，同时记录点云坐标和像素坐标的对应关系，生成点云-像素索引，方便后续进行反投影查询使用。

S12、量化过程：采样完成后需要对每一个像素点的值进行量化填充，选择高程进行量化则可生成高程投影图像，选择激光反射强度进行量化则生成强度投影图像。

S13、插值过程：对于图像中的空白像素，使用周围的像素(空白像素除外)通过高阶内插法进行内插，同时也对点云进行内插，并建立点云-像素索引，高阶内插函数如下：

其中，|x|为周围像素到(u,v)的距离值。

S2、对相机拍摄的航空影像进行畸变校正，对校正后的影像进行正射和拼接处理，生成航拍正射拼接图像B，作为参考图像；

S3、将点云正射投影图像A作为浮动图像，航拍正射拼接图像B作为参考图像，对点云正射投影图像A与航拍正射拼接图像B进行图像配准操作，使用图像配准算法求解变换参数，将点云正射投影图像A的像素坐标变换到航拍正射拼接图像B的坐标系下；

其中，图像配准算法中图像配准使用的变换模型为仿射变换模型，该仿射变换模型的齐次方程表达如下：

其中，(x_A,y_A)为点云正射投影图像A的像素坐标，(x_B，y_B)为航拍正射拼接图像B中的像素坐标，M为点云正射投影图像A到航拍正射拼接图像B的仿射变换关系，其中

是旋转、缩放和反转的合成矩阵，

是平移向量，该仿射变换模型有6个未知参数，只需找到3对不共线的同名特征点坐标即可求出未知参数。

可将仿射变换模型进行简化。对未知参数作出限制，只考虑旋转平移和缩放，令a₁₁＝a₂₂＝k cosθ,a₁₂＝-a₂₁＝k sinθ,b₁＝kc₁,b₂＝kc₂,就可以把仿射变换模型简化成RST(旋转-缩放-平移)变换模型，表达如下：

其中k表示缩放比例，θ表示图像间的旋转角，[c₁,c₂]^T表示缩放前的平移向量，简化后的RST变换模型只有4个未知参数，只需要2对同名特征点就可以解算出结果。

若采用基于特征的图像配准方法，同名特征点至少为2对。

S4、使用投影过程中建立的点云-像素索引对点云正射投影图像A的像素进行反投影，找到每个点云对应的航拍正射拼接图像B的像素坐标，从而把航拍正射拼接图像B的颜色值赋给对应的点云，生成真彩色点云图。

根据步骤S1中的点云-像素索引关系和步骤S3中的点云正射投影图像到航拍正射拼接影像的坐标对应关系，找到每个三维点云坐标对应的航拍正射拼接图像B的像素坐标，将像素值赋值给对应的点云，最终生成真彩色点云图。

实施例二

本实施例公开了一种基于图像配准的机载激光点云与影像配准融合方法具体实施方式，基于图像配准的算法步骤如图1所示。

小型无人直升机在飞行时受到低空气流与发动机震动的影响会导致飞行姿态不稳定，从而影响拍摄视角造成图像抖动畸变，外置的高分辨率相机一般采用大广角相机以拍摄大范围的地形地貌，这也造成了航拍影像的几何畸变。由于畸变的原因，图像中的像素点会发生几何位置上的偏移，例如空间中的一条直线在图像中会变成曲线，对图像进行畸变校准就是使各个像素点的几何关系能够回到相对正确的状态下。根据相机实际成像模型：

(x_i,y_i)为理想成像模型中理想投影点在图像坐标系下的坐标，而(x_r,y_r)为实际成像模型中实际投影点在图像坐标系下的坐标，(u₀,v₀)表示图像坐标系原点在像素坐标系中的坐标，s_x,s_y是图像水平轴和垂直轴的尺度因子，k₁,k₂为径向畸变系数，

为该像素点到像面中心的距离，p₁,p₂为切向畸变系数。

在相机焦距不变的情况下，将相机标定获得的内参数和畸变系数代入上式中，便可求得校正后图像像素点的理想坐标位置，由于实际中图像的像素坐标是整数，但是由上述公式计算得到的像素坐标一般不是整数，本实验对比选用了双线性插值法校正畸变图像。经过畸变校正后，使用无人机后期航片拼接软件PhotoScan生成拼接正射影像。

如图2点云正射投影模型图所示，对点云正射正射投影并以高程作为量化对象可以生成点云高程正射点云图。

拼接正射影像和点云正射投影图像都能够表达地形地物之间准确的几何位置关系，两类图像之间满足仿射变换关系，实验引入点云正射投影图像A作为浮动图像，航拍正射拼接图像B作为参考图像，建立两幅图像之间的仿射变换关系，仿射变换能实现图像的旋转平移缩放和反转，点云正射投影图像A中的像素坐标(x_A,y_A)经过仿射变换M后得到航拍正射拼接图像B中的像素坐标(x_B,y_B)，仿射变换模型齐次形式可表示为

求解方程为

基于特征的图像配准一般分为特征提取、特征匹配、变换模型参数估计和图像配准四个步骤，图像配准的精度由特征的提取精度所决定。特征提取与匹配中，根据需不需要人工参与，可分为手动匹配和自动匹配两种。针对存在较多特征的图像，可采用基于角点特征的半自动配准方法，先对两幅图像进行形态学降噪后使用Sobel算子提取边缘，再在边缘图像中使用Harris角点检测算法提取备选同名点，最后在备选点中进行人工提取；而针对特征地物不明显的图像，则可使用手动选择特征点计算变换参数，实现图像的配准。在本实施例中手动提取三对同名特征点，根据公式解算出变换参数。

三维点云的投影过程中建立了点云坐标和投影图像像素坐标的索引，图像配准过程中获得投影图像像素坐标到航拍图像像素坐标的映射关系，因此可以获得每一个三维点云坐标到航拍影像像素坐标的映射关系。最后，将航拍图像像素的颜色值赋给对应的点云，即可实现点云与图像的融合。点云与航拍影像的坐标映射关系如图3所示。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (3)

1.一种基于图像配准的机载激光点云与影像配准融合方法，其特征在于，所述方法包括下列步骤：

S1、对三维激光点云进行正射投影，生成点云正射投影图像A并建立点云-像素索引，其中，所述的生成点云正射投影图像A的过程包括：

S11、采样过程，包括：

S111、选择投影平面，建立像素坐标系并且计算投影平面内全部投影点的最小外包矩形，以北东地坐标系下的O-XY平面为投影面，以外包矩形的左上角为坐标系原点O，正南方向为V轴，正东方向为轴U，建立像素坐标系O-UV；

S112、计算点云X坐标和Y坐标的变化范围，Y_max和Y_min分别代表Y轴坐标的最大和最小值，X_max和X_min分别代表X轴坐标的最大和最小值，通过手动设定投影图像宽度W，像素大小S和图像高度H的计算公式为：

S113、每个点云在投影图像下对应的像素坐标为(u,v)，计算公式为：

S114、使用最邻近法对像素坐标进行取整，将与之最邻近的像素坐标赋给(u,v)，同时记录点云坐标和像素坐标的对应关系，生成点云-像素索引；

S12、量化过程，具体为：

对每一个像素点的值进行量化填充，选择高程进行量化生成高程投影图像，选择激光反射强度进行量化生成强度投影图像；

S13、插值过程，具体为：

对于图像中的空白像素，使用周围的像素通过高阶内插法进行内插，同时也对点云进行内插，并建立点云-像素索引，高阶内插函数如下：

其中，|x|为周围像素到(u,v)的距离值；

S2、对相机拍摄的航空影像进行畸变校正，对校正后的影像进行正射和拼接处理，生成航拍正射拼接图像B；

S3、将点云正射投影图像A作为浮动图像，航拍正射拼接图像B作为参考图像，对点云正射投影图像A与航拍正射拼接图像B进行图像配准操作，使用图像配准算法求解变换参数，将点云正射投影图像A的像素坐标变换到航拍正射拼接图像B的坐标系下；

S4、使用投影过程中建立的点云-像素索引对点云正射投影图像A的像素进行反投影，找到每个点云对应的航拍正射拼接图像B的像素坐标，从而把航拍正射拼接图像B的颜色值赋给对应的点云，生成真彩色点云图。

2.根据权利要求1所述的一种基于图像配准的机载激光点云与影像配准融合方法，其特征在于，所述步骤S3的图像配准算法中图像配准使用的变换模型为仿射变换模型，该仿射变换模型的齐次方程表达如下：

其中，(x_A,y_A)为点云正射投影图像A的像素坐标，(x_B,y_B)为航拍正射拼接图像B中的像素坐标，M为点云正射投影图像A到航拍正射拼接图像B的仿射变换关系，其中

是旋转、缩放和反转的合成矩阵，

是平移向量，该仿射变换模型有6个未知参数，找到3对不共线的同名特征点坐标即可求出未知参数。

3.根据权利要求2所述的一种基于图像配准的机载激光点云与影像配准融合方法，其特征在于，所述仿射变换模型进行简化的过程如下:

对未知参数作出限制，只考虑旋转平移和缩放，令

a₁₁＝a₂₂＝kcosθ,a₁₂＝-a₂₁＝ksinθ,b₁＝kc₁,b₂＝kc₂,把仿射变换模型简化成RST变换模型，表达如下：

其中k表示缩放比例，θ表示图像间的旋转角，[c₁,c₂]^T表示缩放前的平移向量，简化后的RST变换模型有4个未知参数，找到2对同名特征点即可解算出结果。

Images