CN105957008A

CN105957008A - 基于移动终端的全景图像实时拼接方法及系统

Info

Publication number: CN105957008A
Application number: CN201610303650.2A
Authority: CN
Inventors: 李骈臻
Original assignee: Xiamen Meitu Technology Co Ltd
Current assignee: Xiamen Meitu Technology Co Ltd
Priority date: 2016-05-10
Filing date: 2016-05-10
Publication date: 2016-09-21
Anticipated expiration: 2036-05-10
Also published as: CN105957008B

Abstract

本发明公开了一种基于移动终端的全景图像实时拼接方法及系统，其通过对获取的视频流的当前帧进行特征点检测，将得到的所述当前帧的特征点属性序列与所述视频流的前一帧的特征点属性序列进行特征点匹配，并根据匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵，最后根据所述变换矩阵将所述当前帧与所述前一帧进行实时拼接，如此循环往复，依次得到初步全景图像、中间全景图像、最终全景图像，并实时对初步全景图像或中间全景图像或最终全景图像进行预览显示，算法简单、计算量小，能够实现在全景拍摄过程中进行全景图像的实时拼接、实时预览，而且对于硬件配置要求较低，特别适用于在中低端配置的手机等移动终端中实现高分辨实时全景拍摄。

Description

基于移动终端的全景图像实时拼接方法及系统

技术领域

本发明涉及图像处理技术领域，特别是一种基于移动终端的全景图像实时拼接方法及其应用该方法的系统。

背景技术

当前移动设备上的全景拼接技术一般是通过采集多个角度的图像，并根据特征点匹配方法对原始高分辨图像进行图像配准和融合等计算量大的操作，生成全景图像。

首先，由于图像配准以及融合的计算量大，所以只能通过间隔采样的方式采集图像。由于图像采集的间隔较大，首先造成重叠部分较小，对特征点对齐是不利的，容易产生全景图的重影。

其次，由于采样的景物相差较大，通常摄像头的白平衡和曝光参数已经发生比较大的变化，所以后处理部分一般还需要采用一些曝光补偿和复杂的方法混合图像，以使图像过渡自然，从而让用户需要等待更长的时间获得全景图像。

再次，这样的采集方式决定了很难让移动设备生成一些中间结果供用户实时预览，使用户不可预知最终的拼接结果。

另外，即使提供拼接结果的预览，由于其计算量大，无法获得流畅的预览效果，并且无法满足预览结果的实时性，最终融合结果通常会有一些不自然的锯齿和融合区域的涂抹感，而且，对于硬件配置要求较高。

由于实时全景的计算量大，所以在中低端配置的手机或相机等移动终端中实现高分辨实时全景需要克服较大的技术困难。

发明内容

本发明为解决上述问题，提供了一种基于移动终端的全景图像实时拼接方法及系统，算法简单，实时性好，能够实现实时拼接实时预览，用户体验更好。

为实现上述目的，本发明采用的技术方案为：

首先，本发明提供一种基于移动终端的全景图像实时拼接方法，其包括以下步骤：

10.实时获取预览的视频流，并对获取的视频流的当前帧进行特征点检测，得到该当前帧的特征点属性序列；

20.将所述当前帧的特征点属性序列与所述视频流的前一帧的特征点属性序列进行特征点匹配；

30.根据所述特征点匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵；

40.根据所述变换矩阵将所述当前帧与所述前一帧进行实时拼接，得到初步全景图像，并对该初步全景图像进行预览显示；

50.重复步骤10、20、30，并根据所述变换矩阵将所述当前帧与所述初步全景图像进行实时拼接，得到中间全景图像，并对该中间全景图像进行预览显示；

60.重复步骤50，并根据所述变换矩阵将所述当前帧与所述中间全景图像进行实时拼接，得到最终全景图像，并对该最终全景图像进行预览显示。

优选的，所述的步骤10中，所述特征点检测进一步包括：

11.对所述当前帧进行灰度化处理，生成灰度图；

12.对灰度图像进行降采样，得到一组不同尺度下的灰度图，组成一个灰度图金字塔；

13.对不同尺度的灰度图进行FAST特征点检测，得到所述特征点属性序列。

优选的，所述特征点属性序列包括：位置属性、方向属性、尺度属性以及对应的描述子。

优选的，所述的步骤20中，所述特征点匹配进一步包括：

21.利用KNN算法，将所述当前帧的特征点属性序列与所述视频流的前一帧的特征点属性序列进行匹配，得到所述当前帧与所述前一帧之间的匹配对的数量；

22.对所述的匹配对的数量进行阈值计算，若所述数量大于或等于预设阈值，则匹配成功；否则匹配失败。

优选的，所述的步骤30中，根据所述特征点匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵，其计算方法为：

31.若所述特征点匹配的结果为匹配成功，则通过RANSAC算法计算出所述匹配对的最优单应映射矩阵，并结合标定的内参矩阵进行计算得到所述变换矩阵；

32.若所述特征点匹配的结果为匹配失败，则根据陀螺仪数据计算出所述当前帧与所述前一帧之间的变换矩阵。

优选的，所述的步骤40或50或60中，根据所述变换矩阵将所述当前帧与所述前一帧或所述初步全景图像或所述中间全景图像进行实时拼接，进一步包括：

41.根据所述变换矩阵对所述当前帧进行前向投影，并计算出所述当前帧的特征点在焦距长度为半径的圆柱面或者球面上的贴图坐标；

42.根据所述变换矩阵对所述贴图坐标进行反向投影，并计算出所述贴图坐标在所述圆柱面或者所述球面的正切投影面上的2D投影在所述当前帧中的插值坐标；

43.通过线性采样的方法获取所述插值坐标在所述当前帧中对应的像素值；

44.根据所述插值坐标及其对应的像素值，将所述当前帧与所述前一帧或所述初步全景图像或所述中间全景图像进行拼接。

优选的，所述拼接过程中，还进一步对所述当前帧和所述前一帧或所述初步全景图像或所述中间全景图像进行羽化混合处理，该羽化混合处理的方法包括：

71.计算所述当前帧与所述前一帧之间的偏移量；

72.根据所述偏移量计算所述当前帧和所述前一帧之间的混合权值；

73.根据所述混合权值以及所述插值坐标及其对应的像素值，计算得到最终混合的结果值。

其次，本发明提供一种基于移动终端的全景图像实时拼接系统，其包括：

特征点检测模块，用于实时获取预览的视频流，并对获取的视频流的当前帧进行特征点检测，得到该当前帧的特征点属性序列；

特征点匹配模块，用于将所述当前帧的特征点属性序列与所述视频流的前一帧的特征点属性序列进行特征点匹配；

变换矩阵计算模块，用于根据所述特征点匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵；

全景拼接模块，用于根据所述变换矩阵将所述当前帧与所述前一帧进行实时拼接，得到初步全景图像；或者，根据所述变换矩阵将所述当前帧与所述初步全景图像进行实时拼接，得到中间全景图像；或者根据所述变换矩阵将所述当前帧与所述中间全景图像进行实时拼接，得到最终全景图像；

全景预览模块，用于对该初步全景图像或者所述中间全景图像或者所述最终全景图像进行预览显示。

优选的，所述变换矩阵计算模块进一步包括第一变换矩阵计算模块和第二变换矩阵计算模块：

若所述特征点匹配的结果为匹配成功，则调用所述第一变换矩阵计算模块，通过RANSAC算法计算出所述匹配对的最优单应映射矩阵，并结合标定的内参矩阵进行计算得到所述变换矩阵；

若所述特征点匹配的结果为匹配失败，则调用所述第二变换矩阵计算模块，根据陀螺仪数据计算出所述当前帧与所述前一帧之间的变换矩阵。

优选的，还包括羽化混合模块，用于在拼接过程中对所述当前帧和所述前一帧或所述初步全景图像或所述中间全景图像进行羽化混合处理。

本发明的有益效果是：

本发明的一种基于移动终端的全景图像实时拼接方法及系统，其通过实时获取预览的视频流，并对获取的视频流的当前帧进行特征点检测，得到该当前帧的特征点属性序列，然后将所述当前帧的特征点属性序列与所述视频流的前一帧的特征点属性序列进行特征点匹配，并根据所述特征点匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵，最后根据所述变换矩阵将所述当前帧与所述前一帧进行实时拼接，如此循环往复，依次得到初步全景图像、中间全景图像、最终全景图像，并实时对初步全景图像或者中间全景图像或者最终全景图像进行预览显示，不仅算法简单、计算量小，能够实现每帧分辨率为500万像素(2560*1920)，帧率30fps的处理速度，从而实现在全景拍摄过程中进行全景图像的实时拼接、实时预览，而且对于硬件配置要求较低，特别适用于在中低端配置的手机等移动终端中实现高分辨实时全景拍摄；并且，通过羽化混合处理使得拼接后的全景图像更加平滑且不丢失原图像的清晰度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明基于移动终端的全景图像实时拼接方法的流程简图；

图2为本发明基于移动终端的全景图像实时拼接系统的结构示意图；

图3为本发明一具体实施例的全景图像实时拼接过程的流程简图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明的一种基于移动终端的全景图像实时拼接方法，其包括以下步骤：

所述的步骤10中，所述特征点检测进一步包括：

11.对所述当前帧进行灰度化处理，生成灰度图；

其中，所述特征点属性序列包括：位置属性、方向属性、尺度属性以及对应的描述子。该特征点属性序列的获取步骤具体包括：

step1.建立灰度图像金字塔；

step2.划分每个金字塔最大的目标检测点数，其中，金字塔中每一层与上一层的数量比和图像缩放比一致；

step3.FAST角点检测出候选特征点；

step4.根据FAST响应做第一轮筛选；

step5.由于FAST响应值代表性会比较差，只是一种圆周上τ检验，更精确的是梯度harris响应，需要对检测出来的角点，重新计算出其响应值；

step6.根据step5中计算出来的响应值，对候选角点进行最后一轮筛选；

step7.通过IC(x矩和y矩)，计算出角点方向；

step8.对每一层图像进行高斯模糊和抗噪声处理，得到去噪图像；

step9.在step8的去噪图像基础上，选择长度为64的描述子提取位置。提取的位置为以角点为中心。

所述的步骤20中，所述特征点匹配进一步包括：

具体如下：

step1.计算描述子的hamming距离作为两个特征点的距离量度，假设图A和图B为待配准的两帧图像，图A中特征点i到图B中特征点j的距离，历遍图B中特征点，获取图B中离图A中i特征点最近的两个特征点Minj、sndMinj，记距离为MinDistance,sndMinDistance，其中，MinDistance<sndMinDistance。

step2.若满足MinDistance<sndMinDistance*(1-threadhold)，threshold为预设阈值，其取值为0-1.则Minj匹配上i，保存匹配结果，否则匹配失败。

step3.重复步骤step1-step2，历遍图A中所有特征点，得到匹配的特征点。

所述的步骤30中，根据所述特征点匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵，其计算方法为：

其中，所述步骤31进一步包括：

step1.利用匹配好的特征点对(匹配对)，通过RANSAC算法求出最佳单应映射矩阵H。

step2.获取标定的摄像头内参矩阵K，并结合所述最佳单应映射矩阵H，求出对应的变换矩阵R，其计算公式为：

R＝Kinv*H*K；

上述公式中，K表示所述摄像头内参矩阵，H表示所述最佳单应映射矩阵，Kinv表示所述内参矩阵K的逆矩阵,R表示所述当前帧与所述前一帧的旋转矩阵。

所述步骤32进一步包括：

step1.获取移动终端从所述当前帧到所述前一帧之间的姿态变化信息，所述姿态变化信息包括：在移动终端自身坐标系下，当前帧姿态相对于基准姿态的三轴旋转角度α’、β’、γ’，前一帧姿态相对于基准姿态的三轴旋转角度α”、β”、γ”，以及从当前帧到前一帧之间的时间间隔Δt；

step2.根据α’、β’、γ’、α”、β”、γ”以及Δt计算得到所述陀螺仪在所述当前帧姿态相对于所述前一帧姿态之间的变换矩阵。

所述的步骤40或50或60中，根据所述变换矩阵将所述当前帧与所述前一帧或所述初步全景图像或所述中间全景图像进行实时拼接，进一步包括：

其中，所述步骤41的前向投影(map forward)和所述步骤42的反向投影(map backward)都是一种输入图像到输出图像之间的像素位置映射(warp)，对于二维图像来说，就是计算出原图像每个像素点在目标图像中的一一对应的位置，以圆柱面为例：

前向投影把视平面图像垂直投影到圆柱面上，得到视平面上每个点(x,y,z＝1)投影到圆柱面的坐标(u,v,w)，其中(x_w,y_w,z_w)为视平面上点在相机坐标系上的坐标,其计算公式如下所示:

[\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \end{matrix}] = R \cdot K^{- 1} \cdot [\begin{matrix} x \\ y \\ z \end{matrix}];

u = s c a l e \times a r c t a n (\frac{x_{w}}{z_{w}});

w = \frac{y_{w}}{\sqrt{x_{w}^{2} + y_{w}^{2} + z_{w}^{2}}};

v＝scale×(π-arccos(w))；

后向投影其实是前向投影的逆过程，通过圆柱面上坐标(u,v)，垂直投影到视平面上，求出对应于原图的坐标(x,y)，其计算公式如下所示：

x_w＝sin(u/scale)；

z_w＝cos(u/scale)；

y_w＝v/scale；

[\begin{matrix} x \\ y \\ z \end{matrix}] = K \cdot R^{- 1} [\begin{matrix} x_{w} \\ y_{w} \\ z_{w} \end{matrix}];

上述公式中，R为旋转矩阵，K为摄像头的内参矩阵，scale为圆柱半径(一般为焦距)。

并且，本实施例中，还通过OpenGL或者OpenCL或者OpenGL与OpenCL协同工作方式对所述前向投影和所述反向投影进行硬件加速，可以极大的提高算法的执行效率，从而实现实时拼接和渲染。

还包括步骤70，在所述拼接过程中进一步对所述当前帧和所述前一帧或所述初步全景图像或所述中间全景图像进行羽化混合处理(blend)，该羽化混合处理的方法包括：

71.计算所述当前帧与所述前一帧之间的偏移量；

其中，所述步骤72中的混合权值的计算方法如下：

weight_cnt＝X/L；

weight_pre＝1-weight_cnt；

上述公式中，weight_cnt表示所述当前帧的混合权值，weight_pre表示所述前一帧的混合权值，L表示所述偏移量，X表示所述当前帧和所述前一帧之间的拼接线位置。

所述步骤73的最终混合的结果值，其计算方法如下：

Value_out＝weight_cnt*Value_cnt+weight_pre*Value_pre；

公式中，Value_out表示计算得到的最终混合的结果值，weight_cnt表示所述当前帧的混合权值，weight_pre表示所述前一帧的混合权值，Value_cnt表示所述当前帧的插值坐标对应的像素值，Value_pre表示所述前一帧的插值坐标对应的像素值。

如图2所示，本发明提供一种基于移动终端的全景图像实时拼接系统，其包括：

特征点检测模块A，用于实时获取预览的视频流，并对获取的视频流的当前帧进行特征点检测，得到该当前帧的特征点属性序列；

特征点匹配模块B，用于将所述当前帧的特征点属性序列与所述视频流的前一帧的特征点属性序列进行特征点匹配；

变换矩阵计算模块C，用于根据所述特征点匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵；

全景拼接模块D，用于根据所述变换矩阵将所述当前帧与所述前一帧进行实时拼接，得到初步全景图像；或者，根据所述变换矩阵将所述当前帧与所述初步全景图像进行实时拼接，得到中间全景图像；或者根据所述变换矩阵将所述当前帧与所述中间全景图像进行实时拼接，得到最终全景图像；

全景预览模块E，用于对该初步全景图像或者所述中间全景图像或者所述最终全景图像进行预览显示。

所述变换矩阵计算模块C进一步包括第一变换矩阵计算模块C1和第二变换矩阵计算模块C2：

若所述特征点匹配的结果为匹配成功，则调用所述第一变换矩阵计算模块C1，通过RANSAC算法计算出所述匹配对的最优单应映射矩阵，并结合标定的内参矩阵进行计算得到所述变换矩阵；

若所述特征点匹配的结果为匹配失败，则调用所述第二变换矩阵计算模块C2，根据陀螺仪数据计算出所述当前帧与所述前一帧之间的变换矩阵。

本实施例中，还包括羽化混合模块F，用于在拼接过程中对所述当前帧和所述前一帧或所述初步全景图像或所述中间全景图像进行羽化混合处理,从而使得在拼接效果上不会出现明显锯齿现象。

所述移动终端包括：手机、数码相机或平板电脑等配置有摄像头的设备。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种基于移动终端的全景图像实时拼接方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于移动终端的全景图像实时拼接方法，其特征在于：所述的步骤10中，所述特征点检测进一步包括：

11.对所述当前帧进行灰度化处理，生成灰度图；

3.根据权利要求1或2所述的一种基于移动终端的全景图像实时拼接方法，其特征在于：所述特征点属性序列包括：位置属性、方向属性、尺度属性以及对应的描述子。

4.根据权利要求1或2所述的一种基于移动终端的全景图像实时拼接方法，其特征在于：所述的步骤20中，所述特征点匹配进一步包括：

5.根据权利要求4所述的一种基于移动终端的全景图像实时拼接方法，其特征在于：所述的步骤30中，根据所述特征点匹配的结果计算所述当前帧与所述前一帧之间的变换矩阵，其计算方法为：

6.根据权利要求1所述的一种基于移动终端的全景图像实时拼接方法，其特征在于：所述的步骤40或50或60中，根据所述变换矩阵将所述当前帧与所述前一帧或所述初步全景图像或所述中间全景图像进行实时拼接，进一步包括：

7.根据权利要求6所述的一种基于移动终端的全景图像实时拼接方法，其特征在于：所述拼接过程中，还进一步对所述当前帧和所述前一帧或所述初步全景图像或所述中间全景图像进行羽化混合处理，该羽化混合处理的方法包括：

71.计算所述当前帧与所述前一帧之间的偏移量；

8.一种基于移动终端的全景图像实时拼接系统，其特征在于，包括：

9.根据权利要求8所述的一种基于移动终端的全景图像实时拼接系统，其特征在于：所述变换矩阵计算模块进一步包括第一变换矩阵计算模块和第二变换矩阵计算模块：

10.根据权利要求8所述的一种基于移动终端的全景图像实时拼接系统，其特征在于：还包括羽化混合模块，用于在拼接过程中对所述当前帧和所述前一帧或所述初步全景图像或所述中间全景图像进行羽化混合处理。