WO2014183385A1

WO2014183385A1 - 一种终端及其实现图像处理的方法

Info

Publication number: WO2014183385A1
Application number: PCT/CN2013/085782
Authority: WO
Inventors: 刘冬梅; 刘凤鹏
Original assignee: 中兴通讯股份有限公司
Priority date: 2013-05-17
Filing date: 2013-10-23
Publication date: 2014-11-20
Also published as: CN104166972A

Abstract

一种终端及其实现图像处理的方法，所述方法包括：图像获取步骤：获取具有重叠区域的两幅图像；图像糅合步骤：按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。本发明所述方法通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理。

Description

一种终端及其实现图像处理的方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种终端及其实现图像处理的方法。

背景技术

随着移动设备技术的飞速发展，移动设备的各项功能也越来越强大。目为人们生活中不可或缺的一部分。随着功能的强大，人们对于听觉和视觉的享受要求也越来越高，但是目前移动设备终端照相机只能实现对单张图片的拍摄，日常使用普通移动设备照相机来获取视野的场景图像时，即使是在高端移动设备上人们必须调节相机的焦距，通过缩放镜头才可以摄取完整的场景，但这样获取照片的分辨率是比较低的，因为相机的分辨率是一定的，拍摄的场景越大分辨率越低（即，相同的分辨率，场景大的话出来的图片就比较模糊，场景小的就比较清晰）；为了获取高分辨率的场景照片不得不通过缩放相机镜头来减小拍摄的视野，但这又得不到完整的场景照片，因此需要在场景的大小和分辨率之间进行折衷。可见，当前终端对于照片的摄取方式还存在一定的功能缺陷，不能满足用户的使用需求。发明内容

实本发明施例提供了一种终端及其实现图像处理的方法，使得终端摄取的图像可以满足视野和分辨率的双重要求。

依据本发明实施例的一个方面，提供了一种终端实现图像处理的方法，包括：

图像获取步骤：获取具有重叠区域的两幅图像；以及

图像糅合步骤：按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。可选地，本发明实施例所述方法中，所述按照重叠区域，将两幅图像进行配准，包括：提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

可选地，本发明实施例所述方法中，所述特征点包括图像的角点。

可选地，本发明实施例所述方法中，所述提取两幅图像的特征点，包括：对于每幅图像，利用 3 x 3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用所述偏导数计算各像素点对应的 Plessy角点检测算法中的对称矩阵 M;

设置选取窗口、以及特征点可用评价函数 R; 其中， R = ^Det(M) , 式

Trace(M) + ε 中 Det(M、 = λ, . Trace(M) = + λ, , 、分别为矩阵 Μ的特征值， ε为使分母不为零的极小值；按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出 R值最大的像素点，移动选取窗口，直到筛选完整幅图；以及

设置特征点判定阔值，将筛选出的各像素点中 R值大于所述判定阔值的像素点设为提取到的特征点。

可选地，本发明实施例所述方法还包括：

在特征点提取前，利用预先设定的边界模板，将图像中的边界特征点删除；

和 /或，在提取图像中的特征点后，提取各特征点中的亚像素特征点，并以提取的亚像素特征点为最终提取的特征点。

可选地，本发明实施例所述方法中，所述在特征点中提取出两幅图像的匹配特征对，包括：

利用粗匹配双向最大相关系数 BGCC算法，对两幅图像中的特征点进行粗匹配，利用随机釆样 RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配，得到精确提取的匹配特征对。

可选地，本发明实施例所述方法中，在对两幅图像中的特征点进行粗匹配之前，所述方法还包括：

利用中值滤波器对两幅图像进行平滑处理，并将原图与滤波处理后图像相减的结果作为粗匹配处理的操作对象。

可选地，本发明实施例所述方法中，所述将配准后的两幅图像进行合成，包括：根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值

/(X，进行设置；其中，设置规则包括：

f(x,y) = , (x, y) e ( n f₂ )

, d_x < d₂, (x, y) e (f, nf₂)

其中， ϋ Λ( 分别表示两幅图像中像素点的灰度值， 4,^ (ο,ι) , 且 4 +^ = 1 ,分别表示两幅图像的渐进因子， ifo₀r为预先设定的判定阔值，；、 /₂分别表示两幅图像。可选地，本发明实施例所述方法中，所述将配准后的两幅图像进行合成，还包括：

釆用拼缝周围 7 X 7区域为拼缝处理区域，并以 3 x 3的模板对所述拼缝处理区域内的像素点进行线性滤波处理。

可选地，本发明实施例所述方法中，在图像获取步骤和图像糅合步骤之间，还包括：

图像预处理步骤：将所述图像获取步骤获取到的两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域。

可选地，本发明实施例所述方法还包括：

3D图像生成步骤：获取合成图像以及与所述合成图像具有重叠区域的另一图像，执行所述图像糅合步骤进行再次合成，重复图像获取及图像糅合过程，得到具有景深的 3D 图像；其中，与合成图像具有重叠区域的另一图像可以为非合成图像，也可以为合成图像。

依据本发明实施例的另一个方面，提供了一种终端，包括：

图像获取模块，其设置成获取具有重叠区域的两幅图像；以及

图像糅合模块，其设置成按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

可选地，本发明实施例所述终端中，所述图像糅合模块是设置成提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

可选地，本发明实施例所述终端中，在图像糅合模块中，特征点包括图像的角点。

可选地，本发明实施例所述终端中，所述图像糅合模块还包括：计算子模块，其设置成对于每幅图像，利用 3 x 3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用该偏导数计算各像素点对应的 Plessy角点检测算法中的对称矩阵 M;

设置子模块，其设置成设置选取窗口、以及特征点可用评价函数 R; 其

Det(M)

中， R , 式中 /^ (Λ^^ Ι^、 Trace(M) = + l₁ , , 分别为矩阵

M的特征值， £·为使分母不为零的极小值；筛选子模块，其设置成按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出 R值最大的像素点，移动选取窗口，直到筛选完整幅图；以及

提取子模块，其设置成设置特征点判定阔值，将筛选出的各像素点中 R 值大于所述判定阔值的像素点设为提取到的特征点。

可选地，本发明实施例所述终端中，所述图像糅合模块还包括：粗匹配子模块，其设置成利用粗匹配双向最大相关系数 BGCC算法，对两幅图像中的特征点进行粗匹配；以及

精确匹配子模块，其设置成利用随机釆样 RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配 , 得到精确提取的匹配特征对。

可选地，本发明实施例所述终端中，所述图像糅合模块还设置成根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值 /(X，进行设置；其中，设置规则包括：

f(x, y) =

其中， ϋ Λ( 分别表示两幅图像中像素点的灰度值， 4,^ (ο,ι) , 且 4 + ^ = 1 ,分别表示两幅图像的渐进因子， ifo₀r为预先设定的判定阔值，；、 /₂分别表示两幅图像。可选地，本发明实施例所述终端还包括：图像预处理模块，和 /或， 3D 图像生成模块，其中：

所述图像预处理模块，其设置成将所述图像获取模块获取到的两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域；以及

所述 3D 图像生成模块，其设置成获取合成图像以及与所述合成图像具有重叠区域的另一图像，触发所述图像糅合模块进行再次合成，重复进行图像获取及图像糅合过程，得到具有景深的 3D 图像；其中，与合成图像具有重叠区域的另一图像可以为非合成图像，也可以为合成图像。

本发明实施例有益效果如下：

本发明实施例所述终端及方法，通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理，得到了宽视野、高分辨率的图像，极大的提高了用户使用体验；本发明实施例所述终端及方法，通过摄取一系列不同角度但具有重叠区域的图像，将所述一系列图像进行空间重叠处理，形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的具有 3D效果的新图像，其不仅实现了宽视野、高分辨率的要求，而且更好的满足了用户的使用需求。附图概述

下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显然，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图 1为本发明实施例一提供的一种终端实现图像处理的方法的流程图；图 2为本发明实施例二中实际匹配点与估计的匹配点的几何示意图；图 3为本发明实施例二中图像处理的整体处理框架图；

图 4为本发明实施例三提供的一种终端实现图像处理的方法的流程图；图 5为本发明实施例三中应用示例的处理框架图；

图 6为本发明实施例四提供的一种终端的结构框图；

图 7为本发明实施例五提供的一种终端的结构框图。

本发明的较佳实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对当前终端设备拍摄的单张图片不能同时满足高分辨率、宽视野的问题，本发明实施例提供了一种终端及其实现图像处理的方法，该方法通过将摄取的具有一定重叠区域的两幅图像进行空间重叠对齐及合成处理，实现了在不降低图像分辨率的条件下获取大视野范围的场景图像。下面就通过几个具体实施例对本发明的具体实施过程进行详细阐述。实施例一

本发明实施例提供一种终端实现图像处理的方法，如图 1所示，包括：步骤 S101 , 获取具有重叠区域的两幅图像；

该步骤中，获取的图像可以是在终端存储模块（如：终端内部存储器和 / 或外部扩充存储器）内存储的图像、也可以是终端实时摄取的图像，本发明实施例不对图像的获取方式做唯一限定。

其中，当终端釆用实时摄取的方式获取图像时，本实施例给出一种优选的实施方式，具体为：在终端内设置两组可旋转的摄像头，由于这两组摄像头可以变换角度进行拍摄，所以可以同时获取不同角度的且具有一定重叠区域的图像。该获取方式为加快图像处理速度提供有力支撑。

步骤 S102, 按照所述重叠区域，将两幅图像进行配准。

该步骤中，按照重叠区域，将两幅图像进行配准，包括：提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

其中，特征点可以为根据图像性质提取的适用于图像糅合的任何几何或灰度特征。本发明实施例优选地釆用角点作为待提取的特征点。

对于角点的提取主要釆用角点检测算法来实现，关于角点检测算法主要分为基于边缘和基于灰度的两类提取算法，由于前者对边缘的提取的依赖性比较大，如果检测到的边缘发生错误或是边缘线发生中断（在实际中经常会遇到这种情况），则会对角点提取结果造成较大影响，而基于灰度的提取算法主要通过计算局部范围内灰度和梯度变化剧烈的极大点来达到检测目的，无需进行边缘提取，因而在实际中得到了广泛应用。其中最具代表性的几种角点检测算法有： Moravec算子角点检测、 Forstner算子角点检测、 Susan检测算法、 Plessy角点检测算法。 Plessy角点检测算法在一致性和有效性方面均具有优良的性能以及所提取的角点被证明具有旋转、平移不变性、稳定性好等优点。

其中， Plessy 角点检测算法的基本思想是利用图像的灰度变化率确定角点，该方法通过计算一个与图像的自相关函数相联系的矩阵 M的特征值，即自相关函数的一阶曲率来判定该点是否为角点，如果两个曲率值都高，那么就认为该点是角点。

Pless 角点检测算法定义了任意方向上的自相关值 ^£(^M，^V)为：

I_x、 I_y分别为图像 x、 y方向的梯度值， σ为表征高斯滤波器宽度的参数，其中表示卷积运算。 Μ是 2 x 2的对称矩阵，因此必然存在 2个特征值 4和特征值反映了图像像素的特征性，即如果像素点（^χ' 是一特征点，那么关于这个点的 Μ矩阵的 2个特征值都是正值，并且它们是以 (^χ' 为中心的区域中的局部最大值，则特征点可用评价函数表示为：

R = Det(M) - kTrace² (M) (2) 其中， D M、 = 、 Trace{M) = l₁ + l_{2 ?} I ^为矩阵的行列式， Trace为矩阵的迹 (矩阵对角线元素的和)。设定一个合理的阔值 T, 当实际由公式 (2)计算出来的 R大于该阔值时，则表示找到了一个角点，否则就不是。特征点一般是局部范围内的极大兴趣值对应的像素点。因此，在计算完各点的 R值后，要进行非极大值抑制，提取原始图像中所有局部兴趣值最大的点。其中 k是一实验值，一般 k = 0.04 ~ 0.06。

在步骤 S102中，提取两幅图像的匹配特征对包括：

对两幅图像提取的特征点中有相当多的冗余点，如果不去除这些冗余的特征点将会导致匹配参数的误差，甚至导致匹配失败。选择合适的点匹配准则寻找对应特征对是实现图像糅合正确性和精确度的重要保证，常用的匹配特征对提取方法包括但不限于为： Hausdorff 距离法、松弛标记法、确定性退火算法以及迭代最近点算法 (ICP)。

步骤 S103 , 将配准后的两幅图像进行合成。

具体地，在将两图像之间在空间上进行配准之后，就需要选择合适的图像合成策略，完成图像的糅合。所谓图像合成就是将源图像的像素结合起来生成糅合平面上的像素，实现相邻图像间自然的过渡。其中，所选择的合成策略要能够尽量的减少遗留变形以及图像间亮度差异对合并效果的影响，以获得对同一场景的更为精确、更为全面、更为可靠的图像描述。基于上述的选取标准，本发明实施例中关于选取的图像合成策略可以但不限于为渐进渐出合成方法。

综上所述，本实施例所述方法通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理，得到了宽视野、高分辨率的图像，极大的提高了用户使用体验。实施例二本发明实施例提供了一种终端实现图像处理的方法，本实施例所述方法在实施例一所述的主体架构下，提出了几种改进方案，能够进一步加快图像处理速度和精度，继续如图 1所示，包括如下步骤：

步骤 S101 , 获取具有重叠区域的两幅图像；

该步骤的实施过程与实施例一相同，详细实施方式不再赘述。

步骤 S102, 按照所述重叠区域，将两幅图像进行配准。

在该步骤中，关于特征点的提取釆用改进的 Plessy角点检测算法，具体下：

针对原始的 Plessy角点检测单一阔值设定、定位精度低以及实时性差等一些缺陷，本实施例提出了几点改进，使得在图像中提取出尽可能多又定位精确的特征点，同时加快提取角点的速度。结合实施例一中所述的 Plessy角点检测算法的实施过程，改进后的 Plessy角点检测算法的实施过程包括：

1)对图像的每一个点计算其在横向和纵向的一阶偏导数 I_X、 Iy以及两者的乘积 I_xI_y, 利用得到的偏导数信息，按照公式（1 ) , 计算得到对称矩阵 M。

在图像处理中不易求得偏导数，而本实施例中给出一种优选的计算方式：利用 3 χ 3卷积核与原图像做卷积便可求得原图像每一点的一阶偏导数 I_x、 I 其中， 3 x 3卷积核可以但不限于釆用如下模板表示： α

那么得到的一阶偏导数 4 =— i_v = i®o 。

dx 3y 2)原始 Plessy角点检测算法中，特征点可用评价函数 R中的 k值是一个经验常数，使用起来随意性较大，造成角点提取可靠性的降低，在图片状况不一的情况下，容易影响到角点提取的准确性。考虑到 R实质是角点检测信号，行列式的值大、迹的值小为角点信号，反之为边缘信号的特点。因此改进后的算法中，釆用如下比值法计算特征点可用评价函数：

R = ^{Det M} ( 3 )

Trace(M) + ε 其中，为了避免矩阵迹有时可能为零，在分母中补加很小的数与原始 Plessy角点检测算法中提出的评价函数相比，它避免参数 k 的选取，减少了 k选择的随机性，具有实用性，可靠性好，准确度高。其中， ε取大于零的任意小的数， ε具有任意性，既然表达任意接近，那么 ε可以任意取正值，惟其可以任意取值，才可准确表达极限定义中"无限接近"的含义。但为了突出 "无限接近"通常取 0<ε<1。

3)选取局部极值点，习惯上的做法都是选择一个适当的阔值，然后将兴趣值大于该阔值的像素点作为特征点，那些兴趣值小于阔值的像素点，则被筛选掉。这种做法虽然简单易实现，但单一阔值的选取对于非均质图像来说可能导致部分特征点也被筛选掉。为了克服这一缺陷，改进后的 Plessy角点检测算法釆用图像中窗口内抑制非最大的方式结合阔值的设定来进行特征点的筛选，原理为：在图像中选取一个适当的窗口，将窗口中 R最大的像素点保留，而将窗口中其余像素点删去，移动窗口对整幅图像的像素点进行筛选。局部极值点的数目往往很多，根据要求设定一合理的阔值，将筛选出的最大的若干个像素点作为最后的特征点提取结果。优选地，为了加快提取的速度，釆用预先设定的边界模板将对匹配作用不大的边界角点排除。

上述选过程通过步骤方式表述为：

3.1 )设置选取窗口，按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出 R值最大的像素点，移动选取窗口，直到筛选完整幅图；

3.2 )设置特征点判定阔值，将筛选出的各像素点中 R值大于所述判定阔值的像素点设为提取到的特征点。

其中，所述的 "选取窗口" 、 "判定阔值" 的大小可以根据实际要求进行灵活设置，主要表现为，当选取窗口较小时，筛选出的像素点较多；反之，筛选出的像素点较少。而对于判定阔值，设定的越大，最终提取的特征点就越少；反之，提取的特征点较多。本发明实施例在研发阶段釆用判定阔值为 2200, 抑制非最大的窗口为 7*7 , 但选取窗口和判定阔值可以根据需求进行灵活设置，本实施例不对其大小做唯一限定。

优选地，在提取出特征点后，还可以进行亚像素特征点（角点）定位过程，通过定位亚像素特征点定位过程，可以进一步精确提取的特征点。定位实现方式为：釆用二次多项式^ + ² + ^ + + + / = ， y来逼近特征点可用评价函数 R, 实现角点的亚像素级精确位置。确切地说，用已经检测出来的角点周围的普通像素点可以建立含有 a ~ f 的 6个未知量的超定方程组，运用最小二乘法求解这个超定方程组，亚像素级角点对应的是二次多项式的极大值点，以该极大值点对应的像素点为提取的精确特征点，换句话说，当极大值点对应的像素点为计算时对应的角点，则提取的精确特征点就为该角点；否则，删除计算时对应的角点，以极大值点对应的像素点为精确提取的角点 (特征点）。

在步骤 S102中，对于匹配特征对优选地釆用如下提取方式：

本实施例中提出的匹配算法分为两步：利用双向最大相关系数 (BGCC) 进行粗匹配；然后用随机釆样法（RANSAC)对其进行提纯，实现图像的精匹配。该方法在去除冗余特征点的同时能准确提取出正确的匹配特征点对。

粗匹配用双向最大相关系数 BGCC ( Bidirectional Greatest Correlative Coefficient ) 的方法，建立一个相似测度 NCC, 只有当两角点均是相对于对方相似度量值最大时才认为匹配成功，具体的：相关系数定义如下:

(2n + l)(2n + ( ₄ )

⁷i、是两幅图像的灰度； _nx_n是在一幅图中选择的窗口大小； A x /是在另一幅图中选择的搜索区域的大小，设第一幅图像中的角点为（¾, i=l...m, 第二幅图像中的角点为（¾, j=l...n, 则和分别为两幅图中第 i个和第 j 个待匹配的特征点。 (^M，^V)是角点窗口区域的平均灰度值：

窗口区域的标准方差

用双向最大相关系数算法进行角点的粗匹配具体为：

1 )以图像 ι中的任意一个角点为中心选取一个 nxn的相关窗口，在中以与 ι中的角点具有相同坐标的像素点为中心选取一个大小为 X 的矩形搜索区域，然后对 ι中的角点与中搜索窗口区域内每一个角点计算相关系数

^C 将相关系数最大的角点作为 ι给定角点的匹配点，这样可以得到一组匹配点集。

2) 同理，给定图像 2中的任意一个角点，搜索图像 ι中对应的窗口区域内与之相关系数最大的角点作为给定角点的匹配点，这样也可以得到一组匹西己点集。

3 )最后在得到的两组匹配点集中搜索相同的匹配角点对，认为该角点对是相互匹配对应的，至此，完成了角点的初始匹配。

在实际操作中为了补偿两幅图像由于光照产生的不同，将图像用中值滤波器（如 7 X 7的中值滤波器）进行平滑，然后将原图与经过滤波的图像相减的结果作为操作的对象。

然而，如果仅使用 BGCC进行匹配就会产生错误的匹配对，有时错误匹配的比例会非常高，严重干扰了变换矩阵的估计，导致图像糅合失败。因此, 必须对特征点对加以校正，去掉错误的匹配对。本实施例中釆用随机釆样法 ( RANSAC )进行精匹配。

RANSAC的基本思想是：首先根据具体问题设计出某种目标函数，然后通过反复提取最小点集来估计该函数中参数的初始值，利用这些初始参数值把所有的数据分为所谓的 "内点" （inliers, 即满足估计参数的点）和 "出格点" （outliers, 即不满足估计参数的点），最后反过来用所有的 "内点" 重新计算和估计函数的参数。具体作法是，在输入数据中釆样所谓的最小点集, 并利用每次取样所得到的最小点集估计出所要确定的参数，同时根据一定的判别准则来判别输入数据中哪些是与该组参数相一致，即 "内点" ，哪些是不一致的，即 "出格点" 。如此迭代一定的次数之后，将对应输入数据中 "内点" 比例最高的所估计出的参数值作为最终的参数估计值。

RANSAC算法应用到本实施例中的具体实施过程如下：

( 1 ) 随机选取 n对匹配点 (选取的 n点应保证样本中的任意三点不在同一直线上)，线性地计算投影变换矩阵 H; 其中， n大于等于 4

( 2 )计算每个匹配点经过投影变换矩阵 H变换后到对应匹配点的距离； ( 3 )根据内点距离小于设定距离阔值 t的原则计算内点，并选取一个包含内点最多的点集，在此内点域上重新估计投影变换矩阵 H;

( 4 ) 随机选取 n对匹配点，返回步骤（2 ) , 如此重复 N次，即可得到较为精确的投影变换矩阵 H, 根据该矩阵 H对粗匹配得到的各匹配点进行投影变换，得到的内点，即为精确提取的匹配特征对。

其中，估计投影变换矩阵 H至少需要 8个方程，也就是需要在相邻的两幅图像中选取 n ( > 4 )对特征对应对，特征对可以通过上述角点匹配过程获得。 ι、 ² 的投影变换为（以齐次坐标表示）：

通过叉积方程可以表示为： ^X;^XHXi ^{= 0} 其中 ⁼(«' )^: 令表示 H的 j行，那么叉积方程可以表示为 Ah=0即

0^T -w'X y'X

W;X 0^Γ -x_t'X\ =0

-y'X ^X 0^T

(8) 实际中通过对 A进行 SVD分解， h的解就是 V的值，进而可以得到矩阵

H₀

上述根据内点距离小于设定距离阔值 t的原则计算内点，具体包括：如图 2所示，设, * 、分别为点 ^、在各自对应图像中估计出来的对应点，则图像中一个点的实际匹配点到其估计匹配点之间的几何距离定义如下：

d(p,p) = d(p,H~^lq) = \\p -H~^lq | , d'(q, q) = d(q, Hp) = \\q-Hp | ( g ) 式中 ΙΙ·Ι表示欧式距离。考虑到对称性，几何距离判决准则函数定义如下： dis― d_{ (p_f， p')² + d_i ^/(q_i， q;)² = p_f - H~q_i + 1|¾ - Hp_i || ， = 1， 2，…， ( 10) 若计算出的 dis大于设定的距离阔值，则对应的匹配点被认为是出格点；若计算出的 dis小于设定的距离阔值，则对应的匹配点被认为是内点，只有内点才适合计算变换矩阵 H。

步骤 S103, 将配准后的两幅图像进行合成。

该步骤中，为了能使糅合区域平滑，保证图像质量，釆用改进的渐进渐出合成方法进行图像合成，具体如下：

原始的渐进渐出合成方法将图像重叠区域中像素点的灰度值 f(x,y)由两图像中对应像素点的灰度值 f (x,y)和 f₂ (x,y)的加权平均得到：

f(x,y) =dl xfl(x,y)+d2 χβ (x,y) 其中、 d₂是渐变因子，其取值范围限制在 (0, 1)之间，满足 4+4=1 的关系，在重叠区域中，按照从第 1 幅图像到第 2 幅图像的方向，由 1 渐变至 0, d₂ 由 0渐变至 1, f (x,y)慢慢平滑过渡到 f₂(x,y)。然而，在使用该算法时发现，经处理后的图像虽然消除了图像中的边界，但是重叠区域中仍然出现重影、模糊现象，由于两幅图像重叠部分中个别对应像素灰度值存在较大的差异而使合成后的图像在这些像素处的灰度值出现跳变，为避免这种情入一个阔值 ioor, 对于 f(x,y), 并不直接取 f (x,y)和 f₂(x,y)的加权平均值，而是先计算该点在平滑前两幅图对应像素的灰度值差值，若此差值小于阔值，则取加权平均值为此点灰度值，反之，则取平滑前的灰度值为此点灰度值。

修正算法合成的图像像素 f(x,y)可以表示为：

f(x,y) =

(11)

其中， (^χ' 、 2 分别表示两幅图像中像素点的灰度值， 4, 0,1), 且 4+^=1,分别表示两幅图像的渐进因子， f 分别表示两幅图像。 door 为预先设定的判定阔值，由公式（11 )可知，该判定阔值用以判断重叠区域的像素点具体釆用何种灰度定义方式，当 ioor设置的过大，就会导致所有像素点 | ^_/2I的值可能均小于该 ioor, 导致最终灰度设定不准；当 ioor设置的过小，则会导致所有像素点 l^—^l的值大于 door, 也会导致最终灰度设定不准。所以，在设定 door时建议可以预先对一些重叠区域的灰度值进行对比，找到一个灰度差值的经验值，以该经验值作为参考基准，可调的设置 ioor。所以，本发明实施例仅是提出了 ioor的概念，对于 ioor的具体值不作唯一限定。

再者，在图像合成时，如果选择的拼缝重叠区域过大，则会出现图像模糊、边缘信息不明显等问题，若选择的拼缝重叠区域太小，则无法消除图像的拼缝现象。所以，本实施例中，对于所处理的图像，釆用拼缝周围 7x7 区域为拼缝处理区域，以 3x3 的模板对拼缝区域内的像素点进行线性滤波，得到的效果最好。

本实施例的整体处理流程图如图 3所示。综上所述，本实施例基于实施例一的实施架构，对特征点提取、匹配特征对提取、以及图像合成的方法进行改进，进一步加快图像处理速度和精度。实施例三本实施例提供了一种终端实现图像处理的方法，如图 4所示，包括如下步骤：

步骤 S401 , 获取具有重叠区域的两幅图像。

步骤 S402 , 对获取的两幅图像进行预处理，用以保证下一步图像糅合的精度。其中，预处理过程包括下述处理方式的一种或几种：

方式一，验证获取的两幅图像是否具有重叠区域，当具有重叠区域时，进行下一步；否则，发出错误提示信息；

方式二，将两幅图像转换到同一坐标系下，方便后续的图像糅合处理；方式三，对图像进行平滑滤波处理，为后续图像糅合处理提供精度支持；方式四，初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域。该预处理方式缩小匹配范围，提高了图像处理速度。

当然，上述预处理方式只是列举并非穷举，本领域技术人员容易想到的任何可以为后续图像糅合处理提供支持的操作，都在本发明的保护思想之内。

步骤 S403 , 提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

该步骤的实施可以基于实施例一或者实施例二所述的方式实现。

步骤 S404 , 将配准后的两幅图像进行合成。

步骤 S405 , 获取合成图像以及与该合成图像具有重叠区域的另一图像，执行步骤 S403、 S404进行再次合成，重复图像获取及图像糅合过程，得到具有景深的 3D 图像。其中，与合成图像具有一定重叠区域的另一图像可以为非合成图像，也可以为合成图像。

下面就给出使用本实施例所述方法的一种具体应用实现过程，基本处理框架图如图 5所示，具体实现流程包括：

用户可以通过终端界面选择开启图像处理功能；

初始化两组摄像头，调整两组摄像头的角度；在保证一定重叠区域进行图片的拍摄，获取两组不同角度的图片；对两组图片进行图像预处理；

经过处理的两组图片进入图片糅合处理，生成一组合成图片 A;

利用两组摄像头继续拍照进行合成 B、 C、 D ... ... , 将合成图片进行本地存储；

( 7 )直到用户将希望的图片全部拍摄完毕，然后将存储模块中合成的一系列图片进一步进行图像糅合，直到生成不同景深具有 3D效果的图片；

( 8 )用户可以直接预览所生成的图片。

综上所述，本发明实施例所述方法，通过摄取一系列不同角度但具有重叠区域的图像，将所述一系列图像进行空间重叠处理，形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的具有 3D效果的新图像，其不仅实现了宽视野、高分辨率的要求，而且更好的满足了用户的使用需求。实施例四本发明实施例提供了一种终端，如图 6所示，具体包括：

图像获取模块 610, 用于获取具有重叠区域的两幅图像；

图像糅合模块 620 , 用于按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

具体的，所述图像糅合模块 620提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

其中，图像糅合模块 620中的特征点可以为根据图像性质提取适用于图像糅合的任何几何或灰度特征。本发明实施例优选地釆用角点作为待提取的特征点。

本实施例中，图像糅合模块 620, 可以通过如下角点检测算法进行角点提取： Moravec算子角点检测、 Forstner算子角点检测、 Susan检测算法、 Plessy 角点检测算法。其中， Plessy 角点检测算法在一致性和有效性方面均具有优良的性能以及所提取的角点被证明具有旋转、平移不变性、稳定性好等优点。

本实施例中，优选地釆用改进的 Plessy角点检测算法进行角点提取，此时，图像糅合模块 620包括：计算子模块 621、设置子模块 622、筛选子模块 623和提取子模块 624; 其中：

计算子模块 621 , 用于对于每幅图像，利用 3 x 3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用该偏导数计算各像素点对应的 Plessy角点检测算法中的对称矩阵 M;

设置子模块 622,用于设置选取窗口、以及特征点可用评价函数 R;其中，

R = ^Det(M、 , 式中 Z¾t(M) = l^、 Trace(M) = + ₂ , . 分别为矩阵 Μ Trace(M) + ε

的特征值， £·为使分母不为零的极小值；筛选子模块 623 , 用于按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出 R值最大的像素点，移动选取窗口，直到筛选完整幅图；

提取子模块 624, 用于设置特征点判定阔值，将筛选出的各像素点中 R 值大于所述判定阔值的像素点设为提取到的特征点。

优选地，在经过模块 621至 624的特征点提取前，利用预先设定的边界模板，将图像中的边界特征点删除。在经过模块 621至 624的特征点提取后，提取各特征点中的亚像素特征点，并以提取的亚像素特征点为最终提取的特征点。

本实施例中，图像糅合模块 620提取匹配特征对的方法包括但不限于为： Hausdorff 距离法、松弛标记法、确定性退火算法以及迭代最近点算法 (ICP)。本实施例中，为了在去除冗余特征点的同时能准确提取出正确的匹配特征点对，优选地，釆用双向最大相关系数法与随机釆样法相结合的方式进行匹配特征对的提取。此时，图像糅合模块 620包括：粗匹配子模块 625和精确匹配子模块 626; 其中：

粗匹配子模块 625, 用于利用粗匹配双向最大相关系数 BGCC算法，对两幅图像中的特征点进行粗匹配；

优选地 , 在粗匹配子模块 625对两幅图像中的特征点进行粗匹配之前利用中值滤波器对两幅图像进行平滑处理，并将原图与滤波处理后图像相减的结果作为粗匹配处理的操作对象。

精确匹配子模块 626, 用于利用随机釆样 RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配 , 得到精确提取的匹配特征对。本实施例中，图像糅合模块 620, 优选地釆用改进的渐进渐出合成方法, 对配准后的两幅图像的各像素点的灰度值 · ^χ，进行设置，实现图像的合成; 其中，设置

f(x,y) =

其中， _ ;(x, 、 /₂(x,_y)分别表示两幅图像中像素点的灰度值， 4, e (0,l) , 且 4+ =i ,分别表示两幅图像的渐进因子， ifo₀r为预先设定的判定阔值，；、

/₂分别表示两幅图像。再者，在图像合成时，如果选择的拼缝重叠区域过大，则会出现图像模糊、边缘信息不明显等问题，若选择的拼缝重叠区域太小，则无法消除图像的拼缝现象。所以，本实施例中，对于所处理的图像，釆用拼缝周围 7x7 区域为拼缝处理区域，以 3x3的模板对拼缝区域内的像素点进行线性滤波，得到的效果最好。

实施例五

本实施例提供一种终端，本实施例包含实施例四中所有的功能模块，是实施例四所述方案的扩展方案，如图 7所示，包括：

图像获取模块 710, 用于获取具有重叠区域的两幅图像；

图像预处理模块 720, 用于将图像获取模块 710获取到两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到大致的重叠区域，并以该重叠区域为特征点的提取区域；

图像糅合模块 730, 用于按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成；具体地，图像糅合模块 730提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。 3D图像生成模块 740, 用于获取合成图像以及与该合成图像具有重叠区域的另一图像，触发所述图像糅合模块 730进行再次合成，重复进行图像获取及图像糅合过程，得到具有景深的 3D 图像；其中，与合成图像具有一定重叠区域的另一图像可以为非合成图像，也可以为合成图像。

综上所述，本发明实施例的所述终端，通过摄取两组不同角度但具有重叠区域的图像，直接针对各个图像提取特征点参数，然后依据各个特征点确定图像间的匹配程度，剔除错误的匹配对，依据配准后的图像进行糅合合成处理，得到了宽视野、高分辨率的图像，极大的提高了用户使用体验；

再者，本发明实施例所述终端，通过摄取一系列不同角度但具有重叠区域的图像，将所述一系列图像进行空间重叠处理，形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的具有 3D效果的新图像，其不仅实现了宽视野、高分辨率的要求，而且更好的满足了用户的使用需求。发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

工业实用性

本发明实施例所述终端及方法，通过摄取一系列不同角度但具有重叠区域的图像，将所述一系列图像进行空间重叠处理，形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的具有 3D效果的新图像，其不仅实现了宽视野、高分辨率的要求，而且更好的满足了用户的使用需求。

Claims

权利要求书

1、一种终端实现图像处理的方法，包括：

图像获取步骤：获取具有重叠区域的两幅图像；以及

图像糅合步骤：按照所述重叠区域，将两幅图像进行配准，并将配准后的两幅图像进行合成。

2、如权利要求 1所述的方法，其中，所述按照重叠区域，将两幅图像进行配准，包括：

提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

3、如权利要求 2所述的方法，其中，所述特征点包括图像的角点。

4、如权利要求 3所述的方法，其中，所述提取两幅图像的特征点，包括：对于每幅图像，利用 3 x 3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用所述偏导数计算各像素点对应的 Plessy角点检测算法中的对称矩阵 M;

Trace(M) + ε 中 Det(M、 = λ, . Trace(M) = + λ, , 、分别为矩阵 Μ的特征值， ε为使分母不为零的极小值；按所述选取窗口在所述图像上选取一个检测区域，在所述检测区域内筛选出 R值最大的像素点，移动选取窗口，直到筛选完整幅图；以及

5、如权利要求 2或 3或 4所述的方法，其中，所述方法还包括：在特征点提取前，利用预先设定的边界模板，将图像中的边界特征点删除；

6、如权利要求 2或 3或 4所述的方法，其中，所述在特征点中提取出两幅图像的匹配特征对，包括：利用粗匹配双向最大相关系数 BGCC算法，对两幅图像中的特征点进行粗匹配，利用随机釆样 RANSAC算法，对粗匹配得到的匹配特征对进行精确匹配，得到精确提取的匹配特征对。

7、如权利要求 6所述的方法，其中，在对两幅图像中的特征点进行粗匹配之前，所述方法还包括：

8、如权利要求 1至 4任一项所述的方法，其中，所述将配准后的两幅图像进行合成，包括：根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值/ (x,_y)进行设置；其中，设置规则包括：

其中， ϋ Λ( 分别表示两幅图像中像素点的灰度值， 4,^ (0, 1) , 且 4 +^ = 1 ,分别表示两幅图像的渐进因子， ifoor为预先设定的判定阔值， _；、 /₂分别表示两幅图像。

9、如权利要求 8所述的方法，其中，所述将配准后的两幅图像进行合成，还包括：

10、如权利要求 1至 4任一项所述的方法，其中，在图像获取步骤和图像糅合步骤之间，还包括：

图像预处理步骤：将所述图像获取步骤获取到的两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到粗估计的重叠区域。

11、如权利要求 1至 4任一项所述的方法，其中，所述方法还包括： 3D图像生成步骤：获取合成图像以及与所述合成图像具有重叠区域的另一图像，执行所述图像糅合步骤进行再次合成，重复图像获取及图像糅合过程，得到具有景深的 3D图像。

12、一种终端，包括：

13、如权利要求 12所述的终端，其中，所述图像糅合模块是设置成提取两幅图像的特征点，并在所述特征点中提取出两幅图像的匹配特征对，以所述匹配特征对为对准点，将两幅图像进行配准。

14、如权利要求 13所述的终端，其中，在所述图像糅合模块中，特征点包括图像的角点。

15、如权利要求 14所述的终端，其中，所述图像糅合模块还包括：计算子模块，其设置成对于每幅图像，利用 3 x 3卷积核与图像做卷积，求得图像各像素点的偏导数，并利用所述偏导数计算各像素点对应的 Plessy 角点检测算法中的对称矩阵 M;

设置子模块，其设置成设置选取窗口、以及特征点可用评价函数 R; 其中， _{R =} ^Det(M、 , Det{M) = l₁ , Trace{M) = + l₁ , , 分别为矩阵

Trace(M) + ε

Μ的特征值， £·为使分母不为零的极小值；筛选子模块，其设置成按所述选取窗口在所述图像上选取一个检测区域，在该检测区域内筛选出 R值最大的像素点，移动选取窗口，直到筛选完整幅图；以及

16、如权利要求 13或 14或 15所述的终端，其中，所述图像糅合模块还包括：

粗匹配子模块，其设置成利用粗匹配双向最大相关系数 BGCC算法，对两幅图像中的特征点进行粗匹配；以及

17、如权利要求 12至 15任一项所述的终端，其中，所述图像糅合模块还设置成根据渐进渐出合成方法，对配准后的两幅图像的各像素点的灰度值 /(χ，进行设置；其中，设置规则包括：

f(x, y) =

其中， ϋ Λ( 分别表示两幅图像中像素点的灰度值， 4,^ (ο,ι) , 且 4 + ^ = 1 ,分别表示两幅图像的渐进因子， ifo₀r为预先设定的判定阔值，；、 /₂分别表示两幅图像。

18、如权利要求 12至 15任一项所述的终端，其中，所述终端还包括：图像预处理模块，和 /或， 3D图像生成模块；

所述图像预处理模块，其设置成将所述图像获取模块获取到的两幅图像按设定的预处理操作进行处理；其中，预处理操作包括如下操作中的一项或多项：验证获取的图像、将两幅图像转换到同一坐标系下、对两幅图像进行平滑滤波处理、以及初略定位，得到粗估计的重叠区域；以及

所述 3D 图像生成模块，其设置成获取合成图像以及与所述合成图像具有重叠区域的另一图像，触发所述图像糅合模块进行再次合成，重复进行图像获取及图像糅合过程，得到具有景深的 3D图像。