CN108241645A - 图像处理方法及装置 - Google Patents

Abstract

本发明公开了一种图像处理方法及装置；方法包括：从图像集合中识别出符合相似条件的图像，将所述图像集合中符合相似条件的图像划分到相应的分组；从所述分组的各图像中提取特征点，标记所述分组中任意两个图像相匹配的特征点，确定所述各图像中包括针对相应图像所标记的特征点的特征区域；以所述分组中具有最小特征区域的图像为基准图像，确定所述基准图像的特征区域与所述分组中其他图像的特征区域变换关系、以及所述其他图像相对于所述基准图像的差异区域；以存储所述基准图像、所述变换关系以及所述差异区域的方式存储所述分组中的图像。实施本发明，能够节约因存储图像而造成存储空间的开销，并支持对图像的高效查找使用。

Description

图像处理方法及装置

技术领域

本发明涉及图像处理技术，尤其涉及一种图像处理方法及装置。

背景技术

目前的终端如智能手机和平板电脑等，普遍具有拍摄功能，通过配置摄像头供用户拍摄图像存储，并可以进行随时随地分享。然而，伴随着摄像头的分辨率不断提升，存储图像对存储空间的需求不断增大。

为了减少用户拍摄的图像对存储空间，以节约终端的存储空间的开销，避免影响用户在终端中只能安装数量有限的应用为例，目前有以下几种方案：

1)用户手动整理，删除终端存储的不必要的图像，这种方式需要人工操作，用户难以在短时间中筛选出需要删除的图像，效率低，并且多数情况下用户不希望删除图像，即使是使用连拍方式拍摄的大量类似的图像，用户仍然希望在终端保留。

2)针对每个图像进行压缩处理，虽然能够节约存储空间的开销，但是对图像进行压缩处理不可避免地影响了图像的质量，难以满足用户在某些场合中对高质量图像的需求。

3)通过云端存储服务备份终端本地的图像，并删除终端本地的部分图像，这虽然能够节省终端的存储空间，但是用户需要使用图像时需要登录云端下载，可见，用户获取图像的效率受制于联网状况等不确定性因素的影响，难以保证用户能够高效地查找使用已经拍摄的图像。

可见，对于目前用户普遍存储大量图像的情况，如何实现既节约因存储图像而造成存储空间的开销，又能够支持用户快速查找使用已经拍摄的图像，相关技术尚无有效解决方案。

发明内容

本发明实施例提供一种图像处理方法及装置，能够节约因存储图像而造成存储空间的开销，并支持对图像的高效查找使用。

本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供一种图形处理方法，包括：

从图像集合中识别出符合相似条件的图像，将所述图像集合中符合相似条件的图像划分到相应的分组；

从所述分组的各图像中提取特征点，标记所述分组中任意两个图像相匹配的特征点，确定所述各图像中所标记的特征点构成的特征区域；

以所述分组中具有最小特征区域的图像为基准图像，确定所述基准图像的特征区域与所述分组中其他图像的特征区域变换关系、以及所述其他图像相对于所述基准图像的差异区域；

以存储所述基准图像、所述变换关系以及所述差异区域的方式存储所述分组中的图像。

第二方面，本发明实施例提供一种图像处理装置，包括：

分组单元，用于从图像集合中识别出符合相似条件的图像，将所述图像集合中符合相似条件的图像划分到相应的分组；

特征单元，用于从所述分组的各图像中提取特征点，标记所述分组中任意两个图像相匹配的特征点，确定所述各图像中所标记的特征点构成的特征区域；

变换单元，用于以所述分组中具有最小特征区域的图像为基准图像，确定所述基准图像的特征区域与所述分组中其他图像的特征区域变换关系、以及所述其他图像相对于所述基准图像的差异区域；

存储单元，用于以存储所述基准图像、所述变换关系以及所述差异区域的方式存储所述分组中的图像。

第三方面，本发明实施例提供一种图像处理装置，包括存储器和处理器；存储器中存储有可执行指令，所述可执行指令用于执行本发明实施例提供的图像处理方法。

第四方面，本发明实施例提供一种存储介质，存储有可执行指令，所述可执行指令用于执行本发明实施例提供的图像处理方法。

本发明实施例具有以下有益效果：

通过识别符合相似条件的图像，对图像集合中的相似的图像划分到同一分组，如连拍照片的分组，以基准图像的特征区域为参照，以参照的特征区域变换为其他图像的特征区域的变换关系、以及差异区域的方式存储其他图像，建立分组中的一系列图像从整体上的关联；对于分组中的相似的图像来说，不必分别存储每个图像的原始图像数据，而代替以差异区域、变换关系的方式存储，能够显著节约存储空间的开销；

变换关系与差异区域支持从对基准图像的特征区域快速且准确地还原出分组中的其他图像，由于存储图像的方式不涉及对其他图像的原始图像数据进行压缩处理，保证了分组中其他图像的质量，避免相关技术因压缩图像带来的图像质量损失的问题。

附图说明

图1-1是本发明实施例提供的图像处理方法的一个可选的处理示意图；

图1-2是本发明实施例提供的将图像集合进行分组的一个可选的示意图；

图1-3是本发明实施例提供的图像m与图像n的特征点进行匹配的一个可选的示意图；

图1-4是本发明实施例提供的基准图像的特征区域与其他图像的特征区域的不同变换关系的示意图；

图2是本发明实施例提供的图像处理装置的一个可选的软硬件结构示意图；

图3是本发明实施例提供的图像处理装置的一个可选的功能结构示意图；

图4-1是本发明实施例提供的进行相似照片识别的一个可选的流程示意图；

图4-2是本发明实施例提供的特征点提取、基准照片确定、融合存储分组照片的一个可选的流程示意图；

图4-3是本发明实施例提供的渲染呈现和边界补偿照片的一个可选的流程示意图；

图5是本发明实施例提供的相似照片分组的一个可选的显示示意图；

图6是本发明实施例提供的照片分组并融合存储的一个可选的示意图。

具体实施方式

以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本发明，并不用于限定本发明。另外，以下所提供的实施例是用于实施本发明的部分实施例，而非提供实施本发明的全部实施例，在本领域技术人员不付出创造性劳动的前提下，对以下实施例的技术方案进行重组所得的实施例、以及基于对发明所实施的其他实施例均属于本发明的保护范围。

需要说明的是，在本发明实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元)。

例如，本发明实施例提供的图像处理方法包含了一系列的步骤，但是本发明实施例提供的图像处理方法不限于所记载的步骤，同样地，本发明实施例提供的文件传输设备-设备包括了一系列单元，但是本发明实施例提供的文件传输设备不限于包括所明确记载的单元，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的单元。

对本发明进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。

1)图像，包括：图形应用程序在设计者的操作下创建的，由简单的点、直线、曲线、圆、方框等基本元素组成的照片，也称为矢量图形；利用数码相机、扫描仪等设备中感光部件获取的实际景物的数字形式的映像，也称为电子照片(下文中简称为照片)，照片中还可以包括利用图形应用程序所添加的各种滤镜效果。

2)颜色直方图特征，基于图像的颜色直方图提取的，表示图像的像素在颜色空间的不同区间的分布情况的特征向量。

3)感知哈希算法(PHA，Perceptual Hash Algorithm)，对每张图像生成一个指纹(fingerprint)字符串，即感知哈希特征pHash，然后比较不同照片的指纹之间的趋近程度用于表示图像之间的相似程度。

4)汉明距离(Hamming distance)，用于量化表示如果不相同的数据位不超过5，就说明两张照片很相似；如果大于10，就说明这是两张不同的照片。

5)特征点，图像中比较显著的具有识别性点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。

6)定向简要(ORB，ORiented Brief)特征提取算法，ORB采用加速分段测试提取特征(FAST，Features From Accelerated Segment Test)算法来检测FAST特征点，利用FAST特征点检测的方法从图像中检测FAST特征点，利用Harris角点的度量方法，从FAST特征点从挑选出Harris角点响应值最大的若干个特征点作为ORB特征点，并使用BRIEF特征描述子描述ORB特征点。

7)图像数据(Image Data)，用数值表示图像中的各像素(pixel)在颜色空间的数值，如各像素在红绿蓝(RGB，Red Green Blue)颜色空间的数值的集合。

目前节约存储图像的存储空间的方案，普遍采用图像压缩技术，就图像压缩技术而言，均针对个体的图像进行压缩处理，没有考虑到存储大量相似图像的情况。

例如，用户在拍摄图像时，为了挑选效果最好的图像往往会一次性拍摄多张照片，例如，使用连拍功能拍摄多张照片，这样拍摄的照片中存在大量相似或相同的区域，再例如，对于用户从网络中下载的矢量图片而言，其中往往存在大量相同的元素(如圆、直线和方形等)。

针对上述问题，本发明实施例提供一种图像处理方法，提供对多个图像进行融合存储的方案，参见图1-1，图1-1是本发明实施例提供的图像处理方法的一个可选的流程示意图，包括以下步骤：

步骤101，从图像集合中识别出符合相似条件的图像，将图像集合中符合相似条件的图像划分到相应的分组。

参见图1-2，图1-2是本发明实施例提供的将图像集合进行分组的一个可选的示意图，作为识别符合相似条件的图像的一个示例，提供支持用户手动对图像集合分组的方案，根据用户指定的图像划分到相应的分组。

就图像集合中相似的图像(如连拍的照片)来说，图像中存在相似或相同的区域(也称为特征区域)，可以从图像中提取各种形式的特征进行比较以确定图像之间的相似程度。

当然，还可以从图像集合中识别出符合相似条件的图像并划分到相应的分组，下面进行说明。

在一个实施例中，将图像集合中的各图像转换到颜色空间，如RGB，颜色空间，另外，也可以将各图像转换到色调、色饱和度和亮度(HIS，Hue，Saturation and Intensity)空间，色调、色饱和度和值(HSV，Hue,Saturation,Value)空间、Luv空间和Lab空间等，根据图像在颜色空间的分布计算图像在相应空间的直方图特征，通过比较各图像的直方图特征，将直方图特征相同或相近的图像(如余弦相似度超出余弦相似度阈值的图像)划分到同一个分组。

例如，当用户通过手机相机在两个不同的位置各进行一次连拍操作时，通过上述识别相似图像并分组的处理，每个位置连拍的照片被划分到一个分组，形成两个分组。

在另一个实施例中，通过PHA提取图像集合中各图像的感知哈希特征pHash，比较任意两个图像的pHash的Hamming距离(两个图像的相似程度与两个图像的pHash的Hamming距离)，将彼此图像之间的pHash超出Hamming距离阈值的图像划分到同一个分组。

需要指出地，实际应用中，还可以结合图像的其他相似条件，如通过尺度不变特征转换(SIFT，Scale Invariant Feature Transform)从图像中提取SIFT特征，将SIFT特征相似程度超出SIFT相似程度阈值的图像划分到同一个分组。

另外，上述将图像集合划分为分组的条件可以结合使用，例如，从图像集合中识别出满足以下相似条件的图像划分到同一分组：图像的pHash超出Hamming距离阈值像；图像的直方图特征的余弦相似度超出余弦相似度阈值。

在另一个实施例中，鉴于相似的图像在时间以及位置上的属性相同或相近，可以基于分组中的图像的时间和/或位置的属性进行比较，并进行过滤，包括1)从分组中过滤拍摄位置距离超出拍摄位置距离阈值的图像；2)从分组中过滤拍摄时间间隔超出拍摄时间间隔的图像。可以理解的，以上过滤方式可以择一使用或结合使用。

例如，终端对于在电子相册中存储的进行初步分组后，可以基于照片的拍摄时间和拍摄位置至少之一对分组中照片进行过滤，假设分组中有一张照片的拍摄时间与其他照片的拍摄时间差异较大，则可以在用户查看电子相册时将分组的结果呈现，并提示用户确认该拍摄时间差异较大的照片是否继续在分组中保留，当然，也可以支持用户对分组的其他照片移出分组，或将分组外的照片移入分组。

步骤102，从分组的各图像中提取特征点，标记分组中任意两个图像相匹配的特征点，确定各图像中包括针对相应图像所标记的特征点的特征区域。

在一个实施例中，将任意两个图像相匹配的特征点构成特征点对，例如，记为<图像m特征点，图像n特征点>，其中，1≤m≤M，1≤j≤M，i≠j，M为分组中照片的数量；遍历图像m的特征点以及图像n的特征点，将特征点对中图像m特征点与图像n特征点之间的距离(欧式举例)与特征点距离阈值比较，若大于特征点距离阈值，说明特征点对中的特征点在图像m与图像n中对应的实际对象不同，若小于特征点距离阈值，说明特征点对中的特征点在图像m与图像n中对应的实际对象相同，如物体的漆点、墙面的拐点等，过滤大于特征点距离阈值的特征点，针对分组每个图像标记过滤后剩余的特征点。

对于分组中每个图像中所标记的特征点来说，确定包括图像中特征点的最小区域为相应图像的特征区域，例如，特征区域可以是包括图像中特征点的最小凸多边形，下文中也称为凸包区域。

由于针对每个图像所标记的特征点是与分组中其他图像的特征点匹配，那么，各图像的特征区域中必然存在相同对象的特征点，例如，当分组中是针对任务连拍的面部照片时，则各照片的特征区域必然会包括相应照片中人物面部的成像区域。

在另一个实施例中，为了减少误差并进一步消除错误的特征点匹配，对于图像m与图像n的过滤后剩余的特征点构成的特征点对<图像m特征点，图像n特征点>，遍历计算图像m的特征点以及图像n的特征点的距离，确定的距离中小于特征点距离阈值的距离，并将小于特征点距离阈值的距离求取平均值得到平均最小距离，若所述平均最小距离是否小于平均最小距离阈值；参见图1-3，图1-3是本发明实施例提供的图像m与图像n的特征点进行匹配的一个可选的示意图，如果是，如图1-3匹配(1)所示，则说明图像m特征点与图像n特征点形成整体上的良好匹配，标记任意两个图像的过滤后剩余的特征点，如果否，如图1-3匹配(2)所示，说明图像m特征点与图像n特征点的匹配存在难以忽略的误差，丢弃图像m特征点与图像n特征点。

步骤103，以分组中具有最小特征区域的图像为基准图像，确定基准图像的特征区域与分组中其他图像的特征区域变换关系、以及其他图像相对于基准图像的差异区域。

由于各图像的特征区域中必然存在相同对象的特征点，对于分组中各图像的特征区域而言，通过比较得到最小特征区域是分组中各图像所共有的，例如，对于连拍的人物的面部的照片而言，最小特征区域是照片中人物面部的成像区域。

其他图像的特征区域与最小特征区域可能是一致的，如拍摄者拍摄的角度以及被拍摄者的位姿不变的情况下连拍的照片，各照片中人物面部的成像是一致的；参见图1-4，图1-4是本发明实施例提供的基准图像的特征区域与其他图像的特征区域的不同变换关系的示意图，基准图像的特征区域可能需要进行变换才能与其他图像的特征区域一致，如进行包括旋转、平移、拉伸和缩放中至少一种变换，以基准图像的特征区域裁剪所述其他图像中相匹配的区域，在基准图像的特征区域与所裁剪得到的区域之间进行变换，在变关系中记录所需要旋转的角度、平移的唯一、拉伸的幅度和缩放比例(下文中也称为变换数据)，当然，当基准图像的特征区域不进行变换即与其他图像的特征区域一致，这时，可以记录一种“特殊”的变换关系，即基准图像的特征区域不需要进行变换即可与其他图像的特征区域一致，通过一个约定的字段如“1”来表示这种特殊的变换关系，或者，缺省不记录这种特殊的变换关系，以表明基准图像的特征区域与其他图像的特征区域是一致的。

对于分组中除基准图像的其他图像来说，其特征区域是可以通过对基准图像的特征区域通过变换得到的，另外还有一部分区域是基准图像中所未具有的区域，即也就是以基准图像的特征区域裁剪其他图像中相匹配的区域之后所剩余的区域，

步骤104，以存储基准图像、变换关系以及差异区域的方式存储分组中的图像。

对于分组的图像来说，采用如下的方式存储：

1)基准图像，即基准图像的原始图像数据

2)基准图像的特征区域，即基准图像的特征区域在基准图像中所分布的区域；

3)其他图像的特征区域的变换关系，记录了从基准图像的特征区域变换为其他图像的特征区域所需要进行的变换；

4)其他图形的差异区域，即基准图像搜不具有的区域的原始图像数据。

从上述针对分组中图像的存储方式可以看出，仅需要存储基准图像、以及其他图像的差役区域的原始图像数据，对于其他图像的特征区域而言仅需要存储变换关系，

在另一个实施例中，对呈现分组中的基准图像以及其他图像进行说明。

步骤105，预渲染画布，在画布上加载基准图像。

若待呈现的图像为基准图像，则执行步骤105并结束，若待呈现的图像为其他图像时，执行后续步骤106和步骤107。

步骤106，读取待呈现的其他图像的变换关系以及差异区域，基于变换关系对基准图像的特征区域进行仿射变换，形成待呈现的其他图像的特征区域。

步骤107，在画布上基于仿射变换后的特征区域的位置，加载所读取的差异区域。

为了避免待呈现的其他图像特征区域与差异区域的边界显得突兀、使得其他图像呈现出一种很明显的贴合感的问题，可以对边界进行模糊处理，或者处可以计算边界的特征值，然后采用平滑变换函数对边界进行平滑过渡，使得边界的效果过渡更加自然。

本发明实施例还提供用于实施上述图像处理方法的图像处理装置，装置可以基于用户侧的终端，例如，智能手机、平板电脑、笔记本电脑，也可以为部署在网络中的用于提供文件传输后台服务的服务器，当然，装置也可以分布部署在用户侧终端以及网络侧的服务器中。

在硬件层面上，实现装置的硬件资源包括如处理器和内存的计算资源、如网络接口的通信资源实现；在软件层面上，设备可以实施为存储于存储介质中的可执行指令(包括诸如程序、模块之类的可执行指令)。

如上，参见图2示出的本发明实施例提供的图像处理装置10的一个可选的软硬件结构示意图，图像处理装置10包括硬件层、驱动层、操作系统层和应用层。然而，本领域的技术人员应当理解，图2示出的图像处理装置10的结构仅为示例，并不构成对图像处理装置10结构的限定。例如，图像处理装置10可以根据实施需要设置较图2更多的组件，或者根据实施需要省略设置部分组件。

图像处理装置10的硬件层包括处理器11、输入/输出接口13，存储介质14以及网络接口12，组件可以经系统总线连接通信。

处理器11可以采用中央处理器(CPU)、微处理器(MCU，Microcontroller Unit)、专用集成电路(ASIC，Application Specific Integrated Circuit)或逻辑可编程门阵列(FPGA，Field－Programmable Gate Array)实现。

输入/输出接口13可以采用如显示屏、触摸屏、扬声器等输入/输出器件实现。

存储介质14包括采用闪存、硬盘、光盘等非易失性存储介质，以及双倍率(DDR，Double Data Rate)动态缓存等易失性存储介质，其中非易失性存储介质存储有操作系统的文件系统结构(包括操作系统库，操作系统程序)，还存储有应用层中各应用的数据。

示例性地，存储介质14可以与图像处理装置10的其他组件集中设置，也可以相对于图像处理装置10中的其他组件分布设置。网络接口12向处理器11提供外部数据如异地设置的存储介质14的访问能力，示例性地，网络接口12可以基于近场通信(NFC，Near FieldCommunication)技术、蓝牙(Bluetooth)技术、紫蜂(ZigBee)技术进行的近距离通信，另外，还可以实现如CDMA、WCDMA等通信制式及其演进制式的通信。

驱动层包括用于供操作系统16识别硬件层并与硬件层各组件通信的中间件15，例如可以为针对硬件层的各组件的驱动程序的集合。

操作系统16用于提供面向用户的图形界面，示例性地，包括插件图标、桌面背景和应用图标，操作系统16支持用户经由图形界面对设备的控制本发明实施例对上述设备的软件环境如操作系统类型、版本不做限定，例如可以是Linux操作系统、UNIX操作系统或其他操作系统。

应用层包括提供有封装有用于执行图形处理方法的应用，如电子相册17，用于对存储介质14中存储的存在部分相同区域的图像进行融合存储。

对于图像处理装置10部署在终端的情况，应用层可以包括如即时通信客户端19，提供向用户好友传输文件进行共享的功能，再例如网盘客户端18，提供将图像处理装置10本地的文件(如用户图像、视频等个人文件，以及操作系统设置文件、安装包文件)上传到云端的服务器，并在必要时将文件从云端恢复到图像处理装置10。对于图像处理装置10部署在服务器的情况，应用层可以包括如用于支持即时通信业务的业务逻辑(如用户数据管理、消息管理)。

再对图像处理装置的功能结构进行说明，参见图3，图3是本发明实施例提供的图像处理装置10的一个可选的功能结构示意图，包括：

分组单元21，用于从图像集合中识别出符合相似条件的图像，将图像集合中符合相似条件的图像划分到相应的分组；

特征单元22，用于从分组的各图像中提取特征点，标记分组中任意两个图像相匹配的特征点，确定各图像中包括针对相应图像所标记的特征点的特征区域；

变换单元23，用于以分组中具有最小特征区域的图像为基准图像，确定基准图像的特征区域与分组中其他图像的特征区域的变换关系、以及其他图像相对于基准图像的差异区域；

存储单元24，用于以存储基准图像、变换关系以及差异区域的方式存储分组中的图像。

在一个实施例中，分组单元21，还用于从图像集合中识别出满足以下相似条件至少之一的图像：

图像的直方图特征的余弦相似度超出余弦相似度阈值；

图像的感知哈希特征的汉明距离小于汉明距离阈值。

在一个实施例中，分组单元21，还用于将图像集合中符合相似条件的图像划分到相应的分组之后，执行以下过滤操作至少之一：

从分组中过滤拍摄位置距离超出拍摄位置距离阈值的图像；

从分组中过滤拍摄时间间隔超出拍摄时间间隔阈值的图像。

在一个实施例中，特征单元22，还用于将任意两个图像相匹配的特征点构成特征点对，对特征点对中特征点之间的距离与特征点距离阈值比较，过滤大于特征点距离的特征点，并标记过滤后剩余的特征点。

在一个实施例中，特征单元22，还用于计算任意两个图像的过滤后剩余的特征点的距离中小于特征点距离阈值的距离，将计算得到的距离求取平均值得到平均最小距离；

判断平均最小距离阈值是否小于平均最小距离；

如果是，则标记任意两个图像的过滤后剩余的特征点，

如果否，则丢弃任意两个图像的过滤后剩余的特征点。

在一个实施例中，变换单元23，还用于以基准图像的特征区域裁剪其他图像中相匹配的区域，在基准图像的特征区域与所裁剪得到的区域之间进行变换，确定变换的旋转角度、移动位移和尺度变换；

将裁剪其他图像中相匹配的区域之后剩余的区域标记为其他图像相对于基准图像的差异区域。

在一个实施例中，还包括：

第一呈现单元25，用于当待呈现的图像为基准图像时，预渲染画布，在画布上加载基准图像。

在一个实施例中，还包括：

第二呈现单元26，用于当待呈现的图像为其他图像时，预渲染画布，在画布上加载基准图像；读取待呈现的其他图像的变换关系以及差异区域，则基于变换关系对基准图像的特征区域进行变换，形成待呈现的其他图像的特征区域；在画布上基于变换后的特征区域的位置，加载所读取的差异区域。

在一个实施例中，第二呈现单元26，还用于对待呈现的其他图像特征区域与差异区域的边界，进行模糊处理或平滑过渡处理。

再结合电子相册中的照片(即电子照片)中相似照片进行融合存储的一个示例进行说明，主要涉及相似照片识别，特征点提取，基准照片确定，融合存储分组照片，渲染呈现和边缘补偿几个环节，分别进行说明，可以理解地，下述处理仍然适用于对其他形式的图像如矢量图形的融合存储。

一、相似照片识别

使用类似于pHash或颜色直方图的技术，将相似的照片归类到一起形成相似照片的分组。

另外，一般来说，存在关联的照片在拍摄位置和拍摄时间上有一定的相近性，且照片的拍摄时间在照片上能够以光的变化或是背景的变化上体现出来，因此要将这些因素综合考虑，例如，相似照片的分组中，任意2张照片满足以下相似条件：

1)照片的pHash的Hamming距离小于8；

2)照片的直方图特征的余弦相似度不小于0.96；

3)照片的拍摄位置的距离差值不超过10米；

4)照片的拍摄时间相距在2小时内。

参见图4-1，图4-1是本发明实施例提供的进行相似照片识别的一个可选的流程示意图，包括以下步骤：

步骤201，读取整个相册的N张照片。

对于读取的照片进行步骤202至步骤210的预处理，将相似的照片划分到同一分组。

步骤202，计算每张照片的颜色直方图特征。

颜色直方图描述是不同颜色在整幅照片的不同位置所出现的概率，而并不关注每种颜色所处的空间位置，即颜色直方图不描述图像中的对象或物体，颜色直方图特别适于描述那些难以进行自动分割的照片。

颜色直方图可以是基于照片不同的颜色空间的分布得到。一般使用的颜色空间是RGB颜色空间，另外，颜色直方图也可以基于照片在HIS空间、HSV空间、Luv空间和Lab空间的分布进行计算得到。

计算照片的颜色直方图特征时，需要将照片所分布的颜色空间划分成若干个小的(如8个)区间，每个小区间成为直方图的一个容器(bin)。这个过程称为颜色量化(colorquantization)。然后，通过计算照片的像素中映射到每个区间内的像素的数量，得到照片的像素在不同区间分布情况以特征向量表示。

以计算照片在HSV颜色空间的颜色直方图特征为例，H代表了色调，S代表颜色，V代表饱和度，如果将HSV空间在H维度划分为16份，在S维度划分为8份，在V维度划分为4份，最终会得到表示照片的像素在这512个区间的分布情况的特征向量，特征向量的维度为512(16*8*4)。特征向量的维度可以根据对照片的特征向量的精度进行调整，实际应用中也可以参考对照片融合存储的实时性要求(如实时性要求不高，且有足够计算资源，则可以使用维数相对较大的特征向量)。

步骤203，计算每张照片的pHash。

将照片缩小到预定尺寸如8x8的尺寸，总共64个像素。去除照片的细节，只保留结构、明暗等基本信息，摒弃不同尺寸、比例带来的照片差异。

简化照片的色彩，将缩小后的照片，转为预定级数如64级灰度。也就是说，所有像素点总共只有64种颜色。

计算每个照片的64个像素的灰度平均值，对于照片的每个像素的灰度来说，与灰度平均值进行比较。大于或等于平均值，比较结果记为1；小于平均值，比较结果记为0，将照片的全部像素的比较结果组合在一起，就构成了一个64位pHash，作为照片的指纹。

步骤204，对于任意两个照片i(1≤i≤N，N为分组k中照片的数量)和照片j(1≤j≤N，i≠j)，遍历照片i和照片j，计算任意两个照片pHash值的Hamming距离、以及颜色直方图特征的余弦相似度。

任选一张照片i(1≤i≤N)，计算照片i与照片j(1≤j≤N，i≠j)的pHash值的Hamming距离，并计算照片i与照片j的颜色直方图的余弦相似度。

照片i与照片j的Hamming距离是指，照片i的pHash(如前述64位pHash)与照片j的pHash不同数值的位数，照片i与照片j的相似程度与Hamming距离负相关。

照片i与照片j的颜色直方图的余弦相似度是指，照片i的颜色直方图特征的特征向量，与照片i的照片i的颜色直方图特征的特征向量的夹角的余弦值，照片i与照片j的相似程度与余弦相似度正相关。

步骤205，判断照片i与照片j的pHash值的Hamming距离是小于8，且照片i与照片j直方图特征的余弦相似度大于0.96，如果是，则执行步骤206；否则，返回步骤204，继续遍历照片i与照片j。

上述判断所使用的数值均为示例，根据对识别照片相似精度的需要可以进行调整。

步骤206，判定照片i与照片j两张照片不属于相同的分组，返回步骤204，继续遍历照片i与照片j。

判定照片i与照片j不属于同一照片分组之后，若j小于N，则j＝j+1，并返回步骤204，以继续将照片i与其他的照片进行比较相似程度；若j＝N，且i小于或等于N，则i＝i+1，并返回步骤204，以从相册中选取下一张照片，并与相册中的其他照片进行比较相似程度；若i＝N，且j＝N，说明照片遍历比较结束，相册N张照片已经划分到相应的分组。

在基于照片的pHash值的Hamming距离、以及直方图特征的余弦相似度尽进行分组之后，还可以基于照片的拍摄时间以及拍摄位置对分组结果进行进一步调整。

步骤207，将照片i与照片j两张照片划分到同一分组。

将照片i与照片j至于同一照片分组之后，若j小于N，则j＝j+1，并返回步骤204，以继续将照片i与其他的照片进行比较相似程度；若j＝N，且i小于或等于N，则i＝i+1，并返回步骤204，以从相册中选取下一张照片，并与相册中的其他照片进行比较相似程度；若i＝N，且j＝N，说明照片遍历比较结束，相册N张照片已经划分到相应的照片分组。

步骤208，对于每个照片的分组，判断分组内的照片i与照片j任意两张，判断照片是否符合拍摄位置以及拍摄时间相近条件，即拍摄位置的距离差值是否不超过10米，且照片的拍摄时间相距在2小时内，如果是，则执行步骤210；否则，执行步骤209。

步骤209，从分组中剔除不符合条件的照片；或者，呈现各个分组的结果，并提示不符合拍摄位置以及拍摄时间相近条件的照片，根据用户指令处理。

对于分组内不符合拍摄位置以及拍摄时间相近条件的照片，不参与与分组中其他照片进行融合存储的处理。

步骤210，得到照片分组结果，将分组内当前的照片作为该分组最终所包括的照片。

二、特征点提取、基准照片确定、存储分组照片

参见图4-2，图4-2是本发明实施例提供的特征点提取、基准照片确定、融合存储分组照片的一个可选的流程示意图，包括以下步骤：

步骤301，遍历相似照片的分组中的照片，对于每个分组k(1≤k≤K，K为相似照片的分组的数量)，在分组k中选取一个照片m(1≤m≤M，M为分组k中照片的数量)。

步骤302，对于分组k，在分组中以遍历的方式任意选取照片m之外的照片n(m≠n，1≤n≤M)，遍历照片m与照片n，采用ORB特征提取算法从照片m与照片n任意两个照片中提取特征点。

对于在分组k以遍历方式选中的照片n(m≠n，1≤n≤M)，使用ORB特征提取算法从照片m和照片n分别提取特征点，特征点采用特征描述向量来表示，照片m的特征点的特征描述向量构成描述照片m特征的特征描述矩阵，照片n的特征点的特征描述向量构成描述照片候选n特征的特征描述矩阵。

采用ORB特征提取算法提取特征点的原因在于它使用FAST特征检测算法检测照片中的特征点，可以快速确定照片中特征点的位置，并使用BRIEF特征描述子来描述特征点，提取速度优势非常明显，具有以下优点：1)对噪声不敏感，当照片中具有噪声时仍然能够准确提取特征点；2)旋转不变性，即从照片中提取的特征具有旋转不变性；另外还具有3)尺度不变性。

步骤303，对于分组k中的照片m与照片n，遍历计算任意两个照片中特征点即照片m中的特征点与照片n中的特征点之间的距离。

设照片m和照片n的特征描述矩阵对应为descriptorsA和descriptorsB，使用匹配矩阵来匹配descriptorsA和descriptorsB，即对照片m的任一特征点r(1≤r≤R，R为照片m中特征点的数量)和照片n的任一特征点s(1≤s≤S，S为照片n中特征点的数量)进行匹配，得到照片m特征点r和照片n特征点s之间的距离(欧式距离)。

步骤304，基于特征点的距离过滤照片m与照片n中不满足预定条件的特征点。

对于照片m中任一特征点r和照片n的任一特征点s构成的特征点对<r，s>来说，通过遍历r和s，确定特征点r与特征点s之间的距离(欧式距离)，将特征点r与特征点s之间的距离与特征点距离阈值比较，判断是否小于特征点距离阈值，如果小于就保留这一特征点对中的特征点，否则就过滤这一特征点对中的特征点。作为示例，特征点距离阈值为max(2*最小距离，0.02)。

步骤305，将照片m中过滤后剩余的特征点r＇和照片n中过滤后剩余的特征点s＇的平均最小距离与平均最小距离阈值进行比较；如果小于平均距离阈值，执行步骤306；否则，返回步骤302继续遍历照片m和照片n。

步骤306，记录照片m的特征点r＇和照片n的特征点s＇。

为了减少误差并消除错误的特征点匹配，在步骤305中，将照片m中特征点r＇和照片n中特征点s＇的平均最小距离与平均最小距离阈值进行比较判断照片m中过滤后剩余的特征点r＇和照片n中过滤后剩余的特征点s＇的平均最小距离是否小于平均最小距离阈值(例如，取值为10)：

1)如果小于平均距离阈值，则记录照片m中特征点r＇和照片n中特征点s＇，转入步骤307；

2)如果未小于，则判断是否已经遍历分组k中的照片n，即判断n是否等于K(分组k中照片的数量)，如果未遍历，则n＝n+1，根据照片m与分组k中新的照片n迭代执行步骤302至步骤306，直至遍历分组k中所有的照片n。

其中，对于平均最小距离而言，可以通过遍历照片m中特征点r＇和照片n中特征点s＇构成的特征点对<r＇，s＇>，将特征点对<r＇，s＇>中特征点r＇和特征点s＇之间距离(必然小于距离阈值)的加和与特征点对<r＇，s＇>数量相比得到，平均最小距离表示为：平均最小距离＝Σ小于max(2*最小距离，0.02)的距离/特征点对<r＇，s＇>的数量。

步骤307，判断是否已经遍历分组k中的任意两个照片即照片m和照片n，即判断n是否等于K(分组k中照片的数量)，如果未遍历，则n＝n+1，根据照片m与分组k中新的照片迭代执行步骤302至步骤306，直至遍历分组k中所有的照片n。

步骤308，遍历分组k的照片m(1≤m≤M，M为分组k中照片的数量)，针对分组k中的照片m所记录的特征点进行凸包运算，得到照片m的凸包区域，计算凸包区域的面积即凸包面积。

凸包区域是指包括照片m特征点(即针对照片m所记录的特征点)最小凸多边形m(1≤m≤M，M为分组k中照片的数量)，计算最小凸多边形m(1≤m≤M，M为分组k中照片的数量)的面积作为相应的凸包面积。

步骤309，比较分组k的各个照片的凸包面积，确定面积最小的凸包区域，将具有最小凸包区域的照片记录为分组k的基准照片。

对于分组k的基准照片而言，除去基准照片与分组k中其他照片相似的区域(即基准照片的最小凸多边形)，从基准照片变换为分组k中的其他照片的处理，与选取分组k的其他照片作为基准照片(并转换为分组k中的其他照片而言)，所进行的变换(或过渡)最少。

步骤310，确定基准照片变换为其他照片时，基准照片的凸包区域是否需要进行的变换(以及变换数据)、以及在基准照片中需要覆盖的区别区域。

以基准照片的凸包区域为基准，对分组k内的其他照片按照凸包区域进行裁剪，每个照片裁剪后剩余的区域通过仿射变换(包括旋转和平移中的至少一种)拉伸到相同。

对于分组k内的其他照片可以分为这样的两部分区域：1)第一区域，是与基准照片的凸包区域相同，或与基准照片的凸包区域相似的区域，相似的区域可由基准照片的凸包区域进行变换(旋转、平移、拉伸和缩放中至少一种变换方式进行变换)得到；2)第二区域，是基准照片所未具有的差异区域，在需要呈现其他照片时，需要将其他照片的第二区域在基准照片中进行覆盖。

步骤311，对于分组k，基于基准照片进行存储：存储分组k的基准照片、基准照片的凸包区域的信息、以及分组k内的其他照片与基准照片存在区别的区域(即为区别区域)。

理论上，步骤310进行多次操作的时间复杂度很高，几乎不太可能实际应用；实际应用中，步骤310迭代一到两次，只要保证在其他照片裁剪得到的凸多边形的总面积至少占据相应照片的预定比例(如70％)即可，说明分组中的照片可以采用本发明实施例提供的存储方案。

对于分组k中的照片来说，通过如下的方式存储：

1)基准照片，包括基准照片的原始图像数据以及基准照片的凸包区域(在基准照片中的位置)；

2)其他照片，第一区域数据，第一区域数据是用于记录第一区域与基准照片的凸包区域的关系，如与基准区域的凸包区域相同，或者，需要通过变换数据进行变换得到，并记录相应的变换数据；第二区域，其他照片包括的相对于基准照片的差异区域的原始图像数据。

步骤312，判断是否已经遍历处理分组k，如果没有，则k＝k+1，返回步骤301处理下一个分组，否则结束。

例如，对于图5示出的本发明实施例提供的相似照片分组的一个可选的显示示意图，以图5中的照片(1)作为基准照片，对应的凸包区域可以为对于其他照片即照片(2)至照片(6)而言，均可由在照片(1)的基础上覆盖差别区域如照片(7)至照片(8)所示而形成，并且，可以看出地，对于从基准照片(1)变换为照片(2)至照片(6)而言，由于基准照片(1)的凸包区域(10)相对于照片(2)至照片(9)的凸包区域(9)并未发生平移或者旋转，因此，对于照片(2)至照片(6)而言，第一区域数据不包括变换数据，第二区域包括有照片(2)至照片(6)相对于照片(1)的差异区域，包括需要在照片(1)的凸包区域中叠加的图形元素，以及在照片(1)中凸包区域的之外需要叠加的图形元素。

三、渲染和边缘补偿

参见图4-3，图4-3是本发明实施例提供的渲染呈现和边界补偿照片的一个可选的流程示意图，包括以下步骤：

步骤401，预渲染画布，加载基准照片。

对于显示分组k中的基准照片来说，通过执行步骤401即可完成，后续针对显示分组中其他照片进行说明。

步骤402，查询待呈现照片(分组k中出基准照片之外的其他照片)，第一区域数据是否有变换数据，如果有，则执行步骤403，否则执行步骤404。

如果待呈现照片的第一区域数据没有变换数据，说明待呈现照片的第一区域与基准照片的凸包区域相同，呈现待呈现照片可以直接复用基准照片的凸包区域进行渲染。

步骤403，将基准照片的凸包区域按照变换数据进行变换形成待呈现照片的第一区域，替换基准照片的相应的凸包区域进行渲染。

如果待呈现照片的第一区域数据包括变换数据，说明待呈现照片的第一区域是基准照片的凸包区域进行变换得到，基于变换数据将基准照片的凸包区域进行变换(如旋转、平移和缩放的至少一种)，形成呈现待呈现的第一区域并进行渲染。

步骤404，将待呈现照片的第二区域替换替换基准照片的相应区域进行渲染。

步骤405a，计算待呈现照片的第一区域与第二区域的边界特征，使用平滑函数对于边界做平滑过渡。

为了避免第一区域与第二区域的结合处显得突兀、使得照片呈现出一种很明显的贴合感的问题，可以计算边界的特征值，然后采用平滑变换函数对边界进行平滑过渡，使得边界的效果过渡更加自然。

步骤405b，对边界进行模糊处理。

为了避免第一区域与第二区域的结合处显得突兀、使得照片呈现出一种很明显的贴合感的问题，鉴于第一区域与第二区域的结合并非照片的内容主体区域，可以对第一区域与第二区域的结合边界进行模糊处理，从而消除边界的突兀的显示效果，与对边界进行过度处理相比，能够节约资源的开销。

再参见图6，图6是本发明实施例提供的照片分组并融合存储的一个可选的示意图，对图像信息处理装置的应用进行说明。

场景1)图像信息处理装置部署在用户侧手机，在应用层面上，提供为对图像进行处理的应用，如电子相册，存储有用户通过手机拍摄的各种照片，通常，存储有大量的连拍方式拍摄的照片，或者使用手动多次按快门拍摄的照片，用户打开电子相册后可以查看电子相册中存储的照片，当用户希望节省手机的存储空间时，通过手动方式对照片进行分组，或者通过电子相册的自动分组功能对照片进行分组，并可对电子相册提示的分组中拍摄时间和/或拍摄位置与其他照片具有较大差异的照片，对分组结果进行调整；分组确定后，对于各个分组，识别出基准照片，其他照片与基准照片的变换关系(上文中也称为变换数据)以及差异区域。如果在手机本地存储分组中的照片，则只需要存储基准照片以及差异区域的原始数据，以存储变换关系代替存储其他图像的特征区域的原始图像数据，对于目前以高分辨率相机拍摄的照片来说，能够显著节约存储空间的开销。

另外，在需要呈现其他图像时，电子相册可以通过变换关系快速呈现，由于没有采用算法存储，保证了照片的质量。

综上所述，本发明实施例具有以下有益效果：

本发明实施例提供的对图像融合存储的方案，不同于对单张图像压缩，而是通过分析图像之间的关联关系，实现从整体上基于一系列图像的压缩方式。

本发明实施例综合使用了一系列技术来达到目标：照片相似识别，特征点提取，基准图像确定，变化区域存储，渲染呈现和边界补偿。

通过使用pHash和直方图找到相似的图像，通过特殊优化后的ORB方法提取每组相似图像的特征点，利用凸包找到一组相似图像的基准图像，然后只存储基准图像，其他图像相对于基准图像区域，在必要时存储其他图像的凸包区域相对于基准图像的凸包区域的变换关系。

在呈现图像时，使用画布的方式组合渲染，对于边界区域，可以采用平滑变换或是模糊处理，让图像在渲染后看起来更加自然。

本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储装置、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器、或者网络装置等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储装置、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种图像处理方法，其特征在于，包括：

从图像集合中识别出符合相似条件的图像，将所述图像集合中符合相似条件的图像划分到相应的分组；

从所述分组的各图像中提取特征点，标记所述分组中任意两个图像相匹配的特征点，确定所述各图像中所标记的特征点构成的特征区域；

以所述分组中具有最小特征区域的图像为基准图像，确定所述基准图像的特征区域与所述分组中其他图像的特征区域的变换关系、以及所述其他图像相对于所述基准图像的差异区域；

以存储所述基准图像、所述变换关系以及所述差异区域的方式存储所述分组中的图像。

2.如权利要求1所述的方法，其特征在于，所述从图像集合中识别出符合相似条件的图像，包括：

从所述图像集合中识别出满足以下相似条件至少之一的图像：

所述图像的直方图特征的余弦相似度超出余弦相似度阈值；

所述图像的感知哈希特征的汉明距离小于汉明距离阈值。

3.如权利要求1所述的方法，其特征在于，还包括：

将所述图像集合中符合相似条件的图像划分到相应的分组之后，执行以下过滤操作至少之一：

从所述分组中过滤拍摄位置距离超出拍摄位置距离阈值的图像；

从所述分组中过滤拍摄时间间隔超出拍摄时间间隔阈值的图像。

4.如权利要求1所述的方法，其特征在于，所述标记所述分组中任意两个图像相匹配的特征点，包括：

将任意两个图像相匹配的特征点构成特征点对，对所述特征点对中特征点之间的距离与特征点距离阈值比较，过滤大于所述特征点距离阈值的特征点，并标记过滤后剩余的特征点。

5.如权利要求4所述的方法，其特征在于，所述标记过滤后剩余的特征点，包括：

计算所述任意两个图像的过滤后剩余的特征点的距离中小于所述特征点距离阈值的距离，将计算得到的距离求取平均值得到平均最小距离；

判断所述平均最小距离是否小于平均最小距离阈值；

如果是，则标记所述任意两个图像的过滤后剩余的特征点，

如果否，则丢弃所述任意两个图像的过滤后剩余的特征点。

6.如权利要求1所述的方法，其特征在于，所述以所述分组中具有最小特征区域的图像为基准图像，确定所述基准图像的特征区域与所述分组中其他图像的特征区域的变换关系、以及所述其他图像相对于所述基准图像的差异区域，包括：

以所述基准图像的特征区域裁剪所述其他图像中相匹配的区域，在所述基准图像的特征区域与所裁剪得到的区域之间进行变换，确定变换的旋转角度、移动位移和尺度变换；

将裁剪所述其他图像中相匹配的区域之后剩余的区域标记为所述其他图像相对于所述基准图像的差异区域。

7.如权利要求1所述的方法，其特征在于，还包括：

当待呈现的图像为所述基准图像时，预渲染画布，在所述画布上加载所述基准图像。

8.如权利要求1所述的方法，其特征在于，还包括：

当待呈现的图像为所述其他图像时，预渲染画布，在所述画布上加载所述基准图像；

读取待呈现的所述其他图像的变换关系以及差异区域，基于所述变换关系对所述基准图像的特征区域进行变换，形成待呈现的所述其他图像的特征区域；

在所述画布上基于变换后的特征区域的位置，加载所读取的差异区域。

9.如权利要求8所述的方法，其特征在于，还包括：

对待呈现的所述其他图像特征区域与所述差异区域的边界，进行模糊处理或平滑过渡处理。

10.一种图像处理装置，其特征在于，包括：

分组单元，用于从图像集合中识别出符合相似条件的图像，将所述图像集合中符合相似条件的图像划分到相应的分组；

特征单元，用于从所述分组的各图像中提取特征点，标记所述分组中任意两个图像相匹配的特征点，确定所述各图像中所标记的特征点构成的特征区域；

变换单元，用于以所述分组中具有最小特征区域的图像为基准图像，确定所述基准图像的特征区域与所述分组中其他图像的特征区域的变换关系、以及所述其他图像相对于所述基准图像的差异区域；

存储单元，用于以存储所述基准图像、所述变换关系以及所述差异区域的方式存储所述分组中的图像。

11.如权利要求10所述的装置，其特征在于，

所述分组单元，还用于从所述图像集合中识别出满足以下相似条件至少之一的图像：

所述图像的直方图特征的余弦相似度超出余弦相似度阈值；

所述图像的感知哈希特征的汉明距离小于汉明距离阈值。

12.如权利要求10所述的装置，其特征在于，

所述分组单元，还用于将所述图像集合中符合相似条件的图像划分到相应的分组之后，执行以下过滤操作至少之一：

从所述分组中过滤拍摄位置距离超出拍摄位置距离阈值的图像；

从所述分组中过滤拍摄时间间隔超出拍摄时间间隔阈值的图像。

13.如权利要求10所述的装置，其特征在于，

所述特征单元，还用于将任意两个图像相匹配的特征点构成特征点对，对所述特征点对中特征点之间的距离与特征点距离阈值比较，过滤大于所述特征点距离阈值的特征点，并标记过滤后剩余的特征点。

14.如权利要求13所述的装置，其特征在于，

所述特征单元，还用于计算所述任意两个图像的过滤后剩余的特征点的距离中小于所述特征点距离阈值的距离，将计算得到的距离求取平均值得到平均最小距离；

判断所述平均最小距离是否小于平均最小距离阈值；

如果是，则标记所述任意两个图像的过滤后剩余的特征点，

如果否，则丢弃所述任意两个图像的过滤后剩余的特征点。

15.如权利要求10所述的装置，其特征在于，

所述变换单元，还用于以所述基准图像的特征区域裁剪所述其他图像中相匹配的区域，在所述基准图像的特征区域与所裁剪得到的区域之间进行变换，确定变换的旋转角度、移动位移和尺度变换；

将裁剪所述其他图像中相匹配的区域之后剩余的区域标记为所述其他图像相对于所述基准图像的差异区域。

16.如权利要求10所述的装置，其特征在于，还包括：

第一呈现单元，用于当待呈现的图像为所述基准图像时，预渲染画布，在所述画布上加载所述基准图像。

17.如权利要求10所述的装置，其特征在于，还包括：

第二呈现单元，用于当待呈现的图像为所述其他图像时，预渲染画布，在所述画布上加载所述基准图像；

读取若待呈现的所述其他图像的变换关系以及差异区域，基于所述变换关系对所述基准图像的特征区域进行变换，形成待呈现的所述其他图像的特征区域；

在所述画布上基于变换后的特征区域的位置，加载所读取的差异区域。

18.如权利要求17所述的装置，其特征在于，

所述第二呈现单元，还用于对待呈现的所述其他图像特征区域与所述差异区域的边界，进行模糊处理或平滑过渡处理。