CN110929615B - 图像处理方法、图像处理装置、存储介质与终端设备 - Google Patents

Abstract

本公开提供了一种图像处理方法、图像处理装置、存储介质与终端设备，涉及图像处理技术领域。所述方法应用于终端设备，所述终端设备包括主摄像头和至少一个辅助摄像头，所述主摄像头的像素数高于所述辅助摄像头；所述方法包括：获取由所述主摄像头采集的主图像和所述辅助摄像头采集的至少一个辅助图像；对所述主图像或所述辅助图像中的场景进行识别；根据场景识别结果确定所述主图像和所述辅助图像的权重；基于所述主图像和所述辅助图像的权重，融合所述主图像和所述辅助图像，得到目标图像。本公开可以实现主摄像头和辅助摄像头的协同工作，发挥出各个摄像头的优势，输出高质量的图像。

Description

图像处理方法、图像处理装置、存储介质与终端设备

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、图像处理装置、计算机可读存储介质与终端设备。

背景技术

目前，智能手机等终端设备上一般都配备有两个或两个以上的摄像头，以支持用户选择不同的拍照模式，利用不同摄像头的特性拍摄出不同特点的图片。例如，主摄像头通常具有高像素，可以拍摄出高清图像，广角摄像头可以拍摄出取景范围大的图像。

然而，每个摄像头都具有自身的局限性，包括图像传感器的性能限制、光圈、焦距等物理参数的限制等，导致单一摄像头拍摄出的图像存在缺陷。例如，主摄像头虽然像素较高，但像素越高，对于拍照时光照条件的要求越高，在非强光照情况下，容易受到串扰，导致所拍摄的图像中噪点较多。

因此，如何克服单一摄像头的局限性，拍摄出高质量的图像，是现有技术亟待解决的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种图像处理方法、图像处理装置、计算机可读存储介质与终端设备，进而至少在一定程度上改善现有的图像拍摄受限于单一摄像头的局限性的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像处理方法，应用于终端设备，所述终端设备包括主摄像头和至少一个辅助摄像头，所述主摄像头的像素数高于所述辅助摄像头；所述方法包括：获取由所述主摄像头采集的主图像和所述辅助摄像头采集的至少一张辅助图像；对所述主图像和所述辅助图像中的至少一张图像进行场景识别；根据场景识别结果确定所述主图像和所述辅助图像的权重；基于所述权重融合所述主图像和所述辅助图像，得到目标图像。

根据本公开的第二方面，提供一种图像处理装置，配置于终端设备，所述终端设备包括主摄像头和至少一个辅助摄像头，所述主摄像头的像素数高于所述辅助摄像头；所述装置包括：图像获取模块，用于获取由所述主摄像头采集的主图像和所述辅助摄像头采集的至少一个辅助图像；场景识别模块，用于对所述主图像或所述辅助图像中的场景进行识别；权重确定模块，用于根据场景识别结果确定所述主图像和所述辅助图像的权重；图像融合模块，用于基于所述主图像和所述辅助图像的权重，融合所述主图像和所述辅助图像，得到目标图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法。

根据本公开的第四方面，提供一种终端设备，包括：处理器；存储器，用于存储所述处理器的可执行指令；主摄像头；以及至少一个辅助摄像头；其中，所述处理器配置为经由执行所述可执行指令来执行上述图像处理方法。

本公开的技术方案具有以下有益效果：

根据上述图像处理方法、图像处理装置、存储介质和终端设备，当用户拍照时，由主摄像头采集主图像，辅助摄像头采集辅助图像，对图像进行场景识别，以确定主图像和辅助图像的权重，最后基于该权重进行图像融合，得到目标图像。一方面，最终输出的目标图像是由主图像和辅助图像融合而来，可以将主摄像头高像素高解析力的特性与辅助摄像头协同工作的优势发挥出来，弥补主摄像头在非强光照环境中噪点严重的缺陷以及辅助摄像头图像细节方面的缺失，输出高质量的图像。另一方面，图像融合的权重是根据场景识别结果确定的，由此考虑到了不同摄像头对于不同场景的适配情况，可以进一步对各个摄像头的特性进行扬长避短，实现智能化的图像融合。再一方面，对图像的处理属于软件算法过程，可以利用现有终端设备的摄像头配置实现，无需对硬件进行改动，从而节约成本，具有较高的实用性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施方式，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种图像处理方法的流程图；

图2示出本示例性实施方式中一种图像处理方法的子流程图；

图3示出本示例性实施方式中滤色阵列的示意图；

图4示出本示例性实施方式中获取主图像的示意图；

图5示出本示例性实施方式中图像处理的示意性流程图；

图6示出本示例性实施方式中一种图像处理装置的结构框图；

图7示出本示例性实施方式中一种用于实现上述方法的计算机可读存储介质；

图8示出本示例性实施方式中一种用于实现上述方法的终端设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式提供一种图像处理方法，可以应用于手机、平板电脑、数码相机等终端设备。该终端设备配置有至少两个摄像头，其中之一为主摄像头，其余的为辅助摄像头。主摄像头的像素数高于辅助摄像头，可以在拍照时提供取景预览，并采集清晰度较高的图像。辅助摄像头用于在不同模式下拍照使用，可以包括以下任意一种或多种：景深摄像头、广角摄像头、长焦摄像头、黑白摄像头。

图1示出了该方法的一种流程，可以包括以下步骤S110至S140：

步骤S110，获取由主摄像头采集的主图像和辅助摄像头采集的至少一张辅助图像。

其中，主图像和辅助图像为针对同一场景或同一目标，同时采集的图像。用户在拍照时，可以通过主摄像头呈现取景预览，当用户按下快门键时，主摄像头和辅助摄像头可以同时采集图像。通常主图像和辅助图像中的主要内容是相同的，但是主摄像头和辅助摄像头的取景范围可能不同，导致主图像和辅助图像的背景范围不同。例如辅助摄像头为广角摄像头时，其取景范围较大，可以拍摄到目标周围较大面积的背景图像。

需要说明的是，如果终端设备仅配备一个辅助摄像头，则通过该辅助摄像头采集一张辅助图像；如果终端设备配备多个辅助摄像头，则可以采用其中任意一个或多个，使每个辅助摄像头分别采集一张辅助图像。具体启用哪个或哪些辅助摄像头，可以根据用户选择的拍照模式或当前的拍照环境而定，例如：用户选择广角模式时，可以启用主摄像头采集主图像，同时启用广角摄像头采集广角辅助图像；当前拍摄人脸图像时，系统识别到人像拍摄环境，可以启用主摄像头采集主图像，同时启用长焦摄像头采集近景辅助图像。

步骤S120，对主图像和辅助图像中的至少一张图像进行场景识别。

本示例性实施方式中，可以采用主图像和辅助图像中的任意一张进行场景识别，例如：在一般模式下，由于主图像的清晰度较高，可以对主图像中的场景进行识别；在广角模式下，由于广角辅助图像中具有更多的图像内容，可以对广角辅助图像中的场景进行识别。当然也可以结合主图像和辅助图像中的任意多张图像进行场景识别。场景识别结果可以是确定图像是哪种场景，也可以是图像与各标准场景的匹配概率。其中，标准场景是指预先选取的一系列可作为参考的典型场景，例如天空、海边、街道、室内、夜景等。考虑到图像内容的复杂性，通常包含多种场景元素，可以看作是不同场景的综合，因此在场景识别中，可以将图像中不同场景元素的特征提取出来，根据其在图像中所占比例，确定图像与各标准场景的匹配概率。

在一种可选的实施方式中，参考图2所示，步骤S120可以具体通过以下步骤S210实现：

步骤S210，利用预先训练的卷积神经网络对主图像和辅助图像中的至少一张图像进行处理，得到该图像和各标准场景的匹配概率。

需要说明的是，步骤S210中的卷积神经网络并非对图像做分类，而是输出对应于不同标准场景的匹配概率，该概率应当接近于实际情况。因此，卷积神经网络可以不设置Softmax层(归一化指数层，经过Softmax处理后将增大数值之间的差别，导致结果失真)，将最后一个全连接层作为输出层，输出层的每个维度分别对应于输入图像和每个标准场景的匹配概率。例如设置50个标准场景，则输出层对应设置50个维度。卷积神经网络的输入层可以设置为单通道，则在执行步骤S210时，可以分别将主图像和每张辅助图像输入卷积神经网络，对应得到多组场景识别结果；卷积神经网络的输入层也可以设置为双通道或三通道等，可以一次性输入多张图像，网络经过综合处理，得到一组场景识别结果。

下面对卷积神经网络的训练过程进行示例性说明：

首先根据实际需求设置初始的网络结构，例如：终端设备具有多个辅助摄像头，每次至少有一个辅助摄像头拍摄一张辅助图像，则可以将网络设置为双通道输入；根据主摄像头和辅助摄像头的像素数设置卷积层和池化层的数量，以及每一层的尺寸。网络中不设置Softmax层，最后一个中间层做完全连接处理后，输出结果。

然后准备训练用的数据集，可以选取开源的场景识别的数据集，但开源数据集中场景识别大多是场景分类的标签，无法直接用于本方案中。在开源数据集的基础上进行改进，可以人为设置数据集的各图像中主要场景比例以及次要场景比例，或者通过目标检测从数据集的各图像中检测对象元素，以添加次要场景比例，例如在一张场景分类标签为“海边”的图像中，如果检测到了人像，将人像区域标准出来，根据其在整张图像中所占比例添加该图像与“人像”场景的匹配概率，并更新该图像与“海边”场景的匹配概率。由此得到各图像所对应的场景匹配概率数组(或向量)，即得到了标签。

再利用数据集训练卷积神经网络，可以将数据集划分训练集和验证集(例如采用8:2划分)，通过训练集调整网络参数，在验证集上验证达到预定的准确率时，训练完成，得到可用的卷积神经网络。

需要补充的是，如果在步骤S120中对主图像和辅助图像中的多张图像进行场景识别，得到了多组场景识别结果，还可以将多组场景识别结果进行综合，例如将不同图像和标准场景的匹配概率求平均，以平均值作为最终的匹配概率。

步骤S130，根据场景识别结果确定主图像和辅助图像的权重。

主摄像头和各辅助摄像头均有不同的物理特性，适合于不同的场景，例如：在夜晚场景下，黑白摄像头可以获取暗处的细节，噪点较低，因此适合于夜晚场景。由此，可以根据场景识别结果确定主图像和辅助图像的权重，该权重可以理解为不同摄像头和当前图像场景的契合度，权重越高，表示对应的摄像头和当前图像场景越契合，在后续图像融合时应当占越高的比重。

在一种可选的实施方式中，基于上述确定的图像和各标准场景的匹配概率，参考图2所示，步骤S130可以具体通过以下步骤S220实现：

步骤S220，根据预先配置的主摄像头、辅助摄像头与各标准场景的适配度，以及至少一张图像和各标准场景的匹配概率，计算主图像和辅助图像的权重。

其中，适配度是指各摄像头适合拍摄各标准场景的程度，例如广角摄像头适合拍合照的场景，其和“合照”场景的适配度较高；长焦摄像头适合拍人脸的场景，其和“人脸”场景的适配度较高。为了便于后续计算，适配度可以处于0～1范围内。

下面对计算权重的方法做示例性说明：假设预先设置了n个标准场景S1～Sn，主摄像头C1与各标准场景的适配度记为向量P1：

P1＝[(C1,S1),(C1,S2)…(C1,Sn)]；

(C1,S1)表示C1和S1的适配度。辅助摄像头C2、C3与各标准场景的适配度分别记为向量P2、P3。

由C1采集一张主图像为K1，C2、C3分别采集辅助图像为K2和K3。通过步骤S210确定K1、K2、K3中至少一张图像和各标准场景的匹配概率，记为向量Q(K)：

Q(K)＝[(K,S1),(K,S2)…(K,Sn)]；

K表示K1、K2、K3中任意一张或多张的结合。

可以通过以下方式计算K1、K2、K3的权重：

进一步的，还可以对上述计算结果W(K1)、W(K2)和W(K3)进行归一化处理。

步骤S140，基于上述权重融合主图像和辅助图像，得到目标图像。

上述权重用于确定图像融合时各图像所占的比重，由此可以将主图像和各辅助图像进行加权，以融合为一张图像，即目标图像，最终输出目标图像。

在融合图像时，可以将对应的像素进行加权计算。但是主图像和辅助图像的像素数一般不同，则可以将主图像中的多个像素和辅助图像中的一个像素进行融合。可见，当主摄像头的像素数为辅助摄像头的整数倍时，更易于实现该融合方法。例如主摄像头为6400万像素，辅助摄像头为1600万像素，则主图像中2*2的像素对应于辅助图像中的一个像素，可以分别将2*2中的每个像素和辅助图像的像素进行加权，得到新的2*2像素值。

在一种可选的实施方式中，主摄像头可以是基于四拜耳(Quad Bayer)滤色阵列的摄像头。参考图3所示，左图示出了标准拜耳滤色阵列，其滤光片的单元阵列排布为GRBG(或BGGR、GBRG、RGGB)，大部分摄像头(或图像传感器)采用标准拜耳滤色阵列；图3中右图示出了四拜耳滤色阵列，其滤光片的单元阵列中相邻四个单元为相同颜色，目前一部分高像素的摄像头(或图像传感器)采用四拜耳滤色阵列。基于此，获取由主摄像头采集的主图像，可以具体包括：

通过主摄像头采集基于四拜耳滤色阵列的原始拜耳图像；

对原始拜耳图像进行解马赛克处理和去马赛克处理，得到主图像。

其中，拜耳图像是指RAW格式的图像，是图像传感器将采集到的光信号转化为数字信号后的图像数据，在拜耳图像中，每个像素点只有RGB中的一种颜色。本示例性实施方式中，利用主摄像头采集图像后，得到的原始图像数据即上述原始拜耳图像，该图像中像素的颜色排列如图3中右图所示，相邻四个像素为相同颜色。

解马赛克处理(Remosaic)是指将基于四拜耳滤色阵列的原始拜耳图像融合为基于标准拜耳滤色阵列的拜耳图像；去马赛克处理(Demosaic)是指将拜耳图像融合为完整的RGB图像。结合图4所示，可以对原始拜耳图像E进行解马赛克处理，得到基于标准拜耳滤色阵列的拜耳图像F；再对基于标准拜耳滤色阵列的拜耳图像F进行去马赛克处理，得到RGB格式的主图像K。解马赛克和去马赛克可以通过不同的插值算法实现，也可以通过神经网络等其他相关算法实现，本公开对此不做限定。终端设备中通常配置和摄像头配套的ISP(ImageSignal Processing，图像信号处理)单元，以执行上述解马赛克和去马赛克处理过程。主图像K的每个像素都具有RGB三个通道的像素值，以C表示。此外，也可以将解马赛克和去马赛克的处理过程合并为一次插值过程，即基于原始拜耳图像中的像素数据，直接对每个像素点进行插值，以得到缺失的颜色通道的像素值，例如可以采用线性插值、均值插值等算法实现，从而获得主图像。

在一种可选的实施方式中，在步骤S110获取主图像和辅助图像后，可以确定主图像和辅助图像的映射关系，生成图像映射表。其中，该映射关系主要指像素位置的映射，例如上述6400万像素的主摄像头所采集的主图像和1600万像素的辅助摄像头所采集的辅助图像中，是4:1的比例关系，可以计算出位置的映射关系，通过该映射关系可以确定主图像中的像素在辅助图像中所对应的像素位置。图像映射表用于记录该映射关系的信息。当辅助图像的数量为两张(或两张以上)时，图像映射表还可以记录三张(或三张以上)图像之间的映射关系。

需要补充的是，主图像和辅助图像的取景范围可能不同，例如主图像对应于辅助图像中间的一部分区域，则辅助图像中的一部分像素(周围区域的像素)和主图像不存在映射关系。

相应的，步骤S140可以具体为：基于主图像和辅助图像的权重，采用上述图像映射表融合主图像和辅助图像，得到目标图像。通过上述图像映射表，可以找到主图像中每个像素所对应的辅助图像像素，由此将对应的像素作为一组进行融合，例如加权或取最大值等，然后按照主图像中的像素位置排列，得到目标图像。

在一种可选的实施方式中，为了对像素进行一一对应的融合，可以在步骤S110之后，按照主图像的分辨率，对辅助图像进行超分辨率重建，以得到和主图像像素数相同的辅助图像，则主图像和辅助图像之间的像素可以形成一一对应的关系，易于进行融合计算。

图5示出了本示例性实施方式的一种示意性流程。以智能手机为例，分别通过主摄像头和辅助摄像头采集得到主图像和辅助图像，根据主图像和辅助图像的映射关系生成图像映射表；对图像中的场景进行识别，以确定主图像和辅助图像的权重；再基于图像的权重和图像映射表，对主图像和辅助图像进行融合处理，最终输出目标图像。

综上所述，本示例性实施方式中，一方面，最终输出的目标图像是由主图像和辅助图像融合而来，可以将主摄像头高像素高解析力的特性与辅助摄像头协同工作的优势发挥出来，弥补主摄像头在非强光照环境中噪点严重的缺陷以及辅助摄像头图像细节方面的缺失，输出高质量的图像。另一方面，图像融合的权重是根据场景识别结果确定的，由此考虑到了不同摄像头对于不同场景的适配情况，可以进一步对各个摄像头的特性进行扬长避短，实现智能化的图像融合。再一方面，对图像的处理属于软件算法过程，可以利用现有终端设备的摄像头配置实现，无需对硬件进行改动，从而节约成本，具有较高的实用性。

本公开的示例性实施方式还提供一种图像处理装置，可以配置于终端设备，该终端设备包括主摄像头和至少一个辅助摄像头，主摄像头的像素数高于辅助摄像头。如图6所示，该图像处理装置600可以包括：图像获取模块610，用于获取由主摄像头采集的主图像和辅助摄像头采集的至少一个辅助图像；场景识别模块620，用于对主图像和辅助图像中的至少一张图像进行场景识别；权重确定模块630，用于根据场景识别结果确定主图像和辅助图像的权重；图像融合模块640，用于基于上述权重融合主图像和辅助图像，得到目标图像。

在一种可选的实施方式中，图像处理装置600还可以包括：图像映射模块，用于确定主图像和辅助图像的映射关系，生成图像映射表；图像融合模块640，可以用于基于上述权重，采用图像映射表融合主图像和辅助图像，得到目标图像。

在一种可选的实施方式中，场景识别模块620，可以用于利用预先训练的卷积神经网络对主图像和辅助图像中的至少一张图像进行处理，得到至少一张图像和各标准场景的匹配概率。

在一种可选的实施方式中，权重确定模块630，可以用于根据预先配置的主摄像头、辅助摄像头与各标准场景的适配度，以及上述至少一张图像和各标准场景的匹配概率，计算主图像和辅助图像的权重。

在一种可选的实施方式中，主摄像头可以是基于四拜耳滤色阵列的摄像头；图像获取模块610，可以用于通过主摄像头采集基于四拜耳滤色阵列的原始拜耳图像，并进行解马赛克处理和去马赛克处理，得到主图像。

在一种可选的实施方式中，辅助摄像头可以包括以下任意一种或多种：景深摄像头、广角摄像头、长焦摄像头、黑白摄像头。

在一种可选的实施方式中，主摄像头的像素数可以是辅助摄像头的整数倍。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图7所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品700，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供了一种能够实现上述方法的终端设备。下面参照图8来描述根据本公开的这种示例性实施方式的终端设备800。图8显示的终端设备800仅仅是一个示例，不应对本公开实施方式的功能和使用范围带来任何限制。

如图8所示，终端设备800可以以通用计算设备的形式表现。终端设备800的组件可以包括但不限于：至少一个处理单元810、至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830、显示单元840和摄像单元870，摄像单元870包括主摄像头和至少一个辅助摄像头，可用于采集图像。

存储单元820存储有程序代码，程序代码可以被处理单元810执行，使得处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，处理单元810可以执行图1或图2所示的方法步骤。

存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)821和/或高速缓存存储单元822，还可以进一步包括只读存储单元(ROM)823。

存储单元820还可以包括具有一组(至少一个)程序模块825的程序/实用工具824，这样的程序模块825包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

终端设备800也可以与一个或多个外部设备900(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该终端设备800交互的设备通信，和/或与使得该终端设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，终端设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与终端设备800的其它模块通信。应当明白，尽管图中未示出，可以结合终端设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种图像处理方法，应用于终端设备，其特征在于，所述终端设备包括主摄像头和至少一个辅助摄像头，所述主摄像头的像素数高于所述辅助摄像头；所述方法包括：

获取由所述主摄像头采集的主图像和所述辅助摄像头采集的至少一张辅助图像；

对所述主图像和所述辅助图像中的至少一张图像进行场景识别；场景识别结果包括所述至少一张图像和各标准场景的匹配概率；

根据所述场景识别结果确定所述主图像和所述辅助图像的权重；

基于所述权重融合所述主图像和所述辅助图像，得到目标图像；

其中，所述根据所述场景识别结果确定所述主图像和所述辅助图像的权重，包括：

根据预先配置的所述主摄像头、所述辅助摄像头与所述各标准场景的适配度，以及所述至少一张图像和所述各标准场景的匹配概率，计算所述主图像和所述辅助图像的权重。

2.根据权利要求1所述的方法，其特征在于，在获取所述主图像和所述辅助图像后，所述方法还包括：

确定所述主图像和所述辅助图像的映射关系，生成图像映射表；

所述基于所述权重融合所述主图像和所述辅助图像，得到目标图像，包括：

基于所述权重，采用所述图像映射表融合所述主图像和所述辅助图像，得到目标图像。

3.根据权利要求1所述的方法，其特征在于，所述对所述主图像和所述辅助图像中的至少一张图像进行场景识别，包括：

利用预先训练的卷积神经网络对所述主图像和所述辅助图像中的至少一张图像进行处理，得到所述至少一张图像和各标准场景的匹配概率。

4.根据权利要求1所述的方法，其特征在于，所述终端设备包括主摄像头C1、辅助摄像头C2和辅助摄像头C3，分别用于采集主图像K1、辅助图像K2、辅助图像K3；所述标准场景的数量为n，分别为标准场景S1、S2、…、Sn；所述根据预先配置的所述主摄像头、所述辅助摄像头与所述各标准场景的适配度，以及所述至少一张图像和所述各标准场景的匹配概率，计算所述主图像和所述辅助图像的权重，包括：

分别获取主摄像头C1与所述各标准场景的适配度P1，辅助摄像头C2与所述各标准场景的适配度P2，辅助摄像头C3与所述各标准场景的适配度P3：

P1＝[(C1,S1),(C1,S2)…(C1,Sn)]；

P2＝[(C2,S1),(C2,S2)…(C2,Sn)]；

P3＝[(C3,S1),(C3,S2)…(C3,Sn)]；

(C1,S1)表示主摄像头C1和标准场景S1的适配度；

通过以下方式计算主图像K1、辅助图像K2、辅助图像K3的权重：

Q(K)＝[(K,S1),(K,S2)…(K,Sn)]；

其中，K表示主图像K1、辅助图像K2、辅助图像K3中任意一张图像或多张图像的结合，Q(K)表示K与所述各标准场景的匹配概率，W(K1)表示主图像K1的权重，W(K2)表示辅助图像K2的权重，W(K3)表示辅助图像K3的权重。

5.根据权利要求1所述的方法，其特征在于，所述主摄像头为基于四拜耳滤色阵列的摄像头；

所述获取由所述主摄像头采集的主图像，包括：

通过所述主摄像头采集基于四拜耳滤色阵列的原始拜耳图像；

对所述原始拜耳图像进行解马赛克处理和去马赛克处理，得到所述主图像。

6.根据权利要求1所述的方法，其特征在于，所述辅助摄像头包括以下任意一种或多种：景深摄像头、广角摄像头、长焦摄像头、黑白摄像头。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述主摄像头的像素数为所述辅助摄像头的整数倍。

8.一种图像处理装置，配置于终端设备，其特征在于，所述终端设备包括主摄像头和至少一个辅助摄像头，所述主摄像头的像素数高于所述辅助摄像头；所述装置包括：

图像获取模块，用于获取由所述主摄像头采集的主图像和所述辅助摄像头采集的至少一个辅助图像；

场景识别模块，用于对所述主图像和所述辅助图像中的至少一张图像进行场景识别；场景识别结果包括所述至少一张图像和各标准场景的匹配概率；

权重确定模块，用于根据所述场景识别结果确定所述主图像和所述辅助图像的权重；

图像融合模块，用于基于所述权重融合所述主图像和所述辅助图像，得到目标图像；

其中，所述根据所述场景识别结果确定所述主图像和所述辅助图像的权重，包括：

根据预先配置的所述主摄像头、所述辅助摄像头与所述各标准场景的适配度，以及所述至少一张图像和所述各标准场景的匹配概率，计算所述主图像和所述辅助图像的权重。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

10.一种终端设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

主摄像头；以及

至少一个辅助摄像头；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。

Images