CN113781309A - 图像处理方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种图像处理方法、装置及电子设备，该方法包括：获取待处理图像；对待处理图像进行边缘检测，得到边缘图像；将待处理图像分别输入CNN网络模型和GAN网络模型进行图像处理，得到CNN网络模型输出的第一图像和GAN网络模型输出的第二图像；其中，CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；根据边缘图像，对第一图像和所述第二图像进行图像融合，得到待处理图像对应的目标图像。本申请利用图像边缘信息，对基于CNN和GAN的图像超分辨率网络模型或图像增强网络模型的输出结果进行融合来优化结果，提升超分辨率或图像增强的视觉效果。

Description

图像处理方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，尤其是涉及一种图像处理方法、装置及电子设备。

背景技术

图像超分辨率技术指的是根据低分辨率图像重建出相应的高分辨率图像，提高图像的分辨率与清晰度；图像增强技术指的是增强图像中的有用信息，改善图像的视觉效果。现有图像处理方法中，会用到上述两种技术的网络模型，比如，基于CNN(ConvolutionalNeural Networks，卷积神经网络)的图像超分辨率网络模型、基于GAN(GenerativeAdversarial Networks，生成式对抗网络)的图像超分辨率网络模型、基于CNN的图像增强网络模型或基于GAN的图像增强网络模型。然而基于CNN的网络模型在输出高分辨率图像或高清晰度图像时，往往不能生成足够逼真的细节，基于GAN的网络模型，在输出高分辨率图像或高清晰度图像时，往往在图像边缘区域容易产生扭曲。

发明内容

本申请的目的在于提供一种图像处理方法、装置及电子设备，能够通过边缘图像对基于CNN和GAN的图像超分辨率网络模型或图像增强网络模型的输出结果进行融合来优化结果，提升超分辨率或图像增强的视觉效果。

第一方面，本申请实施例提供一种图像处理方法，该方法包括：获取待处理图像；对待处理图像进行边缘检测，得到边缘图像；将待处理图像分别输入CNN网络模型和GAN网络模型进行图像处理，得到CNN网络模型输出的第一图像和GAN网络模型输出的第二图像；其中，CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；根据边缘图像，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。

在可选的实施方式中，上述待处理图像进行边缘检测，得到边缘图像的步骤，包括：利用预设边缘检测算子，对待处理图像进行边缘检测，得到边缘图像；上述预设边缘检测算子包括以下之一：canny算子、sobel算子或Laplace算子。

在可选的实施方式中，根据上述边缘图像，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像的步骤，包括：根据边缘图像，确定蒙版；应用蒙版对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。

在可选的实施方式中，根据上述边缘图像，确定蒙版的步骤，包括：以边缘图像为蒙版；或者，以边缘图像中目标像素点为基准，向相邻像素点进行扩展；以扩展后的边缘图像作为蒙版；其中，目标像素点为像素值为1或0的像素点。

在可选的实施方式中，以上述边缘图像中目标像素点为基准，向相邻像素点进行扩展的步骤，包括：确定边缘图像中与目标像素点相邻的预设数量的像素点；将预设数量的像素点的像素值置为与目标像素点相同的像素值。

在可选的实施方式中，应用蒙版对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像的步骤，包括：根据以下算式进行图像融合计算，得到待处理图像对应的目标图像：

result＝mask*A+(1-mask)*B；

其中，result表示目标图像；mask表示蒙版；A、B分别表示第一图像和第二图像；mask*A表示蒙版中像素值为1的像素点取A中对应的像素值；(1-mask)*B表示蒙版中像素值为0的像素点取B中对应的像素值。

在可选的实施方式中，根据上述蒙版，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像的步骤，还包括：根据以下算式进行图像融合计算，得到待处理图像对应的目标图像：

result＝mask*(k*A+(1-k)*B)+(1–mask)*(k*B+(1-k)*A)；

其中，result表示目标图像；mask表示蒙版；A、B分别表示所述第一图像和所述第二图像；k表示融合权重；mask*(k*A+(1-k)*B)表示蒙版中像素值为1的像素点取的像素值为k*A+(1-k)*B；(1–mask)*(k*B+(1-k)*A)表示蒙版中像素值为0的像素点取的像素值为(k*B+(1-k)*A)。

第二方面，本申请实施例提供了一种图像处理装置，该装置包括：图像获取模块，用于获取待处理图像；边缘检测模块，用于对待处理图像进行边缘检测，得到边缘图像；图像处理模块，用于将待处理图像分别输入CNN网络模型和GAN网络模型进行图像处理，得到CNN网络模型输出的第一图像和GAN网络模型输出的第二图像；其中，CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；图像融合模块，用于根据边缘图像，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。

第三方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。

第四方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。

本申请实施例带来了以下有益效果：

本申请提供的一种图像处理方法、装置和电子设备中，首先获取到待处理图像的边缘图像；然后将分别通过CNN网络模型和GAN网络模型对待处理图像进行图像处理，得到CNN网络模型输出的第一图像和GAN网络模型输出的第二图像；其中，CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；最后根据边缘图像，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。本申请实施例能够利用图像边缘信息，对基于CNN和GAN的图像超分辨率网络模型或图像增强网络模型的输出结果进行融合来优化结果，提升超分辨率或图像增强的视觉效果。

本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种图像处理方法的流程图；

图2为本申请实施例提供的待处理的原始图像；

图3为本申请实施例提供的采用canny算子进行边缘提取后得到的边缘图像；

图4为本申请实施例提供的另一种图像处理方法的流程图；

图5为本申请实施例提供的一种图像处理装置的结构框图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

目前现有的图像处理方法中，基于CNN的图像超分辨率网络模型或图像增强网络模型在输出高分辨率图像或高清晰度图像时，往往不能生成足够逼真的细节，基于GAN的图像超分辨率网络模型或图像增强网络模型，在输出高分辨率图像或高清晰度图像时，往往在图像边缘区域容易产生扭曲。

基于此，本申请实施例提供一种图像处理方法、装置和电子设备，能够通过利用图像边缘信息，对基于CNN和GAN的图像超分辨率网络模型或图像增强网络模型的输出结果进行融合来优化结果，提升超分辨率或图像增强的视觉效果。为便于对本实施例进行理解，首先对本申请实施例所公开的一种图像处理方法进行详细介绍。

本申请实施例提供一种图像处理方法，参见图1所示的图像处理方法的流程图，该方法具体包括以下步骤：

步骤S102，获取待处理图像。待处理图像可以是拍摄的图像或拍摄的视频中的某一帧图像。

步骤S104，对待处理图像进行边缘检测，得到边缘图像。

边缘图像是对原始图像进行边缘提取后得到的图像，边缘是图像性区域和另一个属性区域的交接处，是区域属性发生突变的地方，是图像中不确定性最大的地方，也是图像信息最集中的地方，图像的边缘包含着丰富的信息，充分利用边缘图像可以有效提升图像质量。

本申请实施例中，可以利用预设边缘检测算子，如canny算子、sobel算子或Laplace算子对待处理图像进行边缘检测，得到边缘图像。以采用canny检测算子为例，图2为待处理图像，图3为采用canny算子对待处理图像进行边缘提取后得到的边缘图像。边缘图像为黑白图像，白色像素点为边缘像素点，黑色像素点为非边缘像素点。

步骤S106，将待处理图像分别输入CNN网络模型和GAN网络模型进行图像处理，得到CNN网络模型输出的第一图像和GAN网络模型输出的第二图像。

其中，CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型，也就是说，如果CNN网络模型为CNN图像超分辨率网络模型，那么对应的GAN网络模型为GAN图像超分辨率网络模型；如果CNN网络模型为CNN图像增强网络模型，那么对应的GAN网络模型为GAN图像增强网络模型；上述模型的具体的训练过程会在后面详述，在此不再赘述。

上述图像处理过程包括：通过CNN图像超分辨率网络模型和GAN图像超分辨率网络模型分别对待处理图像进行处理，得到CNN图像超分辨率网络模型和GAN图像超分辨率网络模型分别输出的第一图像和第二图像；或者，通过CNN图像增强网络模型和GAN图像增强网络模型分别对待处理图像进行处理，得到CNN图像增强网络模型和GAN图像增强网络模型分别输出的第一图像和第二图像。

步骤S108，根据边缘图像，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。

具体的，可以将边缘图像作为蒙版，对第一图像和第二图像进行融合，也可以对边缘图像进行像素扩展，以扩展后的图像作为蒙版进行图像融合。利用蒙版进行图像融合的原理是：将蒙版中像素值为1的像素点取第一图像中对应的像素值，蒙版中像素值为0的像素点取第二图像中对应的像素值。

因此，本申请实施例中，以边缘图像确定的蒙版中，边缘像素点对应的像素值为1，利用边缘图像确定的蒙版对第一图像和第二图像进行融合，可以使得到的目标图像中，边缘像素点尽量采用第一图像中的像素点对应的像素值，而非边缘像素点尽量采用第二图像中的像素点对应的像素值，这样就可以综合CNN图像超分辨率方法图像边缘表现较佳的优点，和GAN图像超分辨率方法在纹理丰富区域表现较佳的优点，或者综合CNN图像增强方法图像边缘表现较佳的优点，和GAN图像增强方法在纹理丰富区域表现较佳的优点，得到整体图像效果更佳的目标图像。

本申请实施例提供的图片处理方法，首先获取到待处理图像的边缘图像；然后将分别通过CNN网络模型和GAN网络模型对待处理图像进行图像处理，得到CNN网络模型输出的第一图像和GAN网络模型输出的第二图像；其中，CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；最后根据边缘图像，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。本申请实施例能够利用图像边缘信息，对基于CNN和GAN的图像超分辨率网络模型或图像增强网络模型的输出结果进行融合来优化结果，提升超分辨率或图像增强的视觉效果。

本申请实施例还提供一种图像处理方法，该方法在上述实施例方法的基础上实现；该方法重点描述根据边缘图像，对第一图像和第二图像进行图像融合的步骤以及网络模型的训练过程，如图4所示，该图像融合的步骤包括：

步骤S402，根据边缘图像，确定蒙版。

蒙版是一个二值图，包含的值为1或0，其可视化结果是只包含黑色与白色的图像，0是黑色，1是白色，区分图像中的不同区域。

上述根据边缘图像，确定蒙版的步骤，包括以下两种方式：

(1)以边缘图像为蒙版；边缘图像是通过边缘检测算子检测出来的，边缘图像中本身就只包含0和1的像素点，符合蒙版的要求。如图3所示，通过canny算子对待处理图像进行边缘提取后得到的边缘图像为黑白图，图像中边缘像素点为白色，即边缘像素点的值为1，其它像素点的值为0。

(2)以边缘图像中目标像素点为基准，向相邻像素点进行扩展；以扩展后的边缘图像作为蒙版；其中，目标像素点为像素值为1或0的像素点。

具体的扩展方式为：确定边缘图像中与目标像素点相邻的预设数量的像素点；将预设数量的像素点的像素值置为与目标像素点相同的像素值。比如，预设数量为2，目标像素点为像素值为1的像素点，那么扩展过程也就是将边缘图像中像素值为1的像素点的连续的2个相邻像素点的值也置为1。这样在图像融合时，可以使第一图像也就是CNN模型网络输出的图像在目标图像的边缘图像处贡献更多的像素值，即扩大CNN网络模型的输出图像在最终输出的目标图像中的占比；相对来说，使目标图像中的边缘图像处的效果更好。

反之也可扩展边缘图像内值为0的像素点，将值为0的像素点的相邻像素点也置0，扩大GAN网络模型输出的图像在最终输出的目标图像中的占比；或进行其它调整处理。

步骤S404，应用蒙版对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。

可以通过以下两种方式进行融合：

第一种：根据以下算式进行图像融合计算，得到待处理图像对应的目标图像：

result＝mask*A+(1-mask)*B；

其中，result表示目标图像；mask表示蒙版；A、B分别表示第一图像和第二图像；mask*A表示蒙版中像素值为1的像素点取A中对应的像素值；(1-mask)*B表示蒙版中像素值为0的像素点取B中对应的像素值。

第二种：根据以下算式进行图像融合计算，得到待处理图像对应的目标图像：

result＝mask*(k*A+(1-k)*B)+(1–mask)*(k*B+(1-k)*A)；

其中，result表示目标图像；mask表示蒙版；A、B分别表示所述第一图像和所述第二图像；k表示融合权重；mask*(k*A+(1-k)*B)表示蒙版中像素值为1的像素点取的像素值为k*A+(1-k)*B；(1–mask)*(k*B+(1-k)*A)表示蒙版中像素值为0的像素点取的像素值为(k*B+(1-k)*A)。

比如，某像素点A的像素值为200，B的像素值为100，mask在该点为1，如果权重为0.8，该点对应的像素值就为0.8*200+(1-0.8)*100＝180。

通过设置权重这种方式进行图像融合，可以根据实际情况设置不同的融合权重，以得到更好的图像效果。这种方式可以使第一图像和第二图像的融合更加柔和。

上述CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；具体的训练过程如下：

(1)获取训练样本

对于基于CNN或GAN训练图像超分辨率网络模型的情况，需要获取大量的低分辨率-高分辨率图像对作为训练样本；对于基于CNN或GAN训练图像增强网络模型的情况，需要获取大量的低清晰度-高清晰度图像对作为训练样本。

具体实施时，可以收集大量高清图像，然后用插值方法对其进行下采样，并对低分辨率图像进行JPEG压缩或其它量化操作，引入块效应、振铃效应或其它失真，从而得到低分辨率-高分辨率图像对或低清晰度-高清晰度图像对。

其中块效应主要是由视频图像采用基于块的编码方式和量化造成相邻块之间存在明显差异的现象，在视频编码中人眼察觉到的小块边界处的不连续；振铃效应是指图像处理中，对一幅图像进行滤波处理，若选用的频域滤波器具有陡峭的变化，则会使滤波图像产生“振铃”，所谓“振铃”，就是指输出图像的灰度剧烈变化处产生的震荡，就好像钟被敲击后产生的空气震荡。

上述差值方法可选最近邻插值法、双线性插值法、双三次插值法等，或混用不同插值方法，即对不同的高清样本使用不同的插值方法。

(2)构建图像超分辨率网络模型或图像增强网络模型

用上述准备好的训练样本训练CNN与GAN。以基于CNN训练图像超分辨率网络模型为例进行说明，具体的训练过程为：训练阶段向网络投入成对低分辨率-高分辨率图像，低分辨率图像作为CNN网络输入，利用对应的高分辨率图像对CNN网络输出结果进行约束，由低分辨率图像与高分辨率图像间的映射关系学习CNN网络各层的参数，使CNN网络学习将低分辨率图像重建为高分辨率图像。基于GAN训练像超分辨率网络模型的过程类似，只需将学习网络换成GAN即可，在此不再赘述。基于CNN或GAN训练图像增强网络模型的过程也与此类似，只需将训练样本转换为低清晰度-高清晰度图像对即可，在此不再赘述。

本申请实施例提供的图片处理方法，能够根据边缘图像，对CNN网络模型输出的第一图像和GAN网络模型输出第二图像进行图像融合，综合CNN图像超分辨率方法图像边缘表现较佳的优点，和GAN图像超分辨率方法在纹理丰富区域表现较佳的优点，或者综合CNN图像增强方法图像边缘表现较佳的优点，和GAN图像增强方法在纹理丰富区域表现较佳的优点，得到整体图像效果更佳的目标图像，可以有效提升超分辨率或图像增强的视觉效果。

基于上述方法实施例，本申请实施例还提供一种图像处理的装置，参见图5，该装置包括：

图像获取模块51，用于获取待处理图像；边缘检测模块52，用于对待处理图像进行边缘检测，得到边缘图像；图像处理模块53，用于将待处理图像分别输入CNN网络模型和GAN网络模型进行图像处理，得到CNN网络模型输出的第一图像和GAN网络模型输出的第二图像；其中，CNN网络模型和GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；图像融合模块54，用于根据边缘图像，对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。

本申请实施例提供的图像处理装置，能够通过利用图像边缘信息，对基于CNN和GAN的图像超分辨率网络模型或图像增强网络模型的输出结果进行融合来优化结果，提升超分辨率或图像增强的视觉效果。

上述边缘检测模块52还用于：利用预设边缘检测算子，对待处理图像进行边缘检测，得到边缘图像；预设边缘检测算子包括以下之一：canny算子、sobel算子、Laplace算子。

上述图像融合模块54还用于：根据边缘图像，确定蒙版；应用蒙版对第一图像和第二图像进行图像融合，得到待处理图像对应的目标图像。

上述图像融合模块54还用于：以边缘图像为蒙版；或者，以边缘图像中目标像素点为基准，向相邻像素点进行扩展；以扩展后的边缘图像作为蒙版；其中，目标像素点为像素值为1或0的像素点。

上述图像融合模块54还用于：确定边缘图像中与目标像素点相邻的预设数量的像素点；将预设数量的像素点的像素值置为与所述目标像素点相同的像素值。

上述图像融合模块54还用于：根据以下算式进行图像融合计算，得到待处理图像对应的目标图像：result＝mask*A+(1-mask)*B；其中，result表示目标图像；mask表示蒙版；A、B分别表示第一图像和第二图像。

上述图像融合模块54还用于：根据以下算式进行图像融合计算，得到待处理图像对应的目标图像：result＝mask*(k*A+(1-k)*B)+(1–mask)*(k*B+(1-k)*A)；其中，result表示目标图像；mask表示蒙版；A、B分别表示所述第一图像和所述第二图像；k表示融合权重；mask*(k*A+(1-k)*B)表示蒙版中像素值为1的像素点取的像素值为k*A+(1-k)*B；(1–mask)*(k*B+(1-k)*A)表示蒙版中像素值为0的像素点取的像素值为(k*B+(1-k)*A)。

本申请实施例提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置的实施例部分未提及之处，可参考前述方法实施例中相应内容。

本申请实施例还提供了一种电子设备，如图6所示，为该电子设备的结构示意图，其中，该电子设备包括处理器61和存储器60，该存储器60存储有能够被该处理器61执行的计算机可执行指令，该处理器61执行该计算机可执行指令以实现上述方法。

在图6示出的实施方式中，该电子设备还包括总线62和通信接口63，其中，处理器61、通信接口63和存储器60通过总线62连接。

其中，存储器60可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口63(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线62可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线62可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

处理器61可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器61中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器61可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器61读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。

本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取待处理图像；

对所述待处理图像进行边缘检测，得到边缘图像；

将所述待处理图像分别输入CNN网络模型和GAN网络模型进行图像处理，得到所述CNN网络模型输出的第一图像和所述GAN网络模型输出的第二图像；其中，所述CNN网络模型和所述GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；

根据所述边缘图像，对所述第一图像和所述第二图像进行图像融合，得到所述待处理图像对应的目标图像。

2.根据权利要求1所述的方法，其特征在于，对所述待处理图像进行边缘检测，得到边缘图像的步骤，包括：

利用预设边缘检测算子，对所述待处理图像进行边缘检测，得到边缘图像；所述预设边缘检测算子包括以下之一：canny算子、sobel算子或Laplace算子。

3.根据权利要求1所述的方法，其特征在于，根据所述边缘图像，对所述第一图像和所述第二图像进行图像融合，得到所述待处理图像对应的目标图像的步骤，包括：

根据所述边缘图像，确定蒙版；

应用所述蒙版对所述第一图像和所述第二图像进行图像融合，得到所述待处理图像对应的目标图像。

4.根据权利要求3所述的方法，其特征在于，根据所述边缘图像，确定蒙版的步骤，包括：

以所述边缘图像为蒙版；或者，

以所述边缘图像中目标像素点为基准，向相邻像素点进行扩展；以扩展后的边缘图像作为蒙版；其中，目标像素点为像素值为1或0的像素点。

5.根据权利要求4所述的方法，其特征在于，以所述边缘图像中目标像素点为基准，向相邻像素点进行扩展的步骤，包括：

确定所述边缘图像中与目标像素点相邻的预设数量的像素点；

将所述预设数量的像素点的像素值置为与所述目标像素点相同的像素值。

6.根据权利要求3所述的方法，其特征在于，应用所述蒙版对所述第一图像和所述第二图像进行图像融合，得到所述待处理图像对应的目标图像的步骤，包括：

根据以下算式进行图像融合计算，得到所述待处理图像对应的目标图像：

result＝mask*A+(1-mask)*B；

其中，result表示目标图像；mask表示蒙版；A、B分别表示所述第一图像和所述第二图像；mask*A表示蒙版中像素值为1的像素点取A中对应的像素值；(1-mask)*B表示蒙版中像素值为0的像素点取B中对应的像素值。

7.根据权利要求3所述的方法，其特征在于，根据所述蒙版，对所述第一图像和所述第二图像进行图像融合，得到所述待处理图像对应的目标图像的步骤，还包括：

根据以下算式进行图像融合计算，得到所述待处理图像对应的目标图像：

result＝mask*(k*A+(1-k)*B)+(1–mask)*(k*B+(1-k)*A)；

其中，result表示目标图像；mask表示蒙版；A、B分别表示所述第一图像和所述第二图像；k表示融合权重；mask*(k*A+(1-k)*B)表示蒙版中像素值为1的像素点取的像素值为k*A+(1-k)*B；(1–mask)*(k*B+(1-k)*A)表示蒙版中像素值为0的像素点取的像素值为(k*B+(1-k)*A)。

8.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获取待处理图像；

边缘检测模块，用于对所述待处理图像进行边缘检测，得到边缘图像；

图像处理模块，用于将所述待处理图像分别输入CNN网络模型和GAN网络模型进行图像处理，得到所述CNN网络模型输出的第一图像和所述GAN网络模型输出的第二图像；其中，所述CNN网络模型和所述GAN网络模型均为预先训练好的图像超分辨率网络模型或者均为图像增强网络模型；

图像融合模块，用于根据所述边缘图像，对所述第一图像和所述第二图像进行图像融合，得到所述待处理图像对应的目标图像。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的方法。

Images