CN108734660A - 一种基于深度学习的图像超分辨率重建方法及装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的图像超分辨率重建方法及装置，所述方法包括如下步骤：步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像，通过本发明，可使重建的超分辨率图像更接近真实的图像。

Description

一种基于深度学习的图像超分辨率重建方法及装置

技术领域

本发明涉及数字图像处理、深度学习以及人工智能领域，特别是涉及一种基于深度学习的图像超分辨率重建方法及装置。

背景技术

图像的超分辨率重建是指利用信号处理和计算机软件的方法消除由于成像系统聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化，从而得到高分辨率的清晰图像。它在视频监控、卫星图像、医学影像和一些高清晰显示领域等都有重要的应用价值。

由于深度神经网络有着超强非线性特征表示能力，基于深度学习的超分辨技术能够很好地提高图像超分辨率的效果，现阶段，基于深度学习的超分辨率图像重建效果已经超越了以前的非深度学习超分辨率技术。但是，现阶段的分辨率重建的图像与真实的图像仍然存在较大的差距，因此，实有必要提出一种技术手段，以使重建的超分辨率图像更接近真实的图像。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于深度学习的图像超分辨率重建方法及装置，通过结合残差网络和多尺度卷积优点，使用对称多卷积核，使重建的超分辨率图像更接近真实的图像。

为达上述及其它目的，本发明提出一种基于深度学习的图像超分辨率重建方法，包括如下步骤：

步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；

步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。

优选地，步骤S1进一步包括：

步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本；

步骤S101，构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。

优选地，于步骤S100中，获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像提取低分辨率图像块，在对应的高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。

优选地，于步骤S100中，先选取高质量的高分辨率图像，然后对该高分辨率图像先下采样再上采样，得到与该高分辨率图像同样尺寸的低分辨率图像。

优选地，于步骤S101中，所述多尺度残差卷积神经网络的输入为与高分辨率图像同样大小的低分辨率图像块，输出为重构的高分辨率图像块，所述多尺度残差卷积神经网络包括若干层，第1层和最后一层为卷积层，中间若干层为多尺度残差层，第1层的输出与最后一层的输出相加即为重构的高分辨率结果。

优选地，所述多尺度残差卷积神经网络的中间若干层为具有相同结构的多尺度残差单元，每个多尺度残差单元包括两个多尺度卷积单元，中间为激活函数，每个多尺度卷积单元包括3个尺度的卷积网络，第一个尺度为核大小为1×1的卷积网络，第二个尺度为核大小为3×3的卷积网络，第三个尺度为3×3池化和3×3卷积网络，三个尺度的通道图通过级联方式组成特征图。

优选地，所述多尺度残差卷积神经网络采用如下损失函数进行训练学习：

其中，N为训练样本个数，Y_i为高分辨率图像块，为网络重建的图像块，||·||₁表示L1范数。

优选地，于步骤S101中，利用随机梯度下降法和网络的反向传播来最小化所述损失函数，对多尺度残差卷积神经网络的卷积核参数进行优化调整。

优选地，步骤S2进一步包括：

步骤S200，对输入的低分辨率图像进行预处理，以得到目标图像大小的低分辨率图像；

步骤S201，将所述低分辨率图像分割成待重构的低分辨率图像块；

步骤S202，利用训练好的多尺度残差卷积神经网络对各待重构的低分辨率图像块进行分辨率重构；

步骤S203，对获得的所有的重构的高分辨率图像块进行进行融合处理，得到输入图像的重构高分辨率图像。

为达到上述目的，本发明还提供一种基于深度学习的图像超分辨率重建装置，包括：

训练单元，用于构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；

重建单元，用于利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。

现有技术相比，本发明一种基于深度学习的图像超分辨率重建方法及装置通过构建多尺度残差卷积神经网络，并结合残差网络和多尺度卷积优点，通过利用对称多卷积核，取得了更接近真实高分辨率图像的超分辨率重构效果，以达到重建的超分辨率图像更接近真实的图像的目的。

附图说明

图1为本发明一种基于深度学习的图像超分辨率重建方法的步骤流程图；

图2为本发明具体实施例中步骤S1的细部流程图；

图3为本发明具体实施例中所构建的多尺度残差卷积神经网络的架构示意图；

图4为本发明具体实施例中多尺度残差单元的结构示意图；

图5为本发明具体实施例中多尺度卷积单元的结构示意图；

图6为本发明具体实施例中步骤S2的细部流程图；

图7为本发明一种基于深度学习的图像超分辨率重建装置的系统架构图；

图8为本发明具体实施例中训练单元的细部结构图；

图9为本发明具体实施例中重建单元的细部结构图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

深度卷积神经网络结构是图像超分辨率的核心，它对最终的重构效果有着最关键的影响。本发明针对核心问题，提出了利用多尺度残差卷积神经网络，使得超分辨率重构效果接近真实高分辨率图像的水平。

图1为本发明一种基于深度学习的图像超分辨率重建方法的步骤流程图。如图1所示，本发明一种基于深度学习的图像超分辨率重建方法，包括如下步骤：

步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系。在本发明具体实施例中，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行多尺度残差卷积神经网络学习，以获得低、高分辨率图像块的非线性对应关系。

具体地，如图2所示，步骤S1进一步包括：

步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本。在本发明具体实施例中，获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像通过滑动窗口的方法提取低分辨率图像块，在对应图像高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。

实际上，由于往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像，本发明采取模拟方式得到。具体地，先选取高质量的高分辨率图像，比如可选取1000幅大小为1920×1080的高分辨率图像；然后对高分辨图像先下采样再上采样，得到与高分辨率图像同样尺寸的低分辨率图像。上下采样的方法可以是双线性、三次样条、迭代后向投影(IBP，iterative back-projection)等。最后采用一定大小的步长(比如60)将对应的高低分辨率图像分别分割成64×64大小的图像块，作为训练图像块样本

步骤S101，构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。

由于残差网络能避免梯度消失，从而能设计出更深层数的网络，更好地表示非线性对应关系。另外图像中物体大小是不确定的，多尺度特征能完整地刻画物体。对称多卷积核增加了特征表示的鲁棒性，因此，本发明建立多尺度残差卷积神经网络，其结合残差网络和多尺度卷积优点，使用对称多卷积核。

本发明所构建的多尺度残差卷积神经网络如图3所示，其输入是与高分辨率图像同样大小的低分辨率图像块，输出为重构的高分辨率图像块，该多尺度残差卷积神经网络一共有34层，第1层和第34层为卷积层，中间32层为多尺度残差层。

第1层和第34层都是3×3卷积层。第1层的输出与第34层的输出相加即为重构的高分辨率结果，它们的通道数都为3，对应RGB三个颜色。

第2层到第33层为具有相同结构的多尺度残差单元，其内部结构如图4所示。它们的通道个数都为256。每个多尺度残差单元包含了两个多尺度卷积单元，中间为激活函数。激活函数为常用的ReLU(Rectified Linear Units)函数，定义如下：

f(x)＝max(0,x)，

其中，x为图像卷积结果。

多尺度卷积单元如图5所示。多尺度卷积单元包括3个尺度的卷积网络，第一个尺度为核大小为1×1的卷积网络，输出通道图数为96，第二个尺度为核大小为3×3的卷积网络，通道图数为96，第三个尺度为3×3池化(取3x3最大值)和3×3卷积网络，通道图数为64，三个尺度的通道图通过级联方式组成了256通道的特征图。

一般地，对称可以分为四个基本种类：正负对称，水平对称，垂直对称，对角线对称，那么这四个对称通过组合，可以得到2⁴＝16种对称，这样，多尺度卷积单元中第二个尺度和第三个尺度需要保存的3×3卷积核个数只为原来的1

16。在进行卷积操作时，存储的3×3卷积核通过对称变换得到所需的16倍于存储个数的3×3卷积核。

具体地，本发明通过高分辨率图像块以及重建的图像块计算损失函数如下：

其中，N为训练样本个数，Y_i为高分辨率图像块，为网络重建的图像块，||·||₁表示L1范数。计算损失函数，然后基于随机梯度下降法和网络的反向传播来调整多尺度残差卷积神经网络的卷积核参数。不断重复这一过程，计算损失函数值，调整卷积核参数，直到损失函数值非常小为止。

然后，利用随机梯度下降法和网络的反向传播(BP，Back Propagation)来最小化损失函数，对多尺度残差卷积神经网络的卷积核参数进行优化调整，不断重复这一过程，计算损失函数值，调整卷积核参数，直到损失函数值非常小为止。

步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到高质量的重构高分辨率图像。

具体地，如图6所示，步骤S2进一步包括：

步骤S200，对输入的低分辨率图像进行预处理，以得到目标图像大小的低分辨率图像。在本发明具体实施例中，将输入的低分辨率的3通道RGB彩色图像上采样得到目标图像大小的低分辨率图像。这里的上采样方法与神经网络训练时的上采样方法相同，对于2倍图像超分辨率，就要对输入低分辨率图像2倍上采样，放大方法可以是三次样条插值，在此不予赘述。

步骤S201，将低分辨率图像分割成待重构的低分辨率图像块。具体地，将低分辨率图像按照一定的步长分割成待重构的低分辨率图像块，例如图像块的大小可以是64×64，水平步长和垂直步长可以都为60，但本发明不以此为限。

步骤S202，利用训练好的多尺度残差卷积神经网络对各待重构的低分辨率图像块进行分辨率重构。具体地，将分割好的待重构的低分辨率图像块输入训练好的多尺度残差卷积神经网络，经过网络映射，输出即是重构的高分辨率图像块，即，输入为3通道的低分辨率RGB彩色图像块，经过34层的神经网络处理，得到高分辨RGB图像块。

步骤S203，对获得的所有的重构的高分辨率图像块进行进行融合处理，得到输入图像的重构高分辨率图像。具体地，将获得的所有的重构的高分辨率图像块按低分辨率图像块对应位置叠加后取平均值，得到输入图像的重构高分辨率图像。

图7为本发明一种基于深度学习的图像超分辨率重建装置的系统架构图。步骤流程图。如图7所示，本发明一种基于深度学习的图像超分辨率重建装置，包括：

训练单元70，用于获取多幅包含有完全相同内容的高、低分辨率图像进行多尺度残差卷积神经网络训练，即通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行多尺度残差卷积神经网络学习，以获得低、高分辨率图像块的非线性对应关系。

具体地，如图8所示，训练单元70进一步包括：

训练样本获取单元701，用于获取训练样本。在本发明具体实施例中，训练样本获取单元701通过获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像通过滑动窗口的方法提取低分辨率图像块，在对应图像高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。

实际上，由于往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像，本发明采取模拟方式得到。具体地，训练样本获取单元701先选取高质量的高分辨率图像，比如可选取1000幅大小为1920×1080的高分辨率图像；然后对高分辨图像先下采样再上采样，得到与高分辨率图像同样尺寸的低分辨率图像。上下采样的方法可以是双线性、三次样条、迭代后向投影(IBP，iterative back-projection)等。最后采用一定大小的步长(比如60)将对应的高低分辨率图像分别分割成64×64大小的图像块，作为训练图像块样本

网络构建及训练学习单元702，用于构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。

本发明所构建的多尺度残差卷积神经网络一共有34层，第1层和第34层为卷积层，中间32层为多尺度残差层，其输入是与高分辨率图像同样大小的低分辨率图像块，输出为重构的高分辨率图像块。第1层和第34层为3×3卷积层。第1层的输出与第34层的输出相加为重构的高分辨率结果，它们的通道数都为3，对应RGB三个颜色。

第2层到第33层为具有相同结构的多尺度残差单元，它们的通道个数都为256。每个多尺度残差单元包含了两个多尺度卷积单元，中间为激活函数。激活函数为常用的ReLU(Rectified Linear Units)函数，定义如下：

f(x)＝max(0,x)。

每个多尺度卷积单元包括3个尺度的卷积网络，第一个尺度为核大小为1x1的卷积网络，输出通道图数为96，第二个尺度为核大小为3x3的卷积网络，通道图数为96，第三个尺度为3×3池化(取3x3最大值)和3x3卷积网络，通道图数为64，三个尺度的通道图通过级联方式组成了256通道的特征图。

一般地，对称可以分为四个基本种类：正负对称，水平对称，垂直对称，对角线对称，那么这四个对称通过组合，可以得到2⁴＝16种对称，这样，多尺度卷积单元中第二个尺度和第三个尺度需要保存的3×3卷积核个数只为原来的在进行卷积操作时，存储的3×3卷积核通过对称变换得到所需的16倍于存储个数的3×3卷积核。

具体地，为了更好的分辨率重构效果，本发明通过高分辨率图像块以及重建的图像块计算损失函数如下：

其中，N为训练样本个数，Y_i为高分辨率图像块，为网络重建的图像块，||·||₁表示L1范数。

然后，网络构建及训练学习单元702利用随机梯度下降法和网络的反向传播(BP，Back Propagation)来最小化损失函数，对多尺度残差卷积神经网络的卷积核参数进行优化调整，不断重复这一过程，计算损失函数值，调整卷积核参数，直到损失函数值非常小为止。

重建单元71，用于利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到高质量的重构高分辨率图像。

具体地，如图9所示，重建单元71进一步包括：

图像预处理单元710，用于对输入的低分辨率图像进行预处理，以得到目标图像大小的低分辨率图像。在本发明具体实施例中，图像预处理单元710将输入的低分辨率的3通道RGB彩色图像上采样得到目标图像大小的低分辨率图像。

图像分割单元711，用于将预处理后的低分辨率图像分割成待重构的低分辨率图像块。具体地，图像分割单元711将经预处理后的低分辨率图像按照一定的步长分割成待重构的低分辨率图像块，例如图像块的大小可以是64×64，水平步长和垂直步长可以都为60。

分辨率重构单元712，用于利用训练好的多尺度残差卷积神经网络对各待重构的低分辨率图像块进行分辨率重构。具体地，分辨率重构单元712将分割好的待重构的低分辨率图像块输入训练好的多尺度残差卷积神经网络，经过网络映射，输出即是重构的高分辨率图像块，即，输入为3通道的低分辨率RGB彩色图像块，经过34层的神经网络处理，得到高分辨RGB图像块。

融合处理单元713，用于对获得的所有的重构的高分辨率图像块进行融合处理，得到输入图像的重构高分辨率图像。具体地，融合处理单元713将获得的所有的重构的高分辨率图像块按低分辨率图像块对应位置叠加后取平均值，得到输入图像的重构高分辨率图像。

综上所述，本发明一种基于深度学习的图像超分辨率重建方法及装置通过构建多尺度残差卷积神经网络，并结合残差网络和多尺度卷积优点，通过利用对称多卷积核，取得了更接近真实高分辨率图像的超分辨率重构效果，以达到重建的超分辨率图像更接近真实的图像的目的。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于深度学习的图像超分辨率重建方法，包括如下步骤：

步骤S1，构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；

步骤S2，利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。

2.如权利要求1所述的一种基于深度学习的图像超分辨率重建方法，其特征在于，步骤S1进一步包括：

步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本；

步骤S101，构建多尺度残差卷积神经网络，利用获得的训练样本进行多尺度残差卷积神经网络学习，以建立低分辨率图像块和高分辨率图像块之间的非线性对应关系。

3.如权利要求2所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S100中，获取多幅包含有完全相同内容的高、低分辨率图像，对每幅低分辨率图像提取低分辨率图像块，在对应的高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块，以获得训练样本。

4.如权利要求3所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S100中，先选取高质量的高分辨率图像，然后对该高分辨率图像先下采样再上采样，得到与该高分辨率图像同样尺寸的低分辨率图像。

5.如权利要求2所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：于步骤S101中，所述多尺度残差卷积神经网络的输入为与高分辨率图像同样大小的低分辨率图像块，输出为重构的高分辨率图像块，所述多尺度残差卷积神经网络包括若干层，第1层和最后一层为卷积层，中间若干层为多尺度残差层，第1层的输出与最后一层的输出相加即为重构的高分辨率结果。

6.如权利要求5所述的一种基于深度学习的图像超分辨率重建方法，其特征在于：所述多尺度残差卷积神经网络的中间若干层为具有相同结构的多尺度残差单元，每个多尺度残差单元包括两个多尺度卷积单元，中间为激活函数，每个多尺度卷积单元包括3个尺度的卷积网络，第一个尺度为核大小为1×1的卷积网络，第二个尺度为核大小为3×3的卷积网络，第三个尺度为3×3池化和3×3卷积网络，三个尺度的通道图通过级联方式组成特征图。

7.如权利要求6所述的一种基于深度学习的图像超分辨率重建方法，其特征在于，所述多尺度残差卷积神经网络采用如下损失函数进行训练学习：

其中，N为训练样本个数，Y_i为高分辨率图像块，为网络重建的图像块，||·||₁表示L1范数。

8.如权利要求7所述的一种基于深度学习的图像超分辨率重建方法，其特征在于:于步骤S101中，利用随机梯度下降法和网络的反向传播来最小化所述损失函数，对多尺度残差卷积神经网络的卷积核参数进行优化调整。

9.如权利要求1所述的一种基于深度学习的图像超分辨率重建方法，其特征在于:步骤S2进一步包括：

步骤S200，对输入的低分辨率图像进行预处理，以得到目标图像大小的低分辨率图像；

步骤S201，将所述低分辨率图像分割成待重构的低分辨率图像块；

步骤S202，利用训练好的多尺度残差卷积神经网络对各待重构的低分辨率图像块进行分辨率重构；

步骤S203，对获得的所有的重构的高分辨率图像块进行进行融合处理，得到输入图像的重构高分辨率图像。

10.一种基于深度学习的图像超分辨率重建装置，包括：

训练单元，用于构建多尺度残差卷积神经网络，利用训练样本进行多尺度残差卷积神经网络训练，以获得低、高分辨率图像块的非线性对应关系；

重建单元，用于利用训练好的多尺度残差卷积神经网络对输入的低分辨率图像进行非线性映射，以得到重构的高分辨率图像。