CN114067018A - 一种基于扩张残差生成对抗网络的红外图像彩色化方法 - Google Patents
一种基于扩张残差生成对抗网络的红外图像彩色化方法 Download PDFInfo
- Publication number
- CN114067018A CN114067018A CN202111376380.5A CN202111376380A CN114067018A CN 114067018 A CN114067018 A CN 114067018A CN 202111376380 A CN202111376380 A CN 202111376380A CN 114067018 A CN114067018 A CN 114067018A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- convolution block
- residual error
- discriminator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims abstract description 26
- 238000000605 extraction Methods 0.000 claims abstract description 15
- 230000006870 function Effects 0.000 claims description 32
- 238000004040 coloring Methods 0.000 claims description 20
- 238000005215 recombination Methods 0.000 claims description 14
- 230000006798 recombination Effects 0.000 claims description 14
- 238000010606 normalization Methods 0.000 claims description 12
- 230000000694 effects Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 6
- 230000004927 fusion Effects 0.000 abstract description 2
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000004913 activation Effects 0.000 description 8
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
一种轻量化的单张图像超分辨率重建方法，属于图像超分辨率重建领域，为了解决现有的超分辨率方法空间复杂度和时间复杂度高的问题，该方法包括如下步骤：构建网络模型：整个网络包括四个主要模块：浅层特征提取模块、深层特征提取模块、信息融合模块和上采样模块；准备数据集：对所用数据集进行模拟降质，所得高低分辨率图像对用以训练整个卷积神经网络；训练网络模型；最小化损失值；微调模型；保存模型：将最后得到的模型参数进行固化，之后需要进行超分辨率重建操作时，直接将图像和网络参数载入网络中即可得到最终的超分辨率图像。在保持较高重建质量的前提下，大大减少了网络的参数量和计算量，更适于在嵌入式设备上实现。
Description
技术领域
本发明涉及一种基于扩张残差生成对抗网络的红外图像彩色化方法，属于图像彩色化领域。
背景技术
图像彩色化又名图像着色，是将灰度图转化成彩色图的过程，在遥感图像、医学图像、夜视图像、电影和动漫等众多领域具有较大的应用空间。红外图像由于其能在极度恶劣的条件下成像，在人们生活中的运用越来越广，但是红外图像与可见光灰度图像一样都是单色图像，相较于彩色图像，缺乏更多的色彩特征，不利于人眼的直接分辨、识别，制约了场景中有效信息的获取。因此，对灰度图像进行着色有利于对图像的特征提取和人眼辨识其中的信息，方便人们工作。然而，现有的图像着色方法大多基于无监督学习的神经网络，会产生三个关键问题，即着色图像的颜色溢出、细节损失、缺乏对比度。
中国专利公开号为“CN109712203B”，名称为“一种基于自注意力生成对抗网络的图像着色方法”，该方法首先利用Perceptual Loss损失函数和Hinge Loss损失函数训练灰度图像着色模型；其次，输入待着色的灰度图像；接着，通过卷积运算、谱归一化、批归一化和激活函数运算得到特征提取层输出结果；然后，利用特征融合模块将特征提取卷积模块的输出与反卷积计算阶段联系起来；最后通过自注意力网络输出着色图像。该方法得到的着色图像对比度较低，颜色生硬不自然，不符合人眼视觉效果，同时实现过程复杂和效率低下。
发明内容
本发明为了解决现有的彩色化方法得到的着色图像颜色溢出、细节损失、对比度较低的问题，提供了一种基于扩张残差生成对抗网络的红外图像彩色化方法。该方法使得到的着色图像较好的抑制了颜色溢出问题，图像的颜色生动自然，更加符合人眼视觉观察，同时本发明提出的方法实现过程简单，图像着色效率更高。
本发明采用的技术方案是：
一种基于扩张残差生成对抗网络的红外图像彩色化方法，包含如下步骤：
步骤1，构建网络模型：整个生成对抗网络包括生成器和鉴别器；
所述的生成器由三个模块组成，分别是浅层特征提取模块、下采样模块和上采样模块，将红外图像输入生成器中，红外图像先经过浅层特征提取模块提取图像浅层信息，再经过下采样模块提取图像深层次的语义信息，最后经过上采样模块重建红外图像色度图像；
鉴别器采用小型VGG网络结构，由六个去掉批归一化的卷积块和两个全连接层组成；生成器输出的色度图像与红外图像融合即是生成的彩色红外图像，将生成的彩色红外图像与数据集中的可见光彩色图像输入鉴别器中，鉴别器输出真假概率信息判断输入图像是否真实；
步骤2，训练网络模型：训练红外图像着色模型，对整个生成对抗网络用可见光数据集ImageNet采用生成器和鉴别器进行对抗训练。调整数据集中每个图像的尺寸，固定输入图像的大小，分离出彩色图像的亮度通道L，将其作为整个网络的输入，将彩色图像作为标签，进行有监督的训练。
步骤3，最小化损失函数值：生成器采用色度损失和对抗损失，鉴别器采用对抗损失，通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器，直到生成器和鉴别器的对抗达到平衡状态即可认为模型参数已训练完成，保存模型参数；
步骤4，微调网络模型：用红外图像数据集对模型进行训练和微调，得到稳定可靠的模型参数。最终使得模型着色的效果更好；
步骤5，保存网络模型：将最终确定的模型参数进行固化。
如果需要对红外图像进行着色时，直接将图像输入到以上方法得到的网络模型中即可得到最终的彩色红外图像。
浅层特征提取模块由卷积块一和卷积块二组成，提取图像初级结构信息。下采样模块由残差卷积块一至残差卷积块三、扩张残差卷积块一至二和卷积块三至六组成，残差卷积块一至三完成下采样操作，扩张残差块一至二在保持图像分辨率不变的前提下维持感受野，进一步提取图像语义高级特征，卷积块三至六消除扩张残差卷积导致的网格效应。
残差卷积块和扩张残差卷积块网络结构是相同的，都是将上一层网络中输出的特征图与其经过两个残差结构输出的特征图进行拼接操作，增加对于不同网络层特征图信息的有效利用。二者区别在于残差卷积块用于实现下采样操作，所以跳跃连接中存在卷积操作进而实现拼接操作，而扩张残差卷积块是恒等残差块，可直接进行拼接操作。
上采样模块由卷积块七至九和两次像素重组组成，将下采样模块输出的特征图先经过卷积块七扩张特征图通道，再经过第一次像素重组进行特征图二倍重建，卷积块八继续扩大特征图通道，第二次像素重组进行特征图四倍重建，最后卷积块九输出重建的色度图像。
本发明的有益效果如下：
1、所申请的方法是基于深度学习的方法，采用的网络结构是生成对抗网络结构，利用生成器和鉴别器之间的博弈特性，加强对图像深层信息的提取，增强着色图像的自然度和真实度，动态提高彩色化图像质量。
2、本发明改进了下采样模块的结构，下采样模块使用的是扩张残差卷积网络结构，该结构可以有效减少网络的参数，并且使网络深度变浅，提高网络着色效率。在特征提取过程中，扩张卷积的使用，可以在保持图像分辨率不变的前提下维持感受野，提高网络的特征提取和表达能力；残差结构的使用增加对不同特征图信息的有效利用，加强网络层之间的联系使得网络更具有鲁棒性。
3、本发明改进了上采样模块的结构，用卷积块加像素重组替换传统反卷积进行图像重建上色，改善图像重建过程中的细节、颜色信息损失问题。
4、本发明去除了鉴别器中的批归一化层，批归一化层会破坏了图像原本的对比度信息，导致不可预测的伪影以及限制模型的泛化能力，去掉批归一化层可以提高网络的表现性能和减少计算量，增加训练的稳定性。同时本发明改进了损失函数，损失函数的设计有助于学习图像更清晰的边缘和更详细的纹理，使得输出图像具有更高的真实性。
附图说明
图1为本发明一种基于扩张残差生成对抗网络的红外图像彩色化方法流程图。
图2为本发明一种基于扩张残差生成对抗网络的红外图像彩色化方法的生成器网络结构图。
图3为本发明生成器网络中残差卷积块和扩张残差卷积块的网络结构图。
图4为本发明一种基于扩张残差生成对抗网络的红外图像彩色化方法的鉴别器网络结构图。
具体实施方式
下面结合附图对本发明做进一步详细说明。
如图1所示，一种基于扩张残差生成对抗网络的红外图像彩色化方法，该方法具体包括如下步骤：
步骤1，构建网络模型。
整个生成对抗网络包括生成器和鉴别器，生成器根据输入的目标红外图像生成彩色红外图像，鉴别器判断生成的彩色红外图像是否足够真实。
如图2所示，所述的生成器由三个模块组成，分别是浅层特征提取模块、下采样模块和上采样模块。将红外图像输入生成器中，红外图像先经过浅层特征提取模块提取图像浅层信息，再经过下采样模块提取图像深层次的语义信息，最后经过上采样模块重建红外图像色度图像。
浅层特征提取模块由卷积块一和卷积块二组成，提取图像初级结构信息。下采样模块由残差卷积块一至残差卷积块三、扩张残差卷积块一至二和卷积块三至六组成，残差卷积块一至三完成下采样操作，扩张残差块一至二在保持图像分辨率不变的前提下维持感受野，进一步提取图像语义高级特征，卷积块三至六消除扩张残差卷积导致的网格效应。
如图3所示，差卷积块和扩张残差卷积块网络结构是相同的，都是将上一层网络中输出的特征图与其经过两个残差结构输出的特征图进行拼接操作，增加对于不同网络层特征图信息的有效利用。二者区别在于残差卷积块用于实现下采样操作，所以跳跃连接中存在卷积操作进而实现拼接操作，而扩张残差卷积块是恒等残差块，可直接进行拼接操作。
采样模块由卷积块七至九和两次像素重组组成，将下采样模块输出的特征图先经过卷积块七扩张特征图通道，再经过第一次像素重组进行特征图二倍重建，卷积块八继续扩大特征图通道，第二次像素重组进行特征图四倍重建，最后卷积块九输出重建的色度图像。
如图4所示，鉴别器采用小型VGG网络结构，由6个去掉批归一化的卷积块和两个全连接层组成。生成器输出的色度图像与红外图像融合即是生成的彩色红外图像，将生成的彩色红外图像与数据集中的可见光彩色图像输入鉴别器中，鉴别器输出真假概率信息判断输入图像是否真实。
步骤2，训练网络模型。
训练红外图像着色模型，对整个生成对抗网络用可见光数据集ImageNet采用生成器和鉴别器进行对抗训练。调整数据集中每个图像的尺寸，固定输入图像的大小，分离出彩色图像的亮度通道L，将其作为整个网络的输入，将彩色图像作为标签，进行有监督的训练。
步骤3，最小化损失函数值。
生成器采用色度损失和相对平均鉴别器的对抗损失，鉴别器采用相对平均鉴别器的对抗损失，通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器，直到生成器和鉴别器的对抗达到平衡状态即可认为模型参数已训练完成，保存模型参数。生成器使用L1范数计算色度损失，通过最小化重建的着色图像与数据集中原始彩色图像之间的色度损失避免着色结果过于跳跃；使用相对平均鉴别器的对抗损失，通过最小化对抗损失提升着色效果的自然度与真实性。鉴别器使用相对平均鉴别器的对抗损失，最小化对抗损失有利于加快着色进程，提升着色效果。
步骤4，微调网络模型。用红外图像数据集FLIR对模型进行训练和微调，得到稳定可靠的模型参数。最终使得模型着色的效果更好。
步骤5，保存网络模型。将最终确定的模型参数进行固化。
如果需要对红外图像进行着色时，直接将图像输入到以上方法得到的网络模型中即可得到最终的彩色红外图像。
实施例：
一种基于扩张残差生成对抗网络的红外图像彩色化方法，该方法具体包括如下步骤：
步骤1，构建网络模型。
如图2所示，生成器中，卷积块由卷积层、批归一化层和激活函数组成，卷积核大小为3×3，步长为1，填充为1；如图3所示，残差卷积块一至三中，第一个卷积层步长为2用于实现下采样操作，第二个卷积层步长为1用于提取特征，卷积核大小均为3×3；传统下采样操作以改变图像分辨率来提取更深层次的信息，不利于图像恢复，使用扩张残差卷积块一至二替代传统下采样操作，其扩张率分别为2和4，目的是为了在保持图像分辨率为28×28的前提下维持感受野不变，进一步提取图像细节、语义等深层信息，但是扩张残差卷积会导致网格化效应，因此在网络后面添加扩张率为2的卷积块三至四和扩张率为1的卷积块五至六，通过网络学习，消除网格现象。卷积块七至八用于扩张特征图通道，两次像素重组实现上采样，其放大尺度分别为2和4，用于恢复红外图像原始尺寸、细节、色彩，卷积块九用于输出色度图像。
总的来说，着色过程是输入红外图像，经过3次步幅为2的下采样操作提取特征，经过2次像素重组重建色度图像，最后将输出的色度图像与红外图像融合成红外彩色图像输入鉴别器。
如图4所示，鉴别器中挖掘信息部分是由重复的卷积层、激活函数组成，最后接全连接层和激活函数输出图像真假概率信息。本发明去除了鉴别器中的批归一化层，批归一化层会破坏图像原本的对比度信息，导致不可预测的伪影以及限制模型的泛化能力，去掉批归一化层可以提高网络的表现性能和减少计算量，增加训练的稳定性。鉴别器中卷积层的卷积核大小均为3×3。
为了保证网络的鲁棒性，保留更多的结构信息，充分提取图像特征，本发明使用两种激活函数，分别为Sigmoid函数和LeakyReLU函数，卷积块九中的激活函数和鉴别器最后一个激活函数使用Sigmoid函数，其余激活函数均为LeakyReLU函数。Sigmoid函数和LeakyReLU函数定义如下所示：
步骤2，训练网络模型。
训练红外图像着色模型，对整个生成对抗网络用可见光数据集ImageNet采用生成器和鉴别器进行对抗训练。ImageNet包含1000个场景分类，120万张图片，是一个庞大的数据集，我们通过随机选取其中每种类别若干张图片组合成24000张ImageNet数据集，将这24000张图像尺寸调整为224×224作为整个网络的输入。可见光数据集的对抗训练可以确定一组初始化参数，加快后续网络训练进程。
步骤3，最小化损失函数值。
通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器。通过固定生成器参数使鉴别器损失函数最小化更新鉴别器参数，通过固定鉴别器参数使生成器损失函数最小化更新生成器参数，获得最优网络模型。生成器使用L1范数计算色度损失，使用相对平均鉴别器的对抗损失约束色彩真实性。L1色度损失学习每个像素的两个色度值(a，b)，定义L1计算公式为：
它是评价生成图像G(xi)和实际图像yi之间的L1距离的内容损失，避免着色结果过于平淡和跳跃。
定义生成器的对抗损失
计算公式为：
其中，DRa表示相对平均鉴别器，
表示小批量中所有假数据取平均值的操作，σ是Sigmoid函数，C(x)是非变换鉴频器输出，xf＝G(xi)，xi为输入的灰度图像，xr为实际的彩色图像，xf是生成图像即色度图像与红外图像融合图像。
因此生成器的总损失LG为：
其中，γ是平衡不同损失项的系数，控制各个损失项的权重。
鉴别器损失函数定义为：
通过优化生成器和鉴别器损失函数，有助于网络学习更清晰的边缘和更详细的纹理，使得着色图像的颜色自然，真实度更高，视觉效果更好。
设定训练次数为100，并设置批处理大小为10，损失函数权重γ设置为100，训练过程的初始学习速率为0.0003。网络参数优化器选择自适应矩估计算法，优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。当鉴别器判断假图的能力与生成器生成图像欺骗过鉴别器的能力平衡时，认为网络已基本训练完成。
步骤4，微调网络模型。用红外图像数据集FLIR对模型进行训练和微调，得到稳定可靠的模型参数。最终使得模型着色的效果更好。
步骤5，保存网络模型。网络训练完成后，将最终确定的模型参数进行固化。
如果需要对红外图像进行着色时，直接将图像输入到以上方法得到的网络模型中即可得到最终的彩色红外图像。该网络模型固定了输入图像的大小为224×224。
其中，卷积，跳跃连接，拼接操作，残差结构，扩张卷积和像素重组的实现是本领域技术人员公知的算法，具体流程和方法可在相应的教科书或者技术文献中查阅到。
本发明通过构建一种基于扩张残差生成对抗网络的红外图像彩色化网络模型，不仅提高了特征利用率，而且可以自动给红外图像着色，避免需要人工辅助着色的繁琐。主观上，本发明的着色图像色彩鲜明，颜色自然生动，很好的改善了颜色溢出、细节损失和缺乏对比度的问题；客观上，通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比如表1所示：
表1现有技术和本发明提出方法的相关指标对比
从表中可知，本发明提出的方法有更高的峰值信噪比和结构相似性两个指标，进一步说明本发明具有更好的着色图像质量。
Claims (4)
1.一种基于扩张残差生成对抗网络的红外图像彩色化方法，其特征是，该方法包括如下步骤：
步骤1，构建网络模型：整个生成对抗网络包括生成器和鉴别器；
所述的生成器由三个模块组成，分别是浅层特征提取模块、下采样模块和上采样模块，将红外图像输入生成器中，红外图像先经过浅层特征提取模块提取图像浅层信息，再经过下采样模块提取图像深层次的语义信息，最后经过上采样模块重建红外图像色度图像；
鉴别器采用小型VGG网络结构，由六个去掉批归一化的卷积块和两个全连接层组成；生成器输出的色度图像与红外图像融合即是生成的彩色红外图像，将生成的彩色红外图像与数据集中的可见光彩色图像输入鉴别器中，鉴别器输出真假概率信息判断输入图像是否真实；
步骤2，训练网络模型：训练红外图像着色模型，对整个生成对抗网络用可见光数据集ImageNet采用生成器和鉴别器进行对抗训练；调整数据集中每个图像的尺寸，固定输入图像的大小，分离出彩色图像的亮度通道L，将其作为整个网络的输入，将彩色图像作为标签，进行有监督的训练；
步骤3，最小化损失函数值：生成器采用色度损失和对抗损失，鉴别器采用对抗损失，通过最小化生成器和鉴别器的损失函数交替优化生成器和鉴别器，直到生成器和鉴别器的对抗达到平衡状态即可认为模型参数已训练完成，保存模型参数；
步骤4，微调网络模型：用红外图像数据集对模型进行训练和微调，得到稳定可靠的模型参数；最终使得模型着色的效果更好；
步骤5，保存网络模型：将最终确定的模型参数进行固化。
2.根据权利要求1所述的一种基于扩张残差生成对抗网络的红外图像彩色化方法，其特征在于，所述浅层特征提取模块由卷积块一和卷积块二组成，提取图像初级结构信息；下采样模块由残差卷积块一至残差卷积块三、扩张残差卷积块一至二和卷积块三至六组成，残差卷积块一至三完成下采样操作，扩张残差块一至二在保持图像分辨率不变的前提下维持感受野，进一步提取图像语义高级特征，卷积块三至六消除扩张残差卷积导致的网格效应。
3.根据权利要求2所述的一种基于扩张残差生成对抗网络的红外图像彩色化方法，其特征在于，所述残差卷积块和扩张残差卷积块网络结构是相同的，都是将上一层网络中输出的特征图与其经过两个残差结构输出的特征图进行拼接操作，增加对于不同网络层特征图信息的有效利用；二者区别在于残差卷积块用于实现下采样操作，所以跳跃连接中存在卷积操作进而实现拼接操作，而扩张残差卷积块是恒等残差块，可直接进行拼接操作。
4.根据权利要求1所述的一种基于扩张残差生成对抗网络的红外图像彩色化方法，其特征在于，所述上采样模块由卷积块七至九和两次像素重组组成，将下采样模块输出的特征图先经过卷积块七扩张特征图通道，再经过第一次像素重组进行特征图二倍重建，卷积块八继续扩大特征图通道，第二次像素重组进行特征图四倍重建，最后卷积块九输出重建的色度图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111376380.5A CN114067018B (zh) | 2021-11-19 | 2021-11-19 | 一种基于扩张残差生成对抗网络的红外图像彩色化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111376380.5A CN114067018B (zh) | 2021-11-19 | 2021-11-19 | 一种基于扩张残差生成对抗网络的红外图像彩色化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114067018A true CN114067018A (zh) | 2022-02-18 |
| CN114067018B CN114067018B (zh) | 2024-04-09 |
Family
ID=80278513
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111376380.5A Active CN114067018B (zh) | 2021-11-19 | 2021-11-19 | 一种基于扩张残差生成对抗网络的红外图像彩色化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114067018B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581560A (zh) * | 2022-03-01 | 2022-06-03 | 西安交通大学 | 基于注意力机制的多尺度神经网络红外图像彩色化方法 |
| CN115641391A (zh) * | 2022-10-26 | 2023-01-24 | 长春理工大学 | 一种基于密集残差和双流注意力的红外图像彩色化方法 |
| CN116137043A (zh) * | 2023-02-21 | 2023-05-19 | 长春理工大学 | 一种基于卷积和Transformer的红外图像彩色化方法 |
| CN116503502A (zh) * | 2023-04-28 | 2023-07-28 | 长春理工大学重庆研究院 | 一种基于对比学习的未配对红外图像彩色化方法 |
| CN116645569A (zh) * | 2022-12-27 | 2023-08-25 | 长春理工大学 | 一种基于生成对抗网络的红外图像彩色化方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| CN110969634A (zh) * | 2019-11-29 | 2020-04-07 | 国网湖北省电力有限公司检修公司 | 基于生成对抗网络的红外图像电力设备分割方法 |
| US10713821B1 (en) * | 2019-06-27 | 2020-07-14 | Amazon Technologies, Inc. | Context aware text-to-image synthesis |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
-
2021
- 2021-11-19 CN CN202111376380.5A patent/CN114067018B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136063A (zh) * | 2019-05-13 | 2019-08-16 | 南京信息工程大学 | 一种基于条件生成对抗网络的单幅图像超分辨率重建方法 |
| US10713821B1 (en) * | 2019-06-27 | 2020-07-14 | Amazon Technologies, Inc. | Context aware text-to-image synthesis |
| CN110969634A (zh) * | 2019-11-29 | 2020-04-07 | 国网湖北省电力有限公司检修公司 | 基于生成对抗网络的红外图像电力设备分割方法 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 魏然然等: "改进多尺度的Retinex红外图像增强", 《液晶与显示》, 15 March 2021 (2021-03-15) * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581560A (zh) * | 2022-03-01 | 2022-06-03 | 西安交通大学 | 基于注意力机制的多尺度神经网络红外图像彩色化方法 |
| CN114581560B (zh) * | 2022-03-01 | 2024-04-16 | 西安交通大学 | 基于注意力机制的多尺度神经网络红外图像彩色化方法 |
| CN115641391A (zh) * | 2022-10-26 | 2023-01-24 | 长春理工大学 | 一种基于密集残差和双流注意力的红外图像彩色化方法 |
| CN116645569A (zh) * | 2022-12-27 | 2023-08-25 | 长春理工大学 | 一种基于生成对抗网络的红外图像彩色化方法和系统 |
| CN116645569B (zh) * | 2022-12-27 | 2024-09-27 | 长春理工大学 | 一种基于生成对抗网络的红外图像彩色化方法和系统 |
| CN116137043A (zh) * | 2023-02-21 | 2023-05-19 | 长春理工大学 | 一种基于卷积和Transformer的红外图像彩色化方法 |
| CN116503502A (zh) * | 2023-04-28 | 2023-07-28 | 长春理工大学重庆研究院 | 一种基于对比学习的未配对红外图像彩色化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114067018B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114067018A (zh) | 一种基于扩张残差生成对抗网络的红外图像彩色化方法 | |
| CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
| CN110570353B (zh) | 密集连接生成对抗网络单幅图像超分辨率重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN109559276B (zh) | 一种基于质量评价和特征统计的图像超分辨率重建方法 | |
| CN111275647A (zh) | 一种基于循环生成对抗网络的水下图像复原方法 | |
| CN110119780A (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN115641391A (zh) | 一种基于密集残差和双流注意力的红外图像彩色化方法 | |
| CN115223004A (zh) | 基于改进的多尺度融合生成对抗网络图像增强方法 | |
| CN116645569B (zh) | 一种基于生成对抗网络的红外图像彩色化方法和系统 | |
| CN113723174B (zh) | 基于生成对抗网络的人脸图像超分辨修复重建方法及系统 | |
| CN112508812A (zh) | 图像色偏校正方法、模型训练方法、装置及设备 | |
| CN108921783A (zh) | 一种基于混合损失函数约束的卫星影像超分辨率重建方法 | |
| CN110930308B (zh) | 一种图像超分辨生成网络的结构搜索方法 | |
| CN114331831A (zh) | 一种轻量化的单张图像超分辨率重建方法 | |
| CN116485934A (zh) | 一种基于CNN和ViT的红外图像彩色化方法 | |
| CN115829876A (zh) | 一种基于交叉注意力机制的真实退化图像盲修复方法 | |
| CN115115514A (zh) | 基于高频信息特征融合的图像超分辨率重建方法 | |
| CN116664435A (zh) | 一种基于多尺度人脸解析图融入的人脸复原方法 | |
| CN116912110A (zh) | 基于Retinex-Net的低照度图像增强算法 | |
| CN113160056A (zh) | 一种基于深度学习的带噪图像超分辨率重建方法 | |
| CN115100039B (zh) | 一种基于深度学习的轻量级图像超分辨率重建方法 | |
| CN115829880A (zh) | 基于上下文结构注意力金字塔网络的图像修复方法 | |
| CN115908602A (zh) | 一种将风景照片转换为中国山水画的风格迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |