CN113496148A - 一种多源数据融合方法及系统 - Google Patents
一种多源数据融合方法及系统 Download PDFInfo
- Publication number
- CN113496148A CN113496148A CN202010197890.5A CN202010197890A CN113496148A CN 113496148 A CN113496148 A CN 113496148A CN 202010197890 A CN202010197890 A CN 202010197890A CN 113496148 A CN113496148 A CN 113496148A
- Authority
- CN
- China
- Prior art keywords
- information sources
- data sets
- neural network
- multiple information
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000003062 neural network model Methods 0.000 claims abstract description 38
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 21
- 238000003860 storage Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000011176 pooling Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多源数据融合方法及系统，其中所述方法包括采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取；别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；将所述对应的分类结果进行融合，作为最终分类识别结果。应用本发明所述方案，利用深度学习方法自动实现多源遥感图像特征的自动选择，无需手工特征选择，便于多源遥感图像融合的工程应用，在多源遥感图像融合领域取得优异结果。
Description
【技术领域】
本发明涉及计算机应用技术，特别涉及多源数据融合方法及系统。
【背景技术】
全球综合观测成果存在数据来源多样、类型繁多、尺度不一、语义不明以及数据量巨大等特点，多源数据融合技术不论在军事领域还是在民用领域都受到了广泛的关注。随着数据融合技术与理论的完备以及军事和其他领域成功地应用，对这一领域的研究也就日益重视起来。
随着人工智能技术的发展和计算机硬件性能的提高，开始将神经网络和模糊理论应用到数据融合技术当中，有效地通过自适应调整跟踪参数，防止目标丢失；结合样条逼近理论和神经网络原理的融合算法，通过权值修正迭代尽快确定权值，达到更快的运算速度和计算精度。随着人工智能技术的发展和计算机硬件性能的提高，深度学习等技术在多源数据融合等研究中取得了突破性的进展。但是，多数深度学习模型的构建只是针对具有二维空间语义层面的学习，对于多维向量特征的适用性较差。而且，基于深度学习平台的多源异构数据模型构建更是空白。
现阶段，对于多源数据的分析已采用了一定的人工智能技术，初步实现了关键要素身份智能判读、位置信息提取等任务，存在的问题是信息挖掘的可信度不高、执行效率难以满足需求。尤其是数据综合解译能力仍停留在目标融合层级，由“数据”向“信息”的转变效率不高，由机器取代人开展“决策”远未实现。多源异构数据融合仍然面临着多要素识别、数据融合和智能化综合决策问题。
在运用深度学习对海量多源异构数据进行处理分析时，将会涉及到对影像、图片、视频、文本等多种形式的数据，应用目的也各有不同，如从遥感影像中提取地物信息，从报文信息中获取目标位置信息，从自然语言文本中抽取指定类型的实体、关系、事件等事实信息……针对这些不同的数据形式和应用目的，就需要众多的样本数据，势必碰到样本资源匮乏的问题，并且针对不同的任务制作训练样本也是一个费时费力的过程。
【发明内容】
本申请的多个方面提供了多源数据融合方法、系统、设备及存储介质，能够。
本申请的一方面，提供一种多源数据融合方法，包括采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取；
别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
将所述对应的分类结果进行融合，作为最终分类识别结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述多种信源包括光学遥感、SAR遥感、红外遥感信源中至少两种。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述预处理为图像配准处理及归一化处理。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，一种信源对应一个预先训练的神经网络模型；所述预先训练的神经网络模型为深度卷积神经网络模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，根据各数据源的分类精度确定其权重，将所述对应的分类结果进行加权融合。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述对应的预先训练的神经网络模型是通过以下方法训练得到的：分别采集多种信源对同一场景或同一目标的图像数据集，分别对所述多种信源的图像数据集进行人工标注；对所述多种信源的图像数据集进行预处理和图像光谱特征提取，将所述特征提取结果和对应的人工标注作为训练数据集；分别使用所述训练数据集对预设的神经网络模型进行训练，得到对应的训练后的神经网络模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：采用基于特征函数的多任务学习方法获得所述各种信源对应的预设的神经网络模型的目标函数。
在本公开的第二方面，提供了一种多源数据融合系统，包括：预处理模块，用于采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取；分类模块，用于别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；融合模块，用于将所述对应的分类结果进行融合，作为最终分类识别结果。
在本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
在本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
【附图说明】
图1示出了根据本公开的实施例的多源数据融合方法的流程图；
图2示出根据本公开的实施例的多源数据融合系统的方框图；
图3示出了能够实施本公开的实施例的示例性电子设备的方框图。
【具体实施方式】
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
图1为本发明所述多源数据融合方法实施例的流程图，如图1所示，包括以下步骤：
步骤S11、采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取。
步骤S12、分别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
步骤S13、将所述对应的分类结果进行融合，作为最终分类识别结果。
在步骤S11的一种优选实现方式中，
优选地，所述多种信源包括光学遥感、SAR遥感、红外遥感等。
利用预设的预处理和图像光谱特征提取模型，对各种信源图像分别进行预处理和图像光谱特征提取，得到各种信源图像中位置坐标(i,j)的像素的光谱特征向量。
在一些实施例中，所述预处理为包括图像配准处理及归一化处理。所述图像配准是指将不同时间、不同视角、不同设备获得的两幅或更多图像重叠复合的过程，它是指在几何上对齐两幅或多幅图像。图像配准精度的高低直接影响到融合效果的好坏。可以将多源图像两两配准；也可以同时配准多幅图像，优选地，采用混合Student’s模型(Student’s tmixture model,SMM)对多幅多源图像的联合灰度散点图中的点建立模型并使用期望极大化(expectation maximization,EM)算法迭代求解模型参数，进而求解得到几何变换参数以集成配准多幅多源图像，规避传统两两配准算法中存在的选择依赖和内部不一致的问题，并且同时配准多幅图像将提高效率，减少时间开销。
在一些实施例中，对预处理后的各种信源图像进行图像光谱特征提取，以待融合图像中每个像素的坐标(i，j)为中心，提取(2*w+1)*(2*w+1)大小区域中所有像素构成一个向量作为坐标(i，j)上对应像素的光谱特征向量；其中，w表示特征窗口大小，其大小可以根据应用目的进行经验选取，w优选值为5～9，最优选值为5。
在步骤S12的一种优选实现方式中，
将对预处理后的各种信源图像进行图像光谱特征提取得到的光谱特征向量输入对应的预先训练的神经网络模型中，分别得到对应的分类结果。
在一些实施例中，所述预先训练的神经网络模型为深度卷积神经网络模型。
所述深度卷积神经网络模型包括：输入层、卷积层、池化层、全连接层、softmax层、输出层；优选地，包括：1个输入层、5个卷积层、3个池化层、2个全连接层、1个softmax层和1个输出层。具体结构为输入层-＞卷积层-＞池化层-＞卷积层-＞池化层-＞卷积层-＞卷积层-＞卷积层-＞池化层-＞全连接层-＞全连接层-＞softmax层-＞输出层。
在步骤S13的一种优选实现方式中，
所述融合为决策级融合，即将单源遥感影像分别进行分类，然后将分类结果按照一定的融合规则综合，得到最终的分类结果。
在一些实施例中，按照预先训练的神经网络模型对各数据源的分类结果，统计各数据源的每一像素属于各类别的隶属度，然后将所有数据源当前像素属于同一类别的隶属度进行融合。其中，各数据源的权重根据其分类精度确定，例如，对于SAR遥感和红外遥感而言，其分类精度分别可达60％和80％。比较当前像素各类别融合隶属度大小，根据最大隶属度原则，确定当前像素最终类别。
其中，所述对应的预先训练的神经网络模型是通过以下方法训练得到的：
步骤21、分别采集多种信源对同一场景或同一目标的图像数据集，分别对所述多种信源的图像数据集进行人工标注；
步骤22、对所述多种信源的图像数据集进行预处理和图像光谱特征提取，将所述特征提取结果和对应的人工标注作为训练数据集。
优选地，利用预处理和图像光谱特征提取模型，对所述多种信源的图像数据集分别进行预处理和图像光谱特征提取，得到光学遥感图像训练数据集、SAR遥感图像训练数据集、红外遥感图像训练数据集等。
优选地，得到训练数据集[xij，yij]其表示图像中位置坐标(i，j)的像素的光谱特征向量；yij∈{1，2，...，K}表示位置坐标(i，j)的像素的类别，K为常数，表示总的像素类别数。
步骤23、分别使用所述训练数据集对预设的神经网络模型进行训练，得到对应的训练后的神经网络模型。
优选地，所述预设的神经网络模型为深度卷积神经网络模型，经过上述步骤得到训练后的神经网络模型与所述多种信源一一对应，即，包括：光学遥感对应的预设的神经网络模型、SAR遥感对应的预设的神经网络模型、红外遥感对应的预设的神经网络模型。
在一些实施例中，利用步骤22获取的训练数据集，采用随机梯度下降方法对预设的神经网络模型进行训练，即对目标函数进行优化；当整个神经网络模型的损失函数趋于局部最优解附近时，完成训练；其中，局部最优解事先由人工设定。优选地，利用步骤22获取的光学遥感图像训练数据集、SAR遥感图像训练数据集和红外图像遥感训练数据集分别训练一个深度卷积神经网络。
在一些实施例中，采用基于特征函数的多任务学习方法获得所述各种信源对应的预设的神经网络模型的目标函数。优选地，采用参数的软共享机制：每个任务都有自己的模型，自己的参数。
在一些实施例中，所述预设的神经网络模型的目标函数是通过以下方式获得的：
假设有T个不同的学习任务(T种信源，每种信源对应一个学习任务，即一个预设的神经网络模型)，对于每个学习任务都有一个相关联的数据：
首先计算第t个学习任务的特征值与特征函数对{λti,φti}，其中λti为特征值，φti为相应的特征函数。另
是由数据集还有核函数(激活函数)K(.,.)形成的Gramian矩阵。所述核函数优选sigmoid函数或双曲线正切函数，最优选sigmoid函数。sigmoid将输出压缩到[0，1]，所以最后的输出平均值一般趋于0。
所述特征值和特征函数如下所示：
有
和
与现有技术中的单任务学习不同，本实施例中，多任务学习通过各个任务之间的相互关系同时学习多个任务。假设部分特征函数被多个任务共享，不同任务的特征函数能够相互影响。共享的特征函数能够提供更多关于数据分布的信息。
为了防止共享特征的权重过大导致所有任务的学习结果相同，本实施例中，单独为每一个任务建立独有的特征函数，如下：
其中C＝[C1,C2,...,CT],d＝d1+d2+...+dT表示所有任务的总和特征函数的个数。假设
和C0是上述目标函数的解，那么第t个回归目标函数可以写成如下形式：
其中，xti表示第t个任务的输入，ft(xti)表示输入xti的预测结果。
所述第t个目标函数的学习方法如下：
对于第t个任务的n个样本数据，初始化参数Ct，确定收敛值C0；循环上述运行公示2，直至Ct<C0,得到n个样本数据对应的n个特征函数，进而得到所述第t个目标函数。
应用本发明所述方案，利用深度学习方法自动实现多源遥感图像特征的自动选择，无需手工特征选择，便于多源遥感图像融合的工程应用，在多源遥感图像融合领域取得优异结果。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图2为本发明所述多源数据融合系统实施例的方框图，如图2所示，包括：
预处理模块21，用于采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取。
分类模块22，用于别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
融合模块23，用于将所述对应的分类结果进行融合，作为最终分类识别结果。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的终端和服务器的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理器中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
图3示出了可以用来实施本公开的实施例的电子设备300的示意性框图。设备300可以用于实现图2的多源数据融合系统。如图所示，设备300包括中央处理单元(CPU)301，其可以根据存储在只读存储器(ROM)302中的计算机程序指令或者从存储单元308加载到随机访问存储器(RAM)303中的计算机程序指令，来执行各种适当的动作和处理。在RAM 303中，还可以存储设备300操作所需的各种程序和数据。CPU 301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理单元301执行上文所描述的各个方法和处理。例如，在一些实施例中，各个方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM 302和/或通信单元309而被载入和/或安装到设备300上。当计算机程序加载到RAM 303并由CPU 301执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，CPU 301可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (10)
1.一种多源数据融合方法，其特征在于，包括以下步骤：
采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取；
别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
将所述对应的分类结果进行融合，作为最终分类识别结果。
2.根据权利要求1所述的方法，其特征在于，
所述多种信源包括光学遥感、SAR遥感、红外遥感信源中至少两种。
3.根据权利要求1所述的方法，其特征在于，
所述预处理为图像配准处理及归一化处理。
4.根据权利要求1所述的方法，其特征在于，
一种信源对应一个预先训练的神经网络模型；所述预先训练的神经网络模型为深度卷积神经网络模型。
5.根据权利要求1所述的方法，其特征在于，
根据各数据源的分类精度确定其权重，将所述对应的分类结果进行加权融合。
6.根据权利要求1所述的方法，其特征在于，所述对应的预先训练的神经网络模型是通过以下方法训练得到的：
分别采集多种信源对同一场景或同一目标的图像数据集，分别对所述多种信源的图像数据集进行人工标注；
对所述多种信源的图像数据集进行预处理和图像光谱特征提取，将所述特征提取结果和对应的人工标注作为训练数据集；
分别使用所述训练数据集对预设的神经网络模型进行训练，得到对应的训练后的神经网络模型。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
采用基于特征函数的多任务学习方法获得所述各种信源对应的预设的神经网络模型的目标函数。
8.一种多源数据融合系统，其特征在于，包括：
预处理模块，用于采集多种信源对同一场景或同一目标的图像数据集，对所述多种信源的图像数据集进行预处理和图像光谱特征提取；
分类模块，用于别将所述多种信源的图像数据集的图像光谱特征提取结果输入对应的预先训练的神经网络模型中，得到对应的分类结果；
融合模块，用于将所述对应的分类结果进行融合，作为最终分类识别结果。
9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010197890.5A CN113496148A (zh) | 2020-03-19 | 2020-03-19 | 一种多源数据融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010197890.5A CN113496148A (zh) | 2020-03-19 | 2020-03-19 | 一种多源数据融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113496148A true CN113496148A (zh) | 2021-10-12 |
Family
ID=77993607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010197890.5A Pending CN113496148A (zh) | 2020-03-19 | 2020-03-19 | 一种多源数据融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496148A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529489A (zh) * | 2022-03-01 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| CN115131412A (zh) * | 2022-05-13 | 2022-09-30 | 国网浙江省电力有限公司宁波供电公司 | 多光谱图像融合过程中的图像处理方法 |
| CN117392539A (zh) * | 2023-10-13 | 2024-01-12 | 哈尔滨师范大学 | 一种基于深度学习的河流水体识别方法、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592134A (zh) * | 2011-11-28 | 2012-07-18 | 北京航空航天大学 | 一种高光谱与红外数据多级决策融合分类方法 |
| CN103020605A (zh) * | 2012-12-28 | 2013-04-03 | 北方工业大学 | 基于决策层融合的桥梁识别方法 |
| CN105930772A (zh) * | 2016-04-13 | 2016-09-07 | 武汉大学 | 基于sar影像与光学遥感影像融合的城市不透水面提取方法 |
| CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
| CN108960300A (zh) * | 2018-06-20 | 2018-12-07 | 北京工业大学 | 一种基于深度神经网络的城市土地利用信息分析方法 |
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| CN110136154A (zh) * | 2019-05-16 | 2019-08-16 | 西安电子科技大学 | 基于全卷积网络与形态学处理的遥感图像语义分割方法 |
| CN110261329A (zh) * | 2019-04-29 | 2019-09-20 | 北京航空航天大学 | 一种基于全谱段高光谱遥感数据的矿物识别方法 |
-
2020
- 2020-03-19 CN CN202010197890.5A patent/CN113496148A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102592134A (zh) * | 2011-11-28 | 2012-07-18 | 北京航空航天大学 | 一种高光谱与红外数据多级决策融合分类方法 |
| CN103020605A (zh) * | 2012-12-28 | 2013-04-03 | 北方工业大学 | 基于决策层融合的桥梁识别方法 |
| CN105930772A (zh) * | 2016-04-13 | 2016-09-07 | 武汉大学 | 基于sar影像与光学遥感影像融合的城市不透水面提取方法 |
| CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
| CN108960300A (zh) * | 2018-06-20 | 2018-12-07 | 北京工业大学 | 一种基于深度神经网络的城市土地利用信息分析方法 |
| CN109993220A (zh) * | 2019-03-23 | 2019-07-09 | 西安电子科技大学 | 基于双路注意力融合神经网络的多源遥感图像分类方法 |
| CN110261329A (zh) * | 2019-04-29 | 2019-09-20 | 北京航空航天大学 | 一种基于全谱段高光谱遥感数据的矿物识别方法 |
| CN110136154A (zh) * | 2019-05-16 | 2019-08-16 | 西安电子科技大学 | 基于全卷积网络与形态学处理的遥感图像语义分割方法 |
Non-Patent Citations (2)
| Title |
|---|
| 于秀兰, 钱国蕙: "TM和SAR遥感图像的不同层次融合分类比较", 遥感技术与应用, no. 03, 30 September 1999 (1999-09-30), pages 38 - 44 * |
| 贾永红, 李德仁: "多源遥感影像像素级融合分类与决策级分类融合法的研究", 武汉大学学报(信息科学版), no. 05, 25 October 2001 (2001-10-25), pages 430 - 434 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114529489A (zh) * | 2022-03-01 | 2022-05-24 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| WO2023164929A1 (zh) * | 2022-03-01 | 2023-09-07 | 中国科学院深圳先进技术研究院 | 多源遥感图像融合方法、装置、设备及存储介质 |
| CN115131412A (zh) * | 2022-05-13 | 2022-09-30 | 国网浙江省电力有限公司宁波供电公司 | 多光谱图像融合过程中的图像处理方法 |
| CN115131412B (zh) * | 2022-05-13 | 2024-05-14 | 国网浙江省电力有限公司宁波供电公司 | 多光谱图像融合过程中的图像处理方法 |
| CN117392539A (zh) * | 2023-10-13 | 2024-01-12 | 哈尔滨师范大学 | 一种基于深度学习的河流水体识别方法、电子设备及存储介质 |
| CN117392539B (zh) * | 2023-10-13 | 2024-04-09 | 哈尔滨师范大学 | 一种基于深度学习的河流水体识别方法、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | BOMSC-Net: Boundary optimization and multi-scale context awareness based building extraction from high-resolution remote sensing imagery | |
| CN110728209B (zh) | 一种姿态识别方法、装置、电子设备及存储介质 | |
| CN112990211B (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
| EP4099220A1 (en) | Processing apparatus, method and storage medium | |
| CN111797893A (zh) | 一种神经网络的训练方法、图像分类系统及相关设备 | |
| TW202011282A (zh) | 用於車輛零件識別的神經網路系統、方法和裝置 | |
| CN112288706A (zh) | 一种自动化的染色体核型分析以及异常检测方法 | |
| US20220148291A1 (en) | Image classification method and apparatus, and image classification model training method and apparatus | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| CN114912612A (zh) | 鸟类识别方法、装置、计算机设备及存储介质 | |
| CN110781970B (zh) | 分类器的生成方法、装置、设备及存储介质 | |
| CN110033007A (zh) | 基于深度姿态预估和多特征融合的行人衣着属性识别方法 | |
| CN108564102A (zh) | 图像聚类结果评价方法和装置 | |
| CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
| CN113496148A (zh) | 一种多源数据融合方法及系统 | |
| CN113592060A (zh) | 一种神经网络优化方法以及装置 | |
| US20230060211A1 (en) | System and Method for Tracking Moving Objects by Video Data | |
| Grigorev et al. | Depth estimation from single monocular images using deep hybrid network | |
| EP3857449A1 (en) | Apparatus and method for three-dimensional object recognition | |
| CN113673482B (zh) | 基于动态标签分配的细胞抗核抗体荧光识别方法及系统 | |
| CN111507288A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
| CN112330701A (zh) | 基于极坐标表示的组织病理图像细胞核分割方法及系统 | |
| CN115546549A (zh) | 点云分类模型构建方法、点云分类方法、装置及设备 | |
| CN110889858A (zh) | 一种基于点回归的汽车部件分割方法及装置 | |
| CN114385846A (zh) | 一种图像分类方法、电子设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |