CN115018021B - 基于图结构与异常注意力机制的机房异常检测方法及装置 - Google Patents

基于图结构与异常注意力机制的机房异常检测方法及装置 Download PDF

Info

Publication number
CN115018021B
CN115018021B CN202210942327.5A CN202210942327A CN115018021B CN 115018021 B CN115018021 B CN 115018021B CN 202210942327 A CN202210942327 A CN 202210942327A CN 115018021 B CN115018021 B CN 115018021B
Authority
CN
China
Prior art keywords
graph structure
data
node
matrix
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210942327.5A
Other languages
English (en)
Other versions
CN115018021A (zh
Inventor
高宜凡
张杰明
陈展尘
陈显超
梁妍陟
刘洋
陈金成
李波
陈忠颖
陈益哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhaoqing Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN202210942327.5A priority Critical patent/CN115018021B/zh
Publication of CN115018021A publication Critical patent/CN115018021A/zh
Application granted granted Critical
Publication of CN115018021B publication Critical patent/CN115018021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明涉及机房检测技术领域，公开了基于图结构与异常注意力机制的机房异常检测方法及装置。本发明根据目标电力机房的传感器监测数据构建多维时间序列，将序列转换为图结构并获取对应的邻接矩阵，根据邻接矩阵和对应图结构的附加权重得到聚合矩阵，将聚合矩阵输入至预先训练完成的图卷积神经网络，以提取图结构特征；并将多维时间序列片段和图结构特征输入到预先训练完成的异常检测模型，得到对应异常检测结果，进而确定异常数据；其中异常检测模型包括多级编解码模块，每级编解码模块包括基于关联差异的Transformer编码器及解码器，该编码层的注意力模块为带有两分支结构的异常注意力模块。本发明能够有效提高异常检测精度及稳定性。

Description

基于图结构与异常注意力机制的机房异常检测方法及装置
技术领域
本发明涉及机房检测技术领域，尤其涉及基于图结构与异常注意力机制的机房异常检测方法及装置。
背景技术
电力机房作为单位用电端与国家电网的一个中转点，内部集成了包括变压器、发电机、电源控制设备、电源管理设备等众多的对电力设备。电力机房的各设备需要在运行时保证安全平稳，否则一旦某台设备出现故障，将会对电力系统的安全运行构成威胁。因此有关电力机房异常检测技术的研究与应用具有重要的现实意义。
传统的电力机房异常检测主要依靠人工巡检的方式，基于数据中心基础设施管理系统故障报警，通过人工查找机房和设备铭牌来确定异常设备位置。这种方法不仅效率低下，而且需要耗费大量人力物力。
随着人工智能的发展，现有技术中将深度学习算法应用于电力机房的异常检测领域。基于深度学习的异常检测可以被定义为在数据中自动发现偏离正常行为的实例或模型的问题。深度学习算法作为人工智能的重要部分，能够有效解决大部分传统方法稳定性和泛化性有限的问题。应用深度学习算法解决电力机房的异常检测问题时，往往是基于关于电机机房设备的单维数据，通过循环神经网络（RNN）或者长短期记忆网络（LSTM）网络模型学习时序数据点级别的表征，进而依靠重建误差或预测误差进行判定。然而，此类方法基于单维数据进行深度学习，不能有效捕捉设备之间的运行状态的联系和相关性，容易导致模型预测精度有限及稳定性不足的问题，且所学习的点级别表征信息量较小，并且可能被正常模式主导，使得异常点难以区分，导致异常检测精度较低。
发明内容
本发明提供了基于图结构与异常注意力机制的机房异常检测方法及装置，解决了目前基于深度学习网络的机房异常检测方法存在异常检测精度和稳定性不足的缺陷的技术问题。
本发明第一方面提供一种基于图结构与异常注意力机制的机房异常检测方法，包括：
获取目标电力机房的传感器监测数据，根据所述传感器监测数据构建多维时间序列；
根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵；
将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征；
利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段，将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型，得到对应的异常检测结果；
根据所述异常检测结果确定对应多维时间序列中的异常数据；
其中，所述异常检测模型包括多级的编解码模块，前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入，每个所述编解码模块包括基于关联差异的Transformer编码器及解码器，所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的，所述两分支结构用于同时建模先验关联和序列关联；所述解码器利用多头注意力机制进行解码。
根据本发明第一方面的一种能够实现的方式，所述根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，包括：
将所述多维时间序列对应的传感器视为图结构中的节点，将传感器之间的相关性视为图结构中节点之间的边，根据图结构中节点与节点之间的相关性构建邻接矩阵。
根据本发明第一方面的一种能够实现的方式，所述根据图结构中节点与节点之间的相关性构建邻接矩阵，包括：
按照下列相关性度量关系式表示节点与节点之间的相关性：
Figure 616192DEST_PATH_IMAGE001
式中，
Figure 533332DEST_PATH_IMAGE002
表示节点
Figure 44561DEST_PATH_IMAGE003
与节点
Figure 580715DEST_PATH_IMAGE004
之间的相关性，
Figure 395088DEST_PATH_IMAGE005
为节点
Figure 155233DEST_PATH_IMAGE004
与其余节点之间的相关性假设，
Figure 422267DEST_PATH_IMAGE006
为节点
Figure 558850DEST_PATH_IMAGE003
与其余节点之间的相关性假设，
Figure 165412DEST_PATH_IMAGE005
、
Figure 893196DEST_PATH_IMAGE006
的取值范围皆为0~1，
Figure 726154DEST_PATH_IMAGE007
表示节点
Figure 194657DEST_PATH_IMAGE003
与节点
Figure 858988DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率，
Figure 226515DEST_PATH_IMAGE008
为节点
Figure 468141DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率，
Figure 680947DEST_PATH_IMAGE009
为节点
Figure 262101DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率，
Figure 597268DEST_PATH_IMAGE010
为节点
Figure 60610DEST_PATH_IMAGE004
的相关节点集合。
根据本发明第一方面的一种能够实现的方式，所述根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵，包括：
按照下式得到聚合矩阵：
Figure 139425DEST_PATH_IMAGE011
式中，
Figure 778347DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵，E为邻接矩阵A对应图结构的附加权重，
Figure 487677DEST_PATH_IMAGE013
为预置的图结构复杂性系数，
Figure 438316DEST_PATH_IMAGE013
的取值范围为0~1。
根据本发明第一方面的一种能够实现的方式，所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层，所述将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征，包括：
将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理，得到每个节点的输出特征：
Figure 75750DEST_PATH_IMAGE014
式中，
Figure 569179DEST_PATH_IMAGE015
表示节点
Figure 511727DEST_PATH_IMAGE004
的输出特征，
Figure 887345DEST_PATH_IMAGE016
、
Figure 307962DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 718215DEST_PATH_IMAGE004
、
Figure 769348DEST_PATH_IMAGE003
的输入特征，
Figure 694578DEST_PATH_IMAGE018
为
Figure 653307DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果，
Figure 714804DEST_PATH_IMAGE019
为
Figure 140100DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果，
Figure 490310DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 518309DEST_PATH_IMAGE004
的邻居节点集合，W为预置的可训练权重矩阵；
将所述每个节点的输出特征经过所述Sigmoid函数层进行处理，得到相应的图结构特征。
根据本发明第一方面的一种能够实现的方式，所述根据所述异常检测结果确定对应多维时间序列中的异常数据，包括：
将所述异常检测结果与对应多维时间序列进行比较以获取异常得分；
若所述异常得分超过预设阈值，将对应数据标记为异常数据。
根据本发明第一方面的一种能够实现的方式，所述方法还包括：
在根据所述多维时间序列构建相应的图结构之前，对所述多维时间序列进行预处理；所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
本发明第二方面提供一种基于图结构与异常注意力机制的机房异常检测装置，包括：
数据获取模块，用于获取目标电力机房的传感器监测数据，根据所述传感器监测数据构建多维时间序列；
数据转换模块，用于根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵；
特征提取模块，用于将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征；
异常检测模块，用于利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段，将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型，得到对应的异常检测结果；
异常数据确定模块，用于根据所述异常检测结果确定对应多维时间序列中的异常数据；
其中，所述异常检测模型包括多级的编解码模块，前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入，每个所述编解码模块包括基于关联差异的Transformer编码器及解码器，所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的，所述两分支结构用于同时建模先验关联和序列关联；所述解码器利用多头注意力机制进行解码。
根据本发明第二方面的一种能够实现的方式，所述数据转换模块包括：
第一数据转换单元，用于将所述多维时间序列对应的传感器视为图结构中的节点，将传感器之间的相关性视为图结构中节点之间的边，根据图结构中节点与节点之间的相关性构建邻接矩阵。
根据本发明第二方面的一种能够实现的方式，所述第一数据转换单元具体用于：
按照下列相关性度量关系式表示节点与节点之间的相关性：
Figure 431383DEST_PATH_IMAGE001
式中，
Figure 762001DEST_PATH_IMAGE002
表示节点
Figure 661824DEST_PATH_IMAGE003
与节点
Figure 165617DEST_PATH_IMAGE004
之间的相关性，
Figure 467286DEST_PATH_IMAGE005
为节点
Figure 765543DEST_PATH_IMAGE004
与其余节点之间的相关性假设，
Figure 90345DEST_PATH_IMAGE006
为节点
Figure 460147DEST_PATH_IMAGE003
与其余节点之间的相关性假设，
Figure 85163DEST_PATH_IMAGE005
、
Figure 882218DEST_PATH_IMAGE006
的取值范围皆为0~1，
Figure 631999DEST_PATH_IMAGE007
表示节点
Figure 805491DEST_PATH_IMAGE003
与节点
Figure 753856DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率，
Figure 453303DEST_PATH_IMAGE008
为节点
Figure 549435DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率，
Figure 401984DEST_PATH_IMAGE009
为节点
Figure 267172DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率，
Figure 343713DEST_PATH_IMAGE010
为节点
Figure 864824DEST_PATH_IMAGE004
的相关节点集合。
根据本发明第二方面的一种能够实现的方式，所述数据转换模块还包括：
第二数据转换单元，用于按照下式得到聚合矩阵：
Figure 114540DEST_PATH_IMAGE011
式中，
Figure 37496DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵，E为邻接矩阵A对应图结构的附加权重，
Figure 81676DEST_PATH_IMAGE013
为预置的图结构复杂性系数，
Figure 152400DEST_PATH_IMAGE013
的取值范围为0~1。
根据本发明第二方面的一种能够实现的方式，所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层，所述特征提取模块包括：
第一特征提取单元，用于将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理，得到每个节点的输出特征：
Figure 346752DEST_PATH_IMAGE014
式中，
Figure 186532DEST_PATH_IMAGE015
表示节点
Figure 604875DEST_PATH_IMAGE004
的输出特征，
Figure 628807DEST_PATH_IMAGE016
、
Figure 485905DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 321137DEST_PATH_IMAGE004
、
Figure 910381DEST_PATH_IMAGE003
的输入特征，
Figure 955697DEST_PATH_IMAGE018
为
Figure 288590DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果，
Figure 775066DEST_PATH_IMAGE019
为
Figure 863108DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果，
Figure 864562DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 63462DEST_PATH_IMAGE004
的邻居节点集合，W为预置的可训练权重矩阵；
第二特征提取单元，用于将所述每个节点的输出特征经过所述Sigmoid函数层进行处理，得到相应的图结构特征。
根据本发明第二方面的一种能够实现的方式，所述异常数据确定模块包括：
异常得分计算单元，用于将所述异常检测结果与对应多维时间序列进行比较以获取异常得分；
异常数据确定单元，用于若所述异常得分超过预设阈值，将对应数据标记为异常数据。
根据本发明第二方面的一种能够实现的方式，所述装置还包括：
数据预处理模块，用于在根据所述多维时间序列构建相应的图结构之前，对所述多维时间序列进行预处理；所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
本发明第三方面提供了一种基于图结构与异常注意力机制的机房异常检测装置，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项能够实现的方式所述的基于图结构与异常注意力机制的机房异常检测方法；
处理器，用于执行所述存储器中的指令。
本发明第四方面一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项能够实现的方式所述的基于图结构与异常注意力机制的机房异常检测方法。
从以上技术方案可以看出，本发明具有以下优点：
本发明根据目标电力机房的传感器监测数据构建多维时间序列，并将多维时间序列转换为图结构并获取对应的邻接矩阵，根据邻接矩阵和对应图结构的附加权重得到聚合矩阵，将聚合矩阵输入至预先训练完成的图卷积神经网络，以提取图结构特征；并将多维时间序列片段和图结构特征输入到预先训练完成的异常检测模型，得到对应的异常检测结果，进而确定异常数据；其中异常检测模型包括多级编解码模块，每级编解码模块包括基于关联差异的Transformer编码器及解码器；本发明基于多维度输入变量进行异常检测，多维变量能够有效捕捉机房设备之间的运行状态联系和相关性，避免了采用单维数据进行异常检测导致的模型预测精度有限以及稳定性不足的问题；通过建立图结构，将多维时间序列利用有向图表示，使模型能够更有效地学习多维时间数据之间的依赖程度；采用多级编解码模块，能够减少数据过拟合现象，提高模型检测性能的稳定性，其中编码层采用基于关联差异的Transformer编码器，能够提高模型区分正常数据与异常数据的能力，进一步提高模型检测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明一个可选实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法的流程图；
图2为本发明一个可选实施例提供的Transformer编码器的结构示意图；
图3为本发明一个可选实施例提供的解码器的结构示意图；
图4为本发明一个可选实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法的异常检测逻辑示意图。
图5为本发明一个可选实施例提供的一种基于图结构与异常注意力机制的机房异常检测装置的结构连接框图。
附图标记：
1-数据获取模块；2-数据转换模块；3-特征提取模块；4-异常检测模块；5-异常数据确定模块。
具体实施方式
本发明实施例提供了基于图结构与异常注意力机制的机房异常检测方法及装置，用于解决目前基于深度学习网络的机房异常检测方法存在异常检测精度和稳定性不足的缺陷的技术问题。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了更好地对本申请实施例中的技术方案进行描述，下面对相关知识进行介绍。
（1）图卷积神经网络（Graph Convolutional Network，GCN）：
是一类采用图形结构进行卷积的神经网络，本质上是一个特征提取器。由于图的结构一般是不规则的，可以看作是无限维的一种数据，不具有平移不变性，因此无法用CNN或RNN神经网络进行特征提取。图结构中的节点因为相邻和更远的点的影响，而改变着自己的状态直到最终的平衡，且关系越亲近的邻居节点影响越大。GCN利用这一点完成对图结构特征的提取。
（2）重构误差（Reconstruction error）：
指的是模型输出值与原始输入之间的均方误差。
（3）邻接矩阵（Adjacency Matrix）：
是表示顶点之间相邻关系的矩阵，是n阶方阵。即当节点
Figure 607707DEST_PATH_IMAGE003
与节点
Figure 804333DEST_PATH_IMAGE004
相连时，对应的邻接矩阵
Figure 558662DEST_PATH_IMAGE021
，表示两节点之间的连接关系。
（4）多维时间序列：
多维时间序列可以表示为
Figure 27165DEST_PATH_IMAGE022
，其中，
Figure 691496DEST_PATH_IMAGE023
是长度为V的信号，N是信号总数，即传感器的个数。
（5）先验关联：
异常数据总是集中出现，因此异常数据的相关性集中在相邻的时间点，由于连续性，这些时间点包含类似的异常模式，我们把这种相邻的异常模式以先验关联进行表征。因此异常关联为采用可学习的高斯核函数表示的对应时间点的数据与邻接数据的偏差。
（6）序列关联：
从原始时间序列中学习关联权重大小，可以自适应地找到最有效的关联，基于此可得到序列关联。序列关联为从所述多维时间序列中学习的对应时间点的自我注意权重。
（7）关联差异：
通过时间点的先验关联与序列关联之间的距离来量化，称为关联差异。通常利用KL散度来表征关联差异。KL散度又被称为相对熵（relative entropy），是两个概率分布间差异的非对称性度量。在信息理论中，相对熵等价于两个概率分布的信息熵的差值。当参与计算的一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。
本发明提供了一种基于图结构与异常注意力机制的机房异常检测方法。
请参阅图1，图1示出了本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法的流程图。
本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测方法，包括：
步骤S1，获取目标电力机房的传感器监测数据，根据所述传感器监测数据构建多维时间序列。
其中，传感器监测数据为用于监测目标电力机房故障的传感器所采集的数据。例如，主轴承温度、风扇转速、CPU温度、电源电压等数据。
步骤S2，根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵。
在一种能够实现的方式中，所述根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，包括：
将所述多维时间序列对应的传感器视为图结构中的节点，将传感器之间的相关性视为图结构中节点之间的边，根据图结构中节点与节点之间的相关性构建邻接矩阵。
具体地，对于图的定义为
Figure 121340DEST_PATH_IMAGE024
，其中
Figure 35070DEST_PATH_IMAGE025
表示节点的集合，
Figure 575772DEST_PATH_IMAGE026
表示为边的集合。
Figure 156926DEST_PATH_IMAGE027
，N表示传感器的个数。
计算图结构中节点与节点之间的相关性时，需要为每一个传感器即节点选择相关节点，以构建相关节点集合。同时，对于每个节点，设置节点与其余节点之间的相关性假设：
Figure 429776DEST_PATH_IMAGE028
式中，
Figure 158697DEST_PATH_IMAGE005
为节点
Figure 971933DEST_PATH_IMAGE004
与其余节点之间的相关性假设。
在一种能够实现的方式中，按照下列相关性度量关系式表示节点与节点之间的相关性：
Figure 469910DEST_PATH_IMAGE001
式中，
Figure 116923DEST_PATH_IMAGE002
表示节点
Figure 333141DEST_PATH_IMAGE003
与节点
Figure 153329DEST_PATH_IMAGE004
之间的相关性，
Figure 237304DEST_PATH_IMAGE005
为节点
Figure 179853DEST_PATH_IMAGE004
与其余节点之间的相关性假设，
Figure 758733DEST_PATH_IMAGE006
为节点
Figure 117033DEST_PATH_IMAGE003
与其余节点之间的相关性假设，
Figure 589602DEST_PATH_IMAGE005
、
Figure 375156DEST_PATH_IMAGE006
的取值范围皆为0~1，
Figure 238070DEST_PATH_IMAGE007
表示节点
Figure 462378DEST_PATH_IMAGE003
与节点
Figure 523874DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率，
Figure 808225DEST_PATH_IMAGE008
为节点
Figure 361697DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率，
Figure 61800DEST_PATH_IMAGE009
为节点
Figure 243383DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率，
Figure 430126DEST_PATH_IMAGE010
为节点
Figure 329949DEST_PATH_IMAGE004
的相关节点集合。
这里，前部分为余弦相关，用来度量节点之间在空间中的相关性，后部分为P概率相关，用来度量节点
Figure 37005DEST_PATH_IMAGE003
和节点
Figure 10777DEST_PATH_IMAGE004
在时间上的相关性。结合时空两个维度，可以更有效地表示节点之间的依赖程度，将节点的拓扑结构精细化。
Figure 636931DEST_PATH_IMAGE002
的结果越大，表示两个节点越相似。
其中，假设n维时间数据服从正太分布，其中n是传感器的个数，节点
Figure 961733DEST_PATH_IMAGE003
和节点
Figure 3638DEST_PATH_IMAGE004
的数据分别为
Figure 159813DEST_PATH_IMAGE029
、
Figure 691288DEST_PATH_IMAGE030
则：
Figure 441070DEST_PATH_IMAGE031
Figure 614562DEST_PATH_IMAGE032
其中，
Figure 562926DEST_PATH_IMAGE033
分别表示均值和方差，可以通过观测数据计算得到。
其中，邻接矩阵的元素
Figure 262374DEST_PATH_IMAGE034
为：
Figure 358506DEST_PATH_IMAGE035
即，首先利用相关性度量关系式计算与节点
Figure 945476DEST_PATH_IMAGE004
与各相关节点之间的相关性,然后选择前K个值，其中
Figure 76243DEST_PATH_IMAGE036
，这里K值可以根据用户预计的图结构的复杂性来选择，并且将K个值对应的邻接矩阵元素设为1，其余为0。
本发明实施例中，提出用图结构建立多维数据之间的相关性。传统的图神经网络使用相同的模型为每个节点建立图结构，限制了模型的灵活性，传统的图卷积神经网络使用相同的模型为每个节点建立图结构，限制了模型的灵活性。本实施例中，基于模型的复杂度选择前K个值进行邻接矩阵的构建，以用于后续的网络训练，可以准确地学习传感器之间的相互依赖程度；
在一种能够实现的方式中，所述根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵，包括：
按照下式得到聚合矩阵：
Figure 152783DEST_PATH_IMAGE011
式中，
Figure 673894DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵，E为邻接矩阵A对应图结构的附加权重，
Figure 923610DEST_PATH_IMAGE013
为预置的图结构复杂性系数，
Figure 846567DEST_PATH_IMAGE013
的取值范围为0~1。
传统的异常检测方法都是基于二维空间进行处理，容易忽略传感器之间的相互关系，为此本发明上述实施例中，引入图结构，来表示多维时间序列的拓扑结构，从二维空间转换到多维空间。在进行图结构的表示上，引入聚合矩阵，即由邻接矩阵和初始化时的预测权重矩阵组合而成，加入的预测权重一开始是随机初始化，然后与邻接矩阵一起输入到图结构的特征学习网络（即图卷积神经网络）进行调参，这使得时间序列的拓扑结构更具有灵活性。
步骤S3，将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征。
在一种能够实现的方式中，所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层，所述将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征，包括：
将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理，得到每个节点的输出特征：
Figure 156325DEST_PATH_IMAGE014
式中，
Figure 961470DEST_PATH_IMAGE015
表示节点
Figure 155823DEST_PATH_IMAGE004
的输出特征，
Figure 995603DEST_PATH_IMAGE016
、
Figure 413946DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 706387DEST_PATH_IMAGE004
、
Figure 318413DEST_PATH_IMAGE003
的输入特征，
Figure 153645DEST_PATH_IMAGE018
为
Figure 805206DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果，
Figure 788205DEST_PATH_IMAGE019
为
Figure 121098DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果，
Figure 669891DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 695616DEST_PATH_IMAGE004
的邻居节点集合，W为预置的可训练权重矩阵；
将所述每个节点的输出特征经过所述Sigmoid函数层进行处理，得到相应的图结构特征。
具体地，输入聚合矩阵为
Figure 697070DEST_PATH_IMAGE012
，其维度是
Figure 771336DEST_PATH_IMAGE037
，N是传感器的个数，T是信号通过滑动窗口截取的时间序列的长度，卷积核的参数为
Figure 440215DEST_PATH_IMAGE038
，加入池化层后，通过下采样，对特征进行压缩，减少全连接层的参数，降低模型的复杂度，最后通过全连接层，将邻接矩阵的每个节点表示为相关节点的加权求和，即该输出特征。
现有技术中，通常对图结构进行特征提取的网络是单层全连接网络。本发明实施例中，对现有的图结构的特征提取网络进行改进，加入了卷积层与池化层。由于对图结构的特征提取，是基于聚合矩阵进行处理，利用该矩阵的方阵特性，添加卷积网络可以扩大感受野的范围，提高模型的精细度。
本发明实施例中，通过搭建一个轻量级的图卷积神经网络对图结构进行特征提取，这里卷积核的参数设置为3×3，网络的输入为聚合矩阵，是N阶方阵，其中N表示传感器的个数，即多维时间序列的维度。由于卷积网络的轻量特点，使得该网络便于移植处理与嵌入操作。
其中，将所述每个节点的输出特征经过所述Sigmoid函数层进行处理，具体为：
对于每个节点进行共享线性变换：
Figure 636841DEST_PATH_IMAGE039
Figure 125591DEST_PATH_IMAGE040
式中，
Figure 859673DEST_PATH_IMAGE041
表示串联，
Figure 524004DEST_PATH_IMAGE042
为将传感器相关性假设
Figure 688269DEST_PATH_IMAGE005
与相应变换后的特征
Figure 867578DEST_PATH_IMAGE015
连接起来的结果；
使用Sigmoid函数对
Figure 408280DEST_PATH_IMAGE042
进行激活。
本发明实施例中，将输入的聚合矩阵映射为每个值属于0~1且所有值之和为1的结果。图卷积神经网络的输出为N个节点的表示，即
Figure 723855DEST_PATH_IMAGE043
。
步骤S4，利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段，将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型，得到对应的异常检测结果。
其中，如图2所示，所述异常检测模型包括多级的编解码模块，前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入。每个所述编解码模块包括基于关联差异的Transformer编码器及解码器，所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的，所述两分支结构用于同时建模先验关联和序列关联；所述解码器利用多头注意力机制进行解码。
本发明实施例中，借鉴现有的基于关联差异的时间序列异常检测方法，采用具有二分支结构的Transformer编码器，该二分支结构可以计算时间序列的先验相关和序列相关。相比于单分支，可以增加正常数据与异常数据之间的区别。在此基础上，本申请对异常检测模型进行改进。由于模型有时会对异常的数据进行拟合，即产生“过拟合”现象，异常数据会通过与周围其他正常节点建立“假性”关联，使得异常数据的损失函数值较低，隐藏自己的异常性。为了使模型在异常数据上表现为异常的数据和预测的数据差异较大，本申请将多个具有该Transformer编码器的编解码模块进行串联，将第一个编解码模块输出的预测值与真实值的差值作为第二个编解码模块的输入，以此希望第二个编解码模块能学习到差值中所剩余的信息。
本发明实施例中，Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的。对于先验相关，可以采用一个可学习的高斯核来计算相对时间距离的先验相关。由于高斯核函数只有一个峰值，并且距离中心点的距离越近，相似度越接近1，反之越接近于0。利用此特性，引入高斯核函数的注意力机制会更加关注邻近的节点特征。这里，为高斯核函数嵌入一个可学习的参数，使得先验相关适应各种时间序列模式，例如不同长度的异常段。序列相关分支是从原始序列中学习关联，可以自适应地找到最有效的关联。
Transformer编码器的结构示意图可如图3所示。其中，第L层参数为Q、K、V、r。
Transformer编码器的第
Figure 262284DEST_PATH_IMAGE044
层输出为：
Figure 725626DEST_PATH_IMAGE045
Figure 804441DEST_PATH_IMAGE046
其中，
Figure 443364DEST_PATH_IMAGE047
，表示第L层与
Figure 949431DEST_PATH_IMAGE048
通道的输出。初始输入
Figure 103332DEST_PATH_IMAGE049
，表示嵌入的原始序列。
Figure 985837DEST_PATH_IMAGE050
表示第L层的隐藏表示。
QKV的初始值为：
Figure 69812DEST_PATH_IMAGE051
式中，
Figure 887727DEST_PATH_IMAGE052
分别表示查询、关键字、自我注意值和学习量，
Figure 325661DEST_PATH_IMAGE053
，
Figure 949541DEST_PATH_IMAGE054
分别表示第L层中Q、K、V、r的参数矩阵，
Figure 156531DEST_PATH_IMAGE055
。
计算序列相关所采用的计算公式为：
Figure 207664DEST_PATH_IMAGE056
可以基于学习到的高斯核参数
Figure 70578DEST_PATH_IMAGE057
生成异常关联
Figure 29306DEST_PATH_IMAGE058
，并且第
Figure 356383DEST_PATH_IMAGE059
个元素
Figure 781679DEST_PATH_IMAGE060
对应于第
Figure 928626DEST_PATH_IMAGE059
个时间点。先验相关的计算公式可以为：
Figure 894308DEST_PATH_IMAGE061
式中，
Figure 807382DEST_PATH_IMAGE062
为参与计算时间序列的长度，
Figure 262634DEST_PATH_IMAGE063
对应不同时间点，即第
Figure 303402DEST_PATH_IMAGE059
个时间点到第
Figure 807196DEST_PATH_IMAGE064
个时间点的关联权重由高斯核
Figure 843285DEST_PATH_IMAGE065
计算。Rescale(.)表示除以行和操作，用于将关联权重转变为离散分布。
解码器的结构示意图可如图4所示。
解码器输出的第
Figure 407122DEST_PATH_IMAGE044
层的隐藏表示为：
Figure 528662DEST_PATH_IMAGE066
作为一项无监督的任务，可以采用重建损失优化异常检测模型。重建损失将引导序列关联找到最有信息的关联。为了进一步放大正常和异常时间点之间的差异，可以进一步使用附加损失来放大关联差异。相应的损失函数为：
Figure 836146DEST_PATH_IMAGE067
式中，
Figure 726742DEST_PATH_IMAGE068
是每个节点附加权重，
Figure 523796DEST_PATH_IMAGE069
是神经网络的参数，
Figure 273578DEST_PATH_IMAGE070
是损失的权衡系数，
Figure 181491DEST_PATH_IMAGE071
为聚合矩阵通过图卷积神经网络后得到的输出，
Figure 129855DEST_PATH_IMAGE072
为
Figure 829302DEST_PATH_IMAGE071
的重建数据，
Figure 925434DEST_PATH_IMAGE073
表示输入序列通过异常检测模型得到的重构损失。
步骤S5，根据所述异常检测结果确定对应多维时间序列中的异常数据。
在一种能够实现的方式中，所述根据所述异常检测结果确定对应多维时间序列中的异常数据，包括：
将所述异常检测结果与对应多维时间序列进行比较以获取异常得分；
若所述异常得分超过预设阈值，将对应数据标记为异常数据。
获取异常得分时，可以将异常检测结果与观测的时间序列进行比较，计算出
Figure 777984DEST_PATH_IMAGE074
时刻的传感器
Figure 908751DEST_PATH_IMAGE059
的错误值：
Figure 985291DEST_PATH_IMAGE075
式中，
Figure 240823DEST_PATH_IMAGE076
表示
Figure 756118DEST_PATH_IMAGE074
时刻的传感器
Figure 679075DEST_PATH_IMAGE059
的错误值，
Figure 988834DEST_PATH_IMAGE077
表示第
Figure 528399DEST_PATH_IMAGE059
个节点在
Figure 722751DEST_PATH_IMAGE074
时刻由其他节点通过边的连接进行的加权集合表示，
Figure 562531DEST_PATH_IMAGE078
，
Figure 980874DEST_PATH_IMAGE079
表示节点
Figure 538895DEST_PATH_IMAGE004
与节点
Figure 861904DEST_PATH_IMAGE003
之间边的值，
Figure 821770DEST_PATH_IMAGE080
表示
Figure 614277DEST_PATH_IMAGE077
通过图卷积神经网络后得到的结果，
Figure 331697DEST_PATH_IMAGE081
，
Figure 726906DEST_PATH_IMAGE082
表示通过图卷积神经网络处理后节点
Figure 478961DEST_PATH_IMAGE004
与节点
Figure 239107DEST_PATH_IMAGE003
之间边的值，
Figure 506140DEST_PATH_IMAGE083
表示异常检测结果中第
Figure 439461DEST_PATH_IMAGE059
个传感器在
Figure 249285DEST_PATH_IMAGE074
时刻的值，
Figure 180332DEST_PATH_IMAGE016
表示第
Figure 666153DEST_PATH_IMAGE059
个传感器在
Figure 668744DEST_PATH_IMAGE074
时刻的观测值；
对所述进行归一化处理，得到对应的异常得分：
Figure 333075DEST_PATH_IMAGE084
式中，
Figure 435023DEST_PATH_IMAGE085
表示第
Figure 676648DEST_PATH_IMAGE059
个传感器在
Figure 155034DEST_PATH_IMAGE074
时刻的数据的异常得分，
Figure 532926DEST_PATH_IMAGE086
分别表示在预置时间间隔内第
Figure 71355DEST_PATH_IMAGE059
个传感器的错误值的均值和方差。
其中，可以使用当前时刻的前数天数据进行训练建模，然后以当天的数据作为测试集得到异常分数，将预设阈值设置为所得异常分数的最大值。
进一步地，可以使用max函数对传感器的异常得分进行聚合，即
Figure 269118DEST_PATH_IMAGE087
。如果
Figure 754457DEST_PATH_IMAGE088
超过预设阈值，则将时间点对应的数据标记为异常数据。
在一种能够实现的方式中，所述方法还包括：
在根据所述多维时间序列构建相应的图结构之前，对所述多维时间序列进行预处理；所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
具体地，可以利用滑动窗口截取到的时间序列进行平均值计算，将得到的结果作为缺失数据的填充。对于感知数据中出现明显反常的数据进行修改，以保证进行模型训练的样本为正确样本。
本发明还提供了一种基于图结构与异常注意力机制的机房异常检测装置。
请参阅图5，图5示出了本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测装置的结构连接框图。
本发明实施例提供的一种基于图结构与异常注意力机制的机房异常检测装置，包括：
数据获取模块1，用于获取目标电力机房的传感器监测数据，根据所述传感器监测数据构建多维时间序列；
数据转换模块2，用于根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵；
特征提取模块3，用于将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征；
异常检测模块4，用于利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段，将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型，得到对应的异常检测结果；
异常数据确定模块5，用于根据所述异常检测结果确定对应多维时间序列中的异常数据；
其中，所述异常检测模型包括多级的编解码模块，前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入，每个所述编解码模块包括基于关联差异的Transformer编码器及解码器，所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的，所述两分支结构用于同时建模先验关联和序列关联；所述解码器利用多头注意力机制进行解码。
在一种能够实现的方式中，所述数据转换模块2包括：
第一数据转换单元，用于将所述多维时间序列对应的传感器视为图结构中的节点，将传感器之间的相关性视为图结构中节点之间的边，根据图结构中节点与节点之间的相关性构建邻接矩阵。
在一种能够实现的方式中，所述第一数据转换单元具体用于：
按照下列相关性度量关系式表示节点与节点之间的相关性：
Figure 924538DEST_PATH_IMAGE001
式中，
Figure 696185DEST_PATH_IMAGE002
表示节点
Figure 378315DEST_PATH_IMAGE003
与节点
Figure 401765DEST_PATH_IMAGE004
之间的相关性，
Figure 754249DEST_PATH_IMAGE005
为节点
Figure 634481DEST_PATH_IMAGE004
与其余节点之间的相关性假设，
Figure 72415DEST_PATH_IMAGE006
为节点
Figure 696295DEST_PATH_IMAGE003
与其余节点之间的相关性假设，
Figure 840968DEST_PATH_IMAGE005
、
Figure 954418DEST_PATH_IMAGE006
的取值范围皆为0~1，
Figure 614069DEST_PATH_IMAGE007
表示节点
Figure 838377DEST_PATH_IMAGE003
与节点
Figure 306399DEST_PATH_IMAGE004
的数据在多维时间序列中一起的数据在多维时间序列中出现的概率，
Figure 325170DEST_PATH_IMAGE008
为节点
Figure 675380DEST_PATH_IMAGE004
的数据在多维时间序列中出现的概率，
Figure 458308DEST_PATH_IMAGE009
为节点
Figure 780836DEST_PATH_IMAGE003
的数据在多维时间序列中出现的概率，
Figure 236088DEST_PATH_IMAGE010
为节点
Figure 808014DEST_PATH_IMAGE004
的相关节点集合。
在一种能够实现的方式中，所述数据转换模块2还包括：
第二数据转换单元，用于按照下式得到聚合矩阵：
Figure 311808DEST_PATH_IMAGE011
式中，
Figure 613476DEST_PATH_IMAGE012
为邻接矩阵A对应的聚合矩阵，E为邻接矩阵A对应图结构的附加权重，
Figure 177313DEST_PATH_IMAGE013
为预置的图结构复杂性系数，
Figure 298853DEST_PATH_IMAGE013
的取值范围为0~1。
在一种能够实现的方式中，所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层，所述特征提取模块3包括：
第一特征提取单元，用于将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理，得到每个节点的输出特征：
Figure 403075DEST_PATH_IMAGE014
式中，
Figure 700195DEST_PATH_IMAGE015
表示节点
Figure 497250DEST_PATH_IMAGE004
的输出特征，
Figure 43769DEST_PATH_IMAGE016
、
Figure 683173DEST_PATH_IMAGE017
分别表示聚合矩阵中节点
Figure 693855DEST_PATH_IMAGE004
、
Figure 802756DEST_PATH_IMAGE003
的输入特征，
Figure 898888DEST_PATH_IMAGE018
为
Figure 548175DEST_PATH_IMAGE016
通过所述卷积层及池化层后得到的结果，
Figure 351046DEST_PATH_IMAGE019
为
Figure 489903DEST_PATH_IMAGE017
通过所述卷积层及池化层后得到的结果，
Figure 11015DEST_PATH_IMAGE020
为由对应邻接矩阵得到的节点
Figure 526309DEST_PATH_IMAGE004
的邻居节点集合，W为预置的可训练权重矩阵；
第二特征提取单元，用于将所述每个节点的输出特征经过所述Sigmoid函数层进行处理，得到相应的图结构特征。
在一种能够实现的方式中，所述异常数据确定模块5包括：
异常得分计算单元，用于将所述异常检测结果与对应多维时间序列进行比较以获取异常得分；
异常数据确定单元，用于若所述异常得分超过预设阈值，将对应数据标记为异常数据。
在一种能够实现的方式中，所述装置还包括：
数据预处理模块，用于在根据所述多维时间序列构建相应的图结构之前，对所述多维时间序列进行预处理；所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
本发明还提供了一种基于图结构与异常注意力机制的机房异常检测装置，包括：
存储器，用于存储指令；其中，所述指令用于实现如上任意一项实施例所述的基于图结构与异常注意力机制的机房异常检测方法；
处理器，用于执行所述存储器中的指令。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一项实施例所述的基于图结构与异常注意力机制的机房异常检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，上述描述的装置和模块的具体有益效果，可以参考前述方法实施例中的对应有益效果，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于图结构与异常注意力机制的机房异常检测方法，其特征在于，包括：
获取目标电力机房的传感器监测数据，根据所述传感器监测数据构建多维时间序列；
根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵；
将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征；
利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段，将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型，得到对应的异常检测结果；
根据所述异常检测结果确定对应多维时间序列中的异常数据；
其中，所述异常检测模型包括多级的编解码模块，前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入，每个所述编解码模块包括基于关联差异的Transformer编码器及解码器，所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的，所述两分支结构用于同时建模先验关联和序列关联；所述解码器利用多头注意力机制进行解码；所述编解码模块使用附加损失来放大关联差异，相应的损失函数为：
Figure FDA0003914313490000011
式中，w是每个节点附加权重，η是神经网络的参数，λ是损失的权衡系数，h(t)为聚合矩阵通过图卷积神经网络后得到的输出，
Figure FDA0003914313490000012
为h(t)的重建数据，
Figure FDA0003914313490000013
表示输入序列通过异常检测模型得到的重构损失，
Figure FDA0003914313490000014
为解码器输出的第L层的隐藏表示，X为解码器所属编解码模块中的编码器的对应输入序列。
2.根据权利要求1所述的基于图结构与异常注意力机制的机房异常检测方法，其特征在于，所述根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，包括：
将所述多维时间序列对应的传感器视为图结构中的节点，将传感器之间的相关性视为图结构中节点之间的边，根据图结构中节点与节点之间的相关性构建邻接矩阵。
3.根据权利要求2所述的基于图结构与异常注意力机制的机房异常检测方法，其特征在于，所述根据图结构中节点与节点之间的相关性构建邻接矩阵，包括：
按照下列相关性度量关系式表示节点与节点之间的相关性：
Figure FDA0003914313490000021
式中，Corji表示节点xj与节点xi之间的相关性，ei为节点xi与其余节点之间的相关性假设，ej为节点xj与其余节点之间的相关性假设，ei、ej的取值范围皆为0～1，p(xi,xj)表示节点xj与节点xi的数据在多维时间序列中一起的数据在多维时间序列中出现的概率，p(xi)为节点xi的数据在多维时间序列中出现的概率，p(xj)为节点xj的数据在多维时间序列中出现的概率，Ci为节点xi的相关节点集合。
4.根据权利要求2所述的基于图结构与异常注意力机制的机房异常检测方法，其特征在于，所述根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵，包括：
按照下式得到聚合矩阵：
Figure FDA0003914313490000022
式中，
Figure FDA0003914313490000023
为邻接矩阵A对应的聚合矩阵，E为邻接矩阵A对应图结构的附加权重，α为预置的图结构复杂性系数，α的取值范围为0～1。
5.根据权利要求2所述的基于图结构与异常注意力机制的机房异常检测方法，其特征在于，所述图卷积神经网络包括依次连接的卷积层、池化层、全连接层和Sigmoid函数层，所述将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征，包括：
将所述聚合矩阵依次经过卷积层、池化层和全连接层进行处理，得到每个节点的输出特征：
Figure FDA0003914313490000024
式中，Gi (t)表示节点xi的输出特征，xi (t)、
Figure FDA0003914313490000031
分别表示聚合矩阵中节点xi、xj的输入特征，Conv(xi (t))为xi (t)通过所述卷积层及池化层后得到的结果，
Figure FDA0003914313490000032
为
Figure FDA0003914313490000033
通过所述卷积层及池化层后得到的结果，N(i)为由对应邻接矩阵得到的节点xi的邻居节点集合，W为预置的可训练权重矩阵；
将所述每个节点的输出特征经过所述Sigmoid函数层进行处理，得到相应的图结构特征。
6.根据权利要求1所述的基于图结构与异常注意力机制的机房异常检测方法，其特征在于，所述根据所述异常检测结果确定对应多维时间序列中的异常数据，包括：
将所述异常检测结果与对应多维时间序列进行比较以获取异常得分；
若所述异常得分超过预设阈值，将对应数据标记为异常数据。
7.根据权利要求1所述的基于图结构与异常注意力机制的机房异常检测方法，其特征在于，所述方法还包括：
在根据所述多维时间序列构建相应的图结构之前，对所述多维时间序列进行预处理；所述进行预处理包括填充序列缺失数据和/或修正所辨识的异常数据。
8.一种基于图结构与异常注意力机制的机房异常检测系统，其特征在于，包括：
数据获取模块，用于获取目标电力机房的传感器监测数据，根据所述传感器监测数据构建多维时间序列；
数据转换模块，用于根据所述多维时间序列构建相应的图结构，获取所述图结构的邻接矩阵，根据所述邻接矩阵和对应图结构的附加权重得到聚合矩阵；
特征提取模块，用于将所述聚合矩阵输入至预先训练完成的图卷积神经网络，得到相应的图结构特征；
异常检测模块，用于利用滑动窗口在所述多维时间序列上滑动以提取所述滑动窗口内的多维时间序列片段，将所述图结构特征和所述多维时间序列片段输入到预先训练完成的异常检测模型，得到对应的异常检测结果；
异常数据确定模块，用于根据所述异常检测结果确定对应多维时间序列中的异常数据；
其中，所述异常检测模型包括多级的编解码模块，前一级编解码模块的预测数据与对应真实数据的差值作为后一级编解码模块的输入，每个所述编解码模块包括基于关联差异的Transformer编码器及解码器，所述Transformer编码器是通过将带有两分支结构的异常注意力模块替代Transformer中的注意力模块得到的，所述两分支结构用于同时建模先验关联和序列关联；所述解码器利用多头注意力机制进行解码；所述编解码模块使用附加损失来放大关联差异，相应的损失函数为：
Figure FDA0003914313490000041
式中，w是每个节点附加权重，η是神经网络的参数，λ是损失的权衡系数，h(t)为聚合矩阵通过图卷积神经网络后得到的输出，
Figure FDA0003914313490000042
为h(t)的重建数据，
Figure FDA0003914313490000043
表示输入序列通过异常检测模型得到的重构损失，
Figure FDA0003914313490000044
为解码器输出的第L层的隐藏表示，X为解码器所属编解码模块中的编码器的对应输入序列。
9.一种基于图结构与异常注意力机制的机房异常检测装置，其特征在于，包括：
存储器，用于存储指令；其中，所述指令用于实现如权利要求1-7任意一项所述的基于图结构与异常注意力机制的机房异常检测方法；
处理器，用于执行所述存储器中的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任意一项所述的基于图结构与异常注意力机制的机房异常检测方法。
CN202210942327.5A 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置 Active CN115018021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210942327.5A CN115018021B (zh) 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210942327.5A CN115018021B (zh) 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置

Publications (2)

Publication Number Publication Date
CN115018021A CN115018021A (zh) 2022-09-06
CN115018021B true CN115018021B (zh) 2023-01-20

Family

ID=83065508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210942327.5A Active CN115018021B (zh) 2022-08-08 2022-08-08 基于图结构与异常注意力机制的机房异常检测方法及装置

Country Status (1)

Country Link
CN (1) CN115018021B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116186547B (zh) * 2023-04-27 2023-07-07 深圳市广汇源环境水务有限公司 一种环境水务监测采样异常数据快速识别方法
CN116204846B (zh) * 2023-05-06 2023-08-01 云南星晟电力技术有限公司 一种基于可见图的配电网传感器数据异常快速定位方法
CN116662811B (zh) * 2023-06-13 2024-02-06 无锡物联网创新中心有限公司 一种工业设备的时序状态数据重构方法及相关装置
CN116680141B (zh) * 2023-07-31 2023-12-01 北京趋动智能科技有限公司 异常预测方法、装置、存储介质及电子设备
CN116678552B (zh) * 2023-08-03 2023-10-03 四川中测仪器科技有限公司 一种变温度环境下光纤应力传感器异常监测方法
CN117349770B (zh) * 2023-09-19 2024-05-14 武汉理工大学 一种结构健康监测多应变传感器数据异常检测与修复方法
CN117093947B (zh) * 2023-10-20 2024-02-02 深圳特力自动化工程有限公司 一种发电柴油机运行异常监测方法及系统
CN117150388B (zh) * 2023-11-01 2024-01-26 江西现代职业技术学院 汽车底盘的异常状态检测方法及系统
CN117319451B (zh) * 2023-11-28 2024-02-27 爱瑞克(大连)安全技术集团有限公司 基于多模态大数据的城市级消防物联网监管系统及其方法
CN117851920B (zh) * 2024-03-07 2024-07-05 国网山东省电力公司信息通信公司 电力物联数据异常检测方法及系统
CN118332291B (zh) * 2024-06-12 2024-08-23 中国人民解放军海军航空大学 一种飞行器多传感器数据故障预测方法
CN118654718B (zh) * 2024-08-16 2024-10-29 西安拓米网络科技有限公司 基于远程检定的计量设备异常监测方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157771A (zh) * 2021-04-27 2021-07-23 广东海聊科技有限公司 一种数据异常检测方法及电网数据异常检测方法
CN114065862A (zh) * 2021-11-18 2022-02-18 南京航空航天大学 一种多维时序数据异常检测方法和系统
CN114818515A (zh) * 2022-06-24 2022-07-29 中国海洋大学 一种基于自注意力机制和图卷积网络的多维时序预测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161535B (zh) * 2019-12-23 2021-03-02 山东大学 基于注意力机制的图神经网络交通流量预测方法及系统
CN113961759B (zh) * 2021-10-22 2024-05-07 北京工业大学 基于属性图表示学习的异常检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113157771A (zh) * 2021-04-27 2021-07-23 广东海聊科技有限公司 一种数据异常检测方法及电网数据异常检测方法
CN114065862A (zh) * 2021-11-18 2022-02-18 南京航空航天大学 一种多维时序数据异常检测方法和系统
CN114818515A (zh) * 2022-06-24 2022-07-29 中国海洋大学 一种基于自注意力机制和图卷积网络的多维时序预测方法

Also Published As

Publication number Publication date
CN115018021A (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN115018021B (zh) 基于图结构与异常注意力机制的机房异常检测方法及装置
CN111768000A (zh) 在线自适应微调深度学习的工业过程数据建模方法
CN112836604A (zh) 一种基于vmd-ssae的滚动轴承故障诊断分类方法、系统、设备及其存储介质
CN108919059A (zh) 一种电网故障诊断方法、装置、设备及可读存储介质
CN117117859B (zh) 基于神经网络的光伏发电功率预测方法及系统
CN111695611B (zh) 一种蜂群优化核极限学习和稀疏表示机械故障识别方法
CN114462718A (zh) 基于时间滑动窗口的cnn-gru风电功率预测方法
CN113919540A (zh) 一种生产过程运行状态的监测方法及相关设备
CN114239384B (zh) 一种基于非线性度量原型网络的滚动轴承故障诊断方法
CN116522265A (zh) 工业互联网时序数据异常检测方法及装置
CN116484740A (zh) 一种基于挖掘电网空间拓扑特征的线路参数辨识方法
CN115290326A (zh) 一种滚动轴承故障智能诊断方法
CN116796275A (zh) 一种工业设备多模态时序异常检测方法
CN116050621A (zh) 一种集成提升模式的多头自注意力海上风电超短时功率预测方法
CN115100466A (zh) 一种非侵入式负荷监测方法、装置及介质
CN113762591A (zh) 一种基于gru和多核svm对抗学习的短期电量预测方法及系统
CN114046816B (zh) 基于轻量级梯度提升决策树的传感器信号故障诊断方法
CN116702839A (zh) 一种基于卷积神经网络的模型训练方法及应用系统
CN109828996A (zh) 一种不完备数据集快速属性约简方法
CN115438564A (zh) 一种结构健康监测数据异常诊断方法及电子设备
CN111583990A (zh) 一种结合稀疏回归和淘汰规则的基因调控网络推断方法
CN116415510B (zh) 基于相空间重构和神经网络的断路器温升预测方法及系统
Qiang et al. Large-scale multi-label image retrieval using residual network with hash layer
CN114638555B (zh) 基于多层正则化极限学习机的用电行为检测方法及系统
CN116405368B (zh) 一种高维不平衡数据条件下的网络故障诊断方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant