CN114818682A - 基于自适应实体路径感知的文档级实体关系抽取方法 - Google Patents

基于自适应实体路径感知的文档级实体关系抽取方法 Download PDF

Info

Publication number
CN114818682A
CN114818682A CN202210749823.9A CN202210749823A CN114818682A CN 114818682 A CN114818682 A CN 114818682A CN 202210749823 A CN202210749823 A CN 202210749823A CN 114818682 A CN114818682 A CN 114818682A
Authority
CN
China
Prior art keywords
entity
document
node
nodes
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210749823.9A
Other languages
English (en)
Other versions
CN114818682B (zh
Inventor
蒋林承
张俊丰
张维琦
赵超
邓劲生
曾道建
谭真
李硕豪
乔凤才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210749823.9A priority Critical patent/CN114818682B/zh
Publication of CN114818682A publication Critical patent/CN114818682A/zh
Application granted granted Critical
Publication of CN114818682B publication Critical patent/CN114818682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及一种基于自适应实体路径感知的文档级实体关系抽取方法。所述方法包括：根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图；利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示；根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值；根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用损失值和反向传播算法迭代优化深度神经网络模型中的可学习参数，得到实体关系抽取模型；根据实体关系抽取模型进行文档级实体关系抽取。采用本方法能够提高文档级实体关系抽取的准确率。

Description

基于自适应实体路径感知的文档级实体关系抽取方法
技术领域
本申请涉及数据处理技术领域，特别是涉及一种基于自适应实体路径感知的文档级实体关系抽取方法、装置、计算机设备和存储介质。
背景技术
实体关系抽取是信息抽取领域的一个经典任务，其任务旨在识别给定非结构化文本中所包含的实体（概念）之间的语义关系，并将结果以关系三元组的结构化形式存储。如给定文本“2017年10月，今日头条宣布10亿美金估值收购音乐短视频平台Musical.ly”，通过实体关系抽取得到关系三元组《今日头条，收购，Musical.ly》。实体关系抽取作为信息抽取的关键技术，能够在自然语言处理的多个领域中发挥重要作用，特别是在互联网海量信息的时代背景下具有的重大研究意义和广阔的应用前景。从理论价值层面看，实体关系抽取涉及到机器学习、数据挖掘、自然语言处理等多个学科的理论和方法。从应用层面看，实体关系抽取可用于大规模知识库尤其是知识图谱的自动构建，为信息检索和自动问答系统的构建提供数据支持，也是自然语言理解的基础。现有的实体关系抽取工作主要聚焦于句子级抽取，局限于单句文本中的实体语义关系。然而，在真实应用场景中，实体语义关系的描述非常复杂，大量的实体间关系是通过多个句子表达的，并表现出多个实体之间复杂的关联性。根据从维基百科采样的人工标注数据的统计表明，至少40％的实体语义关系事实只能从多个句子中联合获取。因此，有必要将实体关系抽取推进至更符合真实场景的文档级别。相比于句子级实体关系抽取，文档级实体关系抽取更有挑战性，它需要更加复杂的推理技巧，如逻辑推理，共指推理，常识推理等。一篇文档中可包含多个实体，且每个实体拥有多个处于不同上下文的提及。为了识别出跨越句子的实体之间的关系，需要能够建模文档中多个实体之间的复杂交互以及综合利用实体的多个提及的上下文信息，这显然超出了句子级关系抽取方法的能力范围。
目前，随着图神经网络研究的深入，研究者尝试使用文档图来建模文档内各类语义信息，其使用词，提及，实体或句子等作为节点，并利用启发式的规则连接成文档图。这些方法关注于如何构建更好的文档图以保留更多的语义信息及如何更好的在图上进行信息传播。借助于图神经网络强大的表示能力，这类方法取得了不错的效果，但也存在以下一些问题：a) 现有的工作在聚合实体表示时，往往是不加区分的聚合多个提及表示，然后再将提及表示组合成单个全局表示，来进行和其他所有实体的语义关系预测。实际上，由于实体的多个提及在文档中处于不同的上下文中，连接不同类型的节点时，每个节点起到的作用应是不同的。b) 图神经网络通过节点信息传播隐式地进行推理，为了捕获图中高阶信息的交互，往往会叠加使用多层图网络结构（如进行多次图卷积），图中同一连通分量内的节点的表征会趋向于收敛到一个和输入无关的子空间，造成学习到的节点表示过平滑，不够准确。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高文档级实体关系抽取的准确率的基于自适应实体路径感知的文档级实体关系抽取方法、装置、计算机设备和存储介质。
一种基于自适应实体路径感知的文档级实体关系抽取方法，所述方法包括：
获取待抽取文档和实体在待抽取文档中的位置；
根据wordpiece算法对待抽取文档进行数据预处理，得到预处理后的文档；预处理后的文档中包含多个句子；
构建深度神经网络模型；深度神经网络模型包括预训练语言模型、自适应实体路径感知的图上消息传播算法和前馈神经网络；
利用预训练语言模型对预处理后的文档进行上下文编码，得到句子的上下文表征序列；
根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图；文档图中包含实体节点的初始表示；
利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示；
根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值；
根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用损失值和反向传播算法迭代优化深度神经网络模型中的可学习参数，得到实体关系抽取模型；
根据实体关系抽取模型进行文档级实体关系抽取。
在其中一个实施例中，根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图，包括：
根据句子的上下文表征序列和实体在待抽取文档中的位置计算提及节点、实体节点和句子节点的初始表示，利用提及节点，实体节点和句子节点的初始表示和提及节点，实体节点和句子节点在待抽取文档中的自然关联连接节点构建文档图。
在其中一个实施例中，提及节点，实体节点和句子节点在待抽取文档中的自然关联包括提及节点与提及节点之间的相互连接、提及节点和句子节点之间的相互连接、提及节点和实体节点之间的相互连接以及实体节点和句子节点之间的相互连接；提及节点，实体节点和句子节点构成文档图的节点集合；提及节点，实体节点和句子节点在待抽取文档中的自然关联构成文档图的边集合；提及节点为提及在文档中对应的词的上下文表征的平均值；实体节点为实体对应的所有提及节点表示的平均值；句子节点为句子中所有词的上下文表征的平均值。
在其中一个实施例中，利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示。
在其中一个实施例中，利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，对于广度方面，在每一跳邻居信息聚合过程中，根据广度自适应方式得到节点的广度临时聚合表示；
在深度方面根据LSTM的长短记忆网络，利用多个门控机制对节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示。
在其中一个实施例中，根据广度自适应方式得到节点的广度临时聚合，包括：
根据广度自适应方式得到节点的广度临时聚合为
Figure 974029DEST_PATH_IMAGE001
其中，
Figure 267607DEST_PATH_IMAGE002
，
Figure 714769DEST_PATH_IMAGE003
指节点u和邻居v的权重参数，
Figure 435600DEST_PATH_IMAGE004
是对邻居特征进行线性转换的可学习参数，
Figure 335423DEST_PATH_IMAGE005
表示节点
Figure 167113DEST_PATH_IMAGE006
的表示，
Figure 734360DEST_PATH_IMAGE008
和
Figure 360514DEST_PATH_IMAGE009
指注意力机制中的query和key矩阵，
Figure 278791DEST_PATH_IMAGE010
指一个前馈神经网络，
Figure 914172DEST_PATH_IMAGE011
是节点
Figure 70347DEST_PATH_IMAGE012
的邻居节点集合，
Figure 867401DEST_PATH_IMAGE013
表示节点
Figure 7396DEST_PATH_IMAGE014
的表示，
Figure 180888DEST_PATH_IMAGE015
表示节点
Figure 457149DEST_PATH_IMAGE016
的邻居节点，T表示转置运算。
在其中一个实施例中，在深度方面根据LSTM的长短记忆网络，利用多个门控机制对节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示，包括：
对于节点的广度临时聚合表示，利用更新门将节点的广度临时聚合表示中的有效信息添加到记忆单元中，遗忘门则过滤掉上一层记忆单元中无效的信息，输出门控制记忆单元，输出文档级语义的实体节点表示。
在其中一个实施例中，根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值，包括：
根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的所有关系标签的得分为
Figure 690684DEST_PATH_IMAGE017
其中
Figure 52395DEST_PATH_IMAGE018
,
Figure 763999DEST_PATH_IMAGE019
,
Figure 894766DEST_PATH_IMAGE020
和
Figure 299203DEST_PATH_IMAGE021
是前馈神经网络中的分类器的可学习参数，
Figure 148210DEST_PATH_IMAGE022
指激活函数，d指前馈神经网络中的隐藏维度，k是标签的数量，
Figure 663505DEST_PATH_IMAGE024
表示不同的实体节点表示
Figure 914358DEST_PATH_IMAGE025
和
Figure 489696DEST_PATH_IMAGE026
拼接得到实体对的特征。
在其中一个实施例中，根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，包括：
根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值为
Figure 825999DEST_PATH_IMAGE027
其中，TH表示阈值关系标签TH，
Figure 144985DEST_PATH_IMAGE028
表示实体间真实存在的关系标签集合，
Figure 250344DEST_PATH_IMAGE029
表示负样本关系标签集合，logits指实体对
Figure 996583DEST_PATH_IMAGE030
中所有关系标签的得分，
Figure 554604DEST_PATH_IMAGE031
指关系标签
Figure 677280DEST_PATH_IMAGE032
的得分值，
Figure 637146DEST_PATH_IMAGE033
表示关系标签，
Figure 554287DEST_PATH_IMAGE034
表示关系标签
Figure 865182DEST_PATH_IMAGE035
的得分值，
Figure 525971DEST_PATH_IMAGE036
表示阈值关系标签
Figure 340343DEST_PATH_IMAGE037
的得分值。
一种基于自适应实体路径感知的文档级实体关系抽取装置，所述装置包括：
数据预处理模块，用于获取待抽取文档和实体在待抽取文档中的位置；根据wordpiece算法对待抽取文档进行数据预处理，得到预处理后的文档；预处理后的文档中包含多个句子；
构建文档图模块，用于构建深度神经网络模型；深度神经网络模型包括预训练语言模型、自适应实体路径感知的图上消息传播算法和前馈神经网络；利用预训练语言模型对预处理后的文档进行上下文编码，得到句子的上下文表征序列；根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图；文档图中包含实体节点的初始表示；
初始表示更新模块，用于利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示；
预测模块，用于根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值；
文档级实体关系抽取模块，用于根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用损失值和反向传播算法迭代优化深度神经网络模型中的可学习参数，得到实体关系抽取模型；根据实体关系抽取模型进行文档级实体关系抽取。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待抽取文档和实体在待抽取文档中的位置；
根据wordpiece算法对待抽取文档进行数据预处理，得到预处理后的文档；预处理后的文档中包含多个句子；
构建深度神经网络模型；深度神经网络模型包括预训练语言模型、自适应实体路径感知的图上消息传播算法和前馈神经网络；
利用预训练语言模型对预处理后的文档进行上下文编码，得到句子的上下文表征序列；
根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图；文档图中包含实体节点的初始表示；
利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示；
根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值；
根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用损失值和反向传播算法迭代优化深度神经网络模型中的可学习参数，得到实体关系抽取模型；
根据实体关系抽取模型进行文档级实体关系抽取。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待抽取文档和实体在待抽取文档中的位置；
根据wordpiece算法对待抽取文档进行数据预处理，得到预处理后的文档；预处理后的文档中包含多个句子；
构建深度神经网络模型；深度神经网络模型包括预训练语言模型、自适应实体路径感知的图上消息传播算法和前馈神经网络；
利用预训练语言模型对预处理后的文档进行上下文编码，得到句子的上下文表征序列；
根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图；文档图中包含实体节点的初始表示；
利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示；
根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值；
根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用损失值和反向传播算法迭代优化深度神经网络模型中的可学习参数，得到实体关系抽取模型；
根据实体关系抽取模型进行文档级实体关系抽取。
上述基于自适应实体路径感知的文档级实体关系抽取方法、装置、计算机设备和存储介质，本发明采用预训练语言模型对不同层次信息之间的复杂交互进行建模，学习深层语境化的词汇表征，通过构建精细的文档图来建模文档内的语义信息，然后从广度和深度两方面控制消息传播算法，通过学习节点消息传播的自适应感知路径来筛选和聚合文档级信息，有选择性地聚合目标实体的有效文档级信息，解决目前实体关系抽取局限于句内实体关系的问题，也解决了基于文档图的文档级实体关系抽取方法中存在消息传播时不加区分地对待邻居节点和节点表示过平滑的问题，提高了文档级实体关系抽取的性能，实现了对实体语义关系的高效抽取，为大规模知识库构建、信息检索和自动问答系统以及自然语言理解的自然语言处理应用提供了数据支撑和核心算法技术。
附图说明
图1为一个实施例中一种基于自适应实体路径感知的文档级实体关系抽取方法的流程示意图；
图2为一个实施例中自适应实体路径感知的示意图；
图3为一个实施例中一种基于自适应实体路径感知的文档级实体关系抽取装置的结构框图；
图4为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于自适应实体路径感知的文档级实体关系抽取方法，包括以下步骤：
步骤102，获取待抽取文档和实体在待抽取文档中的位置；根据wordpiece算法对待抽取文档进行数据预处理，得到预处理后的文档；预处理后的文档中包含多个句子。
本发明的步骤102中将待抽取文档用
Figure 693964DEST_PATH_IMAGE038
表示，文档D由N个句子组成，其中
Figure 226576DEST_PATH_IMAGE039
指第i句话包含M个词。文档中标注了一个包含P个实体的实体集合
Figure 691056DEST_PATH_IMAGE040
，其中
Figure 359935DEST_PATH_IMAGE041
指第i个实体在文档中对应Q个共指的实体提及，每一个实体提及出现在不同的上下文中。将文档中以句子为单位，分别输入到wordpiece分词器进行分词，如第i句话分词后为
Figure 884457DEST_PATH_IMAGE042
，其中k<=M，得到预处理后的文档。将待抽取文档进行预处理后有利于预训练语言模型进行上下文编码。
步骤104，构建深度神经网络模型；深度神经网络模型包括预训练语言模型、自适应实体路径感知的图上消息传播算法和前馈神经网络，利用预训练语言模型对预处理后的文档进行上下文编码，得到句子的上下文表征序列；根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图；文档图中包含实体节点的初始表示。
为了更好地建模输入文档的语义，将分词后的预处理后的文档输入至预训练语言模型BERT，通过预训练语言模型BERT将文档分词后的序列映射为包含上下文语义的低维实数向量，其中第i句话对应的输入序列
Figure 638786DEST_PATH_IMAGE043
映射为上下文表征序列
Figure 641377DEST_PATH_IMAGE044
，其中
Figure 430342DEST_PATH_IMAGE045
，d为隐藏维度，一般为768。采用预训练语言模型BERT，BERT能对不同层次信息之间的复杂交互进行建模，学习深层语境化的词汇表征。
根据句子的上下文表征序列和实体在待抽取文档中的位置计算提及节点、实体节点和句子节点的初始表示，利用提及节点，实体节点和句子节点的初始表示和提及节点，实体节点和句子节点在待抽取文档中的自然关联连接节点构建文档图，解决了基于文档图的文档级实体关系抽取方法中存在消息传播时不加区分地对待邻居节点和节点表示过平滑的问题。通过构建精细的文档图来建模文档内的语义信息。自适应实体路径感知的图上消息传播算法是对图上消息传播算法的改进，以往的图上消息传播算法在进行节点聚合时是不做选择，聚合目标节点的所有邻居信息，并且没有从广度和深度对消息对消息传播算法进行控制，本申请提出来的自适应实体路径感知的图上消息传播算法在进行节点聚合时，是聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息来得到文档级语义的实体节点表示。
步骤106，利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示。
利用自适应实体路径感知的图上消息传播算法聚合目标节点N跳内的邻居信息，建模实体对间的交互，学习实体在文档图上的自适应路径以提升实体节点的表示，进而得到文档级语义的实体节点表示，通过学习节点消息传播的自适应感知路径来筛选和聚合文档级信息，有选择性地聚合目标实体的有效文档级信息，以捕获更有效的关系语义信息，解决目前实体关系抽取局限于句内实体关系的问题。
步骤108，根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值。
实体一般指人名、地名、机构名等专有名词或概念，关系指实体之间的语义联系，比如：“今日头条宣布10亿美金估值收购音乐短视频平台Musical.ly”，通过实体关系抽取得到关系三元组《今日头条，收购，Musical.ly》。
为了预测文档级语义的实体节点对之间所包含的语义关系，将文档级语义的实体节点表示中包含的头尾实体表示拼接得到包含语义关系的实体对，根据前馈神经网络对包含语义关系的实体对进行预测，利用预测结果，即实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，有利于进行深度神经网络模型的训练，得到准确的实体关系抽取模型。
步骤110，根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用损失值和反向传播算法迭代优化深度神经网络模型中的可学习参数，得到实体关系抽取模型；根据实体关系抽取模型进行文档级实体关系抽取。
根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，实体间真实存在的关系标签是人工预先标注的实体间的真实关系标签，随机梯度下降最小化该损失值，根据误差反向传播逐层更新深度神经网络模型中的可学习参数。当优化过程中损失函数收敛后，得到实体关系抽取模型，将实体关系抽取模型保存后可以用于文档级实体关系抽取，本申请中的wordpiece算法和反向传播算法是利用的现有的，并未对算法进行改进。
上述基于自适应实体路径感知的文档级实体关系抽取方法中，本发明采用预训练语言模型对不同层次信息之间的复杂交互进行建模，学习深层语境化的词汇表征，通过构建精细的文档图来建模文档内的语义信息，然后从广度和深度两方面控制消息传播算法，通过学习节点消息传播的自适应感知路径来筛选和聚合文档级信息，有选择性地聚合目标实体的有效文档级信息，解决目前实体关系抽取局限于句内实体关系的问题，也解决了基于文档图的文档级实体关系抽取方法中存在消息传播时不加区分地对待邻居节点和节点表示过平滑的问题，提高了文档级实体关系抽取的性能，实现了对实体语义关系的高效抽取，为大规模知识库构建、信息检索和自动问答系统以及自然语言理解的自然语言处理应用提供了数据支撑和核心算法技术。
在其中一个实施例中，根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图，包括：
根据句子的上下文表征序列和实体在待抽取文档中的位置计算提及节点、实体节点和句子节点的初始表示，利用提及节点，实体节点和句子节点的初始表示和提及节点，实体节点和句子节点在待抽取文档中的自然关联连接节点构建文档图。
在其中一个实施例中，提及节点，实体节点和句子节点在待抽取文档中的自然关联包括提及节点与提及节点之间的相互连接、提及节点和句子节点之间的相互连接、提及节点和实体节点之间的相互连接以及实体节点和句子节点之间的相互连接；提及节点，实体节点和句子节点构成文档图的节点集合；提及节点，实体节点和句子节点在待抽取文档中的自然关联构成文档图的边集合；提及节点为提及在文档中对应的词的上下文表征的平均值；实体节点为实体对应的所有提及节点表示的平均值；句子节点为句子中所有词的上下文表征的平均值。
在具体实施例中，提及节点旨在表示每个实体在文档中的不同提及。提及节点的表示形式为提及中包含的词对应的隐藏表示的平均值，假设一篇文档中共包含N个提及，则提及节点的表示形式为
Figure 125765DEST_PATH_IMAGE046
，其中
Figure 367391DEST_PATH_IMAGE047
是提及节点的类型嵌入。实体节点与提及节点的形式类似，实体节点的表示形式为实体对应的所有提及表示的平均值，假设一篇文档中包含P个实体，则实体节点的表示形式为
Figure 908093DEST_PATH_IMAGE048
，其中
Figure 817144DEST_PATH_IMAGE049
是实体节点的类型嵌入。句子节点的表示形式为句子序列中所有包含的词对应的隐藏表示的平均值，假设一篇文档中包含T个句子，则句子节点的表示形式为
Figure 417889DEST_PATH_IMAGE050
，其中
Figure 412390DEST_PATH_IMAGE051
是句子节点的类型嵌入。
通过上述三种类型的节点构造，得到节点的表示集合
Figure 491205DEST_PATH_IMAGE053
,其中d是隐藏维度，共计N+R+T个节点。
节点构造完成之后，基于文档节点元素之间的自然关联来连接节点构成文档图：a)提及节点-提及节点边：同时共现在同一个句子中的提及之间相互连接。b)提及节点-句子节点边：提及与其所位于的句子相互连接。c)提及节点-实体节点边：提及与其对应的句实体相互连接。d)实体节点-句子节点边：实体与包含其提及的句子相连接。e)句子节点-句子节点边：相互连接所有的句子节点。值得注意的是，图中并没有直接连接两个实体节点，目的是利用下一步骤所述自适应实体路径感知的图上消息传播算法聚合实体节点之间的多跳中间节点建模实体对间的关系。
综上，利用上述文档不同节点元素之间的自然关联将构建的N+R+T个提及、实体和句子节点连接成文档图
Figure 254761DEST_PATH_IMAGE054
，其中V是节点集合，E是边集合。
在其中一个实施例中，利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示。
在其中一个实施例中，利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，对于广度方面，在每一跳邻居信息聚合过程中，根据广度自适应方式得到节点的广度临时聚合表示；
在深度方面根据LSTM的长短记忆网络，利用多个门控机制对节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示。
在其中一个实施例中，根据广度自适应方式得到节点的广度临时聚合，包括：
根据广度自适应方式得到节点的广度临时聚合为
Figure 26408DEST_PATH_IMAGE055
其中，
Figure 508205DEST_PATH_IMAGE056
，
Figure 656290DEST_PATH_IMAGE058
指节点u和邻居v的权重参数，
Figure 8774DEST_PATH_IMAGE059
是对邻居特征进行线性转换的可学习参数，
Figure 216901DEST_PATH_IMAGE060
表示节点
Figure 920415DEST_PATH_IMAGE061
的表示，
Figure 606611DEST_PATH_IMAGE062
和
Figure 344760DEST_PATH_IMAGE063
指注意力机制中的query和key矩阵，
Figure 458209DEST_PATH_IMAGE010
指一个前馈神经网络，
Figure 383440DEST_PATH_IMAGE064
是节点
Figure 873327DEST_PATH_IMAGE065
的邻居节点集合，
Figure 465983DEST_PATH_IMAGE066
表示节点
Figure 15913DEST_PATH_IMAGE067
的表示，
Figure 694019DEST_PATH_IMAGE068
表示节点
Figure 456438DEST_PATH_IMAGE016
的邻居节点，T表示转置运算。
在具体实施例中，对于广度方面，利用多层图注意力网络在每一跳邻居的信息聚合过程中，对于每一个节点在第l+1层的表示
Figure 903600DEST_PATH_IMAGE069
，通过如下公式所示的广度自适应方式先得到节点的广度临时聚合表示
Figure 624431DEST_PATH_IMAGE070
：
Figure 789834DEST_PATH_IMAGE071
Figure 621523DEST_PATH_IMAGE072
Figure 657613DEST_PATH_IMAGE073
通过赋予不同邻居不同权重来区别对待一阶邻居节点。
在其中一个实施例中，在深度方面根据LSTM的长短记忆网络，利用多个门控机制对节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示，包括：
对于节点的广度临时聚合表示，利用更新门将节点的广度临时聚合表示中的有效信息添加到记忆单元中，遗忘门则过滤掉上一层记忆单元中无效的信息，输出门控制记忆单元，输出文档级语义的实体节点表示。
在具体实施例中，引入LSTM的长短记忆，利用多个门控机制，保存并更新将每一跳邻居信息，有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，有效防止传播过载和过平滑问题。基于节点的广度临时聚合表示
Figure 549345DEST_PATH_IMAGE074
，更新门
Figure 202043DEST_PATH_IMAGE075
将新的有效信息添加到记忆单元
Figure 571845DEST_PATH_IMAGE076
中，遗忘门
Figure 993599DEST_PATH_IMAGE077
则过滤掉上一层记忆单元
Figure 56233DEST_PATH_IMAGE079
中无效的信息，更新门和遗忘门互相配合在探索更远的邻居时可起到选择性抽取与过滤的作用。最后，输出门
Figure 930648DEST_PATH_IMAGE080
控制记忆单元
Figure 369720DEST_PATH_IMAGE081
，输出节点i的第t+1层的节点表示
Figure 380401DEST_PATH_IMAGE082
。其计算过程如下所示。
Figure 613936DEST_PATH_IMAGE083
Figure 987366DEST_PATH_IMAGE084
Figure 698970DEST_PATH_IMAGE085
Figure 95316DEST_PATH_IMAGE086
其中
Figure 499753DEST_PATH_IMAGE087
，
Figure 348760DEST_PATH_IMAGE088
，
Figure 598476DEST_PATH_IMAGE089
，
Figure 849329DEST_PATH_IMAGE090
分别指遗忘门、更新门、输出门和记忆单元对应的线性转换的可学习参数。
如图2所示，该方法通过对每个节点的宽度（哪一跳邻居是重要的）和深度（第t跳邻居的重要性）展开来确定一个合适的子图，可以学习到实体在文档图上消息传播的自适应路径，有选择性地聚合目标实体的有效文档级信息，解决目前实体关系抽取局限于句内实体关系的问题。通过所述消息传播算法从多次迭代，得到一组包含文档级语义的实体节点表示
Figure 424667DEST_PATH_IMAGE091
。
在其中一个实施例中，根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值，包括：
根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的所有关系标签的得分为
Figure 760970DEST_PATH_IMAGE092
其中
Figure 79956DEST_PATH_IMAGE093
,
Figure 919736DEST_PATH_IMAGE094
,
Figure 665975DEST_PATH_IMAGE095
和
Figure 223995DEST_PATH_IMAGE096
是前馈神经网络中的分类器的可学习参数，
Figure 346672DEST_PATH_IMAGE097
指激活函数，d指前馈神经网络中的隐藏维度，k是标签的数量，
Figure 40959DEST_PATH_IMAGE099
表示不同的实体节点表示
Figure 958099DEST_PATH_IMAGE100
和
Figure 268995DEST_PATH_IMAGE101
拼接得到实体对的特征。
在具体实施例中，首先，为了预测实体对
Figure 929783DEST_PATH_IMAGE102
所包含的语义关系，将实体对包含的头尾实体表示
Figure 744155DEST_PATH_IMAGE103
和
Figure 832197DEST_PATH_IMAGE104
拼接得到实体对的特征
Figure 364810DEST_PATH_IMAGE106
，
Figure 563710DEST_PATH_IMAGE107
。
然后，利用前馈神经网络根据实体对的特征
Figure 498168DEST_PATH_IMAGE106
计算实体对
Figure 22690DEST_PATH_IMAGE108
中所有关系标签的得分
Figure 511440DEST_PATH_IMAGE109
：
Figure 779610DEST_PATH_IMAGE110
其中
Figure 568575DEST_PATH_IMAGE111
,
Figure 998419DEST_PATH_IMAGE112
,
Figure 505624DEST_PATH_IMAGE114
和
Figure 46327DEST_PATH_IMAGE115
是前馈神经网络中的分类器的可学习参数，
Figure 689798DEST_PATH_IMAGE116
指激活函数，d指前馈神经网络中的隐藏维度，k是标签的数量。
在预测阶段，利用非线性激活函数sigmoid进行归一化，可得到实体对
Figure 556122DEST_PATH_IMAGE117
中具有关系标签
Figure 285044DEST_PATH_IMAGE118
的概率值，
Figure 629438DEST_PATH_IMAGE119
。
其中
Figure 392994DEST_PATH_IMAGE120
指
Figure 164641DEST_PATH_IMAGE121
中关系标签r的得分值。sigmoid是把得分值转成一个0到1内的值，当成是模型给出的关系标签存在于目标实体对的概率，有利于增强关系标签得分的可解释性。因为模型是自己学习的，最后的输出范围不能提前获悉，比如不清楚标签的得分为100是高还是低，使用sigmoid可以把范围压缩在（0-1）以内，这样就知道一般大于0.5的就说明得分属于挺高了。
在其中一个实施例中，根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，包括：
根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值为
Figure 646438DEST_PATH_IMAGE122
其中，TH表示阈值关系标签TH，
Figure 794523DEST_PATH_IMAGE124
表示实体间真实存在的关系标签集合，
Figure 412586DEST_PATH_IMAGE125
表示负样本关系标签集合，logits指实体对
Figure 89555DEST_PATH_IMAGE126
中所有关系标签的得分，
Figure 793069DEST_PATH_IMAGE127
指关系标签
Figure 10423DEST_PATH_IMAGE128
的得分值，
Figure 482993DEST_PATH_IMAGE033
表示关系标签，
Figure 862022DEST_PATH_IMAGE034
表示关系标签
Figure 52832DEST_PATH_IMAGE035
的得分值，
Figure 542719DEST_PATH_IMAGE036
表示阈值关系标签
Figure 869795DEST_PATH_IMAGE037
的得分值。
在具体实施例中，为了更高效的处理多标签问题，即同一实体对可能包含多种关系标签，和样本不平衡问题，即大部分的实体对为负样本，没有包含任何关系标签。本发明采用自适应阈值损失作为损失函数，以端到端的方式优化模型参数。自适应阈值损失引入了一个额外的阈值关系标签TH，其优化目标是实体间真实存在的正样本关系标签集合
Figure 419725DEST_PATH_IMAGE129
的得分值高于阈值类标签TH，实体间不存在的负样本关系标签集合
Figure 832252DEST_PATH_IMAGE130
的得分值低于阈值类标签TH，其中，正样本标签指实体间存在的实体间真实存在的关系标签，负样本关系标签指实体间不包含的关系。该损失函数计算公式如下：
Figure 125830DEST_PATH_IMAGE131
其中logits指实体对
Figure 572992DEST_PATH_IMAGE132
中所有关系标签的得分。为了得到最优的模型参数，本发明通过该损失函数计算实体间的语义关系和实体间真实存在的关系标签之间的损失值，并使用随机梯度下降最小化该损失值L，根据误差反向传播逐层更新模型中的可学习参数。当优化过程中损失函数收敛后，将模型保存后用于文档级实体关系抽取。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图3所示，提供了一种基于自适应实体路径感知的文档级实体关系抽取装置，包括：数据预处理模块302、构建文档图模块304、初始表示更新模块306、预测模块308和文档级实体关系抽取模块310，其中：
数据预处理模块302，用于获取待抽取文档和实体在待抽取文档中的位置；根据wordpiece算法对待抽取文档进行数据预处理，得到预处理后的文档；预处理后的文档中包含多个句子；
构建文档图模块304，用于构建深度神经网络模型；深度神经网络模型包括预训练语言模型、自适应实体路径感知的图上消息传播算法和前馈神经网络，利用预训练语言模型对预处理后的文档进行上下文编码，得到句子的上下文表征序列；根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图；文档图中包含实体节点的初始表示；
初始表示更新模块306，用于利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示；
预测模块308，用于根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值；
文档级实体关系抽取模块310，用于根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用损失值和反向传播算法迭代优化深度神经网络模型中的可学习参数，得到实体关系抽取模型；根据实体关系抽取模型进行文档级实体关系抽取。
在其中一个实施例中，构建文档图模块304还用于根据句子的上下文表征序列和实体在待抽取文档中的位置构建文档图，包括：
根据句子的上下文表征序列和实体在待抽取文档中的位置计算提及节点、实体节点和句子节点的初始表示，利用提及节点，实体节点和句子节点的初始表示和提及节点，实体节点和句子节点在待抽取文档中的自然关联连接节点构建文档图。
在其中一个实施例中，提及节点，实体节点和句子节点在待抽取文档中的自然关联包括提及节点与提及节点之间的相互连接、提及节点和句子节点之间的相互连接、提及节点和实体节点之间的相互连接以及实体节点和句子节点之间的相互连接；提及节点，实体节点和句子节点构成文档图的节点集合；提及节点，实体节点和句子节点在待抽取文档中的自然关联构成文档图的边集合；提及节点为提及在文档中对应的词的上下文表征的平均值；实体节点为实体对应的所有提及节点表示的平均值；句子节点为句子中所有词的上下文表征的平均值。
在其中一个实施例中，初始表示更新模块306还用于利用自适应实体路径感知的图上消息传播算法对文档图从广度和深度两方面更新实体节点的初始表示，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示。
在其中一个实施例中，初始表示更新模块306还用于利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合文档图中目标节点N跳内的邻居信息，建模实体对间的交互，对于广度方面，在每一跳邻居信息聚合过程中，根据广度自适应方式得到节点的广度临时聚合表示；
在深度方面根据LSTM的长短记忆网络，利用多个门控机制对节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示。
在其中一个实施例中，初始表示更新模块306还用于根据广度自适应方式得到节点的广度临时聚合，包括：
根据广度自适应方式得到节点的广度临时聚合为
Figure 28244DEST_PATH_IMAGE133
其中，
Figure 193646DEST_PATH_IMAGE134
，
Figure 25336DEST_PATH_IMAGE135
指节点u和邻居v的权重参数，
Figure 327004DEST_PATH_IMAGE136
是对邻居特征进行线性转换的可学习参数，
Figure 218737DEST_PATH_IMAGE137
表示节点
Figure 340277DEST_PATH_IMAGE138
的表示，
Figure 975657DEST_PATH_IMAGE139
和
Figure 397411DEST_PATH_IMAGE140
指注意力机制中的query和key矩阵，
Figure 460045DEST_PATH_IMAGE141
指一个前馈神经网络，
Figure 334460DEST_PATH_IMAGE142
是节点
Figure 242373DEST_PATH_IMAGE143
的邻居节点集合
Figure 518634DEST_PATH_IMAGE066
表示节点
Figure 752169DEST_PATH_IMAGE067
的表示，
Figure 113880DEST_PATH_IMAGE068
表示节点
Figure 91064DEST_PATH_IMAGE016
的邻居节点，T表示转置运算。
在其中一个实施例中，初始表示更新模块306还用于在深度方面根据LSTM的长短记忆网络，利用多个门控机制对节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示，包括：
对于节点的广度临时聚合表示，利用更新门将节点的广度临时聚合表示中的有效信息添加到记忆单元中，遗忘门则过滤掉上一层记忆单元中无效的信息，输出门控制记忆单元，输出文档级语义的实体节点表示。
在其中一个实施例中，预测模块308还用于根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值，包括：
根据前馈神经网络对文档级语义的实体节点表示进行预测，得到实体间的所有关系标签的得分为
Figure 221831DEST_PATH_IMAGE144
其中
Figure 626267DEST_PATH_IMAGE145
,
Figure 209695DEST_PATH_IMAGE146
,
Figure 990570DEST_PATH_IMAGE147
和
Figure 241422DEST_PATH_IMAGE148
是前馈神经网络中的分类器的可学习参数，
Figure 551181DEST_PATH_IMAGE149
指激活函数，d指前馈神经网络中的隐藏维度，k是标签的数量，
Figure 621905DEST_PATH_IMAGE150
表示不同的实体节点表示
Figure 940891DEST_PATH_IMAGE151
和
Figure 46250DEST_PATH_IMAGE152
拼接得到实体对的特征。
在其中一个实施例中，文档级实体关系抽取模块310还用于根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，包括：
根据实体间的关系标签得分值和实体间真实存在的关系标签计算损失值为
Figure 792489DEST_PATH_IMAGE153
其中，TH表示阈值关系标签TH，
Figure 350510DEST_PATH_IMAGE154
表示实体间真实存在的关系标签集合，
Figure 207607DEST_PATH_IMAGE155
表示负样本关系标签集合，logits指实体对
Figure 433052DEST_PATH_IMAGE156
中所有关系标签的得分，
Figure 350193DEST_PATH_IMAGE157
指关系标签
Figure 395509DEST_PATH_IMAGE158
的得分值，
Figure 790718DEST_PATH_IMAGE033
表示关系标签，
Figure 870670DEST_PATH_IMAGE034
表示关系标签
Figure 958712DEST_PATH_IMAGE035
的得分值，
Figure 491324DEST_PATH_IMAGE036
表示阈值关系标签
Figure 955803DEST_PATH_IMAGE037
的得分值。
关于一种基于自适应实体路径感知的文档级实体关系抽取装置的具体限定可以参见上文中对于一种基于自适应实体路径感知的文档级实体关系抽取方法的限定，在此不再赘述。上述一种基于自适应实体路径感知的文档级实体关系抽取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于自适应实体路径感知的文档级实体关系抽取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于自适应实体路径感知的文档级实体关系抽取方法，其特征在于，所述方法包括：
获取待抽取文档和实体在所述待抽取文档中的位置；
根据wordpiece算法对所述待抽取文档进行数据预处理，得到预处理后的文档；所述预处理后的文档中包含多个句子；
构建深度神经网络模型；所述深度神经网络模型包括预训练语言模型、自适应实体路径感知的图上消息传播算法和前馈神经网络；
利用预训练语言模型对所述预处理后的文档进行上下文编码，得到句子的上下文表征序列；
根据所述句子的上下文表征序列和实体在所述待抽取文档中的位置构建文档图；所述文档图中包含实体节点的初始表示；
利用自适应实体路径感知的图上消息传播算法对所述文档图从广度和深度两方面更新所述实体节点的初始表示，得到文档级语义的实体节点表示；
根据前馈神经网络对所述文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值；
根据所述实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，利用所述损失值和反向传播算法迭代优化所述深度神经网络模型中的可学习参数，得到实体关系抽取模型；
根据所述实体关系抽取模型进行文档级实体关系抽取。
2.根据权利要求1所述的方法，其特征在于，根据所述句子的上下文表征序列和实体在所述待抽取文档中的位置构建文档图，包括：
根据所述句子的上下文表征序列和实体在所述待抽取文档中的位置计算提及节点、实体节点和句子节点的初始表示，利用提及节点、实体节点和句子节点的初始表示和提及节点、实体节点和句子节点在待抽取文档中的自然关联连接节点构建文档图。
3.根据权利要求2所述的方法，其特征在于，所述提及节点，实体节点和句子节点在待抽取文档中的自然关联包括提及节点与提及节点之间的相互连接、提及节点和句子节点之间的相互连接、提及节点和实体节点之间的相互连接以及实体节点和句子节点之间的相互连接；所述提及节点，实体节点和句子节点构成文档图的节点集合；所述提及节点，实体节点和句子节点在待抽取文档中的自然关联构成文档图的边集合；所述提及节点为提及在文档中对应的词的上下文表征的平均值；所述实体节点为实体对应的所有提及节点表示的平均值；所述句子节点为句子中所有词的上下文表征的平均值。
4.根据权利要求1所述的方法，其特征在于，利用自适应实体路径感知的图上消息传播算法对所述文档图从广度和深度两方面更新所述实体节点的初始表示，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合所述文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在所述文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示。
5.根据权利要求4所述的方法，其特征在于，利用自适应实体路径感知的图上消息传播算法聚合所述文档图中目标节点N跳内的邻居信息，建模实体对间的交互，从广度和深度两方面共同控制消息传播算法，通过在所述文档图上自动学习实体相关的自适应路径来筛选和聚合文档级信息，得到文档级语义的实体节点表示，包括：
利用自适应实体路径感知的图上消息传播算法聚合所述文档图中目标节点N跳内的邻居信息，建模实体对间的交互，对于广度方面，在每一跳邻居信息聚合过程中，根据广度自适应方式得到节点的广度临时聚合表示；
在深度方面根据LSTM的长短记忆网络，利用多个门控机制对所述节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示。
6.根据权利要求5所述的方法，其特征在于，根据广度自适应方式得到节点的广度临时聚合，包括：
根据广度自适应方式得到节点的广度临时聚合为
Figure 138226DEST_PATH_IMAGE001
其中，
Figure 55366DEST_PATH_IMAGE002
，
Figure 366262DEST_PATH_IMAGE003
指节点u和邻居v的权重参数，
Figure 761471DEST_PATH_IMAGE004
是对邻居特征进行线性转换的可学习参数，
Figure 841422DEST_PATH_IMAGE005
表示节点
Figure 929464DEST_PATH_IMAGE006
的表示，
Figure 462077DEST_PATH_IMAGE007
和
Figure 926556DEST_PATH_IMAGE008
指注意力机制中的query和key矩阵，
Figure 861014DEST_PATH_IMAGE009
指一个前馈神经网络，
Figure 119957DEST_PATH_IMAGE010
是节点
Figure 874286DEST_PATH_IMAGE011
的邻居节点集合，
Figure 876878DEST_PATH_IMAGE012
表示节点
Figure 665842DEST_PATH_IMAGE013
的表示，
Figure 361266DEST_PATH_IMAGE013
表示节点
Figure 868470DEST_PATH_IMAGE014
的邻居节点，T表示转置运算。
7.根据权利要求5所述的方法，其特征在于，在深度方面根据LSTM的长短记忆网络，利用多个门控机制对所述节点的广度临时聚合表示有选择的保存节点相关的文档级高阶信息，只选择一定跳数内邻居进行传播，得到文档级语义的实体节点表示，包括：
对于所述节点的广度临时聚合表示，利用更新门将节点的广度临时聚合表示中的有效信息添加到记忆单元中，遗忘门则过滤掉上一层记忆单元中无效的信息，输出门控制记忆单元，输出文档级语义的实体节点表示。
8.根据权利要求1所述的方法，其特征在于，根据前馈神经网络对所述文档级语义的实体节点表示进行预测，得到实体间的关系标签得分值，包括：
根据前馈神经网络对所述文档级语义的实体节点表示进行预测，得到实体间的所有关系标签的得分为
Figure 409173DEST_PATH_IMAGE015
其中
Figure 52644DEST_PATH_IMAGE016
,
Figure 653390DEST_PATH_IMAGE017
,
Figure 647890DEST_PATH_IMAGE018
和
Figure 992284DEST_PATH_IMAGE019
是前馈神经网络中的分类器的可学习参数，
Figure 755841DEST_PATH_IMAGE020
指激活函数，d指前馈神经网络中的隐藏维度，k是标签的数量，
Figure 793067DEST_PATH_IMAGE021
表示不同的实体节点表示
Figure 9285DEST_PATH_IMAGE022
和
Figure 157369DEST_PATH_IMAGE023
拼接得到实体对的特征。
9.根据权利要求8所述的方法，其特征在于，根据所述实体间的关系标签得分值和实体间真实存在的关系标签计算损失值，包括：
根据所述实体间的关系标签得分值和实体间真实存在的关系标签计算损失值为
Figure 775432DEST_PATH_IMAGE024
其中，TH表示阈值关系标签TH，
Figure 717981DEST_PATH_IMAGE025
表示实体间真实存在的关系标签集合，
Figure 421494DEST_PATH_IMAGE026
表示负样本关系标签集合，logits指实体对
Figure 107691DEST_PATH_IMAGE027
中所有关系标签的得分，
Figure 845839DEST_PATH_IMAGE028
指关系标签
Figure 224868DEST_PATH_IMAGE029
的得分值，
Figure 415678DEST_PATH_IMAGE030
表示关系标签，
Figure 905565DEST_PATH_IMAGE031
表示关系标签
Figure 967062DEST_PATH_IMAGE032
的得分值，
Figure 516992DEST_PATH_IMAGE033
表示阈值关系标签TH的得分值。
CN202210749823.9A 2022-06-29 2022-06-29 基于自适应实体路径感知的文档级实体关系抽取方法 Active CN114818682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210749823.9A CN114818682B (zh) 2022-06-29 2022-06-29 基于自适应实体路径感知的文档级实体关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210749823.9A CN114818682B (zh) 2022-06-29 2022-06-29 基于自适应实体路径感知的文档级实体关系抽取方法

Publications (2)

Publication Number Publication Date
CN114818682A true CN114818682A (zh) 2022-07-29
CN114818682B CN114818682B (zh) 2022-09-02

Family

ID=82523327

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210749823.9A Active CN114818682B (zh) 2022-06-29 2022-06-29 基于自适应实体路径感知的文档级实体关系抽取方法

Country Status (1)

Country Link
CN (1) CN114818682B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116522935A (zh) * 2023-03-29 2023-08-01 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备
CN117648415A (zh) * 2023-10-17 2024-03-05 北京邮电大学 文本检测模型的训练方法、文本检测方法及相关设备
CN118569267A (zh) * 2024-08-01 2024-08-30 贵州大学 基于语义及关联建模进行实体及提及增强的关系抽取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351749A1 (en) * 2016-06-03 2017-12-07 Microsoft Technology Licensing, Llc Relation extraction across sentence boundaries
US20210019370A1 (en) * 2019-07-19 2021-01-21 Siemens Aktiengesellschaft Neural relation extraction within and across sentence boundaries
CN114090792A (zh) * 2021-11-25 2022-02-25 润联软件系统(深圳)有限公司 基于对比学习的文档关系抽取方法及其相关设备
CN114298052A (zh) * 2022-01-04 2022-04-08 中国人民解放军国防科技大学 一种基于概率图的实体联合标注关系抽取方法和系统
CN114398491A (zh) * 2021-12-21 2022-04-26 成都量子矩阵科技有限公司 一种基于知识图谱的语义分割图像实体关系推理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170351749A1 (en) * 2016-06-03 2017-12-07 Microsoft Technology Licensing, Llc Relation extraction across sentence boundaries
US20210019370A1 (en) * 2019-07-19 2021-01-21 Siemens Aktiengesellschaft Neural relation extraction within and across sentence boundaries
CN114090792A (zh) * 2021-11-25 2022-02-25 润联软件系统(深圳)有限公司 基于对比学习的文档关系抽取方法及其相关设备
CN114398491A (zh) * 2021-12-21 2022-04-26 成都量子矩阵科技有限公司 一种基于知识图谱的语义分割图像实体关系推理方法
CN114298052A (zh) * 2022-01-04 2022-04-08 中国人民解放军国防科技大学 一种基于概率图的实体联合标注关系抽取方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张翠等: "融合句法依存树注意力的关系抽取研究", 《广东通信技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116522935A (zh) * 2023-03-29 2023-08-01 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备
CN116522935B (zh) * 2023-03-29 2024-03-29 北京德风新征程科技股份有限公司 文本数据处理方法、处理装置和电子设备
CN117648415A (zh) * 2023-10-17 2024-03-05 北京邮电大学 文本检测模型的训练方法、文本检测方法及相关设备
CN118569267A (zh) * 2024-08-01 2024-08-30 贵州大学 基于语义及关联建模进行实体及提及增强的关系抽取方法
CN118569267B (zh) * 2024-08-01 2024-10-01 贵州大学 基于语义及关联建模进行实体及提及增强的关系抽取方法

Also Published As

Publication number Publication date
CN114818682B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN114818682B (zh) 基于自适应实体路径感知的文档级实体关系抽取方法
Wang et al. ADRL: An attention-based deep reinforcement learning framework for knowledge graph reasoning
CN114330510B (zh) 模型训练方法、装置、电子设备和存储介质
CN112396185A (zh) 一种事实验证方法、系统、计算机设备和存储介质
CN112905801A (zh) 基于事件图谱的行程预测方法、系统、设备及存储介质
US20240046127A1 (en) Dynamic causal discovery in imitation learning
Xiong et al. DGI: recognition of textual entailment via dynamic gate matching
Liu et al. Interpretability of computational models for sentiment analysis
EP4445252A1 (en) Automated notebook completion using sequence-to-sequence transformer
US12106045B2 (en) Self-learning annotations to generate rules to be utilized by rule-based system
Yang et al. Generation-based parallel particle swarm optimization for adversarial text attacks
CN112015890B (zh) 电影剧本摘要的生成方法和装置
Xu et al. Collective vertex classification using recursive neural network
WO2021139255A1 (zh) 基于模型的预测数据变化频率的方法、装置和计算机设备
Guo [Retracted] Financial Market Sentiment Prediction Technology and Application Based on Deep Learning Model
Li [Retracted] Forecast and Simulation of the Public Opinion on the Public Policy Based on the Markov Model
CN116541507A (zh) 一种基于动态语义图神经网络的视觉问答方法及系统
WO2024098282A1 (zh) 一种几何解题方法、装置、设备及存储介质
US20220051083A1 (en) Learning word representations via commonsense reasoning
Yigit et al. Assessing the impact of minor modifications on the interior structure of GRU: GRU1 and GRU2
CN114579761A (zh) 信息安全知识实体关系连接预测方法、系统及介质
CN118709788B (zh) 社交网络舆情态势决策方法、装置、设备及介质
Eisenstadt et al. Autocompletion of Architectural Spatial Configurations Using Case-Based Reasoning, Graph Clustering, and Deep Learning
CN117909492B (zh) 一种电网非结构化信息抽取方法、系统、设备及介质
Liu et al. An improved Harris Hawks optimization for Bayesian network structure learning via genetic operators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant