CN111506725B - 生成摘要的方法和装置 - Google Patents

Abstract

本申请公开了一种生成摘要的方法和装置，涉及自然语言处理技术领域。具体实现方案为：基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定文档集的各条语句的初始输入向量表示；基于文档集中的各条语句之间的语义关系，构造文档集的结构化关系图；基于结构化关系图，对各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示；基于各条语句的初始输入向量表示、结构化关系图和各条语句的上下文向量表示，解码得到文档集的摘要文本。该方法和装置可以生成更能体现文档集中的重要内容的摘要文本，并使得到的摘要文本更加连贯、简洁，生成的摘要信息更为丰富。

Description

生成摘要的方法和装置

技术领域

本公开涉及计算机技术领域，具体涉及自然语言处理技术领域，尤其涉及生成摘要的方法和装置。

背景技术

多文档自动摘要是指为多篇主题相关的文档自动生成一份简洁的摘要，要求摘要涵盖文档集的核心内容并且语义连贯、语言流畅。相对于单文档摘要，多文档摘要需要处理更长的文本输入，并且不同文档间的内容存在重复、相关或者互为补充关系。

多文档摘要可以应用于热点话题综述、搜索结果摘要、聚合写作等场景中。多文档自动摘要最常用的为抽取式摘要方法，即从文档集中抽取多个重要的句子组合成一份摘要。近年来，生成式摘要方法也受到极大关注，已有的生成式多文档摘要方法通常将多篇文档简单地拼接成单篇文档，然后利用单文档摘要模型生成摘要。还有部分多文档摘要工作采取两阶段方法，即先用抽取式方法抽取部分重要的句子，再用单文档生成式方法生成一份新的摘要。

发明内容

本公开实施例提供了生成摘要的方法和装置。

第一方面，本公开实施例提供了一种生成摘要的方法，包括：基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定所述文档集的各条语句的初始输入向量表示；基于所述文档集中的各条语句之间的语义关系，构造所述文档集的结构化关系图；基于所述结构化关系图，对所述各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示；基于所述各条语句的初始输入向量表示、所述结构化关系图和所述各条语句的上下文向量表示，解码得到所述文档集的摘要文本。

第二方面，本公开实施例提供了一种生成摘要的装置，包括：初始向量确定模块，被配置成基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定文档集的各条语句的初始输入向量表示；关系图构造模块，被配置成基于文档集中的各条语句之间的语义关系，构造文档集的结构化关系图；上下文向量确定模块，被配置成基于结构化关系图，对各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示；向量表示解码模块，被配置成基于各条语句的初始输入向量表示、结构化关系图和各条语句的上下文向量表示，解码得到文档集的摘要文本。

第三方面，本公开的实施例提供了一种电子设备/服务器/智能终端，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实施例的方法。

第四方面，本公开的实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面任一实施例中的方法。

本公开实施例提供的生成摘要的方法和装置，首先基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定文档集的各条语句的初始输入向量表示；之后，基于文档集中的各条语句之间的语义关系，构造文档集的结构化关系图；之后，基于结构化关系图，对各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示；最后，基于各条语句的初始输入向量表示、结构化关系图和各条语句的上下文向量表示，解码得到文档集的摘要文本。在这一过程中，该方法和装置可以利用文档集的结构化关系图在编码、解码过程中有效建模多文档内的语义关系，对多文档输入的重要内容进行有效地组织和改写，可以生成语义更加连贯、简洁的摘要，并且生成的摘要的信息更为丰富。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

通过阅读参照以下附图所作的对非限制性实施例详细描述，本公开的其它特征、目的和优点将会变得更明显：

图1是本公开可以应用于其中的示例性系统架构图；

图2是根据本公开实施例的生成摘要的方法的一个实施例的流程示意图；

图3是根据本公开实施例的生成摘要的方法的一个示例性应用场景；

图4是根据本公开实施例的生成摘要的方法的又一个实施例的流程示意图；

图5是根据本公开实施例的生成摘要的方法的又一个示例性应用场景；

图6是本公开的用来实现本申请实施例的生成摘要的方法的电子设备的框图；

图7是可以实现本申请实施例的生成摘要的方法的场景图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示出了可以应用本公开的生成摘要的方法或生成摘要的装置的实施例的示例性系统架构100。

图1示出了可以应用本公开的生成摘要的方法或生成摘要的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如文档处理应用、音频播放应用、流媒体处理应用、多方交互应用、人工智能应用、游戏应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是支持文档处理应用的各种电子设备，包括但不限于智能终端、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果反馈给终端设备。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

在实践中，本公开实施例所提供的生成摘要的方法可以由终端设备101、102、103或服务器105执行，生成摘要的装置也可以设置于终端设备101、102、103或服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

请参考图2，图2示出了根据本公开的生成摘要的方法的一个实施例的流程200。该生成摘要的方法包括以下步骤：

步骤201，基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定文档集的各条语句的初始输入向量表示。

在本实施例中，生成摘要的方法的执行主体(例如图1所示的终端或服务器)可以从本地或远程设备获取将多个文档拼接得到的文档集。之后，上述执行主体可以提取文档集中的所有语句，并对文档集中的各条语句进行分词，得到输入的语句集，之后对输入的语句集进行编码，得到各条语句中各个词的上下文向量表示。

具体地，可以采用现有技术或未来发展的技术中的编码方法来完成对各条语句的编码，本申请对此不作限定。例如，可以将各条语句的词向量融合词位置向量输入语句编码器，从而得到各条语句中各个词的上下文向量表示。

在确定各条语句中各个词的上下文向量表示之后，可以将各个词的上下文向量表示直接作为初始输入向量表示，也可以对各个词的上下文向量表示进行池化，得到文档集的各条语句的初始输入向量表示。

步骤202，基于文档集中的各条语句之间的语义关系，构造文档集的结构化关系图。

在本实施例中，将多文档组成的文档集内的语句表示为节点，将语句之间的语义关系表示为边，可以构造文档集的结构化关系图。

可选地，文档集中各条语句之间的语义关系，可以包括以下至少一项：文档集中各条语句之间的语义相似关系、文档集中各条语句之间的篇章结构关系和文档集中各条语句之间的主题关系等。通过基于文档集中的上述语义关系构建结构化关系图，可以使得到的结构化关系图更为精准、全面的反应文档集中的语义关系和重要内容。

步骤203，基于结构化关系图，对各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示。

在本实施例中，可以根据构建好的结构化关系图，编码各条语句的初始输入向量表示，从而得到各条语句的上下文向量表示。具体地，可以将结构化关系图作为编码各条语句的初始输入向量表示时的约束，从而得到融合了结构化关系图的语义关系的各条语句的上下文向量表示。

步骤204，基于各条语句的初始输入向量表示、结构化关系图和各条语句的上下文向量表示，解码得到文档集的摘要文本。

在本实施例中，由于各条语句的初始输入向量表示体现了各条语句中各个词与语句中其它词的上下文相关性，结构化关系图体现了文档集中各条语句之间的语义关系，各条语句的上下文向量表示体现了各条语句与文档集中其它语句的上下文相关性，将这三者输入解码器，可以使得解码器将结构化关系图作为解码各条语句的初始输入向量表示、各条语句的上下文向量表示的约束，从而得到文档集的摘要文本。

本公开上述实施例的生成摘要的方法，由于在编码、解码过程中考虑了各条语句之间的语义关系、各条语句中各个词与语句中其它词的上下文相关性、各条语句与文档集中其它语句的上下文相关性，可以生成更能体现文档集中的重要内容的摘要文本，并使得到的摘要文本更加连贯、简洁，生成的摘要信息更为丰富。

在上述实施例的一些可选的实现方式中，上述的基于结构化关系图，对各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示，可以包括：基于结构化关系图，确定编码器的上下文注意力模型的注意力系数的权重；基于上下文注意力模型的注意力系数的权重，对各条语句的初始输入向量表示进行编码，得到各条语句的上下文向量表示。

在本实现方式中，编码器的上下文注意力模型的注意力系数，可以体现各个初始输入向量表示和除该初始输入向量表示之外的其它初始输入向量表示之间的相关性。

上述执行主体可以基于结构化关系图所体现的语义关系，在对各条语句的初始输入向量表示进行编码时，对各个初始输入向量表示与其它初始输入向量表示之间的相关性进行调整，使得输出的各条语句的上下文向量更能体现与该语句具有较强语义关系的语句的影响，输出的各条语句的上下文向量更能体现文档集中重要的语句内容。

在一个具体的示例中，上述的基于结构化关系图，确定编码器的上下文注意力模型中的注意力系数的权重，可以包括：采用高斯函数将结构化关系图中各条语句之间的语义关系转换为编码器的上下文注意力模型中的注意力系数的权重。以及上述的基于上下文注意力模型的注意力系数的权重，对各条语句的初始输入向量表示进行编码，得到各条语句的上下文向量表示，可以包括：采用注意力系数的权重，计算各个初始输入向量表示和与该初始输入向量表示存在语义关系的初始输入向量表示的相关性的加权值，得到各条语句的上下文向量表示。

在该示例中，采用高斯函数对结构化关系图中各条语句之间的语义关系进行了转换，得到编码器的上下文注意力模型中的注意力系数的权重。之后，可以采用注意力系数的权重，计算各个初始输入向量表示和其它初始输入向量表示的相关性的加权值，从而得到各条语句的上下文向量表示，从而使得输出的各条语句的上下文向量更能体现与该语句具有较强语义关系的语句的影响，输出的各条语句的上下文向量更能体现文档集中重要的语句内容。

以下结合图3，描述本公开的生成摘要的方法的示例性应用场景。

如图3所示，图3示出了根据本公开的生成摘要的方法的一个示例性应用场景。

如图3所示，生成摘要的方法300运行于电子设备310中，可以包括：

首先，基于对文档集301中的各条语句302进行编码所得到的各条语句中各个词的上下文向量表示303，确定文档集的各条语句的初始输入向量表示304。

之后，基于文档集中的各条语句之间的语义关系305，构造文档集的结构化关系图306。

之后，基于结构化关系图306，对各条语句的初始输入向量表示304进行上下文编码，得到各条语句的上下文向量表示307。

最后，基于各条语句的初始输入向量表示304、结构化关系图306和各条语句的上下文向量表示307，解码得到文档集的摘要文本308。

应当理解，上述图3中所示出的生成摘要的方法的应用场景，仅为对于生成摘要的方法的示例性描述，并不代表对该方法的限定。例如，上述图3中示出的各个步骤，可以进一步采用更为细节的实现方法。也可以在上述图3的基础上，进一步增加输出生成的摘要文本、对摘要文本进行进一步利用的步骤。

进一步参考图4，图4示出了根据本公开的生成摘要的方法的又一个实施例的示意性流程图。

如图4所示，本实施例的生成摘要的方法400，可以包括以下步骤：

步骤401，基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定文档集的各条语句的初始输入向量表示。

在本实施例中，生成摘要的方法的执行主体(例如图1所示的终端或服务器)可以从本地或远程设备获取将多个文档拼接得到的文档集。之后，上述执行主体可以提取文档集中的所有语句，并对文档集中的各条语句进行分词，得到输入的语句集，之后对输入的语句集进行编码，得到各条语句中各个词的上下文向量表示。

步骤402，基于文档集中的各条语句之间的语义关系，构造文档集的结构化关系图。

在本实施例中，将多文档组成的文档集内的语句表示为节点，将语句之间的语义关系表示为边，可以构造文档集的结构化关系图。

步骤403，基于结构化关系图，对各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示。

在本实施例中，可以根据构建好的结构化关系图，编码各条语句的初始输入向量表示，从而得到各条语句的上下文向量表示。具体地，可以将结构化关系图作为编码各条语句的初始输入向量表示时的约束，从而得到融合了结构化关系图的语义关系的各条语句的上下文向量表示。

应当理解，上述步骤401至步骤403中所描述的操作和特征，与上述图2所示的实施例中的步骤201至步骤203相对应，因此，上述图2所示的实施例中针对步骤201至步骤203所描述的操作和特征，同样适用于上述步骤401至步骤403，在此不再赘述。

步骤404，基于当前解码步骤的向量表示与各条语句的初始输入向量表示的相似度，确定局部词级注意力层的注意力系数。

在本实施例中，上述执行主体可以采用现有技术或未来发展的技术中计算两个向量相似度的方法，来确定当前解码步骤的向量表示与各条语句的初始输入向量表示的相似度。例如，求两个向量的向量点积、求两个向量的向量余弦Cosine相似性或者通过再引入额外的神经网络来求值。

之后，可以引入类似逻辑回归SoftMax的计算方式对相似度进行数值转换，一方面可以进行归一化，将原始计算分值整理成所有元素权重之和为1的概率分布；另一方面也可以通过SoftMax的内在机制更加突出重要元素的权重。基于计算的结果对各条语句的初始输入向量表示进行加权求和，即可得到当前解码步骤的向量表示与各条语句中各个词的上下文向量表示的相关性，也即得到局部词级注意力层的注意力系数。

步骤405，采用结构化关系图，对局部词级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句中各个词的词级上下文向量表示。

在本实施例中，根据结构化关系图所体现的各条语句之间的语义关系，可以对当前解码步骤的向量表示与各条语句中各个词的上下文向量表示的相关性进行加权约束，从而得到当前解码步骤的向量表示所对应的当前词与各条语句中各个词的词级上下文向量表示。

步骤406，基于当前解码步骤的向量表示与各条语句的上下文向量表示的相似度，确定全局语句级注意力层的注意力系数。

在本实施例中，上述执行主体可以采用现有技术或未来发展的技术中计算两个向量相似度的方法，来确定当前解码步骤的向量表示与各条语句的上下文向量表示的相似度。例如，求两个向量的向量点积、求两个向量的向量Cosine相似性或者通过再引入额外的神经网络来求值。

之后，可以引入类似SoftMax的计算方式对相似度进行数值转换，一方面可以进行归一化，将原始计算分值整理成所有元素权重之和为1的概率分布；另一方面也可以通过SoftMax的内在机制更加突出重要元素的权重。基于计算的结果对各条语句的语句级上下文向量表示进行加权求和，即可得到当前解码步骤的向量表示与各条语句的语句级上下文向量表示的相关性，也即得到全局语句级注意力层的注意力系数。

步骤407，采用结构化关系图，对全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句的语句级上下文向量表示。

在本实施例中，根据结构化关系图所体现的各条语句之间的语义关系，可以对当前解码步骤的向量表示与各条语句的语句级上下文向量表示的相关性进行加权约束，从而得到当前解码步骤的向量表示所对应的当前词与各条语句的语句级上下文向量表示。

在一个具体的示例中，采用结构化关系图，对全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与所有语句的语句级上下文向量表示，可以包括：首先，基于将当前解码步骤的向量表示与各条语句的上下文向量表示进行对齐的结果，确定当前解码步骤的向量表示所对应的文档集中的中心语句；之后，采用结构化关系图，确定中心语句与文档集中其它语句的语义关系；之后，基于中心语句与文档集中其它语句的语义关系，确定全局语句级注意力层的注意力系数的权重；最后，采用全局语句级注意力层的注意力系数的权重，对全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示与所有语句的语句级上下文向量表示。

在该示例中，当前解码步骤的向量表示所对应的文档集中的中心语句，是指与当前解码步骤的向量表示对应的对齐可能性最大的语句。上述执行主体可以从结构化关系图所体现的语义关系中，确定中心语句和文档集中其它语句的语义关系。

之后，可以根据中心语句和文档集中其它语句的语义关系，确定全局语句级注意力层的注意力系数的权重。其中，全局语句级注意力层的注意力系数，也即当前解码步骤的向量表示与各条语句的上下文向量的相关性。

最后，基于全局语句级注意力层的注意力系数的权重，调整各条语句的上下文向量对当前解码步骤的向量表示，从而得到所有语句的语句级上下文向量。

该示例中的采用结构化关系图，对全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与所有语句的语句级上下文向量表示的过程，可以使得输出的当前解码步骤的向量表示所对应的当前词与所有语句的语句级上下文向量表示，更能体现与所有语句中重要语句的影响，从而体现出文档集中重要的语句内容。

步骤408，基于词级上下文向量表示和语句级上下文向量表示，确定当前解码步骤的向量表示所对应的当前词。

在本实施例中，词级上下文向量表示引入了对当前解码步骤的向量表示的局部影响，语句级上下文向量表示引入了对当前解码步骤的向量表示的全局影响。根据词级上下文向量表示和语句级上下文向量表示进行解码，得到当前解码步骤的向量表示所对应的当前词将更为精准，更能体现文档集的意图。上述执行主体可以采用步骤404至步骤408的顺序，依次解码出文档集的摘要文本中的各个词，从而得到完整的文档集的摘要文本。

在本步骤的一些可选实现方式中，上述基于词级上下文向量表示和语句级上下文向量表示，确定当前解码步骤的向量表示所对应的当前词，可以包括：融合词级上下文向量表示和语句级上下文向量表示，得到当前解码步骤的融合上下文向量表示；确定当前解码步骤的融合上下文向量表示所对应的当前词。

在本实现方式中，融合词级上下文向量表示和语句级上下文向量表示的方法，可以为现有技术或未来发展的技术中融合两个向量的方法，本申请对此不作限定。例如，可以相加、拼接、线性转换两个向量或采用融合向量的模型(可以根据需求设计)来融合两个向量。

在融合词级上下文向量表示和语句级上下文向量表示之后，可以基于当前解码步骤的融合上下文向量表示解码得到其所对应的当前词。基于融合上下文向量表示进行解码，得到的当前解码步骤的向量表示所对应的当前词将更为精准，更能体现文档集的意图。

本公开上述实施例的生成摘要的方法，与图2所示的实施例相比，由于解码时同时参考了对当前解码步骤的向量表示的局部影响和全局影响，可以提高解码的准确性，兼顾解码得到的每一个当前词与在先解码得到的词语的语义连贯性和信息的丰富性。

进一步参考图5，图5示出了根据本公开实施例的生成摘要的方法的又一个示例性应用场景。

如图5所示，图5示出了根据本公开的生成摘要的方法的一个具体的实施例的示例性实现。

在图5中，生成摘要的方法基于Transformer模型500实现。Transformer模型500包括编码器510和解码器520。

具体地，编码器510中包括语句编码层511和图编码层512，其中图编码器512包括图自注意力模型(也即上述实施例中的上下文注意力模型)513；解码器520中包括层次化图注意力模型521，层次化图注意力模型包括局部词级注意力层和全局语句级注意力层。

具体地，上述图4中所示的生成摘要的方法基于图5中的Transfomer模型可以实现如下步骤：

首先，将对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，输入语句编码层511，得到语句编码层511输出的文档集的各条语句的初始输入向量表示。

之后，将各条语句的初始输入向量表示输入包括图自注意力模型513的图编码层512，得到图编码层512输出的各条语句的上下文向量表示。其中，图自注意力模型513基于结构化关系图所体现的文档集中的各条语句之间的语义关系，确定图自注意力模型513的注意力系数的权重。

之后，分别将各条语句的初始输入向量表示和各条语句的上下文向量表示，输入解码器520中的层次化图注意力模型521的局部词级注意力层和全局语句级注意力层。

具体地，基于当前解码步骤的向量表示与各条语句的初始输入向量表示的相似度，确定局部词级注意力层的注意力系数；并采用结构化关系图，对局部词级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句中各个词的词级上下文向量表示。

基于当前解码步骤的向量表示与各条语句的上下文向量表示的相似度，确定全局语句级注意力层的注意力系数；并采用结构化关系图，对全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句的语句级上下文向量表示。

之后，基于局部词级注意力层输出的词级上下文向量表示和全局语句级注意力层输出的语句级上下文向量表示，确定当前解码步骤的向量表示所对应的当前词。

应当理解，本公开上述图5所示的实施例，仅为本申请的示例性实施例，并非对于本申请的限定。例如，上述的图2-图5的实施例中的编码器-解码器框架也可以通过现有技术中的其它编码器-解码器框架实现，例如编码器和解码器可以分别基于以下任意一项网络结构实现：CNN网络、RNN网络或LSTM等，编码器和解码器所采用的网络结构可以相同，也可以不同。在这些网络中，通常可以引入注意力Attention、自注意力Self-Attention机制作为约束。同时还有一些其他的技巧例如引入单词的位置信息，残差网络，在计算Attention的时候对高层语义信息和低层细节信息，兼收并取等。

如图6所示，本实施例的生成摘要的装置600，包括：初始向量确定模块601，被配置成基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定文档集的各条语句的初始输入向量表示；关系图构造模块602，被配置成基于文档集中的各条语句之间的语义关系，构造文档集的结构化关系图；上下文向量确定模块603，被配置成基于结构化关系图，对各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示；向量表示解码模块604，被配置成基于各条语句的初始输入向量表示、结构化关系图和各条语句的上下文向量表示，解码得到文档集的摘要文本。

在本实施例的一些可选实现方式中，上下文向量确定模块603包括(图中未示出)：系数权重确定模块，被配置成基于结构化关系图，确定编码器的上下文注意力模型的注意力系数的权重；向量表示编码模块，被配置成基于上下文注意力模型的注意力系数的权重，对各条语句的初始输入向量表示进行编码，得到各条语句的上下文向量表示。

在本实施例的一些可选实现方式中，系数权重确定模块进一步被配置成：采用高斯函数将结构化关系图中各条语句之间的语义关系转换为编码器的上下文注意力模型中的注意力系数的权重；以及向量表示编码模块进一步被配置成：采用注意力系数的权重，计算各个初始输入向量表示和与该初始输入向量表示存在语义关系的初始输入向量表示的相关性的加权值，得到各条语句的上下文向量表示。

在本实施例的一些可选实现方式中，向量表示解码模块604包括(图中未示出)：系数确定模块，被配置成基于当前解码步骤的向量表示与各条语句的初始输入向量表示的相似度，确定局部词级注意力层的注意力系数；系数加权约束模块，被配置成采用结构化关系图，对局部词级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句中各个词的词级上下文向量表示；注意力确定模块，被配置成基于当前解码步骤的向量表示与各条语句的上下文向量表示的相似度，确定全局语句级注意力层的注意力系数；注意力加权约束模块，被配置成采用结构化关系图，对全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句的语句级上下文向量表示；当前词确定模块，被配置成基于词级上下文向量表示和语句级上下文向量表示，确定当前解码步骤的向量表示所对应的当前词。

在本实施例的一些可选实现方式中，注意力加权约束模块进一步被配置成：基于将当前解码步骤的向量表示与各条语句的上下文向量表示进行对齐的结果，确定当前解码步骤的向量表示所对应的文档集中的中心语句；采用结构化关系图，确定中心语句与文档集中其它语句的语义关系；基于中心语句与文档集中其它语句的语义关系，确定全局语句级注意力层的注意力系数的权重；采用全局语句级注意力层的注意力系数的权重，对全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示与所有语句的语句级上下文向量表示。

在本实施例的一些可选实现方式中，当前词确定模块进一步被配置成：融合词级上下文向量表示和语句级上下文向量表示，得到当前解码步骤的融合上下文向量表示；确定当前解码步骤的融合上下文向量表示所对应的当前词。

在本实施例的一些可选实现方式中，关系图构造模块602中所采用的文档集中各条语句之间的语义关系包括以下至少一项：文档集中各条语句之间的语义相似关系、文档集中各条语句之间的篇章结构关系和文档集中各条语句之间的主题关系。

应当理解，装置600中记载的各个单元与参考图2-图5描述的方法中记载的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于装置600及其中包含的各个单元，在此不再赘述。

如图7所示，是根据本申请实施例的生成摘要的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的生成摘要的方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的生成摘要的方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的生成摘要的方法对应的程序指令/模块(例如，附图6所示的初始向量确定模块、关系图构造模块、上下文向量确定模块、向量表示解码模块)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及单元，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的生成摘要的方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据生成摘要的方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至生成摘要的方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

生成摘要的方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与生成摘要的方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，由于在编码、解码过程中考虑了各条语句之间的语义关系、各条语句中各个词与语句中其它词的上下文相关性、各条语句与文档集中其它语句的上下文相关性，可以生成更能体现文档集中的重要内容的摘要文本，并使得到的摘要文本更加连贯、简洁，生成的摘要信息更为丰富。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (18)

1.一种生成摘要的方法，所述方法包括：

基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定所述文档集的各条语句的初始输入向量表示；

基于所述文档集中的各条语句之间的语义关系，构造所述文档集的结构化关系图；

基于所述结构化关系图，对所述各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示；

基于所述各条语句的初始输入向量表示、所述结构化关系图和所述各条语句的上下文向量表示，解码得到所述文档集的摘要文本，包括：将所述各条语句的初始输入向量表示、所述结构化关系图和所述各条语句的上下文向量表示输入解码器，以使所述解码器将所述结构化关系图作为所述各条语句的初始输入向量表示、所述各条语句的上下文向量表示的约束，解码得到所述文档集的摘要文本。

2.根据权利要求1所述的方法，其中，所述基于所述结构化关系图，对所述各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示，包括：

基于所述结构化关系图，确定编码器的上下文注意力模型的注意力系数的权重；

基于所述上下文注意力模型的注意力系数的权重，对所述各条语句的初始输入向量表示进行编码，得到各条语句的上下文向量表示。

3.根据权利要求2所述的方法，其中，所述基于所述结构化关系图，确定编码器的上下文注意力模型中的注意力系数的权重，包括：

采用高斯函数将所述结构化关系图中各条语句之间的语义关系转换为编码器的上下文注意力模型中的注意力系数的权重；以及

所述基于所述上下文注意力模型的注意力系数的权重，对所述各条语句的初始输入向量表示进行编码，得到各条语句的上下文向量表示，包括：

采用所述注意力系数的权重，计算所述各条语句的初始输入向量表示和与该初始输入向量表示存在语义关系的初始输入向量表示的相关性的加权值，得到各条语句的上下文向量表示。

4.根据权利要求1所述的方法，其中，所述基于所述各条语句的初始输入向量表示、所述结构化关系图和所述各条语句的上下文向量表示，解码得到所述文档集的摘要文本，包括：

基于当前解码步骤的向量表示与所述各条语句的初始输入向量表示的相似度，确定局部词级注意力层的注意力系数；

采用所述结构化关系图，对所述局部词级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句中各个词的词级上下文向量表示；

基于当前解码步骤的向量表示与所述各条语句的上下文向量表示的相似度，确定全局语句级注意力层的注意力系数；

采用所述结构化关系图，对所述全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与所述各条语句的语句级上下文向量表示；

基于所述词级上下文向量表示和所述语句级上下文向量表示，确定当前解码步骤的向量表示所对应的当前词。

5.根据权利要求4所述的方法，其中，所述采用所述结构化关系图，对所述全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与所有语句的语句级上下文向量表示，包括：

基于将当前解码步骤的向量表示与所述各条语句的上下文向量表示进行对齐的结果，确定当前解码步骤的向量表示所对应的所述文档集中的中心语句；

采用所述结构化关系图，确定所述中心语句与所述文档集中其它语句的语义关系；

基于所述中心语句与所述文档集中其它语句的语义关系，确定全局语句级注意力层的注意力系数的权重；

采用所述全局语句级注意力层的注意力系数的权重，对所述全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示与所有语句的语句级上下文向量表示。

6.根据权利要求4所述的方法，其中，基于所述词级上下文向量表示和所述语句级上下文向量表示，确定当前解码步骤的向量表示所对应的当前词，包括：

融合所述词级上下文向量表示和所述语句级上下文向量表示，得到所述当前解码步骤的融合上下文向量表示；

确定所述当前解码步骤的融合上下文向量表示所对应的当前词。

7.根据权利要求1-6任意一项所述的方法，其中，所述文档集中各条语句之间的语义关系包括以下至少一项：所述文档集中各条语句之间的语义相似关系、所述文档集中各条语句之间的篇章结构关系和所述文档集中各条语句之间的主题关系。

8.一种生成摘要的装置，所述装置包括：

初始向量确定模块，被配置成基于对文档集中的各条语句进行编码所得到的各条语句中各个词的上下文向量表示，确定所述文档集的各条语句的初始输入向量表示；

关系图构造模块，被配置成基于所述文档集中的各条语句之间的语义关系，构造所述文档集的结构化关系图；

上下文向量确定模块，被配置成基于所述结构化关系图，对所述各条语句的初始输入向量表示进行上下文编码，得到各条语句的上下文向量表示；

向量表示解码模块，被配置成基于所述各条语句的初始输入向量表示、所述结构化关系图和所述各条语句的上下文向量表示，解码得到所述文档集的摘要文本；

所述向量表示解码模块，进一步被配置成将所述各条语句的初始输入向量表示、所述结构化关系图和所述各条语句的上下文向量表示输入解码器，以使所述解码器将所述结构化关系图作为所述各条语句的初始输入向量表示、所述各条语句的上下文向量表示的约束，解码得到所述文档集的摘要文本。

9.根据权利要求8所述的装置，其中，所述上下文向量确定模块包括：

系数权重确定模块，被配置成基于所述结构化关系图，确定编码器的上下文注意力模型的注意力系数的权重；

向量表示编码模块，被配置成基于所述上下文注意力模型的注意力系数的权重，对所述各条语句的初始输入向量表示进行编码，得到各条语句的上下文向量表示。

10.根据权利要求9所述的装置，其中，所述系数权重确定模块进一步被配置成：采用高斯函数将所述结构化关系图中各条语句之间的语义关系转换为编码器的上下文注意力模型中的注意力系数的权重；以及

所述向量表示编码模块进一步被配置成：采用所述注意力系数的权重，计算所述各条语句的初始输入向量表示和与该初始输入向量表示存在语义关系的初始输入向量表示的相关性的加权值，得到各条语句的上下文向量表示。

11.根据权利要求8所述的装置，其中，所述向量表示解码模块包括：

系数确定模块，被配置成基于当前解码步骤的向量表示与所述各条语句的初始输入向量表示的相似度，确定局部词级注意力层的注意力系数；

系数加权约束模块，被配置成采用所述结构化关系图，对所述局部词级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与各条语句中各个词的词级上下文向量表示；

注意力确定模块，被配置成基于当前解码步骤的向量表示与所述各条语句的上下文向量表示的相似度，确定全局语句级注意力层的注意力系数；

注意力加权约束模块，被配置成采用所述结构化关系图，对所述全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示所对应的当前词与所述各条语句的语句级上下文向量表示；

当前词确定模块，被配置成基于所述词级上下文向量表示和所述语句级上下文向量表示，确定当前解码步骤的向量表示所对应的当前词。

12.根据权利要求11所述的装置，其中，所述注意力加权约束模块进一步被配置成：基于将当前解码步骤的向量表示与所述各条语句的上下文向量表示进行对齐的结果，确定当前解码步骤的向量表示所对应的所述文档集中的中心语句；采用所述结构化关系图，确定所述中心语句与所述文档集中其它语句的语义关系；基于所述中心语句与所述文档集中其它语句的语义关系，确定全局语句级注意力层的注意力系数的权重；采用所述全局语句级注意力层的注意力系数的权重，对所述全局语句级注意力层的注意力系数进行加权约束，得到当前解码步骤的向量表示与所有语句的语句级上下文向量表示。

13.根据权利要求11所述的装置，其中，所述当前词确定模块进一步被配置成：融合所述词级上下文向量表示和所述语句级上下文向量表示，得到所述当前解码步骤的融合上下文向量表示；确定所述当前解码步骤的融合上下文向量表示所对应的当前词。

14.根据权利要求8-13任意一项所述的装置，其中，所述关系图构造模块中所采用的文档集中各条语句之间的语义关系包括以下至少一项：所述文档集中各条语句之间的语义相似关系、所述文档集中各条语句之间的篇章结构关系和所述文档集中各条语句之间的主题关系。

15.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种服务器，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

17.一种智能终端，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。

Images