CN111651424B - 一种数据处理方法、装置、数据节点及存储介质 - Google Patents

Abstract

本申请适用于数据处理技术领域，提供一种数据处理方法、装置、数据节点及存储介质，其中方法包括：根据外部表，确定目标数据的目标分区地址；根据目标分区地址，向存储目标数据的目标数据节点发送数据获取请求；接收目标数据节点发送的目标数据。该方案减少对控制节点的查询依赖，降低控制节点的数据查询负载量，提升数据查询响应速度，改善分布式数据库的数据处理性能。

Description

一种数据处理方法、装置、数据节点及存储介质

技术领域

本申请属于数据处理技术领域，尤其涉及一种数据处理方法、装置、数据节点及存储介质。

背景技术

分布式数据库作为一种重要的数据存储系统，在实现时通常使用较小的计算机系统形成不同的数据节点，每个数据节点中都可能有数据管理文件的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多数据节点通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。

分布式数据库在应用过程中，数据会被分散存储至不同的数据节点中。而在对不同的数据节点中的数据进行查询或读取时，则需要通过控制节点中存储的数据分布索引文件实现从对应的数据节点中进行数据的访问与查找。而当分布式数据库中所包括的数据节点的数量较多时，则控制节点的数据查询负载则会很大，且数据查询响应速度也会随之降低，影响数据库的数据处理性能。

发明内容

本申请实施例提供了一种数据处理方法、装置、数据节点及存储介质，以解决现有技术中当分布式数据库所包括的分布式数据节点的数量较多时，控制节点的数据查询负载大，且数据查询响应速度降低，影响数据库的数据处理性能的问题。

本申请实施例的第一方面提供了一种数据处理方法，应用于数据节点，所述数据节点中存储有本地数据及外部数据对应的外部表，所述外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址；所述数据处理方法包括：

根据所述外部表，确定目标数据的目标分区地址；

根据所述目标分区地址，向存储所述目标数据的目标数据节点发送数据获取请求；

接收所述目标数据节点发送的所述目标数据。

本申请实施例的第二方面提供了一种数据处理装置，所述数据处理装置中存储有本地数据及外部数据对应的外部表，所述外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址；所述数据处理装置还包括：

确定模块，用于根据所述外部表，确定目标数据的目标分区地址；

发送模块，用于根据所述目标分区地址，向存储所述目标数据的目标数据节点发送数据获取请求；

接收模块，用于接收所述目标数据节点发送的所述目标数据。

本申请实施例的第三方面提供了一种数据节点，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述方法的步骤。

本申请的第五方面提供了一种计算机程序产品，当所述计算机程序产品在数据节点上运行时，使得所述数据节点执行上述第一方面所述方法的步骤。

由上可见，本申请实施例中，在数据节点中存储有本地数据及外部数据对应的外部表，该外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址，通过根据外部表，确定目标数据的目标分区地址，根据目标分区地址，向存储目标数据的目标数据节点发送数据获取请求，接收目标数据节点发送的目标数据。在实现分布式数据存储功能的同时，还能够以本地数据节点作为数据查询的发起节点，实现对包括本地数据及外部数据节点中所存储数据的共同查询功能，减少对控制节点的查询依赖，降低控制节点的数据查询负载量，提升数据查询响应速度，改善分布式数据库的数据处理性能。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理方法的流程图一；

图2是本申请实施例提供的分布式数据存储系统的结构框架图；

图3是本申请实施例提供的一种数据处理方法的流程图二；

图4是本申请实施例提供的一种数据处理装置的结构图；

图5是本申请实施例提供的一种数据节点的结构图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本申请实施例中提供一种数据处理方法、装置、数据节点及存储介质，通过根据外部表，确定目标数据的目标分区地址，根据目标分区地址，向存储目标数据的目标数据节点发送数据获取请求，接收目标数据节点发送的目标数据。在实现分布式数据存储功能的同时，还能够以本地数据节点作为数据查询的发起节点，实现对包括本地数据及外部数据节点中所存储数据的共同查询功能，减少对控制节点的查询依赖，降低控制节点的数据查询负载量，提升数据查询响应速度，改善分布式数据库的数据处理性能。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

参见图1，图1是本申请实施例提供的一种数据处理方法的流程图一。该数据处理方法应用于数据节点，该数据节点中存储有本地数据及外部数据对应的外部表，所述外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址。

其中，该本地数据中部分或全部与该外部数据为同一待存储数据表中的数据。

该分布式系统具体为分布式数据存储系统，即分布式数据库。在该分布式系统中包括若干个数据节点，实现对待存储数据的分布式存储。该本地数据节点及其他数据节点均为分布式数据存储系统中的数据节点。

本地数据为存储于本地数据节点中的数据，外部数据为存储于分布式系统中除本地数据节点外的其他数据节点中的数据。其中，每一数据节点均对应有一个分区地址，用于指示数据节点的访问地址。该本地数据节点为该方法的执行节点。

如图1所示，一种数据处理方法，该方法包括以下步骤：

步骤101，根据所述外部表，确定目标数据的目标分区地址。

在用户通过某个数据节点实现在分布式数据存储系统中的数据查询时，该数据节点通过自身所存储的外部表实现对非本地存储的数据(即外部数据)所存储的数据节点对应的分区地址。

该过程中，本地数据节点能够在数据节点本地中掌握分布式数据存储方式所存储的数据在各数据节点中的数据分布情况。

具体地，作为一可选的实施方式，其中本地数据的生成、外部表的生成过程可以是：

该数据处理方法还包括：

获取控制节点发送的数据表及与所述数据表对应的分区信息；其中，所述分区信息用于指示所述数据表的多个数据段，以及每个数据段的分区地址；

若所述多个数据段中存在分区地址为本地地址的数据段，则存储所述分区地址为本地地址的数据段；

若所述多个数据段中存在分区地址为非本地地址的数据段，则根据所述分区地址为非本地地址的数据段的分区地址，生成外部表。

具体地，该外部表可以是只有一个外部表或者针对分区地址为非本地地址的每一数据段均有一个对应的外部表。

其中，该生成外部表可以是新增外部表或者对原有外部表的更新。

该分区信息中所指示的数据表的多个数据段，可以是对待存储数据进行数据分片得到，具体可以是根据用户设置的数据分片数量执行数据分片得到。该分区信息具体为将数据表进行切分并分区存储的相关信息。

分区信息指示每个数据段的分区地址，即指示每个数据段所要分发至的数据节点的访问地址。具体地，该分区信息中的数据可以包括：每个数据段的起始内容及结束内容、每个数据段的大小、每个数据段待分发至的数据节点等。

控制节点连接有若干数据节点，实现对该些若干数据节点的全局控制。具体地，该控制节点可以为用户提供数据节点的增减、对待存储的数据表的分片处理、分片得到的数据段在数据节点中的迁移、数据高可用配置等管理功能，分布式数据存储系统中不同数据节点的全局状态可以存储于控制节点中的Catalog(目录、列表)的元数据表格中。其中，这里分片处理算法可以采用哈希算法SHA-1。

具体地，本说明书实施例中所涉及的“多个”具体为至少两个。

这里，结合图2所示，对上述数据表分片及数据存储的过程进行举例说明。

控制节点根据用户输入的数据表分片数量，例如为3，需要将待存储的数据表切分成3个数据段P1、P2、P3并分配该些数据段需要分发至的数据节点，图2中具体为将P1分发至数据节点1、将P2分发至数据节点2及将P3分发至数据节点3，以实现分布式存储，控制节点据此生成对应的分区信息并将数据表及该分区信息发送给对应的数据节点。数据节点在获取到数据表及该分区信息之后，将需要本地数据节点进行存储的数据段进行存储，并基于不需要本地存储的数据段的分区地址生成外部表进行存储。例如数据节点1存储P1，生成数据段P2的外部表P2’、数据段P3的外部表P3’并存储于本地；数据节点2存储P2，生成数据段P1的外部表P1’、数据段P3的外部表P3’并存储于本地；数据节点3存储P3，生成数据段P1的外部表P1’、数据段P2的外部表P2’并存储于本地。

具体地，在数据节点确定若所述多个数据段中存在分区地址为本地地址的数据段，则存储所述分区地址为本地地址的数据段之后，或者确定若所述多个数据段中存在分区地址为非本地地址的数据段，则根据所述分区地址为非本地地址的数据段的分区地址，生成外部表之后，可以把获取到的数据表删除，节省存储空间。

该过程中，数据节点实现从控制节点中获取数据表及对应的分区信息，以能够在数据节点本地中掌握分布式数据存储方式中数据表在各数据节点中的数据分布情况。

步骤102，根据所述目标分区地址，向存储所述目标数据的目标数据节点发送数据获取请求。

本步骤中，在数据节点根据本地存储的外部表，确定出目标数据的目标分区地址之后，则可以根据该目标分区地址，访问存储该目标数据的目标数据节点，进行向该目标数据节点发送数据获取请求。

该数据获取请求用于获取目标数据节点中所存储的该目标数据。

步骤103，接收所述目标数据节点发送的所述目标数据。

该上述步骤，实现以某一数据节点作为数据查询的发起节点，实现对包括本地数据及外部数据节点中所存储数据的共同查询功能，减少对控制节点的查询依赖，降低控制节点的数据查询负载量，提升数据查询响应速度，改善分布式数据库的数据处理性能。

进一步地，作为一可选的实施方式，该数据处理方法还包括：

若未成功从所述目标数据节点接收到所述目标数据，则根据预设的备份节点映射关系确定与所述目标数据节点对应的备份数据节点；向所述备份数据节点发送所述数据获取请求；接收所述备份数据节点发送的所述目标数据。

本实施例中，设置有与数据节点对应的备份节点。其中，数据节点与备份节点之间具有映射关系，数据节点中的数据与具有映射关系的备份节点之间具有数据上的一致性。

具体地，分布式系统中包括多个节点，该些节点中可以包括：数据节点及控制节点，其中一部分数据节点用于作为另一部分数据节点的备份节点，两者通过映射关系映射起来，并保持数据上的一致性。

这里，结合图2进行说明。在图2中，该架构以区域(Zone)为单位支持高可用和异地灾备，第一区域(Zone1)与第二区域(Zone2)之间可以通过流复制方式实现节点级数据同步，实现跨机房及异地数据备份，保证数据的高可靠性。

如图2所示，在Zone2中存储有与Zone1中数据节点1具有映射关系的数据节点4、与Zone1中数据节点2具有映射关系的数据节点5及与Zone1中数据节点3具有映射关系的数据节点6。具有映射关系的数据节点双方存储的数据相同。当用户从数据节点1中触发对数据P2的查找时，若数据节点1未成功从数据节点2接收到目标数据P2时，则根据预设的备份节点映射关系确定与数据节点2对应的备份数据节点即数据节点5，向数据节点5发送数据获取请求；接收数据节点5发送的目标数据P2。

该过程中，用户可以通过客户端连接任意数据节点即可对所有节点的数据进行透明查询，无需中间件，也不用经过控制节点，可以在分布式数据库基础上获得传统关系数据库的优异特性，在数据节点中实现语义完备的数据查询接口，及对全局数据进行端到端查询，提升数据处理性能。

本申请实施例中，在数据节点中存储有本地数据及外部数据对应的外部表，该外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址，通过根据外部表，确定目标数据的目标分区地址，根据目标分区地址，向存储目标数据的目标数据节点发送数据获取请求，接收目标数据节点发送的目标数据。在实现分布式数据存储功能的同时，还能够以本地数据节点作为数据查询的发起节点，实现对包括本地数据及外部数据节点中所存储数据的共同查询功能，减少对控制节点的查询依赖，降低控制节点的数据查询负载量，提升数据查询响应速度，改善分布式数据库的数据处理性能。

作为一可选的实施方式，所述数据处理方法还包括：

获取控制节点发送的新增节点互联指令；

根据所述新增节点互联指令，建立与新增节点之间的数据传输通道。

该过程发生在通过控制节点建立新的数据节点之后。在当前数据节点接收到控制节点发送的新增节点的互联指令之后，由于各个数据节点之间需要实现数据的访问、传输等操作，因此需要建立新增数据节点与原有数据节点之间的数据传输通道。

具体地，该新增节点为新增节点互联指令中所指示的节点，该新增节点与本地数据节点之间可以是具有数据对应关系的两个节点，该数据对应关系包括：

新增节点互联指令指示的新增节点中存储有第一外部表，该第一外部表为存储于本地数据节点中的本地数据的外部表，该第一外部表中包括本地数据节点的分区地址；或者，新增节点互联指令指示的新增节点中存储有第一本地数据，本地数据节点中存储的外部表对应的外部数据中包括该新增节点中的第一本地数据。

不同地，作为一可选的实施方式，该数据处理方法还包括：

获取控制节点发送的数据同步指令，所述数据同步指令中包括所述外部数据的存储迁移信息；根据所述存储迁移信息，对所述外部表中的分区地址进行更新。

该过程发生在数据节点中发生数据迁移或数据更改的情况下。当在本地数据节点之外的其他数据节点中发生数据变化时，控制节点会获取该数据变化信息，向本地数据节点发送数据同步指令，指示外部数据的存储迁移信息。本地数据节点根据该存储迁移信息，对本地存储的外部表中的分区地址进行更新，以能够正确获取到外部数据所在的数据节点的访问地址。

其中，该对外部表中的分区地址进行更新可以是外部表的部分更新或全部更新。可根据实际情况进行处理，此处不具体限定。

上述不同的实施过程，使得分布式数据存储系统支持动态数据节点添加，数据节点中数据的迁移及数据同步的功能，客户端可连接任意节点，并从该节点访问所有全局数据，支持跨节点分布式事务，增强系统整体的兼容性、通用性和灵活性，实现适用场景更广泛的高可用数据库系统的构建。

本申请实施例中还提供了一种数据处理方法的不同实施方式。

参见图3，图3是本申请实施例提供的一种数据处理方法的流程图二。该数据处理方法应用于数据节点，该数据节点中存储有本地数据及外部数据对应的外部表，所述外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址。

其中，该本地数据中部分或全部与该外部数据为同一待存储数据表中的数据。该分布式系统具体为分布式数据存储系统。在该分布式系统中包括若干个数据节点，实现对待存储数据的分布式存储。该本地数据节点为该方法的执行节点。该本地数据节点及其他数据节点均为分布式数据存储系统中的数据节点。其中，每一数据节点均对应有一个分区地址，用于指示数据节点的访问地址。

如图3所示，一种数据处理方法，该方法包括以下步骤：

步骤301，接收查询指令。

该查询指令用于指示查询目标数据。

步骤302，若在所述本地数据中未查找到所述目标数据，则根据所述外部表，确定所述目标数据的目标分区地址。

在获取到查询指令后，可以对该查询指令进行解析，解析与该查询指令对应的查询字符串，获取该查询字符串中包含的关键词及关键词之间的数据查询关系，根据该关键词及关键词之间的数据查询关系确定与之对应的目标数据。在确定本地数据中未查找到目标数据的情况下，表明该数据为存储于外部数据节点中的外部数据，则根据本地存储的外部表，找到该目标数据所在的数据节点的访问地址，即目标分区地址，以实现对目标数据的获取。

这里，“若在本地数据中未查找到目标数据”包括：在本地数据中未查找到全部目标数据或在本地数据中未查找到部分目标数据。

该过程中，实现数据的跨节点访问。该过程中不需要任何中间件，亦不需要通过控制节点即可实现用户在单个数据节点中的数据访问。

对应地，若在本地数据中查找到所述目标数据，则从该本地数据中提取所述目标数据。

步骤303，根据所述目标分区地址，向存储所述目标数据的目标数据节点发送数据获取请求。

该步骤的实现过程与前述实施例中的步骤102的实现过程相同，此处不再赘述。

步骤304，接收所述目标数据节点发送的所述目标数据。

该步骤的实现过程与前述实施例中的步骤103的实现过程相同，此处不再赘述。

本申请实施例中，在数据节点中存储有本地数据及外部数据对应的外部表，该外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址，通过根据外部表，确定目标数据的目标分区地址，根据目标分区地址，向存储目标数据的目标数据节点发送数据获取请求，接收目标数据节点发送的目标数据。在实现分布式数据存储功能的同时，还能够以本地数据节点作为数据查询的发起节点，实现对包括本地数据及外部数据节点中所存储数据的共同查询功能，减少对控制节点的查询依赖，降低控制节点的数据查询负载量，提升数据查询响应速度，改善分布式数据库的数据处理性能。

参见图4，图4是本申请实施例提供的一种数据处理装置的结构图，为了便于说明，仅示出了与本申请实施例相关的部分。

其中，该数据处理装置中存储有本地数据及外部数据对应的外部表，所述外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址。

该数据处理装置400还包括：

确定模块401，用于根据所述外部表，确定目标数据的目标分区地址；

发送模块402，用于根据所述目标分区地址，向存储所述目标数据的目标数据节点发送数据获取请求；

接收模块403，用于接收所述目标数据节点发送的所述目标数据。

其中，该确定模块401具体用于：接收查询指令，所述查询指令用于指示查询目标数据；若在所述本地数据中未查找到所述目标数据，则根据所述外部表，确定所述目标数据的目标分区地址。

其中，所述数据处理装置400还包括：

第一获取模块，用于获取控制节点发送的数据表及与所述数据表对应的分区信息；其中，所述分区信息用于指示所述数据表的多个数据段，以及每个数据段的分区地址；

存储模块，用于若所述多个数据段中存在分区地址为本地地址的数据段，则存储所述分区地址为本地地址的数据段；

生成模块，用于若所述多个数据段中存在分区地址为非本地地址的数据段，则根据所述分区地址为非本地地址的数据段的分区地址，生成外部表。

其中，该数据处理装置400还包括：

节点确定模块，用于若未成功从所述目标数据节点接收到所述目标数据，则根据预设的备份节点映射关系确定与所述目标数据节点对应的备份数据节点；

所述发送模块402，还用于向所述备份数据节点发送所述数据获取请求；

接收模块403，还用于接收所述备份数据节点发送的所述目标数据。

该数据处理装置400还包括：

第二获取模块，用于获取控制节点发送的新增节点互联指令；

通道建立模块，用于根据所述新增节点互联指令，建立与所述新增节点之间的数据传输通道。

该数据处理装置400还包括：

第三获取模块，用于获取控制节点发送的数据同步指令，所述数据同步指令中包括所述外部数据的存储迁移信息；

更新模块，用于根据所述存储迁移信息，对所述外部表中的分区地址进行更新。

本申请实施例提供的数据处理装置能够实现上述数据处理方法的实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

图5是本申请实施例提供的一种数据节点的结构图。如该图所示，该实施例的数据节点5包括：至少一个处理器50(图5中仅示出一个)、存储器51以及存储在所述存储器51中并可在所述至少一个处理器50上运行的计算机程序52，所述处理器50执行所述计算机程序52时实现上述任意各个方法实施例中的步骤。

所述数据节点5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述数据节点5可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是数据节点5的示例，并不构成对数据节点5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据节点还可以包括输入输出设备、网络接入设备、总线等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述数据节点5的内部存储单元，例如数据节点5的硬盘或内存。所述存储器51也可以是所述数据节点5的外部存储设备，例如所述数据节点5上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述数据节点5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述数据节点所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/数据节点和方法，可以通过其它的方式实现。例如，以上所描述的装置/数据节点实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序产品来实现，当计算机程序产品在数据节点上运行时，使得所述数据节点执行时实现可实现上述各个方法实施例中的步骤。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种数据处理方法，应用于数据节点，其特征在于，所述数据节点中存储有本地数据及外部数据对应的外部表，所述外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址；所述分布式系统中包括若干个所述数据节点，用于实现对待存储数据的分布式存储；所述本地数据节点及所述其他数据节点均为所述分布式系统中的数据节点；所述本地数据为存储于所述本地数据节点中的数据，所述外部数据为存储于所述分布式系统中除所述本地数据节点外的其他数据节点中的数据；

所述数据处理方法包括：

根据所述外部表，确定目标数据的目标分区地址；

根据所述目标分区地址，向存储所述目标数据的目标数据节点发送数据获取请求；

接收所述目标数据节点发送的所述目标数据；所述本地数据节点为执行节点；以所述本地数据节点作为数据查询的发起节点，实现对包括本地数据及外部数据节点中所存储数据的共同查询功能；

所述根据所述外部表，确定目标数据的目标分区地址，包括：

接收查询指令，所述查询指令用于指示查询目标数据；

若在所述本地数据中未查找到所述目标数据，则根据所述外部表，确定所述目标数据的目标分区地址；

所述数据处理方法还包括：

获取控制节点发送的数据表及与所述数据表对应的分区信息；其中，所述分区信息用于指示所述数据表的多个数据段，以及每个数据段的分区地址；

若所述多个数据段中存在分区地址为本地地址的数据段，则存储所述分区地址为本地地址的数据段；

若所述多个数据段中存在分区地址为非本地地址的数据段，则根据所述分区地址为非本地地址的数据段的分区地址，生成外部表。

2.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

若未成功从所述目标数据节点接收到所述目标数据，则根据预设的备份节点映射关系确定与所述目标数据节点对应的备份数据节点；

向所述备份数据节点发送所述数据获取请求；

接收所述备份数据节点发送的所述目标数据。

3.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

获取控制节点发送的新增节点互联指令；

根据所述新增节点互联指令，建立与新增节点之间的数据传输通道。

4.根据权利要求1所述的数据处理方法，其特征在于，所述数据处理方法还包括：

获取控制节点发送的数据同步指令，所述数据同步指令中包括所述外部数据的存储迁移信息；

根据所述存储迁移信息，对所述外部表中的分区地址进行更新。

5.一种数据处理装置，其特征在于，所述数据处理装置中存储有本地数据及外部数据对应的外部表，所述外部表中包括分布式系统中除本地数据节点外存储有所述外部数据的其他数据节点的分区地址；所述分布式系统中包括若干个所述数据节点，用于实现对待存储数据的分布式存储；所述本地数据节点及所述其他数据节点均为所述分布式系统中的数据节点；所述本地数据为存储于所述本地数据节点中的数据，所述外部数据为存储于所述分布式系统中除所述本地数据节点外的其他数据节点中的数据；

所述数据处理装置还包括：

确定模块，用于根据所述外部表，确定目标数据的目标分区地址；所述确定模块具体用于：接收查询指令，所述查询指令用于指示查询目标数据；若在所述本地数据中未查找到所述目标数据，则根据所述外部表，确定所述目标数据的目标分区地址；

发送模块，用于根据所述目标分区地址，向存储所述目标数据的目标数据节点发送数据获取请求；

接收模块，用于接收所述目标数据节点发送的所述目标数据；

第一获取模块，用于获取控制节点发送的数据表及与所述数据表对应的分区信息；其中，所述分区信息用于指示所述数据表的多个数据段，以及每个数据段的分区地址；

存储模块，用于若所述多个数据段中存在分区地址为本地地址的数据段，则存储所述分区地址为本地地址的数据段；

生成模块，用于若所述多个数据段中存在分区地址为非本地地址的数据段，则根据所述分区地址为非本地地址的数据段的分区地址，生成外部表；

其中，所述本地数据节点为执行节点；以本地数据节点作为数据查询的发起节点，实现对包括本地数据及外部数据节点中所存储数据的共同查询功能。

6.一种数据节点，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述方法的步骤。

7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述方法的步骤。