CN103138912B - 数据同步方法及系统 - Google Patents

Abstract

本申请提供了一种数据同步方法及系统，其中，数据同步方法包括：备站获取主站的更新数据信息，使用所述更新数据信息同步所述备站的存储层的数据；根据所述备站的存储层的数据同步信息，同步所述备站的缓存层的数据。通过本申请，保证了备机房的数据可靠性，杜绝了脏数据的产生。

Description

数据同步方法及系统

技术领域

本申请涉及网络技术领域，特别是涉及一种跨机房的数据同步方法及系统。

背景技术

容灾系统是指，在相隔较远的异地建立两套或多套功能相同的IT系统，互相之间可以进行健康状态监视和功能切换。当一处系统因意外(如火灾、地震等)停止工作时，整个应用系统可以切换到另一处，使得该系统功能可以继续正常工作。容灾技术是系统的高可用性技术的一个组成部分，容灾系统更加强调处理外界环境对系统的影响，特别是灾难性事件对整个IT节点的影响，提供节点级别的系统恢复功能。

一种现有的容灾系统如图1所示，包括主机房部分和备机房部分，二者均包括应用服务器、缓存层(缓冲集群)和存储层(存储设备)。作为主机房的备份，当主机房因意外停止工作时，启用备机房继续工作。在当前的跨机房的容灾系统方案中，采用缓存层与存储层隔离同步，即备机房的缓存层与主机房的缓存层进行同步，备机房的存储层与主机房的存储层进行同步，如图1所示。但是，由于缓存系统与存储系统为异构系统，缓存系统存储速度快，数据块小，其同步效率远高于持久化层，并且，缓存层同步与存储层同步均存在失败可能性。因此，缓存层和存储层采用各自私有的同步方式，必然会造成数据无法协调统一，造成缓存层数据同步无法与存储层数据同步保持一致，产生脏数据。

这种情况下，在当前的跨机房的容灾系统方案中，若主机房发生灾难，备机房承载全部服务，当用户访问备机房时，则非常有可能取到脏数据，从而无法保证百分之百的数据可靠性，造成数据展示错误或者计算错误等，极大地降低了用户使用体验与数据可靠性。

发明内容

本申请所要解决的技术问题是提供一种跨机房的数据同步方法及系统，以解决在跨机房的主备容灾系统数据同步时，数据可靠性低和用户使用体验不高的问题。

为了解决上述问题，本申请公开了一种数据同步方法，包括：备站获取主站的更新数据信息，使用所述更新数据信息同步所述备站的存储层的数据；根据所述备站的存储层的数据同步信息，同步所述备站的缓存层的数据。

优选地，所述根据备站的存储层的数据同步信息，同步所述备站的缓存层的数据的步骤包括：所述备站的应用层获取所述备站的存储层的数据同步信息，根据所述数据同步信息同步所述备站的缓存层的数据。

优选地，所述备站获取主站的更新数据信息的步骤包括：所述备站通过获取所述主站的存储层更新数据后生成的第一更新日志，获取所述主站的更新数据信息。

优选地，所述数据同步信息为所述备站的存储层使用所述更新数据信息同步所述备站的存储层的数据后，生成的第二更新日志；所述备站的应用层获取所述备站的存储层的数据同步信息的步骤包括：所述备站的应用层通过获取所述第二更新日志，获取所述备站的存储层的数据同步信息。

优选地，所述数据同步信息为所述备站获取的所述更新数据信息；所述备站的应用层获取所述备站的存储层的数据同步信息的步骤包括：所述备站的应用层获取所述更新数据信息。

优选地，所述备站的应用层根据所述数据同步信息同步所述备站的缓存层的数据的步骤包括：所述备站的应用层根据所述数据同步信息，更新所述备站的缓存层中存储的，所述数据同步信息指示的数据；或者，所述备站的应用层根据所述数据同步信息，删除所述备站的缓存层中存储的所述数据同步信息指示的数据。

优选地，在所述备站的应用层获取所述备站的存储层的数据同步信息之后，根据所述数据同步信息同步所述备站的缓存层的数据之前，还包括：所述备站的应用层根据所述数据同步信息，对当前的应用进行处理。

优选地，在所述备站获取主站的更新数据信息的步骤之前，还包括：在所述主站的存储层更新数据生成第一更新日志作为所述更新数据信息，触发所述备站的数据同步的同时，所述主站的缓存层获取所述第一更新日志，更新或删除所述主站的缓存层中的相应数据。

为了解决上述问题，本申请还公开了一种数据同步系统，包括主站和备站，所述备站包括：第一同步模块，用于获取所述主站的更新数据信息，使用所述更新数据信息同步所述备站的存储层的数据；第二同步模块，用于根据所述备站的存储层的数据同步信息，同步所述备站的缓存层的数据。

优选地，所述第二同步模块，用于使所述备站的应用层获取所述备站的存储层的数据同步信息，根据所述数据同步信息同步所述备站的缓存层的数据。

与现有技术相比，本申请具有以下优点：

在备站获取到主站的更新数据后，首先使用该更新数据同步备站存储层的数据，之后，再同步备站缓存层的数据。通过这种存储层反向更新缓存层原理，进行缓存同步。而主、备站之间的缓存层间不做同步，从而实现了主备站存储系统(存储层)间的数据一致，以及存储系统和缓存系统的数据一致，解决了现有技术中，在跨机房的主备容灾系统数据同步时，数据可靠性低和用户使用体验不高的问题，保证了备机房的数据可靠性，杜绝了脏数据的产生。

附图说明

图1是根据现有技术的一种容灾系统的数据同步示意图；

图2是根据本申请实施例一的一种数据同步方法的步骤流程图；

图3是根据本申请实施例二的一种数据同步方法的步骤流程图；

图4是根据本申请实施例三的一种数据同步示意图；

图5是根据本申请实施例四的一种数据同步系统的结构框图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

实施例一

参照图2，其示出了根据本申请实施例一的一种数据同步方法的步骤流程图。

本实施例的数据同步方法包括以下步骤：

步骤S102：备站获取主站的更新数据，使用所述更新数据同步备站的存储层的数据。

本实施例中，可在主站更新完数据后，触发主备站之间的同步任务，以进行主备站之间的数据同步。备站在获取了主站的更新数据后，使用该更新数据更新备站的存储层中的相应数据，以实现与主站之间的同步。

步骤S104：备站根据备站的存储层的数据同步信息，同步备站的缓存层的数据。

本步骤中，在备站的存储层与主站进行了数据同步之后，备站获取与本次同步相关的数据同步信息，并使用该数据同步信息同步备站的缓存层中相应的数据。

其中，数据同步信息可以为备站存储层的更新日志update_log，也可以是更新数据本身。当然，也可以为任意能够表示备站存储层数据更新的信息。

优选地，在进行上述数据同步时，保证同步数据顺序。同步数据顺序的保证可以由本领域技术人员根据实际需要灵活设置，如可以通过队列系统，该方式实现简单，节约实现成本。

通过本实施例，在备站获取到主站的更新数据后，首先，使用该更新数据同步备站存储层的数据，之后，再同步备站缓存层的数据。通过这种存储层反向更新缓存层原理，进行缓存同步。而主、备站之间的缓存层间不做同步，从而实现了主备站存储系统(存储层)间的数据一致，以及存储系统和缓存系统的数据一致，解决了现有技术中，在跨机房的主备容灾系统数据同步时，数据可靠性低和用户使用体验不高的问题，保证了备机房的数据可靠性，杜绝了脏数据的产生。

实施例二

参照图3，其示出了根据本申请实施例二的一种数据同步方法的步骤流程图。

本实施例的数据同步方法包括以下步骤：

步骤S202：主站的存储层更新数据，生成第一更新日志(主站存储层的数据更新记录)。

其中，第一更新日志中记录了主站存储层更新数据的信息。

步骤S204：主站触发备站进行数据同步，向备站发送第一更新日志。

优选地，在主站触发备站进行数据同步的同时，主站的缓存层可以获取第一更新日志，更新或删除主站的缓存层中的相应数据。

主站的缓存层(或缓冲集群，或缓冲区)中可能缓存有主站的存储层更新的数据，在这种情况下，主站的缓存层获取到第一更新日志后，可以同步更新缓存的这部分数据，或者，直接将这部分数据删除。

主站向备站发送第一更新日志，触发主备站数据同步。当然，主站也可以直接将更新数据发送给备站，进行数据同步。使用第一更新日志携带主站的数据更新信息，可以使备站方便快速地确定主站的数据更新情况，以便准确地对备站的数据进行同步，且信息量小、传输方便快捷。

步骤S206：备站获取第一更新日志，使用第一更新日志同步备站的存储层的数据。

本步骤中，备站获取主站发送的第一更新日志，根据第一更新日志对备站的存储层的相应数据进行更新。

如果主站发送的是更新数据，则备站直接使用这些数据对备站存储层相应数据进行更新。

步骤S208：备站存储层进行数据同步后，生成第二更新日志(备站存储层的数据更新记录)。

其中，第二更新日志中记录了备站的存储层更新数据的信息。使用第二更新日志携带备站存储层的数据更新信息，可以使备站应用层方便快速地确定存储层的数据更新情况，以便准确地对缓存层的数据进行同步。

步骤S210：备站应用层获取第二更新日志，根据第二更新日志同步备站缓存层数据。

本步骤中，备站应用层根据第二更新日志中记录的备站存储层更新数据的信息，对备站缓存层中相应的数据进行同步，如根据第二更新日志，更新或删除备站缓存层中的相应数据。当然，备站应用层获取第二更新日志并对缓存层进行同步仅为优选方案，本领域技术人员应当明了，任意能够获取第二更新日志并对缓存层进行同步的功能模块或实体均可实现本步骤。由备站应用层进行该操作，提高了系统的数据处理能力和效率。这里，采用应用层来操作，主要考虑到某些缓存数据是由存储层数据转换而来。比如数据库中，有这样的数据a＝2，b＝3，应用需要知道a×b的值即可，那缓存层即仅需要存储6，即a×b结果，使用本实施例的应用层同步数据，则不必重复实现该业务逻辑。而采用其他方式，则需要重复实现此业务逻辑。

优选地，备站应用层也可以直接根据备站获取的更新数据信息，直接对备站缓存层进行数据同步。直接使用更新数据信息，节约了信息生成成本，提高了数据同步效率。

优选地，备站应用层在获取到第二更新日志或更新数据信息后，可以先对当前的应用进行处理，如更新当前应用中存在的需要更新的数据等。然后，再根据第二更新日志或更新数据信息，同步备站缓存层的数据。备站应用层先对当前的应用进行处理，无须后续再向缓存层或存储层要求数据，节省了信息交互过程，提高了系统数据处理效率。

通过本实施例，缓存数据的同步通过存储层反向更新实现，由此进一步实现了主备站存储层间的数据一致，以及存储层和缓存层的数据一致，达到了杜绝脏数据，保证数据可靠性，提升用户体验的目的。

实施例三

参照图4，其示出了根据本申请实施例三的一种数据同步示意图。本实施例中，主站机房提供数据更新和读取服务，备站机房只提供读取服务。用户优先访问最近站点读取数据。

本实施例的数据同步方法主要包括以下步骤：

步骤S302：备站通过对主站存储层的update_log(第一更新日志)监听，获取更新数据，并将更新数据写入至备站的存储层(存储系统)。

步骤S304：备站存储层更新数据的同时，产生备站的update_log(第二更新日志)，通过备站的update_log获取到更新条目，发送至备站的应用(应用层)。

步骤S306：备站的应用获取到更新通知，处理数据(可选，根据具体业务需求而定)，更新缓存层(缓存系统)。

以下分别从读取和更新两个方面具体说明用户访问应用的过程中，应用本实施例的数据同步方法进行数据同步的过程。

(一)用户访问应用，读取主站或备站数据。

具体地，包括：

步骤A：用户访问应用，触发读取事件。

步骤B：应用首先查看缓冲集群，如果在缓存命中(即在缓冲集群中查找到)，则直接返回结果并处理数据返回用户；若在缓冲集群中没有命中，则应用读取存储层，查询结果，处理数据(可选，根据具体业务处理而定)，同时将查找到的数据写入缓冲集群中，最后将数据结果返回用户。

(二)用户访问应用，更新主站数据，触发主备站数据同步。

其中，更新包括修改，写入、删除等操作。

具体地，包括：

步骤C：用户访问主站应用，触发更新事件。

步骤D：主站将数据更新至主站存储层，主站存储层更新数据后产生主站update_log日志，触发主站同步器执行同步任务；同时，应用删除主站缓存中对应条目，并将结果返回。

步骤E：备站存储层同步器(replicate)通过主站update_log获取变更数据，并将变更写入备站存储层。

步骤F：备站存储层收到更新消息，更新数据，同时也产生备站update_log，触发备站同步器。

步骤G：备站同步器将更新数据通知至备站应用，备站应用获取到数据更新条目，处理数据(可选)，更新缓存中的数据。

将处理数据作为可选步骤，主要原因是在实际操作中，需要根据具体业务需要，再决定是否需要对数据加工处理后再放入缓存。

通过本实施例，缓存数据的同步通过存储层反向更新实现，达到了缓存数据与存储层数据保持一致，杜绝脏数据的目的。

实施例四

参照图5，其示出了根据本申请实施例四的一种数据同步系统的结构框图。

本实施例的数据同步系统包括主站402和备站404。其中，备站404包括：第一同步模块4042，用于获取主站402的更新数据信息，使用所述更新数据信息同步备站404的存储层的数据；第二同步模块4044，用于根据备站404的存储层的数据同步信息，同步备站404的缓存层的数据。

优选地，第二同步模块4044，用于使备站404的应用层获取备站404的存储层的数据同步信息，根据数据同步信息同步备站404的缓存层的数据。

优选地，第一同步模块4042通过获取主站402的存储层更新数据后生成的第一更新日志，获取主站402的更新数据信息，使用所述更新数据信息同步备站404的存储层的数据。

优选地，数据同步信息为备站404的存储层使用更新数据信息同步备站404的存储层的数据后，生成的第二更新日志；第二同步模块4044通过获取第二更新日志，获取备站404的存储层的数据同步信息，根据该数据同步信息，同步备站404的缓存层的数据。

优选地，数据同步信息为备站404获取的，主站发送的更新数据信息；第二同步模块4044获取该更新数据信息，根据该更新数据信息，同步备站404的缓存层的数据。

优选地，第二同步模块4044根据数据同步信息，更新备站404的缓存层中存储的，数据同步信息指示的数据；或者，根据数据同步信息，删除备站404的缓存层中存储的，数据同步信息指示的数据。

优选地，本实施例的备站404还包括：应用处理模块4046，用于在第二同步模块4044获取备站404的存储层的数据同步信息之后，根据所述数据同步信息同步备站404的缓存层的数据之前，根据所述数据同步信息，对当前的应用进行处理。

优选地，主站402在主站402的存储层更新数据生成第一更新日志作为更新数据信息，触发备站404的数据同步的同时，主站402的缓存层获取第一更新日志，更新或删除主站402的缓存层中的相应数据。

本实施例的数据同步系统通过对主站存储层的update_log监听，获取更新数据，并将更新写入至备站存储系统；备站存储系统在更新数据的同时，产生update_log，备站update_log获取到更新条目，发送至应用；应用获取到更新通知，处理数据，更新缓存系统。

本实施例的数据同步系统实现前述多个方法实施例中的数据同步方法，并具有前述方法实施例的有益效果，在此不再赘述。

本申请提供的数据同步技术方案，通过存储层反向更新缓存原理，进行缓存同步，而主备站缓存系统间不做同步，不仅解决了主备站存储系统间的数据一致问题，还解决了缓存系统与存储系统间数据一致的问题，保证了备站机房的数据可靠性，杜绝了脏数据的产生。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请所提供的一种数据同步方法及装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (7)

1.一种数据同步方法，其特征在于，包括：

备站获取主站的更新数据信息，使用所述更新数据信息同步所述备站的存储层的数据；

根据所述备站的存储层的数据同步信息，同步所述备站的缓存层的数据；进一步包括：所述备站的应用层获取所述备站的存储层的数据同步信息，所述备站的应用层根据所述数据同步信息，对当前的应用进行处理，并根据所述数据同步信息同步所述备站的缓存层的数据。

2.根据权利要求1所述的方法，其特征在于，所述备站获取主站的更新数据信息的步骤包括：

所述备站通过获取所述主站的存储层更新数据后生成的第一更新日志，获取所述主站的更新数据信息。

3.根据权利要求1所述的方法，其特征在于，所述数据同步信息为所述备站的存储层使用所述更新数据信息同步所述备站的存储层的数据后，生成的第二更新日志；

所述备站的应用层获取所述备站的存储层的数据同步信息的步骤包括：所述备站的应用层通过获取所述第二更新日志，获取所述备站的存储层的数据同步信息。

4.根据权利要求1所述的方法，其特征在于，所述数据同步信息为所述备站获取的所述更新数据信息；

所述备站的应用层获取所述备站的存储层的数据同步信息的步骤包括：所述备站的应用层获取所述更新数据信息。

5.根据权利要求1所述的方法，其特征在于，所述备站的应用层根据所述数据同步信息同步所述备站的缓存层的数据的步骤包括：

所述备站的应用层根据所述数据同步信息，更新所述备站的缓存层中存储的，所述数据同步信息指示的数据；或者，所述备站的应用层根据所述数据同步信息，删除所述备站的缓存层中存储的所述数据同步信息指示的数据。

6.根据权利要求1所述的方法，其特征在于，在所述备站获取主站的更新数据信息的步骤之前，还包括：

在所述主站的存储层更新数据生成第一更新日志作为所述更新数据信息，触发所述备站的数据同步的同时，所述主站的缓存层获取所述第一更新日志，更新或删除所述主站的缓存层中的相应数据。

7.一种数据同步系统，包括主站和备站，其特征在于，所述备站包括：

第一同步模块，用于获取所述主站的更新数据信息，使用所述更新数据信息同步所述备站的存储层的数据；

第二同步模块，用于使所述备站的应用层获取所述备站的存储层的数据同步信息，所述备站的应用层根据所述数据同步信息，对当前的应用进行处理，并根据所述数据同步信息同步所述备站的缓存层的数据。