CN112818183B - 一种数据合成方法、装置、计算机设备和存储介质 - Google Patents

一种数据合成方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112818183B
CN112818183B CN202110152682.8A CN202110152682A CN112818183B CN 112818183 B CN112818183 B CN 112818183B CN 202110152682 A CN202110152682 A CN 202110152682A CN 112818183 B CN112818183 B CN 112818183B
Authority
CN
China
Prior art keywords
data
synthesized
target
time
synthesis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110152682.8A
Other languages
English (en)
Other versions
CN112818183A (zh
Inventor
张建浩
盛磊
武林红
陈浩
侯立冬
孟宝权
傅强
蔡琳
梁彧
田野
王杰
杨满智
金红
陈晓光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eversec Beijing Technology Co Ltd
Original Assignee
Eversec Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eversec Beijing Technology Co Ltd filed Critical Eversec Beijing Technology Co Ltd
Priority to CN202110152682.8A priority Critical patent/CN112818183B/zh
Publication of CN112818183A publication Critical patent/CN112818183A/zh
Application granted granted Critical
Publication of CN112818183B publication Critical patent/CN112818183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据合成方法、装置、计算机设备和存储介质。该方法包括：实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。使用本发明的技术方案，可以实现对不同数据源和不同到达时间的数据进行实时合成处理。

Description

一种数据合成方法、装置、计算机设备和存储介质
技术领域
本发明实施例涉及数据处理技术，尤其涉及一种数据合成方法、装置、计算机设备和存储介质。
背景技术
数据合成也即数据的关联合并，是指从大规模数据中发现数据之间隐含的关系与规律，将多种数据信息进行提取计算，合并生成一类数据的过程。
传统的数据关联分析为离线分析，将多种数据存储到数据库中进行关联分析，在海量数据的关联分析场景下，传统的离线关联分析无法满足数据的实时计算需求，并且离线分析需要耗费的计算成本较高，效率较低。而在大数据领域，如果要对数据进行实时合成，在多个数据源接入的数据到达时间不同的情况下，可能会存在部分数据无法被合成的情况。
发明内容
本发明实施例提供了一种数据合成方法、装置、计算机设备和存储介质，以实现对不同数据源和不同到达时间的数据进行实时合成处理。
第一方面，本发明实施例提供了一种数据合成方法，该方法包括：
实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；
根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；
对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。
第二方面，本发明实施例还提供了一种数据合成装置，该装置包括：
数据生成时间获取模块，用于实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；
数据确定模块，用于根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；
数据合成模块，用于对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。
第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的数据合成方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的数据合成方法。
本发明实施例通过接入多个数据源，实时获取待合成数据，根据各待合成数据的数据生成时间，确定目标时间窗口对应的目标待合成数据和缓存时间区间对应的缓存数据，对目标待合成数据和/或缓存数据进行数据合成，得到合成数据。解决了现有技术中传统的离线关联分析无法满足数据的实时计算需求，并且需要耗费的计算成本较高，效率较低的问题，以及实时合成时数据到达时间不一导致部分数据无法被合成的问题，实现了对不同数据源和不同到达时间的数据的实时合成处理。
附图说明
图1是本发明实施例一中的一种数据合成方法的流程图；
图2a是本发明实施例二中的一种数据合成方法的流程图；
图2b是适用于本发明实施例中的一种数据合成原理的示意图；
图3是本发明实施例三中的一种数据合成装置的结构示意图；
图4是本发明实施例四中的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种数据合成方法的流程图，本实施例可适用于对流式数据进行实时的数据合成的情况，该方法可以由数据合成装置来执行，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备中。
如图1所示，本发明实施例的技术方案，具体包括如下步骤：
S110、实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间。
其中，数据源也即数据的来源，是提供某种所需要数据的器件或原始媒体。示例性的，本实施例中可以基于Flink框架进行数据源的接入和待合成数据的合成，在Flink框架下，数据源可以包括内置数据源和外部数据源，内置数据源包括文件数据源或者集合数据源等，外部数据源包括Kafka、RabbitMQ等，采用基于Flink的流式数据框架，可以实现大规模分布式的数据合成，提高数据实时合成的效率。但本实施例对采用的框架类型不进行限制。
待合成数据是根据接入的多个数据源获取的数据。可选的，所述待合成数据可以为流式数据。也即，数据源接入的待合成数据以DataStream数据流的形式存在。对不同的数据源，将其数据均转化为统一的流式数据，对于批处理的数据，也将其转换为流式数据进行后续处理。
可选的，所述待合成数据可以包括主数据源对应的待合成数据，以及至少一个从数据源对应的待合成数据。
在本发明实施例中，对来自多个数据源的待合成数据进行数据合成时，需要将不同的数据源分为主数据源和从数据源。具体的，可以将接入的流式数据较为连续、无延时的数据源作为主数据源，其他数据源作为从数据源，但本实施例对主数据源的选择依据不进行限制。将数据源划分为主数据源和从数据源之后，就可以以主数据源接入的数据和时间窗口为依据，确定是否要对从数据源接入的数据进行缓存。
数据生成时间可以根据待合成数据的时间戳确定，时间戳表示在特定时间点已经存在完整的可验证的数据，可以用来表示数据的产生时间。可选的，可以解析各待合成数据中的时间字段，从而获取各待合成数据的数据生成时间。
S120、根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据。
时间窗口用于将待合成数据按照时间进行分组，从而将每一组作为一个整体进行数据合成。在本发明实施例中，各时间窗口之间是不重叠的，示例性的，可以设置时间窗口长度为2h，则每隔2h进行一次数据合成。确定待合成数据的数据生成时间之后，即可确定待合成数据对应的时间窗口，例如，当待合成数据的数据生成时间为12:00时，该待合成数据对应12:00-14:00这一时间窗口。
缓存时间区间是与时间窗口对应的一个时间区间。不同数据源的待合成数据通过键名进行关联，但不同数据源对应的接口不同，不同数据源的待合成数据通过接口接入的时间也不同，则对应相同键名的、来自不同数据源的待合成数据可能存在对应不同的时间窗口的情况，这种情况下这些待合成数据将无法被合成。因此，本发明实施例在时间窗口之前设置缓存时间区间，对于缓存时间区间内接入的待合成数据进行缓存，与时间窗口内接入的待合成数据一起进行数据合成。
具体的，可以通过MapState方法，将缓存时间区间内接入的待合成数据存储到HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)中。这样设置的好处在于，HDFS可以实现大规模的状态存储，可以避免数据合成的过程中，程序内存溢出。但本实施例对缓存时间区间内接入的待合成数据存储的位置，以及具体存储方式不进行限制。
S130、对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。
在本发明实施例中，对目标待合成数据和/或缓存数据，如果存在对应同一键名的数据，则对其进行数据合成生成至少一个合成数据，将各合成数据保存到数据库中。
本实施例的技术方案，通过接入多个数据源，实时获取待合成数据，根据各待合成数据的数据生成时间，确定目标时间窗口对应的目标待合成数据和缓存时间区间对应的缓存数据，对目标待合成数据和/或缓存数据进行数据合成，得到合成数据。解决了现有技术中传统的离线关联分析无法满足数据的实时计算需求，并且需要耗费的计算成本较高，效率较低的问题，以及实时合成时数据到达时间不一导致部分数据无法被合成的问题，实现了对不同数据源和不同到达时间的数据的实时合成处理。
实施例二
图2a是本发明实施例二提供的一种数据合成方法的流程图，本发明实施例在上述实施例的基础上，对确定目标待合成数据的过程、确定缓存数据的过程以及进行数据合成的过程进行了进一步的具体化，并加入了接入数据源的步骤。
相应的，如图2a所示，本发明实施例的技术方案，具体包括如下步骤：
S210、响应于用户的目标数据源接入指令，通过与所述目标数据源接入指令匹配的目标数据源接入组件，接入目标数据源的待合成数据。
在本发明实施例中，用户可以通过可视化操作界面，设置数据源信息、待合成数据对应的键名信息以及进行数据合成时的延迟等待时间等。
当接收到用户的目标数据源接入指令时，通过目标数据源接入组件，即可对目标数据源的数据进行抽取，获得待合成数据。
S220、实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间。
接入多路数据源之后，实时获取各数据源接入的各待合成数据，通过提取各带合成数据的时间字段，获取各待合成数据对应的数据生成时间。
S230、在主数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内的待合成数据作为目标待合成数据。
主数据源的数据接入较为连续，延迟较小，对主数据源接入的各待合成数据，根据数据生成时间确定其对应的时间窗口，当数据生成时间位于目标时间窗口时，待合成数据为目标待合成数据。
图2b提供了一种数据合成原理的示意图，如图2b所示，数据源A为主数据源，数据源B为从数据源，时间窗口为12:00-14:00，数据源A对应的待合成数据为a1、a2、a3和a4，a1、a2、a3和a4的数据生成时间都在时间窗口内，则a1、a2、a3和a4都是目标待合成数据。
S240、在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内以及延迟等待时间之前的待合成数据作为目标待合成数据。
延迟等待时间可以由用户在可视化操作界面进行自定义设置，对应同一时间窗口的待合成数据需要等待到延迟等待时间时，再触发进行数据合成。设置延迟等待时间的原因在于，对于各从数据源，如果待合成数据在时间窗口之后但延迟等待时间之前到达，仍能参与本轮时间窗口的数据合成，可以提高数据合成的效率。
如图2b所示，延迟等待时间为10min，时间窗口为12:00-14:00时，14:10进行数据合成，对于从数据源来说，数据生成时间位于12:00-14:10的都作为目标待合成数据。数据源B对应的b2和b3都是目标待合成数据。
S250、在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于与目标时间窗口匹配的缓存时间区间内的待合成数据作为缓存数据。
对于从数据源，数据生成时间位于缓存时间区间内的待合成数据将被保存至缓冲区，等待与目标时间窗口匹配的目标待合成数据共同进行数据合成。
示例性的，图2b中时间窗口为12:00-14:00，缓存时间区间为11:00-12:00，在此期间内的从数据源的待合成数据进行缓存，等待在14:10时进行数据合成。数据源B对应的b1数据生成时间是在11:00-12:00之间，则对b1进行缓存，在14:10时，b1即可与a1进行合成。数据源B对应的b4数据生成时间是在14:10之后，无法在本轮目标时间窗口对应的延迟等待时间进行合成，则将b4进行缓存，在下一个时间窗口对应的延迟等待时间等待进行合成。
S260、判断当前时间是否为与目标时间窗口匹配的延迟等待时间，如果是，则执行S270，否则返回执行S260。
在本发明实施例中，在延迟等待时间对目标时间窗口匹配的数据进行数据合成。
S270、通过Join连接方法，对目标待合成数据和/或缓存数据进行数据合成。
Join连接方法用于基于表之间的共同字段，将两个或多个表的行结合起来，在本发明实施例中，Join连接方法基于相同的键名，将来自不同数据源的数据进行结合。
示例性的，如图2b所示，目标待合成数据包括：a1、a2、a3、a4、b2和b3，缓存数据包括b1，在14:10时，a1和b1、a2和b2、a3和b3将进行数据合成。
S280、获得至少一个合成数据存储到数据库中。
数据合成之后生成新的合成数据，将合成数据存储到数据库中。在本轮目标时间窗口的数据合成之后，未进行合成的数据将被丢弃，不再参与下一轮时间窗口的数据合成。
示例性的，在图2b中，由于b4的数据生成时间是在本轮延迟等待时间之后，则本轮a4在延迟等待时间时不存在对应的数据，a4将被丢弃。
本实施例的技术方案，通过响应于用户的数据源接入指令，接入多个数据源，实时获取待合成数据，根据各待合成数据的数据生成时间，将数据生成时间位于目标时间窗口内的主数据源的待合成数据作为目标待合成数据，将数据生成时间位于目标时间窗口内和延迟等待时间之前的从数据源的待合成数据作为目标待合成数据，将数据生成时间位于缓存时间区间内的从数据源的待合成数据作为缓存数据，在当前时间为延迟等待时间时，通过Join连接方法，对目标待合成数据和/或缓存数据进行数据合成。解决了现有技术中传统的离线关联分析无法满足数据的实时计算需求，并且需要耗费的计算成本较高，效率较低的问题，以及实时合成时数据到达时间不一导致部分数据无法被合成的问题，实现了对不同数据源和不同到达时间的数据的实时合成处理。
实施例三
图3是本发明实施例三中的一种数据合成装置的结构示意图，该装置可以由软件和/或硬件来实现，并一般集成在计算机设备中。该装置包括：数据生成时间获取模块310、数据确定模块320以及数据合成模块330。其中：
数据生成时间获取模块310，用于实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；
数据确定模块320，用于根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；
数据合成模块330，用于对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。
本实施例的技术方案，通过接入多个数据源，实时获取待合成数据，根据各待合成数据的数据生成时间，确定目标时间窗口对应的目标待合成数据和缓存时间区间对应的缓存数据，对目标待合成数据和/或缓存数据进行数据合成，得到合成数据。解决了现有技术中传统的离线关联分析无法满足数据的实时计算需求，并且需要耗费的计算成本较高，效率较低的问题，以及实时合成时数据到达时间不一导致部分数据无法被合成的问题，实现了对不同数据源和不同到达时间的数据的实时合成处理。
在上述实施例的基础上，所述装置，还包括：
数据源接入模块，用于响应于用户的目标数据源接入指令，通过与所述目标数据源接入指令匹配的目标数据源接入组件，接入目标数据源的待合成数据。
在上述实施例的基础上，所述数据合成模块330，包括：
延迟等待时间判断单元，用于如果确定当前时间为与目标时间窗口匹配的延迟等待时间，则对目标待合成数据和/或缓存数据进行数据合成。
在上述实施例的基础上，所述待合成数据包括主数据源对应的待合成数据，以及至少一个从数据源对应的待合成数据；
所述数据确定模块320，包括：
第一目标待合成数据获取单元，用于在主数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内的待合成数据作为目标待合成数据；
第二目标待合成数据获取单元，用于在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内以及延迟等待时间之前的待合成数据作为目标待合成数据。
在上述实施例的基础上，所述数据确定模块320，包括：
缓存数据获取单元，用于在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于与目标时间窗口匹配的缓存时间区间内的待合成数据作为缓存数据。
在上述实施例的基础上，所述数据合成模块330，包括：
数据合成单元，用于通过Join连接方法，对目标待合成数据和/或缓存数据进行数据合成。
在上述实施例的基础上，所述待合成数据为流式数据。
本发明实施例所提供的数据合成装置可执行本发明任意实施例所提供的数据合成方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种计算机设备的结构示意图，如图4所示，该计算机设备包括处理器70、存储器71、输入装置72和输出装置73；计算机设备中处理器70的数量可以是一个或多个，图4中以一个处理器70为例；计算机设备中的处理器70、存储器71、输入装置72和输出装置73可以通过总线或其他方式连接，图4中以通过总线连接为例。
存储器71作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的数据合成方法对应的模块(例如，数据合成装置中的数据生成时间获取模块310、数据确定模块320以及数据合成模块330)。处理器70通过运行存储在存储器71中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的数据合成方法。该方法包括：
实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；
根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；
对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。
存储器71可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器71可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器71可进一步包括相对于处理器70远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置72可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置73可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种数据合成方法，该方法包括：
实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；
根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；
对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的数据合成方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是，上述数据合成装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (8)

1.一种数据合成方法，其特征在于，包括：
实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；
所述待合成数据包括主数据源对应的待合成数据，以及至少一个从数据源对应的待合成数据；
根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；
其中，根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，包括：
在主数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内的待合成数据作为目标待合成数据；
在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内以及延迟等待时间之前的待合成数据作为目标待合成数据；
对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中；
其中，对目标待合成数据和/或缓存数据进行数据合成，包括：
如果确定当前时间为与目标时间窗口匹配的延迟等待时间，则对目标待合成数据和/或缓存数据进行数据合成。
2.根据权利要求1所述的方法，其特征在于，在实时获取多个数据源接入的待合成数据之前，还包括：
响应于用户的目标数据源接入指令，通过与所述目标数据源接入指令匹配的目标数据源接入组件，接入目标数据源的待合成数据。
3.根据权利要求1所述的方法，其特征在于，确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据，包括：
在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于与目标时间窗口匹配的缓存时间区间内的待合成数据作为缓存数据。
4.根据权利要求3所述的方法，其特征在于，对目标待合成数据和/或缓存数据进行数据合成，包括：
通过Join连接方法，对目标待合成数据和/或缓存数据进行数据合成。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述待合成数据为流式数据。
6.一种数据合成装置，其特征在于，包括：
数据生成时间获取模块，用于实时获取多个数据源接入的待合成数据，并获取各待合成数据对应的数据生成时间；
所述待合成数据包括主数据源对应的待合成数据，以及至少一个从数据源对应的待合成数据；
数据确定模块，用于根据各待合成数据对应的数据生成时间，确定目标时间窗口对应的目标待合成数据，并确定与所述目标时间窗口匹配的缓存时间区间对应的缓存数据；
所述数据确定模块，包括：
第一目标待合成数据获取单元，用于在主数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内的待合成数据作为目标待合成数据；
第二目标待合成数据获取单元，用于在至少一个从数据源对应的各待合成数据中，获取数据生成时间位于目标时间窗口内以及延迟等待时间之前的待合成数据作为目标待合成数据；
数据合成模块，用于对目标待合成数据和/或缓存数据进行数据合成，获得至少一个合成数据存储到数据库中；
所述数据合成模块，包括：
延迟等待时间判断单元，用于如果确定当前时间为与目标时间窗口匹配的延迟等待时间，则对目标待合成数据和/或缓存数据进行数据合成。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一所述的数据合成方法。
8.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-5中任一所述的数据合成方法。
CN202110152682.8A 2021-02-03 2021-02-03 一种数据合成方法、装置、计算机设备和存储介质 Active CN112818183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110152682.8A CN112818183B (zh) 2021-02-03 2021-02-03 一种数据合成方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110152682.8A CN112818183B (zh) 2021-02-03 2021-02-03 一种数据合成方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112818183A CN112818183A (zh) 2021-05-18
CN112818183B true CN112818183B (zh) 2024-05-17

Family

ID=75861278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110152682.8A Active CN112818183B (zh) 2021-02-03 2021-02-03 一种数据合成方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112818183B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114860846A (zh) * 2022-05-30 2022-08-05 深圳前海微众银行股份有限公司 数据处理方法、装置及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999968B1 (en) * 2002-11-27 2006-02-14 Microsoft Corporation Fast merge into large ordered sets
CN105264535A (zh) * 2013-03-15 2016-01-20 高爽工业公司 用于监测和记录手卫生执行的系统
CN106933204A (zh) * 2015-10-09 2017-07-07 费希尔-罗斯蒙特系统公司 分布式工业性能监控和分析
CN107181776A (zh) * 2016-03-10 2017-09-19 华为技术有限公司 一种数据处理方法及相关设备、系统
CN107704590A (zh) * 2017-09-30 2018-02-16 深圳市华傲数据技术有限公司 一种基于数据仓库的数据处理方法及系统
CN107748797A (zh) * 2017-11-07 2018-03-02 众安信息技术服务有限公司 金融行情数据的处理方法
CN108833346A (zh) * 2018-05-04 2018-11-16 北京天元创新科技有限公司 一种工业控制系统安全通信方法和装置
CN109299121A (zh) * 2018-09-13 2019-02-01 南京国电南自轨道交通工程有限公司 一种scada系统历史报警高效查询方法
CN109412867A (zh) * 2018-12-06 2019-03-01 国家电网有限公司信息通信分公司 一种告警关联合并方法、装置、系统、设备和存储介质
CN109491928A (zh) * 2018-11-05 2019-03-19 深圳乐信软件技术有限公司 缓存控制方法、装置、终端及存储介质
CN111078147A (zh) * 2019-12-16 2020-04-28 南京领行科技股份有限公司 一种缓存数据的处理方法、装置、设备及存储介质
CN111737271A (zh) * 2020-05-13 2020-10-02 平安国际智慧城市科技股份有限公司 数据同步更新方法、装置、设备及存储介质
CN112000703A (zh) * 2020-10-27 2020-11-27 港胜技术服务(深圳)有限公司 数据入库处理方法、装置、计算机设备和存储介质
CN112231405A (zh) * 2020-10-19 2021-01-15 浙江大华技术股份有限公司 数据存储装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4962335B2 (ja) * 2008-02-04 2012-06-27 富士通株式会社 埋込みデータを復元するための方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999968B1 (en) * 2002-11-27 2006-02-14 Microsoft Corporation Fast merge into large ordered sets
CN105264535A (zh) * 2013-03-15 2016-01-20 高爽工业公司 用于监测和记录手卫生执行的系统
CN106933204A (zh) * 2015-10-09 2017-07-07 费希尔-罗斯蒙特系统公司 分布式工业性能监控和分析
CN107181776A (zh) * 2016-03-10 2017-09-19 华为技术有限公司 一种数据处理方法及相关设备、系统
CN107704590A (zh) * 2017-09-30 2018-02-16 深圳市华傲数据技术有限公司 一种基于数据仓库的数据处理方法及系统
CN107748797A (zh) * 2017-11-07 2018-03-02 众安信息技术服务有限公司 金融行情数据的处理方法
CN108833346A (zh) * 2018-05-04 2018-11-16 北京天元创新科技有限公司 一种工业控制系统安全通信方法和装置
CN109299121A (zh) * 2018-09-13 2019-02-01 南京国电南自轨道交通工程有限公司 一种scada系统历史报警高效查询方法
CN109491928A (zh) * 2018-11-05 2019-03-19 深圳乐信软件技术有限公司 缓存控制方法、装置、终端及存储介质
CN109412867A (zh) * 2018-12-06 2019-03-01 国家电网有限公司信息通信分公司 一种告警关联合并方法、装置、系统、设备和存储介质
CN111078147A (zh) * 2019-12-16 2020-04-28 南京领行科技股份有限公司 一种缓存数据的处理方法、装置、设备及存储介质
CN111737271A (zh) * 2020-05-13 2020-10-02 平安国际智慧城市科技股份有限公司 数据同步更新方法、装置、设备及存储介质
CN112231405A (zh) * 2020-10-19 2021-01-15 浙江大华技术股份有限公司 数据存储装置
CN112000703A (zh) * 2020-10-27 2020-11-27 港胜技术服务(深圳)有限公司 数据入库处理方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向综合智能交通系统的多源异构数据集成框架研究;姚庆华等;《 云南大学学报(自然科学版)》;第41-45页 *

Also Published As

Publication number Publication date
CN112818183A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
US10831562B2 (en) Method and system for operating a data center by reducing an amount of data to be processed
JP7194162B2 (ja) データ処理方法、装置、電子機器及び記憶媒体
CN106649630A (zh) 数据查询方法及装置
CN109063196B (zh) 数据处理方法、装置、电子设备及计算机可读存储介质
CN110489440B (zh) 数据查询方法和装置
EP3291089B1 (en) Data processing method and apparatus
CN110569252B (zh) 一种数据处理系统及方法
CN111679886A (zh) 异构计算资源调度方法、系统、电子设备及存储介质
CN111586126A (zh) 小程序预下载方法、装置、设备及存储介质
CN106021315A (zh) 一种应用程序的日志管理方法及系统
CN110688382A (zh) 数据存储查询方法、装置、计算机设备及存储介质
CN110555076A (zh) 数据打标方法、处理方法以及装置
CN108153803B (zh) 一种数据获取方法、装置及电子设备
WO2020211717A1 (zh) 一种数据处理方法、装置及设备
CN110417609B (zh) 一种网络流量的统计方法、装置、电子设备及存储介质
CN111190727A (zh) 内存的异步析构方法、装置、计算机设备及存储介质
CN112818183B (zh) 一种数据合成方法、装置、计算机设备和存储介质
CN110515979B (zh) 数据查询方法、装置、设备和存储介质
CN111949521A (zh) 软件性能测试方法及装置
CN106708854B (zh) 数据导出方法和装置
CN111061557B (zh) 均衡分布式内存数据库负载的方法和装置
CN112000669B (zh) 一种环境监测数据的处理方法、装置、存储介质及终端
CN111078736A (zh) 一种数据聚合处理方法、装置、终端及存储介质
CN115525666A (zh) 一种实时数据更新方法、装置、电子设备及存储介质
CN109617974B (zh) 一种请求处理方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant