CN115330540A - 一种处理交易数据的方法和装置 - Google Patents

一种处理交易数据的方法和装置 Download PDF

Info

Publication number
CN115330540A
CN115330540A CN202211237667.4A CN202211237667A CN115330540A CN 115330540 A CN115330540 A CN 115330540A CN 202211237667 A CN202211237667 A CN 202211237667A CN 115330540 A CN115330540 A CN 115330540A
Authority
CN
China
Prior art keywords
data
real
processing
time
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211237667.4A
Other languages
English (en)
Inventor
孟江华
范强
杨春鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kmerit Suzhou Information Science & Technology Co ltd
Original Assignee
Kmerit Suzhou Information Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kmerit Suzhou Information Science & Technology Co ltd filed Critical Kmerit Suzhou Information Science & Technology Co ltd
Priority to CN202211237667.4A priority Critical patent/CN115330540A/zh
Publication of CN115330540A publication Critical patent/CN115330540A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84Mapping; Conversion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明公开了一种处理交易数据的方法和装置,涉及金融科技技术领域。该方法的一具体实施方式包括:响应于接收与交易相关的实时原始数据,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;基于目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;将所述原始数据结构对应的实时原始数据处理为数据标准模型;并将所述数据标准模型提供给所述业务类型的数据需求方。通过一种或多种数据处理模型、数据标准模型提高了处理交易数据的通用性、灵活性、扩展性;通过实时处理提高了处理交易数据的效率。

Description

一种处理交易数据的方法和装置
技术领域
本发明涉及金融科技技术领域,尤其涉及一种处理交易数据的方法和装置。
背景技术
目前,互联网技术广泛应用于金融领域,利用互联网技术以及数据处理技术可以对金融产品的交易数据进行处理。
通常交易数据具有数据复杂性和数据源多样性,目前针对不同的业务类型需要分别处理业务类型相关的交易数据,缺乏为不同的业务类型或不同数据需求方处理交易数据的通用处理手段,存在处理交易数据灵活度较差、通用性较低、复杂度较高的问题。
发明内容
有鉴于此,本发明实施例提供一种处理交易数据的方法和装置,能够响应于接收与交易相关的实时原始数据,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;基于目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;将所述原始数据结构对应的实时原始数据处理为数据标准模型;并将数据标准模型提供给所述业务类型的数据需求方。通过一种或多种数据处理模型、数据标准模型提高了处理交易数据的通用性、灵活性、扩展性;通过实时处理提高了处理交易数据的效率,降低了处理数据的复杂度。
为实现上述目的,根据本发明实施例的一个方面,提供了一种处理交易数据的方法,其特征在于,包括:响应于接收一种或多种与交易相关的实时原始数据,从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型;将所述数据标准模型提供给所述业务类型的数据需求方。
可选地,所述处理交易数据的方法,进一步包括:
获取多种业务类型对应的交易历史数据;针对每一种业务类型的交易历史数据,执行:确定所述交易历史数据对应的数据字典;解析所述交易历史数据对应的数据字典包含的原始数据结构;构建所述原始数据结构与预先为所述业务类型构建出的目标数据结构之间的映射关系,将所述映射关系封装到数据处理模型中。
可选地,所述处理交易数据的方法,包括:所述映射关系包括针对所述原始数据结构包括的一个或者多个原始字段构建出的数据字段映射以及数据处理映射;其中数据处理映射包括数据类型映射、处理逻辑映射、数据转换映射中的任意一种或多种。
可选地,所述基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型,包括:
针对每一条实时原始数据,执行:为所述实时原始数据匹配对应于所述原始数据结构的一个或者多个第一字段;从所述目标数据处理模型封装的映射关系中,查找匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射;根据匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射,将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据;将各个所述目标实时数据处理为所述数据标准模型。
可选地,所述处理交易数据的方法,进一步包括:检测接收到的所述实时原始数据是否存在异常,如果是,按照设定策略清洗所述实时原始数据,基于清洗后的实时原始数据执行确定所述实时原始数据所属的业务类型所对应的目标数据处理模型的步骤。
可选地,所述将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据,包括:在所述第一字段的数据处理映射包括数据转换映射的情况下,基于所述数据转换映射所对应的设定转换规则,将所述实时原始数据的数据值转换为对应于所述第二字段的特定类型的数据值。
可选地,所述将各个所述目标实时数据处理为所述数据标准模型,包括:获取所述业务类型的一个或多个数据结构,获取多个所述目标实时数据的字段标识,基于所述字段标识与所述数据结构的对应关系,将所述目标实时数据的数据值添加至所述数据结构中,基于所述数据结构生成所述数据标准模型。
可选地,所述处理交易数据的方法,还包括:基于所述数据标准模型,为所述业务类型预设一个或多个主题数据模型,其中,一个所述主题数据模型对应有一个或多个数据结构;针对每一个所述主题数据模型,执行下述操作:从所述目标实时数据中获取对应于所述主题数据模型的数据,将对应于所述主题数据模型的数据添加至所述主题数据模型对应的数据结构中;利用属于同一主题数据模型一个或多个所述数据结构,形成对应于一种主题的业务数据;所述将所述数据标准模型提供给所述业务类型的数据需求方,包括:将一种或多种主题的业务数据提供给数据需求方。
为实现上述目的,根据本发明实施例的第二方面,提供了一种处理交易数据的装置,其特征在于,包括:确定模型模块、处理数据模块和发送数据模块;其中,
所述确定模型模块,用于响应于接收一种或多种与交易相关的实时原始数据,从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;
所述处理数据模块,用于基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型;
所述发送数据模块,用于将所述数据标准模型提供给所述业务类型的数据需求方。
可选地,所述处理交易数据的装置,进一步用于获取多种业务类型对应的交易历史数据;针对每一种业务类型的交易历史数据,执行:确定所述交易历史数据对应的数据字典;解析所述交易历史数据对应的数据字典包含的原始数据结构;构建所述原始数据结构与预先为所述业务类型构建出的目标数据结构之间的映射关系,将所述映射关系封装到数据处理模型中。
可选地,所述处理交易数据的装置,包括:所述映射关系包括针对所述原始数据结构包括的一个或者多个原始字段构建出的数据字段映射以及数据处理映射;其中数据处理映射包括数据类型映射、处理逻辑映射、数据转换映射中的任意一种或多种。
可选地,所述处理交易数据的装置用于基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型,包括:
针对每一条实时原始数据,执行:为所述实时原始数据匹配对应于所述原始数据结构的一个或者多个第一字段;从所述目标数据处理模型封装的映射关系中,查找匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射;根据匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射,将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据;将各个所述目标实时数据处理为所述数据标准模型。
可选地,所述处理交易数据的装置,进一步用于检测接收到的所述实时原始数据是否存在异常,如果是,按照设定策略清洗所述实时原始数据,基于清洗后的实时原始数据执行确定所述实时原始数据所属的业务类型所对应的目标数据处理模型的步骤。
可选地,所述处理交易数据的装置,用于将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据,包括:在所述第一字段的数据处理映射包括数据转换映射的情况下,基于所述数据转换映射所对应的设定转换规则,将所述实时原始数据的数据值转换为对应于所述第二字段的特定类型的数据值。
可选地,所述处理交易数据的装置,用于将各个所述目标实时数据处理为所述数据标准模型,包括:获取所述业务类型的一个或多个数据结构,获取多个所述目标实时数据的字段标识,基于所述字段标识与所述数据结构的对应关系,将所述目标实时数据的数据值添加至所述数据结构中,基于所述数据结构生成所述数据标准模型。
可选地,所述处理交易数据的装置,还用于基于所述数据标准模型,为所述业务类型预设一个或多个主题数据模型,其中,一个所述主题数据模型对应有一个或多个数据结构;针对每一个所述主题数据模型,执行下述操作:从所述目标实时数据中获取对应于所述主题数据模型的数据,将对应于所述主题数据模型的数据添加至所述主题数据模型对应的数据结构中;利用属于同一主题数据模型一个或多个所述数据结构,形成对应于一种主题的业务数据;所述将所述数据标准模型提供给所述业务类型的数据需求方,包括:将一种或多种主题的业务数据提供给数据需求方。
为实现上述目的,根据本发明实施例的第三方面,提供了一种处理交易数据的电子设备,其特征在于,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述处理交易数据的方法中任一所述的方法。
为实现上述目的,根据本发明实施例的第四方面,提供了一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如上述处理交易数据的方法中任一所述的方法。
上述发明中的一个实施例具有如下优点或有益效果:响应于接收与交易相关的实时原始数据,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;基于目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;将所述原始数据结构对应的实时原始数据处理为数据标准模型;并将所述数据标准模型提供给所述业务类型的数据需求方。通过一种或多种数据处理模型、数据标准模型提高了处理交易数据的通用性、灵活性、扩展性;通过实时处理提高了处理交易数据的效率,降低了处理数据的复杂度。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是本发明一个实施例提供的一种处理交易数据的方法的流程示意图;
图 2 是本发明一个实施例提供的一种处理交易数据的流程示意图;
图3是本发明一个实施例提供的一种处理交易数据的装置的结构示意图;
图 4是本发明实施例可以应用于其中的示例性系统架构图;
图5是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
如图1所示,本发明实施例提供了一种处理交易数据的方法,该方法可以包括以下步骤:
步骤S101:响应于接收一种或多种与交易相关的实时原始数据,从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系。
具体地,与交易相关的实时原始数据可以为关联与交易的市场数据、行情数据等;行情数据是交易产生的数据,例如:实时报价、实时成交、汇率等,市场数据包括价格数据、曲线类数据,基准信息、资讯数据等,例如:债券价格、商品价格、基准曲线、波动率、市场指数;可以理解的是,根据交易的类型产生的交易数据为不同,例如:债券交易中关联的交易数据包括交易金额、结算金额、结算日、票面利率、净价、点差等。期货交易中关联的交易数据包括合约类型、交割日期、到期日期、成交量、成交价格等。并且,交易数据可以有不同来源,具有多样性,例如:行情数据中的报价数据是曲线数据、或者是数据库文件等。实时原始数据的来源可以来自于数据缓存、数据集群、关系型数据库、数据队列等中的一种或多种。在本发明的一个实施例中,通过kafka中间件获取实时原始数据(例如实时行情数据、市场数据等)。由此可见,与交易相关的实时原始数据存在复杂性和多样性。
在本发明的实施例中,接收一种或多种与交易相关的实时原始数据的方法有两种:第一种方法:通过监听多个外部异构数据源的日志信息,确定原始数据并进行实时采集,从而达到无侵入采集数据的有益效果;第二种方法:按照设定策略,接收外部数据源的实时原始数据的推送;进一步地,在实时采集到原始数据之后,优选地,对接收到的原始数据基于交易规则进行检查,以确定原始数据的有效性和合理性,进一步提高了后续利用数据处理模型进行交易数据处理的效率。节省了计算资源。
进一步地,利用数据处理模型处理一种或多种与交易相关的实时原始数据;在本发明的一个实施例中,根据不同业务类型,设置有多种预设的数据处理模型;关联于交易数据的业务类型例如包括交易类、证券类、市场类、会计类、风险类、产品类等。
构建数据处理模型的方法为针对某一个业务类型关联的历史数据,确定原始数据结构(可以通过获取历史数据的数据字典所得到)与处理后的目标数据结构的映射关系,并将映射关系封装到该业务对应的数据处理模型中;其中,数据处理模型为逻辑代码,用于对实时原始数据进行自动处理,形成标准数据,以提供标准数据给数据需求方。即,获取多种业务类型对应的交易历史数据;针对每一种业务类型的交易历史数据,执行:确定所述交易历史数据对应的数据字典;解析所述交易历史数据对应的数据字典包含的原始数据结构;构建所述原始数据结构与预先为所述业务类型构建出的目标数据结构之间的映射关系,将所述映射关系封装到数据处理模型中。类似地,为多个业务类型构建对应的预设的数据处理模型。
优选地,根据应用场景,可以为同一业务类型构建多种映射关系;可以理解的是,同一种业务类型可以包含多种原始数据结构的原始数据,因此,为各种原始数据结构分别构建与标准的目标数据结构的映射关系;并把构建的多种映射关系封装到数据处理模型中,从而根据原始数据结构的标识确定其匹配的映射关系。
进一步优选地,在根据应用场景需要新增业务类型的情况下,则根据新增业务类型对应的原始数据结构构建新的与标准的目标数据结构的映射关系,并为新增业务类型封装其对应的数据处理模型中。
由此可见,通过灵活变更(增加、更新、删除等)映射关系,进一步提高了处理不同业务类型、不同数据类型、不同数据结构的数据的通用性、灵活性和扩展性,同时为数据需求方在较大程度上降低了处理异构数据的复杂度。
进一步地,所述映射关系包括针对所述原始数据结构包括的一个或者多个原始字段构建出的数据字段映射以及数据处理映射;其中数据处理映射包括数据类型映射、处理逻辑映射、数据转换映射中的任意一种或多种。其中,数据类型映射包括数据之间数据类型的映射,例如:整型和字符串之间的转换映射;处理逻辑映射包括多种映射,例如:不同数据精度之间的映射、数据筛选条件之间的映射等;数据转换映射包括数据值之间的映射等。
具体地,由于实时原始数据的多样性和复杂性,数据的字段名、数据格式、数据的数值等均需要处理,处理的方法为通过映射关系所设定的信息加以处理,原始数据结构、处理后的目标数据结构均包含多个字段名;可以理解的是,原始数据结构、处理后的目标数据结构中包含字段的数量可以为不同。
例如:目标数据结构与原始数据结构的一个数据字段映射为:
VALUE_DATE:trade_date
其中,VALUE_DATE代表目标数据结构中的起息日期字段,trade_date代表原始数据结构中的起息日期字段。
进一步地,映射关系还包括数据处理映射;其中数据处理映射包括数据类型映射、处理逻辑映射、数据转换映射中的任意一种或多种;例如示意映射关系如下所示:
VALUE_DATE,DATE:trade_date,VARCHAR2(20), trade_date>2022.6.6
其中,一个示意映射关系包括从VARCHAR2(20)转换为DATE为数据类型映射、trade_date>2022.6.6为VALUE_DATE的处理逻辑映射;在一些应用场景中,需要对数据字段对应的数据值的进行转换,处理为统一格式或同一内容的数值,即数据转换映射;例如对应字段ABC的数据“ABC”转换成统一格式的“ABC_ID”等。
可以理解的是,构建所述原始数据结构与预先为所述业务类型构建出的目标数据结构之间的映射关系,根据业务类型、应用场景包括多个数据字段映射。映射关系可以存储于表格文件、数据表、数据库等。进一步地,将所述映射关系封装到数据处理模型中;从而使对应的数据处理模型基于封装的映射关系将实时原始数据处理为对应的目标原始数据。
由此可见,通过从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系。提高了处理多种类型的数据源的通用性、扩展性和灵活性。
步骤S102:基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型。
在本发明的一个实施例中,数据标准模型可以为利用本发明的实施例处理得到的目标实时数据,或者具有结构化格式的目标实时数据(例如包含有目标实时数据的结构化数据表等),或者包含有目标实时数据的JSON格式的数据,或者包含有目标实时数据的数据访问层等。
进一步地,基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型,包括:针对每一条实时原始数据,执行:为所述实时原始数据匹配对应于所述原始数据结构的一个或者多个第一字段;从所述目标数据处理模型封装的映射关系中,查找匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射;根据匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射,将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据;将各个所述目标实时数据处理为所述数据标准模型。
例如:一条银行交易的实时原始数据中包含的多个字段中包含trade_date字段,则从该实时原始数据对应的目标数据处理模型封装的多个映射关系中查找匹配于trade_date(即第一字段)的数据字段映射,例如查找的结果为VALUE_DATE,DATE:trade_date,VARCHAR2(20), trade_date>2022.6.6;进一步,将trade_date对应的实时原始数据,例如为:20220101转换为VALUE_DATE(及第二字段)对应的目标实时数据,例如转换后的数据为“2022-01-01”;可以理解的是,转换的策略依照数据处理映射等,例如:数据类型转换、数据精度转换、数据筛选条件(即数据逻辑处理)等中的任意一种或多种;数据处理映射也包括确定字段映射后直接获取原始数据。
进一步地,所述将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据,包括:在所述第一字段的数据处理映射包括数据转换映射的情况下,基于所述数据转换映射所对应的设定转换规则,将所述实时原始数据的数据值转换为对应于所述第二字段的特定类型的数据值。具体地,在一些应用场景中,需要处理接收到的实时原始数据中第一字段对应的数据值为第二字段的目标实时数据,例如:trade_num(第一字段,交易标识)的数据值为“abcd-1234-000”;又例如转换第一字段交易标识数据转换映射所对应的设定转换规则为:将交易标识转换成标准标识,例如去除将交易标识中的“-”后生成标准标识;则将“abcd-1234-000”转换为TRADE_ID(第二字段)对应的“abcd1234000”(即特定类型的数据值)。
进一步地,优选地,检测接收到的所述实时原始数据是否存在异常,如果是,按照设定策略清洗所述实时原始数据,基于清洗后的实时原始数据执行确定所述实时原始数据所属的业务类型所对应的目标数据处理模型的步骤。具体地,检测实时原始数据是否存在异常的方法可以基于设定阈值判断,例如,实时原始数据为交易数据的数值,检测到数值大于设定的行情数值(即设定阈值),则确定该实时原始数据存在异常,并按照设定策略清洗实时原始数据,例如:将大于设定行情数值的交易数据删除,或者将大于设定行情数值的交易数据的数值设定为小于等于设定行情数值的数值等,可以理解的是,针对多个需要检测的数据字段可以设置对应的设定策略,以清洗对应的实时原始数据;进一步地,基于清洗后的实时原始数据执行确定所述实时原始数据所属的业务类型所对应的目标数据处理模型的步骤。又例如:行情数据可以来源于多路报价商,因此需要对应地进行数据比对、筛选的数据清洗过程;通过数据清洗,提高了处理数据的实时性、准确性;提高了处理交易数据的效率。
优选地,基于目标实时数据进一步地基于设定时间范围获取设定时间范围的数据作为目标实时数据,例如:实时地获取5-10分钟产生的交易数据;通过该操作可以利用时间筛选实时交易数据,通过减少交易数据的数据量提高了处理交易数据的效率,降低了计算资源的消耗。
进一步地,将各个所述目标实时数据处理为所述数据标准模型,包括:获取所述业务类型的一个或多个数据结构,获取多个所述目标实时数据的字段标识,基于所述字段标识与所述数据结构的对应关系,将所述目标实时数据的数据值添加至所述数据结构中,基于所述数据结构生成所述数据标准模型。具体地,例如将得到的各个目标实时数据直接处理为数据标准模型,或者,将各个目标实时数据处理为多种数据结构;例如:数据结构为结构化数据表,则按照结构化的各个字段将目标实时数据的数据值对应地添加到数据表中,并基于数据表生成数据标准模型;或者数据结构为JSON结构的数据,则将目标实时数据封装为JSON格式的数据,并基于JSON数据生成数据标准模型;或者数据结构为key-value格式,则将目标实时数据封装为key-value格式的数据,以生成数据标准模型;或者将目标实时数据封装为数据访问层作为数据标准模型等,从而进一步地将数据标准模型提供给数据需求方。
步骤S103:将所述数据标准模型提供给所述业务类型的数据需求方
具体地,根据目标数据处理模型封装的映射关系为业务类型处理成目标实时数据以后,基于目标实时数据生成数据标准模型,并提供给所述业务类型的数据需求方。其中,经过本发明实施例的数据处理模型处理后的数据标准模型为输出的标准化的数据模型,可以为数据需求方提供标准化的数据,从而使得数据需求方无需考虑原始数据的数据异构性、以及不同数据源数据的数据字段的差异性,在较大程度上降低了数据需求方使用目标实时数据的复杂度,提高了数据需求方的开发效率。
提供数据标准模型(包含有目标实时数据)给所述业务类型的数据需求方的方法如下:
第一种方法:提供数据标准模型包含的一个或多个数据文件给数据需求方,其中,数据文件可以包含结构化数据表、JSON格式数据、key-value格式数据等;使得数据需求方可以基于应用场景利用代码基于获取的数据标准模型提供的数据进一步使用、分析、处理。
第二种方法:基于数据标准模型为业务类型预设一个或多个主题数据模型对应的数据结构,按照主题将目标实时数据添加到数据需求方的数据结构中;数据需求方可以基于添加了目标实时数据的主题数据结构,根据业务场景的主题,对数据进行分析、处理。
第三种方法:提供数据标准模型包含的应用访问层给数据需求方,以使数据需求方根据应用场景调用应用访问层包含的接口或数据,得到所需的数据;由此可见,本发明的实施例可以支持缓存、大数据、关系型数据库同时访问,通过创建统一的数据模型提取技术,可以使得不同的存储介质上的数据可以在统一的数据访问层上进行访问。
由此可见,通过提供标准化的数据标准模型,使得数据需求方可以直接利用已经存在的代码直接使用来自多种类型、多种数据结构的数据源的业务数据,较大程度地降低了数据需求方的开发效率和在处理数据上的时间成本和人力成本的消耗。
如图2所示,本发明实施例提供了一种处理交易数据的方法,该方法可以包括以下步骤:
步骤S201:响应于接收一种或多种与交易相关的实时原始数据,从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;
具体地,关于构建数据处理模型、确定目标数据处理模型的描述与步骤S101的描述一致,在此不再赘述。
步骤S202:基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型。
具体地,关于基于映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型的描述与步骤S102的描述一致,在此不再赘述。
步骤S203:获取所述业务类型的一个或多个数据结构,获取多个所述目标实时数据的字段标识,基于所述字段标识与所述表结构的对应关系,将所述目标实时数据的数据值添加至所述数据结构中,基于所述数据结构生成所述数据标准模型;提供所述数据标准模型给所述数据需求方。
具体地,关于将各个所述目标实时数据处理为所述数据标准模型以及关于数据标准模型的描述与步骤S102的描述一致,在此不再赘述。在提供业务数据的同时提供对应的各种数据标准模型;进一步提高了处理交易数据的扩展性和效率,提高了数据需求方的用户体验。
进一步地,还可以基于存在的数据标准模型,根据业务类型对应的主题数据模型,将数据标准模型包含的目标实时数据添加到主题数据模型对应的一个或多个数据结构中;通过在数据标准模型的基础上进一步细分主题,可以适应数据需求方的多种数据需求,提高了处理数据的精细化程度,提高了数据需求方的数据使用效率。以交易主题为例,可以将基于不同的交易类型(例如:股票交易、债券交易、期权交易等)为交易数据构建交易主题数据模型,其中,交易主题数据模型可以包括交易主主题和/或交易子主题,从而可以将交易的公共要素添加至交易主主题对应的数据结构中,将不同种类交易的个性化要素添加至交易子主题对应的数据结构;针对不同的应用场景,可以根据数据需求方对数据模型的需求、对数据管理的维度,将主题数据模型通过管理维度进一步建模,为数据需求方定制针对其应用场景的主题数据模型。将一个或多个关联于主题数据模型的数据结构作为业务数据,提供给数据需求方,以使数据需求方基于主题数据进一步分析、处理;提高了处理交易数据的精细化程度,提高了处理交易数据的灵活性。即,获取为所述业务类型预设的一个或多个主题数据模型,其中,一个所述主题数据模型对应有一个或多个数据结构;针对每一个所述主题数据模型,执行下述操作:从所述目标实时数据中获取对应于所述主题数据模型的数据,将对应于所述主题数据模型的数据添加至所述主题数据模型对应的数据结构中;利用属于同一主题数据模型一个或多个所述数据结构,形成对应于一种主题的业务数据;所述将所述数据标准模型提供给所述业务类型的数据需求方,包括:将一种或多种主题的业务数据提供给数据需求方。
如图3所示,本发明实施例提供了一种处理交易数据的装置300,包括:确定模型模块301、处理数据模块302和发送数据模块303;其中,
所述确定模型模块301,用于响应于接收一种或多种与交易相关的实时原始数据,从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;
所述处理数据模块302,用于基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型;
所述发送数据模块303,用于将所述数据标准模型提供给所述业务类型的数据需求方。
本发明实施例还提供了一种处理交易数据的电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例提供的方法。
本发明实施例还提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例提供的方法。
图4示出了可以应用本发明实施例的处理交易数据的方法或处理交易数据的装置的示例性系统架构400。
如图4所示,系统架构400可以包括终端设备401、402、403,网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备401、402、403通过网络404与服务器405交互,以接收或发送消息等。终端设备401、402、403上可以安装有各种客户端应用,例如电子商城客户端应用、网页浏览器应用、搜索类应用、即时通信工具和邮箱客户端等。
终端设备401、402、403可以是具有显示屏并且支持各种客户端应用的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器405可以是提供各种服务的服务器,例如对用户利用终端设备401、402、403所使用的客户端应用提供支持的后台管理服务器。后台管理服务器可以对接收到的与交易相关的实时原始数据进行处理,并将处理后的目标原始数据给终端设备。
需要说明的是,本发明实施例所提供的处理交易数据的方法一般由服务器405执行,相应地,处理交易数据的装置一般设置于服务器405中。
应该理解,图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图5,其示出了适于用来实现本发明实施例的终端设备的计算机系统500的结构示意图。图5示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中,还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块和/或单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块和/或单元也可以设置在处理器中,例如,可以描述为:一种处理器包括确定模型模块、处理数据模块和发送数据模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,发送数据模块还可以被描述为“将所述目标实时数据提供给所述业务类型的数据需求方的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:响应于接收一种或多种与交易相关的实时原始数据,从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型;将所述数据标准模型提供给所述业务类型的数据需求方。
本发明的实施例,能够响应于接收与交易相关的实时原始数据,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;基于目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;将所述原始数据结构对应的实时原始数据处理为数据标准模型;并将所述数据标准模型提供给所述业务类型的数据需求方。通过一种或多种数据处理模型、数据标准模型提高了处理交易数据的通用性、灵活性、扩展性;通过实时处理提高了处理交易数据的效率,降低了处理数据的复杂度。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (11)

1.一种处理交易数据的方法,其特征在于,包括:
响应于接收一种或多种与交易相关的实时原始数据,
从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;所述映射关系包括针对所述原始数据结构的一个或者多个原始字段构建出的数据字段映射以及数据处理映射;
基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型;其中,所述数据标准模型包含基于所述实时原始数据处理得到的目标实时数据,所述目标实时数据具有一种或多种数据结构;
将所述数据标准模型提供给所述业务类型的数据需求方。
2.根据权利要求1所述的方法,其特征在于,进一步包括:
获取多种业务类型对应的交易历史数据;
针对每一种业务类型的交易历史数据,执行:
确定所述交易历史数据对应的数据字典;
解析所述交易历史数据对应的数据字典包含的原始数据结构;
构建所述原始数据结构与预先为所述业务类型构建出的目标数据结构之间的映射关系,将所述映射关系封装到数据处理模型中。
3.根据权利要求2所述的方法,其特征在于,
所述数据处理映射包括数据类型映射、处理逻辑映射、数据转换映射中的任意一种或多种。
4.根据权利要求3所述的方法,其特征在于,
基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型,包括:
针对每一条实时原始数据,执行:
为所述实时原始数据匹配对应于所述原始数据结构的一个或者多个第一字段;
从所述目标数据处理模型封装的映射关系中,查找匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射;
根据匹配于一个或者多个所述第一字段的数据字段映射以及数据处理映射,将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据;
将各个所述目标实时数据处理为所述数据标准模型。
5.根据权利要求1所述的方法,其特征在于,进一步包括:
检测接收到的所述实时原始数据是否存在异常,如果是,按照设定策略清洗所述实时原始数据,基于清洗后的实时原始数据执行确定所述实时原始数据所属的业务类型所对应的目标数据处理模型的步骤。
6.根据权利要求4所述的方法,其特征在于,
所述将所述第一字段以及其对应的实时原始数据转换为第二字段以及对应于所述第二字段的目标实时数据,包括:
在所述第一字段的数据处理映射包括数据转换映射的情况下,基于所述数据转换映射所对应的设定转换规则,将所述实时原始数据的数据值转换为对应于所述第二字段的特定类型的数据值。
7.根据权利要求4所述的方法,其特征在于,
将各个所述目标实时数据处理为所述数据标准模型,包括:
获取所述业务类型的一个或多个数据结构,获取多个所述目标实时数据的字段标识,基于所述字段标识与所述数据结构的对应关系,将所述目标实时数据的数据值添加至所述数据结构中,基于所述数据结构生成所述数据标准模型。
8.根据权利要求1所述的方法,其特征在于,还包括:
基于所述数据标准模型,为所述业务类型预设一个或多个主题数据模型,其中,一个所述主题数据模型对应有一个或多个数据结构;
针对每一个所述主题数据模型,执行下述操作:从所述目标实时数据中获取对应于所述主题数据模型的数据,将对应于所述主题数据模型的数据添加至所述主题数据模型对应的数据结构中;
利用属于同一主题数据模型一个或多个所述数据结构,形成对应于一种主题的业务数据;
所述将所述数据标准模型提供给所述业务类型的数据需求方,包括:将一种或多种主题的业务数据提供给数据需求方。
9.一种处理交易数据的装置,其特征在于,包括:确定模型模块、处理数据模块和发送数据模块;其中,
所述确定模型模块,用于响应于接收一种或多种与交易相关的实时原始数据,从多个预设的数据处理模型中,确定所述实时原始数据所属的业务类型所对应的目标数据处理模型;所述目标数据处理模型包含原始数据结构与目标数据结构之间的映射关系;所述映射关系包括针对所述原始数据结构包括的一个或者多个原始字段构建出的数据字段映射以及数据处理映射;
所述处理数据模块,用于基于所述映射关系,将所述原始数据结构对应的实时原始数据处理为数据标准模型;其中,所述数据标准模型包含基于所述实时原始数据处理得到的目标实时数据,所述目标实时数据具有一种或多种数据结构;
所述发送数据模块,用于将所述数据标准模型提供给所述业务类型的数据需求方。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-8中任一所述的方法。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。
CN202211237667.4A 2022-10-11 2022-10-11 一种处理交易数据的方法和装置 Pending CN115330540A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211237667.4A CN115330540A (zh) 2022-10-11 2022-10-11 一种处理交易数据的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211237667.4A CN115330540A (zh) 2022-10-11 2022-10-11 一种处理交易数据的方法和装置

Publications (1)

Publication Number Publication Date
CN115330540A true CN115330540A (zh) 2022-11-11

Family

ID=83914885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211237667.4A Pending CN115330540A (zh) 2022-10-11 2022-10-11 一种处理交易数据的方法和装置

Country Status (1)

Country Link
CN (1) CN115330540A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952770A (zh) * 2023-03-15 2023-04-11 广州汇通国信科技有限公司 一种数据标准化的处理方法、装置、电子设备及存储介质
CN117273931A (zh) * 2023-09-22 2023-12-22 北京京投亿雅捷交通科技有限公司 一种基于动态数据接口的交易清分方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295039A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 数据接入处理方法和装置
CN111241107A (zh) * 2020-01-16 2020-06-05 北京字节跳动网络技术有限公司 一种业务处理方法、装置、介质和电子设备
CN112395117A (zh) * 2021-01-21 2021-02-23 武汉中科通达高新技术股份有限公司 一种数据处理方法、系统和存储介质
CN112685493A (zh) * 2020-12-30 2021-04-20 平安普惠企业管理有限公司 报表处理方法、装置、电子设备及存储介质
CN113836131A (zh) * 2021-09-29 2021-12-24 平安科技(深圳)有限公司 一种大数据清洗方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107295039A (zh) * 2016-03-31 2017-10-24 阿里巴巴集团控股有限公司 数据接入处理方法和装置
CN111241107A (zh) * 2020-01-16 2020-06-05 北京字节跳动网络技术有限公司 一种业务处理方法、装置、介质和电子设备
CN112685493A (zh) * 2020-12-30 2021-04-20 平安普惠企业管理有限公司 报表处理方法、装置、电子设备及存储介质
CN112395117A (zh) * 2021-01-21 2021-02-23 武汉中科通达高新技术股份有限公司 一种数据处理方法、系统和存储介质
CN113836131A (zh) * 2021-09-29 2021-12-24 平安科技(深圳)有限公司 一种大数据清洗方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115952770A (zh) * 2023-03-15 2023-04-11 广州汇通国信科技有限公司 一种数据标准化的处理方法、装置、电子设备及存储介质
CN117273931A (zh) * 2023-09-22 2023-12-22 北京京投亿雅捷交通科技有限公司 一种基于动态数据接口的交易清分方法及系统

Similar Documents

Publication Publication Date Title
CN112184154A (zh) 一种业务审批方法和装置
CN111429241A (zh) 一种账务处理方法和装置
CN111427971B (zh) 用于计算机系统的业务建模方法、装置、系统和介质
CN111339743B (zh) 一种账号生成的方法和装置
CN110706093A (zh) 一种账务处理方法和装置
CN115330540A (zh) 一种处理交易数据的方法和装置
CN110689268A (zh) 一种提取指标的方法和装置
CN111104556A (zh) 一种业务处理方法和装置
CN111460129A (zh) 标识生成的方法、装置、电子设备和存储介质
CN111857888A (zh) 一种交易处理方法及装置
CN111881329A (zh) 一种账户余额管理方法和系统
CN113205402A (zh) 对账方法、装置、电子设备及计算机可读介质
CN113485763A (zh) 一种数据处理方法、装置、电子设备及计算机可读介质
CN112579673A (zh) 一种多源数据处理方法及装置
CN109740130B (zh) 用于生成文件的方法和装置
CN114997977B (zh) 一种数据处理方法、装置、电子设备及计算机可读介质
CN116228384A (zh) 一种数据处理方法、装置、电子设备及计算机可读介质
CN114817297A (zh) 一种处理数据的方法和装置
CN115934717A (zh) 数据处理的方法、装置、电子设备和存储介质
CN115858345A (zh) 应用服务模块的校验方法、装置、电子设备和存储介质
CN115391343A (zh) 账单数据处理方法、装置、电子设备和存储介质
CN112256566A (zh) 一种测试案例的保鲜方法和装置
CN110874386A (zh) 建立类目映射关系的方法和装置
CN113780921B (zh) 一种询价处理方法和装置
CN115858325B (zh) 一种项目日志的调整方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221111