CN113987054A - 大数据的数据治理全流程可视化方法、装置及存储介质 - Google Patents

大数据的数据治理全流程可视化方法、装置及存储介质 Download PDF

Info

Publication number
CN113987054A
CN113987054A CN202111246970.6A CN202111246970A CN113987054A CN 113987054 A CN113987054 A CN 113987054A CN 202111246970 A CN202111246970 A CN 202111246970A CN 113987054 A CN113987054 A CN 113987054A
Authority
CN
China
Prior art keywords
data
configuration
visualization
whole flow
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111246970.6A
Other languages
English (en)
Inventor
吴小斌
王汀
丁冠文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guotai Epoint Software Co Ltd
Original Assignee
Guotai Epoint Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guotai Epoint Software Co Ltd filed Critical Guotai Epoint Software Co Ltd
Priority to CN202111246970.6A priority Critical patent/CN113987054A/zh
Publication of CN113987054A publication Critical patent/CN113987054A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及大数据的数据治理全流程可视化方法、装置及存储介质,涉及数据治理技术领域,其中,方法包括:响应用户触发的数据治理全流程对应的数据配置请求,显示配置界面;响应用户通过所述配置界面输入的配置信息,对所述数据配置请求所请求的待配置数据进行数据配置;将完成所述数据配置的数据治理全流程在客户端进行展示,以完成数据治理全流程的可视化。本申请通过配置数据,在客户端展示数据治理全流程,避免在查看数据治理的整体流程时,需要进入到不同的数据治理步骤页面进行搜索查看,提高操作的速度,解决传统方式操作复杂的问题。

Description

大数据的数据治理全流程可视化方法、装置及存储介质
技术领域
本申请涉及数据治理技术领域,具体涉及大数据的数据治理全流程可视化方法、装置及存储介质。
背景技术
当今时代,“数据资产化”的概念已经被大多数人理解和接受。不论是企业、政府还是其他组织机构,对于的数据资产的管理越来越重视。然而,数据并不等于资产,也就是说不是所有数据都是数据资产,数据中也有垃圾数据。
数据治理,其治理的是能够为企业创造价值的数据资产,而不是全部数据。数据治理的目的就是通过有效的数据资源控制手段,进行数据的控制,以提升数据质量进而提升数据变现的能力。
数据治理对于确保数据的准确、适度分享和保护是至关重要的。有效的数据治理计划会通过改进决策、缩减成本、降低风险和提高安全合规等方式,将价值回馈于业务,并最终体现为增加收入和利润。
大数据治理操作的步骤包括4大阶段,分别是:接入,从业务系统将资源接入到数据中心。治理,数据中心对接入的资源进行数据治理(去错、验证、补全等)。发布,对治理完的正确资源进行发布。应用,供第三方进行调用,实现数据应用。
大数据数据治理全流程是指从数据资源梳理、数据接入、数据归集、数据治理、数据成果、数据发布、数据应用(数据调用)等。
传统的大数据治理操作,仅针对资源进行不同数据治理步骤的处理,如果要看某个资源的整体数据治理流程,需要进入到不同的数据治理步骤页面进行搜索查看,操作复杂,而且仅支持表级不支持单条数据记录级。
因此,有必要对现有技术予以改良以克服现有技术中的所述缺陷。
发明内容
本申请的目的在于提供一种大数据的数据治理全流程可视化方法、装置及存储介质,用以解决传统的大数据治理操作,仅针对资源进行不同数据治理步骤的处理,如果要看某个资源的整体数据治理流程,需要进入到不同的数据治理步骤页面进行搜索查看,操作复杂的问题。
本申请的目的通过以下技术方案实现:
第一方面,提供一种大数据的数据治理全流程可视化方法,包括:
响应用户触发的数据治理全流程对应的数据配置请求,显示配置界面;
响应用户通过所述配置界面输入的配置信息,对所述数据配置请求所请求的待配置数据进行数据配置;
将完成所述数据配置的数据治理全流程在客户端进行展示,以完成数据治理全流程的可视化。
可选地,所述配置信息,包括:
配置数据基本信息、配置数据列表信息和配置数据表查询信息。
可选地,所述配置数据基本信息,包括:
配置溯源表单所属数据源、所属数据表或者视图,配置主键字段,配置数据表中文名,所述溯源表单指的是所请求的待配置数据的来源表。
可选地,所述配置数据列表信息,包括:
配置数据表列表展示内容,所述展示内容包括:数据列表中字展示段的列宽、展示字段是否显示和数据列表的显示名。
可选地,所述配置数据表查询信息,包括:
根据不同数据类型生成对应的查询条件,查询字段的标签名、默认文本、是否时间字段。
可选地,所述将所述配置完成的数据进行展示,包括:
调用通用接口,在客户端页面进行渲染展示。
可选地,所述方法,还包括:
接收用户选择的溯源表单所属数据分类,以对待配置数据进行区分,所述数据分类包括:数据来源部门、数据来源系统、数据主题分类。
第二方面,提供一种大数据的数据治理全流程可视化装置,包括:
触发响应模块,用于响应用户触发的数据治理全流程对应的数据配置请求,显示配置界面;
数据配置模块,用于响应用户通过所述配置界面输入的配置信息,对所述数据配置请求所请求的待配置数据进行数据配置;
可视化模块,用于将完成所述数据配置的数据治理全流程在客户端进行展示,以完成数据治理全流程的可视化。
第三方面,提供一种电子设备,包括处理器和存储器,所述存储器中存储有程序,所述程序被处理器执行时,用以实现第一方面所述方法的步骤。
第四方面,提供一种计算机存储介质,所述计算机存储介质上存储有程序,所述程序在被处理器执行时,用以实现第一方面所述方法的步骤。
与现有技术相比,本申请具有如下有益效果:本申请的可视化方法通过接收数据治理全流程对应的数据配置请求,对所述数据治理全流程对应的待配置数据进行数据配置,并将完成所述数据配置的数据治理全流程发送至客户端进行展示,以完成数据治理全流程的可视化。通过可配置的方式,实现大数据的数据治理全流程的可视化,避免通过搜索页面进行搜索查看全流程,操作简单,提高操作效率。
附图说明
图1是本申请一个实施例提供的数据治理全流程可视化系统的网络架构图;
图2是本申请一个实施例提供的数据治理全流程可视化方法的流程图;
图3是本申请一个实施例提供的数据治理全流程可视化装置的结构框图;
图4是本申请一个实施例提供的电子设备的原理图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
针对传统的大数据治理操作,仅针对资源进行不同数据治理步骤的处理,如果要看某个资源的整体数据治理流程,需要进入到不同的数据治理步骤页面进行搜索查看,操作复杂的问题,本申请提供一种大数据的数据治理全流程可视化方法、装置及存储介质。
图1给出了本申请一个实施例提供的数据治理全流程可视化系统的网络架构图,如图1所示,该网络架构包括服务端101和客户端102,其中服务端101与客户端102通信连接。
其中,服务端101可以是服务器,客户端102可以是计算机、智能终端等。
用户在客户端102触发数据配置请求,服务端101接收到数据配置请求后,响应用户的数据配置请求,显示配置界面。用户通过显示于客户端102的配置界面输入配置信息,服务端101根据接收到的配置信息,对数据配置请求所请求的待配置数据进行数据配置,然后将完成数据配置的数据治理全流程在客户端102展示,实现数据治理全流程的可视化。
关于数据治理全流程可视化的具体实施方式,将在下文详述。
图2给出了本申请一个实施例提供的数据治理全流程可视化方法的流程图,下面以图1所示网络构架中的服务端101为执行主体,对本申请的数据治理全流程可视化方法进行说明,如图2所示,该数据治理全流程可视化方法包括:
S201:响应用户触发的数据治理全流程对应的数据配置请求,显示配置界面。
具体地,本实施例中,用户通过打开客户端进入数据治理界面,通过数据治理界面触发数据治理全流程对应的数据配置请求,其中的数据配置请求中包含所请求的待配置数据。
服务端根据接收到的数据配置请求,在客户端显示配置界面。
S202:接收用户在所述配置界面输入的配置信息,对所述数据配置请求所请求的待配置数据进行数据配置。
具体地,本实施例的配置界面中至少显示数据治理全流程中的每个流程对应的配置组件。
用户在客户端的配置界面,针对每个流程的配置组件进行操作,例如点击当前流程对应的配置组件,在弹出的输入框中,输入对应的配置信息。或者在当前流程对应的配置组件弹窗选择框中,选择对应的配置信息等。
本实施例用户在输入配置信息之前,选择数据分类,即选择溯源表单所述数据分类,比如数据来源部门、数据来源系统、数据主题分类等,用于对数据进行区分。
可选地,本实施例中,配置信息包括配置数据基本信息、配置数据列表信息和配置数据表查询信息。其中,
配置数据基本信息,包括:配置溯源表单所属数据源、所属数据表或者视图,配置主键字段,配置数据表中文名。其中的溯源表单指的是所请求的待配置数据的来源表。
配置数据列表信息,包括:配置数据表列表展示内容,所述展示内容包括:数据列表中字展示段的列宽、展示字段是否显示和数据列表的显示名
配置数据表查询信息,包括:根据不同数据类型生成对应的查询条件,查询字段的标签名、默认文本、是否时间字段。
S203:将完成所述数据配置的数据治理全流程在客户端进行展示,以完成数据治理全流程的可视化。
具体地,本实施例通过调用通用接口,在客户端页面进行渲染展示。
本实施例可以通过调用接口,实现个性化配置流程及相关页面的显示。
综上所述,本申请的可视化方法通过接收数据治理全流程对应的数据配置请求,对所述数据治理全流程对应的待配置数据进行数据配置,并将完成所述数据配置的数据治理全流程发送至客户端进行展示,以完成数据治理全流程的可视化。通过可配置的方式,实现大数据的数据治理全流程的可视化,避免通过搜索页面查看全流程,操作简单,提高操作效率。
另外,本申请在数据表结构产品变化后,无需开发人员进行代码调整,只需根据步骤S201-S202进行数据配置即可。而且,本申请通过数据配置,还支持单条数据记录级的数据治理全流程数据溯源。
本申请还提供一种数据治理全流程可视化装置,图4给出了本申请一个实施例提供的数据治理全流程可视化装置的结构框图,如图4所示,该数据治理全流程可视化装置包括:
原文件下载模块,用于接收至少一个客户端的原文件下载请求,将待签章原文件下载至对应客户端,以使所述至少一个客户端对所述待签章原文件进行签章后提取签章数据,所述待签章原文件是服务端预先生成的;
数据接收模块,用于接收每个客户端发送的签章数据;
数据合并模块,用于响应于每个客户端均完成签章数据的发送,将所述签章数据合并到所述待签章原文件中,得到合并后的签章文件。
图3给出了本申请一个实施例提供的数据治理全流程可视化装置的结构框图,如图3所示,该数据治理全流程可视化装置包括:
触发响应模块,用于响应用户触发的数据治理全流程对应的数据配置请求,显示配置界面;
信息接收模块,用于接收用户在所述配置界面输入的配置信息;
数据配置模块,用于根据所述配置信息,对所述数据配置请求所请求的待配置数据进行数据配置;
可视化模块,用于将完成所述数据配置的数据治理全流程在客户端进行展示,以完成数据治理全流程的可视化。
上述两个装置实施例提供的数据治理全流程可视化装置与对应的数据治理全流程可视化方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
需要说明的是:上述实施例中提供的数据治理全流程可视化装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要将上述功能分配由不同的功能模块完成,即将数据治理全流程可视化装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
本申请实施例还提供一种电子设备,图4是本申请一个实施例提供的电子设备的结构框图,如图4所示,该电子设备包括处理器和存储器,其中:
处理器,可以包括一个或多个处理核心,比如:4核心处理器、6核心处理器等。处理器可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。
存储器,可以包括高速随机存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡、闪存卡(Flash Card)、至少一个磁盘存储器件、内存器件、或其他易失性固态存储器件。
本实施例的存储器中存储有计算机程序,所述计算机程序可在所述处理器上运行,所述处理器执行所述计算机程序时,可以实现本申请数据治理全流程可视化方法或上述数据治理全流程可视化装置相关实施例中的所有或部分实施步骤,和/或文本中描述的其他内容。
本领域技术人员可以理解,图4仅仅是本申请实施例电子设备的一种可能的实现方式,其他实施方式中,还可以包括更多或更少的部件,或者组合某些部件,或者不同部件,本实施例对此不作限定。
本申请还提供一种计算机存储介质,所述计算机存储介质上存储有程序,所述程序被处理器执行时,用以实现上述数据治理全流程可视化方法实施例的步骤。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种大数据的数据治理全流程可视化方法,其特征在于,所述方法包括:
响应用户触发的数据治理全流程对应的数据配置请求,显示配置界面;
响应用户通过所述配置界面输入的配置信息,对所述数据配置请求所请求的待配置数据进行数据配置;
将完成所述数据配置的数据治理全流程在客户端进行展示,以完成数据治理全流程的可视化。
2.根据权利要求1所述的方法,其特征在于,所述配置信息,包括:
配置数据基本信息、配置数据列表信息和配置数据表查询信息。
3.根据权利要求2所述的方法,其特征在于,所述配置数据基本信息,包括:
配置溯源表单所属数据源、所属数据表或者视图,配置主键字段,配置数据表中文名,所述溯源表单指的是所请求的待配置数据的来源表。
4.根据权利要求2所述的方法,其特征在于,所述配置数据列表信息,包括:
配置数据表列表展示内容,所述展示内容包括:数据列表中字展示段的列宽、展示字段是否显示和数据列表的显示名。
5.根据权利要求2所述的方法,其特征在碍于,所述配置数据表查询信息,包括:
根据不同数据类型生成对应的查询条件,查询字段的标签名、默认文本、是否时间字段。
6.根据权利要求1所述的方法,其特征在于,所述将所述配置完成的数据进行展示,包括:
调用通用接口,在客户端页面进行渲染展示。
7.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
接收用户选择的溯源表单所属数据分类,以对待配置数据进行区分,所述数据分类包括:数据来源部门、数据来源系统、数据主题分类。
8.一种大数据的数据治理全流程可视化装置,其特征在于,包括:
触发响应模块,用于响应用户触发的数据治理全流程对应的数据配置请求,显示配置界面;
数据配置模块,用于响应用户通过所述配置界面输入的配置信息,对所述数据配置请求所请求的待配置数据进行数据配置;
可视化模块,用于将完成所述数据配置的数据治理全流程在客户端进行展示,以完成数据治理全流程的可视化。
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器中存储有程序,所述程序被处理器执行时,用以实现权利要求1-7任一项所述方法的步骤。
10.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有程序,所述程序在被处理器执行时,用以实现权利要求1-7任一项所述方法的步骤。
CN202111246970.6A 2021-10-26 2021-10-26 大数据的数据治理全流程可视化方法、装置及存储介质 Pending CN113987054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111246970.6A CN113987054A (zh) 2021-10-26 2021-10-26 大数据的数据治理全流程可视化方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111246970.6A CN113987054A (zh) 2021-10-26 2021-10-26 大数据的数据治理全流程可视化方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN113987054A true CN113987054A (zh) 2022-01-28

Family

ID=79741477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111246970.6A Pending CN113987054A (zh) 2021-10-26 2021-10-26 大数据的数据治理全流程可视化方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113987054A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905292A (zh) * 2022-12-16 2023-04-04 广东东联信创信息技术有限公司 一种基于大数据的数据治理方法及系统
CN116226108A (zh) * 2023-02-23 2023-06-06 广州大学 可实现不同治理程度的数据治理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299083A (zh) * 2018-10-16 2019-02-01 全球能源互联网研究院有限公司 一种数据治理系统
WO2019041670A1 (zh) * 2017-08-31 2019-03-07 武汉斗鱼网络科技有限公司 一种降低功能页面请求次数的方法、存储介质、设备及系统
CN111506359A (zh) * 2020-03-26 2020-08-07 平安普惠企业管理有限公司 可视化的业务配置方法、装置、设备及存储介质
CN113064917A (zh) * 2021-03-08 2021-07-02 南京苏宁软件技术有限公司 数据查询方法、装置、计算机设备和存储介质
CN113128804A (zh) * 2019-12-30 2021-07-16 北京奇虎科技有限公司 一种数据治理方法、装置、电子设备和可读存储介质
CN113128805A (zh) * 2019-12-30 2021-07-16 北京奇虎科技有限公司 一种流式数据的治理方法、装置、电子设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019041670A1 (zh) * 2017-08-31 2019-03-07 武汉斗鱼网络科技有限公司 一种降低功能页面请求次数的方法、存储介质、设备及系统
CN109299083A (zh) * 2018-10-16 2019-02-01 全球能源互联网研究院有限公司 一种数据治理系统
CN113128804A (zh) * 2019-12-30 2021-07-16 北京奇虎科技有限公司 一种数据治理方法、装置、电子设备和可读存储介质
CN113128805A (zh) * 2019-12-30 2021-07-16 北京奇虎科技有限公司 一种流式数据的治理方法、装置、电子设备和存储介质
CN111506359A (zh) * 2020-03-26 2020-08-07 平安普惠企业管理有限公司 可视化的业务配置方法、装置、设备及存储介质
CN113064917A (zh) * 2021-03-08 2021-07-02 南京苏宁软件技术有限公司 数据查询方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张绍华;焦毅;陈钢;: "支持协同治理的建筑信息模型云平台建模与架构研究", 计算机工程, no. 11, 15 November 2016 (2016-11-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115905292A (zh) * 2022-12-16 2023-04-04 广东东联信创信息技术有限公司 一种基于大数据的数据治理方法及系统
CN116226108A (zh) * 2023-02-23 2023-06-06 广州大学 可实现不同治理程度的数据治理方法及系统

Similar Documents

Publication Publication Date Title
CN108427731B (zh) 页面代码的处理方法、装置、终端设备及介质
CN111275037B (zh) 票据识别方法及装置
EP3020017A1 (en) Method and system for creating tax configuration templates
CN109299129A (zh) 自然语言的数据查询方法、装置、计算机设备及存储介质
CN110765101B (zh) 标签的生成方法、装置、计算机可读存储介质及服务器
WO2022134583A1 (zh) 一种保险数据信息的生成方法、装置、服务器及存储介质
CN113987054A (zh) 大数据的数据治理全流程可视化方法、装置及存储介质
WO2019019702A1 (zh) 算法的生成方法、装置、终端设备及存储介质
CN113360043A (zh) 业务处理方法及设备
CN108897729B (zh) 一种交易模板共享方法、装置、电子设备及存储介质
TW202032466A (zh) 用戶年齡預測方法、裝置及設備
US20230224279A1 (en) Deploying and Utilizing a Dynamic Data Stenciling System with a Smart Linking Engine
CN113139869A (zh) 一种征信授权查询处理方法和装置
US11567635B2 (en) Online collaborative document processing method and device
CN108829882B (zh) 信息收集方法、装置、终端及介质
CN108520401B (zh) 用户名单管理方法、装置、平台及存储介质
CN113268598A (zh) 事件脉络生成方法、装置、终端设备及存储介质
CN111275436A (zh) 一种处理信息的方法及终端
CN115730012A (zh) 一种数据库脱敏方法及系统
CN112181817B (zh) 用于soa架构平台的测试方法及测试装置
CN111124579B (zh) 一种特效渲染方法、装置、电子设备及存储介质
CN110851446B (zh) 数据表的生成方法、装置、计算机设备及存储介质
CN110221756B (zh) 处理应用数据的方法、装置、终端及存储介质
CN114565443A (zh) 数据处理方法、装置、计算机设备和存储介质
CN114201157A (zh) 一种低代码定制目标业务模块的方法以及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination