adg架构设置及其在企业数据治理中的应用

本文主要分享【adg架构设置】，技术文章【adg不同系统_ADG 增强数据治理】为【汪希旧时光】投稿，如果你遇到相关问题，本文相关知识或能到你。

adg架构设置

背景

近年来，随着信息技术的发展，社会的信息化程度越来越高，企业的IT系统高速发展，渗透到企业的各个业务中，业务系统产生的数据也与日俱增。数据已经成为了企业生产的新动力，为企业的业务增长发挥着至关重要的作用。

企业在利用数据带来业务快速增长的好处，但同时也面临着数据冗余、数据难发现、效率低下、耗费资源等问题，越来越多的问题暴露出来，其中最尖锐的问题可以概况为以下几类：

一个业务系统经过反复几次迭代开发，由于开发人员经过了几次轮换，文档的缺失以及更新不及时，导致最终线上运行系统的数据库库表是怎么样的，没有人能说清楚？生产系统出现问题，开发人员如何读懂以前别人写的sql 处理逻辑，快速定位问题？开发人员为了开发新的需求，重复建立了大量的冗余表，导致数据利用的难度越来越大。

业务系统新版本上线，都会经过开发、系统测试。最后投产上线，如何确保最终投产上线的版本的库表结构与系统测试版本保持一致，避免投产问题出现？

业务系统进行大版本升级、上云服务和微服务治理改造，如何评估业务系统的现有情况和复杂程度？

企业的大数据平台虽然建立了，但各个系统仍然还是孤立建设，只做到了数据原封搬家，数据之间没有实现关联、互补，没有合理关联起数据间的关联，发现其隐含的数据价值，导致数据的利用率降低。

产品定位

为了解决企业面临的这些问题，天云数据公司设计研发了一款系统逻辑探查产品—ADG，基于图数据库使用点、边、属性来表示和存储元数据，建立起元数据的关联关系，打破原本孤立的数据孤岛，统一管理企业数据，让原本各自为政的数据关联起来，发挥出数据隐含的价值。

元数据关联关系分析——获取到数据源后，ADG产品通过SQL解析和图模型建立起统一的元数据关联关系；

元数据关系探查——利用图数据库的关联关系查找，逐层下钻，发现数据间的关联关系，不在让数据孤岛式存在，发挥出更多的数据价值；

系统血缘——构建库、表、字段间的血缘关系，并生成相应的系统血缘分析报告，指引系统升级、迁移、改造等。

设计理念及关键技术

在数据治理领域，一直以来，元数据的管理始终占据着重要的地位，传统方法遇到问题，新技术解决以上问题

大数据时代下，数据已被公认为一项重要的资产。而元数据管理作为数据管理框架中一项重要的管理职能，也越来越多的出现在大家的视野中。

商业价值

为集成开发环境简单性、可靠性、一致性和自定义性的提供保障。

将数据治理纳入系统或应用开发过程，进而企业可以实现更全面，可持续的数据治理计划。

向企业中的人员提供均可以使用的数据视图。

支持更广泛的业务需求及应用需求。

数据血缘和影响分析在治理和风险评估中体现了重要价值，为数据治理提供更直观的数据视图。

ADG如何构建完整数据视图

在应用调用时，常常通过三种方式对数据进行加工或使用，其中包括数据字典的引用，通过schema建立主键、外键及关联关系，及函数与存储过程对数据进行的转化更新。在ADG中，将这三种方式经过不同的拆分与处理，最终生成数据间的完整视图。

首先，通过对数据字典的定义及使用，创建适用于目标的数据体系的参考数据，其中涉及了可使用的元数据，数据类型及取值范围。

其次通过对schema、PK、FK等关联性的分析，对于原始数据库、表及字段的定义进行全面分解整合，通过主外键等关系找出表间存在的关联关系。与此同时，ADG根据不同的使用方式将其进行划分，最终生成数据库间、表间及字段间的七种数据关系。

再次，利用函数和存储过程发现数据转化更新的演变过程。根据两者的可重用性、共享性及可移植性，探索及还原了数据产生、演变、使用及消亡的生命周期。

最终通过以上三步的数据间关系分析，ADG从不同视角实现了对现有数据系统较为完整分解与转化，并且通过所捕获的信息构建了数据完整视图。

数据治理发展趋势的三个代际

第三代：数据治理的核心能力

Ⅰ、字符-【词向量】：用于字符型数据相似性分析。通过计算字符串转换次数，来进行相似度比较。其中转换操作包括替换、插入、删除等。通过计算操作次数，进而获得字符型数据间的相似程度。

Ⅱ、数值-数据冗余分析【相关系数】：用于数值型数据相关性，对当前数据表中的数据进行数值比较计算，计算数据表中数据冗余程度及数据分布情况。

Ⅲ、主体构建【机器学习】：利用机器学习的方式优化系统中的主数据。ADG从多个数据源获取数据，对已知数据进行分析与匹配，通过机器学习的方式，在构建数据实体。在此期间，为确保准确性，还通过自动化和协作的方式进行指定的数据校验。

Ⅳ、数据目录【人工智能】：ADG通过自动化和协作的方式对数据系统构建了数据目录，其通过业务元数据将技术元数据进行丰富，通过数据间的关联关系、数据间的相似性进行数据编目。

Ⅴ、图数据库：通过使用图数据库作为后端存储的一部分，更好的将数据实体与关系进行存储及使用，提高了数据服务效率。

ADG所解决的问题

数据可信度：提升数据的质量、准确性和安全性。

数据可访问性：对于不同人员数据人员，即数据管理者、使用者、运维人员，获取正确数据。

体现数据价值：对数据系统进行统一管理，增加数据使用的能力。

ADG产品功能概览

ADG产品优势

本文《adg不同系统_ADG 增强数据治理》版权归汪希旧时光所有，引用adg不同系统_ADG 增强数据治理需遵循CC 4.0 BY-SA版权协议。