热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

adg架构设置及其在企业数据治理中的应用

本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。

本文主要分享【adg架构设置】,技术文章【adg不同系统_ADG 增强数据治理】为【汪希旧时光】投稿,如果你遇到相关问题,本文相关知识或能到你。

adg架构设置

背景

近年来,随着信息技术的发展,社会的信息化程度越来越高,企业的IT系统高速发展,渗透到企业的各个业务中,业务系统产生的数据也与日俱增。数据已经成为了企业生产的新动力,为企业的业务增长发挥着至关重要的作用。

企业在利用数据带来业务快速增长的好处,但同时也面临着数据冗余、数据难发现、效率低下、耗费资源等问题,越来越多的问题暴露出来,其中最尖锐的问题可以概况为以下几类:

一个业务系统经过反复几次迭代开发,由于开发人员经过了几次轮换,文档的缺失以及更新不及时,导致最终线上运行系统的数据库库表是怎么样的,没有人能说清楚?生产系统出现问题,开发人员如何读懂以前别人写的sql 处理逻辑,快速定位问题?开发人员为了开发新的需求,重复建立了大量的冗余表,导致数据利用的难度越来越大。

业务系统新版本上线,都会经过开发、系统测试。最后投产上线,如何确保最终投产上线的版本的库表结构与系统测试版本保持一致,避免投产问题出现?

业务系统进行大版本升级、上云服务和微服务治理改造,如何评估业务系统的现有情况和复杂程度?

企业的大数据平台虽然建立了,但各个系统仍然还是孤立建设,只做到了数据原封搬家,数据之间没有实现关联、互补,没有合理关联起数据间的关联,发现其隐含的数据价值,导致数据的利用率降低。

产品定位

为了解决企业面临的这些问题,天云数据公司设计研发了一款系统逻辑探查产品—ADG,基于图数据库使用点、边、属性来表示和存储元数据,建立起元数据的关联关系,打破原本孤立的数据孤岛,统一管理企业数据,让原本各自为政的数据关联起来,发挥出数据隐含的价值。

元数据关联关系分析——获取到数据源后,ADG产品通过SQL解析和图模型建立起统一的元数据关联关系;

元数据关系探查——利用图数据库的关联关系查找,逐层下钻,发现数据间的关联关系,不在让数据孤岛式存在,发挥出更多的数据价值;

系统血缘——构建库、表、字段间的血缘关系,并生成相应的系统血缘分析报告,指引系统升级、迁移、改造等。

设计理念及关键技术

在数据治理领域,一直以来,元数据的管理始终占据着重要的地位,传统方法遇到问题,新技术解决以上问题

大数据时代下,数据已被公认为一项重要的资产。而元数据管理作为数据管理框架中一项重要的管理职能,也越来越多的出现在大家的视野中。

商业价值

为集成开发环境简单性、可靠性、一致性和自定义性的提供保障。

将数据治理纳入系统或应用开发过程,进而企业可以实现更全面,可持续的数据治理计划。

向企业中的人员提供均可以使用的数据视图。

支持更广泛的业务需求及应用需求。

数据血缘和影响分析在治理和风险评估中体现了重要价值,为数据治理提供更直观的数据视图。

ADG如何构建完整数据视图

在应用调用时,常常通过三种方式对数据进行加工或使用,其中包括数据字典的引用,通过schema建立主键、外键及关联关系,及函数与存储过程对数据进行的转化更新。在ADG中,将这三种方式经过不同的拆分与处理,最终生成数据间的完整视图。

首先,通过对数据字典的定义及使用,创建适用于目标的数据体系的参考数据,其中涉及了可使用的元数据,数据类型及取值范围。

其次通过对schema、PK、FK等关联性的分析,对于原始数据库、表及字段的定义进行全面分解整合,通过主外键等关系找出表间存在的关联关系。与此同时,ADG根据不同的使用方式将其进行划分,最终生成数据库间、表间及字段间的七种数据关系。

再次,利用函数和存储过程发现数据转化更新的演变过程。根据两者的可重用性、共享性及可移植性,探索及还原了数据产生、演变、使用及消亡的生命周期。

最终通过以上三步的数据间关系分析,ADG从不同视角实现了对现有数据系统较为完整分解与转化,并且通过所捕获的信息构建了数据完整视图。

数据治理发展趋势的三个代际

第三代:数据治理的核心能力

Ⅰ、字符-【词向量】:用于字符型数据相似性分析。通过计算字符串转换次数,来进行相似度比较。其中转换操作包括替换、插入、删除等。通过计算操作次数,进而获得字符型数据间的相似程度。

Ⅱ、数值-数据冗余分析【相关系数】:用于数值型数据相关性,对当前数据表中的数据进行数值比较计算,计算数据表中数据冗余程度及数据分布情况。

Ⅲ、主体构建【机器学习】:利用机器学习的方式优化系统中的主数据。ADG从多个数据源获取数据,对已知数据进行分析与匹配,通过机器学习的方式,在构建数据实体。在此期间,为确保准确性,还通过自动化和协作的方式进行指定的数据校验。

Ⅳ、数据目录【人工智能】:ADG通过自动化和协作的方式对数据系统构建了数据目录,其通过业务元数据将技术元数据进行丰富,通过数据间的关联关系、数据间的相似性进行数据编目。

Ⅴ、图数据库:通过使用图数据库作为后端存储的一部分,更好的将数据实体与关系进行存储及使用,提高了数据服务效率。

ADG所解决的问题

数据可信度:提升数据的质量、准确性和安全性。

数据可访问性:对于不同人员数据人员,即数据管理者、使用者、运维人员,获取正确数据。

体现数据价值:对数据系统进行统一管理,增加数据使用的能力。

ADG产品功能概览

ADG产品优势

本文《adg不同系统_ADG 增强数据治理》版权归汪希旧时光所有,引用adg不同系统_ADG 增强数据治理需遵循CC 4.0 BY-SA版权协议。


推荐阅读
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 从Oracle安全移植到国产达梦数据库的DBA实践与攻略
    随着我国对信息安全和自主可控技术的重视,国产数据库在党政机关、军队和大型央企等行业中得到了快速应用。本文介绍了如何降低从Oracle到国产达梦数据库的技术门槛,保障用户现有业务系统投资。具体包括分析待移植系统、确定移植对象、数据迁移、PL/SQL移植、校验移植结果以及应用系统的测试和优化等步骤。同时提供了移植攻略,包括待移植系统分析和准备移植环境的方法。通过本文的实践与攻略,DBA可以更好地完成Oracle安全移植到国产达梦数据库的工作。 ... [详细]
  • Django + Ansible 主机管理(有源码)
    本文给大家介绍如何利用DjangoAnsible进行Web项目管理。Django介绍一个可以使Web开发工作愉快并且高效的Web开发框架,能够以最小的代价构建和维护高 ... [详细]
  • TiDB | TiDB在5A级物流企业核心系统的应用与实践
    TiDB在5A级物流企业核心系统的应用与实践前言一、业务背景科捷物流概况神州金库简介二、现状与挑战神州金库现有技术体系业务挑战应对方案三、TiDB解决方案测试迁移收益问题四、说在最 ... [详细]
  • 提供:ZStack云计算原创2016-12-26张鑫讲师介绍张鑫ZStack总架构师、联合创始人《系统虚拟化》主要作者,曾任职Intel开源软件技术中心 ... [详细]
  • OpenStackQ版本已经发布了一段时间了。今天,小编来总结一下OpenStackQ版本核心组件的各项主要新功能,再来汇总一下最近2年来OpenStackN、O、P、Q各版本核心 ... [详细]
  • Java String与StringBuffer的区别及其应用场景
    本文主要介绍了Java中String和StringBuffer的区别,String是不可变的,而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象,内存使用上要优于String类。因此,在需要频繁对字符串进行修改的情况下,使用StringBuffer更加适合。同时,文章还介绍了String和StringBuffer的应用场景。 ... [详细]
  • GAMETECH腾讯云游戏行业技术沙龙成都站圆满落幕
    11月13日,由腾讯云主办、游戏茶馆协办的2020年首场GAME-TECH腾讯云游戏行业技术沙龙在成都圆满落幕。本次沙龙邀请了腾讯云游戏行业解决方案总监宋永周、腾讯云游戏行业高级解决方案架构师曾梓恩、腾讯云游戏行业高级产品架构师郑晓曦、腾讯云游戏行业高级解决方案架构师温球良和天美L1(王者荣耀)服务器技术副总监杨光,为参会同行们带来了干货满满的技术建议。本文介绍了腾讯云游戏云的优势和为不同游戏研运场景提供的服务。腾讯云在中国游戏云服务市场领跑,成为众多游戏开发者的合作伙伴。 ... [详细]
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • 如何使用代理服务器进行网页抓取?
    本文介绍了如何使用代理服务器进行网页抓取,并探讨了数据驱动对竞争优势的重要性。通过网页抓取,企业可以快速获取并分析大量与需求相关的数据,从而制定营销战略。同时,网页抓取还可以帮助电子商务公司在竞争对手的网站上下载数百页的有用数据,提高销售增长和毛利率。 ... [详细]
  • 如何利用 Myflash 解析 binlog ?
    本文主要介绍了对Myflash的测试,从准备测试环境到利用Myflash解析binl ... [详细]
  • mysql自动打开文件_让docker中的mysql启动时自动执行sql文件
    本文提要本文目的不仅仅是创建一个MySQL的镜像,而是在其基础上再实现启动过程中自动导入数据及数据库用户的权限设置,并且在新创建出来的容器里自动启动My ... [详细]
  • 用LGWR WORKER的例子介绍strace分析Oracle数据库行为的方法
    可观测性能力是IT运维的强有力的支撑。日志告警、指标是两种在运维中很常用的可观测性指标。 ... [详细]
  • 1Oracle三层权限体系【复习】1、Oracle的权限体系划分为三个层次 ... [详细]
  • 智慧博物馆信息系统建设方案
    3.信息化系统建设3.1博物馆RFID藏品管理系统3.1.1系统概述博物馆藏品保管是一项十分复杂又繁琐的工作。从事保管工作除了经常、及时地进行藏品的登记、分类、编目、保养和修 ... [详细]
author-avatar
针箍投药_996
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有