热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

adg架构设置及其在企业数据治理中的应用

本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。

本文主要分享【adg架构设置】,技术文章【adg不同系统_ADG 增强数据治理】为【汪希旧时光】投稿,如果你遇到相关问题,本文相关知识或能到你。

adg架构设置

背景

近年来,随着信息技术的发展,社会的信息化程度越来越高,企业的IT系统高速发展,渗透到企业的各个业务中,业务系统产生的数据也与日俱增。数据已经成为了企业生产的新动力,为企业的业务增长发挥着至关重要的作用。

企业在利用数据带来业务快速增长的好处,但同时也面临着数据冗余、数据难发现、效率低下、耗费资源等问题,越来越多的问题暴露出来,其中最尖锐的问题可以概况为以下几类:

一个业务系统经过反复几次迭代开发,由于开发人员经过了几次轮换,文档的缺失以及更新不及时,导致最终线上运行系统的数据库库表是怎么样的,没有人能说清楚?生产系统出现问题,开发人员如何读懂以前别人写的sql 处理逻辑,快速定位问题?开发人员为了开发新的需求,重复建立了大量的冗余表,导致数据利用的难度越来越大。

业务系统新版本上线,都会经过开发、系统测试。最后投产上线,如何确保最终投产上线的版本的库表结构与系统测试版本保持一致,避免投产问题出现?

业务系统进行大版本升级、上云服务和微服务治理改造,如何评估业务系统的现有情况和复杂程度?

企业的大数据平台虽然建立了,但各个系统仍然还是孤立建设,只做到了数据原封搬家,数据之间没有实现关联、互补,没有合理关联起数据间的关联,发现其隐含的数据价值,导致数据的利用率降低。

产品定位

为了解决企业面临的这些问题,天云数据公司设计研发了一款系统逻辑探查产品—ADG,基于图数据库使用点、边、属性来表示和存储元数据,建立起元数据的关联关系,打破原本孤立的数据孤岛,统一管理企业数据,让原本各自为政的数据关联起来,发挥出数据隐含的价值。

元数据关联关系分析——获取到数据源后,ADG产品通过SQL解析和图模型建立起统一的元数据关联关系;

元数据关系探查——利用图数据库的关联关系查找,逐层下钻,发现数据间的关联关系,不在让数据孤岛式存在,发挥出更多的数据价值;

系统血缘——构建库、表、字段间的血缘关系,并生成相应的系统血缘分析报告,指引系统升级、迁移、改造等。

设计理念及关键技术

在数据治理领域,一直以来,元数据的管理始终占据着重要的地位,传统方法遇到问题,新技术解决以上问题

大数据时代下,数据已被公认为一项重要的资产。而元数据管理作为数据管理框架中一项重要的管理职能,也越来越多的出现在大家的视野中。

商业价值

为集成开发环境简单性、可靠性、一致性和自定义性的提供保障。

将数据治理纳入系统或应用开发过程,进而企业可以实现更全面,可持续的数据治理计划。

向企业中的人员提供均可以使用的数据视图。

支持更广泛的业务需求及应用需求。

数据血缘和影响分析在治理和风险评估中体现了重要价值,为数据治理提供更直观的数据视图。

ADG如何构建完整数据视图

在应用调用时,常常通过三种方式对数据进行加工或使用,其中包括数据字典的引用,通过schema建立主键、外键及关联关系,及函数与存储过程对数据进行的转化更新。在ADG中,将这三种方式经过不同的拆分与处理,最终生成数据间的完整视图。

首先,通过对数据字典的定义及使用,创建适用于目标的数据体系的参考数据,其中涉及了可使用的元数据,数据类型及取值范围。

其次通过对schema、PK、FK等关联性的分析,对于原始数据库、表及字段的定义进行全面分解整合,通过主外键等关系找出表间存在的关联关系。与此同时,ADG根据不同的使用方式将其进行划分,最终生成数据库间、表间及字段间的七种数据关系。

再次,利用函数和存储过程发现数据转化更新的演变过程。根据两者的可重用性、共享性及可移植性,探索及还原了数据产生、演变、使用及消亡的生命周期。

最终通过以上三步的数据间关系分析,ADG从不同视角实现了对现有数据系统较为完整分解与转化,并且通过所捕获的信息构建了数据完整视图。

数据治理发展趋势的三个代际

第三代:数据治理的核心能力

Ⅰ、字符-【词向量】:用于字符型数据相似性分析。通过计算字符串转换次数,来进行相似度比较。其中转换操作包括替换、插入、删除等。通过计算操作次数,进而获得字符型数据间的相似程度。

Ⅱ、数值-数据冗余分析【相关系数】:用于数值型数据相关性,对当前数据表中的数据进行数值比较计算,计算数据表中数据冗余程度及数据分布情况。

Ⅲ、主体构建【机器学习】:利用机器学习的方式优化系统中的主数据。ADG从多个数据源获取数据,对已知数据进行分析与匹配,通过机器学习的方式,在构建数据实体。在此期间,为确保准确性,还通过自动化和协作的方式进行指定的数据校验。

Ⅳ、数据目录【人工智能】:ADG通过自动化和协作的方式对数据系统构建了数据目录,其通过业务元数据将技术元数据进行丰富,通过数据间的关联关系、数据间的相似性进行数据编目。

Ⅴ、图数据库:通过使用图数据库作为后端存储的一部分,更好的将数据实体与关系进行存储及使用,提高了数据服务效率。

ADG所解决的问题

数据可信度:提升数据的质量、准确性和安全性。

数据可访问性:对于不同人员数据人员,即数据管理者、使用者、运维人员,获取正确数据。

体现数据价值:对数据系统进行统一管理,增加数据使用的能力。

ADG产品功能概览

ADG产品优势

本文《adg不同系统_ADG 增强数据治理》版权归汪希旧时光所有,引用adg不同系统_ADG 增强数据治理需遵循CC 4.0 BY-SA版权协议。


推荐阅读
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • GAMETECH腾讯云游戏行业技术沙龙成都站圆满落幕
    11月13日,由腾讯云主办、游戏茶馆协办的2020年首场GAME-TECH腾讯云游戏行业技术沙龙在成都圆满落幕。本次沙龙邀请了腾讯云游戏行业解决方案总监宋永周、腾讯云游戏行业高级解决方案架构师曾梓恩、腾讯云游戏行业高级产品架构师郑晓曦、腾讯云游戏行业高级解决方案架构师温球良和天美L1(王者荣耀)服务器技术副总监杨光,为参会同行们带来了干货满满的技术建议。本文介绍了腾讯云游戏云的优势和为不同游戏研运场景提供的服务。腾讯云在中国游戏云服务市场领跑,成为众多游戏开发者的合作伙伴。 ... [详细]
  • 从Oracle安全移植到国产达梦数据库的DBA实践与攻略
    随着我国对信息安全和自主可控技术的重视,国产数据库在党政机关、军队和大型央企等行业中得到了快速应用。本文介绍了如何降低从Oracle到国产达梦数据库的技术门槛,保障用户现有业务系统投资。具体包括分析待移植系统、确定移植对象、数据迁移、PL/SQL移植、校验移植结果以及应用系统的测试和优化等步骤。同时提供了移植攻略,包括待移植系统分析和准备移植环境的方法。通过本文的实践与攻略,DBA可以更好地完成Oracle安全移植到国产达梦数据库的工作。 ... [详细]
  • Django + Ansible 主机管理(有源码)
    本文给大家介绍如何利用DjangoAnsible进行Web项目管理。Django介绍一个可以使Web开发工作愉快并且高效的Web开发框架,能够以最小的代价构建和维护高 ... [详细]
  • TiDB | TiDB在5A级物流企业核心系统的应用与实践
    TiDB在5A级物流企业核心系统的应用与实践前言一、业务背景科捷物流概况神州金库简介二、现状与挑战神州金库现有技术体系业务挑战应对方案三、TiDB解决方案测试迁移收益问题四、说在最 ... [详细]
  • 智慧博物馆信息系统建设方案
    3.信息化系统建设3.1博物馆RFID藏品管理系统3.1.1系统概述博物馆藏品保管是一项十分复杂又繁琐的工作。从事保管工作除了经常、及时地进行藏品的登记、分类、编目、保养和修 ... [详细]
  • 基于PgpoolII的PostgreSQL集群安装与配置教程
    本文介绍了基于PgpoolII的PostgreSQL集群的安装与配置教程。Pgpool-II是一个位于PostgreSQL服务器和PostgreSQL数据库客户端之间的中间件,提供了连接池、复制、负载均衡、缓存、看门狗、限制链接等功能,可以用于搭建高可用的PostgreSQL集群。文章详细介绍了通过yum安装Pgpool-II的步骤,并提供了相关的官方参考地址。 ... [详细]
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • 如何使用代理服务器进行网页抓取?
    本文介绍了如何使用代理服务器进行网页抓取,并探讨了数据驱动对竞争优势的重要性。通过网页抓取,企业可以快速获取并分析大量与需求相关的数据,从而制定营销战略。同时,网页抓取还可以帮助电子商务公司在竞争对手的网站上下载数百页的有用数据,提高销售增长和毛利率。 ... [详细]
  • GPT-3发布,动动手指就能自动生成代码的神器来了!
    近日,OpenAI发布了最新的NLP模型GPT-3,该模型在GitHub趋势榜上名列前茅。GPT-3使用的数据集容量达到45TB,参数个数高达1750亿,训练好的模型需要700G的硬盘空间来存储。一位开发者根据GPT-3模型上线了一个名为debuid的网站,用户只需用英语描述需求,前端代码就能自动生成。这个神奇的功能让许多程序员感到惊讶。去年,OpenAI在与世界冠军OG战队的表演赛中展示了他们的强化学习模型,在限定条件下以2:0完胜人类冠军。 ... [详细]
  • 老牌医药收割AI红利:先投个15亿美元抢中国人才
    萧箫发自凹非寺量子位报道|公众号QbitAI没想到,一场大会把我的“刻板印象”攻破了。2021世界人工智能大会现场,能看见不少熟悉的身影, ... [详细]
  • 【回顾】聚焦DTCC | 巨杉数据库与您相约DTCC 数据库技术大会
    2018年5月10-12日,第九届中国数据库技术大会(DTCC2018)将以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余 ... [详细]
  • 本人学习笔记,知识点均摘自于网络,用于学习和交流(如未注明出处,请提醒,将及时更正,谢谢)OS:我学习是为了上 ... [详细]
  • 人工智能推理能力与假设检验
    最近Google的Deepmind开始研究如何让AI做数学题。这个问题的提出非常有启发,逻辑推理,发现新知识的能力应该是强人工智能出现自我意识之前最需要发展的能力。深度学习目前可以 ... [详细]
author-avatar
针箍投药_996
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有