热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

面向数据中台的数据治理(上)

数据中台是今年的热门话题,从一个数据治理的角度,阐述数据治理与中台的关系,以及具体的实施手段。与同学共同探讨,

第一篇:梳理业务和数据




题记

数据中台是今年的热门话题,从一个数据治理的角度,阐述数据治理与中台的关系,以及具体的实施手段。与同学共同探讨,欢迎指正,共同进步。




中台实际是一种思想和模式,其核心思想是使企业或组织的资源进行组合和重用,最大限度的复用资源,加速前端业务的敏捷和创新。既然是一种思想,那么现实中就早已有大量的实践,比如中台的数据链系统,现代军队的班级单位可以通过信息化调度火炮/导弹等进行精确打击,提升了战场应变能力;通过中台的电商平台,一个偏远山区的大妈织的锦就可以行销全球,物流支付信用都有中台服务提供,这些都是中台模式的强大威力。所以整体来说,随着社会大生产分工越来越细,中台模式是社会生产发展的必然趋势,比如计算能力(云计算),支付能力(API Bank),后勤能力等等,越来越呈现社会化大生产组织的中台模式,能够迎合这个趋势是企业的业务战略和创新的主要方向。


让我们脚踏实地回到具体工作。对于IT部门来说,如何实现数据中台是各位思考的问题。阿里作为一个互联网企业,电商业务,面向2C用户,强IT属性,业务创新驱动,我想这些条件与大量传统企业有所不同的。所以我们重点探讨几个关键问题:

1、业务问题

你的企业哪些业务像电商那样具有相似模式,可能是面对的同一类用户,或者是其他相关联业务对象呢。如果有的话,那就很大的价值潜力可挖。

2、人的问题

企业的IT水平如何,主要是业务的数字化能力,IT的掌控和服务能力。我们应该客观认识到,中台模式是企业数字化和信息化的高阶模式,如果企业从来没做过数据仓库,业务对数据驱动没什么概念,那要是直接中台了,甚至是AI中台,就有点穿越了,做起来难,用起来也难。正确的做法是从治理着手,一步步把数据管起来和用起来,同时把人培养起来。事实上,数据建模人才是中台的关键,企业需要培养自己的数据架构师,核心业务建模能力靠外包和空降都是很难见效的。

3、数据的问

中台是业务和数据的双驱动模式,数据治理水平决定了中台的整合能力。如果企业的基础数据模型比较混乱,没有具备数据架构和业务抽象能力的人才,那基本上比较困难。阿里的人才能力和数据能力积累到了一定的水平,做这个事情仍然需要有勇气的人来担纲完成。


那么,在企业的数据基础一般,人力资源不足的情况下,如何来落地实施自己的数据中台战略呢,我总结可以分这么几步完成。

第一步,盘点业务和数据

为什么要有这一步,阿里的经典经验里并没有着重提及这一块。究其原因是过去我们大多数的企业在数据这一块的管理是不够的,构建业务时,并没有遵循业务模型->逻辑模型->物理模型的系统化和规范化的建设思路,今天我们想整合业务数据的话,第一件事就是对数据进行逆向业务建模,目标是构建出数据与业务的关联关系。这是为数据中台摸清基础数据,所做的补历史欠账的工作,这一块希望随着企业IT治理水平的提升,通过规范化运营和管理,使基础模型成为企业数据与业务对应的中间层,为数据中台的敏捷运营奠定前提。


所以这一块的工作内容主要是盘点清楚数据资产,业务属性以及业务数据,它是企业架构工作的一部分,为了构建整合数据层,我们选择核心的业务流程和基础建模工作。

1、梳理业务流程  

业务架构是把企业的业务战略转化为日常运作的渠道,包括业务流程、信息、人员、位置、事件活动和业务战略目标,具体请参考Zachman和TOGAF的经典理论。然而由于设计和维护上的难度,业务架构的管理普遍不甚理想,那么也不用担心,本文提到的业务架构实施与经典理论的要求其实是不同的,对于数据中台来说,只需要简化的业务架构即可。简化的业务架构是充当业务与技术之间的桥梁,使用业务域和数据域的坐标框架体系,为数据的业务对象抽象和数据对象的管理,提供有效的实现路径,而这也是抽象业务需求,进行数据建模的必备知识。

(数据对象的业务坐标系)
工作重点是梳理业务流程,就是盘点企业主要的业务职能,业务流程,业务对象。与传统EA工作内容相比,可以在梳理的粒度上进行控制,以主要的业务对象为中心,避免陷入旷日持久的后台工作而不见成效。

2、梳理基础数据模型 

根据业务架构和业务流程的规划,进行主要业务域和数据域的定义。基础模型的作用就是对原系统数据进行数据盘点,将业务流程和业务对象进行物理层数据的映射,建立数据与业务的关联关系,为中台的整合模型打下基础。


  • 构建模型主题,基础模型的主题可以对应到一个业务流程或者主要的业务活动,粒度可以根据业务的重要程度而定。

  • 定位业务对象的物理对象,梳理物理对象的业务属性,排除非业务属性,建立业务对象和物理对象的关系。

  • 复建物理对象之间的业务关系,也就是主外键关系,进行数据拉通的准备。这一部分工作非常重要。

  • 建立数据标准,通过盘点业务属性信息,建立企业的数据标准,过程中进行同名不同义的统一。这即为排除重复业务属性,也是企业长期数据建设的规范。


限于篇幅,无法将工作的粒度展开。行文至此,已经盘点清晰了现状的数据资产,可以做到从业务找到数据,也可以反之。技术可以拿着清单与业务讨论需求,共同甄别不同域的客户统一问题,这为数据中台的整合层构建打下基础。


后记:数据模型的整合过程,请见第二篇:构建数据资产;至于盘点过程,盘点工具,策略选则等,请见本文的第三篇:数据盘点和常态运营。


关于Datablau

Datablau创建于2016年,核心创始和研发团队全部来自于原CA erwin,天然具有世界级产品厂商的血缘和水准,是国内数据治理的第一品牌。依托多年的行业积累和技术沉淀,Datablau在产品设计层面充分发挥了后天优势,实现了集数据建模、数据目录、数据质量和数据准备为一体的企业级数据治理平台,全面满足企业对于数据治理的客观需求。

目前Datablau在嘉实基金、中国人寿、国电大渡河和四川航空等大型客户得到实际应用并深受好评,客户范围已经覆盖到银行、保险、制造业和能源行业等核心领域,Datablau已成为企 业数据治理领域的领导厂商。


原创文章作者

朱金宝  CTO

目前供职于北京数语科技有限公司,实施了多家大型企事业单位的数据治理项目,有丰富的企业数据管理工具开发经验。前ERwin总架构师,10年ERwin研发经验,负责产品全生命周期的发布,丰富产品发布和架构设计经验,多个大数据建模专利所有者和技术文章作者。

延伸阅读

EDW2019-国际数据管理最新趋势(二)

EDW2019-国际数据管理最新趋势(一)

EDW2019-国际数据管理最新趋势(三)

基础数据标准落标白皮书(上)

基础数据标准落标白皮书(下)

数据建模-今天还需要数据建模吗



推荐阅读
  • flowable工作流 流程变量_信也科技工作流平台的技术实践
    1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下:目前OA流程引擎无法满足企业特定业务流程需求,且移动端体 ... [详细]
  • BPM是什么软件?1、BPM是BusinessProcessManagement的简称,译为业务流程管理,它是一种以规范化的构造端到端的卓越业务流程为中心以持续的提高组织业务绩效为 ... [详细]
  • TiDB | TiDB在5A级物流企业核心系统的应用与实践
    TiDB在5A级物流企业核心系统的应用与实践前言一、业务背景科捷物流概况神州金库简介二、现状与挑战神州金库现有技术体系业务挑战应对方案三、TiDB解决方案测试迁移收益问题四、说在最 ... [详细]
  • 朱晔的互联网架构实践心得S1E7:三十种架构设计模式(上)【下载本文PDF进行阅读】设计模式是前人通过大量的实践总结出来的一些经验总结和最佳实践。在经过多年的软件开发实践之后,回过头 ... [详细]
  • 寻求更强大的身份和访问管理(IAM)平台的企业正在转向云,并接受身份即服务(IDaaS)的灵活性。要为IAM选择正确的场外解决方案,业务管理人员和IT专业人员必须在实施之前评估安全 ... [详细]
  • 【回顾】聚焦DTCC | 巨杉数据库与您相约DTCC 数据库技术大会
    2018年5月10-12日,第九届中国数据库技术大会(DTCC2018)将以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余 ... [详细]
  • Java工程师书单(初级,中级,高级)
    简介怎样学习才能从一名Java初级程序员成长为一名合格的架构师,或者说一名合格的架构师应该有怎样的技术知识体系,这是不仅一个刚刚踏入职场的初级程序员也是工作一两年之后开始迷茫的程序 ... [详细]
  • 软件测试工程师,需要达到什么水平才能顺利拿到 20k+ 无压力?
    前言最近看到很多应届生晒offer,稍有名气点的公司给出的价格都是一年30多W或者月薪20几k,相比之下工作几年的自己薪资确实很寒酸.根据我自己找工作经历,二线城市一般小公司招聘 ... [详细]
  • 云原生SRE
    序言年底了,没有分手的朋友的赶紧分了,所谓新年新气象,年年不重样。去留无意,望看风卷残云。。。运维不会消失,但 ... [详细]
  • Spring MVC 浅谈
    大学时写的的文章,当时文章水平略差,大家见谅。MVC这个词儿,最早的定义应该是作为一种软件架构设计模式出现在软工里面的,即使用model、view、controller来设计及定 ... [详细]
  • 物联网应用介绍
    •物联网的研究背景(概念|本质|特征|发展现状)       物联网是新一代信息技术的高度集成和综合运用,已成为全球新一轮科技革命与产业变革的核心驱动和经济社会绿色、智能、可持续发 ... [详细]
  • 出现_史上最大漏洞出现,你的安卓iPhone电脑都不安全了!
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了史上最大漏洞出现,你的安卓iPhone电脑都不安全了!相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 数据库异常智能分析与诊断
    数据库,异常, ... [详细]
  • 基于事件驱动的并发编程及其消息通信机制的同步与异步、阻塞与非阻塞、IO模型的分类
    本文介绍了基于事件驱动的并发编程中的消息通信机制,包括同步和异步的概念及其区别,阻塞和非阻塞的状态,以及IO模型的分类。同步阻塞IO、同步非阻塞IO、异步阻塞IO和异步非阻塞IO等不同的IO模型被详细解释。这些概念和模型对于理解并发编程中的消息通信和IO操作具有重要意义。 ... [详细]
  • 本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面,并总结了项目存在的问题,如前后端未分离、代码混乱等。作者表示希望通过记录和规划,能够理清思路,进一步完善该平台。 ... [详细]
author-avatar
exit佑
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有