热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

数据中台POC演示流程

数据中台POC是基于公司MDM、ESB和DAP三款核心产品搭建的集成环境,主要实现基于数据治理分析的中台建设,通过MDM主数据平台进行基础数据治理&#x

数据中台POC是基于公司MDM、ESB和DAP三款核心产品搭建的集成环境,主要实现基于数据治理分析的中台建设,通过MDM主数据平台进行基础数据治理,通过DAP数据分析平台进行数仓建设和数据分析展现,而ESB通过数据集成完成主数据的同步分发和数仓的数据汇聚。该环境可以用于测试产品功能;可以用于总结项目中的集成模式;可以用于对外的产品演示。

由于该环境是数据中台的模式,不同于单纯的产品,所以在对整个环境进行演示时需要从业务的角度出发,基于实际业务实现的数据治理分析,通过结合业务将各个产品融合成一体,避免将产品割裂开来或者单独对产品功能细节做过多介绍。考虑到后续环境演示的需要,对整个环境演示的方式、流程和注意事项进行了总结


1总体说明

数据中台POC主要包含MDM、DAP、ESB三个核心产品,部署环境采用K8S云平台部署,MDM实现基础数据管理,业务数据通过模拟业务数据库实现,通过ESB进行数据集成,实现基础数据、业务数据的同步分发与汇聚。


1.1中台价值

数据中台主要是打通企业的数据环节,实现全生命周期的数据管理,通过数据中台建设数据管理体系,实现各个业务系统数据的有效整合,通过基础数据治理保证底层基础数据的一致性,基于业务指标进行前端的动态展现,结合数据指标的多维度穿透,实现以不同形式、不同维度的分析展现。分析业务指标的同时也是对企业业务的梳理,发现业务中存在的问题,实现企业业务升级与转型,保证领导层能实时把控企业业务的发展,了解业务痛点,改进业务管理方式,实现业务与数据的相互支撑,从而为企业的高层决策提供数据支持。


1.2中台特点 

数据中台POC的方案是基于统一服务、统一主数据和数据分析为一体的数据解决方案,在有效解决企业数据治理分析的难题的同时,也能帮助企业深度挖掘数据价值,从而实现系统数据的最大化利用。 

1.数据管理体系,基于ESB进行数据采集,基础数据由主数据进行统一维护、建立标准,同时支持分发下游业务进行标准统一;业务数据通过数仓模型在数仓中进行落地,同时基于模型对外提供数据接口,或者通过数据模型建立分析模型进行接口提供;基于基础数据和业务指标建立基础数据、业务数据治理分析体系,从IT架构层面为企业信息化建设奠定基础;

2.建立基础数据治理,不是将各个业务系统的基础数据进行映射,而是建立主数据的维护体系,实现全生命周期管理,实现各系统基础数据同源、编码一致,保证后续系统数据的长久一致性; 

3.基于指标的数仓建设,以业务指标为核心的数据仓库,根据企业的业务进行业务指标的制定与分析,可以从时间、项目、组织等不同维度对同一指标进行数据分析,可以分析指标的数据变化,从而实现数据分析与预测; 

4.服务标准化管理,通过ESB实现中台体系中各平台的无缝融合,可以实现数据同步、分发、汇聚等业务服务快速开发、注册、管理、监控与运维,一键生成、一键部署、实施监控,是运维人员更精准的把握平台运行情况; 

5.云平台部署方案,采用K8S云平台部署,提供统一的运维管理平台,可以实现集群、环境、产品等快速维护、升级,支持通过命名空间进行环境隔离,并且实现开发、测试、发布、生产等环境的数据推送、灰度升级。 


1.3产品清单 

1.数据中台POC主要涉及四款产品,三款核心产品MDM、DAP和ESB,一款集群管理平台UMC; 

2.UMC:主要支持管理K8S集群,部署产品以及对产品升级进行维护,同时支持ESB设计器连接云平台进行流程开发; 

3.MDM:管理基础数据,包括组织、岗位、人员、客户、供应商等,其中组织、岗位、人员支持同步、分发实现主数据治理,同时所有主数据汇聚到数仓维表支持数据分析; 

4.DAP:数仓建设,维表来源于MDM平台,事实表通过模拟业务系统表获取;数据分析,基于数仓进行数据集、立方体配置,构建数据的图形化展现以及数据报表。 


1.4部署架构 

整体采用K8S云平台部署,部署架构图如下: 

采用三台服务器(1个master+2个worker)进行部署,其中master主要负责集群管理以及UMC、数据库、Nginx、NFS客户端等,worker除部署NFS客户端外,主要负责部署各个产品的容器。 


2演示流程 

数据中台POC的演示要从业务角度出发,一般从DAP开始演示,通过DAP的看板展现回溯数仓建设以及源头系统的数据管理,再到基础数据治理的过程、数据同步分发的过程。 


2.1演示要求 

1.方案演示不同于产品演示,要将各个产品有效融合,体现方案的价值以及有效的业务支持; 

2.数据中台要强调对业务的支撑,尽量从业务角度出发,结合业务才能更好地体现出数据中台方案的优势和优越性; 

3.演示要注意面向对象,数据中台更多面向高层,所以演示时要体现业务视角,通过数据中台能解决的实际业务问题;强调业务主题、业务指标的梳理分析,如何明确、如何管理,以及基于业务的分析展现,如何实现指标的关联、穿透; 

4.主数据管理是全生命周期的管理,包括申请、变更、发布、归档,数据同源、清洗、校验,血缘分析、统计分析、数据审计等; 

5.演示过程中要注意各产品的融合,不必拘泥于产品的功能,要将产品的各项功能融合起来,可以交叉进行功能演示以满足实际业务为首要; 

6.不必面面俱到,体现产品的融合体系,对重点功能进行演示说明,功能细节不必都操作一遍,口述有对应的功能即可。 


2.2总体流程 

演示流程如下: 

1.从DAP分析展现开始,基于数据看板到数仓建设、指标管理,业务主题、数仓模型、指标管理的分析梳理是重点; 

2.基于数仓分成维表和事实表,维表来源于MDM,事实表来源于模型业务数据; 

3.从DAP过渡到MDM演示数仓的汇聚过程,基于MDM进行数据变更,通过ESB的数据集成生成数仓的汇聚流程,再通过分析模型在DAP看板中直接展现; 

4.通过MDM平台介绍主数据模型的维护方式,全生命周期管理、数据校验、数据分析、数据审计等; 

5.在模型业务系统进行基础数据操作,通过ESB的数据同步流程同步至MDM平台,并通过MDM的分发任务分发至DAP的组织或人员中。 


2.3数据分析 

数据分析以DAP平台为主,结合MDM平台实现数仓构建以及分析看板的数据展现,显示过程中通过快速变更、汇聚数据体现分析的效果。 

1.首先进入DAP的分析看板,进行看板效果的展现; 

2.看板数据来源于数仓,直接进入DAP后台管理的数仓配置,对业务主题、数仓模型、分析指标进行梳理和说明; 

3.基于元数据的数仓建设,通过维表、事实表进行数仓管理,维表数据来源于MDM平台,通过MDM同步至ODS,再汇聚到数仓中; 

4.切换ESB的SMC和设计器,演示ESB快速实现数据集成,并能直接在DAP中生成调度流程,配置调度任务; 

5.切换MDM平台,选择一类主数据进行数据管理,强调主数据的全生命周期管理,申请、变更、发布、归档,基于元数据的数据模型管理,分析模型配置,同时支持编码规则、校验规则的处理; 

6.对主数据进行数据变更或新增操作,手动调用DAP的调度任务实现数据汇聚,从分析看板中直接查看数据变化的效果; 

7.切换DAP后台管理,从数仓模型到分析模型的配置,以及对于数据算法、数据血缘等功能的说明,强调数据资产。 


2.4数据治理 

数据治理以MDM为主,通过ESB实现数据的同步和分发,数据治理的演示有两种方式,一种是在演示数据分析时,介绍MDM的主数据管理时,介绍MDM的治理过程,通过ESB构建集成流程,从源头系统同步至主数据平台,再由主数据进行分发和汇聚两个过程;第二种是独立于数据分析单独进行数据治理演示,演示从源头到MDM,再分发DAP系统管理的过程。 

1.首先从MDM的管理功能出发,以组织或人员为例,演示MDM的组织、人员管理; 

2.切换ESB介绍ESB的服务注册、应用集成,通过设计器快速生成集成流程并支持预警报警、流程监控、统计分析等; 

3.从模型的数据表选择一条数据,通过SMC的集成流程进行同步调用,将数据同步至MDM的组织、人员管理中,并能在MDM中进行日志查看; 

4.基于MDM中的BPM演示分发工作流的配置以及ESB接口的调用实现数据分发; 

5.在MDM的组织、人员管理中生成分发任务并调用BPM工作流将数据分发至DAP的组织、人员管理中; 

6.进入DAP的系统管理模块中查看组织、人员的分发结果。 


3产品介绍 

数据中台POC的演示尽量不做整体的产品功能说明,可以基于演示流程分别对功能模型进行介绍,介绍功能时也不要对每个功能进行详细的演示说明,对于模块进行整体介绍,部署重点功能进行演示说明即可。 


3.1DAP平台 

DAP平台功能主要体现在数仓建设和分析展现两部分,其中数仓建设的重点在于: 

1.业务主题、数仓模型、数据指标的分类、梳理与配置,基于元数据的维表、事实表配置; 

2.与ESB有效结合,基于数仓模型可以快速生成调度任务,ESB设计器可以基于DAP数仓的配置快速生成ESB流程,并直接写入到DAP的调度资源中; 

3.数仓的血缘分析、影响分析,强调数据资产管理,以及对于数据阈值的设置和处理。 

数据分析的重点内容: 

1.基于数仓模型建立分析模型,支持数据集、立方体、数据报表和多维分析; 

2.支持常用SQL函数,并且支持算法模型,可以基于算法模型进行数据处理; 

3.页面配置采用组件组合的方式,可以通过拖拉拽的方式快速进行组件配置; 

4.预置丰富的图形组件,可以通过属性配置构建不同的样例,并支持组件的扩展; 

5.支持PC、大屏、移动端等不同的主题展现效果,可以满足不同的业务场景需要。 


3.2MDM平台 

在数据中台POC方案中,MDM平台主要有两个作用,一是为数仓建设提供基础数据数据支持,建立维表;二是支持系统集成,进行数据同步与分发。 

1.支持全生命周期的管理,数据申请、变更、发布、归档、删除等操作; 

2.每类主数据预置数据接口,可以满足不同情况下数据接收的需要,支持从源头系统到MDM的数据清洗; 

3.可以配置编码规则、校验规则、数据巡检,实现数据质量的管理; 

4.支持基于元数据的模型配置,并配置各元数据的类型、长度等属性; 

5.预置BPM工作流,可以通过图形化拖拽的方式进行流程配置,并支持对于ESB等外部接口的调用; 

6.支持对各类主数据的统计分析,以及对数据同步、分发的日志监控和统计分析。 


3.3ESB平台 

ESB平台主要满足数据集成与应用集成两部分业务,数据集成主要是支持从源头系统到DAP数仓的数据汇聚,应用集成主要是满足主数据的同步分发。 

数据集成: 

1.基于DAP的配置可以在设计器中快速生成集成流程,并能直接远程在服务器上,并支持增量热部署; 

2.通过设计器生成的流程可以直接插入到DAP的调度资源中,并能和数仓、ODS中的资源进行关联; 

3.支持对于集成流程的实时监控、统计,记录流程的请求信息和执行情况。 

应用集成: 

1.支持对于外部服务接口(如MDM服务)的注册和代理,支持对服务接口进行参数配置、测试验证,并能实现流程监控与统计分析; 

2.能够基于实际业务配置集成场景,实现基于注册服务的应用集成,并能在设计器中快速生成集成流程,支持流程预警报警,短信、微信、邮件等方式的提醒; 

3.可以在SMC中进行集成流程的调用、监控、日志记录、统计分析、异常重试等。 


3.4后续完善 

数据中台POC除了对外的演示与培训,同时还起到了内部产品测试与验证的作用,所以随着产品的不断升级,后续POC也会不断升级。一方面是对各个平台产品进行升级,完善移动化、UI升级、多环境配置、行业数据等方面的内容,另一方面加强产品的融合度,如添加Portal产品,基于Portal的统一用户和统一认证,以Portal作为统一入口,实现更加便捷的操作和访问。 


4注意事项 

数据中台的演示不同于产品演示,在演示过程中既要将各产品和方案的特点突出出来,还要切合实际业务,并且在演示的过程中还要抓住客户的关注点,避免事无巨细地将每个功能点都介绍一遍。 


4.1贴近业务 

数据中台的演示主要侧重于业务的结合,在演示过程中要注意从实际业务的角度出发,基于实际的业务场景去演示产品的使用过程,让客户能从业务的角度理解产品的特性,避免大幅度介绍产品的技术细节。对于业务人员来说,产品是否合适更多的是对实际业务的满足程度,只有真正抓住客户的需求,切入客户的业务,才能获得客户的共鸣,达到好的演示效果。 


4.2重点突出 

由于数据中台方案中涉及三个核心产品,功能模块和功能点都非常多,所以在演示时有所侧重,介绍重点功能。一是介绍产品的特色功能,体现产品的优越性,让客户抓住产品的亮点;二是介绍客户的关注点,对于客户关注的功能点或需求,要做重点说明,并且最好可以结合客户的实际业务介绍产品具体的实现过程或方式,提高客户的认同感。 

重点介绍时也不是一定要在平台中进行操作演示出来,在演示过程中可以简单演示或者只打开对应的功能模块,通过口述的方式介绍功能在实际项目中的应用,实现的业务场景即可。 


4.3产品穿插 

在演示时不要将产品割裂开,要实现产品的融合,基于实际业务不断进行产品之间的切换,打通业务的环节,实现整体贯穿也是非常重要的。数据中台是基于平台的一整套解决方案,是对企业数据的高度整合与资产管理,从而强化数据的价值,所以在演示时不要拘泥于产品功能,要强调融合和业务。 


5总结分析 

数据中台POC是基于公司产品体系的完善以及实际项目和解决方案的需要规划建设的一套集成环境,主要通过MDM、DAP和ESB三个产品构建的环境,以支持相关项目和产品的发展。 


5.1方案特点 

数据中台的方案主要是面对企业数据治理分析的需求,对企业基础数据进行治理,实现基础数据同步分发,同时建设企业的数据仓库,将基础数据、业务数据进行高度汇聚整合,并通过图形化的分析看板和组件将数据直观展现,满足企业高层对于业务的掌握以及决策的制定。 

在数据中台方案中,强调数据的价值,数据资产的管理,业务主题、业务指标的梳理与分析,实现基于业务指标的数据分析,考察数据指标的来源、影响以及基于数据指标实现多主题、多业务的数据穿透,在不同业务中指标的变化和发展趋势,从而为业务发展进行预测和决策。 


5.2演示总结 

数据中台的演示一定要强调业务,之前演示产品时可以根据需要进行产品技术点的介绍,但数据中台的价值一定是在业务中体现的,特别是业务主题和业务指标,只有在实际业务中才能发挥作用、体现价值,所以在演示数据中台时,演示流程一定要从业务的角度出发,多了解业务,看看在实际业务中数据该如何流转、如何管理,如何通过平台满足实际场景。 


5.3个人总结 

之前做过很多次产品和方案演示,但演示时过于技术,与实际业务关联不强,缺少业务支撑的数据中台是无法打动客户的,所以还是要多熟悉了解业务,多从业务的角度进行思考,借鉴其他厂商或售前人员进行方案介绍的视频,思考如何从技术向售前进行转变,才能真正把数据中台的方案演绎好。 

基于公司目前的产品体系,除了数据中台POC的方案,还有技术底座POC,是基于IDM+MDM+ESB的方案,目前对于新版的IDM还需要不断深入了解,需要去了解技术底层的相关内容,只有这样才能在售前交流、产品演示的过程中对客户的疑问对答如流。 


推荐阅读
  • Linux如何安装Mongodb的详细步骤和注意事项
    本文介绍了Linux如何安装Mongodb的详细步骤和注意事项,同时介绍了Mongodb的特点和优势。Mongodb是一个开源的数据库,适用于各种规模的企业和各类应用程序。它具有灵活的数据模式和高性能的数据读写操作,能够提高企业的敏捷性和可扩展性。文章还提供了Mongodb的下载安装包地址。 ... [详细]
  • 本文介绍了Java工具类库Hutool,该工具包封装了对文件、流、加密解密、转码、正则、线程、XML等JDK方法的封装,并提供了各种Util工具类。同时,还介绍了Hutool的组件,包括动态代理、布隆过滤、缓存、定时任务等功能。该工具包可以简化Java代码,提高开发效率。 ... [详细]
  • 企业数据应用挑战及元数据管理的重要性
    本文主要介绍了企业在日常经营管理过程中面临的数据应用挑战,包括数据找不到、数据读不懂、数据不可信等问题。针对这些挑战,通过元数据管理可以实现数据的可见、可懂、可用,帮助业务快速获取所需数据。文章提出了“灵魂”三问——元数据是什么、有什么用、又该怎么管,强调了元数据管理在企业数据治理中的基础和前提作用。 ... [详细]
  • 背景应用安全领域,各类攻击长久以来都危害着互联网上的应用,在web应用安全风险中,各类注入、跨站等攻击仍然占据着较前的位置。WAF(Web应用防火墙)正是为防御和阻断这类攻击而存在 ... [详细]
  • 阿里Treebased Deep Match(TDM) 学习笔记及技术发展回顾
    本文介绍了阿里Treebased Deep Match(TDM)的学习笔记,同时回顾了工业界技术发展的几代演进。从基于统计的启发式规则方法到基于内积模型的向量检索方法,再到引入复杂深度学习模型的下一代匹配技术。文章详细解释了基于统计的启发式规则方法和基于内积模型的向量检索方法的原理和应用,并介绍了TDM的背景和优势。最后,文章提到了向量距离和基于向量聚类的索引结构对于加速匹配效率的作用。本文对于理解TDM的学习过程和了解匹配技术的发展具有重要意义。 ... [详细]
  • 一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到,由于这个问题Google发明 ... [详细]
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • 图解redis的持久化存储机制RDB和AOF的原理和优缺点
    本文通过图解的方式介绍了redis的持久化存储机制RDB和AOF的原理和优缺点。RDB是将redis内存中的数据保存为快照文件,恢复速度较快但不支持拉链式快照。AOF是将操作日志保存到磁盘,实时存储数据但恢复速度较慢。文章详细分析了两种机制的优缺点,帮助读者更好地理解redis的持久化存储策略。 ... [详细]
  • 本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面,并总结了项目存在的问题,如前后端未分离、代码混乱等。作者表示希望通过记录和规划,能够理清思路,进一步完善该平台。 ... [详细]
  • flowable工作流 流程变量_信也科技工作流平台的技术实践
    1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下:目前OA流程引擎无法满足企业特定业务流程需求,且移动端体 ... [详细]
  • Go语言实现堆排序的详细教程
    本文主要介绍了Go语言实现堆排序的详细教程,包括大根堆的定义和完全二叉树的概念。通过图解和算法描述,详细介绍了堆排序的实现过程。堆排序是一种效率很高的排序算法,时间复杂度为O(nlgn)。阅读本文大约需要15分钟。 ... [详细]
  • 浏览器中的异常检测算法及其在深度学习中的应用
    本文介绍了在浏览器中进行异常检测的算法,包括统计学方法和机器学习方法,并探讨了异常检测在深度学习中的应用。异常检测在金融领域的信用卡欺诈、企业安全领域的非法入侵、IT运维中的设备维护时间点预测等方面具有广泛的应用。通过使用TensorFlow.js进行异常检测,可以实现对单变量和多变量异常的检测。统计学方法通过估计数据的分布概率来计算数据点的异常概率,而机器学习方法则通过训练数据来建立异常检测模型。 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • 从高级程序员到CTO的4次能力跃迁!如何选择适合的技术负责人?
    本文讲解了从高级程序员到CTO的4次能力跃迁,以及如何选择适合的技术负责人。在初创期、发展期、成熟期的每个阶段,创业公司需要不同级别的技术负责人来实现复杂功能、解决技术难题、提高交付效率和质量。高级程序员的职责是实现复杂功能、编写核心代码、处理线上bug、解决技术难题。而技术经理则需要提高交付效率和质量。 ... [详细]
author-avatar
念毅掷
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有