热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

BIFinancialDBDIFFAnalysisIssue

核心公式:DB--ETL--DWvsREFfile错误产生原因:1,DBDWConnectionIssue2,SQLIssue3,ProductBug4,REFfilenotupdated物理需求分析:1,SourceDB:EBS,PSFT,Fusion…DBInstance2,DW:忽略数据源的存储形式,将数据以同一

核心公式:DB -- ETL -- DW vs REF file 错误产生原因: 1, DB/DW Connection Issue 2, SQL Issue 3, Product Bug 4, REF file not updated 物理需求分析: 1, Source DB: EBS, PSFT, Fusion…DB Instance 2, DW: 忽略数据源的存储形式,将数据以同一

核心公式:DB --> ETL --> DW vs REF file

错误产生原因:

1, DB/DW Connection Issue

2, SQL Issue

3, Product Bug

4, REF file not updated

物理需求分析:

1, Source DB: EBS, PSFT, Fusion…DB Instance

2, DW: 忽略数据源的存储形式,将数据以同一的形式存储。

逻辑需求分析:

1, ETL过程:The data stored in Source DB will be extracted, transformed, andloaded to DW.

关键点:

1, Each record in DW can be found in Source DB tables. No matter it isoriginal data or derived data.

2, If it is original data, we need to know which table and which columnin Source DB it comes from.

3, If it is derived data, we need to know the associated record with itin Source DB. In another words, how does this data derive from Source DB byETL.

错误分析:

1, DB/DW Connection Issue: (略);

2, SQL Issue: (略);

3, Product Bug: (分两种类型)

类型一:当OUT file输出的行数和 REF file显示的行数相等(num (out)==num (ref)),但某些字段不同

定义:无论该字段是originaldata 还是 derived data,凡是由Source DB经过ETL过程转化到DW里的,并且转化后的数据与DB中的数据不相等,但是DB中的数据与REF file相等,那么这就是一个Product Bug。

举例: 1. original data:

如果DW中某一个字段值为0,而REF file 中显示为null,通过ETLMAPPING查看到DB中相应的字段为null。这种情况通过核心公式表示为:

null --> ETL --> 0 vs null. 显而易见,这是ETL发生了错误,也就是ProductBug。

2. derived data:

如果DW中某一个字段值为45.2,而REF file中显示为45.3,通过ETLMAPPING查看到这个字段的值是通过两条Source DB中的值相加得到的,i.e. (20.1+25.2), 进过计算,DB中显示的值为45.3。这种情况通过核心公式表示为:

45.3 --> ETL --> 45.2 vs 45.3. 显而易见,这也是ETL发生了错误,也就是ProductBug。

类型二:当OUT file 输出的行数和REF file显示的行数不相等,并且OUTfile输出的行数小于REF file 显示的行数(num (out)

定义:如果ETL Load Plan 没有执行成功,就会出现转化到DW里面的记录缺失,这就是一个Product Bug。

举例:如果DW输出的行数为4,而REF file显示的行数为8,并且DW中输出的这4条记录可以在REFfile这8条记录中找到,那么这就符合num(out)

4, REF file not updated: (分两种类型)

类型一:当OUT file输出的行数和 REF file显示的行数相等(num (out)==num (ref)),但某些字段不同

定义:无论该字段是originaldata 还是 derived data,凡是由Source DB经过ETL过程转化到DW里的,并且转化后的数据与DB中的数据想等,但是DB/DW中的数据与REF file不相等,那么这就属于REF file not updated的问题。

举例:1. original data:

如果DW中某一个字段值为0,而REF file 中显示为null,通过ETLMAPPING查看到DB中相应的字段为0。这种情况通过核心公式表示为:

0 --> ETL --> 0 vs null. 这说明ETL是没有问题的,也就是DBUpdated or REF file not updated。

2. derived data:

如果DW中某一个字段值为45.2,而REF file中显示为45.3,通过ETLMAPPING查看到这个字段的值是通过两条Source DB中的值相加得到的,i.e. (20.1+25.1), 进过计算,DB中显示的值为45.2。这种情况通过核心公式表示为:

45.2 --> ETL --> 45.2 vs 45.3. 这说明ETL是没有问题的, REF file not updated。

类型二:当OUT file 输出的行数和REF file显示的行数不相等,并且OUTfile输出的行数大于REF file 显示的行数(num (out)>num (ref)),并且REF file显示的行在OUT file中可以找到(只适用于INCR,如果FULL中出现这种类型,同样归纳到product bug)

定义:如果OUT file 输出的行数大于 REF File显示的行数,只有在增量的情况下可能出现REF更新的滞后性,因此是REF的问题,而FULL不存在此问题,如出现则是Product Bug。

举例: INCR中,如果DW输出的行数为10,而REF file显示的行数为3,并且REF file中这3条可以在OUT file 10条中找到,那么就是REF更新的滞后性问题。

分析疑难点:

1, 没有ETL MAPPING, 无法确定DW中的data是从Source DB中哪些记录中得到的。


推荐阅读
  • 如何实现织梦DedeCms全站伪静态
    本文介绍了如何通过修改织梦DedeCms源代码来实现全站伪静态,以提高管理和SEO效果。全站伪静态可以避免重复URL的问题,同时通过使用mod_rewrite伪静态模块和.htaccess正则表达式,可以更好地适应搜索引擎的需求。文章还提到了一些相关的技术和工具,如Ubuntu、qt编程、tomcat端口、爬虫、php request根目录等。 ... [详细]
  • 本文介绍了在SQL中查询分组后每组行数的统计方法。通过使用count()函数和GROUP BY子句可以统计每组的行数,但是如何统计所有组的行数呢?本文提供了一种实现方法,并给出了相应的SQL查询语句。 ... [详细]
  • 在数据分析工作中,我们通常会遇到这样的问题,一个业务部门由若干业务组构成,需要筛选出每个业务组里业绩前N名的业务员。这其实是一个分组排序的 ... [详细]
  • 本文介绍了如何使用php限制数据库插入的条数并显示每次插入数据库之间的数据数目,以及避免重复提交的方法。同时还介绍了如何限制某一个数据库用户的并发连接数,以及设置数据库的连接数和连接超时时间的方法。最后提供了一些关于浏览器在线用户数和数据库连接数量比例的参考值。 ... [详细]
  • Oracle Database 10g许可授予信息及高级功能详解
    本文介绍了Oracle Database 10g许可授予信息及其中的高级功能,包括数据库优化数据包、SQL访问指导、SQL优化指导、SQL优化集和重组对象。同时提供了详细说明,指导用户在Oracle Database 10g中如何使用这些功能。 ... [详细]
  • 本文介绍了adg架构设置在企业数据治理中的应用。随着信息技术的发展,企业IT系统的快速发展使得数据成为企业业务增长的新动力,但同时也带来了数据冗余、数据难发现、效率低下、资源消耗等问题。本文讨论了企业面临的几类尖锐问题,并提出了解决方案,包括确保库表结构与系统测试版本一致、避免数据冗余、快速定位问题等。此外,本文还探讨了adg架构在大版本升级、上云服务和微服务治理方面的应用。通过本文的介绍,读者可以了解到adg架构设置的重要性及其在企业数据治理中的应用。 ... [详细]
  • 在说Hibernate映射前,我们先来了解下对象关系映射ORM。ORM的实现思想就是将关系数据库中表的数据映射成对象,以对象的形式展现。这样开发人员就可以把对数据库的操作转化为对 ... [详细]
  • 本文介绍了使用postman进行接口测试的方法,以测试用户管理模块为例。首先需要下载并安装postman,然后创建基本的请求并填写用户名密码进行登录测试。接下来可以进行用户查询和新增的测试。在新增时,可以进行异常测试,包括用户名超长和输入特殊字符的情况。通过测试发现后台没有对参数长度和特殊字符进行检查和过滤。 ... [详细]
  • 本文详细介绍了MysqlDump和mysqldump进行全库备份的相关知识,包括备份命令的使用方法、my.cnf配置文件的设置、binlog日志的位置指定、增量恢复的方式以及适用于innodb引擎和myisam引擎的备份方法。对于需要进行数据库备份的用户来说,本文提供了一些有价值的参考内容。 ... [详细]
  • 使用Ubuntu中的Python获取浏览器历史记录原文: ... [详细]
  • 本文由编程笔记小编整理,介绍了PHP中的MySQL函数库及其常用函数,包括mysql_connect、mysql_error、mysql_select_db、mysql_query、mysql_affected_row、mysql_close等。希望对读者有一定的参考价值。 ... [详细]
  • 本文介绍了Oracle数据库中tnsnames.ora文件的作用和配置方法。tnsnames.ora文件在数据库启动过程中会被读取,用于解析LOCAL_LISTENER,并且与侦听无关。文章还提供了配置LOCAL_LISTENER和1522端口的示例,并展示了listener.ora文件的内容。 ... [详细]
  • Spring特性实现接口多类的动态调用详解
    本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍,以及getBeansOfType方法的应用,解决了在实际工作中遇到的接口及多个实现类的问题。同时,文章还提到了SPI使用的不便之处,并介绍了借助ApplicationContext实现需求的方法。阅读本文,你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]
  • Java String与StringBuffer的区别及其应用场景
    本文主要介绍了Java中String和StringBuffer的区别,String是不可变的,而StringBuffer是可变的。StringBuffer在进行字符串处理时不生成新的对象,内存使用上要优于String类。因此,在需要频繁对字符串进行修改的情况下,使用StringBuffer更加适合。同时,文章还介绍了String和StringBuffer的应用场景。 ... [详细]
  • Oracle分析函数first_value()和last_value()的用法及原理
    本文介绍了Oracle分析函数first_value()和last_value()的用法和原理,以及在查询销售记录日期和部门中的应用。通过示例和解释,详细说明了first_value()和last_value()的功能和不同之处。同时,对于last_value()的结果出现不一样的情况进行了解释,并提供了理解last_value()默认统计范围的方法。该文对于使用Oracle分析函数的开发人员和数据库管理员具有参考价值。 ... [详细]
author-avatar
王永星2012
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有