二、数据仓库和数据挖掘的OLAP技术

引言

• 数据仓库中的数据清理和数据集成&＃xff0c;是数据挖掘的重要数据预处理步骤
• 数据仓库提供OLAP工具&＃xff0c;可用于不同粒度的数据分析
• 很多数据挖掘功能都可以和OLAP操作集成&＃xff0c;以提供不同概念层上的知识发现
  • 分类
  • 预测
  • 关联
  • 聚集

一、什么是数据仓库

数据仓库的定义很多&＃xff0c;但却很难有一种严格的定义&＃xff1a;

• 它是一个提供决策支持功能的数据库&＃xff0c;它与公司的操作数据库分开维护。
• 为统一的历史数据分析提供坚实的平台&＃xff0c;对信息处理提供支持

数据仓库区别于其他数据存储系统&＃xff1a;
“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合&＃xff0c;支持管理部门的决策过程.”—W. H. Inmon

二、数据仓库的关键特征

2.1、面向主题

面向主题&＃xff0c;是数据仓库显著区别于关系数据库系统的一个特征

• 围绕一些主题&＃xff0c;如顾客、供应商、产品等
• 关注决策者的数据建模与分析&＃xff0c;而不是集中于组织机构的日常操作和事务处理。
• 排除对于决策无用的数据&＃xff0c;提供特定主题的简明视图。

2.2、数据集成

一个数据仓库是通过集成多个异种数据源来构造的。

• 关系数据库&＃xff0c;一般文件&＃xff0c;联机事务处理记录

使用数据清理和数据集成技术。

• 确保命名约定、编码结构、属性度量等的一致性。
• 当数据被移到数据仓库时&＃xff0c;它们要经过转化。

2.3、随时间而变化

数据仓库是从历史的角度提供信息

• 数据仓库的时间范围比操作数据库系统要长的多。
  • 操作数据库系统: 主要保存当前数据。
  • 数据仓库:从历史的角度提供信息&＃xff08;比如过去 5-10 年&＃xff09;
• 数据仓库中的每一个关键结构都隐式或显式地包含时间元素&＃xff0c;而操作数据库中的 关键结构可能就不包括时间元素。

2.4、数据不易丢失

尽管数据仓库中的数据来自于操作数据库&＃xff0c;但他们却是在物理上分离保存的。

• 操作数据库的更新操作不会出现在数据仓库环境下。
• 不需要事务处理&＃xff0c;恢复&＃xff0c;和并发控制等机制
• 只需要两种数据访问: 数据的初始转载和数据访问&＃xff08;读操作&＃xff09;

三、数据仓库的构建和使用

数据仓库的构建包括一系列的数据预处理过程

• 数据清理
• 数据集成
• 数据变换

数据仓库的使用热点是商业决策行为&＃xff0c;例如&＃xff1a;

• 增加客户聚焦
• 产品重定位
• 寻找获利点
• 客户关系管理

四、数据仓库与操作数据库系统

操作数据库系统的主要任务是联机事务处理OLTP

• 日常操作: 购买&＃xff0c;库存&＃xff0c;银行&＃xff0c;制造&＃xff0c;工资&＃xff0c;注册&＃xff0c;记帐等

数据仓库的主要任务是联机分析处理OLAP

• 数据分析和决策支持&＃xff0c;支持以不同的形式显示数据以满足不同的用户需要
  
  
  
  以上三点OLAP与OLTP的区别个人认为写反了&＃xff0c;后续订正

为什么需要一个分离的数据仓库?

• 提高两个系统的性能
  • DBMS是为OLTP而设计的&＃xff1a;存储方式,索引, 并发控制, 恢复
  • 数据仓库是为OLAP而设计&＃xff1a;复杂的 OLAP查询, 多维视图&＃xff0c;汇总
• 不同的功能和不同的数据:
  • 历史数据: 决策支持需要历史数据&＃xff0c;而这些数据在操作数据库中一般不会去维护
  • 数据汇总&＃xff1a;决策支持需要将来自异种源的数据统一&＃xff08;如聚集和汇总&＃xff09;
  • 数据质量: 不同的源使用不一致的数据表示、编码和格式&＃xff0c;对这些数据进行有效的分析需要将他们转化后进行集成

五、多维数据模型