ApacheSpark机器学习2.7复用性和自动化

2.7 复用性和自动化

本节我们将讨论数据集组织方法、预处理工作流方法，然后使用Apache Spark pipeline模型进行表示，并实现工作流。然后，我们将评估数据预处理的自动化解决方案。

学完本节，我们应能够使用Spark pipeline模型来表示和实现数据集预处理工作流，理解一些基于Apache Spark的自动化解决方案。

2.7.1 数据集预处理工作流

数据准备工作是从数据清洗到标识匹配，再由数据重组到特征提取，能以某种形式进行组织，反映了一步一步开展机器学习数据集准备的有序过程。换言之，所有的数据准备工作可以被组织为一个工作流程。

为工作流组织数据清理可以帮助实现复用性工作和自动化，对于机器学习从业者而言极具价值，这是因为机器学习从业者和数据科学家往往要花费工作时间的80%用于数据清洗和预处理。

在大多数机器学习项目中，包括