sparksqldataframe变成csv保存_SparkSQL极简入门

Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame(数据框)的编程抽象&＃xff0c;DF的底层仍然是RDD&＃xff0c;并且可以充当分布式SQL查询引擎。

1、SparkSQL的由来

SparkSQL的前身是Shark。在Hadoop发展过程中&＃xff0c;为了给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具&＃xff0c;Hive应运而生&＃xff0c;是当时唯一运行在hadoop上的SQL-on-Hadoop工具。但是&＃xff0c;MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的I/O&＃xff0c;运行效率较低。

后来&＃xff0c;为了提高SQL-on-Hadoop的效率&＃xff0c;大量的SQL-on-Hadoop工具开始产生&＃xff0c;其中表现较为突出的是&＃xff1a;

1)MapR的Drill

2)Cloudera的Impala

3)Shark

其中Shark是伯克利实验室Spark生态环境的组件之一&＃xff0c;它基于Hive实施了一些改进&＃xff0c;比如引入缓存管理&＃xff0c;改进和优化执行器等&＃xff0c;并使之能运行在Spark引擎上&＃xff0c;从而使得SQL查询的速度得到10-100倍的提升。

但是&＃xff0c;随着Spark的发展&＃xff0c;对于野心勃勃的Spark团队来说&＃xff0c;Shark对于hive的太多依赖(如采用hive的语法解析器、查询优化器等等)&＃xff0c;制约了Spark的One Stack rule them all的既定方针&＃xff0c;制约了spark各个组件的相互集成&＃xff0c;所以提出了sparkSQL项目。

SparkSQL抛弃原有Shark的代码&＃xff0c;汲取了Shark的一些优点&＃xff0c;如内存列存储(In-Memory Columnar Storage)、Hive兼容性等&＃xff0c;重新开发了SparkSQL代码。

由于摆脱了对hive的依赖性&＃xff0c;SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便。

2014年6月1日&＃xff0c;Shark项目和SparkSQL项目的主持人Reynold Xin宣布&＃xff1a;停止对Shark的开发&＃xff0c;团队将所有资源放SparkSQL项目上&＃xff0c;至此&＃xff0c;Shark的发展画上了句话。

2、SparkSql特点

1)引入了新的RDD类型SchemaRDD&＃xff0c;可以像传统数据库定义表一样来定义SchemaRDD。

2)在应用程序中可以混合使用不同来源的数据&＃xff0c;如可以将来自HiveQL的数据和来自SQL的数据进行Join操作。

3)内嵌了查询优化框架&＃xff0c;在把SQL解析成逻辑执行计划之后&＃xff0c;最后变成RDD的计算。

为什么sparkSQL的性能会得到怎么大的提升呢&＃xff1f;

主要sparkSQL在下面几点做了优化&＃xff1a;

1、内存列存储(In-Memory Columnar Storage)

SparkSQL的表数据在内存中存储不是采用原生态的JVM对象存储方式&＃xff0c;而是采用内存列存储&＃xff0c;如下图所示。

该存储方式无论在空间占用量和读取吞吐率上都占有很大优势。

对于原生态的JVM对象存储方式&＃xff0c;每个对象通常要增加12-16字节的额外开销(toString、hashcode等方法)&＃xff0c;如对于一个270MB的电商的商品表数据&＃xff0c;使用这种方式读入内存&＃xff0c;要使用970MB左右的内存空间(通常是2&＃xff5e;5倍于原生数据空间)。

另外&＃xff0c;使用这种方式&＃xff0c;每个数据记录产生一个JVM对象&＃xff0c;如果是大小为200GB的数据记录&＃xff0c;堆栈将产生1.6亿个对象&＃xff0c;这么多的对象&＃xff0c;对于GC来说&＃xff0c;可能要消耗几分钟的时间来处理(JVM的垃圾收集时间与堆栈中的对象数量呈线性相关。显然这种内存存储方式对于基于内存计算的spark来说&＃xff0c;很昂贵也负担不起)

2、SparkSql的存储方式

对于内存列存储来说&＃xff0c;将所有原生数据类型的列采用原生数组来存储&＃xff0c;将Hive支持的复杂数据类型(如array、map等)先序化后并接成一个字节数组来存储。

此外&＃xff0c;基于列存储&＃xff0c;每列数据都是同质的&＃xff0c;所以可以数据类型转换的CPU消耗。此外&＃xff0c;可以采用高效的压缩算法来压缩&＃xff0c;是的数据更少。比如针对二元数据列&＃xff0c;可以用字节编码压缩来实现(010101)

这样&＃xff0c;每个列创建一个JVM对象&＃xff0c;从而可以快速的GC和紧凑的数据存储&＃xff1b;额外的&＃xff0c;还可以使用低廉CPU开销的高效压缩方法(如字典编码、行长度编码等压缩方法)降低内存开销&＃xff1b;更有趣的是&＃xff0c;对于分析查询中频繁使用的聚合特定列&＃xff0c;性能会得到很大的提高&＃xff0c;原因就是这些列的数据放在一起&＃xff0c;更容易读入内存进行计算。

3、行存储VS列存储

目前大数据存储有两种方案可供选择&＃xff1a;行存储(Row-Based)和列存储(Column-Based)。 业界对两种存储方案有很多争持&＃xff0c;集中焦点是:谁能够更有效地处理海量数据&＃xff0c;且兼顾安全、可靠、完整性。从目前发展情况看&＃xff0c;关系数据库已经不适应这种巨大的存储量和计算要求&＃xff0c;基本是淘汰出局。在已知的几种大数据处理软件中&＃xff0c;Hadoop的HBase采用列存储&＃xff0c;MongoDB是文档型的行存储&＃xff0c;Lexst是二进制型的行存储。

1&＃xff0e;列存储

什么是列存储&＃xff1f;

列式存储(column-based)是相对于传统关系型数据库的行式存储(Row-basedstorage)来说的。简单来说两者的区别就是如何组织表&＃xff1a;

Row-based storage stores atable in a sequence of rows.

Column-based storage storesa table in a sequence of columns.

从上图可以很清楚地看到&＃xff0c;行式存储下一张表的数据都是放在一起的&＃xff0c;但列式存储下都被分开保存了。所以它们就有了如下这些优缺点对比&＃xff1a;

1>在数据写入上的对比

1)行存储的写入是一次完成。如果这种写入建立在操作系统的文件系统上&＃xff0c;可以保证写入过程的成功或者失败&＃xff0c;数据的完整性因此可以确定。

2)列存储由于需要把一行记录拆分成单列保存&＃xff0c;写入次数明显比行存储多(意味着磁头调度次数多&＃xff0c;而磁头调度是需要时间的&＃xff0c;一般在1ms~10ms)&＃xff0c;再加上磁头需要在盘片上移动和定位花费的时间&＃xff0c;实际时间消耗会更大。所以&＃xff0c;行存储在写入上占有很大的优势。

3)还有数据修改,这实际也是一次写入过程。不同的是&＃xff0c;数据修改是对磁盘上的记录做删除标记。行存储是在指定位置写入一次&＃xff0c;列存储是将磁盘定位到多个列上分别写入&＃xff0c;这个过程仍是行存储的列数倍。所以&＃xff0c;数据修改也是以行存储占优。

2>在数据读取上的对比

1)数据读取时&＃xff0c;行存储通常将一行数据完全读出&＃xff0c;如果只需要其中几列数据的情况&＃xff0c;就会存在冗余列&＃xff0c;出于缩短处理时间的考量&＃xff0c;消除冗余列的过程通常是在内存中进行的。

2)列存储每次读取的数据是集合的一段或者全部&＃xff0c;不存在冗余性问题。

3) 两种存储的数据分布。由于列存储的每一列数据类型是同质的&＃xff0c;不存在二义性问题。比如说某列数据类型为整型(int)&＃xff0c;那么它的数据集合一定是整型数据。这种情况使数据解析变得十分容易。相比之下&＃xff0c;行存储则要复杂得多&＃xff0c;因为在一行记录中保存了多种类型的数据&＃xff0c;数据解析需要在多种数据类型之间频繁转换&＃xff0c;这个操作很消耗CPU&＃xff0c;增加了解析的时间。所以&＃xff0c;列存储的解析过程更有利于分析大数据。

4)从数据的压缩以及更性能的读取来对比

2&＃xff0e;优缺点

显而易见&＃xff0c;两种存储格式都有各自的优缺点&＃xff1a;

1)行存储的写入是一次性完成&＃xff0c;消耗的时间比列存储少&＃xff0c;并且能够保证数据的完整性&＃xff0c;缺点是数据读取过程中会产生冗余数据&＃xff0c;如果只有少量数据&＃xff0c;此影响可以忽略;数量大可能会影响到数据的处理效率。

2)列存储在写入效率、保证数据完整性上都不如行存储&＃xff0c;它的优势是在读取过程&＃xff0c;不会产生冗余数据&＃xff0c;这对数据完整性要求不高的大数据处理领域&＃xff0c;比如互联网&＃xff0c;犹为重要。

两种存储格式各自的特性都决定了它们的使用场景。

4、列存储的适用场景

1)一般来说&＃xff0c;一个OLAP类型的查询可能需要访问几百万甚至几十亿个数据行&＃xff0c;且该查询往往只关心少数几个数据列。例如&＃xff0c;查询今年销量最高的前20个商品&＃xff0c;这个查询只关心三个数据列&＃xff1a;时间(date)、商品(item)以及销售量(sales amount)。商品的其他数据列&＃xff0c;例如商品URL、商品描述、商品所属店铺&＃xff0c;等等&＃xff0c;对这个查询都是没有意义的。

而列式数据库只需要读取存储着“时间、商品、销量”的数据列&＃xff0c;而行式数据库需要读取所有的数据列。因此&＃xff0c;列式数据库大大地提高了OLAP大数据量查询的效率

OLTP OnLine Transaction Processor 在线联机事务处理系统(比如Mysql&＃xff0c;Oracle等产品)

OLAP OnLine Analaysier Processor 在线联机分析处理系统(比如Hive Hbase等)

2)很多列式数据库还支持列族(column group&＃xff0c;Bigtable系统中称为locality group)&＃xff0c;即将多个经常一起访问的数据列的各个值存放在一起。如果读取的数据列属于相同的列族&＃xff0c;列式数据库可以从相同的地方一次性读取多个数据列的值&＃xff0c;避免了多个数据列的合并。列族是一种行列混合存储模式&＃xff0c;这种模式能够同时满足OLTP和OLAP的查询需求。

3)此外&＃xff0c;由于同一个数据列的数据重复度很高&＃xff0c;因此&＃xff0c;列式数据库压缩时有很大的优势。

例如&＃xff0c;Google Bigtable列式数据库对网页库压缩可以达到15倍以上的压缩率。另外&＃xff0c;可以针对列式存储做专门的索引优化。比如&＃xff0c;性别列只有两个值&＃xff0c;“男”和“女”&＃xff0c;可以对这一列建立位图索引&＃xff1a;

如下图所示

“男”对应的位图为100101&＃xff0c;表示第1、4、6行值为“男”

“女”对应的位图为011010&＃xff0c;表示第2、3、5行值为“女”

如果需要查找男性或者女性的个数&＃xff0c;只需要统计相应的位图中1出现的次数即可。另外&＃xff0c;建立位图索引后0和1的重复度高&＃xff0c;可以采用专门的编码方式对其进行压缩。

当然&＃xff0c;如果每次查询涉及的数据量较小或者大部分查询都需要整行的数据&＃xff0c;列式数据库并不适用。

5、总结

1&＃xff0e;行存储特性

传统行式数据库的特性如下&＃xff1a;

①数据是按行存储的。

②没有索引的查询使用大量I/O。比如一般的数据库表都会建立索引&＃xff0c;通过索引加快查询效率。

③建立索引和物化视图需要花费大量的时间和资源。

④面对查询需求&＃xff0c;数据库必须被大量膨胀才能满足需求。

2&＃xff0e;列存储特性

列式数据库的特性如下&＃xff1a;

①数据按列存储&＃xff0c;即每一列单独存放。

②数据即索引。

③只访问查询涉及的列&＃xff0c;可以大量降低系统I/O。

④每一列由一个线程来处理&＃xff0c;即查询的并发处理性能高。

⑤数据类型一致&＃xff0c;数据特征相似&＃xff0c;可以高效压缩。比如有增量压缩、前缀压缩算法都是基于列存储的类型定制的&＃xff0c;所以可以大幅度提高压缩比&＃xff0c;有利于存储和网络输出数据带宽的消耗。

SparkSql将RDD封装成一个DataFrame对象&＃xff0c;这个对象类似于关系型数据库中的表。

1、创建DataFrame对象

DataFrame就相当于数据库的一张表。它是个只读的表&＃xff0c;不能在运算过程再往里加元素。

RDD.toDF(“列名”)

scala> val rdd &＃61; sc.parallelize(List(1,2,3,4,5,6))rdd: org.apache.spark.rdd.RDD[Int] &＃61; ParallelCollectionRDD[0] at parallelize at :21scala> rdd.toDF("id")res0: org.apache.spark.sql.DataFrame &＃61; [id: int]scala> res0.show#默认只显示20条数据&＃43;---&＃43;| id|&＃43;---&＃43;| 1|| 2|| 3|| 4|| 5|| 6|&＃43;---&＃43;scala> res0.printSchema #查看列的类型等属性root|-- id: integer (nullable &＃61; true)

创建多列DataFrame对象

DataFrame就相当于数据库的一张表。

scala> sc.parallelize(List( (1,"beijing"),(2,"shanghai") ) )res3: org.apache.spark.rdd.RDD[(Int, String)] &＃61; ParallelCollectionRDD[5] at parallelize at :22scala> res3.toDF("id