SparkSql编程之《DataFrame行动操作》

项目处新建people.json文件

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

创建DataFrame

val df &＃61; spark.read.json("input/people.json")
二、DataFrame上的行动操作

行动操作有&＃xff1a;show、collect、collectAsList、describe、first、 head、 take、 takeAsList。

这里只介绍show、collect这两种方式。

1、show&＃xff08;展示数据&＃xff09;

以表格的形式在输出中展示DF&＃xff08;DataFrame&＃xff09; 中的数据。

&＃xff08;1&＃xff09;show() 只显示前20行数据

df.show()

| age|   name|
&＃43;----&＃43;-------&＃43;
|null|Michael|
|  30|   Andy|
|  19| Justin|

&＃xff08;2&＃xff09; show(numRows: Int) 显示前Int行数据

df.show(1)

| age|   name|
&＃43;----&＃43;-------&＃43;
|null|Michael|

2、collect&＃xff08;获取所有数据到数组&＃xff09;

collect方法会将DF中的所有数据都获取到&＃xff0c; 并返回一个Array对象。

df.collect()