SparkOnHive部署和配置

Spark On Hive，通过spark sql模块访问和使用Hive，默认Spark预编译(pre-built)版不包含hive相关依赖，并不支持此功能，因此需要对spark源码进行重新编译，并进行相关的配置，下面是具体操作步骤：

1.下载最新版spark源码包

http://spark.apache.org/downloads.html

cd /data/soft/
wget -c http://apache.fayea.com/spark/spark-1.5.2/spark-1.5.2.tgz
tar -xzf spark-1.5.2.tgz


2.编译Spark源码

根据自己需要的hadoop版本进行编译并打成分发包

cd spark-1.5.2
./make-distribution.sh --tgz --name 2.3.0 -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Phive -Phive-thriftserver


主要是通过maven进行编译，所以要下载很多依赖包，这个过程非常痛苦和漫长，可以先看一下spark-1.5.2/pom.xml文件，看看整合了哪些module，如果编译过程中报错，链接超时或者依赖包长时间无法下载，可以重试几次，或者手动在各个整合的module下面，进行预编译。

执行成功之后，会在生成一个分发包spark-1.5.2/spark-1.5.2-bin-2.3.0.tgz（注意这个包名称中的2.3.0就是前面执行命令中-name参数制定的名称）

3.部署Spark环境

mkdir /data/hadoop/
tar -xzf spark-1.5.2/spark-1.5.2-bin-2.3.0.tgz -C /data/hadoop/


4.确保Hive正常

我的Hive部署在/data/hadoop/hive-0.12.0-cdh5.1.0/
通过执行bin/hive进入hive交互环境，执行一下HQL语句看是否能够执行成功。

5.Spark on Hive配置

复制hive-site.xml文件到spark-1.5.2-bin-2.3.0/conf/下面

cp /data/hadoop/hive-0.12.0-cdh5.1.0/hive-site.xml /data/hadoop/spark-1.5.2-bin-2.3.0/conf/


修改spark-env.sh文件，添加如下配置（基于前一篇《Spark环境部署》配置基础上）：
注：根据自己服务器环境情况配置

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64
export HADOOP_HOME=/data/hadoop/hadoop-2.3.0-cdh5.1.0
export HADOOP_CONF_DIR=/data/hadoop/hadoop-2.3.0-cdh5.1.0/etc/hadoop
export YARN_CONF_DIR=/data/hadoop/hadoop-2.3.0-cdh5.1.0/etc/hadoop
export HIVE_HOME=/data/hadoop/hive-0.12.0-cdh5.1.0
export SCALA_HOME=/usr/local/scala-2.11.7
export SPARK_HOME=/data/hadoop/spark-1.5.2-bin-2.3.0
export SPARK_MASTER_IP=host20
export SPARK_MASTER_PORT=7077
export PYSPARK_PYTHON=/usr/local/bin/python2.7
export PYSPARK_DRIVER_PYTHON=/usr/local/bin/python2.7
export SPARK_LOCAL_IP=host20
export SPARK_YARN_QUEUE=hadoop
export SPARK_WORKER_CORES=10
export SPARK_WORKER_INSTANCES=1
export SPARK_WORKER_MEMORY=30G
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_EXECUTOR_CORES=1
export SPARK_EXECUTOR_MEMORY=5G
export SPARK_CLASSPATH=$SPARK_CLASSPATH:$HIVE_HOME/lib/mysql-connector-java-5.1.20-bin.jar


修改/etc/profile文件，添加如下配置（基于前一篇《Spark环境部署》配置基础上）：
注：根据自己服务器环境情况配置

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.19.x86_64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export SCALA_HOME=/usr/local/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/data/hadoop/spark-1.5.2-bin-2.3.0
export PATH=$PATH:$SPARK_HOME/bin
export HADOOP_HOME=/data/hadoop/hadoop-2.3.0-cdh5.1.0
export PATH=$PATH:$HADOOP_HOME/bin


下面列出来我的hive-site.xml文件主要配置：


javax.jdo.option.ConnectionURL
jdbc:mysql://host220:3306/hive?createDatabaseIfNotExist=true


javax.jdo.option.ConnectionUserName
hive


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore


javax.jdo.option.ConnectionPassword
hive


hive.metastore.local
false



hive.metastore.warehouse.dir
hdfs://mycluster/hive/warehouse



注意：注释部分后面会介绍

6.通过jdbc方式直接访问Hive

启动master和worker

sbin/start-master.sh
sbin/start-slave.sh spark://host20:7077


使用spark-sql访问hive
bin/spark-sql &＃8211;executor-cores 2 &＃8211;total-executor-cores 4 &＃8211;master spark://host20:7077
进来之后可以执行一下HQL语句，查看是否能访问到Hive中的数据

使用pyspark访问hive

bin/pyspark
>>> from pyspark.sql import HiveContext
>>> sqlCOntext=HiveContext(sc)
>>> results=sqlContext.sql("show databases").collect()


7.通过thrift方式间接访问Hive

需要配置启动hive metastore服务和spark的thriftserver

修改/data/hadoop/hive-0.12.0-cdh5.1.0/hive-site.xml，添加如下配置：


hive.metastore.uris
thrift://host20:9083


hive.server2.thrift.port
10000
Port number of HiveServer2 Thrift interface. Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT


hive.server2.thrift.bind.host
host20
Bind host on which to run the HiveServer2 Thrift interface.Can be overridden by setting$HIVE_SERVER2_THRIFT_BIND_HOST



并将新的hive-site.xml文件，替换掉spark下面的hive-site.xml文件，同步配置。

cp /data/hadoop/hive-0.12.0-cdh5.1.0/hive-site.xml /data/hadoop/spark-1.5.2-bin-2.3.0/conf/


启动metastore服务

./hive --service metastore > metastore.log 2>&1 &


启动spark的thriftserver

sbin/start-thriftserver.sh --executor-cores 2 --total-executor-cores 2 --master spark://host20:7077


8.集群部署

在其他服务器上，同步/data/soft/目录下面的spark-1.5.2-bin-2.3.0.tar.gz和hive-0.12.0-cdh5.1.0.tar.gz文件

rsync -az --include "soft/" --exclude "/*" host20::data /data/


每个服务器上执行下面的步骤

tar -xzf /data/soft/spark-1.5.2-bin-2.3.0.tar.gz -C /data/hadoop/
tar -xzf /data/soft/hive-0.12.0-cdh5.1.0.tar.gz -C /data/hadoop/


修改spark-env.sh中的配置与本服务器环境一致。