本节书摘来异步社区《Spark Cookbook 中文版》一书中的第1章&＃xff0c;第1.8节&＃xff0c;作者&＃xff1a; 【印度】Rishi Yadav&＃xff08;亚达夫&＃xff09;译者&＃xff1a; 顾星竹 , 刘见康 责编&＃xff1a; 胡俊英&＃xff0c;更多章节内容可以访问云栖社区“异步社区”公众号查看。
1.8 使用Tachyon作为堆外存储层
Spark弹性分布式数据集&＃xff08;RDD&＃xff09;很适合在内存上存储数据集&＃xff0c;可以在不同应用上存储大量备份。Tachyon可以解决Spark RDD管理的一些挑战性问题&＃xff0c;如下所示。
RDD仅存在于Spark应用期间。
计算程序和RDD内存存储共享同样的执行过程&＃xff1b;所以&＃xff0c;如果一个进程崩溃了&＃xff0c;那么内存存储也会消失。
即使处理同样的底层数据&＃xff0c;不同作业的RDD是不能共享的&＃xff0c;例如使用HDFS数据块。
慢速写入磁盘。
在内存中备份数据&＃xff0c;更高的内存占用。
如果需要与其他应用程序共享输出&＃xff0c;由于需要磁盘复制速度会非常慢。
Tachyon提供了堆外存储层来解决这些问题。该层&＃xff08;即堆外存储层&＃xff09;不受进程崩溃的影响也不会被垃圾回收器标记&＃xff0c;同时也可以让RDD独立于特定的作业或对话之上实现跨应用共享。本质上&＃xff0c;数据的一个存储在内存上的单一副本如图1-13所示。
1.8.1 具体步骤
1&＃xff0e;下载并编译Tachyon&＃xff08;在默认情况下Tachyon配置的Hadoop版本为1.0.4&＃xff0c;所以需要从源代码编译&＃xff0c;选择正确的Hadoop版本&＃xff09;。替换当前版本&＃xff0c;本书所写是版本为0.6.4。
$ wget https://github.com/amplab/tachyon/archive/v.zip
2&＃xff0e;解压源代码。
$ unzip v-.zip
3&＃xff0e;为了方便&＃xff0c;重命名Tachyon源文件名。
$ mv tachyon- tachyon
4&＃xff0e;修改Tachyon文件夹目录。
$ cd tachyon $ mvn -Dhadoop.version&＃61;2.4.0 clean package -DskipTests&＃61;true$ cdconf$ sudo mkdir -p /var/tachyon/journal$ sudo chown -R hduser:hduser /var/tachyon/journal$ sudo mkdir -p /var/tachyon/ramdisk$ sudo chown -R hduser:hduser /var/tachyon/ramdisk$ mv tachyon-env.sh.template tachyon-env.sh$ vi tachyon-env.sh
5&＃xff0e;注释下面这行。
export TACHYON_UNDERFS_ADDRESS&＃61;$TACHYON_HOME/underfs
6&＃xff0e;去掉下面这行前面的注释。
export TACHYON_UNDERFS_ADDRESS&＃61;hdfs://localhost:9000
7&＃xff0e;修改以下属性。
-Dtachyon.master.journal.folder&＃61;/var/tachyon/journal/export TACHYON_RAM_FOLDER&＃61;/var/tachyon/ramdisk $ sudo mkdir -p /var/log/tachyon$ sudo chown -R hduser:hduser /var/log/tachyon$ vi log4j.properties
8&＃xff0e;用/var/log/tachyon替换${tachyon.home}。
9&＃xff0e;在conf目录下创建新文件core-site.xml。
$ sudo vi core-site.xmlfs.tachyon.impltachyon.hadoop.TFS$ cd ~$ sudo mv tachyon /opt/infoobjects/$ sudochown -R root:root /opt/infoobjects/tachyon$ sudochmod -R 755 /opt/infoobjects/tachyon
10&＃xff0e;将/bin加入路径。
$ echo "export PATH&＃61;$PATH:/opt/infoobjects/tachyon/bin" >> /home/
hduser/.bashrc
11&＃xff0e;重启shell并格式化Tachyon。
$ tachyon format
$ tachyon-start.sh local //you need to enter root password as
RamFS needs to be formatted
Tachyon的网页端口是http://hostname:19998&＃xff0c;如图1-14所示。
12&＃xff0e;运行以下程序观测Tachyon是否运行良好&＃xff0c;如图1-15所示。
13&＃xff0e;以下命令可以随时停止Tachyon。
$ tachyon-stop.sh
14&＃xff0e;在Spark上运行Tachyon。
$ spark-shellscala> val words &＃61; sc.textFile("tachyon://localhost:19998/words")scala> words.countscala> words.saveAsTextFile("tachyon://localhost:19998/w2")scala> val person &＃61; sc.textFile("hdfs://localhost:9000/user/hduser/person")scala> import org.apache.spark.api.java._scala> person.persist(StorageLevels.OFF_HEAP)
京公网安备 11010802041100号