我最近能够构建具有本机64位支持的Apache Hadoop 2.5.1。因此,我摆脱了恼人的“本地库警告”。
我正在尝试配置Apache Spark。当我启动spark-shell时,会出现相同的警告:
14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
一些技巧:
我必须下载一个预先构建的2.4版本的Spark,因为仍然没有Maven的Hadoop 2.5的配置文件。
以下导出已添加到spark-env.sh:
export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native
不适用于spark-shell和spark-submit。我的Hadoop本地安装配置为伪分布式(ResourceManager + YARN支持)。