增加Spark的可用内存

为了增加MAX可用内存,我使用:

export SPARK_MEM=1 g

或者我可以使用

val conf = new SparkConf()
             .setMaster("local")
             .setAppName("My application")
             .set("spark.executor.memory", "1g")
val sc = new SparkContext(conf)

我正在运行的过程需要超过1克.我想使用20g,但我只有8g的RAM可用.作为Spark工作的一部分,磁盘存储器是否可以使用RAM内存进行扩充,如果是这样,如何实现？

是否有Spark文档描述如何将作业分发到多个Spark安装？

对于spark配置,我使用所有默认值(在http://spark.apache.org/docs/0.9.0/configuration.html中指定),除了我上面指定的内容.我有一个以下的机器实例:

CPU : 4 cores
RAM : 8GB
HD : 40GB

更新:

我认为这是我正在寻找的文档:http://spark.apache.org/docs/0.9.1/spark-standalone.html