热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

IntellijIDEA开发(local模式)提交运行Spark代码

这里我来说一下IntellijIDEA(local模式)如何在windows上运行sparkPi的程序:1首先下载IntellijIDEA

这里我来说一下Intellij IDEA(local模式) 如何在windows上运行spark Pi的程序:
1 首先下载Intellij IDEA 地址:
https://www.jetbrains.com/idea/download/#section=windows
这里写图片描述
点击相应的 window 下载
2 下载之后创建工程和类
(温馨提示 :在写这个程序程序之前请把所需要的jar包导入好 ,在进行写 import 是就会出现错误,导入jar详细地址:http://blog.csdn.net/baolibin528/article/details/50316067
(鲍神博客))
下图为导入好的
这里写图片描述
3
JDK 的版本(建议使用1.7)
scala 的版本
spark(与scala版本一致)) 版本都整合适
(温馨提示:scala的2.10.X 版本问题比较少,可以把选择这版本)
4 上面一切就绪才能进行面的写程序:

import scala.math.random
import org.apache.spark._

object Sparkpi{
def main(args: Array[String]) {
val cOnf= new SparkConf().setMaster(“local”).setAppName(“SparkPi”)
//创建环境变量 设置本地模式 设置所要执行APP的名字
val sc= new SparkContext(conf)
//创建环境变量实例
val slices = if (args.length > 0)
args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt
//随机产生100000个数
val count = sc.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y <1) 1 else 0
}.reduce(_ + _)
println(“Pi is rough:” + 4.0 * count / n)
sc.stop()
}
}
4
1. 按照上面的步骤成功,运行出结果![这里写图片描述]

(http://img.blog.csdn.net/20160502205827799)

  1. 按照上面的做法不成功,运行程序出错,
    这里写图片描述

    1.若是上面的这个错误, 请加入.setMaster(“local”)这个参数

这里写图片描述

2 若是上面的错误 (a master url must be set………)
请将你的hadoop下bin打开

这里写图片描述

请给你的bin加以下的文件:这里写图片描述
<上面的文件你可以到这个地址下载:https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin
要全部下载下来,并且加入到你的hadoop的bin:>
加入后:
这里写图片描述

然后修改(windows)环境变量:
添加 HADOOP_HOME +你的hadoop的地址
添加path ;%HADOOP_HOME%\bin
![这里写图片描述]

(http://img.blog.csdn.net/20160502211335310)

并重启电脑!
5 重启之后打开ij 运行程序出现下面的问题:![这里写图片描述]

(http://img.blog.csdn.net/20160502211520492)

解决方法:请把去掉local!!!!

这里写图片描述

6 重新运行程序

这里写图片描述
顺利解决问题!

结束语:bin文件下不了的, 可以联系我 1074359360@qq.com


推荐阅读
  • Iamtryingtomakeaclassthatwillreadatextfileofnamesintoanarray,thenreturnthatarra ... [详细]
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 本文分享了一个关于在C#中使用异步代码的问题,作者在控制台中运行时代码正常工作,但在Windows窗体中却无法正常工作。作者尝试搜索局域网上的主机,但在窗体中计数器没有减少。文章提供了相关的代码和解决思路。 ... [详细]
  • HDU 2372 El Dorado(DP)的最长上升子序列长度求解方法
    本文介绍了解决HDU 2372 El Dorado问题的一种动态规划方法,通过循环k的方式求解最长上升子序列的长度。具体实现过程包括初始化dp数组、读取数列、计算最长上升子序列长度等步骤。 ... [详细]
  • 本文讨论了一个关于cuowu类的问题,作者在使用cuowu类时遇到了错误提示和使用AdjustmentListener的问题。文章提供了16个解决方案,并给出了两个可能导致错误的原因。 ... [详细]
  • 后台获取视图对应的字符串
    1.帮助类后台获取视图对应的字符串publicclassViewHelper{将View输出为字符串(注:不会执行对应的ac ... [详细]
  • XML介绍与使用的概述及标签规则
    本文介绍了XML的基本概念和用途,包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则,包括标签的尖括号和合法标识符的组成,标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读,读者可以对XML的基本知识有一个全面的了解。 ... [详细]
  • 《数据结构》学习笔记3——串匹配算法性能评估
    本文主要讨论串匹配算法的性能评估,包括模式匹配、字符种类数量、算法复杂度等内容。通过借助C++中的头文件和库,可以实现对串的匹配操作。其中蛮力算法的复杂度为O(m*n),通过随机取出长度为m的子串作为模式P,在文本T中进行匹配,统计平均复杂度。对于成功和失败的匹配分别进行测试,分析其平均复杂度。详情请参考相关学习资源。 ... [详细]
  • Java在运行已编译完成的类时,是通过java虚拟机来装载和执行的,java虚拟机通过操作系统命令JAVA_HOMEbinjava–option来启 ... [详细]
  • 开发笔记:spring boot项目打成war包部署到服务器的步骤与注意事项
    本文介绍了将spring boot项目打成war包并部署到服务器的步骤与注意事项。通过本文的学习,读者可以了解到如何将spring boot项目打包成war包,并成功地部署到服务器上。 ... [详细]
  • 本文讨论了使用差分约束系统求解House Man跳跃问题的思路与方法。给定一组不同高度,要求从最低点跳跃到最高点,每次跳跃的距离不超过D,并且不能改变给定的顺序。通过建立差分约束系统,将问题转化为图的建立和查询距离的问题。文章详细介绍了建立约束条件的方法,并使用SPFA算法判环并输出结果。同时还讨论了建边方向和跳跃顺序的关系。 ... [详细]
  • JavaSE笔试题-接口、抽象类、多态等问题解答
    本文解答了JavaSE笔试题中关于接口、抽象类、多态等问题。包括Math类的取整数方法、接口是否可继承、抽象类是否可实现接口、抽象类是否可继承具体类、抽象类中是否可以有静态main方法等问题。同时介绍了面向对象的特征,以及Java中实现多态的机制。 ... [详细]
  • 本文介绍了一种划分和计数油田地块的方法。根据给定的条件,通过遍历和DFS算法,将符合条件的地块标记为不符合条件的地块,并进行计数。同时,还介绍了如何判断点是否在给定范围内的方法。 ... [详细]
  • 本文讨论了在Spring 3.1中,数据源未能自动连接到@Configuration类的错误原因,并提供了解决方法。作者发现了错误的原因,并在代码中手动定义了PersistenceAnnotationBeanPostProcessor。作者删除了该定义后,问题得到解决。此外,作者还指出了默认的PersistenceAnnotationBeanPostProcessor的注册方式,并提供了自定义该bean定义的方法。 ... [详细]
  • 本文讨论了在shiro java配置中加入Shiro listener后启动失败的问题。作者引入了一系列jar包,并在web.xml中配置了相关内容,但启动后却无法正常运行。文章提供了具体引入的jar包和web.xml的配置内容,并指出可能的错误原因。该问题可能与jar包版本不兼容、web.xml配置错误等有关。 ... [详细]
author-avatar
撩人的东莞博文
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有