热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

IntellijIDEA开发(local模式)提交运行Spark代码

这里我来说一下IntellijIDEA(local模式)如何在windows上运行sparkPi的程序:1首先下载IntellijIDEA

这里我来说一下Intellij IDEA(local模式) 如何在windows上运行spark Pi的程序:
1 首先下载Intellij IDEA 地址:
https://www.jetbrains.com/idea/download/#section=windows
这里写图片描述
点击相应的 window 下载
2 下载之后创建工程和类
(温馨提示 :在写这个程序程序之前请把所需要的jar包导入好 ,在进行写 import 是就会出现错误,导入jar详细地址:http://blog.csdn.net/baolibin528/article/details/50316067
(鲍神博客))
下图为导入好的
这里写图片描述
3
JDK 的版本(建议使用1.7)
scala 的版本
spark(与scala版本一致)) 版本都整合适
(温馨提示:scala的2.10.X 版本问题比较少,可以把选择这版本)
4 上面一切就绪才能进行面的写程序:

import scala.math.random
import org.apache.spark._

object Sparkpi{
def main(args: Array[String]) {
val cOnf= new SparkConf().setMaster(“local”).setAppName(“SparkPi”)
//创建环境变量 设置本地模式 设置所要执行APP的名字
val sc= new SparkContext(conf)
//创建环境变量实例
val slices = if (args.length > 0)
args(0).toInt else 2
val n = math.min(100000L * slices, Int.MaxValue).toInt
//随机产生100000个数
val count = sc.parallelize(1 until n, slices).map { i =>
val x = random * 2 - 1
val y = random * 2 - 1
if (x * x + y * y <1) 1 else 0
}.reduce(_ + _)
println(“Pi is rough:” + 4.0 * count / n)
sc.stop()
}
}
4
1. 按照上面的步骤成功,运行出结果![这里写图片描述]

(http://img.blog.csdn.net/20160502205827799)

  1. 按照上面的做法不成功,运行程序出错,
    这里写图片描述

    1.若是上面的这个错误, 请加入.setMaster(“local”)这个参数

这里写图片描述

2 若是上面的错误 (a master url must be set………)
请将你的hadoop下bin打开

这里写图片描述

请给你的bin加以下的文件:这里写图片描述
<上面的文件你可以到这个地址下载:https://github.com/srccodes/hadoop-common-2.2.0-bin/tree/master/bin
要全部下载下来,并且加入到你的hadoop的bin:>
加入后:
这里写图片描述

然后修改(windows)环境变量:
添加 HADOOP_HOME +你的hadoop的地址
添加path ;%HADOOP_HOME%\bin
![这里写图片描述]

(http://img.blog.csdn.net/20160502211335310)

并重启电脑!
5 重启之后打开ij 运行程序出现下面的问题:![这里写图片描述]

(http://img.blog.csdn.net/20160502211520492)

解决方法:请把去掉local!!!!

这里写图片描述

6 重新运行程序

这里写图片描述
顺利解决问题!

结束语:bin文件下不了的, 可以联系我 1074359360@qq.com


推荐阅读
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 向QTextEdit拖放文件的方法及实现步骤
    本文介绍了在使用QTextEdit时如何实现拖放文件的功能,包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数,并结合QMimeData和QUrl等类,可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]
  • 本文讨论了一个关于cuowu类的问题,作者在使用cuowu类时遇到了错误提示和使用AdjustmentListener的问题。文章提供了16个解决方案,并给出了两个可能导致错误的原因。 ... [详细]
  • XML介绍与使用的概述及标签规则
    本文介绍了XML的基本概念和用途,包括XML的可扩展性和标签的自定义特性。同时还详细解释了XML标签的规则,包括标签的尖括号和合法标识符的组成,标签必须成对出现的原则以及特殊标签的使用方法。通过本文的阅读,读者可以对XML的基本知识有一个全面的了解。 ... [详细]
  • Java太阳系小游戏分析和源码详解
    本文介绍了一个基于Java的太阳系小游戏的分析和源码详解。通过对面向对象的知识的学习和实践,作者实现了太阳系各行星绕太阳转的效果。文章详细介绍了游戏的设计思路和源码结构,包括工具类、常量、图片加载、面板等。通过这个小游戏的制作,读者可以巩固和应用所学的知识,如类的继承、方法的重载与重写、多态和封装等。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • Linux重启网络命令实例及关机和重启示例教程
    本文介绍了Linux系统中重启网络命令的实例,以及使用不同方式关机和重启系统的示例教程。包括使用图形界面和控制台访问系统的方法,以及使用shutdown命令进行系统关机和重启的句法和用法。 ... [详细]
  • Java容器中的compareto方法排序原理解析
    本文从源码解析Java容器中的compareto方法的排序原理,讲解了在使用数组存储数据时的限制以及存储效率的问题。同时提到了Redis的五大数据结构和list、set等知识点,回忆了作者大学时代的Java学习经历。文章以作者做的思维导图作为目录,展示了整个讲解过程。 ... [详细]
  • Spring特性实现接口多类的动态调用详解
    本文详细介绍了如何使用Spring特性实现接口多类的动态调用。通过对Spring IoC容器的基础类BeanFactory和ApplicationContext的介绍,以及getBeansOfType方法的应用,解决了在实际工作中遇到的接口及多个实现类的问题。同时,文章还提到了SPI使用的不便之处,并介绍了借助ApplicationContext实现需求的方法。阅读本文,你将了解到Spring特性的实现原理和实际应用方式。 ... [详细]
  • 在重复造轮子的情况下用ProxyServlet反向代理来减少工作量
    像不少公司内部不同团队都会自己研发自己工具产品,当各个产品逐渐成熟,到达了一定的发展瓶颈,同时每个产品都有着自己的入口,用户 ... [详细]
  • 标题: ... [详细]
  • 图像因存在错误而无法显示 ... [详细]
  • Android自定义控件绘图篇之Paint函数大汇总
    本文介绍了Android自定义控件绘图篇中的Paint函数大汇总,包括重置画笔、设置颜色、设置透明度、设置样式、设置宽度、设置抗锯齿等功能。通过学习这些函数,可以更好地掌握Paint的用法。 ... [详细]
  • 开源Keras Faster RCNN模型介绍及代码结构解析
    本文介绍了开源Keras Faster RCNN模型的环境需求和代码结构,包括FasterRCNN源码解析、RPN与classifier定义、data_generators.py文件的功能以及损失计算。同时提供了该模型的开源地址和安装所需的库。 ... [详细]
  • Python使用Pillow包生成验证码图片的方法
    本文介绍了使用Python中的Pillow包生成验证码图片的方法。通过随机生成数字和符号,并添加干扰象素,生成一幅验证码图片。需要配置好Python环境,并安装Pillow库。代码实现包括导入Pillow包和随机模块,定义随机生成字母、数字和字体颜色的函数。 ... [详细]
author-avatar
撩人的东莞博文
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有