开发笔记:大三上寒假15天第5天

作者：今日屎汰濃 | 来源：互联网 | 2023-10-14 17:56

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大三上寒假15天--第5天相关的知识，希望对你有一定的参考价值。昨天的下载完成后运行报错，应该是下载的spark版本和教

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大三上寒假15天--第5天相关的知识，希望对你有一定的参考价值。

昨天的下载完成后运行报错，应该是下载的spark版本和教程不符合，然后pom.xml文件中的spark-core内容而应该不同，但是我还是用的教程导致，现在正在尝试安装教程给的网站找的内容又下载中，不知道这次又要下载多久。（我下载的是spark 2.4.4）

技术图片

"1.0" encoding="UTF-8"?>
"http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

spark-parent_2.11
org.apache.spark
2.4.4

4.0.0
spark-core_2.11
Spark Project Core
http://spark.apache.org/

target/scala-${scala.binary.version}/classes
target/scala-${scala.binary.version}/test-classes

${project.basedir}/src/main/resources

true
${project.build.directory}/extra-resources

maven-antrun-plugin

generate-resources

run

maven-dependency-plugin

copy-dependencies
package

copy-dependencies

${project.build.directory}
false
false
true
true
guava,jetty-io,jetty-servlet,jetty-servlets,jetty-continuation,jetty-http,jetty-plus,jetty-util,jetty-server,jetty-security,jetty-proxy,jetty-client
true

Windows

unix

sparkr

org.codehaus.mojo
exec-maven-plugin
1.6.0

sparkr-pkg
compile

exec

${project.basedir}${file.separator}..${file.separator}R${file.separator}install-dev${script.extension}

com.thoughtworks.paranamer
paranamer
2.8
runtime

org.apache.avro
avro
1.8.2
compile

org.apache.avro
avro-mapred
1.8.2
hadoop2
compile

netty
io.netty

jetty
org.mortbay.jetty

jetty-util
org.mortbay.jetty

servlet-api
org.mortbay.jetty

velocity
org.apache.velocity

com.google.guava
guava
14.0.1
provided

com.twitter
chill_2.11
0.9.3
compile

com.twitter
chill-java
0.9.3
compile

org.apache.xbean
xbean-asm6-shaded
4.8
compile

org.apache.hadoop
hadoop-client
2.6.5
compile

asm
asm

jackson-mapper-asl
org.codehaus.jackson

asm
org.ow2.asm

netty
org.jboss.netty

commons-beanutils-core
commons-beanutils

commons-logging
commons-logging

mockito-all
org.mockito

servlet-api-2.5
org.mortbay.jetty

servlet-api
javax.servlet

junit
junit

*
com.sun.jersey

*
com.sun.jersey.jersey-test-framework

*
com.sun.jersey.contribs

jets3t
net.java.dev.jets3t

org.apache.spark
spark-launcher_2.11
2.4.4
compile

org.apache.spark
spark-kvstore_2.11
2.4.4
compile

org.apache.spark
spark-network-common_2.11
2.4.4
compile

org.apache.spark
spark-network-shuffle_2.11
2.4.4
compile

org.apache.spark
spark-unsafe_2.11
2.4.4
compile

javax.activation
activation
1.1.1
compile

org.apache.curator
curator-recipes
2.6.0
compile

netty
org.jboss.netty

jline
jline

org.apache.zookeeper
zookeeper
3.4.6
compile

netty
org.jboss.netty

jline
jline

javax.servlet
javax.servlet-api
3.1.0
compile

org.apache.commons
commons-lang3
3.5
compile

org.apache.commons
commons-math3
3.4.1
compile

com.google.code.findbugs
jsr305
1.3.9
compile

org.slf4j
slf4j-api
1.7.16
compile

org.slf4j
jul-to-slf4j
1.7.16
compile

org.slf4j
jcl-over-slf4j
1.7.16
compile

log4j
log4j
1.2.17
compile

org.slf4j
slf4j-log4j12
1.7.16
compile

com.ning
compress-lzf
1.0.3
compile

org.xerial.snappy
snappy-java
1.1.7.3
compile

org.lz4
lz4-java
1.4.0
compile

com.github.luben
zstd-jni
1.3.2-2
compile

org.roaringbitmap
RoaringBitmap
0.7.45
compile

commons-net
commons-net
3.1
compile

org.scala-lang
scala-library
2.11.12
compile

org.json4s
json4s-jackson_2.11
3.5.3
compile

*
com.fasterxml.jackson.core

org.glassfish.jersey.core
jersey-client
2.22.2
compile

org.glassfish.jersey.core
jersey-common
2.22.2
compile

org.glassfish.jersey.core
jersey-server
2.22.2
compile

org.glassfish.jersey.containers
jersey-container-servlet
2.22.2
compile

org.glassfish.jersey.containers
jersey-container-servlet-core
2.22.2
compile

io.netty
netty-all
4.1.17.Final
compile

io.netty
netty
3.9.9.Final
compile

com.clearspring.analytics
stream
2.7.0
compile

fastutil
it.unimi.dsi

io.dropwizard.metrics
metrics-core
3.1.5
compile

io.dropwizard.metrics
metrics-jvm
3.1.5
compile

io.dropwizard.metrics
metrics-json
3.1.5
compile

io.dropwizard.metrics
metrics-graphite
3.1.5
compile

com.fasterxml.jackson.core
jackson-databind
2.6.7.1
compile

com.fasterxml.jackson.module
jackson-module-scala_2.11
2.6.7.1
compile

guava
com.google.guava

org.apache.derby
derby
10.12.1.1
test

org.apache.ivy
ivy
2.4.0
compile

oro
oro
2.0.8
compile

org.seleniumhq.selenium
selenium-java
2.52.0
test

guava
com.google.guava

netty
io.netty

selenium-chrome-driver
org.seleniumhq.selenium

selenium-edge-driver
org.seleniumhq.selenium

selenium-firefox-driver
org.seleniumhq.selenium

selenium-ie-driver
org.seleniumhq.selenium

selenium-safari-driver
org.seleniumhq.selenium

selenium-support
org.seleniumhq.selenium

webbit
org.webbitserver

selenium-leg-rc
org.seleniumhq.selenium

org.seleniumhq.selenium
selenium-htmlunit-driver
2.52.0
test

htmlunit
net.sourceforge.htmlunit

selenium-support
org.seleniumhq.selenium

xml-apis
xml-apis
1.4.01
test

org.hamcrest
hamcrest-core
1.3
test

org.hamcrest
hamcrest-library
1.3
test

org.mockito
mockito-core
1.10.19
test

org.scalacheck
scalacheck_2.11
1.13.5
test

test-interface
org.scala-sbt

org.apache.curator
curator-test
2.6.0
test

commons-math
org.apache.commons

net.razorvine
pyrolite
4.13
compile

serpent
net.razorvine

net.sf.py4j
py4j
0.10.7
compile

org.apache.spark
spark-tags_2.11
2.4.4
compile

org.apache.spark
spark-launcher_2.11
2.4.4
tests
test

org.apache.spark
spark-tags_2.11
2.4.4
test-jar
test

org.apache.commons
commons-crypto
1.0.0
compile

jna
net.java.dev.jna

org.spark-project.hive
hive-exec
1.2.1.spark2
provided

hive-metastore
org.spark-project.hive

hive-shims
org.spark-project.hive

hive-ant
org.spark-project.hive

spark-client
org.spark-project.hive

ant
ant

ant
org.apache.ant

kryo
com.esotericsoftware.kryo

commons-codec
commons-codec

commons-httpclient
commons-httpclient

avro-mapred
org.apache.avro

calcite-core
org.apache.calcite

apache-curator
org.apache.curator

curator-client
org.apache.curator

curator-framework
org.apache.curator

libthrift
org.apache.thrift

libfb303
org.apache.thrift

zookeeper
org.apache.zookeeper

slf4j-api
org.slf4j

slf4j-log4j12
org.slf4j

log4j
log4j

commons-logging
commons-logging

groovy-all
org.codehaus.groovy

jline
jline

json
org.json

javolution
javolution

apache-log4j-extras
log4j

antlr-runtime
org.antlr

ST4
org.antlr

jodd-core
org.jodd

datanucleus-core
org.datanucleus

calcite-avatica
org.apache.calcite

JavaEWAH
com.googlecode.javaewah

snappy
org.iq80.snappy

stax-api
stax

opencsv
net.sf.opencsv

org.spark-project.hive
hive-metastore
1.2.1.spark2
provided

hive-serde
org.spark-project.hive

hive-shims
org.spark-project.hive

libfb303
org.apache.thrift

libthrift
org.apache.thrift

servlet-api
org.mortbay.jetty

guava
com.google.guava

slf4j-api
org.slf4j

slf4j-log4j12
org.slf4j

bonecp
com.jolbox

datanucleus-api-jdo
org.datanucleus

datanucleus-rdbms
org.datanucleus

commons-pool
commons-pool

commons-dbcp
commons-dbcp

jdo-api
javax.jdo

datanucleus-core
org.datanucleus

antlr-runtime
org.antlr

org.apache.thrift
libthrift
0.9.3
provided

slf4j-api
org.slf4j

org.apache.thrift
libfb303
0.9.3
provided

slf4j-api
org.slf4j

org.scalatest
scalatest_2.11
3.0.3
test

scalactic_2.11
org.scalactic

scala-parser-combinators_2.11
org.scala-lang.modules

junit
junit
4.12
test

com.novocode
junit-interface
0.11
test

test-interface
org.scala-sbt

core

推荐阅读

text
开发笔记:（002）spring容器中bean初始化销毁时执行的方法及其3种实现方式

篇首语：本文由编程笔记#小编为大家整理，主要介绍了（002）spring容器中bean初始化销毁时执行的方法及其3种实现方式相关的知识，希望对你有一定的参考价值。 ... [详细]

蜡笔小新 2023-10-17 17:35:41
text
Activiti7流程定义开发笔记

本文介绍了Activiti7流程定义的开发笔记，包括流程定义的概念、使用activiti-explorer和activiti-eclipse-designer进行建模的方式，以及生成流程图的方法。还介绍了流程定义部署的概念和步骤，包括将bpmn和png文件添加部署到activiti数据库中的方法，以及使用ZIP包进行部署的方式。同时还提到了activiti.cfg.xml文件的作用。 ... [详细]

蜡笔小新 2023-12-10 19:22:56
config
如何进行Web.Config自定义配置节的配置转换

本文讨论了如何使用Web.Config进行自定义配置节的配置转换。作者提到，他将msbuild设置为详细模式，但转换却忽略了带有替换转换的自定义部分的存在。 ... [详细]

蜡笔小新 2023-12-11 17:54:55
version
kotlin动画实现上下移动、放大缩小、旋转功能

本文介绍了使用kotlin实现动画效果的方法，包括上下移动、放大缩小、旋转等功能。通过代码示例演示了如何使用ObjectAnimator和AnimatorSet来实现动画效果，并提供了实现抖动效果的代码。同时还介绍了如何使用translationY和translationX来实现上下和左右移动的效果。最后还提供了一个anim_small.xml文件的代码示例，可以用来实现放大缩小的效果。 ... [详细]

蜡笔小新 2023-12-14 17:29:08
ip
Perl的测试框架Test::Base简介及使用方法

本文介绍了Perl的测试框架Test::Base，它是一个数据驱动的测试框架，可以自动进行单元测试，省去手工编写测试程序的麻烦。与Test::More完全兼容，使用方法简单。以plural函数为例，展示了Test::Base的使用方法。 ... [详细]

蜡笔小新 2023-12-13 20:05:31
config
CentOS安装Python2.7.2的步骤和注意事项

本文介绍了在CentOS上安装Python2.7.2的详细步骤，包括下载、解压、编译和安装等操作。同时提供了一些注意事项，以及测试安装是否成功的方法。 ... [详细]

蜡笔小新 2023-12-12 13:54:31
config
CentOS 6.4更新源地址的方法

本文介绍了在CentOS 6.4系统中更新源地址的方法，包括备份现有源文件、下载163源、修改文件名、更新列表和系统，并提供了相应的命令。 ... [详细]

蜡笔小新 2023-12-11 16:09:40
config
GreenDAO快速入门

前言之前在自己做项目的时候，用到了GreenDAO数据库，其实对于数据库辅助工具库从OrmLite，到litePal再到GreenDAO，总是在不停的切换，但是没有真正去了解他们的 ... [详细]

蜡笔小新 2023-12-11 12:31:00
dll
Wince程序内存和存储内存的分析及作用

本文分析了Wince程序内存和存储内存的分布及作用。Wince内存包括系统内存、对象存储和程序内存，其中系统内存占用了一部分SDRAM，而剩下的30M为程序内存和存储内存。对象存储是嵌入式wince操作系统中的一个新概念，常用于消费电子设备中。此外，文章还介绍了主电源和后备电池在操作系统中的作用。 ... [详细]

蜡笔小新 2023-12-10 16:21:27
match
Python基础篇：315道题目及答案整理，帮助你检验学习成果

本文整理了315道Python基础题目及答案，帮助读者检验学习成果。文章介绍了学习Python的途径、Python与其他编程语言的对比、解释型和编译型编程语言的简述、Python解释器的种类和特点、位和字节的关系、以及至少5个PEP8规范。对于想要检验自己学习成果的读者，这些题目将是一个不错的选择。请注意，答案在视频中，本文不提供答案。 ... [详细]

蜡笔小新 2023-12-10 14:33:46
config
Ubuntu系统清理残余配置文件和无用内容的方法

本文介绍了在Ubuntu系统中清理残余配置文件和无用内容的方法，包括清理残余配置文件、清理下载缓存包、清理不再需要的包、清理无用的语言文件和清理无用的翻译内容。通过这些清理操作可以节省硬盘空间，提高系统的运行效率。 ... [详细]

蜡笔小新 2023-12-09 10:04:56
config
centos6.8 下nginx1.10 安装

centos6.8 下nginx1.10 安装 ... [详细]

蜡笔小新 2023-10-17 17:21:05
settings
maven阿里云镜像一路繁花似锦绣前程

重点：找到maven引用的settings.xml配置文件，将以下代码复制至&lt;mirrors&gt;&lt;mirrors&a ... [详细]

蜡笔小新 2023-10-17 17:05:53
client
spark登陆后闪一下就不见了，问题解决了。

这个问题困扰了我两天，卸载Dr.COM客户端（我们学校上网要装这个客户端登陆服务器，以后只能在网页里输入用户名和密码了），问题解决了。问题的现象：在实验室机台式机上安装openfire和sp ... [详细]

蜡笔小新 2023-10-17 16:47:14
match
一对一直播源码开发，表情面板无缝切换的实现

在一对一直播源码使用过程中，有时会出现软键盘切换闪屏问题，就是当切换表情的时候屏幕会跳动，因此要对一对一直播源码表情面板无缝切换进行优化。 ... [详细]

蜡笔小新 2023-10-17 14:59:17

今日屎汰濃

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章