热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

开发笔记:zookeeper+jstorm的集群搭建

篇首语:本文由编程笔记#小编为大家整理,主要介绍了zookeeper+jstorm的集群搭建相关的知识,希望对你有一定的参考价值。zoo

篇首语:本文由编程笔记#小编为大家整理,主要介绍了zookeeper+jstorm的集群搭建相关的知识,希望对你有一定的参考价值。




zookeeper的配置:

zookeeper有三种配置方式:单机式/伪分布式/集群式

其中伪分布式是在一台电脑上通过不同的端口来模拟分布式情形,需要N份配置文件和启动程序,而集群式是多个zookeeper程序。

 

首先通过sftp等方式获取tar包,解压到指定的目录:/usr/local/java 下,生成目录zookeeper-3.3.6;

配置环境变量(注意路径后面千万不要有空格,路径之前,与等号之间也不要有空格。):


vi /etc/profile
#zk
ZOOKEEPER_HOME=/usr/local/java/zookeeper-3.3.6
export PATH="$PATH:$ZOOKEEPER_HOME/bin"
export ZOOKEEPER_HOME


cd /zookeeper-3.3.6/conf
touch zoo.cfg 或 mv zoo-sample.cfg zoo.cfg
vi zoo.cfg
插入如下的内容:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/java/zookeeper-3.3.6/data
dataLogDir=/usr/local/java/zookeeper-3.3.6/logs
clientPort=4180
server.3=192.168.204.3:2888:3888
server.4=192.168.204.4:2888:3888
server.5=192.168.204.5:2888:3888
--其中节点数量大于虚拟机数量,文件路径一定要存在,不存在后面要创建,路径后面不能有空格


完成配置:Esc -> :wq
cd .. 到根目录
mkdir logs
mkdir data
需要在data下面建立一个myid问价,内容为server的编号,一定是本机的server编号
touch myid
vi myid
插入
主机对应的server号






基本配置就是这样,之后我们在另外两台虚拟机上执行同样的配置,zoo.cfg基本不变,但是myid要根据本机的ip映射的server编号来。同样路径不能有空格




依次启动三台虚拟机的zookeeper,zkServer.sh start 记住启动第一个的时候,会报错找不到后面的两个,这个不要紧,都启动就好了。

通过bin下面的命令:zkServer.sh status 查看状态,启动成功后会有节点是leader还是follower的标识,表示启动成功了。

中间遇到了一些问题,主要是无法启动,启动之后不能通信,找不到文件等。原因有:myid丢失,bin没有配置到path里,配置的logs文件夹没有建立,zoo.cfg中路径有空格,防火墙阻止等。

本来已经运行成功了,但是第二天过来的时候,又出问题了。表现是:

zhServer.sh start 启动之后,显示STARTED,并且后台的进程也在运行中,依次启动zk。jps命令也能看到 QuorumPeerMain 进程。明明已经启动成功了

但是zkServer.sh status 命令查看,却又报错:Error contacting service. It is probably not running 。

查看了许多资料啊,什么改hosts,检查myid,检查文件夹是否建立,但是没有针对性地改来改去,始终没有结果。而iptables命令,也显示invalid(我以为已经关闭了)

总结一下:报错的开始,并没有认真看报错日志,主要是网上有博客说启动的时候报错是正常的,因为其他节点没有启动。所以就没有继续深入了,然后各种漫无目的的瞎碰......


报错如下
java.net.NoRouteToHostException: No route to host(没有到主机的路由)
之后检查网络,端口,hosts,iptables都没有用。
随后发现centos7的防火墙不再是iptables了,变成firewall。我之前不停地
service iptables stop 命令并没有用。
最后通过:
--------------------------------------------------------------
centos7.0(默认是使用firewall作为防火墙,如若未改为iptables防火墙,使用以下命令查看和关闭防火墙)
查看防火墙状态:firewall-cmd --state
关闭防火墙:systemctl stop firewalld.service
------------------------------------------------------------------
Ubuntu(ubuntu-12.04-desktop-amd64)
查看防火墙状态:ufw status
关闭防火墙:ufw disable
---------------------------------------------------------------
CentOS6.0
查看防火墙状态:service iptables status
关闭防火墙:chkconfig iptables off #开机不启动防火墙服务

 




关闭了防火墙,于是不报错了。很简单的设置,但是却无效率地磨蹭了很长时间。(百度居然还有说status命令有问题)

 


另外,为了防止下次再捣乱,选择禁止开机启动: systemctl disable firewalld.service 

命令敲完后:

Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

Removed symlink /etc/systemd/system/basic.target.wants/firewalld.service.

这一步应该是从开机的加载项里去掉,实现禁止开机启动。如果以后有需要,再复制进去应该可以。

参考:【http://www.cnblogs.com/silent2012/archive/2015/07/28/4682770.html  】

 

所以,依次启动zkServer.sh start 显示启动成功,然后zkServer.sh status 显示:


[root@tm4 bin]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/java/zookeeper-3.3.6/bin/../conf/zoo.cfg
Mode: follower
[root@tm4 bin]# jps
2473 QuorumPeerMain
2661 Jps

 



即为成功。记住报错一定要围着zookeeper.out.

其他问题

1.终端始终连不上其中一台虚拟机,我以为哪里配置地不对,删除又重新克隆,重新配置,但还是不行,后来换了一个终端程序就好了,真是日了狗的心情。

  无论是带UI还是不带UI的虚拟机命令行,都很难用。只有通过xShell工具来连接,可以很方便的编辑。

 

jstorm配置

  jstorm 环境变量:


vi /etc/profile
插入
#jstorm
export JSTORM_HOME=/usr/local/java/jstorm-0.9.6
export PATH=$PATH:$JSTORM_HOME/bin

 




jstorm配置文件:

  可 参考服务器上已配置好的文件,结合自己的集群,做一些修改即可。

   


########### These MUST be filled in for a storm configuration
storm.zookeeper.servers:
- "192.168.204.3"
- "192.168.204.4"
- "192.168.204.5"
storm.zookeeper.root: "/jstorm"
nimbus.host: "192.168.204.3"
# %JSTORM_HOME% is the jstorm home directory
storm.local.dir: "%JSTORM_HOME%/data"

java.library.path: "/usr/local/java/jstorm-0.9.6/lib:/usr/local/lib:/opt/local/lib:/usr/lib"
supervisor.slots.ports:
- 6800
- 6801
- 6802
- 6803
# Default disable user-define classloader
# If there are jar conflict between jstorm and application,
# please enable it
topology.enable.classloader: false
# enable supervisor use cgroup to make resource isolation
# Before enable it, you should make sure:
# 1. Linux version (>= 2.6.18)
# 2. Have installed cgroup (check the file\'s existence:/proc/cgroups)
# 3. You should start your supervisor on root
# You can get more about cgroup:
# http://t.cn/8s7nexU
supervisor.enable.cgroup: false
### Netty will send multiple messages in one batch
### Setting true will improve throughput, but more latency
storm.messaging.netty.transfer.async.batch: true

### default worker memory size, unit is byte
worker.memory.size: 2147483648
# Metrics Monitor
# topology.performance.metrics: it is the switch flag for performance
# purpose. When it is disabled, the data of timer and histogram metrics
# will not be collected.
# topology.alimonitor.metrics.post: If it is disable, metrics data
# will only be printed to log. If it is enabled, the metrics data will be
# posted to alimonitor besides printing to log.
topology.performance.metrics: true
topology.alimonitor.metrics.post: false
ui.clusters:
- {
name: "jstorm",
zkRoot: "/jstorm",
zkServers:
[ "192.168.204.3","192.168.204.4","192.168.204.5"],
zkPort: 2181,
}

 




 

这里需要下载一下官方例子运行在UI 上,做测试,但是git却无法支持只clone其中example目录,这个正常的需求。简直失望

 

查看端口信息

netstat -ntulp |grep 80

 

ui.clusters:
- {
name: "jstorm",
zkRoot: "/jstorm",
zkServers:
[ "192.168.204.3","192.168.204.4","192.168.204.5"],
zkPort: 4180,
}
topology.backpressure.enable: true

supervisor.slots.ports.base: 6800
supervisor.slots.port.cpu.weight: 1.2
# supervisor.slots.port.cpu.weight: 0.5
supervisor.slots.port.mem.weight: 0.7
# supervisor.slots.port.mem.weight: 0.5
supervisor.slots.ports: null


 

 



http://blog.csdn.net/morning99/article/details/40426133



http://my.oschina.net/bigsloth/blog/387297



http://blog.csdn.net/zzu09huixu/article/details/26452947



http://coolxing.iteye.com/blog/1871009




来自为知笔记(Wiz)




附件列表


 



推荐阅读
  • 本文介绍了通过ABAP开发往外网发邮件的需求,并提供了配置和代码整理的资料。其中包括了配置SAP邮件服务器的步骤和ABAP写发送邮件代码的过程。通过RZ10配置参数和icm/server_port_1的设定,可以实现向Sap User和外部邮件发送邮件的功能。希望对需要的开发人员有帮助。摘要长度:184字。 ... [详细]
  • 本文介绍了在Linux下安装和配置Kafka的方法,包括安装JDK、下载和解压Kafka、配置Kafka的参数,以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例,帮助读者快速完成Kafka的安装和配置。 ... [详细]
  • Nginx使用(server参数配置)
    本文介绍了Nginx的使用,重点讲解了server参数配置,包括端口号、主机名、根目录等内容。同时,还介绍了Nginx的反向代理功能。 ... [详细]
  • 如何使用Java获取服务器硬件信息和磁盘负载率
    本文介绍了使用Java编程语言获取服务器硬件信息和磁盘负载率的方法。首先在远程服务器上搭建一个支持服务端语言的HTTP服务,并获取服务器的磁盘信息,并将结果输出。然后在本地使用JS编写一个AJAX脚本,远程请求服务端的程序,得到结果并展示给用户。其中还介绍了如何提取硬盘序列号的方法。 ... [详细]
  • http:my.oschina.netleejun2005blog136820刚看到群里又有同学在说HTTP协议下的Get请求参数长度是有大小限制的,最大不能超过XX ... [详细]
  • 本文介绍了为什么要使用多进程处理TCP服务端,多进程的好处包括可靠性高和处理大量数据时速度快。然而,多进程不能共享进程空间,因此有一些变量不能共享。文章还提供了使用多进程实现TCP服务端的代码,并对代码进行了详细注释。 ... [详细]
  • 本文介绍了计算机网络的定义和通信流程,包括客户端编译文件、二进制转换、三层路由设备等。同时,还介绍了计算机网络中常用的关键词,如MAC地址和IP地址。 ... [详细]
  • FeatureRequestIsyourfeaturerequestrelatedtoaproblem?Please ... [详细]
  • 本文介绍了Python爬虫技术基础篇面向对象高级编程(中)中的多重继承概念。通过继承,子类可以扩展父类的功能。文章以动物类层次的设计为例,讨论了按照不同分类方式设计类层次的复杂性和多重继承的优势。最后给出了哺乳动物和鸟类的设计示例,以及能跑、能飞、宠物类和非宠物类的增加对类数量的影响。 ... [详细]
  • 本文介绍了如何使用Express App提供静态文件,同时提到了一些不需要使用的文件,如package.json和/.ssh/known_hosts,并解释了为什么app.get('*')无法捕获所有请求以及为什么app.use(express.static(__dirname))可能会提供不需要的文件。 ... [详细]
  • 解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法
    本文介绍了解决nginx启动报错epoll_wait() reported that client prematurely closed connection的方法,包括检查location配置是否正确、pass_proxy是否需要加“/”等。同时,还介绍了修改nginx的error.log日志级别为debug,以便查看详细日志信息。 ... [详细]
  • Android系统源码分析Zygote和SystemServer启动过程详解
    本文详细解析了Android系统源码中Zygote和SystemServer的启动过程。首先介绍了系统framework层启动的内容,帮助理解四大组件的启动和管理过程。接着介绍了AMS、PMS等系统服务的作用和调用方式。然后详细分析了Zygote的启动过程,解释了Zygote在Android启动过程中的决定作用。最后通过时序图展示了整个过程。 ... [详细]
  • 本文详细介绍了cisco路由器IOS损坏时的恢复方法,包括进入ROMMON模式、设置IP地址、子网掩码、默认网关以及使用TFTP服务器传输IOS文件的步骤。 ... [详细]
  • 本文讨论了在VMWARE5.1的虚拟服务器Windows Server 2008R2上安装oracle 10g客户端时出现的问题,并提供了解决方法。错误日志显示了异常访问违例,通过分析日志中的问题帧,找到了解决问题的线索。文章详细介绍了解决方法,帮助读者顺利安装oracle 10g客户端。 ... [详细]
  • centos安装Mysql的方法及步骤详解
    本文介绍了centos安装Mysql的两种方式:rpm方式和绿色方式安装,详细介绍了安装所需的软件包以及安装过程中的注意事项,包括检查是否安装成功的方法。通过本文,读者可以了解到在centos系统上如何正确安装Mysql。 ... [详细]
author-avatar
风桥残岸_476
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有