热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

kafka_2.11-0.10.1.1集群搭建安装配置

nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd

在搭建kafka集群之前,请保证zookeeper已安装。

1、下载

官网下载链接:http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz

2、解压

tar zxvf kafka_2.11-0.10.1.1.tgz /usr/local/kafka

3、配置环境变量,各个节点都需要配置

gedit /etc/profile

#set kafka
export KAFKA_HOME=/usr/local/kafka
export PATH=/usr/local/kafka/bin:$PATH

使用环境变量生效

source /etc/profile

4、配置 server.properties

cd /usr/local/kafka/config

gedit server.properties

(1)、配置 broker 的ID

broker.id=1

(2)、打开监听端口

listeners=PLAINTEXT://master:9092

(3)、修改 log 的目录、在指定的位置创建好文件夹logs

log.dirs=/usr/local/kafka/logs

(4)、修改 zookeeper.connect

zookeeper.cOnnect=master:2181,slave1:2181,slave2:2181,slave3:2181

5、拷贝配置好的kafka文件到子节点服务器,然后修改broker.id的值,不能一样,我分配设置的是2,3,4

6、启动kafka之前需启动zookeeper,然后启动kafka,各个节点需单独启动

cd /usr/local/kafka/config

kafka-server-start.sh server.properties

7、检查kafka是否启动成功,通过jps查看jps是否启动成功

#

8,、通过创建一个topic来测试是否能成功运行,随便选择一个节点运行

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Created topic "test".

出现这个即表示创建test成功

下面关于Kafka的文章您也可能喜欢,不妨参考下:

CentOS 7.2部署Elasticsearch+Kibana+Zookeeper+Kafka  2016-11/137636.htm

CentOS 7下安装Logstash ELK Stack 日志管理系统  2016-08/134165.htm

Kafka集群部署与配置手册 2017-02/141037.htm

CentOS 7下Kafka集群安装  2017-01/139734.htm

Apache Kafka 教程笔记 2014-01/94682.htm

CentOS 7下安装Kafka单机版  2017-01/139732.htm

Apache kafka原理与特性(0.8V)  2014-09/107388.htm

Kafka部署与代码实例  2014-09/107387.htm

Kafka介绍及环境搭建  2016-12/138724.htm

Kafka介绍和集群环境搭建  2014-09/107382.htm

Kafka 的详细介绍:请点这里
Kafka 的下载地址:请点这里


推荐阅读
  • CentOS 7配置SSH远程访问及控制
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • 本文介绍了在Linux下安装和配置Kafka的方法,包括安装JDK、下载和解压Kafka、配置Kafka的参数,以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例,帮助读者快速完成Kafka的安装和配置。 ... [详细]
  • uniapp开发H5解决跨域问题的两种代理方法
    本文介绍了uniapp开发H5解决跨域问题的两种代理方法,分别是在manifest.json文件和vue.config.js文件中设置代理。通过设置代理根域名和配置路径别名,可以实现H5页面的跨域访问。同时还介绍了如何开启内网穿透,让外网的人可以访问到本地调试的H5页面。 ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
  • Hadoop源码解析1Hadoop工程包架构解析
    1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。   GoogleCluster:ht ... [详细]
  • 最近项目需要在服务器上新部署一个tomcat,在新部署的tomcat中部署项目。于是将原来的tomcat压缩文件解压缩到另一个目录,然后将打包的war文件上传到tomcat的webapps的目录下,同 ... [详细]
  • LVS-DR直接路由实现负载均衡示例
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • 【转】腾讯分析系统架构解析
    TA(TencentAnalytics,腾讯分析)是一款面向第三方站长的免费网站分析系统,在数据稳定性、及时性方面广受站长好评,其秒级的实时数据更新频率也获得业界的认可。本文将从实 ... [详细]
  •        在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下:       1、CentOS6.7下安装JDK,地址:http:b ... [详细]
  • 我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]
  • python zookeeeper 学习和操作
    1.zookeeeper介绍ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,简化分布式应用协调及其管理的 ... [详细]
  • Java开发实战讲解!字节跳动三场技术面+HR面
    二、回顾整理阿里面试题基本就这样了,还有一些零星的问题想不起来了,答案也整理出来了。自我介绍JVM如何加载一个类的过程,双亲委派模型中有 ... [详细]
  • Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息,并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境,并进行DNS解析。 ... [详细]
  • 本文介绍了在Linux下安装Perl的步骤,并提供了一个简单的Perl程序示例。同时,还展示了运行该程序的结果。 ... [详细]
  • HDFS2.x新特性
    一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]
author-avatar
思铮同学要努力工作
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有