热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Kafka:ZK+Kafka+SparkStreaming集群环境搭建(二十八):kafka0.10.1内置性能测试API用法示例

消费者测试:.kafka-consumer-perf-test.sh--zookeepervm10.60.0.11.com.cn:2181,vm10.60.0.7.com.cn:2

消费者测试:

./kafka-consumer-perf-test.sh --zookeeper vm10.60.0.11.com.cn:2181,vm10.60.0.7.com.cn:2181,vm10.60.0.8.com.cn:2181 --group test-teg1 --messages 50000000 --topic test --threads 8 --message-size 1000
end.time, data.consumed.in.MB, MB.sec, data.consumed.in.nMsg, nMsg.sec
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
2018-10-11 16:04:44:043, 2018-10-11 16:05:49:560, 4229.5218, 64.5561, 23931694, 365274.5700

生产者测试:

./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic test --num-records 50000000 --record-size 100 --throughput 100000 --producer-props acks=1 bootstrap.servers=vm10.60.0.7.com.cn:9092,vm10.60.0.8.com.cn:9092,vm10.60.0.12.com.cn:9092,vm10.60.0.13.com.cn:9092 buffer.memory=67108864 batch.size=8196 
485142 records sent, 97028.4 records/sec (9.25 MB/sec), 6936.5 ms avg latency, 12667.0 max latency.
337630 records sent, 67526.0 records/sec (6.44 MB/sec), 7173.8 ms avg latency, 12892.0 max latency.
539739 records sent, 107861.5 records/sec (10.29 MB/sec), 6893.6 ms avg latency, 12422.0 max latency.
519729 records sent, 103945.8 records/sec (9.91 MB/sec), 6092.3 ms avg latency, 12278.0 max latency.
456663 records sent, 90107.1 records/sec (8.59 MB/sec), 5697.1 ms avg latency, 11117.0 max latency.
432484 records sent, 86496.8 records/sec (8.25 MB/sec), 6481.3 ms avg latency, 13293.0 max latency.
324879 records sent, 64975.8 records/sec (6.20 MB/sec), 7089.8 ms avg latency, 14868.0 max latency.
517991 records sent, 103598.2 records/sec (9.88 MB/sec), 7504.3 ms avg latency, 14920.0 max latency.
478320 records sent, 94194.6 records/sec (8.98 MB/sec), 6949.2 ms avg latency, 12826.0 max latency.
478230 records sent, 94232.5 records/sec (8.99 MB/sec), 6075.5 ms avg latency, 12400.0 max latency.
431201 records sent, 86240.2 records/sec (8.22 MB/sec), 6492.0 ms avg latency, 11988.0 max latency.
325704 records sent, 65140.8 records/sec (6.21 MB/sec), 8248.2 ms avg latency, 12531.0 max latency.
490254 records sent, 96716.1 records/sec (9.22 MB/sec), 7083.7 ms avg latency, 13378.0 max latency.
466362 records sent, 92734.5 records/sec (8.84 MB/sec), 7065.3 ms avg latency, 12572.0 max latency.
420405 records sent, 84081.0 records/sec (8.02 MB/sec), 6897.7 ms avg latency, 11279.0 max latency.
444416 records sent, 88883.2 records/sec (8.48 MB/sec), 6607.1 ms avg latency, 11112.0 max latency.
502765 records sent, 100553.0 records/sec (9.59 MB/sec), 6767.4 ms avg latency, 11248.0 max latency.
387823 records sent, 77564.6 records/sec (7.40 MB/sec), 7328.2 ms avg latency, 10982.0 max latency.

 


推荐阅读
  • kafka教程基本概念
    kafka教程基本概念 ... [详细]
  • 讨伐Java多线程与高并发——MQ篇
    本文是学习Java多线程与高并发知识时做的笔记。这部分内容比较多,按照内容分为5个部分:多线程基础篇JUC篇同步容器和并发容器篇线程池篇MQ篇本篇 ... [详细]
  • Voicewo在线语音识别转换jQuery插件的特点和示例
    本文介绍了一款名为Voicewo的在线语音识别转换jQuery插件,该插件具有快速、架构、风格、扩展和兼容等特点,适合在互联网应用中使用。同时还提供了一个快速示例供开发人员参考。 ... [详细]
  • 你知道Kafka和Redis的各自优缺点吗?一文带你优化选择,不走弯路 ... [详细]
  • 【Hoxton.SR1版本】Spring Cloud Stream消息驱动
    目录一、简介二、搭建消息生产者端三、搭建消息消费者端四、消息重复消费问题五、消息持久化六、总结一、简介在实际项目中,服务与服务之间的通信往往我们会采用消 ... [详细]
  • Python实现变声器功能(萝莉音御姐音)的方法及步骤
    本文介绍了使用Python实现变声器功能(萝莉音御姐音)的方法及步骤。首先登录百度AL开发平台,选择语音合成,创建应用并填写应用信息,获取Appid、API Key和Secret Key。然后安装pythonsdk,可以通过pip install baidu-aip或python setup.py install进行安装。最后,书写代码实现变声器功能,使用AipSpeech库进行语音合成,可以设置音量等参数。 ... [详细]
  • 本文介绍了C#中生成随机数的三种方法,并分析了其中存在的问题。首先介绍了使用Random类生成随机数的默认方法,但在高并发情况下可能会出现重复的情况。接着通过循环生成了一系列随机数,进一步突显了这个问题。文章指出,随机数生成在任何编程语言中都是必备的功能,但Random类生成的随机数并不可靠。最后,提出了需要寻找其他可靠的随机数生成方法的建议。 ... [详细]
  • 使用在线工具jsonschema2pojo根据json生成java对象
    本文介绍了使用在线工具jsonschema2pojo根据json生成java对象的方法。通过该工具,用户只需将json字符串复制到输入框中,即可自动将其转换成java对象。该工具还能解析列表式的json数据,并将嵌套在内层的对象也解析出来。本文以请求github的api为例,展示了使用该工具的步骤和效果。 ... [详细]
  • Oracle优化新常态的五大禁止及其性能隐患
    本文介绍了Oracle优化新常态中的五大禁止措施,包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB,并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况,并提出了解决方案。 ... [详细]
  • SpringMVC接收请求参数的方式总结
    本文总结了在SpringMVC开发中处理控制器参数的各种方式,包括处理使用@RequestParam注解的参数、MultipartFile类型参数和Simple类型参数的RequestParamMethodArgumentResolver,处理@RequestBody注解的参数的RequestResponseBodyMethodProcessor,以及PathVariableMapMethodArgumentResol等子类。 ... [详细]
  • Spark Streaming和Kafka整合之路(最新版本)
    2019独角兽企业重金招聘Python工程师标准最近完成了SparkStreaming和Kafka的整合工作,耗时虽然不长,但是当中还是遇到了不少 ... [详细]
  • 开发笔记:Spark Java API 之 CountVectorizer
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了SparkJavaAPI之CountVectorizer相关的知识,希望对你有一定的参考价值。 ... [详细]
  • 背景信息公司目前有40人,研发人员占比60-70% ... [详细]
  • 1.1 xss原理分析与剖析(2)
    0×01反射型XSS:反射XSS是XSS分类中最多的,他们原理是下面这样:Hacker——发现存在反射XSS的URL——根据输出点的环境构造XSS代码——进行编码、缩短(可有可无,是为了增加 ... [详细]
  • 在Spark集群上运行一个应用,只需通过master的spark:IP:PORT链接传递到SparkContext构造器在集群上运行交互式的Spark命令,运行如下命令:注意,如果 ... [详细]
author-avatar
用户fkise9sswv
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有