当前位置: 开发笔记 > 后端 > 正文

Kafka系列之：深入理解死信队列和重试队列

作者：郝蕾雅老_206 | 来源：互联网 | 2023-06-22 13:12

Kafka系列之：深入理解死信队列和重试队列一、死信队列二、回退队列三、深入理解死信队列四、深入理解重试队列五、重试队列和延时队列的区别一、死信队列由于某些原因消息

Kafka系列之&＃xff1a;深入理解死信队列和重试队列一、死信队列
二、回退队列
三、深入理解死信队列
四、深入理解重试队列
五、重试队列和延时队列的区别


一、死信队列 
由于某些原因消息无法被正确地投递&＃xff0c;为了确保消息不会被无故地丢弃&＃xff0c;一般将其置于一个特殊角色的队列&＃xff0c;这个队列一般称为私信队列。
后续分析程序可以通过消费这个死信队列中的内容来分析当时遇到的异常情况&＃xff0c;进而可以改善和优化系统。

二、回退队列 
与死信队列对应的还有一个回退队列的概念&＃xff0c;如果消费者在消费时发生了异常那么就不会对这一次消费进行确认&＃xff0c;进而发生回滚消息的操作之后&＃xff0c;消息始终会放在队列的顶部,然后不断被处理和回滚&＃xff0c;导致队列陷入死循环。
为了解决问题&＃xff0c;可以为每个队列设置一个回退队列&＃xff0c;它和死信队列都是为异常处理提供的一种机制保障。
实际情况下&＃xff0c;回退队列的角色可以由死信队列和重试队列来扮演。

三、深入理解死信队列 
理解死信队列&＃xff0c;关键是要理解死信。死信可以看作消费者不能处理收到的消息&＃xff0c;也可以看作消费者不想处理收到的消息&＃xff0c;还可以看作不符合处理要求的消息。比如消息内包含的消息内容无法被消费者解析&＃xff0c;为了确保消息的可靠性而不被随意丢弃&＃xff0c;故将其投递到死信队列中&＃xff0c;这里的死信就可以看作消费者不能处理的消息。再比如超过既定的重试次数之后将消息投入死信队列&＃xff0c;这里就可以将死信看作不符合处理要求的消息。

四、深入理解重试队列 
重试队列其实可以看作一种回退队列&＃xff0c;具体指消费端消费消息失败时&＃xff0c;为了防止消息无故丢失而重新将消息回滚到broker中。
与回退队列不同的是&＃xff0c;重试队列一般分成多个重试等级&＃xff0c;每个重试等级一般也会设置重新投敌延时&＃xff0c;重试次数越多投递延时就越大。
举个例子&＃xff1a;消息第一次消费失败入重试队列Q1&＃xff0c;Q1的重新投递延时为5s&＃xff0c;5s过后重新投递该消息。如果消息再次消费失败则入重试队列Q2&＃xff0c;Q2的重新投递延时为10s&＃xff0c;10s过后再次投递该消息&＃xff0c;以此类推&＃xff0c;重试越多次重新投递的时间就越久&＃xff0c;为此还需要设置一个上限&＃xff0c;超过投递次数就进入死信队列。

五、重试队列和延时队列的区别 
重试队列与延时队列有相同的地方&＃xff0c;都需要设置延时级别。
区别是&＃xff1a;延时队列动作由内部触发&＃xff0c;重试队列动作由外部消费端触发。
延时队列作用一次&＃xff0c;而重试队列的作用范围会向后传递。

kafka
队列

推荐阅读

sockets
深入理解Kafka服务端请求队列中请求的处理

本文深入分析了Kafka服务端请求队列中请求的处理过程，详细介绍了请求的封装和放入请求队列的过程，以及处理请求的线程池的创建和容量设置。通过场景分析、图示说明和源码分析，帮助读者更好地理解Kafka服务端的工作原理。 ... [详细]

蜡笔小新 2023-12-12 16:14:59
java
redis是干嘛的,springboot vue项目

springboot基于redis配置session共享项目环境配置pom.xml引入依赖application.properties配置Cookie序列化（高版本不需要）测试启 ... [详细]

蜡笔小新 2023-10-16 14:12:27
java
讨伐Java多线程与高并发——MQ篇

本文是学习Java多线程与高并发知识时做的笔记。这部分内容比较多，按照内容分为5个部分：多线程基础篇JUC篇同步容器和并发容器篇线程池篇MQ篇本篇 ... [详细]

蜡笔小新 2023-10-16 11:14:01
java
计算机存储系统的层次结构及其优势

本文介绍了计算机存储系统的层次结构，包括高速缓存、主存储器和辅助存储器三个层次。通过分层存储数据可以提高程序的执行效率。计算机存储系统的层次结构将各种不同存储容量、存取速度和价格的存储器有机组合成整体，形成可寻址存储空间比主存储器空间大得多的存储整体。由于辅助存储器容量大、价格低，使得整体存储系统的平均价格降低。同时，高速缓存的存取速度可以和CPU的工作速度相匹配，进一步提高程序执行效率。 ... [详细]

蜡笔小新 2023-12-13 17:32:41
java
Tomcat/Jetty为何选择扩展线程池而不是使用JDK原生线程池？

本文探讨了Tomcat和Jetty选择扩展线程池而不是使用JDK原生线程池的原因。通过比较IO密集型任务和CPU密集型任务的特点，解释了为何Tomcat和Jetty需要扩展线程池来提高并发度和任务处理速度。同时，介绍了JDK原生线程池的工作流程。 ... [详细]

蜡笔小新 2023-12-13 16:18:09
timeout
006_Redis的List数据类型

1.List类型是一个链表结构的集合,主要功能有push,pop,获取元素等。List类型是一个双端链表的结构,我们可以通过相关操作进行集合的头部或者尾部添加删除元素,List的设 ... [详细]

蜡笔小新 2023-12-13 09:57:22
queue
栈和队列的共同处和不同处

本文主要介绍了栈和队列的共同处和不同处。栈和队列都是由几个数据特性相同的元素组成的有限序列，也就是线性表。队列是限定仅在表的一端插入元素、在另一端删除元素的线性表，遵循先进先出的原则。栈是限定仅在表尾进行插入或删除操作的线性表，遵循后进先出的原则。 ... [详细]

蜡笔小新 2023-12-12 23:22:33
queue
李逍遥寻找仙药的迷阵之旅

本文讲述了少年李逍遥为了救治婶婶的病情，前往仙灵岛寻找仙药的故事。他需要穿越一个由M×N个方格组成的迷阵，有些方格内有怪物，有些方格是安全的。李逍遥需要避开有怪物的方格，并经过最少的方格，找到仙药。在寻找的过程中，他还会遇到神秘人物。本文提供了一个迷阵样例及李逍遥找到仙药的路线。 ... [详细]

蜡笔小新 2023-12-12 13:59:33
java
Oracle优化新常态的五大禁止及其性能隐患

本文介绍了Oracle优化新常态中的五大禁止措施，包括禁止外键、禁止视图、禁止触发器、禁止存储过程和禁止JOB，并分析了这些禁止措施可能带来的性能隐患。文章还讨论了这些禁止措施在C/S架构和B/S架构中的不同应用情况，并提出了解决方案。 ... [详细]

蜡笔小新 2023-12-12 12:55:55
nginx
一句话解决高并发的核心原则

本文介绍了解决高并发的核心原则，即将用户访问请求尽量往前推，避免访问CDN、静态服务器、动态服务器、数据库和存储，从而实现高性能、高并发、高可扩展的网站架构。同时提到了Google的成功案例，以及适用于千万级别PV站和亿级PV网站的架构层次。 ... [详细]

蜡笔小新 2023-12-12 10:56:24
java
Android工程师面试准备及设计模式使用场景

本文介绍了Android工程师面试准备的经验，包括面试流程和重点准备内容。同时，还介绍了建造者模式的使用场景，以及在Android开发中的具体应用。 ... [详细]

蜡笔小新 2023-12-11 18:25:26
queue
栈和队列的区别及特点

本文介绍了栈和队列的区别及其特点。栈是一种先进后出的线性表，只能在表的一端进行插入和删除操作；队列是一种先进先出的线性表，只能在表的一端进行插入和在另一端进行删除操作。栈和队列是两种广泛使用的线性数据结构，它们的基本操作具有特殊性。栈的遍历需要遍历整个栈才能取出数据，并需要为数据开辟临时空间，而队列基于地址指针进行遍历，可以从头或尾部开始遍历，但不能同时遍历，且无需开辟临时空间。栈和队列在程序设计中具有重要应用。 ... [详细]

蜡笔小新 2023-12-11 17:32:23
queue
Linux的uucico命令使用方法及工作模式介绍

本文介绍了Linux的uucico命令的使用方法和工作模式，包括主动模式和附属模式。uucico是用来处理uucp或uux送到队列的文件传输工具，具有操作简单快捷、实用性强的特点。文章还介绍了uucico命令的参数及其说明，包括-c或--quiet、-C或--ifwork、-D或--nodetach、-e或--loop、-f或--force、-i或--stdin、-I--config、-l或--prompt等。通过本文的学习，读者可以更好地掌握Linux的uucico命令的使用方法。 ... [详细]

蜡笔小新 2023-12-11 16:45:51
java
重入锁（ReentrantLock）学习及实现原理

本文介绍了重入锁（ReentrantLock）的学习及实现原理。在学习synchronized的基础上，重入锁提供了更多的灵活性和功能。文章详细介绍了重入锁的特性、使用方法和实现原理，并提供了类图和测试代码供读者参考。重入锁支持重入和公平与非公平两种实现方式，通过对比和分析，读者可以更好地理解和应用重入锁。 ... [详细]

蜡笔小新 2023-12-11 15:16:28
asp.net
Windows系统查询已开通的端口号和对外开放端口号

查询端口号开放情况：查看该端口被那个PID所占用;方法一：有针对性的查看端口，使用命令:netstat–ano|findstr“”netstat-a对外开放端口号参考ht ... [详细]

蜡笔小新 2023-10-16 23:52:31

郝蕾雅老_206

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章