三十六:RocketMQ 主题扩分片后遇到的坑
消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务? 考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重现问题。 本节目录 1、案情回顾 1.1 集群现状 1.2、Ro...
消息组接到某项目组反馈,topic 在扩容后出现部分队列无法被消费者,导致消息积压,影响线上业务? 考虑到该问题是发送在真实的线上环境,为了避免泄密,本文先在笔者的虚拟机中来重现问题。 本节目录 1、案情回顾 1.1 集群现状 1.2、Ro...
本节目录 1、DLedger 存储相关类图 1.1 DLedgerStore 1.2 DLedgerMemoryStore 1.3 DLedgerMmapFileStore 2、DLedger 存储 对标 RocketMQ 存储 3、DLe...
本文将按照《RocketMQ 多副本前置篇:初探raft协议》的思路来学习 RocketMQ 选主逻辑。首先先回顾一下关于 Leader 的一些思考: 1、 节点状态 需要引入3种节点状态:Follower(跟随者)、Candidate(候...
Raft协议是分布式领域解决一致性的又一著名协议,主要包含Leader选举、日志复制两个部分。 温馨提示: 本文根据raft官方给出的raft动画进行学习,其动画展示地址:http://thesecretlivesofdata.com/ra...
本文目录 1、抛出问题 1.1 环境准备 1.2 消息发送者代码 1.3 消费端验证代码 2、探究CONSUME_FROM_MAX_OFFSET实现原理 2.1 CONSUME_FROM_LAST_OFFSET计算逻辑 2.2 CONSUM...
1、 发送消息轨迹 2、 消息轨迹格式 3、 存储消息轨迹数据 本节目录 1、发送消息轨迹流程 1.1 DefaultMQProducer构造函数 1.2 SendMessageTraceHookImpl钩子函数 1.2.1 SendMes...
本节目录 1、消息轨迹数据格式2、记录消息轨迹 3、如何存储消息轨迹数据 RocketMQ 消息轨迹主要包含两篇文章:设计篇与源码分析篇,本节将详细介绍 RocketMQ 消息轨迹-设计相关。 RocketMQ 消息轨迹,主要跟踪消息发送、...
备注:RocketMQ在4.4.0时引入了ACL机制,本文代码基于RocketMQ4.5.0版本。 本节目录 1、BrokerController#initialAcl2、PlainAccessValidator 2.1 类图 2.1.2 ...
本节目录 1、什么是ACL?2、ACL基本流程图 3、如何配置ACL 3.1 acl配置文件 3.1.1 globalWhiteRemoteAddresses3.1.2 accounts 3.1.2.1 accessKey 3.1.2.2 ...
温馨提示:建议参考代码RocketMQ4.4版本,4.5版本引入了多副本机制,实现了主从自动切换,本文并不关心主从切换功能。 本节目录 1、初识主从同步2、提出问题 3、原理探究 3.1 RocketMQ主从读写分离机制 3.2 消息消费进...