Kafka 深入解析（二十一）Kafka水位(high watermark)与leader epoch的讨论
本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异...
站长Kafka 深入解析（二十一）关于Kafka幂等producer的讨论
众所周知，Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics，下称EOS)。Kafka的EOS主要体现在3个方面： 幂等producer：保证发送单个分区的消息只会发送一次，不会出现重复消...
JetBrains 全家桶，激活、破解、教程
获取 IDEA 激活码、PyCharm 激活码、WebStorm 激活码和 DataGrip 激活码，提供详细破解教程与永久激活方法。支持 IDEA 永久激活与破解，免费获取注册码与激活码，解决 2024/2025 版本激活问题，轻松实现所有 JetBrains 工具的激活。
Kafka 深入解析（二十）Apache Flink Kafka consumer
Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中，Flink不依赖于K...
Kafka 深入解析（十九）Kafka consumer group位移重设
本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本...
Kafka 深入解析（十八）Kafka与Flink集成
Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十...
Kafka 深入解析（十七）Kafka 0.11客户端集群管理工具AdminClient
很多用户都有直接使用程序API操作Kafka集群的需求。在0.11版本之前，kafka的服务器端代码(即添加kafka_2.**依赖)提供了AdminClient和AdminUtils可以提供部分的集群管理操作，但社...
Kafka 深入解析（十六）Kafka 0.11消息设计
目录 一、Kafka消息层次设计 1、 v1格式 2、 v2格式 二、v1消息格式 三、v2消息格式 四、测试对比 Kafka 0.11版本增加了很多新功能，包括支持事务、精确一次处理语义和幂等producer等，而实现这些新功能的前提就是...
Kafka 深入解析（十五）Kafka controller重设计
目录 一、Controller是做什么的 二、Controller当前设计 三、Controller组成 四、Controller当前问题 1、 需要在多线程间共享状态 2、 代码组织混乱 3、 管理类请求与数据类请求未分离 4、 Cont...
Kafka 深入解析（十四）Kafka producer介绍
Kafka 0.9版本正式使用Java版本的producer替换了原Scala版本的producer。本文着重讨论新版本producer的设计原理以及基本的使用方法。 目录 一、基本数据结构 1、 ProducerRecord 2、 Rec...
Kafka 深入解析（十三）Kafka消费组(consumer group)
一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下...