Kafka 深入解析

Kafka 深入解析（二十三）关于Kafka监控方案的讨论 Kafka 深入解析（二十二）Flink + Kafka 0.11端到端精确一次处理语义的实现 Kafka 深入解析（二十一）Kafka水位(high watermark)与lea...

赞(0)站长2020-01-21阅读(1072)

目前Kafka监控方案看似很多，然而并没有一个“大而全”的通用解决方案。各家框架也是各有千秋，以下是我了解到的一些内容： 一、Kafka manager Github地址： https://github.com/yahoo/kafka-ma...

赞(0)站长2020-01-21阅读(7901)

本文是翻译作品，作者是Piotr Nowojski和Michael Winters。前者是该方案的实现者。 原文地址是An Overview of End-to-End Exactly-Once Processing in Apache F...

赞(0)站长2020-01-21阅读(2287)

本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异...

赞(0)站长2020-01-21阅读(1025)

众所周知，Kafka 0.11.0.0版本正式支持精确一次处理语义(exactly once semantics，下称EOS)。Kafka的EOS主要体现在3个方面： 幂等producer：保证发送单个分区的消息只会发送一次，不会出现重复消...

赞(0)站长2020-01-21阅读(888)

Flink提供了Kafka connector用于消费/生产Apache Kafka topic的数据。Flink的Kafka consumer集成了checkpoint机制以提供精确一次的处理语义。在具体的实现过程中，Flink不依赖于K...

赞(0)站长2020-01-21阅读(1070)

本文阐述如何使用Kafka自带的kafka-consumer-groups.sh脚本随意设置消费者组(consumer group)的位移。需要特别强调的是， 这是0.11.0.0版本提供的新功能且只适用于新版本consumer。 在新版本...

赞(0)站长2020-01-21阅读(1130)

Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十...

赞(0)站长2020-01-21阅读(1049)

很多用户都有直接使用程序API操作Kafka集群的需求。在0.11版本之前，kafka的服务器端代码(即添加kafka_2.**依赖)提供了AdminClient和AdminUtils可以提供部分的集群管理操作，但社...

赞(0)站长2020-01-21阅读(5478)

目录 一、Kafka消息层次设计 1、 v1格式 2、 v2格式 二、v1消息格式 三、v2消息格式 四、测试对比 Kafka 0.11版本增加了很多新功能，包括支持事务、精确一次处理语义和幂等producer等，而实现这些新功能的前提就是...

赞(0)站长2020-01-21阅读(979)