Kafka 深入解析 第2页

目录 一、Controller是做什么的 二、Controller当前设计 三、Controller组成 四、Controller当前问题 1、 需要在多线程间共享状态 2、 代码组织混乱 3、 管理类请求与数据类请求未分离 4、 Cont...

赞(0)站长2020-01-21阅读(1691)

Kafka 0.9版本正式使用Java版本的producer替换了原Scala版本的producer。本文着重讨论新版本producer的设计原理以及基本的使用方法。 目录 一、基本数据结构 1、 ProducerRecord 2、 Rec...

赞(0)站长2020-01-21阅读(1635)

一直以来都想写一点关于kafka consumer的东西，特别是关于新版consumer的中文资料很少。最近Kafka社区邮件组已经在讨论是否应该正式使用新版本consumer替换老版本，笔者也觉得时机成熟了，于是写下这篇文章讨论并总结一下...

赞(0)站长2020-01-21阅读(1486)

众所周知，由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsets topic，并且默认提供了ka...

赞(3)站长2020-01-21阅读(1564)

目录 一、Producer端 二、Consumer端 Kafka到底会不会丢数据(data loss)? 通常不会，但有些情况下的确有可能会发生。下面的参数配置及Best practice列表可以较好地保证数据的持久性(当然是trade-o...

赞(0)站长2020-01-21阅读(1550)

目录 一、命令行部分 二、后台逻辑部分 Kafka创建topic命令很简单，一条命令足矣： bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-fact...

赞(0)站长2020-01-21阅读(1553)

在Kafka设计解析（二）Kafka High Availability （上）文中的ACK前需要保证有多少个备份小节说到，如果一个Follower宕机，或者落后太多，Leader将把它从ISR（即in-sync Replica）中移除。这...

赞(0)站长2020-01-21阅读(1651)

本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理，并介绍了Kafka如何处理事务相关的异常情况，如Transaction Coordinator宕机。最后介绍了Kafka的事务机...

赞(0)站长2020-01-21阅读(1495)

转载自 技术世界，原文链接 Kafka设计解析（七）- Kafka Stream 本文介绍了Kafka Stream的背景，如Kafka Stream是什么，什么是流式计算，以及为什么要有Kafka Stream。接着介绍了Kafka St...

赞(0)站长2020-01-21阅读(1563)

本文从宏观架构层面和微观实现层面分析了Kafka如何实现高性能。包含Kafka如何利用Partition实现并行处理和提供水平扩展能力，如何通过ISR实现可用性和数据一致性的动态平衡，如何使用NIO和Linux的sendfile实现零拷贝以...

赞(0)站长2020-01-21阅读(1517)