深入理解Kafka 核心设计与实践原理2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

深入理解Kafka 核心设计与实践原理PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 初识Kafka1

1.1基本概念1

1.2安装与配置7

1.3生产与消费12

1.4服务端参数配置16

1.5总结18

第2章 生产者19

2.1客户端开发19

2.1.1必要的参数配置21

2.1.2消息的发送23

2.1.3序列化27

2.1.4分区器31

2.1.5生产者拦截器33

2.2原理分析36

2.2.1整体架构36

2.2.2元数据的更新39

2.3重要的生产者参数40

2.4总结44

第3章 消费者45

3.1消费者与消费组45

3.2客户端开发47

3.2.1必要的参数配置49

3.2.2订阅主题与分区51

3.2.3反序列化54

3.2.4消息消费59

3.2.5位移提交62

3.2.6控制或关闭消费70

3.2.7指定位移消费72

3.2.8再均衡79

3.2.9消费者拦截器81

3.2.10多线程实现84

3.2.11重要的消费者参数93

3.3总结96

第4章 主题与分区97

4.1主题的管理97

4.1.1创建主题98

4.1.2分区副本的分配106

4.1.3查看主题111

4.1.4修改主题113

4.1.5配置管理117

4.1.6主题端参数120

4.1.7删除主题122

4.2初识KafkaAdminClient125

4.2.1基本使用125

4.2.2主题合法性验证130

4.3分区的管理132

4.3.1优先副本的选举132

4.3.2分区重分配136

4.3.3复制限流140

4.3.4修改副本因子146

4.4如何选择合适的分区数150

4.4.1性能测试工具150

4.4.2分区数越多吞吐量就越高吗153

4.4.3分区数的上限155

4.4.4考量因素159

4.5总结160

第5章 日志存储161

5.1文件目录布局161

5.2日志格式的演变164

5.2.1 v0版本165

5.2.2 v1版本167

5.2.3消息压缩168

5.2.4变长字段170

5.2.5 v2版本174

5.3日志索引180

5.3.1偏移量索引181

5.3.2时间戳索引183

5.4日志清理185

5.4.1日志删除185

5.4.2日志压缩188

5.5磁盘存储192

5.5.1页缓存194

5.5.2磁盘I/O流程195

5.5.3零拷贝198

5.6总结200

第6章 深入服务端201

6.1协议设计201

6.2时间轮209

6.3延时操作213

6.4控制器217

6.4.1控制器的选举及异常恢复217

6.4.2优雅关闭220

6.4.3分区leader的选举228

6.5参数解密229

6.5.1 broker.id229

6.5.2 bootstrap.servers231

6.5.3服务端参数列表236

6.6总结239

第7章 深入客户端240

7.1分区分配策略240

7.1.1 RangeAssignor分配策略240

7.1.2 RoundRobinAssignor分配策略241

7.1.3 StickyAssignor分配策略242

7.1.4自定义分区分配策略245

7.2消费者协调器和组协调器252

7.2.1旧版消费者客户端的问题252

7.2.2再均衡的原理254

7.3_consumer_offsets剖析264

7.4事务268

7.4.1消息传输保障268

7.4.2幂等269

7.4.3事务270

7.5总结283

第8章 可靠性探究284

8.1副本剖析284

8.1.1失效副本285

8.1.2 ISR的伸缩287

8.1.3 LEO与HW289

8.1.4 Leader Epoch的介入292

8.1.5为什么不支持读写分离297

8.2日志同步机制299

8.3可靠性分析301

8.4总结305

第9章 Kafka应用306

9.1命令行工具306

9.1.1消费组管理307

9.1.2消费位移管理309

9.1.3手动删除消息313

9.2 Kafka Connect315

9.2.1独立模式315

9.2.2 REST API319

9.2.3分布式模式320

9.3 Kafka Mirror Maker322

9.4 Kafka Streams325

9.5总结330

第10章 Kafka监控331

10.1监控数据的来源333

10.1.1 OneMinuteRate335

10.1.2获取监控指标336

10.2消费滞后339

10.3同步失效分区350

10.4监控指标说明355

10.5监控模块358

10.6总结360

第11章 高级应用361

11.1过期时间（TTL）361

11.2延时队列365

11.3死信队列和重试队列372

11.4消息路由373

11.5消息轨迹375

11.6消息审计377

11.7消息代理379

11.7.1快速入门380

11.7.2 REST API介绍及示例382

11.7.3服务端配置及部署388

11.7.4应用思考391

11.8消息中间件选型392

11.8.1各类消息中间件简述393

11.8.2选型要点概述393

11.8.3消息中间件选型误区探讨400

11.9总结401

第12章 Kafka与Spark的集成402

12.1 Spark的安装及简单应用403

12.2 Spark编程模型406

12.3 Spark的运行结构410

12.4 Spark Streaming简介412

12.5 Kafka与Spark Streaming的整合416

12.6 Spark SQL423

12.7 Structured Streaming426

12.8 Kafka与Structured Streaming的整合430

12.9总结437

附录A Kafka源码环境搭建438