Storm应用实践 实时事务处理之策略2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Storm应用实践 实时事务处理之策略PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Storm简介1

1.1什么是大数据1

1.1.1大数据的四大特性2

1.1.2大数据工具3

1.2 Storm如何应用于大数据应用场景5

1.3为什么你希望使用Storm9

1.4小结10

第2章 Storm核心概念11

2.1问题定义：GitHub提交数监控看板11

2.1.1数据：起点和终点12

2.1.2分解问题12

2.2 Storm基础概念13

2.2.1拓扑13

2.2.2元组15

2.2.3流16

2.2.4 spout17

2.2.5 bolt18

2.2.6流分组20

2.3在Storm中实现GitHub提交数监控看板22

2.3.1建立一个Storm工程22

2.3.2实现spout23

2.3.3实现bolt26

2.3.4集成各个部分组成拓扑29

2.4小结30

第3章 拓扑设计31

3.1拓扑设计方法32

3.2问题定义：一个社交热力图32

3.3将解决方案映射至Storm的逻辑33

3.3.1考虑数据流本身施加的要求33

3.3.2将数据点表示为元组34

3.3.3确定拓扑组成的步骤35

3.4设计的初步实现38

3.4.1 spout：从数据源读取数据38

3.4.2 bolt：连接至外部服务39

3.4.3 bolt：将数据寄放在内存里41

3.4.4 bolt：持久化存储到数据库45

3.4.5 定义组件间的流分组策略47

3.4.6在本地集群模式中构建一个拓扑48

3.5扩展拓扑49

3.5.1理解Storm中的并行机制50

3.5.2调整拓扑配置来解决设计中遗留的瓶颈54

3.5.3调整拓扑以解决数据流中固有的瓶颈60

3.6拓扑的设计范式63

3.6.1分解为功能组件的设计方法65

3.6.2基于重分配来分解组件的设计方法65

3.6.3最简单的功能组件与最少的重分配次数69

3.7小结70

第4章 设计健壮的拓扑71

4.1对可靠性的要求71

4.2问题定义：一个信用卡授权系统72

4.2.1有重试特性的概念性解决方案72

4.2.2定义数据点74

4.2.3在Storm上实现带有重试特性的方案74

4.3 bolt基础实现76

4.3.1 AuthorizeCreditCard的实现76

4.3.2 ProcessedOrderNotification的实现77

4.4消息处理保障78

4.4.1元组状态：处理完成或失败78

4.4.2 bolt中的锚定、应答和容错80

4.4.3 spout在消息处理保障中的角色84

4.5回放语义87

4.5.1 Storm中可靠性的级别87

4.5.2在Storm拓扑中检查仅一次处理88

4.5.3检查拓扑中的可靠性保障89

4.6小结94

第5章 拓扑由本地到远程的实施95

5.1 Storm集群96

5.1.1解析工作结点98

5.1.2基于信用卡授权拓扑的上下文来理解工作结点99

5.2 Storm集群容错中的快速失败机制100

5.3安装Storm集群101

5.3.1配置Zookeeper集群101

5.3.2在Storm的主结点和工作结点上安装依赖组件102

5.3.3安装Storm到主结点和工作结点102

5.3.4通过storm.yaml配置主结点和工作结点102

5.3.5在监督机制下启动Nimbus和Supervisor103

5.4在Storm集群上运行拓扑104

5.4.1重新考虑如何将拓扑组件组合在一起104

5.4.2在本地模式下运行拓扑105

5.4.3在一个远程Storm集群上运行拓扑105

5.4.4在一个远程Storm集群上部署拓扑106

5.5 Storm UI及其在集群中的角色107

5.5.1 Storm UI：Storm集群概要107

5.5.2 Storm UI：独立拓扑概要111

5.5.3 Storm UI：独立spout/bolt概要115

5.6小结118

第6章 对Storm进行调优120

6.1问题定义：Daily Deals！重生版121

6.1.1创建概念性解决方案121

6.1.2将方案转换为Storm设计122

6.2初始化实施122

6.2.1 spout：读取自一个数据源124

6.2.2 bolt：查找推荐商品125

6.2.3 bolt：为每个商品查询详细信息126

6.2.4 bolt：保存推荐的商品详情127

6.3调优：我想为它提速128

6.3.1 Storm UI：调优的定位工具128

6.3.2为性能值建立一个基线集130

6.3.3判断瓶颈131

6.3.4 spout：控制数据流入拓扑的速率135

6.4延迟率：当外部系统依然能正常工作时137

6.4.1在拓扑中模拟延迟137

6.4.2延迟的外因和内因139

6.5 Storm的指标统计API143

6.5.1使用Storm的内建CountMetric143

6.5.2设置一个指标接收器144

6.5.3创建一个自定义的SuccessRateMetric145

6.5.4创建一个自定义的MultiSuccessRateMetric147

6.6小结149

第7章 资源冲突150

7.1调整一个工作结点上运行的工作进程数量152

7.1.1问题152

7.1.2解决方案152

7.1.3讨论153

7.2修改工作进程（JVM）上的内存分配153

7.2.1问题153

7.2.2解决方案154

7.2.3讨论154

7.3定位拓扑上运行的工作结点/进程154

7.3.1问题154

7.3.2解决方案155

7.3.3讨论155

7.4在一个Storm集群中的工作进程冲突156

7.4.1问题157

7.4.2解决方案157

7.4.3讨论158

7.5在一个工作进程（JVM）中的内存冲突159

7.5.1问题162

7.5.2解决方案162

7.5.3讨论162

7.6在一个工作结点上的内存冲突163

7.6.1问题165

7.6.2解决方案165

7.6.3讨论165

7.7工作结点的CPU资源冲突165

7.7.1问题166

7.7.2解决方案166

7.7.3讨论168

7.8工作结点的I/O冲突168

7.8.1网络/Socket层面的I/O冲突169

7.8.2磁盘I/O冲突171

7.9小结172

第8章 Storm内核174

8.1重新考虑提交数的拓扑设计175

8.1.1回顾拓扑的设计175

8.1.2假设该拓扑运行在远程Storm集群上176

8.1.3数据是如何在集群的spout和bolt之间传输的176

8.2探究执行器的细节177

8.2.1监听提交数数据源spout的执行器细节177

8.2.2在同一个JVM中两个执行器之间传输元组178

8.2.3提取email bolt的执行器细节179

8.2.4在不同JVM上的两个执行器之间传输元组180

8.2.5 email计数bolt的执行器细节182

8.3路由和任务183

8.4当Storm的内部队列出现溢出时185

8.4.1内部队列的类型和可能出现溢出的情况185

8.4.2使用Storm的debug日志来诊断缓冲区溢出186

8.5处理Storm内部缓冲区溢出问题187

8.5.1调整生产与消耗的比例187

8.5.2提升所有拓扑的缓冲区大小187

8.5.3提升指定拓扑的缓冲区大小188

8.5.4 spout的最大待定数188

8.6调整缓冲区大小来提升性能189

8.7小结190

第9章 Trident191

9.1什么是Trident192

9.1.1 Trident中不同的操作方法193

9.1.2将Trident数据流看作批数据195

9.2 Kafka及其在Trident中的角色195

9.2.1解构Kafka的设计195

9.2.2 Kafka与Trident的匹配度198

9.3问题定义：网络电台应用199

9.3.1定义数据点200

9.3.2将问题进行步骤划分200

9.4基于一个Trident拓扑来实现网络电台的设计200

9.4.1实现一个Trident的Kafka spout202

9.4.2对播放日志做反序列化操作，并分别创建每个字段的独立数据流203

9.4.3将艺术家、歌曲名和标签进行统计计数和持久化操作207

9.5借助DRPC访问持久化的统计结果212

9.5.1创建一个DRPC流212

9.5.2向流中应用一个DRPC状态查询213

9.5.3借助DRPC客户端发起一个DRPC调用214

9.6将Trident的操作符映射至Storm的原语215

9.7扩展一个Trident拓扑220

9.7.1实现并行性的分区221

9.7.2 Trident数据流中的分区221

9.8小结224

编后记226