Storm企业级应用 实战、运维和调优2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Storm企业级应用 实战、运维和调优PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

基础篇2

第1章 认识Storm2

1.1 什么是实时流计算2

1.1.1 实时流计算背景3

1.1.2 实时计算应用场景3

1.1.3 实时计算处理流程4

1.1.4 实时计算框架5

1.2 Storm是什么11

1.2.1 Storm出现的背景12

1.2.2 Storm简介12

1.2.3 Storm的设计思想13

1.2.4 Storm与Hadoop的角色和组件比较14

1.3 Storm核心组件15

1.3.1 主节点Nimbus15

1.3.2 工作节点Supervisor15

1.3.3 协调服务组件ZooKeeper16

1.3.4 其他核心组件16

1.4 Storm的特性16

1.5 Storm的功能18

1.6 本章小结19

第2章 开始使用Storm20

2.1 环境准备20

2.1.1 系统配置20

2.1.2 安装ZooKeeper集群22

2.2 启动模式26

2.2.1 本地模式26

2.2.2 分布式模式26

2.3 安装部署Storm集群26

2.3.1 安装Storm依赖库27

2.3.2 安装Storm集群28

2.3.3 启动Storm集群31

2.3.4 停止Storm集群33

2.4 创建Topology并向集群提交任务33

2.4.1 创建Topology34

2.4.2 向集群提交任务36

2.5 本章小结36

第3章 核心概念和数据流模型37

3.1 Tuple元组37

3.1.1 Tuple描述37

3.1.2 Tuple的生命周期38

3.2 Spout数据源39

3.2.1 Spout介绍39

3.2.2 Spout实例40

3.3 Bolt消息处理者42

3.3.1 Bolt介绍42

3.3.2 Bolt实例45

3.4 Topology拓扑47

3.4.1 Topology实例48

3.4.2 Topology运行51

3.5 Stream消息流和Stream Grouping消息流组55

3.5.1 Stream消息流55

3.5.2 Stream Grouping消息流组55

3.6 Task任务56

3.7 Worker工作者进程56

3.8 Worker、 Task、 Executor三者之间的关系57

3.9 事务57

3.10 数据流模型58

3.10.1 数据流模型简介58

3.10.2 Storm数据流模型60

3.11 本章小结61

实战篇64

第4章 实例1：移动互联——语音“实时墙”64

4.1 业务背景64

4.1.1 案例背景64

4.1.2 设计目标65

4.1.3 数据格式66

4.1.4 硬件配置68

4.2 系统架构与模块设计68

4.2.1 整体架构69

4.2.2 数据采集70

4.2.3 数据实时处理70

4.2.4 存储设计70

4.2.5 Web实时展示71

4.2.6 硬件部署图72

4.3 核心模块实现73

4.3.1 实时处理业务逻辑实现73

4.3.2 Web展示实现80

4.3.3 最终效果呈现88

4.4 本章小结89

第5章 实例2：运营商——网络流量流向实时分析90

5.1 业务背景90

5.1.1 案例背景91

5.1.2 设计目标91

5.1.3 数据规模预估92

5.1.4 数据格式92

5.1.5 统计分析需求93

5.2 系统架构与模块设计94

5.2.1 整体架构94

5.2.2 数据源95

5.2.3 日志采集96

5.2.4 数据存储96

5.2.5 数据处理97

5.2.6 目标存储和扩展服务97

5.2.7 结果Web展示97

5.3 核心模块实现98

5.3.1 模拟数据实现98

5.3.2 日志采集和存储实现102

5.3.3 数据处理实现105

5.3.4 Web展示实现111

5.4 本章小结114

第6章 实例3：交通——基于GPS的实时路况分析115

6.1 业务背景115

6.1.1 案例背景115

6.1.2 设计目标116

6.1.3 数据格式118

6.1.4 实时路况分析方法118

6.2 系统架构和模块设计118

6.3 核心模块的实现121

6.3.1 安装Kafka集群121

6.3.2 Flume整合Kafka124

6.3.3 实时处理数据125

6.3.4 Web页面展示127

6.4 本章小结129

第7章 实例4：互联网——数据质量实时监控130

7.1 业务背景130

7.1.1 案例背景130

7.1.2 设计目标132

7.1.3 数据格式132

7.2 系统架构与模块设计133

7.2.1 整体架构133

7.2.2 结果Web展示135

7.3 核心模块实现135

7.3.1 模拟数据135

7.3.2 实时处理业务逻辑的实现141

7.3.3 Web界面实现147

7.3.4 最终效果图150

7.4 本章小结152

第8章 实例5：交通——超速频发路段监控153

8.1 业务背景153

8.1.1 案例背景153

8.1.2 数据类型155

8.2 系统架构和模块设计157

8.3 核心模块实现158

8.3.1 实现入口类Main158

8.3.2 数据源SocketSpout的实现159

8.3.3 实时处理MapSearchBolt和SpeedProcessBolt的实现161

8.3.4 目标存储DataBaseLoadBolt的实现169

8.4 本章小结171

第9章 实例6：互联网——广告实时流量统计172

9.1 广告实时流量统计系统架构172

9.1.1 广告数据172

9.1.2 详细需求描述174

9.1.3 系统架构175

9.2 表结构与模块设计177

9.2.1 表结构设计177

9.2.2 功能模块设计178

9.3 核心模块实现179

9.3.1 部署物理集群环境179

9.3.2 Kafka生产者逻辑的实现181

9.3.3 使用Storm-kafka实现业务逻辑182

9.3.4 使用HBase存储并实现统计193

9.4 本章小结194

技巧篇196

第10章 Storm常见故障及解决方法196

10.1 安装部署故障196

10.1.1 “no jzmq in java.library.path”异常196

10.1.2 “No rule to make target”异常198

10.1.3 “cannot access org.zeromq.ZMQ”异常198

10.1.4 缺少pkg-config异常198

10.1.5 “java.lang.UnsatisfiedLinkError”异常199

10.1.6 “ java.lang.NoClassDefFoundError： clojure.core.protocols$”异常199

10.1.7 “Error： cannot link with -luuid， install uuid-dev”异常199

10.1.8 “bad interpreter： No such file or directory”异常200

10.1.9 “org.zeromq.ZMQException： Invalid argument”异常200

10.2 启动故障201

10.2.1 “java.io.FileNotFoundException”异常201

10.2.2 “java.io.EOFException”异常202

10.3 运行时故障202

10.3.1 “Nimbus host is not set”异常203

10.3.2 “AlreadyAliveException（msg：xxx is alreadyactive）”异常203

10.3.3 无法序列化log4j.Logger异常203

10.3.4 “Failing message”异常203

10.3.5 “java.io.NotSerializableException”异常204

10.3.6 “java.lang.NoClassDefFoundError”异常205

10.3.7 “java.net.NoRouteToHostException”异常206

10.3.8 “java.net.UnknownHostException”异常206

10.3.9 重复defaults.yaml资源文件异常207

10.3.10 “KeeperException$NoNodeException”异常208

10.3.11 “A fatal error has been detected by the Java Runtime Environment”错误209

10.3.12 “java.lang.ArrayIndexOutOfBoundsException”异常212

10.3.13 DRPC空指针异常212

10.3.14 Storm Thrift读取数据报错212

10.4 本章小结214

第11章 Storm使用技巧和最佳实践215

11.1 核心组件使用要点215

11.1.1 Spout和Bolt215

11.1.2 ZooKeeper集群尽量独立219

11.1.3 Thrift服务的应用场景220

11.1.4 序列化机制的使用场景220

11.2 集群配置技巧220

11.2.1 默认参数配置220

11.2.2 日志信息223

11.2.3 合理配置JVM参数223

11.3 集群运维技巧224

11.3.1 Storm计算结果的存储位置224

11.3.2 Storm集群动态增删节点224

11.3.3 关闭Storm相关进程224

11.3.4 Storm UI显示内容的问题224

11.4 项目开发技巧225

11.4.1 使用assembly插件打包225

11.4.2 依赖JAR冲突228

11.5 保证消息的可靠处理228

11.5.1 消息失败后的处理228

11.5.2 主动干预可靠性229

11.5.3 处理重复的Tuple229

11.6 理解DRPC原语230

11.6.1 DRPC 工作流230

11.6.2 LinearDRPCTopologyBuilder实现类231

11.6.3 DRPC的两种模式231

11.7 快速理解一致性事务232

11.7.1 Trident框架的使用233

11.7.2 Trident框架的细节234

11.7.3 事务性Spout236

11.7.4 状态State238

11.8 本章小结241