Spark Streaming 实时流处理入门与精通2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Spark Streaming 实时流处理入门与精通PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Spark和Spark Streaming的安装与配置1

安装Spark2

硬件需求2

软件需求4

安装Spark扩展——Spark Streaming7

配置和运行Spark集群8

你的第一个Spark程序11

用Scala编码Spark作业12

用Java开发Spark作业15

管理员／开发者工具18

集群管理18

提交Spark作业19

故障定位20

配置端口号20

类路径问题——类没有发现20

其他常见异常20

总结21

第2章 Spark和Spark Streaming的体系结构与组件23

批处理和实时数据处理的比较24

批处理24

实时数据处理26

Spark的体系结构28

Spark对比Hadoop28

Spark的层次化结构29

Spark Streaming的体系结构31

Spark Streaming是什么32

Spark Streaming的上层体系结构32

你的第一个Spark Streaming程序34

用Scala编码Spark Streaming作业34

用Java编码Spark Streaming作业37

客户端程序39

打包和部署一个Spark Streaming作业41

总结43

第3章 实时处理分布式日志文件45

Spark的封装结构和客户端API46

Spark内核48

Spark库及扩展54

弹性分布式数据集及离散流58

弹性分布式数据集59

离散流63

从分布的、多样的数据源中加载数据65

Flume框架67

Flume的安装和配置69

配置Spark以接收Flume事件73

封装和部署Spark Streaming作业77

分布式日志文件处理的总体架构77

总结78

第4章 在流数据中应用Transformation79

理解并应用Transformation功能80

模拟日志流80

功能操作82

转换操作89

窗口操作91

性能调优94

分块和并行化94

序列化94

Spark内存调优95

总结97

第5章 日志分析数据的持久化99

Spark Streaming的输出操作100

集成Cassandra110

安装和配置Apache Cassandra110

配置Spark112

通过编写Spark作业将流式网页日志存入Cassandra113

总结120

第6章 与Spark高级库集成121

实时查询流数据122

了解Spark SQL122

集成Spark SQL与流数据129

图的分析——Spark GraphX135

GraphX API介绍137

集成Spark Streaming140

总结147

第7章 产品部署149

Spark部署模式150

部署在Apache Mesos上151

部署在Hadoop或者YARN上156

高可用性和容错性160

单机模式下的高可用性160

Mesos或者YARN下的高可用性162

容错性162

Streaming作业的监听166

应用程序UI界面／作业UI界面166

与其他监控工具的集成169

总结170