Spark SQL大数据实例开发教程2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Spark SQL大数据实例开发教程PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 认识Spark SQL1

1.1 Spark SQL概述1

1.1.1 Spark SQL与DataFrame1

1.1.2 DataFrame与RDD的差异2

1.1.3 Spark SQL的发展历程3

1.2从零起步掌握Hive4

1.2.1 Hive的本质是什么4

1.2.2 Hive安装和配置5

1.2.3使用Hive分析搜索数据12

1.3 Spark SQL on Hive安装与配置15

1.3.1安装Spark SQL15

1.3.2安装MySQL18

1.3.3启动Hive Metastore21

1.4 Spark SQL初试21

1.4.1通过spark-shell来使用Spark SQL21

1.4.2 Spark SQL的命令终端24

1.4.3 Spark的Web UI25

1.5本章小结26

第2章 DataFrame原理与常用操作27

2.1 DataFrame编程模型27

2.2 DataFrame基本操作实战28

2.2.1数据准备28

2.2.2启动交互式界面30

2.2.3数据处理与分析31

2.3通过RDD来构建DataFrame44

2.4缓存表（列式存储）47

2.5 DataFrame API应用示例48

2.6本章小结79

第3章 Spark SQL操作多种数据源80

3.1通用的加载/保存功能80

3.1.1 Spark SQL加载数据80

3.1.2 Spark SQL保存数据82

3.1.3综合案例——电商热销商品排名82

3.2 Spark SQL操作Hive示例87

3.3 Spark SQL操作JSON数据集示例91

3.4 Spark SQL操作HBase示例92

3.5 Spark SQL操作MySQL示例97

3.5.1安装并启动MySQL97

3.5.2准备数据表98

3.5.3操作MySQL表101

3.6 Spark SQL操作MongoDB示例111

3.6.1安装配置MongoDB111

3.6.2启动MongoDB113

3.6.3准备数据114

3.6.4 Spark SQL操作MongoDB116

3.7本章小结122

第4章 Parquet列式存储123

4.1 Parquet概述123

4.1.1 Parquet的基本概念123

4.1.2 Parquet数据列式存储格式应用举例125

4.2 Parquet的Block配置及数据分片128

4.2.1 Parquet的Block的配置129

4.2.2 Parquet内部的数据分片129

4.3 Parquet序列化129

4.3.1 Spark实施序列化的目的130

4.3.2 Parquet两种序列化方式130

4.4本章小结131

第5章 Spark SQL内置函数与窗口函数132

5.1 Spark SQL内置函数132

5.1.1 Spark SQL内置函数概述132

5.1.2 Spark SQL内置函数应用实例133

5.2 Spark SQL窗口函数143

5.2.1 Spark SQL窗口函数概述143

5.2.2 Spark SQL窗口函数分数查询统计案例145

5.2.3 Spark SQL窗口函数NBA常规赛数据统计案例154

5.3本章小结161

第6章 Spark SQL UDF与UDAF162

6.1 UDF概述162

6.2 UDF示例162

6.2.1 Hobby count函数163

6.2.2 Combine函数164

6.2.3 Str2Int函数165

6.2.4 Wsternstate函数167

6.2.5 ManyCustomers函数168

6.2.6 StateRegion函数169

6.2.7 DiscountRatio函数170

6.2.8 MakeStruct函数171

6.2.9 MyDateFilter函数172

6.2.10 MakeDT函数174

6.3 UDAF概述176

6.4 UDAF示例176

6.4.1 ScalaAggregateFunction函数176

6.4.2 GeometricMean函数180

6.4.3 CustomMean函数183

6.4.4 BelowThreshold函数186

6.4.5 YearCompare函数188

6.4.6 WordCount函数194

6.5本章小结198

第7章 Thrift Server199

7.1 Thrift概述199

7.1.1 Thrift的基本概念199

7.1.2 Thrift的工作机制201

7.1.3 Thrift的运行机制201

7.1.4一个简单的Thrift实例203

7.2 Thrift Server的启动过程206

7.2.1 Thrift Sever启动详解207

7.2.2 HiveThriftServer2类的解析212

7.3 Beeline操作215

7.3.1 Beeline连接方式215

7.3.2在Beeline中进行SQL查询操作218

7.3.3通过Web控制台查看用户进行的操作220

7.4 Thrift Server应用示例221

7.4.1示例源代码221

7.4.2关键代码行解析222

7.4.3测试运行224

7.4.4运行结果解析227

7.4.5 Spark Web控制台查看运行日志227

7.5本章小结228

第8章 Spark SQL综合应用案例229

8.1综合案例实战——电商网站日志多维度数据分析229

8.1.1数据准备230

8.1.2数据说明230

8.1.3数据创建230

8.1.4数据导入235

8.1.5数据测试和处理240

8.2综合案例实战——电商网站搜索排名统计245

8.2.1案例概述245

8.2.2数据准备245

8.2.3实现用户每天搜索前3名的商品排名统计249

8.3本章小结254