Hadoop核心技术与实验2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Hadoop核心技术与实验PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 Hadoop基础1

1.1 Hadoop简介1

1.1.1 Hadoop概述1

1.1.2 Hadoop项目及其结构3

1.1.3 Hadoop体系结构5

1.1.4 Hadoop数据管理7

1.1.5 Hadoop分布式开发8

1.1.6 Hadoop计算模型-MapReduce11

1.1.7 Hadoop集群安全策略11

1.2 Hadoop的安装与配置13

1.2.1 在Linux上安装与配置Hadoop14

1.2.2 在Windows上安装与配置Hadoop20

1.2.3 安装和配置Hadoop集群26

1.3 Hadoop的常用插件与开发40

1.3.1 Hadoop Eclipse的安装环境40

1.3.2 Hadoop Eclipse的编译步骤40

1.3.3 Hadoop Eclipse的安装步骤44

1.3.4 Hadoop Eclipse的使用举例46

1.4 思考题47

第2章 MapReduce开发49

2.1 MapReduce计算模型49

2.1.1 MapReduce计算模型49

2.1.2 MapReduce任务的优化62

2.1.3 Hadoop流64

2.1.4 Hadoop Pipes71

2.2 开发MapReduce应用程序75

2.2.1 系统参数的配置75

2.2.2 配置开发环境77

2.2.3 编写MapReduce程序78

2.2.4 本地测试82

2.2.5 网络用户界面83

2.2.6 性能调优86

2.2.7 MapReduce工作流90

2.3 MapReduce应用案例95

2.3.1 单词计数96

2.3.2 数据去重103

2.3.3 排序106

2.3.4 单表关联110

2.3.5 多表关联114

2.4 MapReduce工作机制119

2.4.1 MapReduce作业的执行流程119

2.4.2 错误处理机制128

2.4.3 作业调度机制129

2.4.4 Shuffle和排序130

2.4.5 任务执行134

2.5 思考题137

第3章 Hadoop进阶138

3.1 Hadoop I/O操作138

3.1.1 I/O操作中的数据检查138

3.1.2 数据的压缩146

3.1.3 数据的I/O序列化操作148

3.1.4 针对Mapreduce的文件类162

3.2 Hadoop的管理174

3.2.1 HDFS文件结构174

3.2.2 Hadoop的状态监视和管理工具178

3.2.3 Hadoop集群的维护196

3.3 下一代MapReduce：YARN202

3.3.1 MapReduce V2设计需求202

3.3.2 MapReduce V2主要思想和架构203

3.3.3 MapReduce V2设计细节205

3.3.4 MapReduce V2优势208

3.4 思考题209

第4章 Hadoop实战210

4.1 实战一 MapReduce实现推荐系统210

4.1.1 作业描述210

4.1.2 作业分析210

4.1.3 程序代码213

4.1.4 准备输入数据221

4.1.5 运行程序221

4.1.6 代码结果221

4.2 实战二 使用MapReduce求每年最低温度223

4.2.1 作业描述223

4.2.2 程序代码223

4.2.3 准备输入数据225

4.2.4 运行程序226

4.2.5 代码结果226

参考文献227