Hadoop云计算实战2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

Hadoop云计算实战PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 云计算概论1

1.1 云计算概述1

1.1.1 云计算的定义1

1.1.2 云计算产生的背景2

1.1.3 云时代谁是主角3

1.1.4 云计算的特征4

1.1.5 云计算的发展史5

1.1.6 云计算的服务层次7

1.1.7 云计算的服务形式7

1.1.8 云计算的实现机制9

1.1.9 云计算研究方向11

1.1.10 云计算发展趋势12

1.2 云计算关键技术研究14

1.2.1 虚拟化技术14

1.2.2 数据存储技术15

1.2.3 资源管理技术17

1.2.4 能耗管理技术18

1.2.5 云监测技术19

1.3 云计算应用研究22

1.3.1 语义分析应用22

1.3.2 IT企业应用22

1.3.3 生物学应用23

1.3.4 电信企业应用24

1.3.5 数据库的应用27

1.3.6 地理信息应用28

1.3.7 医学应用29

1.4 云安全30

1.4.1 云安全发展趋势31

1.4.2 云安全与网络安全的差别31

1.4.3 云安全研究的方向31

1.4.4 云安全难点问题32

1.4.5 云安全新增及增强功能32

1.5 云计算生命周期33

1.6 云计算存在的问题34

1.7 云计算的优缺点35

第2章 Hadoop相关项目介绍37

2.1 Hadoop简介37

2.1.1 Hadoop的基本架构37

2.1.2 Hadoop文件系统结构40

2.1.3 Hadoop文件读操作41

2.1.4 Hadoop文件写操作42

2.2 Hadoop系统性质42

2.2.1 可靠存储性43

2.2.2 数据均衡43

2.3 比较SQL数据库与Hadoop44

2.4 MapReduce概述45

2.4.1 MapReduce实现机制45

2.4.2 MapReduce执行流程46

2.4.3 MapReduce映射和化简47

2.4.4 MapReduce输入格式47

2.4.5 MapReduce输出格式48

2.4.6 MapReduce运行速度48

2.5 HBase概述48

2.5.1 HBase的系统框架49

2.5.2 HBase访问接口51

2.5.3 HBase的存储格式52

2.5.4 HBase的读写流程52

2.5.5 Hbase的优缺点53

2.6 ZooKeeper概述53

2.6.1 为什么需要ZooKeeper54

2.6.2 ZooKeeper设计目标54

2.6.3 ZooKeeper数据模型54

2.6.4 ZooKeeper工作原理55

2.6.5 ZooKeeper实现机制56

2.6.6 ZooKeeper的特性57

2.7 Hive概述58

2.7.1 Hive的组成59

2.7.2 Hive结构解析59

2.8 Pig概述63

2.9 Cassandra概述64

2.9.1 Cassandra主要功能64

2.9.2 Cassandra的体系结构65

2.9.3 Cassandra存储机制65

2.9.4 Cassandra的写过程66

2.9.5 Cassandra的读过程67

2.9.6 Cassandra的删除68

2.10 Chukwa概述68

2.10.1 使用Chukwa的原因68

2.10.2 Chukwa的不是69

2.10.3 Chukwa的定义69

2.10.4 Chukwa架构与设计70

第3章 Hadoop配置与实战74

3.1 Hadoop的安装74

3.1.1 在Linux下安装Hadoop74

3.1.2 运行模式75

3.1.3 在Windows下安装Hadoop80

3.2 运行Hadoop86

3.3 Hadoop的Avatar机制87

3.3.1 系统架构88

3.3.2 元数据同步机制89

3.3.3 切换故障过程91

3.3.4 运行流程92

3.3.5 切换故障流程96

3.4 Hadoop实战99

3.4.1 使用Hadoop运行wordcount实例99

3.4.2 使用Eclipse编写Hadoop程序101

第4章 Hadoop的分布式数据HDFS102

4.1 HDFS的操作102

4.1.1 文件操作102

4.1.2 管理与更新103

4.2 FS Shell使用指南104

4.3 API使用111

4.3.1 文件系统的常见操作111

4.3.2 API的Java操作实例113

第5章 Hadoop编程模型MapReduce118

5.1 MapReduce基础118

5.1.1 MapReduce编程模型118

5.1.2 MapReduce实现机制119

5.1.3 Java MapReduce121

5.2 MapReduce的容错性124

5.3 MapReduce实例分析125

5.4 不带map()、reduce()的MapReduce131

5.5 Shuffle过程133

5.6 新增Hadoop API136

5.7 Hadoop的Streaming138

5.7.1 通过UNIX命令使用Streaming138

5.7.2 通过Ruby版本使用streaming139

5.7.3 通过Python版本使用Streaming141

5.8 MapReduce实战142

5.8.1 MapReduce排序142

5.8.2 MapReduce二次排序145

5.9 MapReduce作业分析153

5.10 定制MapReduce数据类型156

5.10.1 内置的数据输入格式和RecordReader156

5.10.2 定制输入数据格式与RecordReader157

5.10.3 定制数据输出格式实现多集合文件输出160

5.11 链接MapReduce作业162

5.11.1 顺序链接MapReduuce作业162

5.11.2 复杂的MapRedace链接163

5.11.3 前后处理的链接163

5.11.4 链接不同的数据166

5.12 Hadoop的Pipes172

5.13 创建Bloom filter174

5.13.1 Bloom filter作用175

5.13.2 Bloom filter实现175

第6章 Hadoop的数据库HBase182

6.1 HBase数据模型182

6.1.1 数据模型182

6.1.2 概念视图183

6.1.3 物理视图184

6.2 HBase与RDBMS对比185

6.3 Bigtable的应用实例188

6.4 HBase的安装与配置189

6.5 Java API196

6.6 HBase实例分析204

6.6.1 RowLock204

6.6.2 HBase的HFileOutputFormat207

6.6.3 HBase的TableOutputFormat210

6.6.4 在HBase中使用MapReduce213

6.6.5 HBase分布式模式215

第7章 Hadoop的数据仓库Hive220

7.1 Hive的安装220

7.1.1 准备的软件包220

7.1.2 内嵌模式安装220

7.1.3 安装独立模式221

7.1.4 远程模式安装222

7.1.5 查看数据信息222

7.2 Hive的入口223

7.2.1 类CliDriver225

7.2.2 类CliSessionState229

7.2.3 类CommandProcessor230

7.3 Hive QL详解232

7.3.1 Hive的数据类型232

7.3.2 Hive与数据库比较233

7.3.3 DDL操作234

7.3.4 join查询241

7.3.5 DML操作243

7.3.6 SQL操作245

7.3.7 Hive QL的应用实例248

7.4 Hive的服务250

7.4.1 JDBC/ODBC服务250

7.4.2 Thrift服务253

7.4.3 Web接口255

7.5 Hive SQL的优化256

7.5.1 Hive SQL优化选项256

7.5.2 Hive SQL优化应用实例258

7.6 Hive的扩展性261

7.6.1 SerDe262

7.6.2 Map/Reduce脚本263

7.6.3 UDF263

7.6.4 UDAF264

7.7 Hive实战266

第8章 Hadoop的大规模数据平台Pig274

8.1 Pig的安装与运行274

8.1.1 Pig的安装274

8.1.2 Pig的运行274

8.2 Pig实现278

8.3 Pig Latin语言279

8.3.1 Pig Latin语言概述280

8.3.2 Pig Latin数据类型282

8.3.3 Pig Latin运算符284

8.3.4 Pig Latin关键字287

8.3.5 Pig内置函数288

8.4 自定义函数291

8.4.1 UDF的编写292

8.4.2 UDFS的使用293

8.5 Jaql和Pig查询语言的比较293

8.5.1 Pig和Jaql运行环境和执行形式的比较294

8.5.2 Pig和Jaql支持数据类型的比较294

8.5.3 Pig和Jaql操作符和内建函数以及自定义函数的比较295

8.5.4 其他299

8.6 Pig实战300

第9章 Hadoop的非关系型数据Cassandra308

9.1 Cassandra的安装308

9.1.1 在Windows 7中安装308

9.1.2 在Linux中安装310

9.2 Cassandra的数据模型311

9.2.1 Column311

9.2.2 SuperColumn312

9.2.3 ColumnFamily312

9.2.4 Row313

9.2.5 排序313

9.3 Cassandra的实例分析315

9.3.1 Cassandra的数据存储结构315

9.3.2 跟踪客户端代码319

9.4 Cassandra常用的编程语言324

9.4.1 Java使用Cassandra324

9.4.2 PHP使用Cassandra325

9.4.3 Python使用Cassandra326

9.4.4 C#使用Cassandra327

9.4.5 Ruby使用Cassandra328

9.5 Cassandra与MapReduce结合328

9.5.1 需求分析329

9.5.2 代码分析330

9.5.3 MapReduce代码330

9.6 Cassandra实战331

9.6.1 BuyerDao功能验证331

9.6.2 SellerDao功能验证332

9.6.3 ProductDao功能验证333

9.6.4 新建Schema在线功能336

9.6.5 功能验证337

第10章 Hadoop的收集数据Chukwa339

10.1 Chukwa的安装与配置339

10.1.1 配置要求339

10.1.2 Chukwa的安装340

10.1.3 基本命令341

10.2 Chukwa数据流处理344

10.2.1 支持数据类型344

10.2.2 数据处理345

10.2.3 自定义数据模块351

10.3 Chukwa源代码分析352

10.3.1 Chukwa适配器352

10.3.2 Chukwa连接器357

10.3.3 Chukwa收集器362

10.4 Chukwa实例分析366

10.4.1 生成数据366

10.4.2 收集数据367

10.4.3 处理数据367

10.4.4 析取数据368

10.4.5 稀释数据368

第11章 Hadoop的分布式系统ZooKeeper369

11.1 ZooKeeper的安装与配置369

11.1.1 ZooKeeper的安装369

11.1.2 ZooKeeper的配置371

11.1.3 ZooKeeper数据模型373

11.1.4 ZooKeeper的API接口373

11.1.5 ZooKeeper编程实现375

11.2 ZooKeeper的Leader流程378

11.3 ZooKeeper锁服务379

11.3.1 ZooKeeper中的锁机制379

11.3.2 ZooKeeper的写锁实现380

11.3.3 ZooKeeper锁服务实现例子381

11.4 创建ZooKeeper应用程序383

11.5 ZooKeeper的应用开发387

11.6 ZooKeeper的典型应用395

11.6.1 统一命名服务396

11.6.2 配置管理396

11.6.3 集群管理397

11.6.4 共享锁398

11.6.5 队列管理399

11.7 实现NameNode自动切换402

网上参考资源410

参考文献412