企业级大数据平台构建 架构与实现2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

企业级大数据平台构建 架构与实现PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 浅谈企业级大数据平台的重要性1

1.1 缺乏统一大数据平台的问题2

1.1.1 资源浪费2

1.1.2 数据孤岛2

1.1.3 服务孤岛3

1.1.4 安全存疑3

1.1.5 缺乏可维护性和可扩展性3

1.1.6 缺乏可复制性4

1.2 构建统一大数据平台的优势4

1.3 企业级大数据平台需要具备的基本能力6

1.3.1 集群管理与监控7

1.3.2 数据接入7

1.3.3 数据存储与查询7

1.3.4 数据计算8

1.3.5 平台安全与管理10

1.4 平台辅助工具12

1.5 本章小结13

第2章 企业级大数据平台技术栈介绍15

2.1 HDFS16

2.1.1 概述16

2.1.2 RAID技术17

2.1.3 核心设计目标18

2.1.4 命名空间19

2.1.5 数据模型20

2.1.6 Namenode和Datanode20

2.1.7 使用场景21

2.2 Zookeeper22

2.2.1 概述22

2.2.2 核心特性23

2.2.3 命名空间24

2.2.4 数据模型24

2.2.5 节点状态监听25

2.2.6 原子消息广播协议25

2.2.7 使用场景32

2.3 HBase33

2.3.1 概述33

2.3.2 数据模型34

2.3.3 Regions34

2.3.4 HBase Master35

2.3.5 Region Server36

2.3.6 MemStore与HFile37

2.3.7 使用场景37

2.4 YARN38

2.4.1 概述38

2.4.2 资源模型和Container40

2.4.3 ResourceManager40

2.4.4 ApplicationMaster40

2.4.5 NodeManager41

2.4.6 单一集群架构41

2.4.7 工作流程41

2.4.8 使用场景43

2.5 Spark43

2.5.1 概述43

2.5.2 数据模型45

2.5.3 编程模型和作业调度45

2.5.4 依赖46

2.5.5 容错47

2.5.6 集群模式47

2.5.7 使用场景48

2.6 本章小结49

第3章 使用Ambari安装Hadoop集群50

3.1 概述50

3.2 集群设计52

3.2.1 主控节点52

3.2.2 存储与计算节点53

3.2.3 安全认证与管理节点54

3.2.4 协同管理与其他节点54

3.3 Ambari的安装、配置与启动55

3.3.1 安装前的准备55

3.3.2 安装Ambari-Server62

3.3.3 Ambari-Server目录结构64

3.3.4 配置Ambari-Server65

3.3.5 启动Ambari-Server66

3.4 新建集群67

3.4.1 设置集群名称并配置HDP安装包67

3.4.2 配置集群69

3.5 Ambari控制台功能简介77

3.5.1 集群服务管理78

3.5.2 集群服务配置80

3.5.3 辅助工具82

3.6 本章小结86

第4章 构建企业级平台安全方案87

4.1 浅谈企业级大数据平台面临的安全隐患88

4.1.1 缺乏统一的访问控制机制88

4.1.2 缺乏统一的资源授权策略88

4.1.3 缺乏Hadoop服务安全保障89

4.2 初级安全方案89

4.2.1 访问控制89

4.2.2 数据授权与管理97

4.3 本章小结110

第5章 Hadoop服务安全方案111

5.1 Kerberos协议简介111

5.2 使用FreeIPA安装Kerberos和LDAP113

5.2.1 安装FreeIPA115

5.2.2 IPA-Server管理控制台功能介绍119

5.2.3 IPA CLI功能介绍122

5.3 开启Ambari的Kerberos安全选项127

5.3.1 集成前的准备127

5.3.2 集成IPA129

5.3.3 测试Kerberos认证133

5.4 本章小结136

第6章 单点登录与用户管理137

6.1 集成单点登录139

6.1.1 CAS简介140

6.1.2 安装CAS-Server141

6.1.3 集成Knox网关与CAS-Server148

6.1.4 集成Ranger与CAS-Server151

6.1.5 集成Ambari与CAS-Server152

6.2 实现统一的用户管理系统155

6.3 使用Java程序调用脚本161

6.4 创建Ranger扩展用户166

6.5 本章小结169

第7章 搭建平台管理端RESTful服务170

7.1 搭建RESTful服务框架170

7.2 用户查询174

7.2.1 引入LDAP模块174

7.2.2 配置LDAP174

7.2.3 实现持久层177

7.2.4 实现服务层181

7.2.5 实现RESTful服务181

7.2.6 整合用户管理183

7.3 RESTful服务安全认证184

7.3.1 用户登录服务185

7.3.2 使用JWT认证185

7.3.3 创建用户登录RESTful服务188

7.3.4 认证过滤器194

7.3.5 测试服务安全认证198

7.4 数据仓库数据查询200

7.4.1 创建JDBC连接200

7.4.2 Kerberos登录202

7.4.3 使用JDBC协议查询202

7.4.4 实现服务层与RESTful服务206

7.4.5 测试查询207

7.5 数据仓库元数据查询208

7.5.1 使用query服务查询数仓元数据208

7.5.2 引入JdbcTemplate模块209

7.5.3 增加Hive元数据库配置210

7.5.4 实现元数据持久层211

7.5.5 实现元数据服务层与RESTful服务216

7.5.6 测试元数据查询218

7.6 本章小结219

第8章 Spark任务与调度服务220

8.1 提交Spark任务的3种方式220

8.1.1 使用Spark-Submit脚本提交220

8.1.2 使用Spark Client提交226

8.1.3 使用YARN RESTful API提交229

8.2 查询Spark日志234

8.3 任务调度236

8.3.1 引入Quartz模块237

8.3.2 增加Quartz配置237

8.3.3 编写调度任务240

8.3.4 改进空间241

8.4 本章小结241

附录A Hadoop简史242

附录B Hadoop生态其他常用组件一览245

附录C 常用组件配置说明248