大数据 规划、实施、运维2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据 规划、实施、运维PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1篇 大数据导论5

第1章 初识大数据5

1.1 大数据概念谈7

1.1.1 大数据的定义7

1.1.2 大数据发展现状9

1.1.3 大数据建设需求分析10

1.1.4 大数据建设目标11

1.1.5 机器学习与人工智能11

1.2 大数据的科学性12

1.3 客户关系管理17

1.4 大数据的理解误区20

1.5 小结26

第2章 大数据产业链初探27

2.1 现金流与产业模式28

2.2 国外IT企业30

2.3 国内IT企业32

2.4 开源软件32

2.5 小微企业35

2.6 政策制定者37

2.7 小结39

第2篇 规划篇44

第3章 大数据体系规划44

3.1 大数据技术体系45

3.1.1 大数据采集与预处理46

3.1.2 大数据存储49

3.1.3 大数据计算52

3.1.4 大数据分析54

3.1.5 大数据治理60

3.1.6 大数据安全保障63

3.1.7 大数据应用支撑67

3.2 大数据共性技术重点课题70

3.2.1 开放域数据采集与共享70

3.2.2 多源异构数据分析技术72

3.2.3 异构计算模式集成技术75

3.2.4 数据安全与隐私保护79

3.3 大数据风险管控82

3.3.1 企业大数据建设风险分析82

3.3.2 大数据安全标准体系框架83

3.3.3 大数据安全标准规划84

3.4 小结86

第4章 大数据技术要求87

4.1 大数据总体架构90

4.1.1 背景概述90

4.1.2 现状分析90

4.1.3 总体目标91

4.1.4 技术架构91

4.1.5 实施指引94

4.2 采集要求96

4.2.1 功能架构96

4.2.2 技术架构96

4.2.3 处理技术97

4.2.4 场景应用101

4.2.5 接口协议104

4.2.6 接口约定104

4.2.7 性能指标107

4.3 基础能力要求107

4.3.1 总体概述107

4.3.2 基础框架109

4.3.3 能力开放123

4.3.4 性能指标128

4.4 核心处理能力要求129

4.4.1 总体概述129

4.4.2 数据模型135

4.4.3 数据处理139

4.4.4 数据质量141

4.4.5 系统性能144

4.5 需求与项目管理145

4.6 小结147

第3篇 实施篇152

第5章 大数据并行计算框架152

5.1 并行计算技术153

5.1.1 基本命题153

5.1.2 设计模式分类155

5.1.3 关键技术点159

5.2 MapReduce计算技术162

5.2.1 处理模型设计原则162

5.2.2 主要功能与技术设计163

5.3 Hadoop MapReduce设计与工作模式165

5.3.1 程序执行模式166

5.3.2 作业调度模式168

5.3.3 执行框架及流程设计170

5.4 Hadoop MapReduce组件接口171

5.4.1 InputFormat171

5.4.2 InputSplit172

5.4.3 RecordReader173

5.4.4 Mapper174

5.4.5 Combiner176

5.4.6 Partitioner176

5.5 小结177

第6章 大数据分布式处理系统178

6.1 Hadoop系统平台179

6.1.1 分布式结构设计179

6.1.2 Hadoop生态系统180

6.2 HDFS分布式文件系统183

6.2.1 系统结构184

6.2.2 可靠性设计186

6.2.3 文件存储组织188

6.2.4 数据读写过程190

6.2.5 文件系统操作191

6.3 HBase分布式数据库193

6.3.1 技术特点193

6.3.2 系统结构设计195

6.3.3 数据存储模型195

6.3.4 查询模式197

6.3.5 数据表设计199

6.3.6 RegionServer配置200

6.4 小结203

第7章 大数据存储204

7.1 磁盘阵列技术205

7.2 数据存储接口206

7.2.1 对象存储206

7.2.2 裸设备存储207

7.2.3 块存储208

7.3 存储集群架构209

7.3.1 共享式与非共享式209

7.3.2 对称式与非对称式210

7.3.3 自助式与服务式211

7.3.4 SPI与SFI212

7.3.5 串行方式与并行方式212

7.4 数据存储技术本质214

7.4.1 三网统一理论215

7.4.2 并行概念理解216

7.4.3 集群分层架构217

7.5 数据分级存储探讨218

7.5.1 超融合218

7.5.2 冷数据219

7.5.3 平台架构220

7.5.4 应用场景227

7.6 小结228

第8章 机器学习与人工智能229

8.1 数据挖掘230

8.1.1 数据分类采集232

8.1.2 模式类型设计237

8.1.3 模式价值分析239

8.1.4 系统关键技术240

8.2 机器学习242

8.2.1 算法分类242

8.2.2 合适算法选择243

8.2.3 程序开发设计244

8.3 人工智能245

8.3.1 模式定义245

8.3.2 人工智能举例246

8.4 小结253

第4篇 运维篇258

第9章 大数据集群网络架构258

9.1 现有数据中心网络架构259

9.1.1 架构分析259

9.1.2 存在弊端259

9.2 大数据网络设计要点261

9.2.1 大数据业务分析261

9.2.2 大数据网络流量模型262

9.2.3 大数据网络新需求264

9.3 新兴网络技术264

9.3.1 SDN264

9.3.2 NFV268

9.3.3 VXLAN269

9.3.4 InfiniBand272

9.4 小结273

第10章 大数据安全274

10.1 大数据安全挑战275

10.2 基础设施安全276

10.2.1 存在威胁276

10.2.2 虚拟化安全277

10.3 数据安全277

10.3.1 数据采集安全技术278

10.3.2 数据存储安全技术279

10.3.3 数据挖掘安全技术282

10.3.4 数据发布安全技术284

10.4 大数据平台Hadoop安全286

10.4.1 Hadoop安全问题概述286

10.4.2 Kerberos概述287

10.4.3 Kerberos认证过程288

10.4.4 Hadoop安全机制289

10.4.5 Kerberos的优缺点290

10.5 小结291

第11章 大数据备份与恢复292

11.1 数据备份与恢复293

11.1.1 数据备份293

11.1.2 数据恢复297

11.2 分布式存储系统备份与恢复297

11.2.1 概述297

11.2.2 HDFS数据备份策略301

11.3 小结302

第12章 大数据环境的监管303

12.1 概述304

12.2 大数据集群配置管理305

12.3 大数据集群监控309

12.3.1 大数据监控特点309

12.3.2 监控系统310

12.3.3 监控系统建立途径312

12.3.4 商业监控软件312

12.3.5 开源监控软件314

12.3.6 传统网络管理软件：网鹰322

12.3.7 统一管理平台：UMP324

12.4 大数据日志分析326

12.5 小结329

第13章 大数据的运维方法330

13.1 运维服务331

13.2 运维流程模型332

13.2.1 故障排查332

13.2.2 紧急事故管理335

13.2.3 处理连锁故障336

13.3 运维人员339

13.3.1 需要具备的能力339

13.3.2 任务内容340

13.4 自动化与智能运维342

13.4.1 自动化运维价值342

13.4.2 自动化运维工具343

13.5 小结347

第5篇 实例篇351

第14章 Oracle MoviePlex大数据规划351

14.1 案例概述352

14.1.1 案例背景354

14.1.2 架构规划355

14.2 大数据组件介绍362

14.2.1 Cloudera的CDH362

14.2.2 Cloudera管理器363

14.2.3 Oracle大数据连接器365

14.2.4 Oracle大数据加载器365

14.2.5 Oracle大数据整合器367

14.2.6 Oracle R语言连接器367

14.2.7 Oracle NoSQL数据库367

14.3 小结369

第15章 Oracle MoviePlex大数据实施370

15.1 环境准备371

15.1.1 MoviePlex环境部署371

15.1.2 MoviePlex环境初始化375

15.2 案例演示379

15.2.1 配置Oracle Big Data SQL379

15.2.2 建立存放在HDFS中的日志表380

15.2.3 Hive访问HDFS和NoSQL382

15.2.4 Oracle Big Data SQL新功能384

15.2.5 Oracle Big Data安全策略386

15.2.6 Oracle分析SQL388

15.2.7 Oracle SQL模式匹配389

15.2.8 创建汇总数据集391

15.2.9 Oracle Database 12c SQL分析特点392

15.3 推荐系统394

15.3.1 百万美元大奖赛394

15.3.2 技术细节 395

15.4 小结398

第16章 Oracle MoviePlex大数据运维400

16.1 集群401

16.1.1 Hadoop402

16.1.2 ZooKeeper404

16.2 文件系统和非关系数据库407

16.2.1 HDFS408

16.2.2 HBase409

16.2.3 NoSQL411

16.2.4 Kafka413

16.3 中间件415

16.3.1 WebLogic415

16.3.2 Hue418

16.3.3 Solr420

16.4 数据转换421

16.4.1 Hive421

16.4.2 Impala423

16.4.3 Sqoop2425

16.5 资源整合调度426

16.5.1 Oozie426

16.5.2 YARN427

16.6 小结429

第6篇 明天的大数据433

第17章 大数据面临的挑战433

17.1 可靠性挑战434

17.2 可扩展性挑战435

17.3 系统安全挑战436

17.4 节能降耗437

17.5 算法挑战439

17.6 测不准原理439

17.7 小结440

第18章 大数据应用441

18.1 客户关系与供求管理442

18.2 科学研究445

18.3 教育大数据应用447

18.4 区块链与加密货币451

18.5 小结453

结束语455

附录A 安装Cloudera Apache Hadoop463

A.1 环境准备464

A.1.1 Cloudera管理器架构464

A.1.2 服务器环境准备465

A.1.3 安装介质下载466

A.1.4 本地yum源搭建466

A.2 安装Cloudera Manager Server467

A.3 部署Hadoop集群468

A.4 安装结果468

附录B 在MATLAB中应用MapReduce470

B.1 datastore简介471

B.2 搜寻需要的项472

B.3 MapReduce简介473

B.4 如何运用MapReduce进行运算473

B.5 MapReduce中对于键的使用475

B.6 使用MapReduce计算分组指标475

B.7 输出结果可视化476

附录C 从AIphaGo到AIphaZero479

参考文献486