大数据导论 关键技术与行业应用最佳实践2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大数据导论 关键技术与行业应用最佳实践PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 大数据概论1

1.1 什么是大数据1

1.1.1 大数据的概念2

1.1.2 大数据的特征2

1.1.3 大数据的产生4

1.1.4 数据的量级5

1.1.5 大数据的数据类型6

1.1.6 大数据的潜在价值8

1.1.7 大数据的挑战8

1.2 大数据与商业智能9

1.2.1 商业智能的概念9

1.2.2 商业智能的架构体系10

1.2.3 商业智能的核心技术11

1.2.4 商业智能的研究内容和发展方向13

1.2.5 商业智能与大数据的关系14

1.2.6 商业智能与大数据的结合应用15

1.3 大数据相关技术与应用概况17

1.3.1 大数据的相关技术17

1.3.2 大数据的应用概况19

1.4 大数据热点问题与发展趋势介绍21

1.4.1 大数据的热点问题21

1.4.2 大数据的发展趋势23

1.5 练习25

参考文献25

第2章 数据组织存储技术27

2.1 数据存储概述27

2.1.1 数据存储介质27

2.1.2 数据存储模式28

2.1.3 大数据存储存在的问题30

2.2 数据存储技术研究现状32

2.2.1 传统关系型数据库32

2.2.2 新兴的数据存储系统33

2.3 海量数据存储的关键技术36

2.3.1 数据划分37

2.3.2 数据一致性与可用性37

2.3.3 负载均衡38

2.3.4 容错机制39

2.3.5 虚拟存储技术40

2.3.6 云存储技术41

2.4 数据仓库42

2.4.1 数据仓库的相关概念42

2.4.2 数据仓库体系结构50

2.4.3 数据仓库设计与实施51

2.4.4 数据抽取、转换和装载54

2.4.5 联机分析处理57

2.5 练习64

参考文献64

第3章 NoSQL66

3.1 NoSQL简介66

3.1.1 什么是NoSQL66

3.1.2 什么是关系型数据库68

3.1.3 NoSQL数据库与关系型数据库的比较68

3.2 NoSQL的三大基石70

3.2.1 CAP71

3.2.2 BASE73

3.2.3 最终一致性74

3.3 key-value数据库78

3.3.1 Redis78

3.4 Column-oriented数据库80

3.4.1 Bigtable80

3.4.2 Apache Cassandra81

3.4.3 HBase81

3.5 图存数据库89

3.5.1 Neo4j89

3.6 文档数据库93

3.6.1 CouchDB93

3.6.2 MongoDB95

3.7 NewSQL数据库96

3.7.1 NewSQL数据库简介96

3.7.2 MySQLCluster97

3.7.3 VoltDB99

3.8 分布式缓存系统100

3.9 练习103

参考文献103

第4章 Hadoop和MapReduce104

4.1 Hadoop简介104

4.2 Hadoop的体系结构105

4.2.1 HDFS的体系结构105

4.2.2 MapReduce的体系结构106

4.2.3 其他组件106

4.2.4 Hadoop的I/O操作107

4.2.5 Hadoop与分布式开发111

4.3 Hadoop的安装与配置112

4.3.1 在Windows上安装与配置Hadoop112

4.3.2 在Linux上安装与配置Hadoop120

4.4 Hadoop应用案例126

4.4.1 Last·fm126

4.4.2 Facebook128

4.5 MapReduce模型概述130

4.5.1 Map和Reduce函数132

4.5.2 MapReduce工作流程132

4.5.3 并行计算的实现136

4.6 实例分析：WordCount138

4.6.1 WordCount设计思路140

4.6.2 WordCount代码141

4.6.3 过程解释144

4.7 练习146

参考文献146

第5章 数据查询和分析的高级技术148

5.1 SQL on Hadoop查询技术148

5.1.1 Hive：基本的查询技术149

5.1.2 Hive的优化和升级153

5.1.3 实时交互式SQL查询155

5.1.4 基于PostgreSQL的SQLon Hadoop157

5.2 数据分析的方法与技术158

5.2.1 基本分析方法159

5.2.2 高级分析方法164

5.2.3 可视化技术174

5.3 常用分析工具介绍179

5.3.1 统计分析工具179

5.3.2 数据挖掘工具182

5.3.3 可视化设计工具185

5.4 练习188

参考文献189

第6章 数据挖掘技术190

6.1 数据挖掘简介190

6.2 关联分析192

6.2.1 基本概念193

6.2.2 经典频集算法194

6.2.3 FP Growth194

6.2.4 多层关联规则195

6.2.5 多维关联规则195

6.3 分类与回归195

6.3.1 基本概念196

6.3.2 决策树197

6.3.3 贝叶斯分类算法199

6.3.4 人工神经网络201

6.3.5 支持向量机204

6.3.6 其他分类方法206

6.3.7 回归209

6.4 聚类分析211

6.4.1 基本概念211

6.4.2 划分方法212

6.4.3 层次方法213

6.4.4 基于密度的方法215

6.4.5 基于网格的方法215

6.4.6 基于模型的方法216

6.4.7 双聚类方法217

6.5 离群点检测219

6.5.1 基本概念219

6.5.2 基于统计的离群点检测220

6.5.3 基于距离的离群点检测220

6.5.4 基于偏差的离群点检测221

6.6 复杂数据类型挖掘222

6.7 数据挖掘的研究前沿和发展趋势223

6.7.1 数据挖掘的应用224

6.7.2 数据挖掘中的隐私问题225

6.7.3 数据挖掘的发展趋势225

6.8 练习227

参考文献227

第7章 数据分析语言R229

7.1 R概述229

7.1.1 R是什么229

7.1.2 R的获取与安装230

7.1.3 R的使用231

7.1.4 R包233

7.2 R的数据操作234

7.2.1 数据结构234

7.2.2 数据输入236

7.3 绘图功能简介240

7.3.1 管理绘图240

7.3.2 绘图函数242

7.3.3 绘图参数244

7.3.4 基本图形246

7.4 R的初级数据分析250

7.4.1 描述性统计分析252

7.4.2 频数表和列联表255

7.4.3 相关分析258

7.4.4 t检验261

7.4.5 回归分析262

7.4.6 方差分析268

7.5 R的高级数据分析271

7.5.1 广义线性模型271

7.5.2 聚类分析274

7.5.3 判别分析276

7.5.4 主成分分析277

7.5.5 因子分析279

7.6 R在大数据处理中的应用284

7.6.1 R处理大数据284

7.6.2 R与Hadoop交互286

7.7 练习287

参考文献288

第8章 大数据用于预测和决策289

8.1 利用分析技术作决策的发展历史和展望289

8.1.1 利用分析技术作决策的发展历程289

8.1.2 大数据决策的展望291

8.2 统计预测和决策概述292

8.2.1 统计预测的作用及方法292

8.2.2 统计决策的概述及方法294

8.3 大数据预测决策的关键295

8.4 大数据分析用于商业的预测决策297

8.4.1 乐购——分析客户消费信息297

8.4.2 Netflix——了解客户的真正需求297

8.4.3 哈拉斯——使用客户数据298

8.4.4 大通银行——决策树方法分析按揭数据298

8.4.5 好事达——采用高级预测分析技术299

8.5 大数据时代给政府决策管理带来的机遇与挑战299

8.5.1 大数据提升政府的决策管理能力299

8.5.2 大数据浪潮中政府面临的挑战301

8.5.3 政府以变革来顺应大数据时代303

8.6 大数据时代的跨界与颠覆305

8.6.1 大数据时代，颠覆浪潮席卷传统产业305

8.6.2 大数据时代，全新的投资理念和巨大的投资机会308

8.7 练习309

参考文献309

第9章 大数据与市场营销311

9.1 大数据时代的营销模式创新311

9.1.1 营销模式的突出优势311

9.1.2 营销模式的创新之举313

9.2 大数据时代下的网络化精准营销315

9.2.1 精准营销概述315

9.2.2 网络精准营销模式316

9.3 大数据应用与商业机会318

9.3.1 车载信息服务数据在汽车保险业中的价值318

9.3.2 RFID数据在零售制造业中的价值319

9.3.3 大数据在医疗行业中的价值319

9.3.4 社交网络数据在电信业及其他行业中的价值320

9.3.5 遥测数据在视频游戏中的价值321

9.4 大数据时代的商业变革321

9.4.1 大数据时代商业思维的变革322

9.4.2 大数据时代管理的变革323

9.4.3 大数据时代营销的变革324

9.4.4 大数据时代产业链的变革325

9.5 大数据提高企业竞争力326

9.6 练习329

参考文献330

第10章 大数据应用案例331

10.1 大数据在金融行业中的应用案例331

10.1.1 摩根大通信贷市场分析331

10.1.2 奥马哈外汇风险敞口和实时数据分析332

10.1.3 瑞士银行集合风险分析333

10.1.4 汇丰银行多维度的历史数据分析和异常值快速分析334

10.1.5 对冲基金选择Datawatch来观察实时的市场流数据335

10.1.6 衍生品交易公司的交易活动的浏览与分析336

10.1.7 跨国保险公司连接多个数据库来进行风险分析336

10.2 大数据在医疗行业中的应用案例337

10.2.1 美国糖尿病患者分布情况分析337

10.2.2 医疗机构病房的实时监控339

10.2.3 流行病学研究341

10.3 大数据在互联网企业中的应用案例344

10.3.1 亚马逊344

10.3.2 淘宝网345

10.3.3 Facebook346

10.4 大数据在影视行业中的应用案例346

10.4.1 大数据分析节目收视特征和用户喜好346

10.4.2 大数据分析电影票房348

10.5 练习350

参考文献350

第11章 大数据应用的主流解决方案352

11.1 Cloudera大数据解决方案352

11.2 Hortonworks大数据解决方案352

11.3 MapR大数据解决方案354

11.4 亚马逊大数据解决方案355

11.5 IBM大数据解决方案357

11.6 甲骨文大数据解决方案359

11.7 EMC大数据解决方案360

11.8 英特尔大数据解决方案362

11.9 SAP大数据解决方案363

11.10 Teradata大数据解决方案365

11.11 微软大数据解决方案366

11.12 国泰安大数据解决方案368

11.13 练习370

参考文献370