大规模分布式存储系统2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

大规模分布式存储系统PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概述1

1.1 分布式存储概念1

1.2 分布式存储分类2

第一篇 基础篇6

第2章 单机存储系统6

2.1 硬件基础6

2.1.1 CPU架构6

2.1.2 IO总线7

2.1.3 网络拓扑9

2.1.4 性能参数10

2.1.5 存储层次架构11

2.2 单机存储引擎12

2.2.1 哈希存储引擎12

2.2.2 B树存储引擎14

2.2.3 LSM树存储引擎15

2.3 数据模型17

2.3.1 文件模型17

2.3.2 关系模型18

2.3.3 键值模型19

2.3.4 SQL与NoSQL20

2.4 事务与并发控制21

2.4.1 事务21

2.4.2 并发控制23

2.5 故障恢复26

2.5.1 操作日志26

2.5.2 重做日志27

2.5.3 优化手段27

2.6 数据压缩29

2.6.1 压缩算法29

2.6.2 列式存储33

第3章 分布式系统36

3.1 基本概念36

3.1.1 异常36

3.1.2 一致性38

3.1.3 衡量指标39

3.2 性能分析40

3.3 数据分布42

3.3.1 哈希分布43

3.3.2 顺序分布45

3.3.3 负载均衡46

3.4 复制47

3.4.1 复制的概述47

3.4.2 一致性与可用性49

3.5 容错50

3.5.1 常见故障50

3.5.2 故障检测51

3.5.3 故障恢复52

3.6 可扩展性53

3.6.1 总控节点54

3.6.2 数据库扩容54

3.6.3 异构系统56

3.7 分布式协议57

3.7.1 两阶段提交协议57

3.7.2 Paxos协议59

3.7.3 Paxos与2PC60

3.8 跨机房部署60

第二篇 范型篇66

第4章 分布式文件系统66

4.1 Google文件系统66

4.1.1 系统架构66

4.1.2 关键问题67

4.1.3 Master设计72

4.1.4 ChunkServer设计74

4.1.5 讨论74

4.2 Taobao File System75

4.2.1 系统架构75

4.2.2 讨论78

4.3 Facebook Haystack78

4.3.1 系统架构79

4.3.2 讨论82

4.4 内容分发网络83

4.4.1 CDN架构83

4.4.2 讨论85

第5章 分布式键值系统86

5.1 Amazon Dynamo86

5.1.1 数据分布86

5.1.2 一致性与复制88

5.1.3 容错89

5.1.4 负载均衡90

5.1.5 读写流程91

5.1.6 单机实现92

5.1.7 讨论93

5.2 淘宝Tair93

5.2.1 系统架构93

5.2.2 关键问题94

5.2.3 讨论96

第6章 分布式表格系统97

6.1 Google Bigtable97

6.1.1 架构98

6.1.2 数据分布100

6.1.3 复制与一致性101

6.1.4 容错101

6.1.5 负载均衡102

6.1.6 分裂与合并102

6.1.7 单机存储103

6.1.8 垃圾回收104

6.1.9 讨论105

6.2 Google Megastore105

6.2.1 系统架构107

6.2.2 实体组108

6.2.3 并发控制109

6.2.4 复制110

6.2.5 索引111

6.2.6 协调者111

6.2.7 读取流程112

6.2.8 写入流程113

6.2.9 讨论115

6.3 Windows Azure Storage115

6.3.1 整体架构115

6.3.2 文件流层117

6.3.3 分区层121

6.3.4 讨论125

第7章 分布式数据库126

7.1 数据库中间层126

7.1.1 架构126

7.1.2 扩容128

7.1.3 讨论128

7.2 Microsoft SQL Azure129

7.2.1 数据模型129

7.2.2 架构131

7.2.3 复制与一致性132

7.2.4 容错132

7.2.5 负载均衡133

7.2.6 多租户133

7.2.7 讨论134

7.3 Google Spanner134

7.3.1 数据模型134

7.3.2 架构135

7.3.3 复制与一致性136

7.3.4 TrueTime137

7.3.5 并发控制138

7.3.6 数据迁移139

7.3.7 讨论139

第三篇 实践篇142

第8章 OceanBase架构初探142

8.1 背景简介142

8.2 设计思路143

8.3 系统架构144

8.3.1 整体架构图144

8.3.2 客户端145

8.3.3 RootServer147

8.3.4 MergeServer148

8.3.5 ChunkServer149

8.3.6 UpdateServer149

8.3.7 定期合并＆数据分发150

8.4 架构剖析151

8.4.1 一致性选择151

8.4.2 数据结构152

8.4.3 可靠性与可用性154

8.4.4 读写事务154

8.4.5 单点性能155

8.4.6 SSD支持156

8.4.7 数据正确性157

8.4.8 分层结构158

第9章 分布式存储引擎159

9.1 公共模块159

9.1.1 内存管理159

9.1.2 基础数据结构161

9.1.3 锁164

9.1.4 任务队列165

9.1.5 网络框架166

9.1.6 压缩与解压缩167

9.2 RootServer实现机制168

9.2.1 数据结构168

9.2.2 子表复制与负载均衡170

9.2.3 子表分裂与合并171

9.2.4 UpdateServer选主172

9.2.5 RootServer主备173

9.3 UpdateServer实现机制174

9.3.1 存储引擎174

9.3.2 任务模型179

9.3.3 主备同步181

9.4 ChunkServer实现机制183

9.4.1 子表管理183

9.4.2 SSTable184

9.4.3 缓存实现188

9.4.4 IO实现190

9.4.5 定期合并＆数据分发191

9.4.6 定期合并限速192

9.5 消除更新瓶颈193

9.5.1 读写优化回顾193

9.5.2 数据旁路导入195

9.5.3 数据分区195

第10章 数据库功能197

10.1 整体结构197

10.2 只读事务199

10.2.1 物理操作符接口201

10.2.2 单表操作202

10.2.3 多表操作203

10.2.4 SQL执行本地化205

10.3 写事务206

10.3.1 写事务执行流程206

10.3.2 多版本并发控制208

10.4 OLAP业务支持212

10.4.1 并发查询212

10.4.2 列式存储214

10.5 特色功能215

10.5.1 大表左连接215

10.5.2 数据过期与批量删除216

第11章 质量保证、运维及实践218

11.1 质量保证218

11.1.1 RD开发219

11.1.2 QA测试222

11.1.3 试运行224

11.2 使用与运维225

11.2.1 使用225

11.2.2 运维227

11.3 应用228

11.3.1 收藏夹229

11.3.2 天猫评价230

11.3.3 直通车报表231

11.4 最佳实践232

11.4.1 系统发展路径232

11.4.2 人员成长234

11.4.3 系统设计236

11.4.4 系统实现237

11.4.5 使用与运维238

11.4.6 工程现象239

11.4.7 经验法则240

第四篇 专题篇242

第12章 云存储242

12.1 云存储的概念242

12.2 云存储的产品形态245

12.3 云存储技术247

12.4 云存储的核心优势249

12.5 云平台整体架构251

12.5.1 Amazon云平台252

12.5.2 Google云平台253

12.5.3 Microsoft云平台255

12.5.4 云平台架构258

12.6 云存储技术体系261

12.7 云存储安全263

第13章 大数据267

13.1 大数据的概念267

13.2 MapReduce269

13.3 MapReduce扩展270

13.3.1 Google Tenzing271

13.3.2 Microsoft Dryad274

13.3.3 Google Pregel275

13.4 流式计算276

13.4.1 原理276

13.4.2 Yahoo S4278

13.4.3 Twitter Storm279

13.5 实时分析281

13.5.1 MPP架构281

13.5.2 EMC Greenplum282

13.5.3 HP Vertica285

13.5.4 Google Dremel286

参考资料288