分布式实时计算框架原理及实践案例2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

分布式实时计算框架原理及实践案例PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 分布式实时计算框架介绍1

1.1 分布式计算Hadoop1

1.2 分布式实时计算3

1.2.1 Spark Streaming3

1.2.2 Storm6

1.2.3 其他框架8

1.3 为什么自研8

1.4 总结10

第2章 light_drtc简介及使用说明11

2.1 light_drtc框架简介11

2.2 light_drtc代码结构12

2.3 light_drtc重要配置项14

2.4 light_drtc和Storm比较15

2.5 light_drtc使用说明16

2.5.1 ACN （AN和CN整合）作为独立服务16

2.5.2 CN、 AN作为独立服务20

2.5.3 任务计算JN23

2.6 总结26

第3章 light_drtc核心技术实现27

3.1 light_drtc技术架构27

3.2 light_drtc计算框架设计思想30

3.2.1 CN设计思想30

3.2.2 AN多主模式设计思想31

3.2.3 JN设计思想34

3.3 light drtc核心技术的实现36

3.3.1 实时收集数据CN36

3.3.2 任务协调管理AN40

3.3.3 任务计算JN49

3.4 总结50

第4章 消息队列M Q51

4.1 消息队列使用场景51

4.2 消息队列原理53

4.2.1 MQ使用流程53

4.2.2 MQ基本概念54

4.2.3 MQ通信模式55

4.2.4 目前知名MQ比较56

4.3 MQ消费状态监控61

4.3.1 KafkaOffsetMonitor介绍62

4.3.2 KafkaOffsetMonitor部署62

4.4 RabbitMQ和Kafka的基本使用64

4.4.1 RabbitMQ读写实例64

4.4.2 Kafka读写实例68

4.5 总结71

第5章 内存数据库Redis3.0及SSDB72

5.1 Redis相关介绍72

5.1.1 Redis3.0集群架构73

5.1.2 Redis3.0集群选举与容错74

5.1.3 SSDB简介75

5.2 Redis3.0集群搭建76

5.2.1 集群所依赖的Ruby环境77

5.2.2 Redis集群创建77

5.2.3 Redis集群验证78

5.2.4 SSDB简单部署79

5.3 Redis管理及使用81

5.3.1 Redis基本使用81

5.3.2 Redis管理83

5.4 Redis客户端应用86

5.4.1 Redis3.0客户端86

5.4.2 SSDB客户端89

5.5 本地缓存Guava Cache90

5.5.1 认识Guava Cache90

5.5.2 Guava Cache使用91

5.5.3 Java客户端使用94

5.6 总结97

第6章 NoSQL： MongoDB3.0和HBase1.098

6.1 MongoDB3.0和HBase 1.0新特性99

6.1.1 MongoDB3.0新特性99

6.1.2 HBase1.0新特性102

6.1.3 MongoDB和HBase比较104

6.2 MongoDB3.0集群和索引105

6.2.1 MongoDB3.0集群105

6.2.2 Mongo索引介绍107

6.3 HBase底层实现介绍108

6.3.1 HBase相关Hadoop体系108

6.3.2 HBase系统架构110

6.4 Mongo和HBase客户端使用113

6.4.1 Mongo客户端113

6.4.2 HBase客户端119

6.5 总结124

第7章 全文检索：ElasticSearch2.x125

7.1 认识ElasticSearch和Solr125

7.1.1 ElasticSearch和Solr基本介绍125

7.1.2 ES基本概念127

7.1.3 ES和SolrCloud集群结构129

7.1.4 ES使用案例130

7.2 ES和Solr比较分析131

7.2.1 ES和Solr发展比较131

7.2.2 ES和Solr综合比较132

7.3 ES集群介绍135

7.3.1 插件安装135

7.3.2 中文分词安装136

7.3.3 ES2.X集群节点类型138

7.3.4 ES配置事项142

7.4 ES客户端使用144

7.4.1 ES客户端连接145

7.4.2 ES基本操作146

7.4.3 ES高级使用150

7.5 ES在自研框架中的作用154

7.6 总结155

第8章 微服务架构通信——RPC和Web Service156

8.1 微服务架构由来156

8.1.1 微服务与SOA比较157

8.1.2 微服务架构的优缺点159

8.1.3 微服务雪崩效应的防范161

8.2 RPC介绍及实践163

8.2.1 Thrift/Nifty介绍163

8.2.2 Avro介绍168

8.2.3 Dubbo/Dubbox介绍180

8.2.4 GRPC/ProtoBuf介绍185

8.2.5 ZeroC ICE191

8.3 Web Service介绍及实践199

8.3.1 SOAP和Rest200

8.3.2 JWS （JDK自身实现Web Service）202

8.3.3 Jetty：嵌入式Servlet容器204

8.3.4 基于Spring MVC206

8.3.5 其他Web Service框架211

8.4 总结212

第9章 综合实例：新闻推荐中的用户画像近实时更新213

9.1 个性化推荐系统组成213

9.1.1 用户行为收集214

9.1.2 行为日志解析216

9.1.3 常用推荐算法221

9.1.4 用户画像数据仓库245

9.1.5 元数据索引库247

9.1.6 用户推荐服务248

9.2 新闻推荐中用户画像近实时更新设计248

9.2.1 新闻推荐中用户画像构成250

9.2.2 新闻推荐中用户画像标签数据字典251

9.2.3 新闻推荐用户画像实时更新流程257

9.3 新闻推荐用户画像近实时更新技术实现260

9.3.1 Storm接入Kafka实时计算实例260

9.3.2 Spark Streaming接入Kafka实时计算实例265

9.3.3 Light_drtc接入Kafka270

9.3.4 用户画像实时更新核心实现270

9.4 总结280