并行程序设计导论2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

并行程序设计导论PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 为什么要并行计算1

1.1为什么需要不断提升的性能1

1.2为什么需要构建并行系统2

1.3为什么需要编写并行程序2

1.4怎样编写并行程序4

1.5我们将做什么5

1.6并发、并行、分布式6

1.7本书的其余部分7

1.8警告7

1.9字体约定7

1.10小结8

1.11习题8

第2章 并行硬件和并行软件10

2.1背景知识10

2.1.1冯·诺依曼结构10

2.1.2进程、多任务及线程11

2.2对冯·诺依曼模型的改进12

2.2.1 Cache基础知识12

2.2.2 Cache映射13

2.2.3 Cache和程序：一个实例14

2.2.4虚拟存储器15

2.2.5指令级并行17

2.2.6硬件多线程19

2.3并行硬件19

2.3.1 SIMD系统20

2.3.2 MIMD系统22

2.3.3互连网络23

2.3.4 Cache一致性28

2.3.5共享内存与分布式内存30

2.4并行软件31

2.4.1注意事项31

2.4.2进程或线程的协调31

2.4.3共享内存32

2.4.4分布式内存35

2.4.5 混合系统编程37

2.5输入和输出37

2.6性能38

2.6.1加速比和效率38

2.6.2阿姆达尔定律40

2.6.3可扩展性41

2.6.4计时41

2.7并行程序设计43

2.8编写和运行并行程序46

2.9假设47

2.10小结47

2.10.1串行系统47

2.10.2并行硬件48

2.10.3并行软件49

2.10.4输入和输出50

2.10.5性能50

2.10.6并行程序设计51

2.10.7假设51

2.11习题51

第3章用MPI进行分布式内存编程54

3.1预备知识54

3.1.1编译与执行55

3.1.2 MPI程序56

3.1.3 MPI_ Init和 MPI_Finalize56

3.1.4通信子、MPI_Comm size和 MPI_Comm_ rank57

3.1.5 SPMD程序57

3.1.6通信57

3.1.7 MPI_Send58

3.1.8 MPI_Recv59

3.1.9消息匹配59

3.1.10 status_P参数60

3.1.11 MPI_Send和MPI_ Recv的语义61

3.1.12潜在的陷阱61

3.2用MPI来实现梯形积分法62

3.2.1梯形积分法62

3.2.2并行化梯形积分法62

3.3 I/O处理64

3.3.1输出64

3.3.2输入66

3.4集合通信67

3.4.1树形结构通信67

3.4.2 MPI_Reduce68

3.4.3集合通信与点对点通信69

3.4.4 MPI_Allreduce70

3.4.5广播70

3.4.6数据分发72

3.4.7散射73

3.4.8聚集74

3.4.9全局聚集75

3.5 MPI的派生数据类型77

3.6 MPI程序的性能评估79

3.6.1计时79

3.6.2结果82

3.6.3加速比和效率83

3.6.4可扩展性84

3.7并行排序算法85

3.7.1简单的串行排序算法85

3.7.2并行奇偶交换排序86

3.7.3 MPI程序的安全性88

3.7.4并行奇偶交换排序算法的重要内容90

3.8小结91

3.9习题93

3.10编程作业98

第4章用 Pthreads进行共享内存编程100

4.1进程、线程和Pthreads100

4.2 “ Hello， World”程序101

4.2.1执行101

4.2.2准备工作102

4.2.3启动线程103

4.2.4运行线程104

4.2.5停止线程105

4.2.6错误检查105

4.2.7启动线程的其他方法105

4.3矩阵-向量乘法106

4.4临界区107

4.5忙等待109

4.6互斥量112

4.7生产者-消费者同步和信号量114

4.8路障和条件变量117

4.8.1忙等待和互斥量117

4.8.2信号量118

4.8.3条件变量119

4.8.4 Pthreads路障121

4.9读写锁121

4.9.1链表函数121

4.9.2多线程链表122

4.9.3 Pthreads读写锁124

4.9.4不同实现方案的性能125

4.9.5实现读写锁126

4.10缓存、缓存一致性和伪共享127

4.11线程安全性130

4.12小结132

4.13习题134

4.14编程作业137

第5章用OpenMP进行共享内存编程139

5.1预备知识140

5.1.1编译和运行OpenMP程序140

5.1.2程序141

5.1.3错误检查143

5.2梯形积分法143

5.3变量的作用域147

5.4归约子句147

5.5 parallel for指令150

5.5.1警告150

5.5.2数据依赖性151

5.5.3寻找循环依赖152

5.5.4 π值估计153

5.5.5关于作用域的更多问题154

5.6更多关于OpenMP的循环：排序155

5.6.1冒泡排序155

5.6.2奇偶变换排序156

5.7循环调度158

5.7.1 schedule子句159

5.7.2 static调度类型159

5.7.3 dynamic和guided调度类型160

5.7.4 runtime调度类型160

5.7.5调度选择161

5.8生产者和消费者问题162

5.8.1队列162

5.8.2消息传递162

5.8.3发送消息162

5.8.4接收消息163

5.8.5终止检测163

5.8.6启动164

5.8.7 atomi c指令164

5.8.8临界区和锁165

5.8.9在消息传递程序中使用锁166

5.8.10 critical指令、atomic指令、锁的比较167

5.8.11经验167

5.9缓存、缓存一致性、伪共享168

5.10线程安全性172

5.11小结174

5.12习题176

5.13编程作业179

第6章 并行程序开发182

6.1 n体问题的两种解决方法182

6.1.1问题182

6.1.2两个串行程序183

6.1.3并行化n体算法186

6.1.4关于I/O188

6.1.5用OpenMP并行化基本算法188

6.1.6用OpenMP并行化简化算法191

6.1.7评估OpenMP程序193

6.1.8用Pthreads并行化算法194

6.1.9用MPI并行化基本算法195

6.1.10用MPI并行化简化算法197

6.1.11 MPI程序的性能200

6.2树形搜索201

6.2.1递归的深度优先搜索203

6.2.2非递归的深度优先搜索204

6.2.3串行实现所用的数据结构205

6.2.4串行实现的性能206

6.2.5树形搜索的并行化206

6.2.6采用Pthreads实现的静态并行化树搜索208

6.2.7采用Pthreads实现的动态并行化树搜索209

6.2.8 Pthreads树搜索程序的评估212

6.2.9采用OpenMp实现的并行化树搜索程序213

6.2.10 OpenMp实现的性能215

6.2.11采用MPI和静态划分来实现树搜索215

6.2.12采用MPI和动态划分来实现树搜索221

6.3忠告226

6.4选择哪个API226

6.5小结227

6.5.1 Pthreads和OpenMP228

6.5.2 MPI228

6.6习题230

6.7编程作业236

第7章 接下来的学习方向238

参考文献240

索引242