应用信息论基础2025|PDF|Epub|mobi|kindle电子书版本百度云盘下载

应用信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 信息论与信息论方法概述1

1.1 信息、信息科学和信息论1

1.2 信息论方法的应用及其取得的成果3

1.3 信息论的形成与发展7

1.3.1 通信技术的理论基础7

1.3.2 统计数学的一个分支11

1.3.3 信号与信息处理的一般理论基础12

第2章 信息论的基本概念14

2.1 离散熵14

2.1.1 熵的定义14

2.1.2 熵函数的性质19

2.1.3 熵函数形式的唯一性23

2.1.4 联合熵与条件熵26

2.2 离散互信息29

2.2.1 互信息的定义29

2.2.2 多个随机变量下的互信息31

2.2.3 互信息函数的性质35

2.3 连续随机变量下的熵与互信息38

2.3.1 连续随机变量下的微分熵38

2.3.2 随机变量函数的微分熵40

2.3.3 连续随机变量下的互信息42

2.4 鉴别信息44

2.4.1 鉴别信息的定义44

2.4.2 Kullback 与香农两种信息量度之间的关系47

2.4.3 鉴别信息的性质51

2.4.4 鉴别信息函数形式的唯一性57

2.5 对信息论基本概念的若干评注70

习题71

第3章 信源的熵率、冗余度与冗余度压缩编码74

3.1 信源、信源模型与信源编码74

3.1.1 信源74

3.1.2 信源模型75

3.1.3 信源编码77

3.2 离散稳恒信源的熵率与冗余度78

3.3 离散无记忆信源的渐近等同分割性与信源的定长编码定理82

3.3.1 渐近等同分割性82

3.3.2 定长编码定理84

3.4 离散无记忆信源的变长编码86

3.4.1 前缀码与 Kraft 定理87

3.4.2 唯一可译码定理89

3.5 变长编码的平均码长与最优编码90

3.5.1 变长编码的平均码长90

3.5.2 最优编码92

3.6 离散无记忆信源的变长树码95

3.6.1 算术码95

3.6.2 算术码的存在性97

3.7 离散马尔可夫信源的熵率100

3.7.1 马尔可夫链的基本概念100

3.7.2 离散马尔可夫信源熵率的计算102

3.8 离散马尔可夫信源的编码定理与最优编码105

习题108

第4章 信道、信道容量与信道的有效利用110

4.1 信道、信道模型与信道分类110

4.1.1 信道110

4.1.2 信道模型与信道分类111

4.2 离散无记忆信道及其信道容量112

4.3 离散无记忆信道容量的计算116

4.3.1 信道容量解的充要条件116

4.3.2 某些简单情况下信道容量的解119

4.3.3 一般情况下信道容量的解122

4.3.4 信道容量的迭代解法124

4.4 级联信道和并联信道的信道容量125

4.4.1 级联信道125

4.4.2 并联信道128

4.5 信道达到充分利用时输入输出字母概率分布的唯一性131

4.6 连续信道的信道容量135

4.6.1 无记忆加性噪声信道的信道容量费用函数136

4.6.2 无记忆加性高斯噪声信道的信道容量费用函数137

4.6.3 一般无记忆加性噪声信道的信道容量费用函数的界141

4.6.4 无记忆加性高斯噪声信道的级联和并联142

4.7 模拟信道的信道容量145

4.7.1 模拟随机信号的正交展开145

4.7.2 模拟信道下的信道容量费用函数及其计算148

4.8 限带加性白色高斯噪声信道的极限性能及其与传输要求的匹配156

4.8.1 限带加性白色高斯噪声信道的性能及其极限157

4.8.2 信道与信息传输要求的匹配160

4.9 限带模拟信道的数字化163

4.10 蜂窝移动通信条件下信道的有效利用165

4.10.1 蜂窝移动通信与系统的频谱利用效率165

4.10.2 不同接入方法下蜂窝移动通信系统的频谱利用效率及其比较167

习题171

第5章 信道编码173

5.1 信道编码概述173

5.2 信道译码准则176

5.3 联合典型序列与联合渐近等同分割定理179

5.4 信道编码定理181

5.5 信道编译码方法的最初范例——汉明码183

5.6 分组码之一：线性码185

5.6.1 线性码的定义、编码与生成多项式185

5.6.2 线性码的伴随式与伴随式译码187

5.7 分组码之二：循环码190

5.7.1 循环码的定义191

5.7.2 循环码的编码与生成多项式191

5.7.3 循环码的伴随式与译码原理193

5.8 树码、网格码与卷积码195

5.9 关于信道编码理论的若干评注199

习题200

第6章 信源的信息速率失真函数与熵压缩编码203

6.1 熵压缩编码和信源的信息速率失真函数204

6.1.1 熵压缩编码204

6.1.2 离散无记忆信源的熵压缩分组编码及信源的信息速率失真函数204

6.2 信息速率失真函数的性质206

6.3 离散无记忆信源下的信息速率失真函数的计算211

6.3.1 信息速率失真函数解的充要条件及参数方程211

6.3.2 求解信息速率失真函数的迭代算法217

6.3.3 信息速率失真函数解的唯一性问题220

6.3.4 乘积信源的信息速率失真函数222

6.4 连续无记忆信源的信息速率失真函数224

6.4.1 连续无记忆信源信息速率失真函数的定义及其解的充要条件224

6.4.2 差值失真量度下连续无记忆信源信息速率失真函数的计算226

6.5 标量量化233

6.5.1 均匀量化235

6.5.2 Lloyd-Max 算法235

6.6 有记忆连续信源与模拟信源的信息速率失真函数236

6.6.1 有记忆连续信源的信息速率失真函数的定义236

6.6.2 模拟信源的信息速率失真函数的定义237

6.6.3 高斯有记忆连续信源的信息速率失真函数237

6.6.4 高斯模拟信源的信息速率失真函数240

6.7 变换编码——实用的熵压缩分组编码242

6.8 预测编码——实用的熵压缩树码248

6.8.1 最小均方误差预测器249

6.8.2 最小平均绝对误差预测器249

6.8.3 最大零误差概率预测器249

习题251

第7章 最大熵原理与最小鉴别信息原理254

7.1 非适定问题与最大熵和最小鉴别信息原理254

7.1.1 非适定问题的提出254

7.1.2 最大熵原理与最小鉴别信息原理255

7.2 最大熵原理的合理性258

7.3 最小鉴别信息原理与最大熵原理的公理化推导261

7.3.1 最小鉴别信息原理的推导261

7.3.2 最大熵原理的推导269

7.4 最小失真意义下的最大熵原理与最小鉴别信息原理269

7.4.1 方向正交与投影失真270

7.4.2 投影失真的一般形式272

7.4.3 最小失真准则与熵准则274

7.5 最大熵与最小鉴别信息原理的应用及其解的分布276

7.5.1 最大熵与最小鉴别信息原理的应用276

7.5.2 最大熵分布与最小鉴别信息分布281

习题282

第8章 组合信息、算法信息与通用编码284

8.1 信源统计特性不确定时的信源编码问题284

8.1.1 统计特性失配时统计编码的性能285

8.1.2 自适应统计编码285

8.2 基于组合的信息量度与通用编码287

8.2.1 基于组合的信息量度287

8.2.2 通用编码288

8.2.3 Fitingof 通用编码的性能289

8.3 算法信息量292

8.3.1 单一事件或数值下的信息量度问题292

8.3.2 Kolmogorov 算法熵293

8.4 二元字符序列的算法熵294

8.5 算法熵的不可计算性296

8.6 有限状态压缩编码器298

8.7 Lewpel-Ziv 编码302

8.8 LZ 编码压缩比与香农熵305

习题306

第9章 通信网中的信源编码与信道容量309

9.1 概述309

9.2 反馈信道314

9.3 多个随机变量下的联合典型序列316

9.4 多源接入信道320

9.4.1 多源接入信道的容量320

9.4.2 相关信源输入下的多源接入信道324

9.5 高斯多源接入信道324

9.5.1 高斯多源接入信道的容量域324

9.5.2 对高斯多源接入信道容量域的讨论326

9.5.3 多源接入信道容量域与多址方法的关系327

9.6 分布信源编码329

习题333

参考文献335

索引336