《信息论基础》是2008年8月人民邮电出版社出版图书。作者为田宝玉、杨洁、贺志强、王晓湘。本书主要用做高等院校信息与通信及相关专业的教材，还可作为相关专业研究生和工程技术人员的参考书。

《信息论基础》是作者多年教学和科研实践的积累，是在吸收国内外优秀教材优点的基础上， 进一步优化整合教学内容，并进行改进和补充而成的。

全书共分为12章，内容包括：信息的基本概念、香农信息论研究的内容与进展，离散信息的度量，离散信源，连续信息与连续信源，无失真信源编码，离散信道及其容量，有噪信道编码，波形信道，信息率失真函数，有约束信道及其编码，网络信息论初步，信息理论方法与应用，概率论的基础知识，信源的基本编码理论和信道的基本编码理论。

本书强调定理中物理概念和结论的理解与掌握，简化烦琐的数学推导，注重使用明确、直观的物理概念，增加实例，力求让讲述的内容更适合工科专业学生的学习。本书有*号的部分可以作为选学内容，有利于教师根据教学计划进行调整。每章的思考题和习题可以作为课后的练习。

第1章　绪论　1

1.1　信息的基本概念　1

1.2　香农信息论研究的内容　3

1.3　香农信息论研究的进展与应用　8

第2章　离散信息的度量　14

2.1　自信息和互信息　14

2.2　信息熵　18

2.3　平均互信息　27

本章小结　33

习题　34

第3章　离散信源　37

3.1　离散信源的分类与数学模型　37

3.2　离散无记忆信源的熵　39

3.3　离散平稳信源的熵　40

3.4　有限状态马尔可夫链　42

3.5　马尔可夫信源　48

3.6　信源的相关性与剩余度　55

本章小结　59

第4章　连续信息与连续信源　64

4.1　连续随机变量集合的熵　64

4.2　离散时间高斯信源的熵　69

4.3　连续最大熵定理　70

4.4　连续随机变量集的平均互信息　72

4.5　离散集与连续集之间的互信息　75

本章小结　77

第5章　无失真信源编码　80

5.1　概述　80

5.2　定长码　83

5.3　变长码　88

5.4　哈夫曼编码　93

*5.5　几种实用的编码方法　99

本章小结　101

第6章　离散信道及其容量　105

6.1　概述　105

6.2　单符号离散信道及其容量　109

6.3　级联信道及其容量　116

6.4　多维矢量信道及其容量　118

6.5　信道容量的迭代计算　123

本章小结　125

第7章　有噪信道编码　129

7.1　概述　129

7.2　最佳判决与译码准则　132

7.3　信道编码与最佳译码　134

7.4　费诺(Fano)不等式　137

7.5　有噪信道编码定理　139

7.6　纠错编码技术简介　144

*7.7　信道编码性能界限　150

本章小结　153

第8章　波形信道　159

8.1　离散时间连续信道　159

8.2　加性噪声信道与容量　161

8.3　AWGN信道的容量　166

8.4　有色高斯噪声信道　173

*8.5　数字调制系统的信道容量　176

本章小结　179

第9章　信息率失真函数　183

9.1　概述　183

9.2　离散信源信息率失真函数　185

9.3　限失真信源编码定理　188

9.4　离散信源信息率失真函数的计算　190

9.5　连续信源信息率失真函数　195

9.6　高斯信源的R(D)函数　197

9.7　一般连续信源R(D)函数　201

*9.8　有损数据压缩技术简介　201

本章小结　204

第10章　有约束信道及其编码　208

10.1　标号图的性质　208

10.2　有约束信道容量　211

10.3　有约束序列的性质　215

10.4　有约束信道编码定理　220

*10.5　有约束序列编码与应用　222

本章小结　227

第11章　网络信息论初步　230

11.1　概述　230

11.2　多址接入信道　23

11.3　广播信道　238

11.4　相关信源编码　242

本章小结　247

*第12章　信息理论方法及其应用　250

12.1　信源熵的估计　250

12.2　最大熵原理 255

12.3　最小交叉熵原理　261

12.3.4　交叉熵法　265

12.4　信息理论方法的应用　265

本章小结　273

参考文献　276