本课程为信息与通信工程学科研究生的学科基础课，同时也可作为信息科学其它学科研究生的选修课。信息论在现代通信中具有广泛的应用，本课程主要内容为信息熵、鉴别信息、鉴别信息原理与应用、信道容量、实用信源编码（包括矢量量化、线性预测编码、变换编码等）、信道编码（如线性编码、卷积码等）、信道的有效利用、率失真函数与率失真编码以及非统计意义下的组合信息、算法信息和通用编码。
通过本课程学习，要求学生掌握信息论在现代通信技术中的基本应用以及信源编码和信道编码的基本技巧，并对信息论的发展有所了解，为进一步学习通信理论和从事专业研究打下基础。

通过本课程学习，要求学生掌握信息论在现代通信技术中的基本应用以及信源编码和信道编码的基本技巧，并对信息论的发展有所了解，为进一步学习通信理论和从事专业研究打下基础。

概率论、随机过程、信号与系统

T. Cover, J. Thomas, Elements of Information Theory (2nd Edition)，A John Wiley & Sons, Inc., Publication, Hoboken, 2006。 T. Cover, J. Thomas著，阮吉寿 张华 译，《信息论基础》(第二版)，机械工业出版社, 北京，2008。

第一章 绪论与概览
概述，信息论溯源、发展以及应用。
第二章 熵、相对熵和互信息
离散信源、连续信源的熵与互信息，鉴别信息的定义和性质，鉴别信息与香农信息之间的关系。
第三章 渐近均分性
渐近均分性基本原理及其应用。
第四章 随机过程的熵率
随机信源熵率的推导和求解。
第五章 数据压缩
无损数据压缩基本方法介绍。
第七章 信道容量
微分熵的定义，与离散熵的区别以及对应概念，如相对熵、互信息等。
第八章 微分熵
信道容量的定义，特殊信道的信道容量求解。
第九章 高斯信道
高斯信道的定义及其特点，高斯信道的信道编码定理及其逆定理。
第十章 率失真理论
基于率失真理论的有损压缩，率失真函数的特征及计算。
第十二章 最大熵
最大熵原理及其应用，本章介绍了功率谱估计。
第十三章 通用信源编码
介绍几种典型的通用信源编码，如算术编码、Lempel-Ziv编码等。
第十五章 网络信息论
多用户通信的信息理论和方法。

实验部分主要内容：
实验课1 数据无损编码，了解无损编码主要算法及其应用，利用编程语言实现无损编码。
实验课2 大数据有损编码，了解有损编码主要算法及其应用，熟悉使用高性能计算技术进行有损编码。

1. 姜丹，《信息论与编码》(第三版)，中国科学技术大学出版社，合肥，2009。
2. R. B. Well, Applied Coding and Information Theory for Engineers, Prentice Hall, New Jersey, 1999.
3. R. J. McEliece, The Theory of Information and Coding (2nd Edition), Cambridge University Press, England, 2002.