本课程为电子科学与技术学科研究生的专业基础课。随机性的引入是现代数字信号区别于传统数字信号的重要特征。本课程系统介绍了以随机信号处理为核心的现代数字信号处理的主要方法与技术。通过选修本课程，研究生应掌握基本的现代数字信号分析手段，能够根据自身所学专业以及课题的实际背景需求，建立合理的信号模型，选择与设计适当的处理算法，利用仿真语言进行算法的编程实现，并对算法的性能进行理论分析和比较。本课程是进一步学习后续的通信、语音、图像、雷达、导航、生物医学、机器学习等领域高级课程的基础之一。
	本课程的主要内容由如下四个方面组成：
	基础理论，包括概率论与随机过程基本知识回顾，统计估计的基本概念，以及从信号处理和机器学习两个角度展开的统计误差理论；
	线性模型，包括线性模型与最优线性滤波（Wiener滤波），最优滤波的多种实现方式（白化，Kalman滤波，自适应滤波，最小二乘滤波），最优线性滤波的若干新进展（正则化，压缩感知）
	谱估计与阵列处理，包括非参数方法，参数化方法，以及子空间方法（MUSIC，ESPRIT）。
	Bayesian方法，包括Bayesian统计初步，Markov Chain Monte Carlo，Bayesian滤波和Bayesian网络。

概率论、数理统计，随机过程（相关理论、功率谱）

Simon Haykin, Adaptive Filter Theory, Prentice Hall International, 200 Peter Stoica, Randolph Moses, Spectral Analysis of Signals, Prentice Hall, 2005 Kevin P. Murphy，Machine Learning，A Probabilistic Perspective，The MIT Pres，2012

第一部分：基础理论
第一章	概率论与随机过程基本知识回顾（3学时）
概率论的基本概念：概率空间，随机变量，概率分布函数，概率密度。
概率论的基本计算：全概率公式，Bayes公式。
随机变量的数字特征：期望，方差。
常用离散分布：Bernoulli分布，二项分布，Poisson分布等。
常用连续分布：均匀分布，指数分布，高斯分布等。
多元概率分布与密度，多元分布举例：多元高斯分布。
随机过程的基本概念：自相关函数，宽平稳过程，功率谱密度，随机过程通过线性系统。高斯过程的基本性质。
第二章	统计估计的基本概念（3学时）
统计估计的基本概念。
统计估计举例：通信、雷达、图像。
统计估计的重要内涵：模型、估计、损失、风险
统计估计的性能评估：误差、无偏性、相合性、容许性、效率
最小方差无偏估计（MVUE）
极大似然估计（MLE）
第三章	估计误差理论（I）：Cramer-Rao下界（3学时）
信息不等式的引入。
Fisher信息量的基本概念。
一维的Cramer-Rao下界
Cramer-Rao下界计算举例：一元Gaussian模型
多维的Cramer-Rao下界
Cramer-Rao下界计算举例：多元Gaussian模型
Cramer-Rao下界的推广：
Bhattacharyya下界，Barankin下界，Ziv-Zakai下界
第四章	估计误差理论（II）：PAC（3学时）
	  PAC (Probably Approximately Correct) 的基本概念：假设、训练误差、真实误差；
	  有限假设空间中的估计误差：Haussler 不等式；
      训练误差不为0的情形；
	  连续假设空间；
      VC (Vapnik-Chervonenkis) 维度
      连续假设空间的估计误差：Vapnik 不等式
第二部分：线性模型
第五章	线性模型与最优线性滤波（3学时）
线性模型的基本概念；
正交性原理；
Wiener-Hopf方程的导出；
Wiener-Hopf方程的时域求解；
Wiener-Hopf方程的矩阵描述；
Wiener-Hopf方程的误差曲面；
Wiener-Hopf方程的频域求解；
最优线性滤波器：Wiener滤波
平稳条件下的Wiener滤波求解：Levinson-Durbin（LD）迭代
Wiener滤波的应用举例：反卷积。
第六章	最优线性滤波的实现（I）——白化（3学时）
	  白化与正交化；
 因果的Wiener滤波器；
      随机过程的谱分解。
      最优前向-后向预测，前向-后向预测的关联；
	  预测的白化性质；
	  预测的格形（Lattice）实现。
第七章	最优线性滤波的实现（II）——Kalman滤波（3学时）
	  系统的状态方程描述；
	  新息（Innovation）过程；
	  随机信号的新息描述；
      Kalman滤波方程的导出；
      Kalman滤波的应用举例——目标跟踪；
第八章	最优线性滤波的实现（III）——自适应滤波（3学时）
	自适应滤波的基本概念；
学习（Learning）的引入；
滤波问题的描述；基于梯度的学习算法；
基于梯度的学习算法的稳定性和收敛特性
基于随机梯度的学习算法：LMS滤波器；
LMS滤波器的稳定性和收敛特性；
LMS滤波器的学习曲线；
LMS的扩展：归一化的LMS；
LMS滤波器的应用举例：信道均衡。
第九章	最优线性滤波的实现（IV）——最小二乘滤波（3学时）
	 最小二乘的基本概念；
     最小二乘的几何解释（投影）；
     最小二乘的统计性质（Gauss-Markov定理）；
	 过定与欠定线性模型，不同模型下的最小二乘计算；
	 最小二乘的拓展：加权最小二乘，非线性最小二乘；
	 最小二乘的序贯处理：矩阵求逆公式；	 
	 递推的最小二乘（RLS）。递推的最小二乘的应用举例：回波对消。
第十章	最优线性滤波的拓展（I）（3学时）
	  模型的失配与Bias-Variance折衷；
      过拟合（Overfitting）；
	  正则化（Regularization）；
	  岭回归（Ridge Regression）；
	  稀疏性（Sparsity）的引入，变量选择；
	  LASSO滤波；
第十一章	 最优线性滤波的拓展（II）（3学时）
	  压缩感知（Compressed Sensing）的基本概念；
	  压缩感知的问题描述：稀疏恢复；
	  感知矩阵的性质：Coherence，RIP，Null Space性质；
	  感知矩阵的获取：随机矩阵；
	  稀疏恢复算法（I）：贪婪算法；
	  稀疏恢复算法（II）：凸优化算法；
	  稀疏恢复算法的性能与稳健性；
	  压缩感知的应用举例。
第三部分：谱估计与阵列处理
第十二章	 非参数化谱估计（3学时）
	 谱估计的基本概念；
	 确定性信号的谱与随机信号的谱；
	 非参数功率谱计算的理论基础（Wiener-Khinchine关系）；
	 功率谱密度的基本性质；
	 谱估计的性能：加窗和补零，谱分辨力与谱泄露；
	 非参数功率谱估计的基本方法：周期图法；
	 非参数功率谱估计的基本方法：Capon方法（MVDR）。
第十三章	 参数化谱估计（3学时）
	 引入参数化功率谱估计的意义；
	 参数化时间序列模型：AR，MA，ARMA；
	 参数化模型与最大熵方法；
	 Modified Correlation方法与Burg方法。
第十四章	 子空间谱估计方法（I）：MUSIC（3学时）
	 信号基本模型；
	 基于特征分解的谱估计方法：Pisarenko方法；
	 MUSIC方法；
	 MUSIC 方法的性能分析；
	 MUSIC的应用举例：谐波提取。
第十五章	 子空间谱估计方法（II）： ESPRIT（3学时）
	  Root-MUSIC谱估计方法；
	  Min-Norm MUSIC 谱估计方法；
	  ESPRIT谱估计方法；
第四部分：Bayesian方法
第十六章	  Bayesian统计基础（3学时）
	  Bayesian统计的基本概念;
	  Bayesian统计与Frequencist统计；
	  Bayesian统计的重要因素：先验、后验、风险；
      决策（Decision）理论简介
	  Bayesian估计：MAP，
	  Bayesian统计计算与Monte Carlo仿真；
	  Monte Carlo计算的关键：随机数采样；
	  常规的随机数产生方法；均匀、高斯、指数、Rayleigh、Accept-Reject；
第十七章	  Markov Chain Monte Carlo (MCMC) （3学时）
	  Monte Carlo计算与随机数发生器；
	  重要采样（Important Sampling）；
	  Metropolis-Hastings采样方法；
	  Gibbs Sampling 方法；
	  Rao-Blackwellization 方法；
	  Slice Sampling 方法
	  MCMC在电子通信领域的应用举例。
第十八章	  Bayesian滤波（3学时）
	  随机信号的非线性状态方程描述；
	  Bayesian最优滤波方程的导出；
	  Bayesian最优滤波方程在高斯噪声背景下的等价形式—Kalman滤波；
	  序贯的Monte-Carlo估计；
	  Monte-Carlo滤波；
	  粒子滤波（Particle Filter）；
	  粒子滤波的应用举例：图像中的目标跟踪。
第十九章	  Bayesian网络（3学时）
	  Naïve Bayes方法；
	  Bayesian网络的基本概念；
	  Bayesian网络的表示；
	  独立与条件独立；
	  Bayesian网络的推断；
	  概率图模型的基本概念；
	  Sum-Product算法；
第二十章	  Project展示与讨论（3学时）

Steven Kay, Fundamentals of Statistical Signal Processing, Vol.I, Estimation Theory, Prentice Hall, 1993
Dimitris G. Manolakis, Vinay K. Ingle, Stephen M. Kogon, Statistical and Adaptive Signal Processing: Spectral Estimation, Signal Modeling, Adaptive Filtering and Array Processing, Artech House, 2005