本课程为计算机与控制学科研究生的专业普及课。本课程讲授和讨论随机模型与随机过程领域的研究思想和处理方法。主要内容有Gaussian过程、Poisson过程、离散时间Markov链、连续时间Markov链等。
    通过本课程的学习，希望学生能了解随机模型与随机过程领域的基本问题，了解随机过程与计算机学科间的相互联系，掌握基本思想和重要方法，培养学生使用随机方法分析和解决问题的能力。

第一章  概率论基本知识回顾
1.1  概率公理，概率三元组；
1.2  随机变量，分布，密度；
1.3  随机变量的数字特征：期望、方差、熵；
1.4  常见的离散随机变量：Bernoulli, Binomial, Geometric, Poisson;
1.5  常用的连续随机变量：Uniform, Exponential, Gaussian, Rayleigh;
1.6  条件概率和条件期望；
1.7  概率计算的重要工具：特征函数、概率不等式；
1.8  大数定律和中心极限定理
第二章  Gaussian过程（I）
2.1  高斯过程的基本概念；
2.2  多元高斯分布
2.3  多元高斯的特征函数；
2.4  多元高斯分布的性质：线性变换；
2.5  多元高斯分布的性质：联合分布与边缘分布；
2.6  多元高斯分布的性质：独立与不相关；
2.7  多元高斯分布的性质：条件分布；
2.8  多元高斯分布的性质：非线性变换；
2.9  Price定理和Bussgang 性质；
第三章  Gaussian过程（II）
3.1  Gaussian过程与机器学习；
3.2  非线性回归；
3.3  从参数模型到Gaussian过程；
3.4  Gaussian过程回归；
3.5  相关函数（核函数）举例；
3.6  Gaussian过程模型的学习；
3.7  Gaussian回归举例；
第四章  Gaussian过程（III）
4.1  Brown运动的基本概念；
4.2  Brown运动的基本性质：反射；
4.3  Brown运动的基本性质：二次变差；
4.4  基于Brown运动的随机积分；
4.5  Ito积分与Stratonovich积分；
4.6  Ito公式；
4.7  Ito公式与期权定价；
4.8  Black-Scholes公式；
第五章  Poisson过程（I）
5.1  点过程的基本概念；
5.2  Poisson过程的三条基本假设；
5.3  Poisson过程的导出；
5.4  Poisson过程的基本性质：平稳性、事件间隔分布、事件时刻分布，
5.5  Poisson过程的基本性质：事件时刻的条件分布；
5.6  顺序统计量（Order Statistics）简介;
第六章  Poisson过程（II）
6.1   Poisson过程的拓展：非齐次Poisson过程；
6.2  Poisson过程的拓展：复合Poisson过程；
6.3  Poisson过程的拓展：过滤Poisson过程；
6.4  Inspection Paradox；
6.5  Poisson过程在排队论中的应用：M/G/∞
第七章  离散时间Markov链（I）
7.1  Markov性质的含义；
7.2  Markov链的基本定义；
7.3  Markov链的平稳性；
7.4  Markov链举例；
7.5  Chapman-Kolmogorov方程；
7.6  Markov链的转移概率计算；
7.7  Markov链的基本性质：可达、相通、不可约；
第八章  离散时间Markov链（II）
8.1  Markov链状态分类；
8.2  Markov链的常返性；
8.3  Markov链常返性的判定方法：转移概率；
8.4  Markov链常返性的判定方法：本质态；
8.5  Markov链常返态举例：随机游动；
第九章  离散时间Markov链（III）
9.1  Markov链的进一步分类：正常返，零常返；
9.2  Markov链的周期性；
9.3  Markov链的不变分布；
9.4  Markov链的极限分布；
9.5  Markov链极限分布的应用：Markov Chain Monte Carlo；
9.6  Markov链极限分布的应用：PageRank;
第十章  离散时间Markov链（IV）
10.1 隐Markov链（HMM0的基本概念；
10.2 HMM的三个基本问题；
10.3 HMM的前向计算：递推；
10.4 HMM的后向计算：动态规划；
10.5 HMM的训练：EM算法；
10.6 HMM的应用举例：语音识别。
第十一章  连续时间Markov链（I）
11.1 连续时间Markov链的基本概念；
11.2 Markov链的无穷小生成元；
11.3 Kolmogorov-Feller方程；
11.4 两状态连续时间Markov链；
11.4 极限分布与连续分布；
11.5 生灭过程；
第十二章  连续时间Markov链（II）
11.1 生灭过程与排队论；
11.2 排队论的基本问题；
11.3 M/M/1；
11.4 M/M/k；
11.5 Little 公式与 Erlang公式；
11.6 嵌入链；
11.7 M/G/1
第十三章  总复习与习题示例

G.R.Grimmet, D.R.Stirzaker, Probability and Random Processes, Third Edition, Oxford University Press, 2001