随机变量、统计推断和随机
过程
提要
介绍计量经济学的概率统计基础知识
包括随机变量、统计推断和随机过程知识
假设有基本的概率论知识
本教材的计量经济模型和分析方法的需要
对于学习和理解计量经济分析方法有启发
第一节 随机变量和概率分布
一、随机变量及其概率分布
二、多元分布和条件分布
三、概率分布的数字特征
四、常见分布
五、随机变量的收敛性和极限理论
一、随机变量及其概率分布
（一）随机变量
随机变量就是数量化的随机事件。
按照公理化定义，随机变量是从样本空间扩张而
成的 -域到实数集的函数。
在经济问题中，随机变量就是有随机性的经济指
标、水平。
随机变量也可以通过对定性事件的数量化转化得
到。
“离散型随机变量”和“连续型随机变量”。
（二）概率分布
随机变量重要的是取特定值的可能性，称为随机变
量的“概率分布”。
用 表示一个随机变量，那么概率分布就是设定
取特定值（一般用 表示）的概率，记为 。
对于离散型随机变量来说，由于它们只取有限或可
数个数值，因此离散型随机变量的概率分布一般可
以用罗列的方法表示，用表格表示，或者用图形表
示等。
x
（三）分布函数
连续型随机变量的可能取值无穷多，而每个值取到的
概率都是无穷小，无法用直接罗列概率的方法表达和
研究，只能用反映随机变量取特定范围值可能性大小
的分布函数，也称“累积分布函数”（accumulated
distribution function），进行描述和研究。
分布函数就是随机变量的取值不大于给定水平的概率
构成的函数。
离散型随机变量的分布函数可以通过概率分布列的求
和得到。
分布函数完整地描述了随机变量的情况，掌握分布函
数等于掌握了随机变量的随机性规律。
随机变量的分布函数有如下性质：
（1） ， ；
（2） 若 ，则 ；
（3） ；
（4） ；
（5） 。
（四）密度函数
连续型随机变量的概率分布还有另外一个有意义的
概念，那就是密度函数（density function）或者称
“概率密度函数”。
如果 是 的分布函数， 是 的密度函数，那
么两者有如下关系：
密度函数 满足：
（1） ；
（2） ；
（3）若 是连续型随机变量 的分布密度，则对实数
轴上的任一测度 ，有
（五）随机变量函数的概率分布
如果 是随机变量 的函数 ，设 的分布函
数为 ，则 的分布函数为
含义是，自变量（随机）取特定值的概率，就是函数
取相应函数值的概率。
当 是离散型随机变量时，其可能取值为 ，
且 ，则
当 是连续型随机变量时，其分布密度函数为 ，
则
二、多元分布和条件分布
（一）随机向量和多元分布
计量经济学中会遇到大量相互联系的两个或多个随机变量
的情况。许多时候重要的不是每个随机变量单独的随机性，
而是一组变量取特定水平的概率。
随机向量也有概率分布问题，称为“多元分布”。随机向
量多元分布的含义是两个或多个随机变量取一组特定值的
概率分布，一般用联合分布函数表示。
从随机向量的联合分布函数可以引出随机变量边际分布的
概念。
（二）条件分布和随机变量的独立性
条件分布：
设 是一个随机变量，事件B 满足 ，则称
为在事件B发生的条件下 的“条件分布函数”，或
简称“条件分布”。
随机变量的相互独立性：
如果 的联合分布函数等于所有一维边
缘分布函数的乘积，即
那么称 是“相互独立”的。
三、概率分布的数字特征
（一）期望
也称“数学期望”。衡量随机变量取值的平均水平，
定义为随机变量的可能取值，以相应概率为权重加权
的概率均值。
（二）方差
衡量随机变量取值发散程度的指标，定义为随机变量
与其数学期望偏差平方的概率加权和。
（三）期望和方差的性质
（四）条件期望、全数学期望和条件方差
条件期望即给定条件下所考察随机变量的概率均值。
设 是随机变量 对事件B的条件分布函数，则当
下列积分绝对收敛时，称
为 对事件B的“条件期望”。
全数学期望公式
若 是两两互斥的完备事件组，则有全数学
期望公式
其中 可以是一般的随机事件，也可以是随
机变量。
条件方差
给定随机变量X 和Y，以X为条件的Y的条件方差为：
（五）高阶矩
仿照数学期望和方差，还可以进一步考虑更高阶的
数字特征，称为“高阶矩”。
当 ，随机变量 和 的数学期望
和 （假设存在），分别称
为 随机变量 的“r阶原点矩”和“r阶中心矩”。
可以用高阶矩构造一些有用的特定统计量：偏度、
峰度。
（六）协方差和相关系数
协方差
设随机变量 和 的均值和方差都存在，则
称为 和 的“协方差”（Covariance）。
相关系数
设随机变量 和 的均值和方差都存在，则
称为 和 的“相关系数”（Correlation
coefficient）。
偏相关系数
计算偏相关系数要用到第二篇中的回归分析方法。
四、常见分布
（一）正态分布
（二） 分布
（三）t分布
（四）F分布
（一）正态分布
取值于（ ）的连续分布
正态分布完全由期望和方差决定
分布密度函数
——数学期望
——方差
正态分布记为
正态分布是以数学期望为中心的对称分布
正态分布密度函数具有“钟形”特征
95%左右集中分布在期望加减2倍标准差范围
99%以上集中在期望加减3倍标准差范围内
正态分布偏度为 =0
正态分布密度函数有常峰态，峰度 接
近3
标准正态分布
一般正态分布随机变量 变换成“标准正态分布”
：
密度函数：
正态分布的检验
根据密度函数的形态进行判断：用频数直方
图的上方边缘作为密度函数的近似，判断随
机变量是否服从正态分布。
根据偏度、峰度特征检验：利用观测样本计
算三阶矩和四阶矩的近似值（与后面讲的抽
样分布有关），偏度和峰度近似值，如果接
近0和3，则认为随机变量服从正态分布，也
称“通过了正态性检验”。
（二） 分布
标准正态分布随机变量的平方所服从的
分布。
取值范围是（ ），显然是非对称分
布。
数学期望等于自由度 ，方差为2
（三）t分布
设 服从标准正态分布
服从自由度为 的 分布
则随机变量
服从自由度为 的t分布
t分布概率密度函数形态类似标准正态分布
方差为 ，比标准正态分布平坦，尾部厚
（四）F分布
服从自由度 的 分布，
服从自由度 的 分布，
相互独立，
那么随机变量
服从的分布称为有两个自由度 和 的F分布
记为
六、随机变量的收敛性和极限理论
（一）随机变量的收敛性
大量随机变量之和的概率分布是通过随机变量
序列极限分布表现的，极限定理的基础是随机
变量序列的收敛性。
随机变量序列的收敛性与一般变量不同，是概
率、概率分布或者分布特征的收敛性，有依分
布收敛和依概率收敛等。
不同的收敛性定义将导致不同的极限定理。
分布函数弱收敛：
对于分布函数序列{ }（为了简单起见，
常常直接写成 ，如果存在函数 使得
在 的每个连续点上都成立，则称“ 弱
收敛于 ”。
依分布收敛：
设随机变量序列{ }的分布函数序列为{
}，随机变量 的分布函数为 ，如果
弱收敛于 ，则称“ 依分布收敛于
”。
依概率收敛：
对于随机变量序列{ }和随机变量 ，如果
或
对任意的 成立，则称“ 依概率收敛于
”。有时候也称 的“概率极限”是 ，并
可记为
（二）大数法则
伯奴利大数定理
独立同分布场合的大数定律
（三）中心极限定理
独立同分布场合的中心极限定理
非独立同分布场合的中心极限定理
第二节 参数估计和假设检验
随机变量取值往往无穷多，不可能通过全面调
查了解总体分布，只能根据从总体抽取的部分
样本推断总体情况。这称为“统计推断”，包
括参数估计和假设检验等。
计量经济回归分析的观测数据相当于随机变量
总体抽取的样本，回归分析就是根据样本推断
总体情况，就是一种统计推断。
因为计量经济分析的样本不是标准抽样方法抽
取，而是通过观测得到，因此计量经济分析的
统计推断有一定特殊性。
一、随机抽样和抽样分布
（一）随机抽样和样本统计量
样本即随机变量分布总体的部分样本点构成的子集。
样本是抽样得来的，抽样有不同的方法。计量经济分
析的数据一般都是简单随机抽样的样本。
样本统计量：
样本均值
样本方差
（二）抽样分布
样本统计量的概率分布称为“抽样分布”。
抽样分布可以考虑正态总体的小样本精确分布，对
其他总体则主要考虑大样本极限分布。
正态总体小样本分布：样本均值、方差的分布，样
本线性函数的分布
一般总体的大样本抽样分布：中心极限定理与渐近
正态分布
二、参数估计
（一）最大似然估计
（二）矩估计
（三）最小二乘估计
（四）估计量的性质
（五）参数估计方法的归纳和比较
（一）最大似然估计
Maximum likelihood estimates，ML
基本原理：随机变量的分布参数水平在
数据生成过程中起着作用，不同参数水
平生成特定数据集的可能性不同，可以
根据生成样本的可能性大小估计参数水
平。——根据事物出现的概率（几率、
可能性）的大小推断参数水平。
最大似然估计的核心是似然函数（Likelihood
function），即样本同时出现的联合概率密度
令似然函数达到最大的参数估计值称为参数的
“最大似然估计”
对数似然函数
例2-11：正态分布参数的估计
已知一随机变量服从未知参数的正态分布
，并且已经观测到一组样本 ，要求估计
分布参数。
例2-12：泊松分布参数的估计
观测到一个服从未知参数的泊松分布的
随机变量的10个数据的样本，这些数据分别
为5、0、1、2、3、2、3、4、1、1，要求估
计出该泊松分布的未知分布参数 。
根据泊松分布的概率公式，该随机变量的数值
为 的概率为
10个数据出现的联合分布概率为
这个联合分布概率就是生成上述10个数据的似然
函数，记作 ，即
它的对数似然函数是（对数函数的单调性）
求导可得
的最大似然估计 必须满足
所以 。
（二）矩估计
Method of moments，MM
矩估计，也称为“矩方法” 。
基本原理：样本统计量依概率收敛于未知参数
的一个函数，可利用样本矩作为总体矩的近似，
获得未知参数的估计值。
（三）最小二乘估计
Least Square
最小二乘法是估计随机变量参数最基本的方法，
也是计量经济分析中运用最广泛的参数估计方
法。
基本原理：根据随机变量理论值与实际观测值
的偏差平方和最小估计参数。
最小二乘估计不要求知道随机变量服从的分布。
（四）估计量的性质
线性性
无偏性（渐近无偏）
有效性（渐近有效）
一致性
最小方差线性无偏估计BLUE
均方误（Mean squared error，MSE）
（五）参数估计方法的归纳和比较
最大似然估计：
1、ML小样本不保证无偏和有效，但一般有一
致估计、渐近正态分布和渐近有效的大样本性
质。如果参数存在最小方差边界估计量，一定
是最大似然估计量。
2、最大似然估计在线性非线性回归、联立方
程组模型、各种特殊变量和数据模型、时间序
列分析的概率模型等中都有重要应用。
3、最大似然估计需要知道随机变量的概率分
布形式，这是构造似然函数的基础。
矩估计
1、矩估计小样本也不保证无偏和有效。但根
据独立同分布随机变量的极限定理，矩估计通
常具有大样本一致估计的性质。
2、矩估计主要适用要求一致估计，但对有效
性相对不重视的参数估计问题。
3、矩估计可以不需要知道随机变量服从的概
率分布名称而直接进行估计。
4、矩估计在计量经济分析中同样也有许多应
用。
最小二乘估计：
1、在满足假设的经典计量经济模型中，最小
二乘估计满足线性性、无偏性、有效性和一致
性等性质，而且方便应用。
2、最小二乘估计还可以通过各种扩展以适应
某些不符合经典假设的模型。
3、最小二乘估计并不要求知道随机变量的概
率分布形式。
参数估计方法有不同特点，但没有严格
的优劣之分。各种参数估计方法既可能
一致，也可能有差异，应结合具体情况
选用。
三、统计检验
（一）统计检验基本原理
（二）参数的置信区间
（三）假设检验
第三节 随机过程及其平稳性
时间序列数据是计量经济分析最普遍使
用的数据类型。
时间序列数据可以看成是由随机过程生
成的，是特定随机过程的“实现”
以时间序列数据为基础的计量经济分析
随机过程理论有密切关系。
随机过程是概率统计理论的另一重要分
支。
一、随机过程及其概率分布
（一）随机过程定义
（二）随机过程的分布特征
1、有限维分布函数族
2、均值和方差函数
二、随机过程的平稳性
（一）随机过程平稳性的定义和意义
1、严平稳
2、弱平稳
3、计量经济分析与时间序列平稳性
（二）平稳和非平稳随机过程的例子
1、白噪声过程
2、独立同分布过程
3、随机游走和单位根过程
（三）平稳性的检验
1、图形判断
2、自相关图检验
3、单位根检验
平稳时间序列图形
非平稳时间序列图形
趋势平稳时间序列图形
