Session 4
先验信息与主观概率
Session Topic
主观概率的基本概念
主观设定先验分布的方法
主观概率的基本概念
所谓客观概率，是指随机试验意义上的概率测度。
这种概率仅取决于试验对象的某种确定的自然属 性，它不因人而异，所以称之为客观概率。如，大 多 数保险费的核定，可根据客观概率来确定。
所谓主观概率 (又称为似然率)，是作为主体的特定个人对于某一待定命题所掌握的知识、信息所建立起来的信念的数值测度。
（1）由决策者或者决策专家判断得到的状态出现的可能性的度量，称为主观概率。主观概率反映了决策者或专家对状态出现的可能性的“信任程度”。显然，一个状态出现的主观概率的大小，不仅依赖于客观状态，也依赖于决策者或专家的主观条件，对同一状态出现的主观概率，不同的人，可以得出不同的值。
（2）主观概率的概念是在50年代由美国运筹学家L. J. Savage首先提出的。在期望效用理论中所引入的概率分布集，它作为决策的行动集或者方案集，很难被视为是由随机试验所确定的客观概率测度。除了少数可重复多次的决策外，绝大多数的决策活动（选择行为）都是一次性的，所以有必要研究主观概率。
（3） 从本质上看，无论是主观概率还是客观概率，都是对可能事件真实发生的可能性的一种数量测度。因此，它代表着人们对一种行为所得到的经验的总结，或者说是作为人们对未来事件的一种明智的推测。
（4）重要的是，必须把主观概率建立在客观的现实基础上。主观概率虽然强调决策者或者专家的主观作用，但是他们在确定主观概率时，必须对他们所掌握的信息，对类似情况的经验作出综合判断，而不是主观臆测。承认主观概率在决策分析中的作用，是相信决策者或者专家的综合判断能力。
（5）主观概率论是进行决策分析的依据。主观概率论者要能比较正确地设定主观概率，有赖于对事件作周密的观察，去获得先验信息，而且，先验信息愈丰富，设置的主观概率愈准确。
（6）对主观概率的理论研究表明，如果在状态集合上所定义的偏好二元关系具有完备性和传递性，则所定义的主观概率同客观概率一样，都可以使用并服从概率论中一整套推理及计算方法。
客观概率的确定
如果对环境状态已经掌握了大量的历史资料，并且假定影响这些环境状态的因素没有变化，那么可以近似地求得状态出现的概率分布函数（根据大数定理， 经验分布函数可近似地作为状态的真正的概率分布函数）。
主观概率的确定
确定状态出现的概率的最简便的方法是由决策者或
者决策专家直接判断每一状态出现的可能性。
借助于先验信息所确定的主观概率的分布，称为先
验分布。设定主观概率也就是设定离散型或连续型的
先验分布。
对状态空间是离散的情况，决策者可能按照对以往
类似情况的经验给出如下图所示的主观概率。
一般情况下，决策者往往不能直接给出一个主观概率分布，而给出每两个状态出现的可能性的比例关系
决策者往往不可能精确地给出状态出现的概率的比例关系，即他们初步给出的概率比往往违反条件2），这时可用最小二乘法估计决策者心目中的真正的主观概率分布，
（2）
（1）
其中是拉格朗日乘数。将拉格朗日乘数对每一变量pl (l = 1, 2, … n)求偏导，并令其为零，得到n个代数方程
构成n+1阶非齐次线性方程组。这n各方程组的解即位所求的主观概率分布。
主观设定先验分布的其他方法
设定先验分布时的几点假设
连通性(Connectivity)，又称可比性
即事件A和B发生的似然性likelihood是可以比较的：
A›B或 AB或B›A 必有一种也仅有一种成立.
A›B读作A发生的似然性大于B发生的似然性,
AB 读作A发生的似然性与B发生的似然性相当。
设定先验分布时的几点假设
传递性(Transitivity)
若对事件A，B，C , A›B， B›C 则A›C
设定先验分布时的几点假设
部分小于全体：
若A B, 则B A
例：设定明年国民经济增长率时：
①A：8～11% B：12～15%
C：15～20%
A › B， B › C ， 则 A › C
② A：8～11% D：8～10% 必有DA
离散型随机变量先验分布的设定
对各事件加以比较确定相对似然率
例1. 考博士生 E：考取 F：考不取
若P(E)=2P(F) 则P(E)=2/3 P(F)=1/3
例2.某地气候状况：正常年景θ1，旱θ2，涝θ3正常与灾年之比：3∶2 则P（θ1)=
水旱灾之比1∶1 P(θ2)=P(θ3)=
该法适用于状态数较少的场合
离散型随机变量先验分布的设定
打赌法
设事件E发生时收入P，（0 ＜P ＜1） 且 E＼c＝(1—P)
调整P，使决策人感到两者无差异为止, 则：P(E)=P
连续型RV的先验分布的设定
直方图法
该法适用于θ取值是实轴的的某个区间的
情况
步骤：
①,将区间划分子区间θi…离散化
②设定每个子区间的似然率π(θi)…赋值
③变换成概率密度曲线
例如：明年国民经济的增长率
缺点：
①子区间的划分没有标准
②赋值不易
③尾部误差过大
连续型RV的先验分布的设定
相对似然率法
适用范围：同1
步骤：
①离散化
②赋值：给出各区间似然的相对比值
③规范化：
例如：
A. 相对似然率R 似然率π(A)
子区间8～9 10 10／ΣR
7～8 9 9／ΣR
9～10 ／ΣR
B. 决策者给出每二个状态似然率的比例关系
aij= pi/pj (1)
应有
aij= 1/aji (2)
aij= (3)
在(3)式不满足时，可用最小二乘法估计决策人心目
中真正的主观概率分布Pi i=1,…，n
即求规划问题
min{∑∑(aijpj - pi)}
. ∑pi= 1 , pi≥0
*用拉格朗日乘数法,构造拉格朗日函数
L＝
上式对 ，i=1,2…n求偏导数，并令其为0，得：
l=1,2,…,n.
与 联列，构成n+1阶齐次方程组，求得Pi,
i=1,…，n
连续型RV的先验分布的设定
区间对分法
适用范围：可以是开区间
·步骤：①求中位
②确定上、下四分位点(quartile fractile)
③由于误差积累,最多确定八分位点(Eighth fractile)
·缺点：精度差
连续型RV的先验分布的设定
概率盘法(dart)
用园盘中的扇形区表示抽奖事件, 透用于
西方管理人员
·注意：状态的概率或概率分布不是也不应富由决策分析人员来设定，而应当由决策人和有关问题专家提供基本信息。
无信息先验分布
位置参数的无信息先验
如果随机变量X的密度函数为f(x-)，则称 f 为位置
密度，而参数 称为位置参数（为参数空间）。
例如，正态分布的数学期望是位置参数。
记样本空间为，和都是一维实空间R1子集，在此种
情况下推导位置参数的无信息先验。
设 Y = X + c (cR1). 定义 = + c，Y的密度为f(y-)如果 = = R1, 则（X, ）问题和（Y, ）问题有
相同的样本空间。
标度参数的无信息先验
如果随机变量X的密度函数为 ，
则称 f 为标度密度，而参数 称为标度参数。
如，正态分布的均方差为标度参数。
设 Y = cX (c>0). 定义 = c，Y的密度为 。
如果 = R1, = (0, ), 则（X, ）问题和（Y,
）问题有相同的样本空间。
设定先验分布时要注意：第一，充分利用已知信息
去设定；第二，要求密度函数必须对某一类特定的变换是不变的。
有信息主观先验概率的确定
有信息主观先验概率的确定
所谓有信息是指决策者已经积累了处理类似决策问题的经验，或者通过对有关专家咨询获得了对自然状态的某些认识。
确定有信息主观先验概率的主要方法有以下几种：
比较法。先讨论只取两个值1、2的简单情形。
为确定1、2 出现的概率(1)、(2)，首先比较1和2出现可能性的大小。如果分析后认为1出现的可能性大于2出现的可能性，则：(1)1/2，(2)<1/2，
在初步确定1、2出现概率的取值范围后，接着对1、2出现可能性作进一步比较。即进一步分析1出现的可能性是否大于2出现可能性的2倍，如果是，则可得到：
(1) 2/3，(2)<1/3
如果不是，则
1/2(1)<2/3, 1/3(2)<1/2
如此等等，直到把(1)的取值范围缩小到合理的程度。这时便得到了自然状态的主观先验概率。
设1、2的主观先验概率为：
(1) = p，(2) = 1-p 0p1
同时对由此得到的概率必须按2进行检查。如果(2)的值不合理，还必须重新调整以确保一致性。
如果自然状态可取多于两个不同的有限值，即 = {1, 2, …, n}，这时也可以通过比较法确定(i) = pi (i=1, 2, …, n)。但要注意满足概率的完全性（即和为1）。
当n比较大时，可以采用如下两种方法。一种时首先询问专家或决策者，给出任意两种状态出现可能性的比较，然后采用最小二乘法求解。另一种方法是采用下述方法：
分解——综合比较法。如果i(i=1, 2, …, n)均可视为两种或两种以上独立变量Wj (j=1, 2, …, m)，Vk (k =1, 2, …, s)等的组合，即i = (Wj，Vk，…)，且m、s等远小于n，则先用比较法确定
( Wj)、(Vk)等，再根据独立随机变量交集的公式：
(i) = ( Wj)(Vk)
这样可大大简化比较的过程。
例1. 某电视机厂准备生产一种新型号的电视机供应市场，但未来的销售量 对于决策者而言是一个未知因素。为简单计，决策者选定的可能值如下表所示。
序号i
1
2
3
4
5
6
销售量i（台）
21000
19500
16500
6600
4500
1500
但销售量独立地依赖于社会需求量W和电视机的质量V。W和V的可能值如表所示，且i 对Wj和Vk的组合关系如表所示，试确定i的先验概率。
表
序号i
1
2
3
序号k
1
2
需求量Wj（台）
30000
25000
20000
质量（合格率）Vk
表
1
2
3
4
5
6
(W1, V1)
(W2, V1)
(W3, V1)
(W1, V2)
(W2, V2)
(W3, V2)
解：工厂决策者责成供销部门和技术部门分别就Wj和Vk的可能性赋予先验概率。根据供销部门对社会需求的经验积累以及技术部门对过去产品的试验总结，Wj和Vk得先验概率如表 所式
（注意： ）
表
Wj
W1
W1
W3
Vk
V1
V2
(Wj)
(Vk)
最后根据表以及 (i)= (Wj) (Vk)得表。
表
序号i
1
2
3
4
5
6
销售量i（台）
21000
19500
16500
6600
4500
1500
先验概率 (i)
分位法。当是连续变量时，确定先验概率用得比较多的一种方法是所谓分位法。
设mk是一个实数，且有：
F(mk) = P(: mk) 0 k 1
则称mk为的概率密度函数()的k分位数；式中F表示的分布函数。
特别，称()的1/2分位数为m1/2为中位数，m1/4为下1/4分位数，m3/4为上1/4分位数 等。
如果 = [a, b] R，则有：
决策人可以根据已有的先验信息确定中位数和上、下1/4分位数等等，再根据分布函数的平滑性、严格增等基本性质求得先验分布F()，然后再据此求得密度函数()。
曲线拟合法。利用分位法求先验概率分布，更多的是采用曲线拟合法，即根据大致分析认为先验分布属于某个已知的分布函数族；为了确定所求先验分布是该分部族中的哪一条曲线，只需确定有关参数，而这些参数又可由已经得到的分位数近似确定。
例. 设得分布属于正态分布，而一个正态分布函数曲线完全由参数（均值）和（方差）所确定。现在假设已求得()的分位数m1/4=35， m1/2=45， m3/4=57，求和的值。
解：由正态分布的对称性，有：
= m1/2=45， m1/2-m1/4= m3/4- m1/2 ，
从已给定的分位数得，
m1/2-m1/4=10 m3/4- m1/2=12
这时需对分位数进行修正，修正后得分位数
m1/4=34， m1/2= 45， m3/4=56
已满足对称性要求。令FN表示标准正态分布函数，则
F(m3/4) = FN((m3/4-)/)=3/4
查标准正态分布表，得
(m3/4-)/ =
又= m1/2=45， 最后得 = (56-45)/=
极大熵先验分布
极大熵先验分布
在一个信息通道中传送的第I个信号的信息量为
li = - lnpi
n个信号的平均信息量为
用极大熵（极大平均信息量）准则设定先验密度 pi 的值，是在先验密度pi适合这个不确定事件的先验信息的约束时，选择 pi ，使平均信息量达到极大。
使用这个准则，先验信息将构成求极值问题的约束条件。例如，设包含所有正整数，而且的先验信息是 等于或小于10。求极大平均信息量的约束条件应为
如果知道的平均值为5，则另一个约束条件为
此使用极大熵准则去设定先验密度(i)，i，就是求解下
面的有约束最优化问题
Such that
利用过去数据设定先验分布
有θ的统计数据
为能获得θ的观察值θi i=1,…,n的数据，则可：
①通过直方图勾划出先验分布
②选取可能的函数形式作为先验分布，再定参数
③求频率(离散RV)
状态θ不能直接观察时
若直接观察的只是与 有关的 (通常都是如此)则要从 中获取 的先验信息很困难：
的分布是随边缘分布m(.)而定的：
m(x)= 或m(x)=
估计m(x)不难，但即使f(x｜θ)已知，由此估计(θ)却难得多。
当f(x| θ)近似于一个函数(x- θ)时，可以用m(.)逼近(.)
