马尔科夫预测法
第一节 基本原理
一、基本概念
1.随机变量 、 随机函数与随机过程
一变量x，能随机地取数据（但不能准确地预言它
取何值），而对于每一个数值或某一个范围内的值有
一定的概率，那么称x为随机变量。
假定随机变量的可能值xi发生概率为Pi
即P(x = xi) = Pi
对于xi的所有n个可能值，有离散型随机变量分布
列：
∑Pi = 1
对于连续型随机变量，有 ∫P(x)dx = 1
在试验过程中，随机变量可能随某一参数（不一定
是时间）的变化而变化.
如测量大气中空气温度变化x = x(h),随高度变化。
这种随参变量而变化的随机变量称为随机函数。而以
时间t作参变量的随机函数称为随机过程。
也就是说：随机过程是这样一个函数，在每次试
验结果中，它以一定的概率取某一个确定的，但预先
未知的时间函数。
2、马尔科夫过程
随机过程中，有一类具有“无后效性
性质”，即当随机过程在某一时刻to所处
的状态已知的条件下，过程在时刻t>to时
所处的状态只和to时刻有关，而与to以前
的状态无关，则这种随机过程称为马尔科
夫过程。
即是：ito为确知,it(t>to)只与ito有关，
这种性质为无后效性，又叫马尔科夫假设。
简例：设x(t)为大米在粮仓中t月末的库存量，
则
x(t) = x(t―1)—y(t) +G(t)
t月的转出量
第t―1月末库存量 ,G(t)为当月转入
量
x(t)可看作一个马尔科夫过程。
3、马尔科夫链
时间和状态都是离散的马尔科夫过程称为
马尔科夫链。例：蛙跳问题
假定池中有N张荷叶，编号为 1， 2，
3,……,N，即蛙跳可能有N个状态（状态确知
且离散）。青蛙所属荷叶，为它目前所处的状
态；因此它未来的状态，只与现在所处状态有
关，而与以前的状态无关（无后效性成立）
1
2
3
4
P33
P22
P44
P41
P42 P31
P32
写成数学表达式为：
P( xt+1 = j | xt = it , xt-1 = it―1,……x1 = i1)
=P( xt+1 = j | xt = it )
定义：Pij = P( xt+1 = j | xt = i)
即在xt = i的条件下，使 xt+1 = j的条件概率，
是从 i状态一步转移到j状态的概率，因此它又
称一步状态转移概率。
由状态转移图，由于共有N个状态，所以有
二．状态转移矩阵
1.一步状态转移矩阵
系统有N个状态，描述各种状态下向其他状态转移的
概率矩阵
P11 P12 …… P1N
定义为 P21 P22 …… P2N
: : :
PN1 PN2 …… PNN
这是一个N阶方阵，满足概率矩阵性质
1） Pij ≥ 0,i,j = 1,2, ……, N 非负性性质
2） ∑ Pij = 1 行元素和为1 ,i=1,2,…N
N×N
P =
如： W1 = [1/4, 1/4, 1/2, 0]
W2 = [1/3, 0, 2/3]
W3 = [1/4, 1/4, 1/4, 1/2]
W4 = [1/3, 1/3, -1/3,0, 2/3]
3）若A和B分别为概率矩阵时，则AB为概率
矩阵。
概率向量
非概率向量
2.稳定性假设
若系统的一步状态转移概率不随时
间变化，即转移矩阵在各个时刻都相同，
称该系统是稳定的。
这个假设称为稳定性假设。蛙跳问
题属于此类，后面的讨论均假定满足稳
定性条件。
{2004/11/22}
步状态转移矩阵
经过k步转移由状态i转移到状态j的概率记为
P(xt+k =j | xt = i) = Pij(k)
i,j = 1,2, ……, N
定义：k步状态转移矩阵为：
P11(k) P12(k) …… P1N(k)
P = : : :
PN1(k) PN2(k) …… PNN (k)
当系统满足稳定性假设时
P = P = P• P• …… P
其中P为一步状态转移矩阵。
即当系统满足稳定性假设时，k步状态转移矩阵为
一步状态转移矩阵的k次方.
[k]
[k]
k
例：设系统状态为N = 3，求从状态1转移到状态2的
二步状态转移概率.
解：作状态转移图
解法一：由状态转移图：
1—— 1—— 2: P11 • P12
1—— 2—— 2: P12 • P22
1—— 3—— 2: P13 • P32
P12 = P11 • P12 + P12 • P22 +P13 • P32
=∑ P1i • Pi2
1
3
2
P13 P32
P11
P12
P12
P22
解法二： k = 2, N = 3
P11(2) P12 (2) P13(2)
P = P21(2) P22 (2) P23(2)
P31(2) P32(2) P33(2)
P11 P12 P13 P11 P12 P13
= P•P = P21 P22 P23 P21 P22 P23
P31 P32 P33 P31 P32 P33
得： P12(2) = P11 • P12 + P12 • P22 +P13 • P32
=∑ P1i • Pi2
例：味精销售问题
已连续统计六年共24个季度，确定畅销，滞销界限，
即只允许出现两种状态，且具备无后效性。。
设状态1为畅销，状态2为滞销,作出状态转移图:
图中: P11为当前畅销，连续畅销概率；
P12为当前畅销，转滞销概率；
P22为当前滞销，连续滞销概率；
P21为当前滞销，转畅销概率。
1 2
P22
P11
P12
P21
数据在确定盈亏量化界限后的统计表如下：
t 1 2 3 4 5 6 7 8 9 10 11 12 13
状态 ① ① ② ① ② ② ① ① ① ② ① ② ①
t 14 15 16 17 18 19 20 21 22 23 24
状态 ① ② ② ① ① ② ① ② ① ① ①
进行概率计算时，第二十四个季度为畅销，但后续是什么状
态不知，故计算时不能采用，只用于第二十三季度统计。
有： P11 = 7/(7 + 7) = ; P12 = 7/(7 + 7) = ;
P21 = 7/(7 + 2) = ; P22 = 2/(7 + 2) =
则
此式说明了：若本季度畅销，则下季度畅销和滞销的可能性
各占一半
若本季度滞销，则下季度滞销有78%的把握，滞销风
险22%
P =
二步状态转移矩阵为：
P11(2) P11(2)
P11(2) P11(2) =
=
P = P =
2[2]
三.稳态概率：
用于解决长期趋势预测问题。
即：当转移步数的不断增加时，转移
概率矩阵 P 的变化趋势。
1.正规概率矩阵。
定义：若一个概率矩阵P，存在着某
一个正整数m,使P 的所有元素均为正数
（Pij >o），则该矩阵称为正规概率矩阵
[k]
例： 1/2 1/4 1/4
P = 1/3 1/3 1/3 为正规概率矩阵
2/5 1/5 2/5
0 1 P11 = 0
1/2 1/2
但当 m = 2， 有 有Pij >0
它也是正规概率矩阵。
（P 每个元素均为正数）
但 1 0
0 1 就找不到一个正数m,使P 的每
一个元素均大于0，所以它不是正规概率矩阵。
½ ½
¼ ¾
P =2
2
P = m
P =
2
2.固定概率向量（特征概率向量）
设 P为NN概率矩阵,若U = [U1, U2,…, UN]为概率向
量,且满足UP = U,称U为P的固定概率向量
例 0 1
1/2 1/2 为概率矩阵
P的固定概率向量 U = [ 1/3 , 2/3]
检验 UP = [1/3 2/3] 0 1
1/2 1/2
=[1/3 2/3]
P =
3.正规概率矩阵的性质
定理一 设P为NXN正规概率矩阵，则
A .P有且只有一个固定概率向量
U = [U1,U2, …… UN]
且U的所有元素均为正数 Ui > 0
方阵P的各次方组成序列 P, P, P, …… ,P
趋于方阵T，且T的每一个行向量都是固定概率向
量U。
即 U1 U2 …… UN U
lim Pk = T = : : : = :
U1 U2 …… UN U
这个方阵T称稳态概率矩阵。
2 3 k
这个定理说明：无论系统现在处于何种
状态，在经过足够多的状态转移之后，均达到
一个稳态。
因此，欲求长期转移概率矩阵，即进行长
期状态预测，只要求出稳态概率矩阵T；
而T的每个行向量都是固定概率向量，所
以只须求出固定概率向量U就行了 !
定理二：设X为任意概率向量，则XT = U
即任意概率向量与稳态概率矩阵之点积为
固定概率向量。
事实上： U1 U2 …… UN
XT = X• : : : = [U1∑Xi U1∑Xi …… U1∑Xi ]
U1 U2 …… UN
= [U1 U2 …… UN ]
= U
例：若
P = 求T
解：设 U = [U1 U2 U3] = [U1 U2 1－U1－U2]
由 UP = U 有
[U1 U2 1－U1－U2] = [U1 U2 U3]
即 + = U1 → U1 =
+ + =U2 → U2 =
+ = U3 → U3 =
∴ U = [ ]
则
T =
说明：
不管系统的初始状态如何，当系统运行时间较长时，转
移到各个状态的概率都相等。（列向量各元素相等）
即 各状态转移到1状态都为;
2状态都为 ;
3状态都为
第二节 市场占有率预测
商品在市场上参与竞争，都拥有顾客，并由此而
产生销售，事实上，同一商品在某一地区所有的N个商
家（或不同品牌的N个同类产品）都拥有各自的顾客，
产生各自销售额，于是产生了市场占有率定义：
设某一确定市场某商品有N个不同品牌（或N个商家）投
入销售，第i个商家在第j期的市场占有率
Si(j) = xi(j)/x i =1,2, …… N
其中 xi(j)为第i个商家在第j期的销售额（或拥有
顾客数）
x为同类产品在市场上总销售额（或顾客数）
市场占有率所需数据可通过顾客抽样调查得到。
一般地,首先考虑初始条件,设当前状态（即j = 0
）
为 S(0) = [S1(0) S2(0) …… SN(0)]
第i个商家 Si(0) = xi(0)/x → xi(0) = Si(0) x
即当前第i个商家市场占有率与初始市场占有率及市
场总量有关.
同时假定满足无后效性及稳定性假设.
由于销售商品的流通性质,有第i个商家第j期销售状况
为
xi(k) = x1(0)P1i(k) + x2(0)P2i(k)+ ……+ xN(0)PNi(k)
= xS1(0)P1i(k) +xS2(0)P2i(k) + ……+ xSN(0)PNi(k)
P1i(k)
= x[S1(0) S2(0) ……SN(0)] P2i(k)
:
PNi(k)
有：Si(k) = xi(k)/x P1i(k)
= [S1(0) S2(0) ……SN(0)] P2i(k)
:
PNi(k)
故可用矩阵式表达所有状态:
[S1(k),S2(k), …… ,SN(k)]=
[S1(0),S2(0), …… ,SN(0)] P
即 S(k) = S(0) P
当满足稳定性假设时,有
S(k) = S(0) P
这个公式称为已知初始状态条件下的市场占有
率k步预测模型.
[k]
k
[k]
例:东南亚各国味精市场占有率预测,
初期工作:
a)行销上海,日本,香港味精,确定状态1,2,3.
b)市场调查,求得目前状况,即初始分布
c)调查流动状况;上月转本月情况,求出一步状
态转移概率.
1)初始向量:
设 上海味精状况为1;
日本味精状况为2;
香港味精状况为3;
有 S(0) = [S1(0) S2(0) S3(0)] = [ ]
2)确定一步状态转移矩阵
P11 P12 P13
P = P21 P22 P23 =
P31 P32 P33
3),3 步状态转移矩阵(假定要预测3个月后)
P11(3) P12(3) P13(3)
P 3= P21(3) P22(3) P23(3) = P =
P31(3) P32(3) P33(3)
3
4)预测三个月后市场
S(3) = S(0)P3 =[ ]
S1(3) = × +× + × =
S2(3) =
S3(3) =
二.长期市场占有率预测
这是求当 k →∞ 时 S(k) → ?
我们知道:
S(k) = S(0) P
lim S(k) = S(0) lim P = S(0)•T = U
因此,在已知初始条件下求长期市场占有率
就是求稳态概率矩阵,也是求固定概率向量.
求固定概率向量的方法,我们在前一节已有
例子,只不过说明了长期市场占有率也是只与稳
态矩阵有关,与初始条件无关.
[k]
[k]
上面味精例子,
已知 P =
求出 T = = lim Pk
lim S(k) = [ ]
即中国味精可拥有50%的长期市场.
第三节 期望利润预测
是考虑:一个与经济有关随机系统在
进行状态转移时,利润要发生相应变化,例
如商品连续畅销到滞销,显然在这些过程
变化时,利润变化的差距是很大的.
所以有如下的定义:
若马尔科夫链在发生状态转移时,伴
随利润变化,称这个马尔科夫链为带利润
的马尔科夫链.
设系统有N个状态
状态i经过一步转移到状态j时(即当事件发
生时,Pij = 1)所获得的利润为rij i,j = 1,2, ……N
于是有利润矩阵
r11 r12…… r1N
R = r21 r22 …… r2n
: : :
rN1 rN2…… rNN
显然 ,rij > 0 盈利 ;rij < 0 亏损 ; rij = 0 平衡
由于系统状态转移为随机的,得到的利润也
应当是随机的,这个利润只能是期望利润.
11、即时期望利润(一步状态转移期望利润)
考虑状态 i
状态转移 i →1 i →2 …… i → i …… i → N
一步转移概率 Pi1 Pi2 …… Pii …… PiN
利润变化 ri1 ri2 rii riN
所以:从i转到1的期望利润值 P11r11
从i转到2的期望利润值 P12r12
: :
从i转到i的期望利润值 Piirii
: :
从i转到N的期望利润值 P1Nr1N
而从状态i开始经过一步转移后所得到的期望
利润值为
∑Pijrij = Pi1ri1 + Pi2ri2…… PiNriN
这个值称为即时期望利润,又是一步状态转移
期望利润,是概率定义下的利润均值.
记为 Vi = Vi = ∑Pijrij
特别地Vi = 0 ,即当 k = 0, 未转移,没有利润
变化.
[1]
[0]
2. k步转移期望利润递推公式
k步转移期望利润可以分解为两步,即一步和
k―1步,
一步转移期望利润为Vi = ∑Pijrij
现考虑k―1步
首先,从0时刻到1时刻发生了一步状态转移,
假定 状态已转移1状态(令Pij = 1)后,从1状态开
始 k―1 步转移后达到期望利润为V1[k-1] .
而i状态转移到1状态的发生概率为Pi1 , 因此
i状态先转移到1状态后的k―1步实际期望利润
为 Pi1• V1[k-1]
[k―1]
同理 i状态先转到2状态后的k―1步实际期望利润为
Pi2• V2
即:各实际期望利润之和,构成了初始状态为i的 k―1步转
移后的转移期望利润 : ∑PijVj
k步转移期望利润
Vi = Vi +∑PijVj
= ∑Pijrij + ∑PijVj
= ∑Pij (rij + Vj )
以上公式为k步转移期望利润递推公式
此公式可改写为矩阵递推式:
由 Vi = Vi + ∑PijVj
[k―1]
[k―1]
[k] [1] [k―1]
[k―1]
[k―1][k]
[k―1]
V1
定义 V = V2 为j步转移期望利润列向量
:
VN
V1
V = V2 为即时期望利润列向量
:.
VN
P11 P12 P1N
: : : 为一步状态转移概率矩阵
PN1 PN2 PNN
有V = V +PV
[j]
[j]
[j]
[j]
P =
[K] [k―1]
例:设某商品销售状态分别为畅销(状态1)及滞销
(状态2),销售状态转移概率矩阵为
P11 P12
P21 P22
利润矩阵
r11 r12 5 1
r21 r22 1 -1
试预测三个月后的期望利润.
=P =
=R =
解:利用递推公式顺序推出,
即时期望利润 Vi = ∑Pijrij
V1 = ∑P1jr1j = P11r11 + P12r12
= ×5 + ×1 = 3(百万元)
V2 = ∑P2jr2j = P21r21 + P22r22
= ×1 + ×(-1)= (百万元)
V1: 本月畅销,一月后可期望获利300万
V2: 本月滞销,一个月后预测亏损20万
由 V1 = ∑ P1j (r1j+ Vj )
[k] [k-1]
V1 = ∑ P1j (r1j+ Vj)
= P11( r11 + V1) + P12 ( r12 + V2)
= (5 + 3) + (1―)
= (百万)
即本月畅销,预计两个月后可期望获利440万元
V2 = ∑ P2j (r2j+ Vj)
= P21(r21 + V1) + P22(r22 + V2)
= (1 +3) + (-1―)
= (百万)
即本月滞销,两月后可期望获利88万元.
[2]
[2]
由此,可推出本题结果:
V1 = ∑ P1j (r1j + Vj)
= P11(r11 + V1) + P12(r12 + V2)
= (5 + ) + (1+) = (百万)
V2 = ∑ P2j (r2j+ Vj)
= P21(r21 + V1) + P22(r22 + V2)
= (1 + ) + (-1+) = (百万)
答案:若本月畅销,三月后将期望盈利564万元
若本月滞销,三月后将期望盈利万元.
[3] [2]
[2] [2]
[3] [2]
[2
]
[2]
