期望最大化算法
EM算法背景
• 当拥有缺失数据的时候，可以迭代地做参数估计
• 两个关键步骤:
Ø期望步 [Expectation (E)]
Ø最大化步 [Maximization (M)]
• 可以解决大量的实际问题
• 上世纪50年代就被提出，但形式化是由Dempster, Laird and Rubin 在1977年完成
• 更多的材料，可以参考McLachlan & Krishnan book 1997.
期望最大化算法 （Expectation Maximization，EM)
EM的应用 (1)
• 概率隐语义分析[Probabilistic Latent Semantic Analysis (pLSA)]
– 文本处理领域的常见技术之一
P(w,d) P(w|z)
P(z|d)
Z
W
D
Z
D
W
EM的应用 (2)
0 1-2 -1-4 -3 4 52 3
数据:
模型:
参数:
目标: 建模具有2个组件的高斯混合模型
让 固定
即仅仅估计
x
P(x|)
这里，
启发式的例子
似然是参数的一个函数
概率是随机变量 x的一个函数
似然函数
想象模型去产生数据
需要对每个数据点引入标签z
标签被叫做隐变量，也叫做未观
察或者缺失变量
c
0 1-2 -1-4 -3 4 52 3
可以极大地简化问题:
如果我们知道标签，我们能够解耦各个组件，使得可以为每个组件单独估计参数
概率模型
E-步: 用当前的参数计算一个数据点标签的分布；
M-步: 用当前标签分布的猜测去升级参数。
E
E
M
M
E
EM的直觉
The End
