逻辑斯蒂回归模型
逻辑斯蒂回归模型
型对数线性模型 利用特征函数以及参数的方式对势函数进行定义
��(��|��) = exp(��
���(��) 势能函数：
联合概率p(x)的对数形式： log ( | ) ( ) log ( )TQ Q Q
Q C
p x w w f x Z w
对数线性模型
( )Q Qf x 是定义在 上的特征向量， 是权重向量Qx Qw
逻辑斯蒂回归模型（logistic regression model）
最大熵模型（maximum entropy model）
�(�｜�) =
1
�
Π
�∈�
��(��|��）
逻辑斯蒂回归模型
逻辑斯蒂回归模型 :在线性回归模型的基础上，使用Sigmoid函数，将线性模型的结
果压缩到[0,1]之间，使其拥有概率意义，它可以将任意输入映射到[0,1]区间内，实现
由值到概率的转换。
主要思想：根据现有数据对分类边界线（decision boundary）建立回归公式，以此分类。
Ø 优点：
直接对分类的可能性建模，无需事先假设数据分布，避免了假设分布不准确带来的问题。
由于它是针对分类的可能性进行建模，不仅能预测出类别，还可得到属于该类别的概率。
属于概率性判别式模型 线性分类算法
逻辑斯蒂回归模型也是深度学习中的重要单元
逻辑斯蒂回归模型
Ø 假设某事件发生的概率为 p，那么此事件不发生的概率为(1-p)，则称p/(1-p)
为此事件发生的几率。取此事件发生几率的对数定义 logit(p)：
logit(�) = log
�
1 − �
Ø 取logit函数的反函数，称为logistic函数，即
Sigmoid函数：
逻辑斯蒂函数
1
( )
1 z
z
e
逻辑斯蒂回归模型
逻辑斯蒂分布
逻辑斯蒂分布的分布函数F(x)
逻辑斯蒂分布的密度函数 f(x)
�(�) = �(� ≤ �) =
1
1 + �−(�−�) �
�(�) = �′(�) =
�−(�−�) �
� 1 + �−(�−�) �
2
设X是连续随机变量，则：
是位置参数， 是形状参数
逻辑斯蒂回归模型
逻辑斯蒂回归模型
对于二分类的逻辑斯蒂回归模型有：
�(�1|�) =
�(�|�1)�(�1)
�(�|�1)�(�1) + �(�|�2)�(�2)
= �(�) =
1
1 + �−�
�(�2|�) =
�(�|�2)�(�2)
�(�|�1)�(�1) + �(�|�2)�(�2)
= 1 − �(�) =
�−�
1 + �−�
分类算法是求解 ，( | )kP C x 用逻辑斯蒂分布的分布函数sigmoid函数建模 ( | )kP C x
通过上两式得 ： � = ln
�(�|�1)�(�1)
�(�|�2)�(�2)
几率比值比、机会比、优势比
逻辑斯蒂回归模型
线性模型： 参数向量：
基函数：
� = {�0, �1, �2, . . . ��
� (�) = {�0(�), �1(�), �2(�), . . . ��(�)
� = �0�0(�)
一般�T�(�) + � �T�(�)
令ℎ�(�) = � = �(�, �) =
�=0
�
����(�
�(�1|�) = �(ℎ�(�)) = �(�T�(�))
�(�2|�) = 1 − �(ℎ�(�)) = 1 − �(�T�(�))
逻辑斯蒂回归模型可重写为：
逻辑斯蒂回归模型
�(�1|�) = �(�T�(�))
�(�2|�) = 1 − �(�T�(�))
逻辑斯蒂回归模型可重写为：
逻辑斯蒂回归模型
极大似然估计模型参数
对于一个二分类的数据集 {��, �� ,这里�� ∈ {0,1 ，�� = �(�1|��)
似然函数： �(�|�) = �(�; �) = Π
�=1
�
{��
�� ∗ (1 − ��)(1− ��)
对数似然函数：
逻辑斯蒂回归模型
引入一个负号转换为梯度下降法来求解，目标函数为：
模型学习中通常有用梯度下降法或牛顿法、拟牛顿法（DFP、BFGS、L-BFGS）。
极大似然估计模型参数
梯度下降法求解： 每次迭代更新：
1
1
exp( )
1 exp
Tm
i
i ij ijT
ij i
m
i i ij
i
w xJ w
y x x
w w x
y x x
The End
