逻辑斯蒂回归_逻辑回归2逻辑回归由来

1 高斯分布

首先&＃xff0c;LR的假设只有一个&＃xff0c;就是两个类别的特征服从均值不等&＃xff0c;方差相等的高斯分布&＃xff0c;也就是

为什么会假设它们服从高斯分布&＃xff1f;一方面是因为高斯分布是比较容易处理的分布&＃xff0c;另一方面&＃xff0c;从信息论的角度上看&＃xff0c;当均值和方差已知时&＃xff08;尽管你并不知道确切的均值和方差&＃xff0c;但是根据概率论&＃xff0c;当样本量足够大时&＃xff0c;样本均值和方差以概率1趋向于均值和方差&＃xff09;&＃xff0c;高斯分布是熵最大的分布&＃xff0c;为什么要熵最大&＃xff1f;因为最大熵的分布可以平摊你的风险&＃xff0c;这就好比不要把鸡蛋放到同一个篮子里&＃xff0c;想想二分查找中&＃xff0c;为什么每次都是选取中间点作为查找点&＃xff1f;就是为了平摊风险。为什么假设方差相等&＃xff1f;为了后面处理起来方便....不相等的话没法消去。。。

接下来就是贝叶斯决策的东西了&＃xff0c;首先&＃xff0c;我们定义风险

其中&＃xff0c;

是把样本预测为0时的风险&＃xff0c;

是把样本预测为1时的风险&＃xff0c;

是样本实际标签为

时&＃xff0c;却把它预测为

是所带来的风险。

在LR里&＃xff0c;我们认为预测正确并不会带来风险&＃xff0c;因此

和

都为0&＃xff0c;此外&＃xff0c;我们认为当标签为0而预测为1 和 当标签为1而预测为0&＃xff0c;这两者所带来的风险是相等的&＃xff0c;因此

和

相等&＃xff0c;方便起见&＃xff0c;我们记为

。这里你可能认为我说的是废话&＃xff0c;但在一些领域里&＃xff0c;比如医学、风控等&＃xff0c;这些λ在大多数情况下是不相等的&＃xff0c;有时候我们会选择“宁可杀错一百也不能放过一个”

所以&＃xff0c;上面定义的风险就可以简化为

现在问题来了&＃xff0c;我拿到一个样本&＃xff0c;我应该把它预测为0还是预测为1好&＃xff1f;按照风险最小化的原则&＃xff0c;我们应该选择风险最小的&＃xff0c;也就是&＃xff0c;当

时&＃xff0c;预测为0的风险要小于预测为1的风险&＃xff0c;即

时&＃xff0c;应该把样本预测为0&＃xff0c;从而也就是书上提到的&＃xff1a;比较两个条件概率&＃xff0c;并把样本分配到概率最大的那个类上。

我们两边除一下&＃xff0c;就会得到

我们对不等式左边的部分取一下对数&＃xff0c;&＃xff08;为什么取对数&＃xff1f;因为之前我们提过&＃xff0c;两个类别的特征服从均值不等&＃xff0c;方差相等的高斯分布&＃xff0c;

取对数方便处理高斯分布里的指数&＃xff09;&＃xff0c;再利用贝叶斯公式进行展开&＃xff0c;归一化常数扔掉&＃xff0c;我们将得到

为了方便起见&＃xff0c;我们假设x是一维的&＃xff0c;当然也很容易推广到多维的情况&＃xff0c;我们套入高斯分布的公式&＃xff0c;此外&＃xff0c;由于

和

都是常数&＃xff0c;第二项我们简记为常数

继续展开&＃xff0c;将得到

打开括号&＃xff0c;化简&＃xff0c;就会得到

整理整理&＃xff0c;就会得到

也就是

两面取指数&＃xff0c;并且利用上

这个概率公理&＃xff0c;移一下&＃xff0c;你就会看到熟悉的logistic公式

2 对数几率

现在考察逻辑斯蒂回归模型的特点&＃xff0c;一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值&＃xff0c;如果事件发生的概率是

&＃xff0c;那么该事件的几率是

&＃xff0c;该事件的对数几率或logit函数是

对于逻辑斯蒂回归而言&＃xff0c;得

这就是说&＃xff0c;在逻辑斯蒂回归模型中&＃xff0c;输出

的对数几率是输入

的线性函数&＃xff0c;或者说&＃xff0c;输出

的对数几率是由输入

的线性函数表示的模型&＃xff0c;即逻辑斯蒂回归模型。

换一个角度看&＃xff0c;考虑对输入

进行分类的线性函数

&＃xff0c;其值域为实数域&＃xff0c;通过逻辑斯蒂回归模型可以将线性函数

转化为概率&＃xff1a;

这时&＃xff0c;线性函数的值越接近正无穷&＃xff0c;概率值就越接近1&＃xff1b;线性函数的值越接近负无穷&＃xff0c;概率值就越接近0。

3 最大熵原理

我们现在尝试把最大熵模型推导成logistic回归模型&＃xff1a;

最大熵模型定义了在给定输入变量

时&＃xff0c;输出变量

的条件分布&＃xff1a;

如果我们我们限定

为二元变量&＃xff0c;即

&＃xff0c;那么就可以把最大熵模型转换为logistic回归模型&＃xff0c;我们还需要定义特征函数为&＃xff1a;

即仅在

时抽取

的特征&＃xff0c;在

时不抽任何特征&＃xff08;直接返回全为0的特征向量。&＃xff09;

将这个特征函数带回最大熵模型&＃xff0c;我们得到

时&＃xff1a;

当

时&＃xff0c;得

我们发现&＃xff0c;当类别标签只有两个时&＃xff0c;最大熵模型就是logistic回归模型&＃xff0c;表面上看&＃xff0c;logistic回归模型里面的特征函数的确只考虑

不考虑

&＃xff0c;然而通过上面的推导&＃xff0c;我们发现其实

抽取的特征仅仅在

时被用到。