逻辑斯蒂回归_逻辑斯蒂回归详细解析|统计学习方法学习笔记|数据分析|机器学习...

本文包括&＃xff1a;

1. 重要概念
2. 逻辑斯蒂回归和线性回归
3. 二项逻辑斯谛回归模型
4. 逻辑斯蒂回顾与几率
5. 模型参数估计
6. 多项逻辑斯谛回归
7. 其它有关数据分析&＃xff0c;机器学习的文章及社群

1.重要概念&＃xff1a;

在正式介绍逻辑斯蒂回归模型之前&＃xff0c;需要先对一些基本概念有所了解&＃xff0c;如果明白这些概念可以直接跳过。

分布函数和密度函数&＃xff1a;对于一个连续型随机变量&＃xff0c;密度函数是指该变量在其可取值范围内为一个特定值的概率&＃xff0c;分布函数即在一个特定值和小于该特定值的范围内出现的概率&＃xff0c;可以理解为密度函数的面积比率。

用逻辑斯蒂分布举例来说&＃xff08;下图&＃xff09;&＃xff0c;在密度函数中&＃xff0c;可以看到在x&＃61;0时出现峰值&＃xff0c;即x取0的概率最大&＃xff0c;从0开始往无穷小和无穷大都在递减。再看分布函数&＃xff0c;可以看到当x&＃61;0时&＃xff0c;密度函数取值为0.5&＃xff0c;对照密度函数&＃xff0c;在小于等于0的部分&＃xff0c;面积是总面积的一半。

似然函数&＃xff1a;在统计学中&＃xff0c;概率描述了已知参数时的随机变量的输出结果&＃xff0c;似然则用来描述已知随机变量输出结果时&＃xff0c;未知参数的可能取值。那么似然函数就是用来求得未知参数的估计值所使用的函数。

极大似然估计&＃xff1a;通过最大化似然函数求得未知参数的估计值。这里讲一下为什么是极大而非其它的方法求参数的估计值。

在机器学习中&＃xff0c;我们有大量的记录构成训练集&＃xff0c;需要根据训练集进行学习获得模型&＃xff0c;根据具体的问题&＃xff0c;我们可以将一个特定的模型套用在这个具体问题中。现在&＃xff0c;我们有了一个含有未知参数的模型&＃xff0c;以及大量训练集记录。

根据模型&＃xff0c;我们可以假设Y&＃61;1的概率为P&＃xff0c;Y&＃61;0的概率为1-P&＃xff08;这里的P包含了模型中的未知参数&＃xff09;。假设训练集中有10个记录&＃xff0c;3个为1&＃xff0c;7个为0&＃xff0c;那么得到这个最终结果的概率为P^3*(1-P)^7。

现在重点来了&＃xff0c;既然现实情况中已经出现了3个1和7个0的情况&＃xff0c;那么我们的模型应该让这种情况出现的概率最大&＃xff0c;因为毕竟这个结果已经出现了。

也就是说&＃xff0c;我们应当最大化P^3*(1-P)^7&＃xff0c;以此推得P中所包含的未知参数的估计值&＃xff0c;并最终得到我们想要的模型。

2.逻辑斯蒂回归和线性回归&＃xff1a;

在线性回归&＃xff08;感知机&＃xff09;中&＃xff0c;我们知道一个分离超平面w·x将特征空间分成两个部分&＃xff0c;实例在不同的子空间中则被分为相对应的类。但是线性回归的一个问题在于&＃xff0c;我们不知道一个新输入的实例&＃xff0c;它属于一个类的概率是多少。

换句话说&＃xff0c;新输入实例在特征空间中的位置可能与分离超平面距离非常近&＃xff0c;也有可能非常远&＃xff0c;如果距离较远&＃xff0c;那么它更有可能被分成它所在一侧对应的类&＃xff0c;但是如果与超平面的距离非常近&＃xff0c;说明它被分成另一类的可能性也很大&＃xff0c;比如被分成A的可能性为51%&＃xff0c;而分成B类的可能性为49%&＃xff0c;此时线性回归会将其分为A类&＃xff0c;而忽略了49%分成B类的可能性&＃xff0c;也就是说&＃xff0c;线性回归仅给出结论&＃xff0c;未给出概率。

于是&＃xff0c;为了得到这一概率&＃xff0c;我们引入了Sigmoid函数&＃xff1a;

Sigmoid函数能够将线性回归产生的值(-∞&＃xff0c;&＃43;∞)转换到(0,1)区间内&＃xff0c;而概率的取值也在(0,1)内&＃xff0c;这样&＃xff0c;就可以显示一个实例被分为一个类的概率是多少了。

3.二项逻辑斯谛回归模型&＃xff1a;

首先来看逻辑斯蒂函数的一般形式&＃xff0c;其分布具有以下分布函数和密度函数&＃xff1a;

式中&＃xff0c;μ为位置参数&＃xff0c;γ>0为形状参数。

分布函数以&＃xff08;μ,1/2&＃xff09;为中心对称&＃xff0c;满足&＃xff1a;

形状参数γ的值越小&＃xff0c;分布函数曲线在中心附近增长得越快。

现在&＃xff0c;我们让μ取0&＃xff0c;γ取1&＃xff0c;即得到我们在逻辑斯蒂回归中使用的函数&＃xff1a;

采用上式&＃xff0c;我们将线性回归产生的值代入到sigmoid函数之中&＃xff0c;可得&＃xff1a;

二项逻辑斯谛回归模型是一种分类模型&＃xff0c;由条件概率分布P(Y|X&＃xff09;表示。这里&＃xff0c;随机变量x取值为实数&＃xff0c;随机变量Y取值为1或0。

这样&＃xff0c;我们就将范围为实数的线性回归产生的值转变为逻辑斯蒂回归中仅在(0,1)范围之内。

逻辑斯谛回归仅对二分类的问题有效&＃xff0c;我们可以比较P(Y&＃61;1|x)和P(Y&＃61;0|x)两个条件概率值的大小&＃xff0c;将实例x分到概率较大的那一类&＃xff0c;同时也能得知分成两种类别的可能性是多少。

4.逻辑斯蒂回归与几率&＃xff1a;

一个事件的几率是指该事件发生的概率与该事件不发生的概率的比值。如果事件发生的概率是p&＃xff0c;那么该事件的几率是

&＃xff0c;该事件的对数几率或logit函数是&＃xff1a;

我们将逻辑斯蒂回归的P代入&＃xff0c;可得&＃xff1a;

通过上式我们知道&＃xff0c;通过几率的概念对线性函数进行转换&＃xff0c;可以得到逻辑斯蒂回归公式。

一个直观的理解是&＃xff0c;对于上式&＃xff0c;分子是y&＃61;1的概率&＃xff0c;而分母是y≠1的概率&＃xff0c;显然wx&＃43;b越大&＃xff0c;y&＃61;1的概率越大&＃xff0c;也就是实例点x在y&＃61;1的一侧距离分离超平面越远&＃xff0c;则y&＃61;1的概率越大。

5.模型参数估计&＃xff1a;

设&＃xff1a;

似然函数为&＃xff1a;

为了计算方便&＃xff0c;我们对似然函数取对数&＃xff0c;得到对数似然函数&＃xff1a;

以上公式的第二个等式使用了上一节谈到的几率。注意&＃xff0c;这里的式子中w和xi都是进行扩展后的w和xi&＃xff0c;即权值向量中最后一项为b&＃xff0c;xi最后一项为1。

现在根据极大似然估计法&＃xff0c;对L(w)求导&＃xff1a;

接下来通常采用的方法是梯度下降法及拟牛顿法来求得w的估计值&＃xff0c;待后续更新。

6.多项逻辑斯谛回归&＃xff1a;

逻辑斯蒂回归需要将线性回归通过sigmoid函数进行转换&＃xff0c;但这种方法仅对二分类的问题有效&＃xff0c;如果碰到多分类的问题逻辑斯蒂回归就失效了。

于是&＃xff0c;对于多分类的问题&＃xff0c;我们使用softmax函数代替sigmoid函数&＃xff0c;可以将softmax函数看做sigmoid函数的推广。

Softmax函数&＃xff1a;

Softmax函数计算新输入实例被分为每一个类的概率&＃xff0c;并选择概率最大的对应的类作为新输入实例的类。

多项逻辑斯蒂回归&＃xff1a;

github&＃xff1a;

如果觉得对您有帮助&＃xff0c;还烦请点击下面的链接&＃xff0c;帮忙github点个star~谢谢~

Zhouxiaonnan/machine-learning-notesandcode

所有笔记目录&＃xff1a;包括《统计学习方法》中各个模型的理论和python复现部分&＃xff0c;以及数据分析Mysql查询优化。

舟晓南&＃xff1a;所有笔记目录 | 数据分析 | 机器学习 | 深度学习等

如何转行数据分析师&＃xff1a;

舟晓南&＃xff1a;如何转行和学习数据分析 | 工科生三个月成功转行数据分析心得浅谈

舟晓南&＃xff1a;求职数据分析师岗位&＃xff0c;简历应该如何写&＃xff1f;&＃xff5c;工科生三个月成功转行数据分析心得浅谈

欢迎关注专栏&＃xff1a;

数据分析&＃xff0c;机器学习学习社群正式启动~

需要学习资料&＃xff0c;想要加入社群均可私信~

在这里会分享各种数据分析相关资源&＃xff0c;技能学习技巧和经验等等~

详情私信&＃xff0c;一起进步吧&＃xff01;

写于成都 2020-9-10

第一次修改 2020-9-26

第二次修改 2020-11-5