机器学习之逻辑回归（LogisticRegression）原理讲解和实例应用，果断收藏

人工智能学习路径

第一章 全网最详细的Python入门思维导图&＃xff0c;果断收藏
第二章 Python桌面应用开发&＃xff08;PyQT&＃xff09;入门思维导图&＃xff0c;果断收藏
第三章 Python数据分析&＃xff08;Numpy和Pandas学习&＃xff09;入门思维导图&＃xff0c;果断收藏
第四章 Python人工智能概念之机器学习基础入门思维导图&＃xff0c;果断收藏
第五章 机器学习之KNN最邻近分类算法入门思维导图,果断收藏

逻辑回归(Logistic Regression,LR)又称为逻辑回归分析&＃xff0c;是分类和预测算法中的一种。通过历史数据的表现对未来结果发生的概率进行预测。例如&＃xff0c;我们可以将购买的概率设置为因变量&＃xff0c;将用户的特征属性&＃xff0c;例如性别&＃xff0c;年龄&＃xff0c;注册时间等设置为自变量。根据特征属性预测购买的概率。

一、逻辑回归入门思维导图

二、逻辑回归LR

假设现在有一些数据点&＃xff0c;我们利用一条直线对这些点进行拟合(该线称为最佳拟合直线)&＃xff0c;这个拟合过程就称作为回归&＃xff0c;如下图所示&＃xff1a;

Logistic回归是分类方法&＃xff0c;它利用的是Sigmoid函数阈值在[0,1]这个特性。Logistic回归进行分类的主要思想是&＃xff1a;根据现有数据对分类边界线建立回归公式&＃xff0c;以此进行分类。其实&＃xff0c;Logistic本质上是一个基于条件概率的判别模型(Discriminative Model)。

Sigmoid函数

下面这张图片&＃xff0c;为我们展示了Sigmoid函数的样子

逻辑回归本质上是线性回归&＃xff0c;只是在特征到结果的映射中加入了一层Sigmod函数映射&＃xff0c;即先把特征线形求和&＃xff0c;然后使用Sigmoid函数将最为假设函数来概率求解&＃xff0c;再进行分类。

三、逻辑回归特点

逻辑回归&＃xff08;Logistic Regression&＃xff09;主要解决二分类问题&＃xff0c;用来表示某件事情发生的可能性。

• 优点&＃xff1a; 适合需要得到一个分类概率的场景&＃xff0c;简单&＃xff0c;速度快
• 缺点&＃xff1a; 只能用来处理二分类问题&＃xff0c;不好处理多分类问题&＃xff0c;容易欠拟合&＃xff0c;一般准确度不太高
• 应用&＃xff1a; 是否患病、金融诈骗、是否虚假账号等

四、逻辑回归 VS 线性回归

线性回归和逻辑回归是 2 种经典的算法。经常被拿来做比较&＃xff0c;下面整理了一些两者的区别

实例应用 – 癌症病例预测

核心代码

from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import classification_report# 加载数据
breast &＃61; load_breast_cancer()# 数据拆分
X_train, X_test, y_train, y_test &＃61; train_test_split(breast.data, breast.target)# 数据标准化
std &＃61; StandardScaler()
X_train &＃61; std.fit_transform(X_train)
X_test &＃61; std.transform(X_test)# 训练预测
lg &＃61; LogisticRegression()lg.fit(X_train, y_train)y_predict &＃61; lg.predict(X_test)# 查看训练准确度和预测报告
print(lg.score(X_test, y_test))
print(classification_report(y_test, y_predict, labels&＃61;[0, 1], target_names&＃61;["良性", "恶性"]))


运行结果

precision表示准确率&＃xff1b;recall表示召回率&＃xff1b;f1-score表示综合指标&＃xff1b;support表示预测的人数。本模型的召回率&＃xff0c;良性达到0.97&＃xff0c;恶性达到0.96&＃xff1b;该例子是检测癌症&＃xff0c;我们希望能找到所有得癌症的人&＃xff0c;即使他不是癌症&＃xff0c;也可以做进一步检查&＃xff0c;因此我们需要一个召回率高的模型。

总结

逻辑回归是线性回归分析的扩展&＃xff0c;其通过逻辑函数将回归值映射为概率值&＃xff0c;实现了对分类问题的处理。