机器学习（六）——l1，l2正则化以及ElasticNet

1. Ridge Regression

上图的公式 &＃43;后面是惩罚项&＃xff0c;用来保证泛化能力的&＃xff1b;&＃43; 前面是我们的损失函数&＃xff0c;用来保证我们的拟合效果的&＃xff0c;而α是一个参数&＃xff0c;用来让你决定更看重正确性还是泛化性&＃xff0c;|| | |这个代表加和&＃xff0c;即w0&＃43;w1&＃43;…
对于泛化性和正确性的评估&＃xff1a;
当我们有数据时&＃xff0c;把它分为两部分&＃xff0c;训练集和测试集&＃xff0c;一般训练集比较多
正确性&＃xff1a;通过模型对训练集里的数据求一下正确性&＃xff0c;看拟合程度怎么样
泛化性&＃xff1a;通过模型对测试集里的数据来看正确性怎么样&＃xff0c;

代码实现1&＃xff1a;
官网&＃xff1a;https://scikit-learn.org/stable/modules/linear_model.html#ridge-regression

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.linear_model import SGDRegressorX &＃61; 2 * np.random.rand(100, 1)
y &＃61; 4 &＃43; 3 * X &＃43; np.random.randn(100, 1)ridge_reg &＃61; Ridge(alpha&＃61;1, solver&＃61;&＃39;auto&＃39;)
ridge_reg.fit(X, y)
# 预测
print(ridge_reg.predict([[1.5]]))
# 截距
print(ridge_reg.intercept_)
# 参数
print(ridge_reg.coef_)


我们来看一下Ridge的参数&＃xff1a;

alpha&＃xff1a;就是惩罚项里的参数&＃xff0c;用来决定更看重正确性还是泛化性
fit_intercept &＃xff1a;截距&＃xff0c;如果为true&＃xff0c;则会产生w0
normalize&＃xff1a; 是否归一化
max_inter&＃xff1a;最大迭代次数
tol&＃xff1a;阈值&＃xff0c;就是用来控制梯度的&＃xff0c;当梯度小于阈值后就收敛停止了&＃xff0c;当到达最大迭代次数后&＃xff0c;不管有没有小于阈值都会认为收敛了&＃xff0c;停止了
solver&＃xff1a;用什么方法

auto&＃xff1a;根据你的数据自动为你选择最优的方法
svd&＃xff1a;就是之前讲过的通过线性代数把答案解出来
sag&＃xff1a;随机梯度下降
…还有几个方法&＃xff0c;自己去看

结果&＃xff1a;

从结果我们发现&＃xff0c;这次没有x0&＃xff0c;但是它还是把w0算出来了&＃xff0c;这就是因为上面说的fit_intercept&＃61;True的作用

代码2&＃xff1a;

import numpy as np
from sklearn.linear_model import Ridge
from sklearn.linear_model import SGDRegressorX &＃61; 2 * np.random.rand(100, 1)
y &＃61; 4 &＃43; 3 * X &＃43; np.random.randn(100, 1)# ridge_reg &＃61; Ridge(alpha&＃61;1, solver&＃61;&＃39;auto&＃39;)
# ridge_reg.fit(X, y)
ridge_reg &＃61; SGDRegressor(penalty&＃61;&＃39;l2&＃39;)
ridge_reg.fit(X, y.ravel())
# 预测
print(ridge_reg.predict([[1.5]]))
# 截距
print(ridge_reg.intercept_)
# 参数
print(ridge_reg.coef_)


我们来看一下SGDRegressor的参数&＃xff1a;

loss&＃61;“squared_loss” 平方均值损失
SGDRegressor的方法可以做到和Ridge一样&＃xff0c;只要指定penalty&＃61;" l2 "&＃xff0c;它还可以做另三种&＃xff0c;自己取源码中看啊

y.ravel()把列向量拉平变成行向量

结果&＃xff1a;

2. Lasso

代码实现&＃xff1a;也是有两种方法

import numpy as np
from sklearn.linear_model import Lasso
from sklearn.linear_model import SGDRegressorX &＃61; 2 * np.random.rand(100, 1)
y &＃61; 4 &＃43; 3 * X &＃43; np.random.randn(100, 1)ridge_reg &＃61; Lasso(alpha&＃61;0.15)
ridge_reg.fit(X, y)
# 预测
print(ridge_reg.predict([[1.5]]))
# 截距
print(ridge_reg.intercept_)
# 参数
print(ridge_reg.coef_)
ridge_reg &＃61; SGDRegressor(penalty&＃61;&＃39;l1&＃39;)
ridge_reg.fit(X, y.ravel())
# 预测
print(ridge_reg.predict([[1.5]]))
# 截距
print(ridge_reg.intercept_)
# 参数
print(ridge_reg.coef_)


3. Elastic-Net

它就是一个模型&＃xff0c;既包含l1&＃xff0c;又包含l2&＃xff0c;当你不知道用里正则化还是l2的时候可以用Elastic Net&＃xff0c;实际上用l1还是l2取决于你的需求。
有个有意思的特点&＃xff1a;l1 会使w有的接近于0&＃xff0c;有的接近于1&＃xff1b;l2使w整体偏小

上图的公式我们也能看出来它结合了Ridge 和 Lasso两个公式&＃xff0c;其中ap决定 l1 的权重&＃xff0c;a&＃xff08;1-p&＃xff09;/2 决定l2 的权重

代码实现&＃xff1a;

import numpy as np
from sklearn.linear_model import ElasticNet
from sklearn.linear_model import SGDRegressorX &＃61; 2 * np.random.rand(100, 1)
y &＃61; 4 &＃43; 3 * X &＃43; np.random.randn(100, 1)elastic_net &＃61; ElasticNet(alpha&＃61;0.0001, l1_ratio&＃61;0.15)
elastic_net.fit(X, y)
# 预测
print(elastic_net.predict([[1.5]]))ridge_reg &＃61; SGDRegressor(penalty&＃61;&＃39;elasticnet&＃39;, n_iter&＃61;1000)
ridge_reg.fit(X, y.ravel())
# 预测
print(ridge_reg.predict([[1.5]]))


4. 总结