grads相关系数_Lasso回归

正则化与L1范数

正则化是防止模型过拟合的核心技术之一&＃xff0c;关于欠拟合和过拟合的问题&＃xff0c;这里笔者就不再展开来说&＃xff0c;不了解的朋友可以看看笔者很早之前写的一篇文章&＃xff1a;谈谈过拟合。

总的来说&＃xff0c;监督机器学习的核心原理莫过于如下公式&＃xff1a;

该公式可谓是机器学习中最核心最关键最能概述监督学习的核心思想的公式了&＃xff1a;所有的有监督机器学习&＃xff0c;无非就是正则化参数的同时最小化经验误差函数。最小化经验误差是为了极大程度的拟合训练数据&＃xff0c;正则化参数是为了防止过分的拟合训练数据。你看&＃xff0c;多么简约数学哲学。正如之前所说&＃xff0c;监督机器学习是为了让我们建立的模型能够发现数据中普遍的一般的规律&＃xff0c;这个普遍的一般的规律无论对于训练集还是未知的测试集&＃xff0c;都具有较好的拟合性能。

继续回到公式。第一项经验误差函数在机器学习中无疑地位重要&＃xff0c;但它不是笔者今天要讲的&＃xff0c;今天要讲的是公式的第二项&＃xff1a;正则化项。第二项中 λ 为正则化系数&＃xff0c;通常是大于 0 的&＃xff0c;是一种调整经验误差项和正则化项之间关系的系数。λ &＃61; 0 时相当于该公式没有正则化项&＃xff0c;模型全力讨好第一项&＃xff0c;将经验误差进行最小化&＃xff0c;往往这也是最容易发生过拟合的时候。随着 λ 逐渐增大&＃xff0c;正则化项在模型选择中的话语权越来越高&＃xff0c;对模型的复杂性的惩罚也越来越厉害。所以&＃xff0c;在实际的训练过程中&＃xff0c;λ 作为一种超参数很大程度上决定了模型生死。

系数 λ 说完了&＃xff0c;然后就是正则化项&＃xff0c;正则化项形式有很多&＃xff0c;但常见的也就是 L1 和 L2 正则化。本节我们先来看L1。

在说常见的 L1 和 L2 之前&＃xff0c;先来看一下 L0 正则化。L0 正则化也就是 L0 范数&＃xff0c;即矩阵中所有非 0 元素的个数。如何我们在正则化过程中选择了 L0 范数&＃xff0c;那该如何理解这个 L0 呢&＃xff1f;其实非常简单&＃xff0c;L0 范数就是希望要正则化的参数矩阵 W 大多数元素都为 0。如此简单粗暴&＃xff0c;让参数矩阵 W 大多数元素为 0 就是实现稀疏而已。说到这里&＃xff0c;权且打住&＃xff0c;想必同样在机器学习领域摸爬滚打的你一定想问&＃xff0c;据我所知稀疏性不通常都是用 L1 来实现的吗&＃xff1f;这里个中缘由笔者不去细讲了&＃xff0c;简单说结论&＃xff1a;在机器学习领域&＃xff0c;L0 和 L1 都可以实现矩阵的稀疏性&＃xff0c;但在实践中&＃xff0c;L1 要比 L0 具备更好的泛化求解特性而广受青睐。先说了 L1&＃xff0c;但还没解释 L1 范数是什么&＃xff0c;L1 范数就是矩阵中各元素绝对值之和&＃xff0c;正如前述所言&＃xff0c;L1 范数通常用于实现参数矩阵的稀疏性。至于为啥要稀疏&＃xff0c;稀疏有什么用&＃xff0c;通常是为了特征选择和易于解释方面的考虑。

Lasso

Lasso的全称叫做Least absolute shrinkage and selection operator&＃xff0c;直译过来为最小收缩与选择算子。其本质就是在常规的线性回归的基础上对参数加了一个L1正则化约束。其形式如下所示&＃xff1a;

规约到线性回归模型上&＃xff0c;上式的第一项就是MSE损失&＃xff0c;第二项则是L1正则化项。我们同样按照之前线性回归的打法来对其进行实现&＃xff0c;只是需要注意一下L1正则化项的求导处理。我们来看具体的实现代码。

导入相关package并读入示例数据&＃xff1a;

import numpy as np

import pandas as pd

data &＃61; np.genfromtxt(&＃39;mystery.dat&＃39;, delimiter &＃61; &＃39;,&＃39;)

# 选择特征与标签

x &＃61; data[:,0:100]

y &＃61; data[:,100].reshape(-1,1)

# 加一列

X &＃61; np.column_stack((np.ones((x.shape[0],1)),x))

# 划分训练集与测试集

X_train, y_train &＃61; X[:70], y[:70]

X_test, y_test &＃61; X[70:], y[70:]

print(X_train.shape, y_train.shape, X_test.shape, y_test.shape)

定义参数初始化函数&＃xff1a;

# 定义参数初始化函数

def initialize(dims):

w &＃61; np.zeros((dims, 1))

b &＃61; 0

return w, b

定义符号函数并进行向量化&＃xff0c;用于对L1正则化项的梯度计算&＃xff1a;

# 定义符号函数

def sign(x):

if x > 0:

return 1

elif x <0:

return -1

else:

return 0

# 利用numpy对符号函数进行向量化

vec_sign &＃61; np.vectorize(sign)

vec_sign(np.zeros((3,1)))

在MSE损失函数的基础上定义Lasso损失&＃xff1a;

# 定义lasso损失函数

def l1_loss(X, y, w, b, alpha):

num_train &＃61; X.shape[0]

num_feature &＃61; X.shape[1]

y_hat &＃61; np.dot(X, w) &＃43; b

loss &＃61; np.sum((y_hat-y)**2)/num_train &＃43; np.sum(alpha*abs(w))

dw &＃61; np.dot(X.T, (y_hat-y)) /num_train &＃43; alpha * vec_sign(w)

db &＃61; np.sum((y_hat-y)) /num_train

return y_hat, loss, dw, db

定义Lasso训练过程函数&＃xff1a;

# 定义训练过程

def lasso_train(X, y, learning_rate&＃61;0.01, epochs&＃61;300):

loss_list &＃61; []

w, b &＃61; initialize(X.shape[1])

for i in range(1, epochs):

y_hat, loss, dw, db &＃61; l1_loss(X, y, w, b, 0.1)

w &＃43;&＃61; -learning_rate * dw

b &＃43;&＃61; -learning_rate * db

loss_list.append(loss)

if i % 50 &＃61;&＃61; 0:

print(&＃39;epoch %d loss %f&＃39; % (i, loss))

params &＃61; {

&＃39;w&＃39;: w,

&＃39;b&＃39;: b

}

grads &＃61; {

&＃39;dw&＃39;: dw,

&＃39;db&＃39;: db

}

return loss, loss_list, params, grads

执行训练&＃xff1a;

# 执行训练示例

loss, loss_list, params, grads &＃61; lasso_train(X_train, y_train, 0.01, 500)

可以看到&＃xff0c;在L1的约束下&＃xff0c;在训练过程中有不少对标签贡献率低的特征的系数都变成了0。这就是L1的作用&＃xff0c;一定程度上可以进行特征选择和实现稀疏化。

最后可以简单写一个Lasso回归的class来对上述过程进行封装&＃xff1a;

import numpy as np

from sklearn.metrics import r2_score

class Lasso():

def __init__(self):

pass

def prepare_data(self):

data &＃61; np.genfromtxt(&＃39;./example.dat&＃39;, delimiter &＃61; &＃39;,&＃39;)

x &＃61; data[:, 0:100]

y &＃61; data[:, 100].reshape(-1, 1)

X &＃61; np.column_stack((np.ones((x.shape[0], 1)), x))

X_train, y_train &＃61; X[:70], y[:70]

X_test, y_test &＃61; X[70:], y[70:]

return X_train, y_train, X_test, y_test

def initialize_params(self, dims):

w &＃61; np.zeros((dims, 1))

b &＃61; 0

return w, b

def sign(self, x):

if x > 0:

return 1

elif x <0:

return -1

else:

return 0

def l1_loss(self, X, y, w, b, alpha):

num_train &＃61; X.shape[0]

num_feature &＃61; X.shape[1]

y_hat &＃61; np.dot(X, w) &＃43; b

loss &＃61; np.sum((y_hat - y) ** 2) / num_train &＃43; np.sum(alpha*abs(w))

dw &＃61; np.dot(X.T, (y_hat - y)) / num_train &＃43; alpha*np.vectorize(self.sign)(w)

db &＃61; np.sum((y_hat - y)) / num_train

return y_hat, loss, dw, db

def lasso_train(self, X, y, learning_rate, epochs):

loss_list &＃61; []

w, b &＃61; self.initialize_params(X.shape[1])

for i in range(1, epochs):

y_hat, loss, dw, db &＃61; self.l1_loss(X, y, w, b, 0.1)

w &＃43;&＃61; -learning_rate * dw

b &＃43;&＃61; -learning_rate * db

loss_list.append(loss)

if i % 300 &＃61;&＃61; 0:

print(&＃39;epoch %d loss %f&＃39; % (i, loss))

params &＃61; {

&＃39;w&＃39;: w,

&＃39;b&＃39;: b

}

grads &＃61; {

&＃39;dw&＃39;: dw,

&＃39;db&＃39;: db

}

return loss, loss_list, params, grads

def predict(self, X, params):

w &＃61; params[&＃39;w&＃39;]

b &＃61; params[&＃39;b&＃39;]

y_pred &＃61; np.dot(X, w) &＃43; b

return y_pred

if __name__ &＃61;&＃61; &＃39;__main__&＃39;:

lasso &＃61; Lasso()

X_train, y_train, X_test, y_test &＃61; lasso.prepare_data()

loss, loss_list, params, grads &＃61; lasso.lasso_train(X_train, y_train, 0.01, 3000)

print(params)

y_pred &＃61; lasso.predict(X_test, params)

print(r2_score(y_test, y_pred))

以上是基于numpy的手动实现Lasso的过程&＃xff0c;下面再来看Lasso在sklearn中的实现。

# 导入线性模型模块

from sklearn import linear_model

# 创建lasso模型实例

sk_lasso &＃61; linear_model.Lasso(alpha&＃61;0.1)

# 对训练集进行拟合

sk_lasso.fit(X_train, y_train)

# 打印模型相关系数

print("sklearn Lasso intercept :", sk_lasso.intercept_)

print("\nsklearn Lasso coefficients :\n", sk_lasso.coef_)

print("\nsklearn Lasso nu