线性回归算法原理及实现

导读

今天是该系列第四篇文章&＃xff0c;介绍线归原理及实现。

    由该系列第一篇文章中的逻辑回归出发&＃xff0c;来讲讲本文的方法(其实正常的顺序应该是先讲线归再讲逻辑回归hhh)。

    回归是是另一类重要的监督学习算法。与分类问题不同的是&＃xff0c;在回归问题中&＃xff0c;其目标是通过对训练样本的学习&＃xff0c;得到从样本特征到样本标签之间的映射&＃xff0c;其中&＃xff0c;在该性质的问题中&＃xff0c;样本标签是连续值。而本文即将介绍的线性回归中标签与特征之间存在线性相关的关系。

Linear Regression

     线归方程一般可表示为&＃xff1a;

    线性回归模型的性能可通过度量预测值与标签之间的接近程度来得到&＃xff0c;损失函数可以是绝对损失或者平方损失。其中平方损失函数为&＃xff1a; 

    由于平方损失处处可导&＃xff0c;在这里使用其作为损失函数&＃xff0c;用一定数量的样本可将其表示为&＃xff1a;

    求解目标就是使得损失函数取最小值的w_j。

最小二乘法---矩阵法

     可用最小二乘法里的矩阵法来进行求解&＃xff0c;该方法不同于迭代法和代数法&＃xff0c;但最终目标都是一致的&＃xff0c;预测函数可表示为&＃xff1a;

    Y对W求导可得&＃xff1a;

    梯度为0时可整理得&＃xff1a;

    现在可以让我们用代码实现求解了&＃xff1a;

import numpy as np
def lr_least_square(feature, label):&＃39;&＃39;&＃39;input: feature特征label标签output: w权重系数&＃39;&＃39;&＃39;w &＃61; (feature.T * feature).I * feature.T * labelreturn w


存在的问题

     可在处理较为复杂的数据的回归问题时&＃xff0c;普通的线性回归算法通常会出现预测精度不够&＃xff0c;再加上如果模型中的特征之间有相关的关系&＃xff0c;就会增加模型的复杂程度&＃xff0c;并且对整个模型的解释能力并没有提高&＃xff0c;用普通最小二乘法估计模型参数&＃xff0c;往往参数估计的方差太大&＃xff0c;此时求解出来的模型就很不稳定。这就需要对数据中的特征进行选择&＃xff0c;而Ridge回归和Lasso回归就是属于通过正则化方法改进的线归方法&＃xff0c;可实现对特征的选择。

Ridge Regression

     引入L2正则项的目标函数为&＃xff1a;

Lasso Regression

     引入L1正则项的目标函数为&＃xff1a;

    与岭回归不同的是&＃xff0c;上述的目标函数在w_j&＃61;0处是不可导的&＃xff0c;因此传统的基于梯度的方法不能直接应用在上述形式的函数求解上。为了求解这样的问题&＃xff0c;一些近似的优化算法被采用&＃xff0c;或者可以采用一些简单的方法来近似这样的优化过程。

求解Ridge Regression

     本文以Ridge Regression为例来进行求解&＃xff0c;其中λ为超参&＃xff0c;通过确定λ的值可以使得在方差和偏差之间达到平衡&＃xff1a;随着λ的增大&＃xff0c;模型方差减小而偏差增大。

    求解方法与求解普通的线归一致&＃xff0c;也通过矩阵法求解&＃xff0c;对W求导后得&＃xff1a;

    令导数为0&＃xff0c;可得&＃xff1a;

    其中I为单位对角矩阵&＃xff0c;求解代码如下&＃xff1a;

import numpy as np
def rr_least_square(feature, label, lam):&＃39;&＃39;&＃39;input: feature特征label标签output: w权重系数&＃39;&＃39;&＃39;n &＃61; np.shape(feature)[1]w &＃61; (feature.T * feature &＃43; lam * np.mat(np.eye(n))).I * feature.T * labelreturn w


     到这里整个流程基本就结束了~

- end -