影响目标变量的因素&＃xff1a;
1.4、多元线性回归
现实生活中&＃xff0c;往往影响结果 y 的因素不止一个&＃xff0c;这时 x 就从一个变成了 n 个&＃xff0c;X1,X2…Xn同时简单线性回归的公式也就不在适用了。多元线性回归公式如下&＃xff1a;
2、正规方程
2.1、最小二乘法矩阵表示
最小二乘法可以将误差方程转化为有确定解的代数方程组&＃xff08;其方程式数目正好等于未知数的个数&＃xff09;&＃xff0c;从而可求解出这些未知参数。这个有确定解的代数方程组称为最小二乘法估计的正规方程。公式如下&＃xff1a;
最小二乘法公式:
2.2、多元一次方程举例
三元一次方程 :
通过矩阵可以直接求解: 
2.4、凸函数判定
判定损失函数是凸函数的好处在于我们可能很肯定的知道我们求得的极值即最优解&＃xff0c;一定是全局最优解。
判定凸函数的方式: 判定凸函数的方式非常多&＃xff0c;其中一个方法是看黑塞矩阵是否是半正定的。
- 黑塞矩阵(hessian matrix)是由目标函数在点 X 处的二阶偏导数组成的对称矩阵。在导函数的基础上再次对θ来求偏导&＃xff0c;结果全为正时为正定,如果结果大于等于0, 就是半正定。判定极小值.
- 在机器学习中往往损失函数都是凸函数&＃xff0c;到深度学习中损失函数往往是非凸函数&＃xff0c;即找到的解未必是全局最优&＃xff0c;只要模型堪用就好&＃xff01;机器学习特点是&＃xff1a;不强调模型 100% 正确&＃xff0c;只要是有价值的&＃xff0c;堪用的&＃xff0c;就Okay&＃xff01;
3、线性回归算法推导
人类社会很多事情都被大自然这种神奇的力量只配置&＃xff1a;身高、体重、智商、相貌……这种神秘的力量就叫正态分布。大数学家高斯&＃xff0c;深入研究了正态分布&＃xff0c;最终推导出了线性回归的原理&＃xff1a;最小二乘法&＃xff01;
3.1、误差分析
误差等于第 i 个样本实际的值减去预测的值&＃xff0c;公式可以表达为如下&＃xff1a;
正态分布 公式如下&＃xff1a;
随着参数μ和σ变化&＃xff0c;概率分布也产生变化。 下面重要的步骤来了&＃xff0c;我们要把一组数据误差出现的总似然&＃xff0c;也就是一组数据之所以对应误差出现的整体可能性表达出来了&＃xff0c;因为数据的误差我们假设服从一个高斯分布&＃xff0c;并且通过截距项来平移整体分布的位置从而使得μ&＃61;0.
3.4、误差总似然, 最小二乘法MSE
这种最小二乘法估计&＃xff0c;其实我们就可以认为&＃xff0c;假定了误差服从正太分布&＃xff0c;认为样本误差的出现是随机的&＃xff0c;独立的&＃xff0c;使用最大似然估计思想&＃xff0c;利用损失函数最小化 MSE 就能求出最优解&＃xff01;所以反过来说&＃xff0c;如果我们的数据误差不是互相独立的&＃xff0c;或者不是随机出现的&＃xff0c;那么就不适合去假设为正太分布&＃xff0c;就不能去用正太分布的概率密度函数带入到总似然的函数中&＃xff0c;故而就不能用 MSE 作为损失函数去求解最优解了&＃xff01;
还有譬如假设误差服从泊松分布&＃xff0c;或其他分布那就得用其他分布的概率密度函数去推导出损失函数了。
所以有时我们也可以把线性回归看成是广义线性回归。比如&＃xff0c;逻辑回归&＃xff0c;泊松回归都属于广义线性回归的一种&＃xff0c;这里我们线性回归可以说是最小二乘线性回归。
4、线性回归实战
一元一次方程&＃xff0c;在机器学习中一元表示一个特征&＃xff0c;b表示截距&＃xff0c;y表示目标值。
import numpy as np
import matplotlib.pyplot as plt
# 转化成矩阵
X &＃61; np.linspace(0,10,num &＃61; 30).reshape(-1,1)
# 斜率和截距&＃xff0c;随机生成
w &＃61; np.random.randint(1,5,size &＃61; 1)
b &＃61; np.random.randint(1,10,size &＃61; 1)
# 根据一元一次方程计算目标值y&＃xff0c;并加上“噪声”&＃xff0c;数据有上下波动~
y &＃61; X * w &＃43; b &＃43; np.random.randn(30,1)
plt.scatter(X,y)
# 重新构造X&＃xff0c;b截距&＃xff0c;相当于系数w0&＃xff0c;前面统一乘以1
X &＃61; np.concatenate([X,np.full(shape &＃61; (30,1),fill_value&＃61; 1)],axis &＃61; 1)
# 正规方程求解
θ &＃61; np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y).round(2) # 根据公式计算
print(&＃39;一元一次方程真实的斜率和截距是&＃xff1a;&＃39;,w, b)
print(&＃39;通过正规方程求解的斜率和截距是&＃xff1a;&＃39;,θ)
# 根据求解的斜率和截距绘制线性回归线型图
plt.plot(X[:,0],X.dot(θ),color &＃61; &＃39;green&＃39;)
4.2、多元线性回归
二元一次方程&＃xff0c;x1, x2相当于两个特征&＃xff0c;b是方程截距
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d.axes3d import Axes3D # 绘制三维图像
# 转化成矩阵
x1 &＃61; np.random.randint(-150,150,size &＃61; (300,1))
x2 &＃61; np.random.randint(0,300,size &＃61; (300,1))
# 斜率和截距&＃xff0c;随机生成
w &＃61; np.random.randint(1,5,size &＃61; 2)
b &＃61; np.random.randint(1,10,size &＃61; 1)
# 根据二元一次方程计算目标值y&＃xff0c;并加上“噪声”&＃xff0c;数据有上下波动~
y &＃61; x1 * w[0] &＃43; x2 * w[1] &＃43; b &＃43; np.random.randn(300,1)
fig &＃61; plt.figure(figsize&＃61;(9,6))
ax &＃61; Axes3D(fig)
ax.scatter(x1,x2,y) # 三维散点图
ax.view_init(elev&＃61;10, azim&＃61;-20) # 调整视角
# 重新构造X&＃xff0c;将x1、x2以及截距b&＃xff0c;相当于系数w0&＃xff0c;前面统一乘以1进行数据合并
X &＃61; np.concatenate([x1,x2,np.full(shape &＃61; (300,1),fill_value&＃61;1)],axis &＃61; 1)
w &＃61; np.concatenate([w,b])
# 正规方程求解
θ &＃61; np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y).round(2) # 计算公式
print(&＃39;二元一次方程真实的斜率和截距是&＃xff1a;&＃39;,w)
print(&＃39;通过正规方程求解的斜率和截距是&＃xff1a;&＃39;,θ.reshape(-1))
# # 根据求解的斜率和截距绘制线性回归线型图
x &＃61; np.linspace(-150,150,100)
y &＃61; np.linspace(0,300,100)
z &＃61; x * θ[0] &＃43; y * θ[1] &＃43; θ[2]
ax.plot(x,y,z ,color &＃61; &＃39;red&＃39;)
4.3、机器学习库scikit-learn
一元线性回归:
from sklearn.linear_model import LinearRegression
import numpy as np
import matplotlib.pyplot as plt
# 转化成矩阵
X &＃61; np.linspace(0,10,num &＃61; 30).reshape(-1,1)
# 斜率和截距&＃xff0c;随机生成
w &＃61; np.random.randint(1,5,size &＃61; 1)
b &＃61; np.random.randint(1,10,size &＃61; 1)
# 根据一元一次方程计算目标值y&＃xff0c;并加上“噪声”&＃xff0c;数据有上下波动~
y &＃61; X * w &＃43; b &＃43; np.random.randn(30,1)
plt.scatter(X,y)
# 使用scikit-learn中的线性回归求解
model &＃61; LinearRegression() # 使用模型
model.fit(X,y)
w_ &＃61; model.coef_
b_ &＃61; model.intercept_
print(&＃39;一元一次方程真实的斜率和截距是&＃xff1a;&＃39;,w, b)
print(&＃39;通过scikit-learn求解的斜率和截距是&＃xff1a;&＃39;,w_,b_)
plt.plot(X,X.dot(w_) &＃43; b_,color &＃61; &＃39;green&＃39;)
多元线性回归:
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d.axes3d import Axes3D
from sklearn.linear_model import LinearRegression
# 转化成矩阵
x1 &＃61; np.random.randint(-150,150,size &＃61; (300,1))
x2 &＃61; np.random.randint(0,300,size &＃61; (300,1))
# 斜率和截距&＃xff0c;随机生成
w &＃61; np.random.randint(1,5,size &＃61; 2)
b &＃61; np.random.randint(1,10,size &＃61; 1)
# 根据二元一次方程计算目标值y&＃xff0c;并加上“噪声”&＃xff0c;数据有上下波动~
y &＃61; x1 * w[0] &＃43; x2 * w[1] &＃43; b &＃43; np.random.randn(300,1)
fig &＃61; plt.figure(figsize&＃61;(9,6))
ax &＃61; Axes3D(fig)
ax.scatter(x1,x2,y) # 三维散点图
ax.view_init(elev&＃61;10, azim&＃61;-20) # 调整视角
# 重新构造X&＃xff0c;将x1、x2以及截距b&＃xff0c;相当于系数w0&＃xff0c;前面统一乘以1进行数据合并
X &＃61; np.concatenate([x1,x2],axis &＃61; 1)
# 使用scikit-learn中的线性回归求解
model &＃61; LinearRegression() # 使用模型
model.fit(X,y)
w_ &＃61; model.coef_.reshape(-1)
b_ &＃61; model.intercept_
print(&＃39;二元一次方程真实的斜率和截距是&＃xff1a;&＃39;,w,b) # [2, 4] [1]
print(&＃39;通过scikit-learn求解的斜率和截距是&＃xff1a;&＃39;,w_,b_) # [1.99997 3.99976] [0.88129]
# 根据求解的斜率和截距绘制线性回归线型图
x &＃61; np.linspace(-150,150,100)
y &＃61; np.linspace(0,300,100)
z &＃61; x * w_[0] &＃43; y * w_[1] &＃43; b_
ax.plot(x,y,z ,color &＃61; &＃39;green&＃39;)
京公网安备 11010802041100号