李宏毅机器学习（二）——回归案例分析RegressionCaseStudy（附上代码Python版本，Scala版本后续加上，见文尾另一博客）

回归案例分析&＃xff08;按思路理解梳理一下&＃xff09;&＃xff1a;

以pokemon来分析回归问题&＃xff0c;预测poken的战斗力&＃xff1a;

首先想到的是一个线性模型&＃xff0c;wi表示权重&＃xff0c;xi我们可以理解成特征&＃xff0c;b是偏差。对于预测的数值我们可以写成sum(wi*xi)&＃43;b,

预测问题的评判我们可以看预测值与实际值的差距&＃xff0c;具体我们可以表示如下图&＃xff0c;损失函数为平方损失&＃xff1a;

具体优化目标&＃xff08;没有加正则项&＃xff09;可以表示为&＃xff1a;

接下来需要对目标函数进行优化&＃xff0c;找到最优的w&＃xff0c;b。我们想到了梯度下降法&＃xff08;梯度下降法、随机梯度下降法、牛顿法的区别与联系后续说&＃xff09;。如下图表示&＃xff1a;


在线性回归问题中不存在局部最优&＃xff0c;是因为线性回归是凸优化问题。

但会有过拟合问题&＃xff0c;比如模型太复杂&＃xff0c;数据量太少等原因引起的。一个直观的表现是在训练集上误差较小&＃xff0c;在测试集上误差较大。如图&＃xff1a;

对于过拟合的解决方法参考之前blog为什么L1可以做特征选择&＃xff0c;其系数为0。这里以正则项举例&＃xff1a;

平滑函数会更好一些&＃xff08;我的理解就是损失函数加入了正则项&＃xff0c;防止过拟合现象的产生&＃xff09;

但不是正则项系数越大越好&＃xff0c;选择合适的最好。该文例子如下表示&＃xff1a;

可能有人问&＃xff0c;代码呢&＃xff0c;别急。见之前一博客&＃xff0c;从线性回归说起逻辑回归与FM马上&＃xff1a;

#Ref: https://www.beibq.cn/book/cw0v22-1583
import tensorflow as tf
import numpy as npx_data &＃61; np.float32(np.random.rand(2,100)) #2行100列
y_data &＃61; np.dot([0.100,0.200], x_data) &＃43; 0.300 #1行2列　×　2行100列b &＃61; tf.Variable(tf.zeros([1]))
W &＃61; tf.Variable(tf.random_uniform([1,2],-1.0,1.0)) #y &＃61; w*x &＃43; b,x.shape &＃61; (2,100),b.shape&＃61;(1,1),so w.shape&＃61;(1,2)
#y &＃61; tf.multiply(W, x_data) &＃43; b
y &＃61; tf.matmul(W, x_data) &＃43; b# min loss
loss &＃61; tf.reduce_mean(tf.square(y - y_data))
optimizer &＃61; tf.train.GradientDescentOptimizer(0.5)
train &＃61; optimizer.minimize(loss)#variable init,定义了variable这一步必须要初始化
init &＃61; tf.initialize_all_variables()#start graph
sess &＃61; tf.Session()
sess.run(init)#fit
for step in range(0,201):sess.run(train)if step%20 &＃61;&＃61; 0:print(step, sess.run(loss), sess.run(W), sess.run(b))