作者:亲爱的某某骗子 | 来源:互联网 | 2023-02-01 17:59
Regression
第一步:找模型
(1)线性模型:y=b+∑wixi
x:特征。
xi:特征x的一个属性值。
wi:(weight)对应xi的一个权值。
b:(bias)
input: function.
output:how bad the function is.
L(w,b)=i=1∑n(yi−(b+w⋅xi))2
f∗=argminfL(f)
w∗,b∗=argminw,bL(w,b)
=argminw,bi=1∑n(yi−(b+w⋅xi))2
损失函数只有一个参数w:
w0:随机设
w1=w0−ηdwdL∣w=w0
w2=w0−ηdwdL∣w=w1
...
η:学习率或步长。
多个参数时,同理分别更新。
Gradient:∇L=[∂w∂L,∂b∂L,...]T
过拟合(overfitting):在训练时效果很好,但在测试时效果不好。
Regularization:
L(w,b)=i=1∑n(yi−(b+w⋅xi))2+λ∑(wi)2
当wi越小时,函数比较平滑,比较好,但不能过于平滑。(原因:噪声的影响比较小)b和平滑程度无关。