吴恩达logistic回归笔记

1.决策边界不是训练集的属性&＃xff0c;而是假设本身及其参数的属性&＃xff0c;只有给的了参数向量&＃xff0c;决策边界就确定了。我们不是用训练集来定义决策边界的&＃xff0c;而是用训练集来拟合决策边界&＃xff0c;一旦有了确定的参数&＃xff0c;就有了确定的决策边界。

2.线性回归的代价函数

逻辑回归的代价函数 &＃xff08;逻辑回归用于解决分类问题&＃xff0c;即0-1分类&＃xff09;


h(θ)为预测值&＃xff0c;当预测值h(θ)与真实值y不一致时&＃xff0c;比如&＃xff1a;h(θ)&＃61;1&＃xff0c;但y&＃61;0&＃xff0c;则损失函数会趋于无穷大&＃xff0c;如下图

通过梯度下降优化参数

对J(θ)求导&＃xff0c;到的的公式和线性梯度下降算法保持一致
线性回归梯度下降函数&＃xff1a;

逻辑回归梯度下降函数&＃xff1a;

3. 对于一对多的分类问题&＃xff0c;可以看做N个二分类问题&＃xff0c;对每个类构造N个分类器&＃xff0c;输入x后&＃xff0c;从这N个分类器的结果中选择概率值最高的的作为最后的预测结果

4 通过向代价函数中引入正则化来解决欠拟合&＃xff0c;过拟合的问题
对于过拟合&＃xff0c;主要有两种解决方法&＃xff1a;&＃xff08;1&＃xff09;删除一些相关程度不是太高的特征
&＃xff08;2&＃xff09;含有所有特征量的情况下&＃xff0c;降低θj值&＃xff0c;当θj值趋于0时&＃xff0c;可以得到等同于方法&＃xff08;1&＃xff09;的效果
在采取方法&＃xff08;2&＃xff09;的情况下&＃xff0c;我们应修改我们的代价函数如下

引入正则化项后&＃xff0c;每次迭代时θj都会乘以一个比1小的数&＃xff0c;比如θj*0.99&＃xff0c;以此来迭代缩小θj的值&＃xff0c;实现方法&＃xff08;2&＃xff09;