之前的博客对梯度下降和正规方程组都做了详细的介绍,突然发现并没有对这两种方法进行对比,本篇博文就是对这两种方法的优缺点进行分析,并帮助我们确定在何种情况下使用何种方法。
对于m个训练样本,n个特征值来说。
梯度下降的方法缺点:
(1)需要选择学习速率a
(2)需要进行很多次的迭代
而这些都是正规方程组不需要进行的操作,但是正规方程组的缺点是:
(1)我们计算矩阵的逆运算时需要的时间复杂度是矩阵维度的三次方,因此当n过大时,使用正规方程组的时间会很长
【n上百,上千对于现在的计算机来说运算速度还是很快的,但n>10000时,就应该犹豫是否继续采用正规方程组。】
(2)正规方程组对于复杂的算法并不适用,比如分类算法中的逻辑回归,正规方程组的方法并不适用。
总结:选择何种方法需要根据n的大小,以及具体的算法进行分析决定。