非线性回归——非线性函数最小二乘拟合

1.1 可转为线性回归

上一篇文章曲线拟合——最小二乘拟合中已近详细介绍了线性回归的方法。
并且提到了&＃xff0c;对于非线性模型中&＃xff0c;有3种类型可以线性化&＃xff1a;指数方程&＃xff0c;幂方程&＃xff0c;饱和增长率方程。分别如下&＃xff1a;
1.指数方程:y&＃61;a1ea2xy &＃61; a_1e^{a_2x}y&＃61;a1​ea2​x
2.幂方程:y&＃61;a1xa2y &＃61; a_1x^{a_2}y&＃61;a1​xa2​
2.饱和增长率方程:y&＃61;a1xx&＃43;a2y &＃61; a_1\frac{x}{x&＃43;a_2}y&＃61;a1​x&＃43;a2​x​

可将其转化为线性形式然后处理。具体方法这里不再细讲&＃xff0c;接下来还是主要讲不能线性化的模型的处理方法。

1.2 非线性回归

对于不能线性化的模型&＃xff0c;我们又该如何处理呢&＃xff1f;

以下式为例&＃xff1a;
y&＃61;a0(1−e−a1x)y &＃61; a_0(1-e^{-a_1x})y&＃61;a0​(1−e−a1​x)

如果给定一组数据(x1,y1),(x2,y2),(x3,y3),...,(xn,yn)(x_1,y_1),(x_2,y_2),(x_3,y_3),...,(x_n,y_n)(x1​,y1​),(x2​,y2​),(x3​,y3​),...,(xn​,yn​)&＃xff0c;要拟合上述曲线的形式&＃xff0c;我们依然采用残差平方和最小原则&＃xff0c;残差平方和计算如下&＃xff1a;
Sr&＃61;∑i&＃61;1n[yi−a0(1−e−a1xi)]2S_r &＃61; \sum_{i&＃61;1}^{n} {[y_i- a_0(1-e^{-a_1x_i})]^2}Sr​&＃61;i&＃61;1∑n​[yi​−a0​(1−e−a1​xi​)]2

接下来就要注意了&＃xff0c;如果我们依然和之前线性回归中一样&＃xff0c;将上式SrS_rSr​分别对系数a0a_0a0​和a1a_1a1​求偏导&＃xff0c;然后令其为0&＃xff0c;那么得到的方程组将是复杂的非线性方程组&＃xff0c;使得求解a0a_0a0​和a1a_1a1​的值十分困难。

因此&＃xff0c;我们需要寻求其他的处理办法。
接下来介绍两个思路&＃xff1a;
1.高斯一牛顿法&＃xff08;迭代&＃xff09;法。
2.最优化的方法&＃xff1b;

1.2.1 高斯一牛顿法

上面遇到的一大问题就是要解非线性方程组。那我们能不能想办法避免解非线性方程组呢&＃xff1f;
于是就有了如下的高斯一牛顿迭代的方法。
首先&＃xff0c;对于非线性函数模型&＃xff0c;如y&＃61;a0(1−e−a1x)y &＃61; a_0(1-e^{-a_1x})y&＃61;a0​(1−e−a1​x)&＃xff0c;将非线性方程和数据之间的关系表示为一般形式&＃xff08;如果对下面的表示和处理方法不理解的话&＃xff0c;可与“曲线拟合——最小二乘拟合”中“线性回归小结”中所讲的联系起来思考&＃xff09;:
y&＃61;f(xi;a1,a2,...,am)y &＃61; f(x_i;a_1,a_2,...,a_m)y&＃61;f(xi​;a1​,a2​,...,am​)
或
y&＃61;f(xi)y &＃61; f(x_i)y&＃61;f(xi​)

在参数值处&＃xff0c;将上面的非线性模型围绕参数值以泰勒级数展开&＃xff0c;并省略一阶导数后面的项。于是&＃xff0c;对于有两个参数的情况有

其中&＃xff0c;下标为j的是初始参数值&＃xff08;上一次迭代的参数值&＃xff09;&＃xff0c;下标为j&＃43;1的是预测值。△a0&＃61;a0,j&＃43;1−a0,j\triangle{a_0}&＃61;a_{0,j&＃43;1}-a_{0,j}△a0​&＃61;a0,j&＃43;1​−a0,j​&＃xff0c;△a1&＃61;a1,j&＃43;1−a1,j\triangle{a_1}&＃61;a_{1,j&＃43;1}-a_{1,j}△a1​&＃61;a1,j&＃43;1​−a1,j​。
于是&＃xff0c;就将原非线性模型关于参数进行了线性化。然后将上式代入到y&＃61;f(xi)y &＃61; f(x_i)y&＃61;f(xi​)中&＃xff0c;就得到&＃xff1a;

以矩阵形式表示为&＃xff1a;



将线性最小二乘理论应用于式此&＃xff0c;得到下面的正规方程&＃xff1a;

通过求解该线性方程组可得到$△A$。然后可以用$△A$来计算改进后的参数值:

和

由于泰勒展开并不是精确表示&＃xff0c;所以得到的a0a_0a0​和a1a_1a1​并不准确&＃xff0c;需要通过重复上面的过程&＃xff0c;不断地迭代提高精度&＃xff0c;直到求解过程收敛为止&＃xff0c;收敛条件&＃xff1a;

小于一个可以接受的终止条件&＃xff0c;结束。

同时&＃xff0c;需要注意&＃xff1a;

1.2.2 转为最优化问题处理

我们跳出上面说的&＃xff0c;求偏导然后求解a0a_0a0​和a1a_1a1​的思路。直接想办法&＃xff0c;使残差平方和SrS_rSr​最小。这样&＃xff0c;只要能使残差平方和SrS_rSr​最小&＃xff0c;就能满足残差平方和最小原则&＃xff0c;得到的就是我们想要的拟合结果。

这里&＃xff0c;我们就可以直接利用最优化的方法&＃xff0c;将Sr&＃61;∑i&＃61;1n[yi−a0(1−e−a1xi)]2S_r &＃61; \sum_{i&＃61;1}^{n} {[y_i- a_0(1-e^{-a_1x_i})]^2}Sr​&＃61;∑i&＃61;1n​[yi​−a0​(1−e−a1​xi​)]2作为目标函数&＃xff0c;将其中的a0a_0a0​和a1a_1a1​看作是变量&＃xff0c;想办法要使SrS_rSr​最小&＃xff0c;而使SrS_rSr​最小时的a0a_0a0​和a1a_1a1​的值&＃xff0c;就是我们所寻找的结果。

于是此问题就变成了二维无约束最优化问题。我们可以采用多为无约束最优化搜索方法来系统地调整参数a0a_0a0​和a1a_1a1​&＃xff0c;使SrS_rSr​的值达到最小。具体一些方法可参考在另一篇文章"最优化方法笔记2&＃xff1a;多维无约束最优化"中有介绍&＃xff0c;也可以搜索多维无约束最优化应该有很多介绍的。