python最小二乘法求ab_python_numpy实用的最小二乘法理解

最小二乘法解决的问题&＃xff1a;Ax&＃61;C 无解下的最优解

例子1&＃xff1a;

一条过原点的直线OA&＃xff0c;C是直线外一点&＃xff0c;求C在OA上的投影点P

例子1

例子2&＃xff1a;

已知三个不在一条直线上的点A,B,C&＃xff0c;求一条直线&＃xff0c;使A,B,C到直线的距离和最小

例子2

例子3&＃xff1a;

已知三个不在一条直线上的点A,B,C&＃xff0c;求一点&＃xff0c;到A,B,C的距离和最小

例子3

其实这3个例子的本质都是一样的。都是求未知的数据&＃xff0c;并使得这些求得的数据与实际数据之间误差的平方和为最小。

以第一个例子为例&＃xff1a;

Ax&＃61;C 无解

要求||Ax-C||^2最小

A.TAx&＃39;&＃61;A.TC

x&＃39;&＃61;(A.TA)^(-1)A.TC

P&＃61;Ax&＃39;

公式推导

同理&＃xff0c;例子2&＃xff0c;3中都需要写成Ax&＃61;C 的形式&＃xff0c;求最优解。

只是例子2中的最优解是直线y&＃61;ax&＃43;b中的a&＃xff0c;b。例子3中的最优解是P的坐标P(xp,yp)。

使用程序求例子1&＃xff1a;A(3,1),C(1,3)

CODE

import numpy as np

from matplotlib import pyplot as plt

A &＃61; np.array([[3],[1]])

C &＃61; np.array([[1],[3]])

#x&＃39;&＃61;(A.TA)^(-1)A.TC

B &＃61; A.T.dot(C)

AA &＃61; np.linalg.inv(A.T.dot(A))#求A.T.dot(A)的逆

l&＃61;AA.dot(B)

#P&＃61;Ax&＃39;

P&＃61;A.dot(l)

x&＃61;np.linspace(-2,2,10)#x.shape&＃61;(10,)

x.shape&＃61;(1,10)

#画出直线y&＃61;ax

xx&＃61;A.dot(x)

fig &＃61; plt.figure() #figsize&＃61;(10,6)

ax&＃61; fig.add_subplot(111)

ax.plot(xx[0,:],xx[1,:])

#画出A点

ax.plot(A[0],A[1],&＃39;ko&＃39;)

#画出C点&＃xff0c;P点

ax.plot([C[0],P[0]],[C[1],P[1]],&＃39;r-o&＃39;)

#画出OC线

ax.plot([0,C[0]],[0,C[1]],&＃39;m-o&＃39;)

#画出坐标轴x&＃61;0,y&＃61;0

ax.axvline(x&＃61;0,color&＃61;&＃39;black&＃39;)

ax.axhline(y&＃61;0,color&＃61;&＃39;black&＃39;)

#标写每个点的字母

margin&＃61;0.1

ax.text(A[0]&＃43;margin, A[1]&＃43;margin, r"A",fontsize&＃61;20)

ax.text(C[0]&＃43;margin, C[1]&＃43;margin, r"C",fontsize&＃61;20)

ax.text(P[0]&＃43;margin, P[1]&＃43;margin, r"P",fontsize&＃61;20)

ax.text(0&＃43;margin,0&＃43;margin,r"O",fontsize&＃61;20)

ax.text(0&＃43;margin,4&＃43;margin, r"y",fontsize&＃61;20)

ax.text(4&＃43;margin,0&＃43;margin, r"x",fontsize&＃61;20)

plt.xticks(np.arange(-2,3))

plt.yticks(np.arange(-2,3))

ax.axis(&＃39;equal&＃39;)

plt.show()

结果&＃xff1a;

例子1结果