16_投影矩阵和最小二乘

p=ax=a a^Tb/(a^Ta)
A^TAx’=A^Tb

p=A(A^TA)^-1A^T

思考两个问题，若b在列空间，则 Pb=b①
若b⊥列空间,则Pb=0②
什么向量垂直于列空间？
A转置的零空间

p=Pb=A(A^TA)^-1A^Tb②

列空间里的典型向量是什么？
一个无关组合
A列空间里的向量就是Ax

p=Pb=A(A^TA)^-1A^TAx=b①

p+e=b=Pb+(I-P)b
e是在另一个空间的投影
现在讲怎么样使用它
让我们继续找出上节课最优直线问题

C+D=1
C+2D=2
C+3D=2
Ax=b
[1 1;1 2;1 3][C ; D]=[1;2;3]

MInimize |Ax-b|²=|e|²=e1²+e2²+e3²

这幅图里e在哪里？

Find x’=[C’;D’] ,P

A^TAx’=A^Tb
这时统计和估值上最重要的方程
[1 1 1;1 2 3][1 1 ;1 2;1 3]=[3 6;6 14];
然后把b插进去
[1 1 1;1 2 3][1 1 1;1 2 2;1 3 2]=[3 6 5;6 14 11];

MInimize |Ax-b|²=|e|²=e1²+e2²+e3²=(C+D-1)²+(C+2D-2)²+(C+3D-2)²

这两种方法都可以求C和D
都会得到
3C+6D=5
6C+14D=11
我们得到D=1/2
C=2/3

所以直线为2/3+1/2t=y
通过直线我们可以求出e=b-p
e=[-1/6;2/6;-1/6]
所以有
[-1/6;2/6;-1/6]=[7/6;5/3;13/6]=[1;2;2]
返现e和p是垂直的
可以用点积验证
e还垂直于[1 1 1;1 2 3]列空间中所有的向量
小总结：
两副图
一幅

一幅

描述了同一问题。
曾经提到过一个性质，还没有证明。
如果A是可逆的那么A^TA也可逆。
假设A^TA=0；
∴x一定是零向量。
方法一：x^TA^TAx=0=(Ax)^T(Ax)（长度平方=0）→Ax=0→x=0
为下节课做铺垫
互相垂直的列向量一定线性无关
标准正交向量组
下一节看看这种向量组什么优点
以及如何把普通向量组转化为正交向量组