特征降维之SVD分解

     奇异值分解。特征值分解是一个提取矩阵特征很不错的方法&＃xff0c;但是它只是对方阵而言的&＃xff0c;在现实的世界中&＃xff0c;我们看到的大部分矩阵都不是方阵&＃xff0c;比如说有N个学生&＃xff0c;每个学生有M科成绩&＃xff0c;这样形成的一个N * M的矩阵就不可能是方阵&＃xff0c;我们怎样才能描述这样普通的矩阵呢的重要特征呢&＃xff1f;奇异值分解可以用来干这个事情&＃xff0c;奇异值分解是一个能适用于任意的矩阵的一种分解的方法&＃xff1a;

    假设A是一个N * M的矩阵&＃xff0c;那么得到的U是一个N * N的方阵&＃xff08;里面的向量是正交的&＃xff0c;U里面的向量称为左奇异向量&＃xff09;&＃xff0c;Σ是一个N * M的矩阵&＃xff08;除了对角线的元素都是0&＃xff0c;对角线上的元素称为奇异值&＃xff09;&＃xff0c;V’(V的转置)是一个N * N的矩阵&＃xff0c;里面的向量也是正交的&＃xff0c;V里面的向量称为右奇异向量&＃xff09;&＃xff0c;从图片来反映几个相乘的矩阵的大小可得下面的图片

    那么奇异值和特征值是怎么对应起来的呢&＃xff1f;首先&＃xff0c;我们将一个矩阵A的转置 * A&＃xff0c;将会得到一个方阵&＃xff0c;我们用这个方阵求特征值可以得到&＃xff1a;    这里得到的v&＃xff0c;就是我们上面的右奇异向量。此外我们还可以得到&＃xff1a;

    这里的σ就是上面说的奇异值&＃xff0c;u就是上面说的左奇异向量。奇异值σ跟特征值类似&＃xff0c;在矩阵Σ中也是从大到小排列&＃xff0c;而且σ的减少特别的快&＃xff0c;在很多情况下&＃xff0c;前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说&＃xff0c;我们也可以用前r大的奇异值来近似描述矩阵&＃xff0c;这里定义一下部分奇异值分解&＃xff1a;

    r是一个远小于m、n的数&＃xff0c;这样矩阵的乘法看起来像是下面的样子&＃xff1a;

    右边的三个矩阵相乘的结果将会是一个接近于A的矩阵&＃xff0c;在这儿&＃xff0c;r越接近于n&＃xff0c;则相乘的结果越接近于A。而这三个矩阵的面积之和&＃xff08;在存储观点来说&＃xff0c;矩阵面积越小&＃xff0c;存储量就越小&＃xff09;要远远小于原始的矩阵A&＃xff0c;我们如果想要压缩空间来表示原矩阵A&＃xff0c;我们存下这里的三个矩阵&＃xff1a;U、Σ、V就好了。