机器学习SVM复习笔记

对于线性不可分问题，需要适当放松限制条件。C为超参数。

低维映射高维

对于一些线性不可分问题，采用线性可分的策略，分类效果不好。因此需要对特征进行映射，从低维映射到高维。定义一个映射函数$\phi (x)$φ(x)使得优化问题变为：

运用核函数可以不用已知$\phi (x)$φ(x)的具体形式而对需要预测的样本进行预测。核函数形式如下：

通过$φ(x)$φ(x)可以求解其对应的核函数，反之亦然。下面是一个例子：

通过核函数求解映射：
下面映射的维度可以交换

核函数K和$φ(x)$φ(x)为一一对应的关系，但是核函数的形式不能随意取，只有满足以下条件时才能分解为两个$φ$φ内积的形式。

同时，可以知道高斯核是满足以上定理的：

原问题与对偶问题的定义：

定义对偶问题如下：


对$L(w,\alpha ,\beta )$L(w,α,β)遍历所有定义域上的$w$w去找到使得$L(w,α,β)$L(w,α,β)最小的$w$w，同时将最小的这个值赋值给$Θ(α,β)$Θ(α,β)。
定理一：
$f(w^*)>=Θ(α,β)$f(w∗)>=Θ(α,β)

定义对偶差距为$f(w^*)-Θ(α,β)$f(w∗)−Θ(α,β)
强对偶定理：如果$g(w)=Aw+b, h(w)=Cw+d,f(w)$g(w)=Aw+b,h(w)=Cw+d,f(w)为凸函数则有$f(w^*)-Θ(α,β)=0$f(w∗)−Θ(α,β)=0对偶差距为0.
据定理一推出的不等式：

当前支持向量机的优化问题：

为了与上述描述的原问题一致，需要进行变换，将δi​>=0转换为δi​<=0因此变换为：

因为两个限制条件均为线性，且目标问题为凸优化问题，因此满足强对偶定理。
因此对偶问题如下：

由于需要遍历所有的w求得最小值，可以对其进行求导。

将求得的三个等式带入：

b的求解：如果对于某个
$i,α_i≠0且α_i≠C,则根据KKT条件必有δ_i=0;$i,αi​​=0且αi​​=C,则根据KKT条件必有δi​=0;


对于新样本依据核函数同样可以进行预测：


总结支持向量机训练核测试的流程
训练过程：
输入训练数据，{(Xi, yi)}, i=1~N, 其中yi = -1或1.


预测过程：