混合高斯模型&＃xff1a;
其中 N 表示 Component 的个数&＃xff0c;也就是由多少个高斯分布来进行混合&＃xff0c;表示每一个Component的权重&＃xff0c;它是一个概率意义上的量&＃xff0c;代表了一个观测数据由第i个Component生成的概率&＃xff0c;因此

其中&＃xff0c; 代表了第k个Component的概率密度函数

用高斯模型的线性组合来拟合未知的分布&＃xff0c;有研究表明有过拟合的问题存在&＃xff0c;物理意义并不明显&＃xff0c;不像KDE有窗的概念&＃xff0c;有窗的宽度等东西&＃xff0c;因此他们的解释是不一样的

KDE 的概念是从直方图的概率中过度来的&＃xff0c;我们看看KDE的定义是如何得到的

我们以一维的情况来举例&＃xff0c;假设在某未知分布下&＃xff0c;观测了N次得到N个结果,这是为了保证这N个数据是独立同分布的。我们考察一个给定的区间R在这N个数据中&＃xff0c;有K个落在R中的情况&＃xff0c;很明显&＃xff0c;这属于二项分布的情况

k 的期望值是

其中P是&＃xff0c;

可以这么来理解k的期望&＃xff0c;就是一共有N个数据&＃xff0c;区间R中有k个的平均值就是nP&＃xff0c;这是二项分布的特点 ,因此因此我们可以用下面的公式来估计k

对这个公式进行一下变形&＃xff0c;得到如下公式

这就可以是k的一个概率估计&＃xff0c;当样本数n很大的时候&＃xff0c;这个估计就越准确

现在假设区域R足够小&＃xff0c;然后在R的这个小区域里面&＃xff0c;p(x)的值变化都非常小&＃xff0c;可以近似相等&＃xff0c;那么在R中取值&＃xff0c;我们可以计算这个R区间内的面积,也就是有k个数据在R中的概率

这里的R本身就代表了区间的长度&＃xff0c;但是为了扩展到更高纬度的方便&＃xff0c;这里用体积V来表示&＃xff0c;一维的情况下是长度&＃xff0c;二维情况下是面积&＃xff0c;三维情况下是体积&＃xff0c;对N维情况下就要用到测度来表示了&＃xff0c;测度其实就是一种更严格的定义的关于不同维度下的“体积“的一种度量。

为了得到概率密度的表达式&＃xff0c;我们只需要把上面等式的后面部分做一个变形就可以得到&＃xff1a;

现在来看这里得到的理论结果&＃xff1a;假设有一系列包含x的区域,对采用一个样本进行估计&＃xff0c;对采用两个样本进行估计&＃xff0c;对采用n个样本进行估计&＃xff0c;也就是逐渐增加样本个数的方式来构建区域。为的体积&＃xff0c;为的第n次估计&＃xff0c;有下面的结论&＃xff1a;

则&＃xff0c;收敛于两种选择方法

1. 选择 比如同时对和加限制以保障收敛,此法称为Parzen窗方法
2. 选择 比如,为正好包含x的个近邻&＃xff0c;此法为近邻估计

Parzen 窗方法

概率密度的估计公式为&＃xff1a;&＃xff0c;设区域是以为棱长的d维超立方体&＃xff0c;则立方体的体积为&＃xff1a;

定义一个窗函数&＃xff0c;

求出落入超立方体的样本个数
如果某一样本落入该超立方体&＃xff0c;则有,否则落入该立方体的样本数点x的概率密度为&＃xff1a;

现在我们来对比高斯混合模型和parzen 窗方法的公式

• 
• 

可以看出&＃xff0c;有两个地方不同&＃xff0c;第一&＃xff0c;窗的选择不同&＃xff0c;Parzen的选择有更明确的物理意义&＃xff0c;高斯混合模型的窗是基于函数逼近理论选择出来的&＃xff0c;第二&＃xff0c;系数不同&＃xff0c;高斯混合模型需要数据来训练得出系数&＃xff0c;Parzen 窗方法有明确的物理意义。其实如果Parzen 选择高斯窗口&＃xff0c;样子看起来更像高斯混合模型。一般来说&＃xff0c;高斯混合模型更多的用于分类&＃xff0c;Parzen等KDE方法更多的用于概率密度的估计。两个方法的意义不一样。

引用 http://www.doc88.com/p-8109915473355.html
         http://www.doc88.com/p-8059993777655.html