【NeurlPS2019】PositionalNormalization位置归一化

作者提出&＃xff0c;当前的BatchNorm, GroupNorm, InstanceNorm在空间层面归一化信息&＃xff0c;同时丢弃了统计值。作者认为这些统计信息中包含重要的信息&＃xff0c;如果有效利用&＃xff0c;可以提高GAN和分类网络的性能。

在这篇论文中&＃xff0c;作者提出PONO方法&＃xff0c;在通道层面进行归一化&＃xff0c;与BN的对比如下所示。实际操作起来&＃xff0c;并不是直接归一化&＃xff0c;要复杂一些&＃xff0c;下面进行详细说明。

如下图所示&＃xff0c;对于conv-deconv的网络&＃xff0c;前层网络的结构信息$\mu$和$\sigma$作为新特征的参数$\beta$和$\gamma$传到后层&＃xff0c;以提供图像中的结构信息&＃xff0c;作者把这种算法叫做PONO-MS。可以看出&＃xff0c;这种操作和 skip-connection 非常相似。

同时&＃xff0c;考虑到各种任务的不同&＃xff0c;作者也提出了PONO-DMS&＃xff0c;如下图所示。
将$\mu$和$\sigma$输入一个简单的ConvNet中自适应学习&＃xff0c;得到更好的参数。

实验时&＃xff0c;主要集中在Image Translation&＃xff0c;结果表明&＃xff0c;加入 PONO-MS 可以有效的提高网络性能。同时&＃xff0c;PONO-MS也能有效使一些failure的case起死回生。比如&＃xff0c;分别提取猫和狗的结构信息和类别信息&＃xff0c;旨在于生成有着猫的结构的狗和有着狗的结构的猫&＃xff08;如图所示&＃xff09;。当我们用小数量级dataset来训练网络的时候我们可以看到网络无法学习到我们需要的信息&＃xff0c;造成训练失败。而令人惊讶的是&＃xff0c;当加入PONO-MS之后&＃xff0c;网络可以成功学习到对应信息&＃xff0c;使一个失败的例子能够起死回生。

PONO目前已被应用于生成网络&＃xff08;GAN&＃xff0c;图像去雾等&＃xff09;&＃xff0c;语义分割&＃xff0c;图像分类等应用当中。具体请参见Github&＃xff1a;https://github.com/Boyiliee/PONO

其中最近该研究团队将PONO应用于数据增强达到了非常好的效果&＃xff0c;具体可参照&＃xff1a;https://github.com/Boyiliee/MoEx