TopFormer新的语义分割Transformer结构

现在语义分割领域&＃xff0c;最热门的当属Transformer的应用了&＃xff0c;你要是在网络中不添加&＃xff0c;那么就显得你的创新点大大降低。但是现在语义分割领域Transformer的计算量太大了&＃xff0c;导致应用的还比较少。这两天我看到一篇比较好的论文&＃xff0c;也给我们提供了一种新的语义分割思路。

这篇文章是TopFormer&＃xff0c;其中作者使用了一些方法来降低模型运算复杂度&＃xff1a;

• 作者利用了CNN和ViT的优势。构建了一个基于CNN的模块&＃xff0c;称为Token Pyramid Module&＃xff0c;用于处理高分辨率图像&＃xff0c;以快速生成局部特征金字塔。考虑到在移动设备上非常有限的计算能力&＃xff0c;在这里使用一些堆叠的轻量级MobileNetV2 Block和Fast Down-Sampling策略来构建一个Token Pyramid。
• 为了获得丰富的语义和较大的感受野&＃xff0c;作者还构建了一个基于ViT的模块&＃xff0c;即Scale-aware Semantics Extractor&＃xff0c;并将Token沿着通道维度进行拼接后&＃xff0c;输入到Transformer Block中&＃xff0c;从而产生与Token的尺度有关的全局语义。
• 为了进一步降低计算成本&＃xff0c;使用Average Pooling Operator将Token减少到一个非常小的数字&＃xff0c;例如&＃xff0c;输入大小的1/(64×64)。
• 为了获得密集预测任务的强大层次特征&＃xff0c;将尺度感知的全局语义通过不同尺度的Token通道进行分割&＃xff0c;然后将标度感知的全局语义与相应的Token融合&＃xff0c;以增强表示。

整个网络如上图所示&＃xff0c;整个网络逻辑还和U-Net 类似&＃xff0c;在我看来&＃xff0c;整个网络最精华的部分是Token Pyramid Module 部分&＃xff0c;这个部分在一般的U-Net网络中很少这么操作。看到这我想试试在正常的注意力操作中使用这个结构会不会有效果。其实后面的tran等结构都是可以替换成其他有效的注意力模块之类。