transformer与视觉

论文&＃xff1a;Tokens-to-Token ViT- Training Vision Transformers from Scratch on ImageNet
源码&＃xff08;官方pytorch&＃xff0c;带预训练模型&＃xff09;
网文&＃xff1a;
1、Tokens-to-Token ViT: Training Vision Transformers from Scratch on Imagenet 学习笔记
2、 Tokens-to-Token ViT:真正意义上击败了CNN

依图科技出品
前面提到过ViT&＃xff0c;但是ViT在数据量不够巨大的情况下是打不过ResNet的。于是ViT的升级版T2T-ViT横空出世了&＃xff0c;速度更快性能更强。T2T-ViT相比于ViT&＃xff0c;参数量和MACs(Multi-Adds)减少了200%&＃xff0c;性能在ImageNet上又有2.5%的提升。T2T-ViT在和ResNet50模型大小差不多的情况下&＃xff0c;在ImageNet上达到了80.7%的准确率。论文的贡献&＃xff1a;

• 证明了通过精心设计的Transformer-based的网络(T2T module and efficient backbone)&＃xff0c;是可以打败CNN-based的模型的&＃xff0c;而且不需要在巨型的训练集(如JFT-300M)上预训练。
• 提出了一种可以编码局部信息的结构T2T module&＃xff0c;并证明了T2T的有效性&＃xff08;图像patch之间有部分重叠&＃xff09;。
• 展示了在设计CNNs backbone时用到的architecture engineering经验同样适用于设计Transformer-based的模型&＃xff0c;通过大量的实验证明深且窄(deep-narrow)的网络能够增加feature的丰富性和减少冗余。

DeepViT: Towards Deeper Vision Transformer(多个注意力头之间重新生成注意力&＃xff0c;增加transformer深度)

论文&＃xff1a;https://arxiv.org/abs/2103.11886
源码&＃xff1a;https://github.com/lucidrains/vit-pytorch/blob/main/vit_pytorch/deepvit.py
网文&＃xff1a;
1、DeepViT&＃xff1a;迈向更深的视觉Transformer
随着Transformers变深&＃xff0c;注意力图在某些层之后逐渐变得相似甚至几乎相同。换句话说&＃xff0c;在深度ViT模型的顶层中&＃xff0c;特征图趋于相同。这一事实表明&＃xff0c;在更深层次的ViT中&＃xff0c;自注意力机制无法学习有效的表示学习概念&＃xff0c;并且阻碍了模型获得预期的性能提升。

基于以上观察&＃xff0c;我们提出了一种简单而有效的方法&＃xff0c;称为Re-attention&＃xff0c;以可忽略的计算和存储成本重新生成注意图以增加其在不同层的多样性。

transformer与CNN结合

Bottleneck Transformers for Visual Recognition&＃xff1a;resnet的卷积用多头注意力模块替代

论文&＃xff1a;https://arxiv.org/abs/2101.11605
源码1&＃xff0c;源码2—暂时没有预训练模型
网文&＃xff1a;
1、CNN与Transformer的强强联合&＃xff01;谷歌开源BoTNet&＃xff0c;ImageNet达84.7%准确率
2、CNN&＃43;Transformer&＃xff01;谷歌提出BoTNet&＃xff1a;新主干网络&＃xff01;在ImageNet上达84.7%

BoTNet&＃xff1a;一种简单却功能强大的backbone&＃xff0c;该架构将自注意力纳入了多种计算机视觉任务&＃xff0c;包括图像分类&＃xff0c;目标检测和实例分割。该方法在实例分割和目标检测方面显著改善了基线&＃xff0c;同时还减少了参数&＃xff0c;从而使延迟最小化。

通过仅在ResNet中&＃xff0c;用Multi-Head Self-Attention (MHSA)来替换3 × 3 convolution&＃xff0c;并且不进行其他任何更改&＃xff08;如图1所示&＃xff09;。

PiT: Rethinking Spatial Dimensions of Vision Transformers&＃xff08; 结合池化层的视觉Transformer网络&＃xff09;.

论文&＃xff1a;http://arxiv.org/pdf/2103.16302v1
源码&＃xff1a;https://github.com/naver-ai/pit&＃xff08;有预训练模型&＃xff09;
网文&＃xff1a;
1、加入池化&＃xff01;PiT&＃xff1a;重新思考视觉Transformer的空间尺寸

Scalable Visual Transformers with Hierarchical Pooling

a Hierarchical Vision Transformer which progressively pools visual tokens to reduce computational costs.
论文&＃xff1a;https://arxiv.org/abs/2103.10619

CvT: Introducing Convolutions to Vision Transformers

introduces convolutions for ViT to get the best of both worlds.
论文&＃xff1a;https://arxiv.org/abs/2103.15808
源码&＃xff1a;https://github.com/rishikksh20/convolution-vision-transformers
网文&＃xff1a;
CNN&＃43;Transformer &＃61; CvT | ImageNet Top-1 精度突破 87.7%

CeiT: Incorporating Convolution Designs into Visual Transformers

modifies the Transformer to introduce CNN-like modules that are better at modellng locality.
论文&＃xff1a;https://arxiv.org/abs/2103.11816
源码&＃xff1a;
网文&＃xff1a;
1、商汤提出CeiT&＃xff1a;将卷积设计整合到视觉Transformers中
本文提出一个新的卷积增强图像Transformer&＃xff08;CeiT&＃xff09;&＃xff0c;它结合了CNN在提取low-level特征&＃xff0c;增强局部性以及Transformer在建立远程依赖项的优势

ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases

论文&＃xff1a;https://arxiv.org/abs/2103.10697
[论文阅读]ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases
我们创造了GPSA(gated positional self-attention),将CNN的归纳偏置带到transformer中

我们的工作分为以下三步&＃xff1a;

• 引入了一个新的self-attention层叫做gated positional self-attention(GPSA),其可以像卷积层一样被初始化,每个attention head有一个gating参数来调整表达性&＃xff0c;可以在focus on局部特征和恢复全局特征间调节
• 基于DeiT进行了实验&＃xff0c;将其的一部分SA(self-attention)层替换为了GPSA层,结果模型在样本利用率和表现上超过了DeiT
• 定量研究了ViT中attention的local特性&＃xff0c;使用消融实验等实验研究了ConViT work的深层原因

PVT&＃xff1a;Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions

论文&＃xff1a;https://arxiv.org/abs/2102.12122v1
源码:https://github.com/whai362/PVT(带预训练模型)
网文&＃xff1a;
1、大白话Pyramid Vision Transformer
2、阅读笔记-PVT-Pyramid Vision Transformer_A versatile backbone for dense prediction without convolutions

文章内容用一句话概括就是给ViT方法装上金字塔结构处理密集预测问题。主要创新点包括两点&＃xff1a;1. progressive shrinking strategy 能够实现金字塔结构&＃xff1b;2. spatial reduction attention减少self-attention的计算量。

本文方法相对于传统CNN的优势&＃xff1a;传统CNN通过层数增加来增加感受野&＃xff0c;但相对来说还是局部信息&＃xff0c;而transformer机制刻画的是全局的关联关系。
相对于ViT这类方法的优势&＃xff1a;ViT一般而言通过将图像划分成不同的patch之后&＃xff0c;每个patch提取特征&＃xff0c;在后面的若干层transformer layer中还是针对于相同patch区域的特征&＃xff0c;两方面劣势1&＃xff09;划分的patch较粗糙难以应用到dense prediction任务中&＃xff1b;2&＃xff09;没有金字塔结构对不同尺寸目标同等对待。而本文的方式通过金字塔结构在开始层patch划分相对精细的多&＃xff0c;其次通过金字塔的构造很容易作为backbone结构嵌入到已有的结构&＃xff0c;比如替换resnet backbone等。

DPT: Vision Transformers for Dense Prediction

论文&＃xff1a;https://arxiv.org/abs/2103.13413
源码&＃xff1a; https://github.com/intel-isl/DPT&＃xff08;有预训练模型&＃xff09;
网文&＃xff1a;
1、英特尔提出DPT&＃xff1a;基于视觉Transformer的密集预测

我们将视觉Transformer各个阶段的token组装成各种分辨率的图像表示形式&＃xff0c;并使用卷积解码器将它们逐步组合为全分辨率预测。

CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification

论文&＃xff1a;https://arxiv.org/abs/2103.14899
源码&＃xff1a;https://github.com/rishikksh20/CrossViT-pytorch&＃xff08;无预训练模型&＃xff09;
网文&＃xff1a;

Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding

用于高分辨率图像编码&＃xff0c;代码将开源
论文&＃xff1a;https://arxiv.org/abs/2103.15358
源码&＃xff1a;
网文&＃xff1a;

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

论文&＃xff1a;https://arxiv.org/pdf/2103.14030v1.pdf
源码&＃xff1a;https://github.com/microsoft/Swin-Transformer(预训练模型)
网文&＃xff1a;
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows论文阅读
Swin Transformer: 用CNN的方式打败CNN(描述了shift windows是怎么回事)
CV&＃43;Transformer之Swin Transformer&＃xff08;对照代码讲解&＃xff09;

作者在Transformer基础上做了改进&＃xff0c;提出了Swin Transformer&＃xff0c;目的是解决上面提到的两个问题&＃xff1a;

• Swin Transformer可以产生层级feature map&＃xff0c;能够更好的建模不同尺寸的物体
• Swin Transformer在self-attention阶段具有线性复杂度

M2TR: multi-modal multi-scale transformers for deepfake detection (多模多尺度)

论文&＃xff1a;https://arxiv.org/pdf/2104.09770.pdf

网文&＃xff1a;
M2TR: 复旦提出首个多模态多尺度Transformer

我们首先利用EfficientNet作为backbone提取了网络的浅层特征&＃xff0c;然后利用Multi-scale Transformer进行多尺度特征提取和Cross Modality Fusion进行双模态融合。
区别于ViT的地方有三点&＃xff1a;
1.不是在图像取patch而是在feature map上
2.不同head里取的patch size不同
3.patch被flatten成一维经过了self-attention之后会被重新reassemble成二维得到3D feature map

Cross Modality Fusion
首先我们对图像做DCT变换&＃xff0c;得到了频率分布图&＃xff0c;DCT变换具有良好的性质&＃xff1a;高频集中在左上角而低频在右下角&＃xff0c;因此我们手动对其进行划分&＃xff0c;得到了高、中、低三个频段的频率分量&＃xff0c;但是频率图不具有RGB图像的视觉特征&＃xff0c;也没有办法利用CNN进行特征提取&＃xff0c;为此我们对三个分量进行逆DCT变换&＃xff0c;重新得到了RGB域的表示&＃xff0c;但是这个表示是frequency-aware的&＃xff0c;然后利用卷积层进行特征提取。
双模态融合&＃xff08;本文指的是&＃xff1a;RGB与频域的融合&＃xff09;是一个长久的问题&＃xff0c;如何良好的嵌入到transformer更是关键&＃xff0c;一种最简单的做法、也是现在很多利用频率信息的做法就是对RGB和Frequency采用一种two-stream的双流结结构&＃xff0c;平行操作然后在中间或者输出的地方进行融合&＃xff0c;这种做法我不是非常赞同&＃xff0c;因为并行结构的一个重要前提是两个模态的地位或者信息量是均衡的&＃xff0c;但是对于Deepfake来说&＃xff0c;频率的信息其实还是具有噪声的&＃xff0c;比如人脸的一些部分如头发等在频率也可能集中在高频区域里&＃xff0c;因此合适的做法是把频域作为一种辅助模态。
基于这种想法、同时受启发于transformer的query-key-value的设计&＃xff0c;我们提出了一种QKV的方法来融合两个模态&＃xff1a;把RGB模态作为query、frequency模态作为memory&＃xff0c;这样的设计一方面能突出RGB的作用&＃xff0c;另一方面能更好地发掘frequency分布里的异常区域。

Transformer内部机制的探究

充分挖掘patch内部信息&＃xff1a;Transformer in Transformer&＃xff1a;TNT

(来自北京华为诺亚方舟实验室)
论文&＃xff1a;https://link.zhihu.com/?target&＃61;https%3A//arxiv.org/abs/2103.00112

源码&＃xff1a;https://github.com/rwightman/pytorch-image-models/blob/master/timm/models/tnt.py&＃xff08;有预训练模型&＃xff0c;下载路径见 tnt.py文件里边&＃xff09;
https://github.com/lucidrains/transformer-in-transformer
网文&＃xff1a;
1、TNT | 致敬Network in Network&＃xff0c;华为诺亚提出Transformer-in-Transformer

探究位置编码的必要性&＃xff1a;Do We Really Need Explicit Position Encodings for Vision Transformers?

&＃xff08;美团&＃xff09;

LocalViT—Bringing Locality to Vision Transformers&＃xff08;引入局部性&＃xff09;

论文&＃xff1a; LocalViT: Bringing Locality to Vision Transformers
源码&＃xff1a;https://github.com/ofsoundof/LocalViT
网文&＃xff1a; CNN再助力&＃xff01;LocalViT&＃xff1a;将Locality带入视觉Transformer

本文引入depth-wise卷积&＃xff0c;给视觉Transformer带来locality机制&＃xff0c;经过增强的Transformer网络性能涨点明显&＃xff0c;表现SOTA&＃xff01;性能优于TNT、PVT、DeiT等网络&＃xff0c;代码即将开源&＃xff01;

Transformer升级之路&＃xff1a;博采众长的旋转式位置编码

RoFormer&＃xff1a;https://github.com/ZhuiyiTechnology/roformer
网文&＃xff1a;
Transformer升级之路&＃xff1a;博采众长的旋转式位置编码

预训练

Pre-Trained Image Processing Transformer&＃xff08;CVPR&＃xff09;
UP-DETR: Unsupervised Pre-training for Object Detection with Transformers (CVPR)

统一语言与视觉

来自Facebook AI的多任务多模态的统一Transformer&＃xff1a;向更通用的智能迈出了一步

论文链接&＃xff1a;https://arxiv.org/pdf/2102.10772.pdf
网文&＃xff1a;
https://mp.weixin.qq.com/s/Dkdewm4PI72uh8JULdu1ug

应用

Lifting Transformer: 基于跨步卷积Transformer的高效三维人体姿态估计

论文&＃xff1a;Lifting Transformer for 3D Human Pose Estimation in Video
地址&＃xff1a;https://arxiv.org/pdf/2103.14304.pdf
网文&＃xff1a;
Lifting Transformer: 基于跨步卷积Transformer的高效三维人体姿态估计

SpecTr: Spectral Transformer for Hyperspectral Pathology Image Segmentation

源码&＃xff1a;https://github.com/hfut-xc-yun/SpecTr&＃xff08;无需预训练&＃xff09;
网文&＃xff1a;
SpecTr&＃xff1a;高光谱病理图像分割

其它

• 图像版GPT3问世&＃xff0c;一句话就能变成图&＃xff01;打破语言与视觉界线&＃xff0c;AI将更加聪明
• Transformer 再下一城&＃xff0c;Facebook 等提出多目标跟踪算法 TrackFormer
• 美团提出具有「位置编码」的Transformer&＃xff0c;性能优于ViT和DeiT

1、Multi-Scale Vision Longformer: A New Vision Transformer for High-Resolution Image Encoding
用于高分辨率图像编码&＃xff0c;代码将开源
微软
https://arxiv.org/abs/2103.15358

2、TFPose: Direct Human Pose Estimation with Transformers
用于人体姿态估计&＃xff0c;代码开源&＃xff1a;https://github.com/aim-uofa/AdelaiDet/
阿德莱德大学和阿里
https://arxiv.org/abs/2103.15320

3、TransCenter: Transformers with Dense Queries for Multiple-Object Tracking
用于多目标跟踪&＃xff0c;代码将开源
Inria 和麻省理工学院
https://arxiv.org/abs/2103.15145

4、HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
用于视频文本检索
北大、FAIR、中科院、快手
https://arxiv.org/abs/2103.15049

6、Generic Attention-model Explainability for Interpreting Bi-Modal and Encoder-Decoder Transformers
已开源&＃xff1a;https://github.com/hila-chefer/Transformer-MM-Explainability
以色列特拉维夫大学和 FAIR
https://arxiv.org/abs/2103.15679

7、On the Adversarial Robustness of Visual Transformers
论 Visual Transformers 的对抗鲁棒性
西交、UCLA、京东、IBM
https://arxiv.org/abs/2103.15670

8、Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using Spatial and Temporal Transformers
端到端的多目标跟踪&＃xff0c;代码将开源
蒙纳士大学、阿德莱德大学、澳大利亚机器人视觉中心
https://arxiv.org/abs/2103.14829

9、Face Transformer for Recognition
用于人脸识别
北邮
https://arxiv.org/abs/2103.14803

线性Attention的探索&＃xff1a;Attention必须有个Softmax吗&＃xff1f;
提升Transformer效率又有新招&＃xff1f;基于矩阵分解的线性化Attention方案

【深度学习】网络架构设计&＃xff1a;CNN based和Transformer based
计算机视觉中的transformer

用Pytorch轻松实现28个视觉Transformer&＃xff0c;开源库 timm 了解一下&＃xff01;&＃xff08;附代码解读&＃xff0c;所谓28个是指ViT和DeiT的28个不同配置版本&＃xff09;
这个库中的每个模型&＃xff0c;基本山都有预训练模型文件。
在线使用方法&＃xff1a;timm.create_model(‘mobilenetv3’, pretrained&＃61;True)
离线下载方法&＃xff1a;打开模型文件本身&＃xff0c;如/timm/models/vgg.py&＃xff0c;找到default_cfgs即可找到下载路径&＃xff1a;

vision transformer 源代码
Pyramid Vision Transformer源码 &＃xff08;有预训练模型&＃xff09;