谷歌提出FlexiViT：适用于所有Patch大小的模型

点击下方卡片&＃xff0c;关注“CVer”公众号

AI/CV重磅干货&＃xff0c;第一时间送达

点击进入—>Transformer微信技术交流群

转载自&＃xff1a;CVHub

Title: FlexiViT: One Model for All Patch Sizes

Author: Lucas Beyer et al. (Google Research)

Paper: https://arxiv.org/pdf/2212.08013v1.pdf

Github: https://github.com/google-research/big_vision

太长不看版&＃xff0c;果然还是延续谷歌的风格&＃xff0c;创新不够&＃xff0c;实验来凑。

废话不多说&＃xff0c;直接上图&＃xff0c;一图胜千言&＃xff1a;

顾名思义&＃xff0c;FlexiViT&＃xff0c;翻译过来不就是灵活的 ViT 嘛&＃xff1f;

Ooo&＃xff0c;那怎么体现灵活&＃xff1f;我们先回顾下 Vision Transformers 的工作流程。

一句话总结就是&＃xff0c;ViT 是一种通过将图像切割成一个个小方块(patch)将图像转换为序列从而输入到Transformer网络进行训练和推理的一种神经网络架构。

本文的重点便是在研究这些小块块对性能的最终影响。通常来说&＃xff1a;

• 方块切的越小&＃xff0c;精度会越高&＃xff0c;但速度就变慢了&＃xff1b;

• 方块切的越大&＃xff0c;精度会降低&＃xff0c;但速度就上来了&＃xff1b;

So,我们究竟是要做大做强&＃xff0c;还是做小做精致&＃xff1f;不用急&＃xff0c;来自谷歌大脑的研究人员为你揭晓答案&＃xff1a;成年人才做选择&＃xff0c;老子大小通吃。

正经点&＃xff0c;让我们切回来&＃xff0c;古哥通过燃烧了数不尽的卡路里向我们证明了&＃xff0c;在训练期间随机改变方块的大小可以得到一组在广泛的方块大小范围内表现良好的权重&＃xff08;泛化性能好&＃xff09;。

这结论有什么用&＃xff1f;那便是使得在部署时大家可以根据不同的计算预算来调整模型。

通过在以下五大版图进行广泛的投资&＃xff0c;可以清晰的发现收益率远超沪深300&＃xff1a;

• 图像分类

• 图像-文本检索

• 开放世界检测

• 全景分割

• 语义分割

为了照顾下你们这些散(韭)户(菜)&＃xff0c;古哥说你们可以将它任意添加到大多数依赖ViT骨干架构的模型来实现计算自由&＃xff0c;即模型可以根据不同的计算资源调整自己的工作方式&＃xff0c;从而获得更好的性能和效率。

说了这么多&＃xff0c;怎么做&＃xff1f;直接把代号都发给你了&＃xff0c;明天早盘直接梭哈即可&＃xff1a;

看到看到这里了&＃xff0c;总不能白嫖吧&＃xff1f;点个赞友情转发下再走咯~~~

FlexiViT论文和代码下载

后台回复&＃xff1a;FlexiViT&＃xff0c;即可下载上面论文和代码

Transformer交流群成立
扫描下方二维码&＃xff0c;或者添加微信&＃xff1a;CVer222&＃xff0c;即可添加CVer小助手微信&＃xff0c;便可申请加入CVer-Transformer 微信交流群。另外其他垂直方向已涵盖&＃xff1a;目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer等。
一定要备注&＃xff1a;研究方向&＃43;地点&＃43;学校/公司&＃43;昵称&＃xff08;如Transformer&＃43;上海&＃43;上交&＃43;卡卡&＃xff09;&＃xff0c;根据格式备注&＃xff0c;可更快被通过且邀请进群▲扫码或加微信号: CVer222&＃xff0c;进交流群
CVer学术交流群&＃xff08;知识星球&＃xff09;来了&＃xff01;想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料&＃xff0c;欢迎扫描下方二维码&＃xff0c;加入CVer学术交流群&＃xff0c;已汇集数千人&＃xff01;▲扫码进群
▲点击上方卡片&＃xff0c;关注CVer公众号

整理不易&＃xff0c;请点赞和在看