conda如何升级pytorch_使用PyTorch实现目标检测新范式DETR（基于transformer）

DETR(DEtectionTRansformer)的PyTorch训练代码和预训练模型。我们用Transformer 代替了整个复杂的手工物体检测管道&＃xff0c;并用ResNet-50匹配了Faster R-CNN&＃xff0c;使用一半的计算能力(FLOP)和相同数量的参数在COCO上获得了 42 AP  。在PyTorch的50行中进行推断。

DETR

这是什么

与传统的计算机视觉技术不同&＃xff0c;DETR将目标检测作为一个直接的集合预测问题来处理。它由一个基于集合的全局损失和一个Transformer encoder-decoder 结构组成&＃xff0c;该全局损失通过二分匹配强制进行唯一预测。给定固定的学习对象查询集&＃xff0c;则DETR会考虑对象与全局图像上下文之间的关系&＃xff0c;以直接并行并行输出最终的预测集。由于这种并行性&＃xff0c;DETR非常快速和高效。

关于代码

我们认为&＃xff0c;物体检测不应该比分类更困难&＃xff0c;并且不应要求使用复杂的库来进行训练和推理。DETR的实现和试验非常简单&＃xff0c;我们提供了一个[独立Colab笔记本](https://colab.research.google.com/github/facebook research/detr/blob/colab/notebooks/detr_demo.ipynb)演示如何使用DETR进行推断&＃xff0c;这仅需几行PyTorch代码。训练代码遵循这个想法--它不是一个库&＃xff0c;而是一个带有标准训练循环的main.py导入模型和条件定义。有关详细信息&＃xff0c;请参见Nicolas Carion, Francisco Massa&＃xff0c;Gabriel Synnaeve&＃xff0c;Nicolas Usunier&＃xff0c;Alexander Kirillov, 和Sergey Zagoruyko.的End-to-End Object Detection with Transformers(https://ai.facebook.com/research/publications/end-to-end-object-detection-with-transformers)我们提供基准 DETR 和 DETR-DC5 模型&＃xff0c;并计划在将来包括更多模型。AP 是使用Torcscript transformer&＃xff0c;在COCO 2017 val5k上计算得出的&＃xff0c;并且推理时间超过了前100幅val5k COCO图像。

COCO val5k数据集的评估结果可以在这里gist(https://gist.github.com/szagoruyko/9c9ebb8455610958f7deaa27845d7918)找到.COCO全景val5k模型&＃xff1a;

这些模型也可通过torch hub找到&＃xff0c;以用预训练的权重加载DETR R50&＃xff0c;只需执行以下操作&＃xff1a;

model &＃61; torch.hub.load(&＃39;facebookresearch/detr&＃39;, &＃39;detr_resnet50&＃39;, pretrained&＃61;True)

用法

DETR中没有多余的已编译组件&＃xff0c;并且程序包依赖项很小&＃xff0c;因此代码使用非常简单。我们提供如何通过conda安装依赖项的说明&＃xff0c;因此该代码非常易于使用。我们提供了有关如何通过conda安装依赖项的说明。首先&＃xff0c;在本地克隆存储库&＃xff1a;

git clone https://github.com/facebookresearch/detr.git

然后安装 PyTorch 1.5&＃43; 和 torchvision 0.6&＃43;&＃xff1a;

conda install -c pytorch pytorch torchvision

安装 pycocotools (用于 COCO 的评估) 和 scipy (用于训练)&＃xff1a;

conda install cython scipypip install -U &＃39;git&＃43;https://github.com/cocodataset/cocoapi.git#subdirectory&＃61;PythonAPI&＃39;这有助于训练和评估检测模型。(可选)与panoptic一起使用&＃xff0c;安装panopticapi&＃xff1a;

pip install git&＃43;https://github.com/cocodataset/panopticapi.git

数据准备

从 http://cocodataset.org下载并提取带有标注的COCO 2017训练和验证图像&＃xff0c;我们希望目录结构如下&＃xff1a;

path/to/coco/ annotations/ # 标注json文件 train2017/ # 训练集图片 val2017/ # 验证集图片

训练

在8个GPU的单个节点上训练基准 DETR 300个 epoch&＃xff0c;运行&＃xff1a;

python -m torch.distributed.launch --nproc_per_node&＃61;8 --use_env main.py --coco_path /path/to/coco 一个epoch需要28分钟&＃xff0c;因此在一台装有8个V100卡的机器上&＃xff0c;300个epoch的训练大约需要6天。为了简化对我们实验结果的复现&＃xff0c;我们提供了150个epoch schedule(在一台机器上训练3天)的 结果和训练日志(https://gist.github.com/szagoruyko/b4c3b2c3627294fc369b899987385a3f)&＃xff0c;结果达到了39.5 / 60.3 AP / AP50。我们使用AdamW训练DETR&＃xff0c;将transformer中的学习率设置为backbone中的1e-4和1e-5。使用水平翻转&＃xff0c;缩放图片来进行图片增强。图像被重新缩放为具有最小800和最大1333的大小。对transformer进行了dropout为0.1的训练&＃xff0c;对整个模型进行了0.1的梯度裁剪。

评估

在COCO val5k数据集上使用单个GPU来评估DETR R50&＃xff1a;

python main.py --batch_size 2 --no_aux_loss --eval --resume https://dl.fbaipublicfiles.com/detr/detr-r50-e632da11.pth --coco_path /path/to/coco在gist上&＃xff0c;我们提供所有DETR检测模型的结果 。
请注意&＃xff0c;数量根据每个GPU的批处理大小(batch size)(图像数量)而有所不同。非DC5模型的批处理大小为2&＃xff0c;而DC5的批处理大小为1&＃xff0c;因此&＃xff0c;如果每个GPU不止对1个图像进行评估&＃xff0c;那么DC5模型的AP会显着下降。

模型训练

可以通过Slurm和submitit(https://github.com/facebookincubator/submitit)来进行分布式训练&＃xff1a;

pip install submitit

在4个节点上训练基本模型DETR-6-6&＃xff0c;300个epoch&＃xff1a;

python run_with_submitit.py --timeout 3000 --coco_path /path/to/coco

许可证

DETR是在Apache2.0许可下发布的。请查看LICENSE(https://github.com/facebookresearch/detr/blob/master/LICENSE)文件来获得更多信息。

帮助

我们非常欢迎您的请求&＃xff01;请查看&＃xff1a;CONTRIBUTING.md(https://github.com/facebookresearch/detr/blob/master/.github/CONTRIBUTING.md)CODE_OF_CONDUCT.md(https://github.com/facebookresearch/detr/blob/master/.github/CODE_OF_CONDUCT.md)转载来源&＃xff1a;磐创AI

历史文章推荐

• 论文解读 | 知识图谱最新研究综述

• StegaStamp&＃xff1a;加州大学伯克利分校开源神奇的照片隐写术&＃xff0c;打印的照片能当二维码用

• 字节跳动基于深度强化学习的广告推荐模型——DEAR详解

• 你的毕业论文过了吗&＃xff1f;《如何撰写毕业论文&＃xff1f;》

• 卡尔曼滤波系列——经典卡尔曼滤波推导

• 谈谈CNN中的位置和尺度问题

• 目标检测和感受野的总结和想法

• 一代传奇 SIFT 算法 专利到期&＃xff01;

• CNN真的需要下采样(上采样)吗?

• 人体姿态估计的过去&＃xff0c;现在&＃xff0c;未来

• 2018-2019年度 Top10 综述

• 【Awesome】Few-Shot Learning论文阅读列表

• 你有哪些deep learning(rnn、cnn)调参的经验&＃xff1f;

• 给研究新生的建议&＃xff0c;光看论文是学不好的&＃xff0c;一定要看书&＃xff0c;看书&＃xff0c;看书&＃xff01;

• 不是我们喜新厌旧&＃xff0c;而是RAdam确实是好用&＃xff0c;新的State of the Art优化器RAdam

你正在看吗&＃xff1f;&＃x1f447;