基于PaddlePaddle的ConvNeXt复现

转自AI Studio&＃xff0c;原文链接&＃xff1a;基于PaddlePaddle的ConvNeXt复现 - 飞桨AI Studio

A ConvNet for the 2020s

1. 简介

这是一个 PaddlePaddle 实现的 ConvNeXt。

ConvNeXts完全由标准的ConvNet模块构成&＃xff0c;在精确度和可扩展性方面与Transformers竞争&＃xff0c;达到87.8%的ImageNet top-1精确度&＃xff0c;在COCO检测和ADE20K分割方面优于Swin Transformers&＃xff0c;同时保持了标准ConvNet的简单性和效率。

在ConvNeXt中&＃xff0c;它的优化策略借鉴了Swin-Transformer。具体的优化策略包括&＃xff1a;

&＃xff08;1&＃xff09;将训练Epoch数从90增加到300&＃xff1b;

&＃xff08;2&＃xff09;优化器从SGD改为AdamW&＃xff1b;

&＃xff08;3&＃xff09;更复杂的数据扩充策略&＃xff0c;包括Mixup&＃xff0c;CutMix&＃xff0c;RandAugment&＃xff0c;Random Erasing等&＃xff1b;

&＃xff08;4&＃xff09;增加正则策略&＃xff0c;例如随机深度&＃xff0c;标签平滑&＃xff0c;EMA等。

论文: A ConvNet for the 2020s

参考repo: ConvNeXt

在此非常感谢s9xie和HannaMao等人贡献的ConvNeXt&＃xff0c;提高了本repo复现论文的效率。

2. 数据集

数据集为ImageNet&＃xff0c;训练集包含1281167张图像&＃xff0c;验证集包含50000张图像。

│imagenet
├──train
│ ├── n01440764
│ │ ├── n01440764_10026.JPEG
│ │ ├── n01440764_10027.JPEG
│ │ ├── ......
│ ├── ......
├──val
│ ├── n01440764
│ │ ├── ILSVRC2012_val_00000293.JPEG
│ │ ├── ILSVRC2012_val_00002138.JPEG
│ │ ├── ......
│ ├── ......


3. 复现精度

您可以从ImageNet 官网申请下载数据。

权重及训练日志下载地址&＃xff1a;百度网盘 or work/checkpoint-best.pd

4. 准备数据与环境

4.1 准备环境

硬件和框架版本等环境的要求如下&＃xff1a;

• 硬件&＃xff1a;4 * RTX3090
• 框架&＃xff1a;
  • PaddlePaddle >&＃61; 2.2.0

• 下载代码

In [1]

%cd /home/aistudio/# !git clone https://github.com/flytocc/ConvNeXt-paddle.git!unzip ConvNeXt-paddle-main.zip

• 安装paddlepaddle

# 需要安装2.2及以上版本的Paddle&＃xff0c;如果
# 安装GPU版本的Paddle
pip install paddlepaddle-gpu&＃61;&＃61;2.2.0
# 安装CPU版本的Paddle
pip install paddlepaddle&＃61;&＃61;2.2.0


更多安装方法可以参考&＃xff1a;Paddle安装指南。

• 安装requirements

In [2]

%cd /home/aistudio/ConvNeXt-paddle-main
!pip install -r requirements.txt

4.2 准备数据

如果您已经ImageNet1k数据集&＃xff0c;那么该步骤可以跳过&＃xff0c;如果您没有&＃xff0c;则可以从ImageNet官网申请下载。

如果只是希望快速体验模型训练功能&＃xff0c;可以参考&＃xff1a;飞桨训推一体认证&＃xff08;TIPC&＃xff09;开发文档

4.3 准备模型

如果您希望直接体验评估或者预测推理过程&＃xff0c;可以直接根据第2章的内容下载提供的预训练模型&＃xff0c;直接体验模型评估、预测、推理部署等内容。

5. 复现思路

5.1 使用paddle api实现模型结构

ConvNeXt Block

class Block(nn.Layer):r""" ConvNeXt Block. There are two equivalent implementations:(1) DwConv -> LayerNorm (channels_first) -> 1x1 Conv -> GELU -> 1x1 Conv; all in (N, C, H, W)(2) DwConv -> Permute to (N, H, W, C); LayerNorm (channels_last) -> Linear -> GELU -> Linear; Permute backWe use (2) as we find it slightly faster in PyTorchArgs:dim (int): Number of input channels.drop_path (float): Stochastic depth rate. Default: 0.0layer_scale_init_value (float): Init value for Layer Scale. Default: 1e-6."""def __init__(self, dim, drop_path&＃61;0., layer_scale_init_value&＃61;1e-6):super().__init__()self.dwconv &＃61; nn.Conv2D(dim, dim, 7, padding&＃61;3,groups&＃61;dim) # depthwise convself.norm &＃61; nn.LayerNorm(dim, epsilon&＃61;1e-6)# pointwise/1x1 convs, implemented with linear layersself.pwconv1 &＃61; nn.Linear(dim, 4 * dim)self.act &＃61; nn.GELU()self.pwconv2 &＃61; nn.Linear(4 * dim, dim)if layer_scale_init_value > 0:self.gamma &＃61; self.create_parameter(shape&＃61;[dim],default_initializer&＃61;Constant(value&＃61;layer_scale_init_value))else:self.gamma &＃61; Noneself.drop_path &＃61; DropPath(drop_path) if drop_path > 0. else nn.Identity()def forward(self, x):input &＃61; xx &＃61; self.dwconv(x)x &＃61; x.transpose([0, 2, 3, 1]) # (N, C, H, W) -> (N, H, W, C)x &＃61; self.norm(x)x &＃61; self.pwconv1(x)x &＃61; self.act(x)x &＃61; self.pwconv2(x)if self.gamma is not None:x &＃61; self.gamma * xx &＃61; x.transpose([0, 3, 1, 2]) # (N, H, W, C) -> (N, C, H, W)x &＃61; input &＃43; self.drop_path(x)return x


6. 开始使用

6.1 模型预测

测试图片

In [10]

%cd /home/aistudio/ConvNeXt-paddle-main%run predict.py \--model convnext_tiny \--infer_imgs ./demo/ILSVRC2012_val_00020010.JPEG \--resume /home/aistudio/work/checkpoint-best.pd

最终输出结果为

[{&＃39;class_ids&＃39;: [178, 211, 85, 236, 246], &＃39;scores&＃39;: [0.8764159083366394, 0.0005395704065449536, 0.0005327172111719847, 0.000466014607809484, 0.0004493744927458465], &＃39;file_name&＃39;: &＃39;/home/aistudio/ConvNeXt-paddle-main/demo/ILSVRC2012_val_00020010.JPEG&＃39;, &＃39;label_names&＃39;: [&＃39;Weimaraner&＃39;, &＃39;vizsla, Hungarian pointer&＃39;, &＃39;quail&＃39;, &＃39;Doberman, Doberman pinscher&＃39;, &＃39;Great Dane&＃39;]}]


表示预测的类别为Weimaraner&＃xff08;魏玛猎狗&＃xff09;&＃xff0c;ID是178&＃xff0c;置信度为0.8764159083366394。

6.2 模型训练

• 单机多卡训练

export CUDA_VISIBLE_DEVICES&＃61;0,1,2,3
python -m paddle.distributed.launch --gpus&＃61;"0,1,2,3" \main.py \--model convnext_tiny --drop_path 0.1 \--batch_size 128 --lr 4e-3 --accum_iter 8 \--warmup_epochs 20 \--model_ema --model_ema_eval --dist_eval \--data_path /path/to/imagenet/ \--cls_label_path_train /path/to/train_list.txt \--cls_label_path_val /path/to/val_list.txt \--output_dir output/convnext_tiny


ps: 如果未指定cls_label_path_train/cls_label_path_val&＃xff0c;会读取data_path下train/val里的图片作为train-set/val-set。

部分训练日志如下所示。

[11:46:22.948892] Epoch: [96] [ 840/2502] eta: 0:15:25 lr: 0.003310 loss: 3.6854 (3.5704) time: 0.5759 data: 0.0005
[11:46:33.860486] Epoch: [96] [ 860/2502] eta: 0:15:14 lr: 0.003310 loss: 3.6475 (3.5700) time: 0.5454 data: 0.0005


6.3 模型评估

python eval.py \--model convnext_tiny \--batch_size 128 \--data_path /path/to/imagenet/ \--cls_label_path_val /path/to/val_list.txt \--resume $TRAINED_MODEL


ps: 如果未指定cls_label_path_val&＃xff0c;会读取data_path/val里的图片作为val-set。

7. 模型推理部署

7.1 基于Inference的推理

可以参考模型导出&＃xff0c;

将该模型转为 inference 模型只需运行如下命令&＃xff1a;

In [11]

%run export_model.py \--model convnext_tiny \--output_dir ./output/ \--resume /home/aistudio/work/checkpoint-best.pd

In [12]

%run infer.py \--model_file ./output/model.pdmodel \--params_file ./output/model.pdiparams \--input_file ./demo/ILSVRC2012_val_00020010.JPEG

输出结果为

[{&＃39;class_ids&＃39;: [178, 211, 85, 236, 246], &＃39;scores&＃39;: [0.876124918460846, 0.0005408977158367634, 0.0005338680348359048, 0.0004670217458624393, 0.0004502409719862044], &＃39;file_name&＃39;: &＃39;./demo/ILSVRC2012_val_00020010.JPEG&＃39;, &＃39;label_names&＃39;: [&＃39;Weimaraner&＃39;, &＃39;vizsla, Hungarian pointer&＃39;, &＃39;quail&＃39;, &＃39;Doberman, Doberman pinscher&＃39;, &＃39;Great Dane&＃39;]}]


表示预测的类别为Weimaraner&＃xff08;魏玛猎狗&＃xff09;&＃xff0c;ID是178&＃xff0c;置信度为0.876124918460846。与predict.py结果的误差在正常范围内。

7.2 基于Serving的服务化部署

Serving部署教程可参考&＃xff1a;链接。

8. 自动化测试脚本

详细日志在test_tipc/output

TIPC: TIPC: test_tipc/README.md

首先安装auto_log&＃xff0c;需要进行安装&＃xff0c;安装方式如下&＃xff1a; auto_log的详细介绍参考https://github.com/LDOUBLEV/AutoLog。

git clone https://github.com/LDOUBLEV/AutoLog
cd AutoLog/
pip3 install -r requirements.txt
python3 setup.py bdist_wheel
pip3 install ./dist/auto_log-1.2.0-py3-none-any.whl


进行TIPC&＃xff1a;

bash test_tipc/prepare.sh test_tipc/config/ConvNeXt/convnext_tiny.txt &＃39;lite_train_lite_infer&＃39;bash test_tipc/test_train_inference_python.sh test_tipc/config/ConvNeXt/convnext_tiny.txt &＃39;lite_train_lite_infer&＃39;


TIPC结果&＃xff1a;

如果运行成功&＃xff0c;在终端中会显示下面的内容&＃xff0c;具体的日志也会输出到test_tipc/output/文件夹中的文件中。

Run successfully with command - python3.7 main.py --model&＃61;convnext_tiny --data_path&＃61;./dataset/ILSVRC2012/ --cls_label_path_train&＃61;./dataset/ILSVRC2012/train_list.txt --cls_label_path_val&＃61;./dataset/ILSVRC2012/val_list.txt --dist_eval --output_dir&＃61;./test_tipc/output/norm_train_gpus_0_autocast_null/convnext_tiny --epochs&＃61;2 --batch_size&＃61;8 !
Run successfully with command - python3.7 eval.py --model&＃61;convnext_tiny --data_path&＃61;./dataset/ILSVRC2012/ --cls_label_path_val&＃61;./dataset/ILSVRC2012/val_list.txt --resume&＃61;./test_tipc/output/norm_train_gpus_0_autocast_null/convnext_tiny/checkpoint-latest.pd !
Run successfully with command - python3.7 export_model.py --model&＃61;convnext_tiny --resume&＃61;./test_tipc/output/norm_train_gpus_0_autocast_null/convnext_tiny/checkpoint-latest.pd --output&＃61;./test_tipc/output/norm_train_gpus_0_autocast_null !
Run successfully with command - python3.7 infer.py --use_gpu&＃61;True --use_tensorrt&＃61;False --precision&＃61;fp32 --model_file&＃61;./test_tipc/output/norm_train_gpus_0_autocast_null/model.pdmodel --batch_size&＃61;1 --input_file&＃61;./dataset/ILSVRC2012/val --params_file&＃61;./test_tipc/output/norm_train_gpus_0_autocast_null/model.pdiparams > ./test_tipc/output/python_infer_gpu_usetrt_False_precision_fp32_batchsize_1.log 2>&1 !
......


• 更多详细内容&＃xff0c;请参考&＃xff1a;TIPC测试文档。

9. 复现心得

在并入PaddleClas时&＃xff0c;碰到缺少梯度累加和EMA的问题。所以我自己实现了一个版本。

梯度累加

EMA

10. License

This project is released under the MIT license.

11. 参考链接与文献

1. A ConvNet for the 2020s: https://arxiv.org/abs/2201.03545
2. ConvNeXt: https://github.com/facebookresearch/ConvNeXt