pytorch训练过程acc_Pytorch学习笔记（三）——利用迁移学习训练分类网络

在学习pytorch过程中遇到的一些难题&＃xff0c;博主在这里进行记录。主要针对官网里面例子的代码&＃xff0c;其中对有些基础python知识与pytorch中的接口函数细节理解。

这个例子介绍如何用PyTorch进行迁移学习训练一个ResNet模型来对蚂蚁和蜜蜂进行分类。

数据增强与存放

1.transforms是很常用的图片变换方式&＃xff0c;可以通过compose将各个变换串联起来。class torchvision.transforms.Compose (transforms) 这个类将多个变换方式结合在一起&＃xff0c;参数&＃xff1a;各个变换的实例对象。torchvision.transforms.RandomSizedCrop是做crop的。需要注意的是对于torchvision.transforms.RandomSizedCrop和transforms.RandomHorizontalFlip()等&＃xff0c;输入对象都是PIL Image&＃xff0c;也就是用python的PIL库读进来的图像内容。

2. torchvision.transforms.ToTensor&＃xff0c;将PIL图片或者numpy.ndarray转成Tensor类型的&＃xff0c;将PIL图片或者numpy.ndarray(HxWxC) (范围在0-255) 转成torch.FloatTensor (CxHxW) (范围为0.0-1.0)

3.data_dir &＃61; &＃39;data/hymenoptera_data’这是存放数据集的地址。数据导入是从datasets.ImageFolder接口实现的。os.path.join()函数用于路径拼接文件路径。因为数据集中有train与val&＃xff0c;所以需要用 for x in [‘train’, ‘val’]来循环完成数据存放。这里image_datasets是一个字典&＃xff0c;返回image_datasets[‘train’]&＃xff0c;image_datasets[‘val]两个tuple&＃xff0c;每个tuple包含图像和标签信息。

4.datasets.ImageFolder返回的是字典&＃xff0c;并不能作为模型的输入&＃xff0c;所以torch.utils.data.DataLoader类将其转变为Tensor数据模式。

训练模型

这里的主要操作有&＃xff1a;Scheduling the learning rate&＃xff08;规划学习率&＃xff09;、Saving the best model&＃xff08;保存最优模型&＃xff09;

先介绍 scheduler 的用法&＃xff1a;

制定任意一层的学习率&＃xff08;多个参数组&＃xff09;&＃xff1a;下面为两个参数组

那么多个参数组如何进一步调整学习率呢&＃xff1f;用到torch.optim.lr_scheduler &＃xff0c;它提供了几种方法来根据epoches的数量调整学习率。有些优化算法已经拥有了学习率衰减参数lr_decay 。

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma&＃61;0.1, last_epoch&＃61;-1)

其中optimizer就是包装好的优化器&＃xff0c;step_size (int) 为学习率衰减期&＃xff0c;指几个epoch衰减一次。gamma为学习率衰减的乘积因子。 默认为0.1 。当last_epoch&＃61;-1时&＃xff0c;将初始lr设置为lr。

best_model_wts &＃61; copy.deepcopy(model.state_dict()) 先深拷贝一份当前模型的参数&＃xff0c;后面迭代过程中若遇到更优模型则替换。

scheduler.step() 训练的时候进行学习率规划&＃xff0c;其定义在下面给出。

if phase &＃61;&＃61; ‘val’ and epoch_acc > best_acc: 当验证时遇到了更好的模型则予以保留

best_model_wts &＃61; copy.deepcopy(model.state_dict()) 深拷贝模型参数

model.load_state_dict(best_model_wts) # 载入最优模型参数

Finetuning the convnet

加载预训练模型并重置最终完全连接的图层。注意这里是对所有层参数进行微调。

model_ft即为含训练好参数的残差网络&＃xff0c;num_ftrs &＃61; model_ft.fc.in_features 最后一个全连接的输入维度&＃xff0c;这里实为512。

model_ft.fc &＃61; nn.Linear(num_ftrs, 2) # 将最后一个全连接由&＃xff08;512&＃xff0c; 1000&＃xff09;改为(512, 2) 因为原网络是在1000类的ImageNet数据集上训练的。

CPU上需要大约15-25分钟。但是在GPU上&＃xff0c;它只需不到一分钟。

ConvNet as fixed feature extractor

将conv的参数都固定&＃xff0c;只调整全连接。

param.requires_grad &＃61; False# 将所有参数求导设为否

需要注意的是&＃xff1a;新构建的model的参数默认为 requires_grad&＃61;True &＃xff01;

训练结果比全局调优还好一些。