强迫症狂喜！PC端相册还能智能分类！

项目简介

不知你们是否有过这样的烦恼&＃xff0c;在特殊的节日&＃xff0c;跟家人朋友游玩结束疲惫回到家后&＃xff0c;还要自己手工从一堆拍摄的杂乱照片中分类整理出来哪些是风景照&＃xff0c;哪些是人物合照&＃xff0c;哪些是美食照...面对成百上千张照片&＃xff0c;恨不得请人来专门整理。虽然部分手机拥有了智能相册分类功能&＃xff0c;但是不免有些对照片高质量的追求者还会后期在PC端使用Adobe Photoshop对照片进行美化修整&＃xff0c;那么面对PC端的相册整理任务&＃xff0c;我们是不是好像又回到了问题的起点呢&＃xff1f;

苹果手机简单的相册分类功能&＃xff08;非AI&＃xff09;

本项目基于飞桨图像分类套件PaddleClas提出了利用图像分类技术训练常见照片图像分类模型解决PC端照片智能分类问题。PaddleClas是飞桨为工业界和学术界所准备的一个图像识别任务的工具集&＃xff0c;助力使用者训练出更好的视觉模型&＃xff0c;从而应用落地。

项目中利用图像模型智能分类流程

本项目采用PaddleClas提供的ResNet50_vd模型。在AI Studio上&＃xff0c;使用小数据量快速实现模型的训练学习&＃xff0c;后期经过测试&＃xff0c;模型在测试集上准确率高达96.5%&＃xff0c;在少量新数据图片情况下测试也可以正确分类。接下来将对项目进行详细介绍&＃xff1a;

1.  环境配置

2.  数据集选取及处理

3.  模型选择及参数配置

4.  模型训练及测试

5.  WatchDog文件监控

6.  智能相册本地配置使用

环境配置

环境要求&＃xff1a;

Python3

CUDA &＃61;&＃61; 10.1

cuDNN &＃61;&＃61;7.6.5

PaddlePaddle v2.0或更高版本

PaddleX &＃61;&＃61; 2.0.0

安装过程

安装PaddleClas套件&＃xff1a;

1.    # 下载PaddleClas套件源码

2.    git clone https://gitee.com/paddlepaddle/PaddleClas.git -b develop

安装套件依赖库&＃xff1a;

1.    cd PaddleClas
2.    pip install --upgrade -r requirements.txt -i https://mirror.baidu.com/pypi/simple
3.    pip install paddlex -q

数据集选取及处理

我们日常拍摄照片种类众多&＃xff0c;本项目优先选取了&＃xff1a;动物、食物、任务、风景、文本这样一个五分类的数据&＃xff0c;该数据完全采用公开数据&＃xff0c;数据干净且清晰&＃xff1a;

部分食物分类数据集展示

由于公开的原始数据集的庞大不利于我们缩短训练时长&＃xff0c;快速开发模型&＃xff0c;所以整个项目选取了每个类别的部分数据进行使用&＃xff0c;并对选取的数据进行了统计&＃xff0c;统计结果如下表&＃xff1a;

原始公开数据集&＃xff1a;

风景数据集&＃xff1a;https://github.com/yuweiming70/Landscape-Dataset

食物数据集&＃xff1a;https://www.datafountain.cn/datasets/5423

人物数据集&＃xff1a;http://www.seeprettyface.com/mydataset_page2.html

文本数据集&＃xff1a;https://challenge.xfyun.cn/topic/info?type&＃61;ad-2021&ch&＃61;dc-wbzmt-05

动物数据集&＃xff1a;https://blog.csdn.net/sunshine__sun/article/details/115558151

整理后的数据集&＃xff1a;

https://aistudio.baidu.com/aistudio/datasetdetail/110303

选取完数据集以后我们就要对数据集进行处理了&＃xff0c;解压数据集到工作文件夹然后利用PaddleX小工具对数据集进行划分&＃xff1a;

数据集划分【前】的文件结构

1.    # 数据集切分&＃xff1a; 训练&＃xff1a;测试&＃xff1a;验证&＃61;7&＃xff1a;1&＃xff1a;2
2.    paddlex --split_dataset --format ImageNet --dataset_dir &＃39;./dataset/&＃39; --val_value 0.2 --test_value 0.1

数据集划分【后】的文件结构

Tips&＃xff1a;可以看到&＃xff0c;在这里我们使用了PaddleX的一个小工具对数据集进行了划分。PaddleX是飞桨全流程开发工具。有了它&＃xff0c;我们划分数据集开始变得更加简单快速&＃xff01;当然&＃xff0c;如果你不满足使用它&＃xff0c;也可以去参考写一个划分数据集的代码。

模型选择与参数配置

数据预处理之后&＃xff0c;需要选择并训练网络。本项目选择的网络是ResNet50_vd&＃xff0c;关于ResNet网络结构的代码分析&＃xff0c;可单击链接&＃xff1a;

https://aistudio.baidu.com/aistudio/projectdetail/438756

在 PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml中的修改必要参数&＃xff1a;

• save_interval&＃xff1a;10  每隔多少个epoch保存模型

• validate&＃xff1a;True  是否在训练时评估

• valid_interval&＃xff1a;10    每隔多少个epoch进行模型评估

• epochs&＃xff1a;50  训练总epoch数

• classes_num&＃xff1a;5  分类数

• image_shape&＃xff1a;[3, 224, 224]  图片大小

Train&＃xff1a;

• image_root: ./dataset/   数据集文件

• cls_label_path: ./dataset/train_list.txt  数据集标签文件

Eval&＃xff1a;

• image_root: ./dataset/   数据集文件

• cls_label_path: ./dataset/val_list.txt  数据集标签文件

Tips&＃xff1a;关于学习率的设置问题&＃xff0c;大部分的神经网络选择的初始学习率为0.1&＃xff0c;batch_size是256&＃xff0c;根据实际的模型大小和显存情况&＃xff0c;可以将学习率设置为0.1×k&＃xff0c;batch_size设置为256×k。

修改好配置文件&＃xff0c;我们再把labels.txt文件做一个映射修改就可以训练了&＃xff1a;

类别标签映射&＃xff08;1映射改成2&＃xff09;

当然&＃xff0c;如果你想要让你的模型更加优秀&＃xff0c;性能更加出众的话&＃xff0c;你可以在PaddleClas技术文档找到更多的训练技巧和参数设置可以关注PaddleClas技术文档&＃xff0c;其对相关参数进行了详细的解释说明&＃xff1a;

https://paddleclas.readthedocs.io/zh_CN/latest/models/Tricks.html

模型训练及测试

使用已经配置好的训练文件就可以执行模型的训练了&＃xff0c;指令如下&＃xff1a;

python3 tools/train.py \-c ./ppcls/configs/quick_start/ResNet50_vd.yaml \-o Arch.pretrained&＃61;True

每个epochs训练完成后&＃xff0c;保存评估的最好模型

本次项目中设置的是阶段性模型评估&＃xff0c;同时保存评估结果最好的模型&＃xff0c;参数在下述目录&＃xff1a;PaddleClas/output/ResNet50_vd/best_model。best_model文件夹下包含ppcls.pdmodel、ppcls.pdopt、ppcls.pdparams三个文件用来进行后续的评估测试推理使用。

在训练完成后&＃xff0c;使用训练评估保存的最好模型去预测一张随机找到的食物照片看一下测试结果&＃xff1a;

python tools/infer.py -c ./ppcls/configs/quick_start/ResNet50_vd.yaml \-o Infer.infer_imgs&＃61;./demo/food/1043283.jpg \-o Global.pretrained_model&＃61;./output/ResNet50_vd/latest/latest

推理图片及结果

WatchDog文件监控

分类模型已经训练好了&＃xff0c;但是本地使用该模型还需要更加自动化的操作&＃xff0c;本项目使用了一个文件监控库-WatchDog&＃xff0c;那么WatchDog是什么呢&＃xff1f;WatchDog用来监控指定目录/文件的变化&＃xff0c;如添加删除文件或目录、修改文件内容、重命名文件或目录等&＃xff0c;每种变化都会产生一个事件&＃xff0c;且有一个特定的事件类与之对应&＃xff0c;然后再通过事件处理类来处理对应的事件&＃xff0c;怎么样处理事件完全可以自定义&＃xff0c;只需继承事件处理类的基类并重写对应实例方法。

上面这段文字你可能有些迷茫&＃xff0c;还是不知道WatchDog是干什么的&＃xff0c;那么形象举个例子来说&＃xff0c;我们把文件监控看作是两个部分&＃xff0c;一个叫做Listener&＃xff08;松鼠&＃xff09;和Handler&＃xff08;老虎&＃xff09;&＃xff0c;当Listener&＃xff08;松鼠&＃xff09;站在书上看着远处&＃xff0c;如果来了一个事件&＃xff08;狮子&＃xff09;到来&＃xff0c;那么Listener告诉Handler&＃xff08;老虎&＃xff09;让它去执行准备战斗的操作&＃xff0c;如果看到了另外一个事件&＃xff08;人&＃xff09;到来&＃xff0c;Listener&＃xff08;松鼠&＃xff09;会告诉Handler&＃xff08;老虎&＃xff09;让它执行逃跑操作。

形象化的WatchDog理论讲解&＃xff08;比喻&＃xff09;

如上描述&＃xff0c;我们把一个文件夹使用WatchDog做成一个Listener&＃xff0c;然后当Listener监控到有照片文件放进来就会触发Paddle模型去预测照片种类&＃xff0c;并将该照片移动到相应的相册分类文件夹中。

如果你对WatchDog感兴趣可以运行下以下Demo程序&＃xff1a;

from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
import time
import osfolder_to_track &＃61; "python\\movingFiles\\src"
folder_destination_pic &＃61; "python\\movingFiles\\des\\pic"
folder_destination_music &＃61; "python\\movingFiles\\des\\music"
folder_destination_kaoyan &＃61; "python\\movingFiles\\des\\kaoyan"class MyHandler(FileSystemEventHandler):def on_any_event(self, event):for filename in os.listdir(folder_to_track) :src &＃61; folder_to_track &＃43;"\\"&＃43; filenameif filename.endswith("jpg") or filename.endswith("png"):new_destination&＃61;folder_destination_pic &＃43; "\\"&＃43;filenameelif filename.endswith("mp3") :new_destination&＃61;folder_destination_music &＃43; "\\" &＃43; filenameelif filename.__contains__("ziliao") :new_destination &＃61; folder_destination_kaoyan &＃43; "\\"&＃43;filenameos.rename(src, new_destination)event_handler &＃61; MyHandler()
observer &＃61; Observer()
observer.schedule(event_handler, folder_to_track, recursive&＃61;True)
observer.start()
try:while True:time.sleep(10)
except KeyboardInterrupt:observer.stop()observer.join()

智能相册本地配置使用

借助之前完成的模型开发和WatchDog监控&＃xff0c;项目就可以部署在本地使用了。在这里我们需要完成之前的核心文件监控代码&＃xff1a;

class MyHandler(FileSystemEventHandler):def on_any_event(self, event):for filename in os.listdir(folder_to_track) :src &＃61; folder_to_track &＃43;"/"&＃43; filenameif filename.endswith("jpg") or filename.endswith("png"):#new_destination&＃61;folder_destination_picture &＃43; "/"&＃43;filenameprint(filename)os.system(r"python PaddleClas/tools/infer.py -c ./PaddleClas/ppcls/configs/quick_start/ResNet50_vd.yaml -o Infer.infer_imgs&＃61;./src/"&＃43;str(filename)&＃43;" -o Global.pretrained_model&＃61;./PaddleClas/output/ResNet50_vd/latest/latest > ./result.txt")with open(&＃39;result.txt&＃39;, &＃39;r&＃39;, encoding&＃61;&＃39;utf-8&＃39;) as f:  # 打开文件lines &＃61; f.readlines()  # 读取所有行last_line &＃61; lines[-1]  # 取最后一行#print(eval(last_line))result &＃61; eval(last_line)[0][&＃39;label_names&＃39;][0]#print(type(eval(last_line)))if result&＃61;&＃61;&＃39;animals&＃39;:new_destination&＃61;animals &＃43; "/" &＃43;filenameif result&＃61;&＃61;&＃39;people&＃39;:new_destination&＃61;people &＃43; "/" &＃43;filenameif result&＃61;&＃61;&＃39;food&＃39;:new_destination&＃61;food &＃43; "/" &＃43;filenameif result&＃61;&＃61;&＃39;scenery&＃39;:new_destination&＃61;scenery &＃43; "/" &＃43;filenameif result&＃61;&＃61;&＃39;text&＃39;:new_destination&＃61;text &＃43; "/" &＃43;filenameelif filename.endswith("mp3") :new_destination&＃61;folder_destination_music &＃43; "/" &＃43; filenameelif filename.endswith("avi") or filename.endswith("mp4"):new_destination &＃61; folder_destination_video &＃43; "/"&＃43;filenameos.rename(src, new_destination)

可以部署本地使用的整体项目目录结构&＃xff1a;

项目代码结构

心得体会

本项目使用了飞桨开源深度学习平台以及PaddleClas套件&＃xff0c;在AI Studio上完成了数据处理、模型训练、模型评估推理等工作。PaddleClas套件让图像分类技术变得更为简单便捷&＃xff0c;降低了开发者的上手难度。

项目开源地址&＃xff1a;https://aistudio.baidu.com/aistudio/projectdetail/2408523

关注公众号&＃xff0c;获取更多技术内容~