基于PaddleX的钢板表面缺陷检测

29102 12 29346 24 29602 24 29858 24 30114 24 3...
1 0002cc93b.jpg_2 NaN
2 0002cc93b.jpg_3 NaN
3 0002cc93b.jpg_4 NaN
4 00031f466.jpg_1 NaNImageId_ClassId EncodedPixels
0 004f40c73.jpg_1 1 1
1 004f40c73.jpg_2 1 1
2 004f40c73.jpg_3 1 1
3 004f40c73.jpg_4 1 1
4 006f39c41.jpg_1 1 1

注意数据的标注形式&＃xff0c;一共2列&＃xff1a;第1列&＃xff1a;ImageId_ClassId&＃xff08;图片编号&＃43;类编号&＃xff09;&＃xff1b;第2例EncodedPixels&＃xff08;图像标签&＃xff09;。注意这个图像标签和我们平常遇到的不一样&＃xff0c;平常的是一个mask灰度图像&＃xff0c;里面有许多数字填充&＃xff0c;背景为0&＃xff0c;但是这里&＃xff0c;为了缩小数据&＃xff0c;它使用的是像素“列位置-长度”格式。举个例子&＃xff1a;

我们把一个图像&＃xff08;h,w&＃xff09;flatten&＃xff08;注意不是按行而是按列&＃xff09;&＃xff0c;29102 12 29346 24 29602 24表示从29102像素位置开始的12长度均为非背景&＃xff0c;后面以此类推。这就相当于在每个图像上画一条竖线。

接下来统计有无缺陷及每类缺陷的图像数量&＃xff1a;

class_dict &＃61; defaultdict(int)
kind_class_dict &＃61; defaultdict(int)
no_defects_num &＃61; 0
defects_num &＃61; 0for col in range(0, len(train_df), 4):img_names &＃61; [str(i).split("_")[0] for i in train_df.iloc[col:col&＃43;4, 0].values]if not (img_names[0] &＃61;&＃61; img_names[1] &＃61;&＃61; img_names[2] &＃61;&＃61; img_names[3]):raise ValueErrorlabels &＃61; train_df.iloc[col:col&＃43;4, 1]if labels.isna().all():no_defects_num &＃43;&＃61; 1else:defects_num &＃43;&＃61; 1kind_class_dict[sum(labels.isna().values &＃61;&＃61; False)] &＃43;&＃61; 1for idx, label in enumerate(labels.isna().values.tolist()):if label &＃61;&＃61; False:class_dict[idx&＃43;1] &＃43;&＃61; 1


输出有、无缺陷的图像数量

print("无缺陷钢板数量: {}".format(no_defects_num))
print("有缺陷钢板数量: {}".format(defects_num))


输出结果为&＃xff1a;

无缺陷钢板数量: 5902
有缺陷钢板数量: 6666


接下来对有缺陷的图像进行分类统计&＃xff1a;

import seaborn as sns
import matplotlib.pyplot as pltfig, ax &＃61; plt.subplots()
sns.barplot(x&＃61;list(class_dict.keys()), y&＃61;list(class_dict.values()), ax&＃61;ax)
ax.set_title("the number of images for each class")
ax.set_xlabel("class")
plt.show()
print(class_dict)


输出结果如下&＃xff1a;

以上分析可以帮助我们快速掌握数据基本属性&＃xff0c;初步了解项目难度。在实际比赛时这些数据分析是非常重要的&＃xff0c;通过这些数据分析再挖掘整理成重要的“线索”&＃xff0c;然后改进算法模型&＃xff0c;往往可以取得出其不意的好效果。

三、制作标准数据集

3.1 PaddleX数据集格式说明

从前面的数据分析中我们看到钢板图像的每个像素只属于1种缺陷类别&＃xff08;或者没缺陷&＃xff09;&＃xff0c;由于我们需要定位出钢板缺陷的精细区域&＃xff0c;因此可以把这个任务看作是一个语义分割任务&＃xff0c;即按照像素级别精度判断每个像素所属的缺陷类别。

接下来我们就可以使用语义分割算法进行训练和验证。本项目采用百度飞桨PaddleX算法套件来快速训练。PaddleX是飞桨全流程开发工具&＃xff0c;集飞桨核心框架、模型库、工具及组件等深度学习开发所需全部能力于一身&＃xff0c;打通深度学习开发全流程。简单来说&＃xff0c;使用PaddleX有两个明显的好处&＃xff1a;

• 快速验证算法模型&＃xff1a;无论是做工业项目还是参加类似Kaggle的竞赛&＃xff0c;没有一个算法是通吃的&＃xff0c;那么我们必然需要尝试很多不同的算法&＃xff0c;这时候快速验证算法模型有效性就显得尤为重要。对于一个未知的深度学习任务来说&＃xff0c;我们刚开始并不知道到底使用什么样的模型算法去处理才能得到一个比较好的基准值&＃xff0c;这时候就需要有一个接口切换简单、实现快捷方便、算法功能齐全的算法库工具&＃xff0c;能够让我们快速的去验证模型有效性&＃xff0c;这里PaddleX就是这样一个比较好的工具&＃xff0c;它包含了图像分类、分割、检测等常见的、实用的深度学习模型&＃xff0c;而且接口进行了高度统一&＃xff0c;我们可以使用它来快速的训练各个模型&＃xff0c;并选取一个比较好的基准值。在这个基础上&＃xff0c;我们再去进行算法优化。
• 模型快速部署&＃xff1a;对于真实的工业任务来说&＃xff0c;不光要训练得到一个高精度的算法模型&＃xff0c;还需要考虑部署的便捷性和有效性。很多模型尽管精度很高&＃xff0c;但是由于采用了非常嵌套的动态图模型编写方式&＃xff0c;如果将其直接静态图导出或者转成onnx往往会遇到问题&＃xff0c;那么这时候必然需要算法工程师手动去修改模型&＃xff0c;这对于真实项目来说会极大的增加项目开发难度&＃xff0c;降低项目开发效率。使用PaddleX的好处在于&＃xff0c;在PaddleX中的模型基本都已经被验证过了&＃xff0c;能够在多种平台上进行落地部署&＃xff0c;比如C&＃43;&＃43;推理、手机移动端推理等&＃xff0c;同时还给出了详细的部署教程&＃xff0c;因此&＃xff0c;选择PaddleX进行真实深度学习产品开发或者打比赛都是一个不错的选择。

PaddleX安装方法参考官网。本项目使用PaddleX v2.0.0版本进行实现。

为了能够使用PaddleX进行语义分割训练&＃xff0c;我们首先要对数据集格式进行转化。PaddleX语义分割算法要求数据集按照如下方式进行组织&＃xff1a;

原图均放在同一目录&＃xff0c;如JPEGImages&＃xff0c;标注的同名png文件均放在同一目录&＃xff0c;如Annotations。示例如下&＃xff1a;

MyDataset/ # 语义分割数据集根目录
|--JPEGImages/ # 原图文件所在目录
| |--1.jpg
| |--2.jpg
| |--...
| |--...
|
|--Annotations/ # 标注文件所在目录
| |--1.png
| |--2.png
| |--...
| |--...


JPEGImages目录存放的是原文件图像(jpg格式)&＃xff0c;Annotations存放对应的标注文件图像(png格式) 。这里的标注图像&＃xff0c;如1.png&＃xff0c;为单通道图像,像素标注类别需要从0开始递增, 例如0&＃xff0c; 1&＃xff0c; 2&＃xff0c; 3表示4种类别&＃xff08;一般0表示background背景)&＃xff0c;标注类别最多255个类别(其中像素值255不参与训练和评估)。

3.2 数据转换

数据转换本身并不难&＃xff0c;在前面可视化数据的时候已经将缺陷区域显示了出来&＃xff0c;因此&＃xff0c;数据转化时只需要将缺陷对应的灰度值填入mask即可。

将下载下来的数据集解压后放置在当前项目根目录下&＃xff0c;然后执行下面的代码即可&＃xff1a;

python prepare_dataset.py


执行完后在当前根目录下会生成PaddleX标准的数据集&＃xff0c;名为steel。

执行完以后在生成的steel文件夹下面创建一个标签说明文件&＃xff0c;文件名为labels.txt,内容如下&＃xff1a;

0
1
2
3
4


这个文件用来指明当前到底有哪些像素标签值&＃xff08;本项目共4种缺陷&＃xff0c;对应标签为1、2、3、4&＃xff0c;这里的0标签表示背景&＃xff09;

转换完的数据集也可以直接从ai studio上进行下载。

3.3 数据切分

在模型进行训练时&＃xff0c;我们需要划分训练集&＃xff0c;验证集和测试集&＃xff0c;可直接使用paddlex命令将数据集随机划分。本项目将训练集、验证集和测试集按照8.5&＃xff1a;1&＃xff1a;0.5的比例划分。 PaddleX中提供了简单易用的API&＃xff0c;方便用户直接使用进行数据划分。具体命令如下&＃xff1a;

paddlex --split_dataset --format SEG --dataset_dir steel --val_value 0.1 --test_val 0.05


数据文件夹切分前后的状态如下:

steel/ steel/├── Annotations/ --> ├── Annotations/├── JPEGImages/ ├── JPEGImages/├── labels.txt ├── labels.txt├── test_list.txt├── train_list.txt├── val_list.txt


执行上面命令行&＃xff0c;会在steel下生成train_list.txt, val_list.txt, test_list.txt&＃xff0c;分别存储训练样本列表&＃xff0c;验证样本列表&＃xff0c;测试样本列表。

四、训练和验证

PaddleX提供了丰富的视觉模型&＃xff0c;在语义分割中提供了DeepLabV3、UNET、HRNET和FastSCNN系列模型。在本项目中采用重量级HRNET为分割模型进行钢板缺陷检测。

4.1 基于HRNet模型

4.2 基于UNet模型

五、部署

5.1 模型导出

模型训练后保存在output文件夹&＃xff0c;如果要使用PaddleInference进行部署需要导出成静态图的模型,运行如下命令&＃xff0c;会自动在output文件夹下创建一个inference_model的文件夹&＃xff0c;用来存放导出后的模型。

paddlex --export_inference --model_dir&＃61;output/hrnet/best_model --save_dir&＃61;output/inference_model


5.2 C#桌面部署

模型部署采用了PaddleX提供的C&＃43;&＃43; inference部署方案&＃xff0c;在该方案中提供了C#部署Demo&＃xff0c;用户可根据实际情况自行参考修改。