百度网盘AI大赛：手写文字擦除(赛题二)Baseline

1.大赛背景

百度网盘AI大赛——图像处理挑战赛是 百度网盘开放平台 面向AI开发者和爱好者发起的计算机视觉领域挑战赛。AI时代已到来，百度网盘与百度飞桨AI Studio强强联合，旨在基于个人云存储的生态能力开放，通过比赛机制，鼓励选手结合当下前沿的计算机视觉技术与图像处理技术，完成模型设计搭建与训练优化，产出基于飞桨框架的开源模型方案，为中国开源生态建设贡献一份力量。

本次图像处理挑战赛以线上比赛的形式进行，参赛选手需要在规定时间内，完成模型设计搭建与训练优化，并提交基于评测数据集产出的结果文件，榜单排名靠前且通过代码复查的队伍可获得高额奖金。

百度网盘开放平台 致力于为全球AI开发者和爱好者提供专业、高效的AI学习与开发环境，挖掘培养AI人才，助力技术产业生态发展。我们向所有胸怀梦想的开发者发出邀请，希望大家能与百度一起，用技术让复杂的世界变得更简单。

2.数据集简介

比赛数据集

在本次比赛最新发布的数据集中，所有的图像数据均由真实场景采集得到，再通过技术手段进行相应处理，生成可用的脱敏数据集。该任务为image-to-image的形式，因此源数据和GT数据均以图片的形式来提供。各位选手可基于本次比赛最新发布的训练数据快速融入比赛，为达到更好的算法效果，本次比赛不限制大家使用额外的训练数据来优化模型。测试数据集的GT不做公开，请各位选手基于本次比赛最新发布的测试数据集提交对应的结果文件。
备注： 百度网盘坚持隐私红线，不会收集或者提供任何用户存储在百度网盘中的文件数据。

数据集构成

|- root |- images|- gts


本次比赛最新发布的数据集共包含训练集、A榜测试集、B榜测试集三个部分，其中训练集共1000个样本，A榜测试集共200个样本，B榜测试集共200个样本；
images 为带手写文字的源图像数据，gts 为无手写文字的真值数据（仅有训练集数据提供gts ，A榜测试集、B榜测试集数据均不提供gts）；
images 与 gts 中的图片根据图片名称一一对应。

数据集下载

本次比赛将提供带有手写文字的文档图片作为比赛数据集。
其中，训练集1000张，A榜测试数据集共200张，B榜测试数据集共200张。

官网有训练集和测试集链接，但训练集只有原始图和GT图，作者在这儿做了一份粗略的MASK图以更好的适应模型的训练：下载路径

3.Baseline模型EraseNet介绍

Introduction

文字擦除的意义

• 隐私保护
• 有助于文字编辑

挑战

• 定位文字内容
• 合理填充前景
• 背景保持原样

示例

Architecture

• G network是一个由coarse和refinement组成的two-stage network
• 作者设计了一个segmentation head，用来输出text mask，帮助模型更好的定位mask区域
• 使用local-global SN-Patch-GAN去让GAN的训练过程更加稳定

Coarse-Erasure Sub-Network

该结构类似于UNet的FCN结构，其中在特征图叠加时采用下图的lateral concatenations的设计，这种设计保证了concat过程中feature map的非线性程度。

Refinement Sub-Network

该部分是Coarse Network的输出，该输出由于监督信号不足的原因导致图像中还包含部分文本信息，因此作者在加一个阶段去细化生成图像。

Segmentation Head

Segmentation Head作为辅助路径能够更好的为Coarse阶段隐式的定位文本位置。

Global and local discriminator

该结构通过全局和局部鉴别，保证了整体的一致性和局部的敏感性。

4.训练及测试

4.1 准备数据集

%cd /home/aistudio/data/
!unzip /home/aistudio/data/data121581/dehw_testA_dataset.zip
!unzip /home/aistudio/data/data121581/dehw_train_dataset.zip
!unzip /home/aistudio/data/data122013/mask.zip
%mv mask/ dehw_train_dataset/


解压数据集之后，数据集目录如下：

| dehw_testA_dataset/-images
| dehw_train_dataset/-gts-images-mask


其中mask 分支为手写文字的掩码，通过滤波算法生成的。

4.2 启动训练命令

%cd /home/aistudio/work/
!python train.py --dataset_root ../data/dehw_train_dataset/ --max_epochs 100 --batch_size 3 --sample_interval 100 --log_iters 100


4.3 启动测试命令

运行结束后，结果文件保存在train_result/model文件夹中，通过–pretrained选择训练模型的路径进行预测

!python test.py --dataset_root ../data/dehw_testA_dataset/ --pretrained model.pdparams


保存的文件在test_result路径中，进入该路径创建readme.txt文件，输入要求的内容：

训练框架：PaddlePaddle
代码运行环境：V100
是否使用GPU：是
单张图片耗时/s：0.06
模型大小：75MB
其他说明：该算法参考EraseNet

然后压缩所有文件

%cd test_result/
!zip -D result.zip ./*


4.4 提交结果

下载result.zip文件，页面提交后分数大概在0.56左右。

5.注

本项目在网络搭建上仍存在可优化空间，后续有改进思路会及时更新代码内容，期待与更多飞桨开发者交流学习，共同进步。

更多代码内容，可以关注公众号<九点澡堂子>并回复“手写文字擦除”获取，如有问题欢迎后台私信～