python图片数据增强_基于Python的图像数据增强DataAugmentation解析

1.1 简介

深层神经网络一般都需要大量的训练数据才能获得比较理想的结果。在数据量有限的情况下&＃xff0c;可以通过数据增强(Data Augmentation)来增加训练样本的多样性&＃xff0c; 提高模型鲁棒性&＃xff0c;避免过拟合。

在计算机视觉中&＃xff0c;典型的数据增强方法有翻转(Flip)&＃xff0c;旋转(Rotat )&＃xff0c;缩放(Scale)&＃xff0c;随机裁剪或补零(Random Crop or Pad)&＃xff0c;色彩抖动(Color jittering)&＃xff0c;加噪声(Noise)

笔者在跟进视频及图像中的人体姿态检测和关键点追踪(Human Pose Estimatiion and Tracking in videos)的项目。因此本文的数据增强仅使用——翻转(Flip)&＃xff0c;旋转(Rotate )&＃xff0c;缩放以及缩放(Scale)

2.1 裁剪(Crop)

image.shape--([3, width, height])一个视频序列中的一帧图片,裁剪前大小不统一

bbox.shape--([4,])人体检测框&＃xff0c;用于裁剪

x.shape--([1,13]) 人体13个关键点的所有x坐标值

y.shape--([1,13])人体13个关键点的所有y坐标值

def crop(image, bbox, x, y, length):

x, y, bbox &＃61; x.astype(np.int), y.astype(np.int), bbox.astype(np.int)

x_min, y_min, x_max, y_max &＃61; bbox

w, h &＃61; x_max - x_min, y_max - y_min

# Crop image to bbox

image &＃61; image[y_min:y_min &＃43; h, x_min:x_min &＃43; w, :]

# Crop joints and bbox

x -&＃61; x_min

y -&＃61; y_min

bbox &＃61; np.array([0, 0, x_max - x_min, y_max - y_min])

# Scale to desired size

side_length &＃61; max(w, h)

f_xy &＃61; float(length) / float(side_length)

image, bbox, x, y &＃61; Transformer.scale(image, bbox, x, y, f_xy)

# Pad

new_w, new_h &＃61; image.shape[1], image.shape[0]

cropped &＃61; np.zeros((length, length, image.shape[2]))

dx &＃61; length - new_w

dy &＃61; length - new_h

x_min, y_min &＃61; int(dx / 2.), int(dy / 2.)

x_max, y_max &＃61; x_min &＃43; new_w, y_min &＃43; new_h

cropped[y_min:y_max, x_min:x_max, :] &＃61; image

x &＃43;&＃61; x_min

y &＃43;&＃61; y_min

x &＃61; np.clip(x, x_min, x_max)

y &＃61; np.clip(y, y_min, y_max)

bbox &＃43;&＃61; np.array([x_min, y_min, x_min, y_min])

return cropped, bbox, x.astype(np.int), y.astype(np.int)

2.2 缩放(Scale)

image.shape--([3, 256, 256])一个视频序列中的一帧图片&＃xff0c;裁剪后输入网络为256*256

bbox.shape--([4,])人体检测框&＃xff0c;用于裁剪

x.shape--([1,13]) 人体13个关键点的所有x坐标值

y.shape--([1,13])人体13个关键点的所有y坐标值

f_xy--缩放倍数

def scale(image, bbox, x, y, f_xy):

(h, w, _) &＃61; image.shape

h, w &＃61; int(h * f_xy), int(w * f_xy)

image &＃61; resize(image, (h, w), preserve_range&＃61;True, anti_aliasing&＃61;True, mode&＃61;&＃39;constant&＃39;).astype(np.uint8)

x &＃61; x * f_xy

y &＃61; y * f_xy

bbox &＃61; bbox * f_xy

x &＃61; np.clip(x, 0, w)

y &＃61; np.clip(y, 0, h)

return image, bbox, x, y

2.3 翻转(fillip)

这里是将图片围绕对称轴进行左右翻转(因为人体是左右对称的&＃xff0c;在关键点检测中有助于防止模型过拟合)

def flip(image, bbox, x, y):

image &＃61; np.fliplr(image).copy()

w &＃61; image.shape[1]

x_min, y_min, x_max, y_max &＃61; bbox

bbox &＃61; np.array([w - x_max, y_min, w - x_min, y_max])

x &＃61; w - x

x, y &＃61; Transformer.swap_joints(x, y)

return image, bbox, x, y

翻转前&＃xff1a;

翻转后&＃xff1a;

2.4 旋转(rotate)

angle--旋转角度

def rotate(image, bbox, x, y, angle):

# image - -(256, 256, 3)

# bbox - -(4,)

# x - -[126 129 124 117 107 99 128 107 108 105 137 155 122 99]

# y - -[209 176 136 123 178 225 65 47 46 24 44 64 49 54]

# angle - --8.165648811999333

# center of image [128,128]

o_x, o_y &＃61; (np.array(image.shape[:2][::-1]) - 1) / 2.

width,height &＃61; image.shape[0],image.shape[1]

x1 &＃61; x

y1 &＃61; height - y

o_x &＃61; o_x

o_y &＃61; height - o_y

image &＃61; rotate(image, angle, preserve_range&＃61;True).astype(np.uint8)

r_x, r_y &＃61; o_x, o_y

angle_rad &＃61; (np.pi * angle) /180.0

x &＃61; r_x &＃43; np.cos(angle_rad) * (x1 - o_x) - np.sin(angle_rad) * (y1 - o_y)

y &＃61; r_y &＃43; np.sin(angle_rad) * (x1 - o_x) &＃43; np.cos(angle_rad) * (y1 - o_y)

x &＃61; x

y &＃61; height - y

bbox[0] &＃61; r_x &＃43; np.cos(angle_rad) * (bbox[0] - o_x) &＃43; np.sin(angle_rad) * (bbox[1] - o_y)

bbox[1] &＃61; r_y &＃43; -np.sin(angle_rad) * (bbox[0] - o_x) &＃43; np.cos(angle_rad) * (bbox[1] - o_y)

bbox[2] &＃61; r_x &＃43; np.cos(angle_rad) * (bbox[2] - o_x) &＃43; np.sin(angle_rad) * (bbox[3] - o_y)

bbox[3] &＃61; r_y &＃43; -np.sin(angle_rad) * (bbox[2] - o_x) &＃43; np.cos(angle_rad) * (bbox[3] - o_y)

return image, bbox, x.astype(np.int), y.astype(np.int)

旋转前&＃xff1a;

旋转后&＃xff1a;

3 结果(output)

数据增强前的原图&＃xff1a;

数据增强后&＃xff1a;

以上就是本文的全部内容&＃xff0c;希望对大家的学习有所帮助&＃xff0c;也希望大家多多支持我们。

时间&＃xff1a; 2019-08-10