keras并行九三_keras多gpu并行运行案例

一、多张gpu的卡上使用keras

有多张gpu卡时&＃xff0c;推荐使用tensorflow 作为后端。使用多张gpu运行model&＃xff0c;可以分为两种情况&＃xff0c;一是数据并行&＃xff0c;二是设备并行。

二、数据并行

数据并行将目标模型在多个设备上各复制一份&＃xff0c;并使用每个设备上的复制品处理整个数据集的不同部分数据。

利用multi_gpu_model实现

keras.utils.multi_gpu_model(model, gpus&＃61;None, cpu_merge&＃61;True, cpu_relocation&＃61;False)

具体来说&＃xff0c;该功能实现了单机多 GPU 数据并行性。 它的工作原理如下&＃xff1a;

将模型的输入分成多个子批次。

在每个子批次上应用模型副本。 每个模型副本都在专用 GPU 上执行。

将结果(在 CPU 上)连接成一个大批量。

例如&＃xff0c; 如果你的 batch_size 是 64&＃xff0c;且你使用 gpus&＃61;2&＃xff0c; 那么我们将把输入分为两个 32 个样本的子批次&＃xff0c; 在 1 个 GPU 上处理 1 个子批次&＃xff0c;然后返回完整批次的 64 个处理过的样本。

参数

model: 一个 Keras 模型实例。为了避免OOM错误&＃xff0c;该模型可以建立在 CPU 上&＃xff0c; 详见下面的使用样例。

gpus: 整数 >&＃61; 2 或整数列表&＃xff0c;创建模型副本的 GPU 数量&＃xff0c; 或 GPU ID 的列表。

cpu_merge: 一个布尔值&＃xff0c;用于标识是否强制合并 CPU 范围内的模型权重。

cpu_relocation: 一个布尔值&＃xff0c;用来确定是否在 CPU 的范围内创建模型的权重。如果模型没有在任何一个设备范围内定义&＃xff0c;您仍然可以通过激活这个选项来拯救它。

返回

一个 Keras Model 实例&＃xff0c;它可以像初始 model 参数一样使用&＃xff0c;但它将工作负载分布在多个 GPU 上。

例子

import tensorflow as tf

from keras.applications import Xception

from keras.utils import multi_gpu_model

import numpy as np

num_samples &＃61; 1000

height &＃61; 224

width &＃61; 224

num_classes &＃61; 1000

# 实例化基础模型(或者「模版」模型)。

# 我们推荐在 CPU 设备范围内做此操作&＃xff0c;

# 这样模型的权重就会存储在 CPU 内存中。

# 否则它们会存储在 GPU 上&＃xff0c;而完全被共享。

with tf.device("/cpu:0"):

model &＃61; Xception(weights&＃61;None,

input_shape&＃61;(height, width, 3),

classes&＃61;num_classes)

# 复制模型到 8 个 GPU 上。

# 这假设你的机器有 8 个可用 GPU。

parallel_model &＃61; multi_gpu_model(model, gpus&＃61;8)

parallel_model.compile(loss&＃61;"categorical_crossentropy",

optimizer&＃61;"rmsprop")

# 生成虚拟数据

x &＃61; np.random.random((num_samples, height, width, 3))

y &＃61; np.random.random((num_samples, num_classes))

# 这个 &＃96;fit&＃96; 调用将分布在 8 个 GPU 上。

# 由于 batch size 是 256, 每个 GPU 将处理 32 个样本。

parallel_model.fit(x, y, epochs&＃61;20, batch_size&＃61;256)

# 通过模版模型存储模型(共享相同权重)&＃xff1a;

model.save("my_model.h5")

注意&＃xff1a;

要保存多 GPU 模型&＃xff0c;请通过模板模型(传递给 multi_gpu_model 的参数)调用 .save(fname) 或 .save_weights(fname) 以进行存储&＃xff0c;而不是通过 multi_gpu_model 返回的模型。

即要用model来保存&＃xff0c;而不是parallel_model来保存。

使用ModelCheckpoint() 遇到的问题

使用ModelCheckpoint()会遇到下面的问题&＃xff1a;

TypeError: can"t pickle ...(different text at different situation) objects

这个问题和保存问题类似&＃xff0c;ModelCheckpoint() 会自动调用parallel_model.save()来保存&＃xff0c;而不是model.save()&＃xff0c;因此我们要自己写一个召回函数&＃xff0c;使得ModelCheckpoint()用model.save()。

修改方法&＃xff1a;

class ParallelModelCheckpoint(ModelCheckpoint):

def __init__(self,model,filepath, monitor&＃61;"val_loss", verbose&＃61;0,

save_best_only&＃61;False, save_weights_only&＃61;False,

mode&＃61;"auto", period&＃61;1):

self.single_model &＃61; model

super(ParallelModelCheckpoint,self).__init__(filepath, monitor, verbose,save_best_only, save_weights_only,mode, period)

def set_model(self, model):

super(ParallelModelCheckpoint,self).set_model(self.single_model)

checkpoint &＃61; ParallelModelCheckpoint(original_model)

ParallelModelCheckpoint调用的时候&＃xff0c;model应该为原来的model而不是parallel_model。

EarlyStopping 没有此类问题

二、设备并行

设备并行适用于多分支结构&＃xff0c;一个分支用一个gpu。

这种并行方法可以通过使用TensorFlow device scopes实现&＃xff0c;下面是一个例子&＃xff1a;

# Model where a shared LSTM is used to encode two different sequences in parallel

input_a &＃61; keras.Input(shape&＃61;(140, 256))

input_b &＃61; keras.Input(shape&＃61;(140, 256))

shared_lstm &＃61; keras.layers.LSTM(64)

# Process the first sequence on one GPU

with tf.device_scope("/gpu:0"):

encoded_a &＃61; shared_lstm(tweet_a)

# Process the next sequence on another GPU

with tf.device_scope("/gpu:1"):

encoded_b &＃61; shared_lstm(tweet_b)

# Concatenate results on CPU

with tf.device_scope("/cpu:0"):

merged_vector &＃61; keras.layers.concatenate([encoded_a, encoded_b],

axis&＃61;-1)

三、分布式运行

keras的分布式是利用TensorFlow实现的&＃xff0c;要想完成分布式的训练&＃xff0c;你需要将Keras注册在连接一个集群的TensorFlow会话上&＃xff1a;

server &＃61; tf.train.Server.create_local_server()

sess &＃61; tf.Session(server.target)

from keras import backend as K

K.set_session(sess)

以上这篇keras 多gpu并行运行案例就是小编分享给大家的全部内容了&＃xff0c;希望能给大家一个参考&＃xff0c;也希望大家多多支持云海天教程。

原文链接&＃xff1a;https://blog.csdn.net/xingkongyidian/article/details/88343115