作者:海底来的沙3 | 来源:互联网 | 2023-02-05 14:54
目前,我们已成功使用Tensorflow服务为模型提供服务.我们使用以下方法导出模型并使用Tensorflow服务托管它.
------------
For exporting
------------------
from tensorflow.contrib.session_bundle import exporter
K.set_learning_phase(0)
export_path = ... # where to save the exported graph
export_version = ... # version number (integer)
saver = tf.train.Saver(sharded=True)
model_exporter = exporter.Exporter(saver)
signature = exporter.classification_signature(input_tensor=model.input,
scores_tensor=model.output)
model_exporter.init(sess.graph.as_graph_def(),
default_graph_signature=signature)
model_exporter.export(export_path, tf.constant(export_version), sess)
--------------------------------------
For hosting
-----------------------------------------------
bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --model_name=default --model_base_path=/serving/models
但是我们的问题是 - 我们希望keras与Tensorflow服务集成.我们希望通过使用Keras的Tensorflow服务该模型.我们希望拥有的原因是因为 - 在我们的架构中,我们采用了几种不同的方式来训练我们的模型,如deeplearning4j + Keras,Tensorflow + Keras,但是为了服务,我们只想使用一个Tensorflow服务的可用引擎.我们没有看到任何直接的方法来实现这一目标.任何意见 ?
谢谢.
1> Thomas Paula..:
最近,TensorFlow改变了导出模型的方式,因此Web上提供的大多数教程都已过时.我老实说不知道deeplearning4j是如何工作的,但我经常使用Keras.我设法创建了一个简单的例子,我已经在TensorFlow服务Github 上发布了这个问题.
我不确定这是否会对你有所帮助,但我想分享一下我的做法,也许它会给你一些见解.我在创建自定义模型之前的第一个试验是使用Keras上的训练模型,例如VGG19.我这样做了如下.
模型创建
import keras.backend as K
from keras.applications import VGG19
from keras.models import Model
# very important to do this as a first thing
K.set_learning_phase(0)
model = VGG19(include_top=True, weights='imagenet')
# The creation of a new model might be optional depending on the goal
cOnfig= model.get_config()
weights = model.get_weights()
new_model = Model.from_config(config)
new_model.set_weights(weights)
导出模型
from tensorflow.python.saved_model import builder as saved_model_builder
from tensorflow.python.saved_model import utils
from tensorflow.python.saved_model import tag_constants, signature_constants
from tensorflow.python.saved_model.signature_def_utils_impl import build_signature_def, predict_signature_def
from tensorflow.contrib.session_bundle import exporter
export_path = 'folder_to_export'
builder = saved_model_builder.SavedModelBuilder(export_path)
signature = predict_signature_def(inputs={'images': new_model.input},
outputs={'scores': new_model.output})
with K.get_session() as sess:
builder.add_meta_graph_and_variables(sess=sess,
tags=[tag_constants.SERVING],
signature_def_map={'predict': signature})
builder.save()
一些旁注
它可能会有所不同,取决于Keras,TensorFlow和TensorFlow服务版本.我用过最新的.
请注意签名的名称,因为它们也应该在客户端中使用.
创建客户端时,必须执行模型所需的所有预处理步骤(例如preprocess_input()).我没有尝试在图形本身中添加这样的步骤作为Inception客户端示例.
关于在同一服务器中提供不同的模型,我认为类似于创建model_config_file的东西可能会对你有所帮助.为此,您可以创建与此类似的配置文件:
model_config_list: {
config: {
name: "my_model_1",
base_path: "/tmp/model_1",
model_platform: "tensorflow"
},
config: {
name: "my_model_2",
base_path: "/tmp/model_2",
model_platform: "tensorflow"
}
}
最后,您可以像这样运行客户端:
bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --config_file=model_config.conf
我必须将所有模型文件放入`base_path`的版本子文件夹中,版本号(例如`/ tmp/model/00001`).目前找不到这个的来源,但也许可以节省未来的读者一段时间.