尝试运行分布式GCMLE作业时遇到抢占OS错误

我正在尝试运行分布式GCMLE培训工作，但不断出现以下错误：

An error was raised. This may be due to a preemption in a connected worker or parameter server. The current session will be closed and a new session will be created. Error: OS Error

该Trainer软件包是一个自定义估算器，其建模方式与cloudml-samples普查自定义估算器相同：https：//github.com/GoogleCloudPlatform/cloudml-samples/tree/master/census/customestimator/trainer。可以肯定地说task.py文件是完全相同的，并且model.py文件中的input_fn()和parse_csv()函数是相同的，唯一的不同是在my的细节内model_fn()。

如果我将模型配置为与单个standard_p100GPU 一起运行，则可以约15步/秒的速度进行训练。但是，如果我将配置更新为具有4个工作程序和3个参数服务器的分布式设置（请参阅下面的配置），则会弹出抢占错误，并且10个步骤将花费约600秒...

config-distributed.yaml：

trainingInput:
  scaleTier: CUSTOM
  masterType: standard_p100
  workerType: standard_p100
  parameterServerType: large_model
  workerCount: 3
  parameterServerCount: 3

如果我在普查自定义估算器样本中使用相同的配置，则模型的训练速度将比预期的更快，并且不会遇到抢占错误。我尝试修改人口普查示例以更精确地模仿我的确切代码，但仍然无法重现该错误。

尝试培训分布式ml引擎作业时，是否有人遇到过类似的抢占问题？关于如何更好地调试问题的任何建议？我在网上找到的唯一建议是建议参数服务器的数量至少为工作人员数量的一半（这就是为什么我将参数服务器提高到3个的原因），但是我仍然没有运气。

为了从日志中添加更多上下文，这是我尝试在分布式设置中进行训练时会发生的典型（重复）模式：

master-replica-0 loss = 16.5019, step = 53 (124.505 sec)
master-replica-0 An error was raised. This may be due to a preemption in a connected worker or parameter server. The current session will be closed and a new session will be created. Error: OS Error
master-replica-0 Graph was finalized.
master-replica-0 Restoring parameters from gs://.../model.ckpt-0
master-replica-0 Running local_init_op.
master-replica-0 Done running local_init_op.
master-replica-0 Saving checkpoints for 0 into gs://...
master-replica-0 Skip the current checkpoint eval due to throttle secs (600 secs).
master-replica-0 An error was raised. This may be due to a preemption in a connected worker or parameter server. The current session will be closed and a new session will be created. Error: OS Error

然后重复此循环...

更新

我将参数服务器的数量增加到10个，并将步数/秒增加到5-10之间（仅使用单个GPU时，步数/秒仍然少于15），并且错误仍然发生，但偶尔出现。如果更多的参数服务器有所帮助，这将意味着什么？无论（<5-10％），CPU和内存的利用率都非常低，因此看来PS似乎没有超载，但是该模型确实有很多变量需要更新（5万个单词嵌入，带有大量维数） ）。这会以某种方式助长问题吗？