在YARN中部署时,Apache Spark如何处理系统故障？

前提条件

让我们假设Apache Spark使用YARN部署在hadoop集群上.此外,火花执行正在运行.spark如何处理下面列出的情况？

案例和问题

hadoop集群的一个节点由于磁盘错误而失败.但是复制足够高并且没有数据丢失.

在该节点上运行的任务会发生什么？

hadoop集群的一个节点由于磁盘错误而失败.复制不够高,数据丢失.简单地,spark无法找到已预先配置为工作流资源的文件.

它将如何处理这种情况？

在执行期间,主名称节点进行故障转移.

spark会自动使用故障转移名称节点吗？

当辅助名称节点失败时会发生什么？

由于某些原因,在工作流程期间,群集完全关闭.

是否会自动重启群集？

它会在工作流程中恢复到最后的"保存"点吗？

我知道,有些问题可能听起来很奇怪.无论如何,我希望你能回答一些或全部.提前致谢.:)