我在Spark上实现了一个自定义数据层,它有一个Spark节点在本地保存一些数据,并宣布它们的数据持久性给Spark主机.这通过在每个Spark节点上运行一些自定义代码和我们编写的master来实现,但现在我想在我的集群中实现复制协议.我想要构建的是,一旦主节点从一个节点收到一条消息说它是持久数据,主节点可以随机选择另外两个节点并让它们保持相同的数据.
我一直在挖掘文档,但我没有看到SparkContext的明显方式给我一个实时节点列表.我错过了什么吗?