以编程方式访问实时Spark节点的列表

 班长和丫头 发布于 2022-12-23 13:37

我在Spark上实现了一个自定义数据层,它有一个Spark节点在本地保存一些数据,并宣布它们的数据持久性给Spark主机.这通过在每个Spark节点上运行一些自定义代码和我们编写的master来实现,但现在我想在我的集群中实现复制协议.我想要构建的是,一旦主节点从一个节点收到一条消息说它是持久数据,主节点可以随机选择另外两个节点并让它们保持相同的数据.

我一直在挖掘文档,但我没有看到SparkContext的明显方式给我一个实时节点列表.我错过了什么吗?

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有