如何在Apache Spark上运行RPC服务器?

 谁的板砖在飞 发布于 2023-01-02 13:14

我想知道Apache Spark是否可以进行以下设置:

                    ___________________ RPC
Distributed DB  <-> | resident Backend <---> Frontend
                    |      server     |
                    ___________________
                           Spark

我希望做的是在后端使用Spark的MLlib和Spark Streaming,并利用Spark的速度进行后端计算(统计,机器学习).

Spark的架构似乎需要一次提交一个计算,就像Jars的编译代码一样.但是,由于整个设置适用于多用户Web应用程序和外部API,因此使用长时间运行的Backend服务器,通过RPC与前端进行通信似乎更为直接.

这有可能,没有太多黑客攻击吗?似乎Spark Streaming的性质需要一个驻留服务器.是JavaStreamingContext#awaitTermination()来尝试实现这样的应用程序的唯一途径?

我看到我正在尝试做的一个可能的问题,即使可能,正在解决这样一个后端建立连接.

非常感谢!

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有