问
将pyspark中的Python模块传送到其他节点
ayipyipyip 发布于 2023-01-03 17:33如何将C编译模块(例如,python-Levenshtein)发送到Spark集群中的每个节点？
我知道我可以使用独立的Python脚本在Spark中发布Python文件(下面的示例代码):
from pyspark import SparkContext
sc = SparkContext("local", "App Name", pyFiles=['MyFile.py', 'MyOtherFile.py'])
但是在没有".py"的情况下,我该如何运送模块？
撰写答案
今天，你开发时遇到什么问题呢？
立即提问
京公网安备 11010802041100号