如何使用virtualenv的外部库?

 艾琳冰_699 发布于 2022-12-18 13:32

我正在试图弄清楚如何使用外部库.我有一个在Spark上成功运行的程序,现在我正在尝试导入外部库.我正在使用virtualenv,每次提交时,spark都会抱怨它无法找到该文件.

这是我尝试过的许多提交命令之一:

/path/to/spark-1.1.0-bin-hadoop2.4/bin/spark-submit ua_analysis.py --py-files `pwd`/venv/lib/python2.7/site-packages

我尝试使用--py-files标志单独添加文件,我也尝试了以下子目录.

venv/lib
venv/python2.7
venv/lib/python2.7/site-packages/

所有这些都会产生以下错误

ImportError: ('No module named ', , (,))

    org.apache.spark.api.python.PythonRDD$$anon$1.read(PythonRDD.scala:124)
    org.apache.spark.api.python.PythonRDD$$anon$1.(PythonRDD.scala:154)
    org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:87)
....

我也尝试将这些文件复制到pyspark目录中,但没有成功.

1 个回答
  • 创建虚拟环境时,将--system-site-packages选项传递给virtualenv:

    virtualenv --system-site-packages venv
    

    如果你忘了通过选项:

    rm venv/lib/python2.7/no-global-site-packages.txt
    

    通过两种方式,您可以import system-site-packages在虚拟环境中.

    2022-12-18 13:36 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有