SparkShell依赖异常

我查看了以下内容：javax.net.ssl.SSLException：收到致命警报：protocol_version

因此，它似乎与Java TLS协议版本默认值有关。如果Java版本已过时，并且导致HTTPS上的请求的TLS版本已过时，则它将被阻止。我在尝试安装PySpark软件包时遇到了这个问题。现在，许多服务器都在阻止TLS的过时版本。例如，请参阅：Github现在可以阻止弱加密标准

解决方案是使用环境变量强制使用TLS版本1.2：

echo 'export JAVA_TOOL_OPTIOnS="-Dhttps.protocols=TLSv1.2"' >> ~/.bashrc
source ~/.bashrc

当我重新运行命令以用我的软件包启动PySpark时：

pyspark --packages com.databricks:spark-csv_2.10:1.5.0

立即检测到我指定的TLS版本。从字面上看，它给了我输出：

捡起JAVA_TOOL_OPTIONS：-Dhttps.protocols = TLSv1.2