109.升级Python3在CDH集群中遇到的问题与解决

109.1 环境情况

在集群中所有节点/opt/cloudera/anaconda3部署了Python3的安装包&＃xff1a;

[root&＃64;cdh02 ~]# /opt/cloudera/anaconda3/bin/python -V
Python 3.6.5 :: Anaconda, Inc.
[root&＃64;cdh02 ~]#


全局变量&＃xff1a;

# added by Anaconda3 installer
export PATH&＃61;"/opt/cloudera/anaconda3/bin:$PATH"


[root&＃64;cdh01 ~]# python -V
Python 3.6.5 :: Anaconda, Inc.


Spark配置Python3的环境&＃xff1a;

export PYSPARK_PYTHON&＃61;/opt/cloudera/anaconda3/bin/python
export PYSPARK_DRIVER_PYTHON&＃61;/opt/cloudera/anaconda3/bin/python


109.2 出现问题的情况

• 问题一&＃xff1a;报错如下&＃xff1a;
  • Impala-shell时无法正常连接Impala Daemon节点

[root&＃64;cdh01 ~]# impala-shell -i cdh01.fayson.com:25003File "/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/bin/../lib/impala-shell/impala_shell.py", line 236print "Query options (defaults shown in []):"^
SyntaxError: invalid syntax
[root&＃64;cdh01 ~]#


• Solr命令行创建Collection时

[root&＃64;cdh01 solr-collection]# sh create.sh testcollection
create solr collection
Uploading configs from tmp/testcollection_configs/conf to cdh01.fayson.com:2181/solr. This may take up to a minute.
Error: can&＃39;t discover Solr URI. Please specify it explicitly via --solr.
[root&＃64;cdh01 solr-collection]#


创建Collection脚本如下&＃xff1a;

[root&＃64;cdh01 solr-test]# more solr-collection/create.sh
#!/bin/shZK&＃61;"cdh01.fayson.com"
COLLECTION&＃61;$1
BASE&＃61;&＃96;pwd&＃96;
SHARD&＃61;3
REPLICA&＃61;1echo "create solr collection"
rm -rf tmp/*
solrctl --zk $ZK:2181/solr instancedir --generate tmp/${COLLECTION}_configs
cp conf/schema.xml tmp/${COLLECTION}_configs/conf/
solrctl --zk $ZK:2181/solr instancedir --create $COLLECTION tmp/${COLLECTION}_configs
solrctl --zk $ZK:2181/solr collection --create $COLLECTION -s $SHARD -r $REPLICA
solrctl --zk $ZK:2181/solr collection --list


109.3 问题分析与解决

1.分析问题
分析一&＃xff1a;在python2中print输出可以不加“()”&＃xff0c;但是在Python3中print输出需要加”()”&＃xff0c;所以是出现python2和python3语法不兼容问题
分析二&＃xff1a;使用solrctl命令创建Collection时,该脚本中调用curl命令判断solr server是否可用,通过分析solrctl命令实际调用/opt/cloudera/parcels/CDH/lib/solr/bin/solrctl.sh脚本
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AZV5ISKb-1646294396819)(https://upload-images.jianshu.io/upload_images/19745945-2bb1f70066557694.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)]
在脚本中增加echo输出curl请求地址&＃xff0c;将输入的地址在名行执行&＃xff1a;

[root&＃64;cdh01 solr-collection]# curl -i --retry 5 -s -L -k --negotiate -u : http://cdh02.fayson.com:8983/solr
curl: option --negotiate: the installed libcurl version doesn&＃39;t support this
curl: try &＃39;curl --help&＃39; or &＃39;curl --manual&＃39; for more information
[root&＃64;cdh01 solr-collection]#


得出当前OS安装的libcurl不支持 curl增加–negotiate参数&＃xff0c;该问题也是Python版本不兼容问题导致

2.解决问题

• 通过上面分析结论得出&＃xff0c;均是Python3版本与Python2版本不兼容的问题&＃xff0c;默认impala和Solr命令使用python2版本&＃xff0c;所以需要将Python的全局环境变量删除&＃xff0c;不配置python3的全局环境变量即可
  

大数据视频推荐&＃xff1a;
CSDN
大数据语音推荐&＃xff1a;
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能&＃xff1a;深度学习入门到精通