作者:卢培伟 | 来源:互联网 | 2017-06-16 06:59
在Linux环境下搭建分布式爬虫,需要用到scrapy,下面是安装步骤一、配置环境1、下载Anaconda安装包下载地址http://www.continuum.io/downloads#all2、找到安装包,并将安装移动到/opt文件夹下解压缩安装shAnaconda-2.3.0-Linux-x86_64.sh
在Linux环境下搭建分布式爬虫,需要用到scrapy,下面是安装步骤
一、配置环境
1、下载Anaconda安装包
下载地址http://www.continuum.io/downloads#all
2、找到安装包,并将安装移动到/opt文件夹下
解压缩安装
sh Anaconda-2.3.0-Linux-x86_64.sh
3、下载pip安装包 下载地址https://pypi.python.org/pypi/pip
解压缩,并安装文件
tar -zxvf pip-7.1.2.tar.gz
cd pip-7.1.2
python setup.py install
4、下载setuptools安装包
下载地址https://pypi.python.org/pypi/setuptools/
解压缩,并安装
tar -zxvf setuptools-18.3.2.tar.gz
cd setuptools-18.3.2
python setup.py install
然后再打开一个terminal
就可以直接运行命令安装scrapy
pip install scrapy
完成。。。。