【转】windows下搭建爬虫框架scrapy

最近开始使用python&＃xff0c;然后看到忘了上很多人都在用python在抓网页&＃xff0c;突然就想起了大学时想弄的网络蜘蛛&＃xff0c;于是开始自己写代码&＃xff0c;但是第一版做出来不合心意&＃xff0c;感觉爬出去了就很难结束&＃xff0c;并且想做定制还是比较麻烦。接着在q群众看到有人说使用scrapy来实现网络蜘蛛&＃xff0c;于是就上网开始找资料了&＃xff0c;终于经过了几个钟头的努力&＃xff0c;终于有了成果&＃xff0c;下面文章就是对这个搭建步骤的描述。

如果你是一个了解可能还是很熟悉的程序猿&＃xff0c;那么下面所描述的内容可以直接忽略了&＃xff1b;如果你对scrapy第一次听说&＃xff0c;并且还有点兴趣学习的话&＃xff0c;可以先登录官网http://scrapy.org/基本浏览一下&＃xff0c;然后可以按照一面的步骤来完成环境的搭建。

第一步&＃xff1a;当然是安装python了&＃xff0c;本人安装的是2.7.3版本&＃xff1b;可以到python的官网下载然后双击运行&＃xff0c;一路“下一步”即可完成安装。安装好后&＃xff0c;将python的安装目录添加到系统变量中&＃xff0c;这样才能够在控制台中输入python进入&＃xff0c;如下图所示则说明安装python成功了

第二步&＃xff1a;按照官网的提示&＃xff0c;我们先安装pywin32&＃xff0c;在http://sourceforge.net/projects/pywin32/files/这里点击进去后选择对应的版本&＃xff08;注意要与安装的python版本对应&＃xff09;&＃xff0c;下载后也是双击运行&＃xff0c;直接下一步一路完成。

第三步&＃xff1a;安装twisted&＃xff0c;在其官网的下载页面中http://twistedmatrix.com/trac/wiki/Downloads可以看到其还依赖几个包

    1. 安装zope.interface&＃xff0c; 从这里https://pypi.python.org/pypi/zope.interface#download下载

我选择了4.0.5版本&＃xff0c;点击进去后&＃xff0c;点击download按钮即可&＃xff0c;下载完后也是双击运行&＃xff0c;一路下一步即可完成。

打开cmd&＃xff0c;进入python&＃xff0c;按照下图显示输出的话表示正确安装了

    2. 安装pyopenssl&＃xff0c; 从这里https://pypi.python.org/pypi/pyOpenSSL下载&＃xff0c;注意要选择对应python的版本。

我选择了倒数第二个&＃xff0c;安装成功后通过下面的方式验证&＃xff1a;

    3. 安装twisted&＃xff0c;在下载页面http://twistedmatrix.com/trac/wiki/Downloads中我们可以看到

    选择对应python的版本下载安装。

第三步&＃xff1a;安装lxml&＃xff0c;在这里https://pypi.python.org/pypi/lxml/下载&＃xff0c;本人选择了3.2.3版本

最后一步&＃xff1a;安装scrapy

在安装前&＃xff0c;请先将easytool安装好

在这里http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下载&＃xff0c;安装好后&＃xff0c;需要将python安装目录下的Scripts目录路径添加到系统变量中&＃xff0c;因为下面就要用到。

下载scrapy&＃xff0c;在这里https://pypi.python.org/pypi/Scrapy下载&＃xff0c;下载完后&＃xff0c;解压出来&＃xff0c;运行cmd&＃xff0c;cd到该解压目录下&＃xff0c;在cmd中输入

easy_install Scrapy

完成scrapy的安装&＃xff0c;然后在cmd中输入scrapy进行验证&＃xff0c;如果出现下图所示&＃xff0c;则说明安装成功了

到此&＃xff0c;整个环境搭建成功&＃xff01;

后续将会继续完成使用scrapy进行爬虫的文章和部分代码。