[23]scrapy框架

Scrapy介绍

Scrapy是一个为了爬取网站数据&＃xff0c;提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘&＃xff0c;信息处理或存储历史数据等一系列的程序中。

所谓网络爬虫&＃xff0c;就是一个在网上到处或定向抓取数据的程序&＃xff0c;当然&＃xff0c;这种说法不够专业&＃xff0c;更专业的描述就是&＃xff0c;抓取特定网站网页的HTML数据。抓取网页的一般方法是&＃xff0c;定义一个入口页面&＃xff0c;然后一般一个页面会有其他页面的URL&＃xff0c;于是从当前页面获取到这些URL加入到爬虫的抓取队列中&＃xff0c;然后进入到新页面后再递归的进行上述的操作&＃xff0c;其实说来就跟深度遍历或广度遍历一样。

Scrapy 使用 Twisted这个异步网络库来处理网络通讯&＃xff0c;架构清晰&＃xff0c;并且包含了各种中间件接口&＃xff0c;可以灵活的完成各种需求。

整体架构

• 引擎(Scrapy Engine)&＃xff0c;用来处理整个系统的数据流处理&＃xff0c;触发事务。
• 调度器(Scheduler)&＃xff0c;用来接受引擎发过来的请求&＃xff0c;压入队列中&＃xff0c;并在引擎再次请求的时候返回。
• 下载器(Downloader)&＃xff0c;用于下载网页内容&＃xff0c;并将网页内容返回给蜘蛛。
• 蜘蛛(Spiders)&＃xff0c;蜘蛛是主要干活的&＃xff0c;用它来制订特定域名或网页的解析规则。编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
• 项目管道(Item Pipeline)&＃xff0c;负责处理有蜘蛛从网页中抽取的项目&＃xff0c;他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后&＃xff0c;将被发送到项目管道&＃xff0c;并经过几个特定的次序处理数据。
• 下载器中间件(Downloader Middlewares)&＃xff0c;位于Scrapy引擎和下载器之间的钩子框架&＃xff0c;主要是处理Scrapy引擎与下载器之间的请求及响应。
• 蜘蛛中间件(Spider Middlewares)&＃xff0c;介于Scrapy引擎和蜘蛛之间的钩子框架&＃xff0c;主要工作是处理蜘蛛的响应输入和请求输出。
  调度中间件(Scheduler Middlewares)&＃xff0c;介于Scrapy引擎和调度之间的中间件&＃xff0c;从Scrapy引擎发送到调度的请求和响应。

爬取流程

上图绿线是数据流向&＃xff0c;首先从初始URL开始&＃xff0c;Scheduler会将其交给Downloader进行下载&＃xff0c;下载之后会交给Spider进行分析&＃xff0c;Spider分析出来的结果有两种&＃xff1a;一种是需要进一步抓取的链接&＃xff0c;例如之前分析的“下一页”的链接&＃xff0c;这些东西会被传回Scheduler&＃xff1b;另一种是需要保存的数据&＃xff0c;它们则被送到Item Pipeline那里&＃xff0c;那是对数据进行后期处理&＃xff08;详细分析、过滤、存储等&＃xff09;的地方。另外&＃xff0c;在数据流动的通道里还可以安装各种中间件&＃xff0c;进行必要的处理。

数据流

Scrapy中的数据流由执行引擎控制&＃xff0c;其过程如下:

1. 引擎打开一个网站(open a domain)&＃xff0c;找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
3. 引擎向调度器请求下一个要爬取的URL。
4. 调度器返回下一个要爬取的URL给引擎&＃xff0c;引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
5. 一旦页面下载完毕&＃xff0c;下载器生成一个该页面的Response&＃xff0c;并将其通过下载中间件(返回(response)方向)发送给引擎。
6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline&＃xff0c;将(Spider返回的)Request给调度器。
9. (从第二步)重复直到调度器中没有更多地request&＃xff0c;引擎关闭该网站。

Scrapy项目基本流程

默认的Scrapy项目结构
使用全局命令startproject创建项目&＃xff0c;在project_name文件夹下创建一个名为project_name的Scrapy项目。

scrapy startproject myproject


虽然可以被修改&＃xff0c;但所有的Scrapy项目默认有类似于下边的文件结构:

scrapy.cfg
myproject/__init__.pyitems.pypipelines.pysettings.pyspiders/__init__.pyspider1.pyspider2.py...


scrapy.cfg 存放的目录被认为是 项目的根目录 。该文件中包含python模块名的字段定义了项目的设置。

定义要抓取的数据

Item 是保存爬取到的数据的容器&＃xff1b;其使用方法和python字典类似&＃xff0c; 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。

类似在ORM中做的一样&＃xff0c;您可以通过创建一个 scrapy.Item 类&＃xff0c; 并且定义类型为 scrapy.Field 的类属性来定义一个Item。

首先根据需要从dmoz.org&＃xff08;DMOZ网站是一个著名的开放式分类目录&＃xff08;Open DirectoryProject&＃xff09;&＃xff0c;由来自世界各地的志愿者共同维护与建设的最大的全球目录社区&＃xff09;获取到的数据对item进行建模。 我们需要从dmoz中获取名字&＃xff0c;url&＃xff0c;以及网站的描述。 对此&＃xff0c;在item中定义相应的字段。编辑items.py 文件:

import scrapyclass DmozItem(scrapy.Item):title &＃61; scrapy.Field()link &＃61; scrapy.Field()desc &＃61; scrapy.Field()


使用项目命令genspider创建Spider

scrapy genspider <创建spider的名称> <抓取网址的域名>


使用项目命令genspider创建深度爬虫Spider

scrapy genspider -t crawl <创建spider的名称> <抓取网址的域名>


编写提取item数据的Spider

Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始URL&＃xff0c;如何跟进网页中的链接以及如何分析页面中的内容&＃xff0c; 提取生成 item 的方法。
为了创建一个Spider&＃xff0c;您必须继承 scrapy.Spider 类&＃xff0c;且定义以下三个属性:

• name: 用于区别Spider。 该名字必须是唯一的&＃xff0c;您不可以为不同的Spider设定相同的名字。
• start_urls: 包含了Spider在启动时进行爬取的url列表。 因此&＃xff0c;第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。
• parse() 是spider的一个方法。 被调用时&＃xff0c;每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)&＃xff0c;提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

import scrapyclass DmozSpider(scrapy.spider.Spider):name &＃61; "dmoz" #唯一标识&＃xff0c;启动spider时即指定该名称allowed_domains &＃61; ["dmoz.org"]start_urls &＃61; ["http://www.dmoz.org/Computers/Programming/Languages/Python/Books/","http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"]def parse(self, response):filename &＃61; response.url.split("/")[-2]with open(filename, &＃39;wb&＃39;) as f:f.write(response.body)


进行爬取

执行项目命令crawl&＃xff0c;启动Spider&＃xff1a;

scrapy crawl dmoz

在这个过程中&＃xff1a;

• Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象&＃xff0c;并将 parse 方法作为回调函数(callback)赋值给了Request。

• Request对象经过调度&＃xff0c;执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。

通过选择器提取数据

Selectors选择器简介&＃xff1a;
Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors)&＃xff0c;因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。
XPath 是一门用来在XML文件中选择节点的语言&＃xff0c;也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义&＃xff0c;并与特定的HTML元素的样式相关连。

Selector有四个基本的方法(点击相应的方法可以看到详细的API文档):

• xpath(): 传入xpath表达式&＃xff0c;返回该表达式所对应的所有节点的selector list列表 。
• css(): 传入CSS表达式&＃xff0c;返回该表达式所对应的所有节点的selector list列表.
• extract(): 序列化该节点为unicode字符串并返回list。
• re(): 根据传入的正则表达式对数据进行提取&＃xff0c;返回unicode字符串list列表。

XPath表达式的例子和含义&＃xff1a;

• /html/head/title: 选择HTML文档中 标签内的
• /html/head/title/text(): 选择上面提到的
• //td: 选择所有的 元素
• //div[&＃64;class&＃61;"mine"]: 选择所有具有 class&＃61;"mine" 属性的 div 元素

提取数据&＃xff1a;
观察HTML源码并确定合适的XPath表达式。
在查看了网页的源码后&＃xff0c;您会发现网站的信息是被包含在 第二个元素中。
我们可以通过这段代码选择该页面中网站列表里所有元素:response.xpath(’//ul/li’)

Item 对象是自定义的python字典。 您可以使用标准的字典语法来获取到其每个字段的值。

一般来说&＃xff0c;Spider将会将爬取到的数据以 Item 对象返回。所以为了将爬取的数据返回&＃xff0c;我们最终的代码将是:

import scrapyfrom tutorial.items import DmozItemclass DmozSpider(scrapy.Spider):name &＃61; "dmoz"allowed_domains &＃61; ["dmoz.org"]start_urls &＃61; ["http://www.dmoz.org/Computers/Programming/Languages/Python/Books/","http://www.dmoz.org/Computers/Programming/Languages/Python/Resources/"]def parse(self, response):for sel in response.xpath(&＃39;//ul/li&＃39;):item &＃61; DmozItem()item[&＃39;title&＃39;] &＃61; sel.xpath(&＃39;a/text()&＃39;).extract()item[&＃39;link&＃39;] &＃61; sel.xpath(&＃39;a/&＃64;href&＃39;).extract()item[&＃39;desc&＃39;] &＃61; sel.xpath(&＃39;text()&＃39;).extract()yield item


现在对dmoz.org进行爬取将会产生 DmozItem 对象。

保存数据

最简单存储爬取的数据的方式是使用 Feed exports:

scrapy crawl dmoz -o items.json

该命令将采用 JSON 格式对爬取的数据进行序列化&＃xff0c;生成 items.json 文件。
如果需要对爬取到的item做更多更为复杂的操作&＃xff0c;您可以编写 Item Pipeline 。类似于我们在创建项目时对Item做的&＃xff0c;用于您编写自己的 tutorial/pipelines.py 也被创建。不过如果您仅仅想要保存item&＃xff0c;您不需要实现任何的pipeline。

参考资料

Scrapy架构概览
初窥Scrapy
Scrapy入门教程

Windows平台安装Scrapy的特别要求

安装Scrapy之前需要安装以下软件

• 安装Python2.7
• 安装pywin32(2.7版本)
• 安装pip
  安装pip的时候&＃xff0c;如果用户名是中文&＃xff0c;这里会出错&＃xff0c;找到Python安装路径里的Lib,里面的site-packages,新建一个sitecumtomize.py文件&＃xff0c;在文件中写入

import sys sys.setdefaultencoding(&＃39;gb2312&＃39;)


• 安装lxml
  安装过程如果出现问题&＃xff0c;用lxml安装包安装lxml-3.4.2.win32-py2.7.exe
• 安装pyOpenSSL
  pip install pyOpenSSL安装
• 安装Scrapy
  pip install Scrapy安装