爬虫框架Scrapy(三)

正文共&＃xff1a; 2957 字 6 图
预计阅读时间&＃xff1a; 8 分钟

每日分享

Be the type of person you want to meet.

努力变成理想的模样。

小闫笔记&＃xff1a;

问自己一个问题『如果遇见现在的自己&＃xff0c;你会喜欢吗&＃xff1f;』对自己好一点&＃xff0c;投资自己&＃xff0c;你可以活成你想象中的任何模样。

1.知识点

1.redis中 ttl命令可以查看有效期。 expire设置有效期。

2.redis数据库高效是因为epoll&＃xff0c;而epoll是基于Linux&＃xff0c;所以redis中最好是在Linux中使用。

3.sha1被中国的一位女博士破解了。

4.URL地址中 %2C是逗号。

5. response.urljoin(url)&＃xff1a;对提取到的url自动补全域名&＃xff0c;因为一般提取的url地址是相对路径。

6.scrapy_splash是scrapy的一个组件。

scrapy-splash加载js数据是基于Splash来实现的。

Splash是一个Javascript渲染服务。它是一个实现了HTTP API的轻量级浏览器&＃xff0c;Splash是用Python和Lua语言实现的&＃xff0c;基于Twisted和QT等模块构建。

使用scrapy-splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码。

2.scrapy-redis

在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据

2.1.分布式是什么

简单的说分布式就是不同的节点&＃xff08;服务器&＃xff0c;ip不同&＃xff09;共同完成一个任务。

2.2 scrapy_redis的概念

scrapy_redis是scrapy框架的基于redis的分布式组件。

2.3 scrapy_redis的作用

Scrapy_redis在scrapy的基础上实现了更多&＃xff0c;更强大的功能&＃xff0c;具体体现在&＃xff1a;

通过持久化请求队列和请求的指纹集合来实现&＃xff1a;

• 断点续爬

• 分布式快速抓取

2.4 scrapy_redis的流程

1.在scrapy_redis中&＃xff0c;所有的待抓取的request对象和去重的request对象指纹都存在所有的服务器公用的redis中。

2.所有的服务器中的scrapy进程公用同一个redis中的request对象的队列。

3.所有的request对象存入redis前&＃xff0c;都会通过该redis中的request指纹集合进行判断&＃xff0c;之前是否已经存入过。

3.在默认情况下所有的数据会保存在redis中。

2.5 scarpy_redis的分布式工作原理

1.在scrapy_redis中&＃xff0c;所有的待抓取的对象和去重的指纹都存在公用的redis中。

2.所有的服务器公用同一redis中的请求对象的队列。

3.所有的request对象存入redis前&＃xff0c;都会通过请求对象的指纹进行判断&＃xff0c;之前是否已经存入过。

分布式爬虫&＃xff1a;先完成普通爬虫&＃xff0c;再修改为分布式爬虫。

2.6 request对象进入队列的条件

1.request的指纹不在集合中。

2.request的dont_filter为True&＃xff0c;即不过滤。

2.7 request指纹的实现

1.请求方法。

2.排序后的请求地址。

3.排序并处理过的请求体或空字符串。

4.用hashlib.sha1()对以上内容进行加密。

2.8 scarpy_redis实现增量式爬虫、布式爬虫

1.对setting进行如下设置&＃xff1a;

DUPEFILTER_CLASS &＃61; "scrapy_redis.dupefilter.RFPDupeFilter"
SCHEDULER &＃61; "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST &＃61; True
ITEM_PIPELINES &＃61; {&＃39;scrapy_redis.pipelines.RedisPipeline&＃39;: 400,}
REDIS_URL &＃61; "redis://127.0.0.1:6379" # 请正确配置REDIS_URL


2.爬虫文件中的爬虫类继承RedisSpider类。

3.爬虫类中rediskey替代了starturls。

4.启动方式不同。

通过 scrapy crawl spider启动爬虫后&＃xff0c;向rediskey放入一个或多个起始url&＃xff08;lpush或rpush都可以&＃xff09;&＃xff0c;才能够让scrapyredis爬虫运行。

5.除了以上差异点以外&＃xff0c;scrapy_redis爬虫和scrapy爬虫的使用方法都是一样的。

2.9案例

京东图书实现步骤&＃xff1a;

1.修改起始的url地址&＃xff0c;检查允许的域&＃xff1b;

2.定义item字段&＃xff1b;

3.解析相应数据&＃xff1b;

4.图书分类页面中只能解析大分类、小分类以及对应的URL&＃xff1b;

5.发送请求&＃xff0c;进入小分类对应的图书列表页面&＃xff0c;获取图书基本信息&＃xff1b;

6.提取价格信息https://p.3.cn/prices/mgets?skuIds&＃61;J_11757834。

总结&＃xff1a;

1.每个页面能解析出多少数据&＃xff0c;在对应的解析函数中实现数据提取&＃xff0c;作为meta参数传递给下个解析函数。

2.页面中有的数据&＃xff0c;源码中没有&＃xff0c;比如价格&＃xff0c;全局搜索关键字&＃xff0c;根据关键字找到对应js文件。

3.允许的域&＃xff0c;在解析不同页面时&＃xff0c;必须要注意允许的域名是否发生改变。

3.爬虫部署

3.1 scrapyd的安装

scrapyd服务: pip install scrapyd

scrapyd客户端: pip install scrapyd-client

3.2 启动scrapyd服务

1.在scrapy项目路径下 启动scrapyd的命令&＃xff1a; sudo scrapyd 或 scrapyd。

2.启动之后就可以打开本地运行的scrapyd&＃xff0c;浏览器中访问本地6800端口可以查看scrapyd的监控界面。

3.点击job可以查看任务监控界面。

3.3 scrapy项目部署

3.3.1 配置需要部署的项目

编辑需要部署的项目的scrapy.cfg文件(需要将哪一个爬虫部署到scrapyd中&＃xff0c;就配置该项目的该文件)

[deploy:部署名(部署名可以自行定义)]url &＃61; http://localhost:6800/project &＃61; 项目名(创建爬虫项目时使用的名称)


3.3.2 部署项目到scrapyd

同样在scrapy项目路径下执行&＃xff1a;

scrapyd-deploy -p 项目名称


3.3.3 管理scrapy项目

启动项目&＃xff1a;

curl http://localhost:6800/schedule.json -d project&＃61;project_name -d spider&＃61;spider_name


关闭爬虫&＃xff1a;

curl http://localhost:6800/cancel.json -d project&＃61;project_name -d job&＃61;jobid


4.Fiddler

Fiddler可以抓取移动端的包。

虽然谷歌浏览器可以模拟移动端&＃xff0c;但是某些网站或者某些应用pc端不好抓取数据&＃xff0c;就可以使用此应用。

cs 客户端/ 服务器模式

bs 浏览器/服务器模式

优质文章推荐:

公众号使用指南

redis操作命令总结

前端中那些让你头疼的英文单词

Flask框架重点知识总结回顾

项目重点知识点详解

难点理解&面试题问答

flask框架中的一些常见问题

团队开发注意事项

浅谈密码加密

Django框架中的英文单词

Django中数据库的相关操作

DRF框架中的英文单词

重点内容回顾-DRF

Django相关知识点回顾

美多商城项目导航帖

项目重要技术点介绍