问

python - 为什么感觉 pyspider 爬取的速度好慢

兄弟465748208_279 发布于 2022-10-26 03:49

为什么感觉 pyspider 爬取的速度好慢（比自己直接用 requests 和 bs慢多了），是不是因为有些网页会 retry，不过成功率倒是比自己爬取的高多了。是不是我的使用方法不对？求解释

2 个回答

我没有用过框架来写爬虫，但是我在自己写爬虫的时候，并发写起来，模型越复杂(如线程控制，线程状态监控)，效率是越低的。

2022-10-27 00:29 回答

优凯123
这里可以设置 web ui 控制台上的 rate/burst 参数来调节速度，rate 是每秒抓取的数量，burst 是并发的数量，默认是 1/3 所以比较慢，还是对这个工具了解不够呀

2022-10-27 00:29 回答

sanesTT

撰写答案

今天，你开发时遇到什么问题呢？

热门标签