作者:手机用户2702932821 | 来源:互联网 | 2023-10-10 11:23
尝试爬了一个国外的招聘网站www.indeed.com.当选择了在美国的职位后,网页返回的搜索结果大概有3百万条。但是网页每次显示10条,最终有100页。我用的pythonrequest
尝试爬了一个国外的招聘网站www.indeed.com. 当选择了在美国的职位后,网页返回的搜索结果大概有3百万条。但是网页每次显示10条,最终有100页。 我用的python request 和beautifulsoup 能爬下这1000条数据。但是我的目标是爬下这近3百万条的数据。
期间尝试过先爬完显示的100页然后进行多次的循环,也就是反复的爬这100页。但是重复率很高。
有没有很好地解决办法能爬完所有的搜索结果(近300万的数据)?