问
php - 如何用客户端ip实现分布式爬虫
北京圣才 发布于 2022-11-15 07:30如果用服务端爬虫会遇到各种问题，如何实现访客打开网页时用访客的ip访问被爬的网站，然后把资料上传，这样可以实现分布式爬虫吗？ajax获取被爬的资料然后传到自己的服务器？
是否已有类似的例子或者开源项目？
2 个回答
-
基本原理是创建一个隐藏的iframe然后请求目标网站，请求成功后使用ajax保存到本地服务器。。因为许多网站都做了反爬虫策略，所以服务端爬虫经常失效，这种情况下使用客户端爬虫很好用。
但是，用户体验不太好吧。。。。
2022-11-15 08:39 回答
小呀么小果冻 -
你这是在窃取用户隐私，行不通的~
2022-11-15 08:39 回答
龙love猫
撰写答案
今天，你开发时遇到什么问题呢？
立即提问
京公网安备 11010802041100号