问

python - 写个高效的随机代理

李国龙度_476 发布于 2022-10-29 17:00

需求

我有个分布式爬虫系统, 每天的抓取量会在2000W左右, 现在需要给爬虫接上大量的代理服务器.
考虑的是写个随机代理, 这样对原有程序改动不大. 这个代理会自动将请求分配到可用的代理服务器(若不可用则换代理重试)

另外, 代理池中的大量的代理服务器准备通过端口扫描和爬虫来维护

我主要用python编程, 现在想的是用tornado的写个异步的代理服务器,
请问有现成的开源项目吗?
感觉nginx能做到, 但我对nginx不太熟悉, 有具体点的文章推荐么?
或者其他方案?

请不吝赐教.

1 个回答

撰写答案

今天，你开发时遇到什么问题呢？

热门标签