java - 如何完成一个分布式爬虫

这里有个现有的例子，你可以参考一下：
如何爬取大众点评网上的商家信息（有栗子、附代码）
https://www.douban.com/group/...

首先你得有一个爬虫，然后你需要把它们部署到集群中，这会儿你发现需要在它们之间分享URL信息。解决掉这些 你的分布式爬虫就出生了

先实现一个简单的爬虫，单机跑，然后再实现一个分布式队列。分布式可以查查rpc相关的。

可以考虑的方向

1. akka (一个分布式计算框架)

2. storm (也是一个分布式计算框架)

3. nutch (一个爬虫+搜索引擎，分布式可以基于hadoop来做)

4. 或者任意消息队列系统，例如RabbitMQ，基于消息队列你可以不基于框架自己来实现一个分布式系统

实现的难度这个很难说，如果你单机的爬虫已经毫无压力，那么你肯定会想到这个东西的难点并非在爬虫这件事情本身身上，而在分布式的任务分发，数据处理方面的问题（你可以想想为什么要做一个分布式的爬虫），但如果你已经掌握了一个分布式框架，那么会发现其实分布式的那块的东西其实已经由框架层面帮你解决掉了，你只需要专注于爬虫就可以了。