这是一个创建于 3040 天前的主题，其中的信息可能已经有所发展或是发生改变。
分布式爬虫是要共享一个 URL 池的么？
多台服务器的话，可以分布在全世界么？比如各地都买 vps
目前一般用什么语言写分布式爬虫？ PHP 能行么（一直都用 php 爬的，但都是小爬虫）？谢谢
有没有一个综合性的思路，谢谢
 | 1 yrj 2017 年 10 月 21 日 via iPad 参考 pyspider |
 | 2 t1518968889 2017 年 10 月 21 日 via Android puppeteer |
 | 3 xielemon 2017 年 10 月 21 日 scrapy-redis |
 | 4 hcnhcn012 2017 年 10 月 22 日 via iPhone scrapy-redis +1 |
 | 5 SlipStupig 2017 年 10 月 23 日 scrapy+etcd |
 | 6 rainnus 2017 年 10 月 23 日 scrapy-redis + 2 |
Select Language