
1 carmark 2014-11-20 22:27:29 +08:00 加入豆瓣的DBA团队,写个后台程序,自动下载。 |
2 joyqi 2014-11-20 22:28:23 +08:00 进入豆瓣机房,记得带上u盘 |
4 passluo 2014-11-20 22:38:41 +08:00 其实没多少数据,直接暴力爬很快就爬完了。 |
8 xpol 2014-11-21 00:16:10 +08:00 via iPad 优雅,就是爬一会儿,歇一会儿。两个请求之间加点间隔。同时运行的请求不能太多。比人快就行。 |
10 onlyice 2014-11-21 00:29:55 +08:00 带登陆态的 Cookie,带 Refer,用 Scrapy 随机延迟,用大运营商 IP。。 |
11 garipan 2014-11-21 00:31:07 +08:00 via Android 豆瓣东西实在没啥东西啊 |
12 JoeShu 2014-11-21 00:34:29 +08:00 豆瓣东西数据不多,而且更新也没有那么频繁,慢慢抓呗 |
13 happywowwow 2014-11-21 01:53:11 +08:00 以前无聊,写过爬小组图片的爬虫 然后爬了<请不要害羞>组的图片 。。。 sleep(1) 1秒一次的请求,就ok了 |
14 simplise 2014-11-21 08:58:14 +08:00 @happywowwow 抓得图片呢~~哈哈哈 |
15 010blue 2014-11-21 09:34:35 +08:00 可使用深蓝阅读: http://bluereader.org/ 订阅,然后通过http://api.bluereader.org/ 接口同步到自己的站 |
16 shawngao 2014-11-21 09:41:34 +08:00 @happywowwow 我也写了个,golang的 |
17 happywowwow 2014-11-21 11:50:38 +08:00 |