亲,怎么优雅的爬取豆瓣东西(dongxi.douban.com)的商品呢? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jerryge
V2EX    Node.js

亲,怎么优雅的爬取豆瓣东西(dongxi.douban.com)的商品呢?

  •  
  •   jerryge 2014-11-20 19:40:08 +08:00 5120 次点击
    这是一个创建于 4047 天前的主题,其中的信息可能已经有所发展或是发生改变。
    嗯,如题。可以忽略“优雅”。
    17 条回复    2014-11-21 11:50:38 +08:00
    carmark
        1
    carmark  
       2014-11-20 22:27:29 +08:00
    加入豆瓣的DBA团队,写个后台程序,自动下载。
    joyqi
        2
    joyqi  
       2014-11-20 22:28:23 +08:00   1
    进入豆瓣机房,记得带上u盘
    jerryge
        3
    jerryge  
    OP
       2014-11-20 22:33:29 +08:00
    @joyqi
    @carmark

    32个赞
    passluo
        4
    passluo  
       2014-11-20 22:38:41 +08:00
    其实没多少数据,直接暴力爬很快就爬完了。
    lshero
        5
    lshero  
       2014-11-20 23:31:47 +08:00
    @passluo 我咋感觉过于频繁的访问豆瓣会出现验证码呢?
    passluo
        6
    passluo  
       2014-11-20 23:36:29 +08:00
    @lshero 我乱说的。
    却是会,我有时候刷新快了都会。
    lshero
        7
    lshero  
       2014-11-20 23:38:42 +08:00
    @passluo 我是有一天看相册一直不断按着右键结果出现了验证码
    xpol
        8
    xpol  
       2014-11-21 00:16:10 +08:00 via iPad
    优雅,就是爬一会儿,歇一会儿。两个请求之间加点间隔。同时运行的请求不能太多。比人快就行。
    jerryge
        9
    jerryge  
    OP
       2014-11-21 00:18:33 +08:00
    @xpol 简单点讲就是找个用电的人来点。
    onlyice
        10
    onlyice  
       2014-11-21 00:29:55 +08:00
    带登陆态的 Cookie,带 Refer,用 Scrapy 随机延迟,用大运营商 IP。。
    garipan
        11
    garipan  
       2014-11-21 00:31:07 +08:00 via Android
    豆瓣东西实在没啥东西啊
    JoeShu
        12
    JoeShu  
       2014-11-21 00:34:29 +08:00
    豆瓣东西数据不多,而且更新也没有那么频繁,慢慢抓呗
    happywowwow
        13
    happywowwow  
       2014-11-21 01:53:11 +08:00
    以前无聊,写过爬小组图片的爬虫
    然后爬了<请不要害羞>组的图片
    。。。
    sleep(1) 1秒一次的请求,就ok了
    simplise
        14
    simplise  
       2014-11-21 08:58:14 +08:00
    @happywowwow 抓得图片呢~~哈哈哈
    010blue
        15
    010blue  
       2014-11-21 09:34:35 +08:00
    可使用深蓝阅读: http://bluereader.org/ 订阅,然后通过http://api.bluereader.org/ 接口同步到自己的站
    shawngao
        16
    shawngao  
       2014-11-21 09:41:34 +08:00
    @happywowwow 我也写了个,golang的
    happywowwow
        17
    happywowwow  
       2014-11-21 11:50:38 +08:00
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2507 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 10:30 PVG 18:30 LAX 02:30 JFK 05:30
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86