搜狗疯起来,真的让人感到害怕。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
woshinide300yuan
V2EX    问与答

搜狗疯起来,真的让人感到害怕。

  •  
  •   woshinide300yuan 2017-09-04 11:07:26 +08:00 4162 次点击
    这是一个创建于 3039 天前的主题,其中的信息可能已经有所发展或是发生改变。

    搜狗蜘蛛堪比 DDOS 式的抓取,让人感觉到绝望,好好的一个小主机,被搜狗一顿戏虐。各种渠道的反馈基本没什么效果,只能来 V2 发个帖,供大家娱乐一下了。

    单个 IP 请求数高了还能限制限制,最可怕的就是一群 IP 同时访问,哈哈哈~ 来点纸巾,我想擦擦眼泪。

    20 条回复    2017-09-04 17:27:27 +08:00
    woshinide300yuan
        1
    woshinide300yuan  
    OP
       2017-09-04 11:08:04 +08:00
    topbandit
        2
    topbandit  
       2017-09-04 11:11:37 +08:00
    涉 H ?
    woshinide300yuan
        3
    woshinide300yuan  
    OP
       2017-09-04 11:12:05 +08:00
    @topbandit 不不不不 纯洁小博客!!真的!!
    topbandit
        4
    topbandit  
       2017-09-04 11:14:15 +08:00
    系统防火墙封网段即可
    woshinide300yuan
        5
    woshinide300yuan  
    OP
       2017-09-04 11:16:34 +08:00
    @topbandit 准备着手封 UA 了。有搜索量也不要了,这种婉约派的 DDOS,让人迷醉。
    topbandit
        6
    topbandit  
       2017-09-04 11:20:31 +08:00
    nginx、appache 配置个反爬虫即可
    Finest
        7
    Finest  
       2017-09-04 11:23:52 +08:00
    woshinide300yuan
        8
    woshinide300yuan  
    OP
       2017-09-04 11:25:56 +08:00
    @topbandit 我去百度学习一下。
    @hand515 谢谢你的这篇文章。
    Finest
        9
    Finest  
       2017-09-04 11:26:31 +08:00   1
    @woshinide300yuan #8 文章不是我的,我也只是个搬运工
    misaka19000
        10
    misaka19000  
       2017-09-04 11:53:41 +08:00 via Android
    为啥不用 robots.txt
    wentian
        11
    wentian  
       2017-09-04 12:23:12 +08:00 via Android
    @misaka19000

    robots 只能防君子


    然我国国情是,,,
    peesefoo
        12
    peesefoo  
       2017-09-04 12:28:37 +08:00 via Android
    多少年前就已经是这样了,反馈是没用的的。目前已经在域名解析那里把搜狗 bot 解析到他们自己的 ip 了,世界瞬间安静了。
    woshinide300yuan
        13
    woshinide300yuan  
    OP
       2017-09-04 12:31:15 +08:00
    @peesefoo 可以可以! 只是限制搜狗在移动端比较发力,硬生的切断,对于一个公开的网站来说是比较尴尬的。 好迷醉哦。
    kmahyyg
        14
    kmahyyg  
       2017-09-04 12:39:51 +08:00 via Android
    @peesefoo 这个怎么弄呢?
    GG668v26Fd55CP5W
        15
    GG668v26Fd55CP5W  
       2017-09-04 12:48:40 +08:00 via iPhone
    这狗是疯了吧,不知道在 nginx 层根据 ua 直接返回 403 有没有效果
    peesefoo
        16
    peesefoo  
       2017-09-04 12:58:32 +08:00 via Android
    @woshinide300yuan 看网站情况而定吧,我的网站一个月来自搜狗的流量不到 20 个,切断它的抓取对我的网站几乎没有影响。
    woshinide300yuan
        17
    woshinide300yuan  
    OP
       2017-09-04 13:02:31 +08:00
    @falcon05 有效果的。嘻嘻~
    woshinide300yuan
        18
    woshinide300yuan  
    OP
       2017-09-04 13:02:46 +08:00
    @peesefoo 哈哈 苍蝇腿也是肉嘛,富含蛋白质。
    Loyalsoldier
        19
    Loyalsoldier  
       2017-09-04 17:08:58 +08:00
    搜狗的蜘蛛比 Google 的频繁多了
    woshinide300yuan
        20
    woshinide300yuan  
    OP
       2017-09-04 17:27:27 +08:00
    @Loyalsoldier 嗯。谷歌起码还有点节操,每次蜘蛛的数量和间隔控制的都很好,不会造成压力。狗哥来就几十个一起来,秒抓并持续一段时间,想想都尴尬!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     920 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 21:49 PVG 05:49 LAX 13:49 JFK 16:49
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86