
搜狗蜘蛛堪比 DDOS 式的抓取,让人感觉到绝望,好好的一个小主机,被搜狗一顿戏虐。各种渠道的反馈基本没什么效果,只能来 V2 发个帖,供大家娱乐一下了。
单个 IP 请求数高了还能限制限制,最可怕的就是一群 IP 同时访问,哈哈哈~ 来点纸巾,我想擦擦眼泪。
1 woshinide300yuan OP |
2 topbandit 2017-09-04 11:11:37 +08:00 涉 H ? |
3 woshinide300yuan OP @topbandit 不不不不 纯洁小博客!!真的!! |
4 topbandit 2017-09-04 11:14:15 +08:00 系统防火墙封网段即可 |
5 woshinide300yuan OP @topbandit 准备着手封 UA 了。有搜索量也不要了,这种婉约派的 DDOS,让人迷醉。 |
6 topbandit 2017-09-04 11:20:31 +08:00 nginx、appache 配置个反爬虫即可 |
7 Finest 2017-09-04 11:23:52 +08:00 |
8 woshinide300yuan OP |
9 Finest 2017-09-04 11:26:31 +08:00 @woshinide300yuan #8 文章不是我的,我也只是个搬运工 |
10 misaka19000 2017-09-04 11:53:41 +08:00 via Android 为啥不用 robots.txt |
11 wentian 2017-09-04 12:23:12 +08:00 via Android |
12 peesefoo 2017-09-04 12:28:37 +08:00 via Android 多少年前就已经是这样了,反馈是没用的的。目前已经在域名解析那里把搜狗 bot 解析到他们自己的 ip 了,世界瞬间安静了。 |
13 woshinide300yuan OP @peesefoo 可以可以! 只是限制搜狗在移动端比较发力,硬生的切断,对于一个公开的网站来说是比较尴尬的。 好迷醉哦。 |
15 GG668v26Fd55CP5W 2017-09-04 12:48:40 +08:00 via iPhone 这狗是疯了吧,不知道在 nginx 层根据 ua 直接返回 403 有没有效果 |
16 peesefoo 2017-09-04 12:58:32 +08:00 via Android @woshinide300yuan 看网站情况而定吧,我的网站一个月来自搜狗的流量不到 20 个,切断它的抓取对我的网站几乎没有影响。 |
17 woshinide300yuan OP @falcon05 有效果的。嘻嘻~ |
18 woshinide300yuan OP @peesefoo 哈哈 苍蝇腿也是肉嘛,富含蛋白质。 |
19 Loyalsoldier 2017-09-04 17:08:58 +08:00 搜狗的蜘蛛比 Google 的频繁多了 |
20 woshinide300yuan OP @Loyalsoldier 嗯。谷歌起码还有点节操,每次蜘蛛的数量和间隔控制的都很好,不会造成压力。狗哥来就几十个一起来,秒抓并持续一段时间,想想都尴尬! |