
现在有很多自动变换 user-agent 的爬虫,每次访问页面都会换一次 ua ,怎么才能把他们自动拉黑呢,这些爬虫把服务器带宽都占满了
1 hubaq 2025 年 3 月 3 日 V2:上 CF |
2 Hookery 2025 年 3 月 3 日 这种情况找到对方可以走法律途径起诉。前提是能找到。 |
3 deplives 2025 年 3 月 3 日 换个思路,套一个 cf 吧 |
5 blackeeper 2025 年 3 月 3 日 ua 变化,IP 又不会变化,根据 IP 来做策略就可以了 |
6 xiaojie668329 2025 年 3 月 3 日 上 recapture (… |
7 h175h32 OP @blackeeper 难就难在 怎么判断他是有多个 ua |
8 sslyxhz 2025 年 3 月 3 日 ip 策略,登录限制 |
9 Lshl56B4vDqdixwK 2025 年 3 月 3 日 看看有什么特征吧,爬虫一般用的是 http 1.1 ,干脆把所有 http 1.1 除搜索引擎爬虫的请求全部验证码质询。 |
10 herozzm 2025 年 3 月 4 日 via iPhone ua 和 ip 都会变就无解,上验证码 |
11 zeusho871 2025 年 3 月 4 日 基于 tls 指纹可以拦截一部分,然后麻烦的需要用 ip 加行为风控 |
12 Dragonish3600 2025 年 3 月 4 日 直接屏蔽所有云厂商的 CIDR |