想请教一下,大型公司(如: MT)内部的反爬虫部门,平时的工作内容是什么? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
h1298841903
V2EX    职场话题

想请教一下,大型公司(如: MT)内部的反爬虫部门,平时的工作内容是什么?

  •  
  •   h1298841903 346 天前 2658 次点击
    这是一个创建于 346 天前的主题,其中的信息可能已经有所发展或是发生改变。
    p>小公司也不会有此岗位,大公司(美团)一般是多少人的规模?反爬虫的技术感觉比较固定,没有业务需求吧?每年的 OKR 都是啥?

    13 条回复    2025-01-07 17:10:27 +08:00
    julyclyde
        1
    julyclyde  
       346 天前
    十几年前第一版是我和同事搞的
    俩人

    当然现在没当年那么简单了
    h1298841903
        2
    h1298841903  
    OP
       346 天前
    @julyclyde 这种工作,大领导们是不是不是很重视啊? 没啥收益的部门。
    julyclyde
        3
    julyclyde  
       346 天前
    @h1298841903 不知道现在具体情况怎么样
    但脱离具体情况来说,业务怎么发展确实是取决于领导人是否重视的
    (所以就有很多企业吃工程化水平太低的亏)
    julyclyde
        4
    julyclyde  
       346 天前
    @h1298841903 当年挺重视的
    因为当年美团的正经业务也就才几百 M 带宽,但是被抓数据也能达到这么高的带宽,浪费的占比过高,还给竞争对手喂料,亏大了
    coderluan
        5
    coderluan  
       346 天前
    在网上搜集针对自己的爬虫方案,顺藤摸瓜,然后报警一锅端。
    NoobNoob030
        6
    NoobNoob030  
       346 天前
    我也好奇,安全部门都天天干啥,搞网安的技术要求高,岗位又相对少
    macaodoll
        7
    macaodoll  
       346 天前
    分析分析流量,日志,但凡有流量突然冒头的就想办法给堵上呗
    processzzp
        8
    processzzp  
       346 天前
    @NoobNoob030 没出事:要你们有啥用
    出事了:要你们有啥用
    fizzmst
        9
    fizzmst  
       346 天前 via iPhone
    来爬虫攻击了赶紧防控
    平时看看市场能不能买到自己的信息,
    和其他团队合作做做攻防测试
    看看市场爬虫价格
    xiaoriri666
        10
    xiaoriri666  
       346 天前
    爬虫目前还是很吃香的,搞风控策略
    i8086
        11
    i8086  
       346 天前
    通过爬虫技术、数据分析和商户沟通来应对竞争对手的低价策略。

    反爬用于保护平台的数据,防止恶意爬虫抓取价格信息。

    平台是抽佣,低价能吸引用户,平台也能赚到钱。

    以美团酒店来说~
    h1298841903
        12
    h1298841903  
    OP
       346 天前
    @macaodoll 美团这么大流量,混进去一些非法流量,也不太能观察出来吧
    nulIptr
        13
    nulIptr  
       346 天前
    @i8086 所以你们上班就是跟携程/飞猪的反爬虫部门打团?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1017 人在线   最高记录6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 18:25 PVG 02:25 LAX 10:25 JFK 13:25
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86