手把手写爬虫之第三弹--流量分析嗅探简介 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
jason52
V2EX    分享创造

手把手写爬虫之第三弹--流量分析嗅探简介

  •  
  •   jason52 2015-02-25 17:54:19 +08:00 6713次点击
    这是一个创建于 3950 天前的主题,其中的信息可能已经有所发展或是发生改变。
    ===
    对于不显式暴露链接的网站,通过流量分析,得到真实地址,最后写成 py 爬虫。

    利用了burpsuite工具进行分析,用到了 request 和 json 库。

    本来 part3 要介绍多线程和多进程的,以及一开始写的代码的重构(利用 pycharm,刚发现的真是好用)。结果录废了。。。。

    http://pan.baidu.com/s/1i3uzjQP
    http://pan.baidu.com/s/1hgp9k


    ===
    第一弹地址: http://v2ex.com/t/171302
    第二弹地址: http://v2ex.com/t/171974
    ===
    另外,最近压缩参数找的好,每一次都保持相对清晰的条件下,视频大小比之前小一半(时长基本不变)。
    13 条回复    2015-07-14 22:35:00 +08:00
    killerv
        1
    killerv  
       2015-02-25 21:13:52 +08:00
    感谢楼主的视频,希望楼主能坚持下去~
    yangff
        2
    yangff  
       2015-02-25 21:37:27 +08:00 via Android
    上次写个爬虫结果一晚上azure的50g流量就没了。。
    所以。。如果正在看这句话的你也在写爬虫
    记住,不要把爬虫挂在流量限制太小的服务器上,这里的太小至少是几百g起。。。
    jason52
        3
    jason52  
    OP
       2015-02-25 21:52:41 +08:00
    @yangff 你肯定把二进制文件下载下来了吧。。azure肯定太快了~~
    greyfreedom
        4
    greyfreedom  
       2015-02-25 22:21:58 +08:00
    学习一下,最近刚好要学习爬虫。谢楼主分享
    yangff
        5
    yangff  
       2015-02-25 23:11:02 +08:00 via Android
    @jason52 没有,我是自己写的爬虫代码。。
    RIcter
        6
    RIcter  
       2015-02-25 23:50:43 +08:00
    黑阔神器 burpsuite _(:з」∠)_
    xuhaoyangx
        7
    xuhaoyangx  
       2015-02-26 01:17:21 +08:00
    x264的--crf 23 --preset 9 -r 5 -b 5 --me umh --merange 24 --scenecut 50 -f 1:1 --qcomp 0.5 --psy-rd 0.3:0 --aq-strength 0.8 --no-mbtree --opts 0
    压片我常用的高压参数
    动态码率crf数值越大,体积越小。一般23-24足了
    digua
        8
    digua  
       2015-02-26 10:19:29 +08:00
    马克下
    lovepanda
        9
    lovepanda  
       2015-02-27 11:38:54 +08:00
    学习了,支持楼主,希望楼主能坚持下去,
    jason52
        10
    jason52  
    OP
       2015-02-27 12:05:19 +08:00 via Android
    @lovepanda 请问一下看视频过程中哪里会遇到问题?

    我奇怪为啥没有任何提问呢?或者任何的pull request?
    ivanchou
        11
    ivanchou  
       2015-04-21 12:35:07 +08:00
    @jason52 大神,求视频重新分享,最近在学习 python 打算写爬虫练习一下
    jason52
        12
    jason52  
    OP
       2015-04-21 13:39:14 +08:00 via Android
    @ivanchou 找我最近发帖有新链接

    另外,俺也是个初学者,逃。。。
    plantparknet
        13
    plantparknet  
       2015-07-14 22:35:00 +08:00
    链接好像取消了。。。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2801 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 02:54 PVG 10:54 LAX 18:54 JFK 21:54
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86