境外服务器上部署爬虫抓 YouTube(下载视频), YouTube 会不会封 IP? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
chendajun
V2EX    Python

境外服务器上部署爬虫抓 YouTube(下载视频), YouTube 会不会封 IP?

  •  1
     
  •   chendajun 2016-11-02 09:21:52 +08:00 11939 次点击
    这是一个创建于 3336 天前的主题,其中的信息可能已经有所发展或是发生改变。
    28 条回复    2017-02-09 14:58:42 +08:00
    lslqtz
        1
    lslqtz  
       2016-11-02 09:32:09 +08:00
    本人反代 YouTube ,然后用户就被验证码拦了
    terence4444
        2
    terence4444  
       2016-11-02 09:33:11 +08:00 via iPhone
    每次打开会有验证码
    chendajun
        3
    chendajun  
    OP
       2016-11-02 09:36:25 +08:00
    @terence4444
    @lslqtz
    YouTube 反爬比较严格,在阿里云香港服务器上部署了爬虫,刚开始可以抓一些。现在程序直接报错。
    21grams
        4
    21grams  
       2016-11-02 09:39:05 +08:00
    封 ip 那是轻的
    chendajun
        5
    chendajun  
    OP
       2016-11-02 09:49:16 +08:00
    @21grams 请问有 YouTube 具体的反爬技术介绍吗?
    majinjing3
        6
    majinjing3  
       2016-11-02 09:52:41 +08:00 via Android
    @chendajun 可以尝试使用代理,建立个代理池,
    mudone
        7
    mudone  
       2016-11-02 10:23:46 +08:00
    做爬虫代理池不应该是标配吗。。
    chendajun
        8
    chendajun  
    OP
       2016-11-02 10:36:18 +08:00
    @mudone 1 ,代理稳定性一直是个问题(付费的 vpn 稳定性也很不好,一直在用付费代理), 2 , youtube 封 ip 是封死的。
    jimzhong
        9
    jimzhong  
       2016-11-02 10:37:55 +08:00
    当然会
    Aspx
        10
    Aspx  
       2016-11-02 10:55:20 +08:00
    代理池是标配
    ljcarsenal
        11
    ljcarsenal  
       2016-11-02 11:02:25 +08:00
    gg 是世界上最大的爬虫公司 当然反爬技术也是炉火纯青了
    chendajun
        12
    chendajun  
    OP
       2016-11-02 11:04:54 +08:00
    @ljcarsenal 能感觉到反爬技术很牛逼。另外你的头像是 272 ?
    ljcarsenal
        13
    ljcarsenal  
       2016-11-02 11:07:46 +08:00
    zoudeze
        14
    zoudeze  
       2016-11-02 11:23:06 +08:00
    表示 http://www.clipconverter.cc 一只很好用,干嘛要自己搞个什么东西爬视频~~~~
    shuang
        15
    shuang  
       2016-11-02 11:41:05 +08:00
    一直用的它提供的 API 接口爬视频然后下载的,跑了很长时间了,貌似没被限制过 ip
    TKKONE
        16
    TKKONE  
    PRO
       2016-11-02 12:01:36 +08:00
    以前爬过几千个视频,没有出现问题
    chendajun
        17
    chendajun  
    OP
       2016-11-02 12:49:37 +08:00
    @tumbzzc 能具体说说你的方法不?
    hujianxin
        18
    hujianxin  
       2016-11-02 13:19:19 +08:00
    爬 youtube 啥意思啊,如果想单纯的下载视频的话用 you-get 或者 youtube-dl 两个软件都可以下啊,我下载几百个视频都不会有别的问题的。也可能我不理解你的意思
    chendajun
        19
    chendajun  
    OP
       2016-11-02 13:27:53 +08:00
    @hujianxin 客户需要 youtube 新闻类的视频,我是把 you-get 集成到程序中,爬虫拿到网页链接后交给 you-get 去下载视频,现在 youtube 把 ip 封掉了。
    wmttom
        20
    wmttom  
       2016-11-02 14:07:08 +08:00
    youtube-dl 单 ip 下了十万个视频还没被封,可能是运气好
    annielong
        21
    annielong  
       2016-11-02 14:25:11 +08:00
    有接口尽量用接口,只要不是特别频繁调用接口,一般不会封,但是模拟前台抓取页面这种,貌似会封的比较厉害
    chendajun
        22
    chendajun  
    OP
       2016-11-02 14:27:15 +08:00
    @shuang 有相关文档不?
    TKKONE
        23
    TKKONE  
    PRO
       2016-11-02 17:33:30 +08:00
    @chendajun youtube-dl 没被封
    anexplore
        24
    anexplore  
       2016-11-02 21:19:16 +08:00
    不要随便传播哦,否则要喝茶的
    mingyun
        25
    mingyun  
       2016-11-02 23:30:09 +08:00
    @zoudeze 这个不错
    alexapollo
        26
    alexapollo  
       2016-11-02 23:38:00 +08:00
    google 和 youtube 这一套体系的反爬都比较完善,门槛比较高了,但要爬仍然能爬
    justyy
        27
    justyy  
       2016-11-02 23:50:58 +08:00
    @chendajun https://weibomiaopai.com#api 能用上么?
    myself659410
        28
    myself659410  
       2017-02-09 14:58:42 +08:00
    盯上 youtube 人太多了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2618 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 09:08 PVG 17:08 LAX 01:08 JFK 04:08
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86