V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3712 days ago, the information mentioned may be changed or developed.
最近老师给了一个课题---豆瓣好友推荐。要做推荐，当然首先是要搜集豆瓣数据了。
于是，我收集了 3000 多个豆瓣用户首页的 url ，接着就是对这 3000 多个用户所看过电影相关信息的爬取了。
然后，问题出现了！
我用 python 写了程序，开了 4 个线程，对豆瓣电影信息进行异步爬取，一分钟可以 get230 多个页面，觉得效率还不错嘛。但是，没过多久，就 403forbidden 了！！！豆瓣把我 ip 禁了，不能爬虫了。
然后我在网络上搜索相关资料，发现豆瓣对访问频率做了限制，一分钟最多大概只能访问 40 次左右。
现在，我降低了爬取频率，正在龟速爬取中……
这是我第一次 python 网络爬虫，请问有没有什么方法可以突破豆瓣的爬虫限制，让我能够愉快的爬虫，谢谢各位前辈了。
 | 1 jugelizi Mar 3, 2016 都搜索资料了不知道用代理吗？ |
 | 2 wzymmy Mar 3, 2016 用代理吧，网上免费的代理服务器蛮多的 |
 | 3 liberize Mar 3, 2016 用带 bid （可以伪造）的 cookie 去访问，不会 40x ，但是频率高的时候会让输验证码，验证码还是很好搞定的，都是英文单词，而且词库有限。 |
 | 4 wmttom Mar 3, 2016 做好 cookie UA 伪装，豆瓣带 cookie 的抓取保持一定节奏不会被 403 ，会跳转验证码，把验证码简单二值化然后扔给开放的 OCR API ，然后走下英文单词纠错（豆瓣验证码基本都是英文单词），自动识别率基本是超过 30% 找到这个节奏的最大并发限制，然后慢慢抓，不行可以开多 ip 代理这么抓。 几个月前抓豆瓣基本是这么写的。先大概计算下需要抓的页面数量级，有时候 1 秒一个页面，慢慢抓，抓几天也能满足需要，不行再上代理。 |
 | 5 lucifer4he Mar 3, 2016  1 可以用 I2P 匿名网络。都不用收集代理服务器列表了。他有 API 可以用，跳数弄少一点 1 跳之类的。反正也不是需要强匿名。这样就自带各种 IP 了=。= |
| 6 lucifer4he Mar 3, 2016 或者可以用 tor,虽然我不太了解，其实同理 I2P |
 | 7 tonyVex Mar 3, 2016 代理换 ip 伪装头信息等 |
 | 8 CrazySpiderMan Mar 3, 2016 @liberize liberize 说得对, 看我写的豆瓣爬虫. 能突破限制: https://github.com/Fuck-You-GFW/doubanspiders |
| 9 lucifer4he Mar 3, 2016 @CrazySpiderMan 哈哈哈，在关注你 P2P 爬虫 |
| 10 CrazySpiderMan Mar 3, 2016 @lucifer4he 欢迎 PR 呀. |
 | 11 em70 &nbs; Mar 3, 2016 3 豆瓣是按频率封的,白天一分钟不能超过 40 次请求,晚上不能超过 100 次请求,每次请求间隔 1 秒,就肯定没问题 |
 | 12 abelyao Mar 3, 2016 看来大家抓豆瓣抓得都很有心得… |
 | 13 laoyuan Mar 3, 2016 你们不要这么详细的说出来好么。。。 |
 | 14 vwhenx Mar 3, 2016 1 |
 | 15 sunchen Mar 3, 2016 使用豆瓣 API 然后用直接豆瓣某个 APP 的 key ，在不触发某些特定 API 的情况下无限制爬取。 |
 | 16 feather12315 Mar 3, 2016 via Android 启发了我。在读集体智慧编程，愁怎么搞 delicious 的数据呢（ API 变化了，得出来的数据缺少 user ），哈，现在直接上豆瓣得了 |
 | 17 sunjourney Mar 3, 2016 2 每年开学，就有人爬豆瓣，然后豆瓣就各种不明地 down 掉了。豆瓣运维说，怎么每年这个时候网费都这么高？ |
 | 18 mcone Mar 3, 2016 你们这么光明正大的说怎么爬豆瓣 就不怕豆瓣的人看到之后有针对性的反爬吗………… 话说现在一提到豆瓣就想到强制绑定手机号的下三滥手段，曾经的文艺小清新在用户 profile 面前照样吃相难看…… |
 | 19 tobacco Mar 3, 2016 |
 | 20 dyingbleed Mar 4, 2016 @CrazySpiderMan GitHub 用户名碉堡了～ |
| 21 CrazySpiderMan Mar 4, 2016 @dyingbleed 嘘, 别说话. 赞我. |
 | 22 kamen Mar 4, 2016 via Android 到时候豆瓣崩了，你可是要负责任的(_;) |
 | 23 SummerSun OP 谢谢大家的指导，现在我已经突破频率了！用的是代理加浏览器伪装！ |
 | 26 mztkenan Apr 5, 2018 豆瓣是如何辨认电脑的，通过 IP ？？不太可能我这是校园网，莫不是把校园网出口封了?? |
 | 27 QUIOA Dec 30, 2019 via Android @CrazySpiderMan 你的项目呢 |
Select Language