V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 3679 days ago, the information mentioned may be changed or developed.
思路是先获取每一页相册中的图片的 url,再分别请求这些 url,然后在得到的 html 中筛选原图的 url,保存到本地.(对应在豆瓣里的操作就是点击缩略图,查看大图),第一步的 url 是都得到了,在第二步时只有前 5 个能返回 200,后面的都被 403 了.设置的延时是 5 秒,想不通.
Supplement 1 Apr 2, 2016
对了,是公开的相册.
Supplement 2 Apr 2, 2016
有哪位大大知道豆瓣的反爬虫机制是怎样的吗?
 | 1 superliang Apr 2, 2016  1 User Agent 设置了吗 |
 | 2 demomaster OP @myleon 设置了 |
 | 3 skydiver Apr 2, 2016 via iPad 1 referer 设置了么 |
| 4 demomaster OP @skydiver referer 没有,刚查了下,这个是要设成从哪里跳来这的那条 url 吗? |
| 5 demomaster OP 解决了,正则有问题(逃 |
Select Language