V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 4011 days ago, the information mentioned may be changed or developed.
我司有好几个proxy可以用，但是都不太稳定。
我想的就是假设有n个Proxy，在爬取失败的时候首先自己重试3次。如果重试失败就切换到下一个proxy。如果成功就继续使用当前的proxy，如果失败就一直切换代理直到没有可用的代理。如果最终还是失败了，就以某种方式记录一下，下次重新爬一遍。
不知道我的想法在scrapy之中如何实现？
如果有例子代码就更好了~
最终目的就是保证目标url能被正确的爬出结果。如果有其他更好的解决方案也麻烦说一下~
我想的就是假设有n个Proxy，在爬取失败的时候首先自己重试3次。如果重试失败就切换到下一个proxy。如果成功就继续使用当前的proxy，如果失败就一直切换代理直到没有可用的代理。如果最终还是失败了，就以某种方式记录一下，下次重新爬一遍。
不知道我的想法在scrapy之中如何实现？
如果有例子代码就更好了~
最终目的就是保证目标url能被正确的爬出结果。如果有其他更好的解决方案也麻烦说一下~
 | 1 AlloVince May 7, 2015  1 |
 | 2 RangerWolf OP @AlloVince 非常感谢！正是我需要的！ |
 | 3 bengtuo May 7, 2015 Scrapy 还是不够好 |
| 4 bengtuo May 7, 2015 要写 太多的代码 |
 | 5 zts1993 May 7, 2015 写一个DOWNLOADER_MIDDLEWARES |
 | 6 binux May 7, 2015 squid |
| 7 RangerWolf OP @binux 还得自己维护一个squid就太繁重了 |
![RangerWolf](https://cdn.v2ex.com/avatar/4c71/aefc/26354_normal.png?m=1775298237") | 8 RangerWolf OP @bengtuo 那有什么推荐的吗？ 要写的代码多一点没什么，重要的是能有解决方案。 如果能在网上找到相应的解决方案的代码就更好了 |
 | 9 messense May 7, 2015 1 我用的修改自 scrapy-proxies 的 RetryMiddleware，禁用 Scrapy 自带的 RetryMiddleware https://github.com/messense/douappbook/blob/master/douappbook/middlewares.py#L10 |
 | 10 ultimate010 May 9, 2015 1 我以前就是把代理ip存到redis中，每次抓取查询换ip，封装下使用很方便。 |
Select Language