推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
这是一个创建于 3833 天前的主题，其中的信息可能已经有所发展或是发生改变。
使用 scrapy 抓取 http://www.cnbeta.com/topics/9.htm ，先抓取文章标题， yield Item 存储，再根据 link 抓内容， yield content, 然后 time.sleep(1200)。但是 yield content 处理时间比较长， time.sleep 会是全局停止，导致好长时间抓取不到 content ，请教大家怎么做？
 | 1 pango 2015 年 10 月 26 日 为什么要 sleep ？ scrapy 不是可以自己控制并发数吗？ |
 | 3 sometimesna1ve 2015 年 10 月 26 日 @appleaa 为什么不定时 20 分钟后重新跑一次抓取程序? |
 | 5 ahxxm 2015 年 10 月 27 日 "*/20 * * * * timeout=600 scrapy crawl cnbeta"加进 crontab 就行了， 20 分钟来一发， 10 分钟没跑完自动干掉进程 |
 | 6 lev 2015 年 10 月 28 日 可以设置全局参数 DOWNLOAD_DELAY http://doc.scrapy.org/en/latest/topics/settings.html |
 | 7 kmz 2018 年 7 月 6 日 |
Select Language