V2EX = way to explore V2EX 是一个关于分享和探索的地方
Sign Up Now For Existing Member Sign In
推荐学习书目 Learn Python the Hard Way Python Sites PyPI - Python Package Index http://diveintopython.org/toc/index.html Pocoo 值得关注的项目 PyPy Celery Jinja2 Read the Docs gevent pyenv virtualenv Stackless Python Beautiful Soup 结巴中文分词 Green Unicorn Sentry Shovel Pyflakes pytest Python 编程 pep8 Checker Styles PEP 8 Google Python Style Guide Code Style from The Hitchhiker's Guide
This topic created in 4089 days ago, the information mentioned may be changed or developed.
例如一个爬虫，获取信息平均速度是 4条/秒，信息存入数据库。我想问的是，这个数据库连接一直保持开着好，还是频繁开关好？
Supplement 1 Feb 15, 2015
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: retry: Resource temporarily unavailable
-bash: fork: Resource temporarily unavailable
这是什么情况，VPS(do最低配) 上装了个 mongodb，跑个爬虫，less 一个 log 文件成这样了……
 | 1 SR1 Feb 15, 2015 其实，这种问题，写个脚本测一下就知道了。 |
 | 2 yangff Feb 15, 2015 反正瓶颈是带宽.. |
 | 3 lujiajing1126 Feb 15, 2015 。。4条每秒。。没必要考虑这么多。。 |
 | 4 wanjun Feb 15, 2015 当然大了，要不然就不会用连接池了 |
 | 5 omegaga Feb 15, 2015 via Android 有一西叫接池… |
 | 6 dddd OP @lujiajing1126 没见过世面孩子伤不起…… |
 | 7 loading Feb 15, 2015 via Android 优化 sql 语句和数结构效果更显著些，这个问题请交给连接池，或用 sqlalchemy 等帮你搞定（能吗） |
 | 8 9hills Feb 15, 2015 via iPad 每秒4次基本感觉不到性能损失 |
 | 9 john737 Feb 15, 2015 内存不够了，估计最低配的用mongo有点吃力，或者爬虫还有优化的空间 |
 | 10 fising Feb 15, 2015 via iPhone 保持连接和每次断开的差异非常大。楼主可以试试写1W纪录看看时间差 |
 | 11 clino Feb 15, 2015 via Android 积累多一些然后用事务模式批量写入效率更高 |
 | 12 msg7086 Feb 16, 2015 via iPhone 我们论坛每秒100请求以上，每次都开新连接，压力不大。 |
 | 13 min Feb 16, 2015 via iPhone 开销很大 但在你这个超低负载下感觉不到 |
 | 14 liuhaotian Feb 16, 2015  3 呵呵哒。瓶颈是带宽。 |
 | 15 aru Feb 16, 2015 512M 内存跑mongodb + 爬虫，必须萌萌哒 换个大内存vps 舒服很多 |
 | 16 tolerious Mar 2, 2015 via iPhone 目测512M内存做爬虫吃不消，程序要吃一部分，数据库要吃一部分，爬数据量大了，512肯定挡不住的 |
Select Language