主要做爬虫和数据分析。选 mongo 是因为 mongo 比较灵活,而爬虫经常会碰到些意外或者结构变化等等,前期直接 json 进去比较方便。当然数据清洗也是会做的。
副本集问题
现在 mongo 主要是扔在一台 MBA 上跑,然后为了保险,在家里的 PC 上加了个副本,Arbiter 在 MBA 上。
这样出去演示啥的,光带个 MBA 也跑得起来。
现在我的问题是,如果我再加一台电脑,想让:
- 家里的 A 电脑一直跑爬虫不要停。
- 另一台 B 电脑在家的时候可以同步数据库,出门的时候可以演示。
有没有实现的方法?
CPU 占用问题
mongod 的 CPU 最近占用经常跑满,这是常态吗?
我大概有四五个爬虫同时在跑,但都是单程的网络 IO 而已。有办法查看 mongod 具体是啥占的 CPU 嘛?
升级
开始用的时候是 3.2 版本的,现在好像已经到 3.6 了,有必要升级吗?
空间占用
目前比较大的那个 DB 大概 40G+。
基本的字段类型优化,结构优化,都已经做过了。
除了分片,有啥别的瘦身方法嘛?
PS:身边用 mongodb 的真的很少啊

