用了一阵子 mongodb,有几个困扰我的问题。 - V2EX
JCZ2MkKb5S8ZX9pq

用了一阵子 mongodb,有几个困扰我的问题。

  •  
  •   JCZ2MkKb5S8ZX9pq Jun 11, 2018 4512 views
    This topic created in 2893 days ago, the information mentioned may be changed or developed.

    主要做爬虫和数据分析。选 mongo 是因为 mongo 比较灵活,而爬虫经常会碰到些意外或者结构变化等等,前期直接 json 进去比较方便。当然数据清洗也是会做的。

    副本集问题

    现在 mongo 主要是扔在一台 MBA 上跑,然后为了保险,在家里的 PC 上加了个副本,Arbiter 在 MBA 上。
    这样出去演示啥的,光带个 MBA 也跑得起来。
    现在我的问题是,如果我再加一台电脑,想让:

    1. 家里的 A 电脑一直跑爬虫不要停。
    2. 另一台 B 电脑在家的时候可以同步数据库,出门的时候可以演示。

    有没有实现的方法?


    CPU 占用问题

    mongod 的 CPU 最近占用经常跑满,这是常态吗?
    我大概有四五个爬虫同时在跑,但都是单程的网络 IO 而已。有办法查看 mongod 具体是啥占的 CPU 嘛?


    升级

    开始用的时候是 3.2 版本的,现在好像已经到 3.6 了,有必要升级吗?


    空间占用

    目前比较大的那个 DB 大概 40G+。
    基本的字段类型优化,结构优化,都已经做过了。
    除了分片,有啥别的瘦身方法嘛?


    PS:身边用 mongodb 的真的很少啊

    4 replies    2018-06-29 02:24:42 +08:00
    Leigg
        1
    Leigg  
       Jun 11, 2018 via iPhone
    mongo 一般都是随意数据量增加占用内存增加,cpu 跑满到是挺少见,你看看不启动数据库占用情况怎样的,如果确实是 mongo 导致的 cpu 跑满的话,那你需要调一下 db 的配置。
    Leigg
        2
    Leigg  
       Jun 11, 2018 via iPhone
    另外你还可以了解一下 mongo 的慢查询,可以判断具体是不是有什么操作导致了 db 线程阻塞,这也会导致 cpu 占用暴涨
    JCZ2MkKb5S8ZX9pq
        3
    JCZ2MkKb5S8ZX9pq  
    OP
       Jun 11, 2018
    @Leigg 下午刚排查了 index,貌似都启用了。
    而且不启用的话根本慢得没法用……
    不过你说得挺对,我等下重启下,逐个开启爬虫观察看看。
    About     Help     Advertise     Blog     API     FAQ     Solana     1240 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 36ms UTC 17:37 PVG 01:37 LAX 10:37 JFK 13:37
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86