请教 mongodb 优化 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
channg01

请教 mongodb 优化

  •  
  •   channg01 Apr 9, 2019 12915 views
    This topic created in 2588 days ago, the information mentioned may be changed or developed.

    我的 mongo 中有 800 万条数据大概 13 个 G

    我的一条查询大概是这样

    查询这个人的数据分页

    db.events.find({"actor.login": 'name'}).srt({"created_at": -1}).skip(200).limit(20)

    一条查询要好几分钟。。

    小前端不太会优化,求帮助

    11 replies    2019-04-22 15:50:50 +08:00
    fox1955
        1
    fox1955  
       Apr 9, 2019
    加个索引啊老铁
    EPr2hh6LADQWqRVH
        2
    EPr2hh6LADQWqRVH  
       Apr 9, 2019 via Android
    如果你就想要结果而不想知道为什么的话,把 created_at 换成_id 目测能够好得多了
    brickyang
        3
    brickyang  
       Apr 9, 2019 via iPhone   1
    skip 太多会影响性能。分页最好是每次查询的最后一条记录的 _id,下一批分页的查询用 { $gt/$lt: _id } 配合 limit。
    channg01
        4
    channg01  
    OP
       Apr 9, 2019
    @fox1955 加了 db.events.createIndex({"actor.login":1}) 这样是吧
    channg01
        5
    channg01  
    OP
       Apr 9, 2019
    @avastms 没啥感觉改变啊
    @brickyang 好好好
    ft28142
        6
    ft28142  
       Apr 9, 2019
    @brickyang 正解,正确的方式是不要用 skip + 索引
    EPr2hh6LADQWqRVH
       
    EPr2hh6LADQWqRVH  
       Apr 9, 2019 via Android
    可能你这数据集还是太稀疏了,
    两个方案,一个是加普通的复合索引,created_at 和 actor.login,就按这个顺序

    另一个,专门索引,索引项 created_at,选项填一个 partialFilterExpression,就是你 actor.login 的查询条件,再给索引专门起一个名字

    你这个情景,我感觉应该第二个方案可能更合适
    rrfeng
        8
    rrfeng  
       Apr 9, 2019
    加个索引就行 {actor.login:1, created_at: -1}
    menyakun
        9
    menyakun  
       Apr 9, 2019
    事实上 skip 还是会要从第 1 个遍历到第 200 个,但你这个查询 skip 的数目不是很大,应该不是这个问题。一般来说 sort 肯定是比较慢的,还特别吃内存,既然 sort 的字段是 created_at,那么用_id 也行
    version
        10
    version  
       Apr 9, 2019
    应该是是你单个 doc 文件太大了. mongodb 再分页时候会把整个 doc 都缓存放内存..这样容易爆..
    你可以分页查询只 返回_id 和 再单个主键去查询.这样会快点.
    这种也适合分页超过 第 20 万以上的时候..
    ScottAlone
        11
    ScottAlone  
       Apr 22, 2019
    @brickyang #3 如果是不是下一页,是下 N 页的话有什么办法吗...
    About     Help     Advertise     Blog     API     FAQ     Solana     860 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 68ms UTC 21:35 PVG 05:35 LAX 14:35 JFK 17:35
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86