存储大量的文件该选用哪种数据库? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
jinxueliu

存储大量的文件该选用哪种数据库?

  •  
  •   jinxueliu Aug 31, 2016 2928 views
    This topic created in 3528 days ago, the information mentioned may be changed or developed.

    存储大量的文件(每个文件 10Mb 左右)该选用哪种数据库?有哪些可选方案,优缺点是什么? 希望大家不吝赐教

    Supplement 1    Sep 1, 2016
    从大家的回答中受益匪浅,看来还是应该创建文件系统来存储这些文件
    22 replies    2016-09-01 13:48:41 +08:00
    paulw54jrn
        1
    paulw54jrn  
       Aug 31, 2016
    如果用云的话就是存 S3(或对应的服务上), 然后 meta data 存数据库用于检索.

    自己搭的话可以 HDFS, 可以 NFS + RDBMS
    VeryEase
        2
    VeryEase  
       Aug 31, 2016
    二进制文件为什么要存数据库.... 如果真要这么做的话,可以考虑下 mongodb , 以前做过某款产品,开发版就是这么干的,后来放弃这种做法了。
    lhbc
        3
    lhbc  
       Aug 31, 2016 via Android
    身为程序员
    “大量”这种词就不应该说
    e8c47a0d
        4
    e8c47a0d  
       Aug 31, 2016
    为什么要存在数据库里……
    hanxiV2EX
        5
    hanxiV2EX  
       Aug 31, 2016 via iPhone
    存文件,数据库只存路径
    zhuangzhuang1988
        6
    zhuangzhuang1988  
       Aug 31, 2016
    @e8c47a0d 为什么不能存数据里面?!
    https://book.douban.com/subject/6800774/
    参见这个。。不过有好有坏。。。
    whatot
        7
    whatot  
       Aug 31, 2016
    在几乎所有情况下,都是应该减少数据库内部的数据量。
    你这样使用数据库完全就是在浪费数据库的能力。

    存文件还是用对象存储,元数据放数据库。
    htfy96
        8
    htfy96  
       Aug 31, 2016
    建议 GlusterFS 。 mongoDB 稳定性。。 https://news.ycombinator.com/item?id=9912842
    purrgil
        9
    purrgil  
       Aug 31, 2016
    什么叫大量?

    2T 硬盘就叫大数据?
    lcsoft
        10
    lcsoft  
       Aug 31, 2016
    很好奇,除了要索引文件内容做全文搜索,还有哪些原因需要把文件塞到数据库里?
    kingoldlucky
        11
    kingoldlucky  
       Aug 31, 2016
    对象存储 ~~ 文件和元数据分开放 现在大互联网公司都这么干 对于海量小文件也适用
    lianxiaoyi
        12
    lianxiaoyi  
       Aug 31, 2016 via Android
    这种东西毫不犹豫丢阿里云 oss 或者七牛啊!然后数据库装唯一标识!用数据库存储,你考虑过数据库带宽的感受没?
    tjxjj
        13
    tjxjj  
       Aug 31, 2016
    真和数据库压根没啥关系。数据库最多放个索引和元数据,核心还是你这些文件是否要考虑分库,分目录和带宽(如果经常要用的话,如果是图片还需要创建低分辨率的图片等等)
    Powered
        14
    Powered  
       Aug 31, 2016 via Android
    有目录的文件夹->自建分布式文件系统
    没有目录的单个文件->对象存储
    carmark
        15
    carmark  
       Aug 31, 2016
    msg7086
        16
    msg7086  
       Aug 31, 2016
    文件系统就是一个数据库。
    pubby
        17
    pubby  
       Aug 31, 2016 via Android
    @carmark 在用
    dsg001
        18
    dsg001  
       Sep 1, 2016
    几千万<100K 文件硬盘扛不住,压缩后扔到数据库
    jinxueliu
        19
    jinxueliu  
    OP
       Sep 1, 2016
    @lhbc @purrgil 可能我的表述有问题,重点是想解决文件分布式存储的问题,使得每个节点都能快速访问
    ooonme
        20
    ooonme  
       Sep 1, 2016 via iPhone
    @jinxueliu hdfs 太小的文件要做合并的
    lhbc
        21
    lhbc  
       Sep 1, 2016 via Android
    @jinxueliu 大量 是什么概念?
    十万级?百万级?千万级?亿级?
    每一个级别的技术差异是不一样的。
    没给具体的数量级,哪有什么方案可言。
    efurture
        22
    efurture  
       Sep 1, 2016
    文件系统,数据库存路径
    About     Help     Advertise     Blog     API     FAQ     Solana     905 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 70ms UTC 21:04 PVG 05:04 LAX 14:04 JFK 17:04
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86