求 6 盘 NAS 存储方案 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
efsg
V2EX    NAS

求 6 盘 NAS 存储方案

  •  
  •   efsg 2020-12-27 20:56:37 +08:00 5278 次点击
    这是一个创建于 1819 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在有一台 32GB 内存 1TB 固态的锐龙 2700 主机,机箱最多可以装 7 个 3.5 硬盘,保险起见只装了 6 个 4TB

    主要是当服务器用,挂了好几个游戏,有两个游戏不支持 Linux,所以系统是 LTSC,虚拟机跑了一个 debian ;

    同时作为 NAS 用来备份、同步文件,安全第一

    上网看了下 Windows 可以直接用 Snapraid,兼容性好可靠性应该也比 R5 好,但不是实时备份的

    还有就是之前用 E5 主机时规划直接 FreeNAS 用 ZFS,可靠性应该也没问题,但这样算上虚拟机内存就只能剩 4GB 了

    所以发帖求问有没有更好的方案

    PS:顺便推荐 UPS,450W 的海盗船 SFX 电源,将来要升级到 5900X

    30 条回复    2020-12-30 20:02:33 +08:00
    shinko
        1
    shinko  
       2020-12-27 20:58:40 +08:00 via iPhone
    我是蜗牛 5 盘位用 Snapraid
    sidkang
        2
    sidkang  
       2020-12-27 21:23:20 +08:00
    这个配置,不如加些内存用 ZFS,性能最好,毕竟配置已经很高了,还有计划上更好的 U
    efsg
        3
    efsg  
    OP
       2020-12-27 22:28:09 +08:00 via Android
    @sidkang 切换到 FreeNAS 很麻烦,而且我是 ITX 主板只有两条内存槽,换成单条 32GB 更麻烦
    also24
        4
    also24  
       2020-12-27 22:37:07 +08:00
    没有折腾过 freenas,但是我看的大量资料都在说,ZFS 的 1T1G 对于普通家用需求其实不必严格遵守。

    不知道楼主跑的游戏是哪一类型,对图形性能的需求是什么水平。

    如果继续使用 Windows 的话,我觉得存储池值得一试,不过好像只有 Win Server 版会提供比较高级的功能,以及存储池版本只能升不能降,Win Server 创建的存储池,只有 Win Server 能使用。
    我最喜欢存储池的地方是,可以在一组物理磁盘上,创建多个不同类型的虚拟磁盘,类似于 RAID 0 、1 、5 同时存在于一组物理磁盘上,而且这若干个虚拟磁盘,理论上都可以最大化使用底层空间。

    不过不太确定你的游戏在 Win Server 上是否能正常运行,如果不想为 Win Server 安装图形支持等的话,可能就需要跑个 hyper-v 来玩儿游戏了。
    sidkang
        5
    sidkang  
       2020-12-27 22:37:47 +08:00
    用 linux 做 host+openzfs,然后其它 lxc 或者 kvm 装 linux 内存可浮动,会省很多,只有一个 win 服务器内存需要固定~
    sidkang
        6
    sidkang  
       2020-12-27 22:38:56 +08:00
    我自己是 4x8T,proxmox+zfs,24G 内存,开了一个 win,一个黑果,一堆 linux vm+lxc 容器,妥妥的
    AntonChen
        7
    AntonChen  
       2020-12-27 23:03:34 +08:00 via Android
    看数据修改存储频率吧,个人 NAS 用 Snapraid 感觉完全满足需求,我之前准备自己做个基于 Snapraid 的管理面板的,结果…… 人生不如意十之八九啊,跳出了 995,自己选择了 927 。
    mostkia
        8
    mostkia  
       2020-12-27 23:17:16 +08:00
    和题主差不多的思路,母系统一样是 win10,开虚拟机满足各种子任务需求,包括 NAS 、web 站点之类的,通过 FRP 内网穿透关键服务到防火墙外,所有娱乐工作都在一台电脑上完成,中心化管理,要取数据什么的也方便。硬件方面:3700x+16GRAM+RX480+4T*2 的硬盘,盘太少,所以没有 RAID,机箱网购 4U 服务器机箱,自带风墙,有 6 个盘位,但没减震容易坏,我改造了一下,装上了硬盘减震支架,空间只能装 4 个 3.5 的盘位了,系统盘是固态的,可以随意固定在犄角旮旯,所以不算入。除了耗电一些,不是 ECC 内存,隔一段时间重启一下防止程序异常,挺好的,没什么太大的缺点。最重要的是,随时随地可以连接到自己最强的算力设备上,还是挺惬意的,内网环境体验很好,甚至能打打 RTS 游戏。
    ![]()
    ![]()
    ![]()
    https://imgchr.com/i/rIo5Is
    https://imgchr.com/i/rIohZQ
    https://imgchr.com/i/rIo4aj
    https://imgchr.com/i/rIo7R0
    https://imgchr.com/i/rIooin
    https://imgchr.com/i/rIoqMT
    lsylsy2
        9
    lsylsy2  
       2020-12-27 23:32:36 +08:00
    snapraid 应该够了,而且 snapraid 还有个好处是他是目录单位的,于是在一个 6 盘阵列里面,我可以同时放 0 冗余、1 冗余、2 冗余( x 冗余指坏掉 x 个盘不影响数据)
    chinesestudio
        10
    chinesestudio  
       2020-12-28 00:30:12 +08:00 via Android
    pve 双硬盘 mirror zfs 安装系统盘 。直通硬盘给 xigmanas 然后挂载 nfs 就行 为啥用 xigamnas 不用 freenas. 因为 可以硬盘加密 重启后需要输入密码才能正常挂载 pool
    ryd994
        11
    ryd994  
       2020-12-28 04:35:45 +08:00 via Android
    @efsg 1. Linux 也有 zfs 。虽然因为授权原因没有进主线,但实际上是很稳定的
    2. 1G 1T 是要求性能的情况。对于顺序读写来说不是必需的。随机读写性能可能会差,但是你用机械硬盘的话本来也好不到哪去。
    总之,nas 用途完全没问题。我的 nas 的 16G 内存,整个池是 6×8TB,减去冗余盘可用 32TB 。
    实测顺序读写 500MB/s,非常够用了。
    qihu3721
        12
    qihu3721  
       2020-12-28 09:39:46 +08:00
    @mostkia
    你虚拟机用的是什么? hyper-v, vmeware workstation 还是 virtualbox?
    efsg
        13
    efsg  
    OP
       2020-12-28 12:08:51 +08:00 via Android
    @also24 我是游戏服务器不需要 GPU 所以没装显卡,RAID5 据说不稳所以我也直接排除跳到 ZFS 和 Snapraid 二选一了
    efsg
        14
    efsg  
    OP
       2020-12-28 12:11:27 +08:00 via Android
    @mostkia 我是打算摆在房间的桌子上所以不能太吵,机箱虽然支持水冷但我觉得太夸张了而且不安全,主板是华擎的 B450 丐板供电极限是 5900X 打算以后升级,主力还是笔记本,甚至没有装显卡
    also24
        15
    also24  
       2020-12-28 12:16:05 +08:00
    @efsg #13
    存储池可以不用 RAID5 的啊,是说你新建虚拟磁盘的时候可以任选类型。

    类似于你把双盘 10T 加入存储池,在这个池内新建虚拟磁盘的时候,就可以选择建 Simple (类似于 JOB )还是 Mirror (类似于 RAID1 )类型,同一个池内可以新建多个虚拟磁盘,各自为不同类型。

    你可以建一个 10T 的 Mirror,一个 20T 的 Simple 同时使用,直到物理空间快被占完了,给存储池再分配一块磁盘就好了(极端情况下,只分配一块可能 Mirror 不够用)。


    比起 Snapraid 的好处是,这相当于实时的软 RAID,缺点是不能做到目录级别,只能做到虚拟磁盘级别。
    mostkia
        16
    mostkia  
       2020-12-28 12:26:22 +08:00
    @qihu3721 hyper-v win10 自带的就挺好用的
    @efsg 我自己配了一些低转速风扇,机箱自带的暴力风扇的确吵
    efsg
        17
    efsg  
    OP
       2020-12-29 07:57:22 +08:00 via Android
    @also24 只支持 R1 和 R5 就没有意义了,我可以插阵列卡
    deorth
        18
    deorth  
       2020-12-29 09:20:15 +08:00
    建议 PVE
    isnullstring
        19
    isnullstring  
       2020-12-29 11:16:32 +08:00
    看用途,放游戏、电影、图片啥的不用太折腾
    Snapraid 很合适,不用一次过投入太多,慢慢加
    ZFS 的话,如果小文件特别多的话(我自己快 30W),内存还是按官方建议
    also24
        20
    also24  
       2020-12-29 15:28:48 +08:00
    @efsg #17
    啊这,感觉你是不是理解错我的意思了?

    你说不想用 RAID5,所以我举例了类似 RAID1 和 JOB 的方案,并没有说只能用这两个啊。

    实际上存储池可以自定义列数的,可以实现类似 RAID6 之类的方案。(需要直接敲命令,图形界面支持一直没加)


    存储池的 JOB 还有个小优势,就是如果中间有任意硬盘损毁,只会损毁相应磁盘上的数据,不需要做手动修复就可以直接提取幸存的其它内容,不像其他 JOB 一样是直接团灭。
    efsg
        21
    efsg  
    OP
       2020-12-30 17:26:10 +08:00 via Android
    @also24 我主板只有 4 个 SATA 不够用,直接用阵列卡怎么样?
    also24
        22
    also24  
       2020-12-30 17:44:45 +08:00
    @efsg #21
    目前个人自建 NAS,都比较建议直接使用软 RAID,即使购买硬 RAID 卡,一般也都是 HBA 模式使用。

    毕竟大部分情况下你会去买的 RAID 卡,都是洋垃圾企业卡,存在很多不可控因素(例如用了一半硬件 GG 了,那只能找到一样的硬件来恢复阵列)。
    另外硬 RAID 卡在 RAID 模式可能需要板载缓存,板载缓存可能又需要板载电池,然后就带来了更多的风险。

    所以个人场景的话,即使买了 RAID 卡,也建议 HBA 使用,然后使用各系统的软 RAID,方便配置也更易于使用。
    also24
        23
    also24  
       2020-12-30 17:46:52 +08:00
    @efsg #21
    另外补充一下,部分硬 RAID 卡在 RAID 模式下,磁盘是必须通过 RAID 卡才能读写,不能直接读写的,这也限制了灵活性。
    efsg
        24
    efsg  
    OP
       2020-12-30 18:03:29 +08:00
    @also24 直通的阵列卡是不是读写就不经过控制器了?我是 B450 ITX 丐板只有一个 M.2,机箱有 3 个卡槽,打算拆分 PCIE 成两个 X8,一个接 M.2 转接一个接阵列卡
    also24
        25
    also24  
       2020-12-30 18:19:58 +08:00 via Android
    @efsg
    拆分…… B450 这种芯片组,是不会自带拆分的,你估计需要买自带 PLX 的拆分卡才可以,建议先搜一下价格。

    HBA 卡约等于普通的 SATA 扩展卡,只管 SATA 层面的读写。
    efsg
        26
    efsg  
    OP
       2020-12-30 19:37:51 +08:00
    @also24 网上的说法是锐龙全系支持拆分,我在 BIOS 设置也看到了拆分的选项
    also24
        27
    also24  
       2020-12-30 19:39:14 +08:00
    @efsg #26
    这个方面我还真不太确定,如果支持的话那确实是大好事,省不少钱了
    efsg
        28
    efsg  
    OP
       2020-12-30 19:48:29 +08:00
    @also24 我主板官网的介绍明确写了支持拆分为 2 个 X8,但不知道要买哪种扩展卡,意思是支持拆分就不需要买 PLX 的拆分卡?
    https://imgur.com/a/YMzA16x
    also24
        29
    also24  
       2020-12-30 19:55:43 +08:00
    @efsg #28
    理论上是这样的,这种卡就很便宜了
    efsg
        30
    efsg  
    OP
       2020-12-30 20:02:33 +08:00
    @also24 我看服务器拆机的卡很便宜,但不知道是不带 PLX 还是说专用的卡?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     978 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 18:30 PVG 02:30 LAX 10:30 JFK 13:30
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86