一个关于 md 和 lvm 的问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
cwek
V2EX    Linux

一个关于 md 和 lvm 的问题

  • &bsp;
  •   cwek 2024-07-19 14:07:49 +08:00 2257 次点击
    这是一个创建于 515 天前的主题,其中的信息可能已经有所发展或是发生改变。

    做了一套这样的存储布局:

    1. 先用 md ,每两只磁盘做一个 raid1 ,做了 3 组
    2. 然后用 lvm ,将 3 组 md 做成 3 个 pv (--dataalignment 64K ),组成 1 个 vg ,再组一个条带 lv (近似 raid0 ,-i 3 )
    3. 这个 lv 再格式化为一个 ext4 ( block=4k ,stride=16,stripe-width=48 )

    以前也组过类似的组合,不过只有 2 组 raid0 。并且通过 iostat 检查磁盘读写来定时让磁盘休眠。

    现在新组的这套存储,iostat 发现每隔几秒就有几 k 的数据写入。用 lsof 也没找到有进程在使用挂载的文件夹,然后 umount 掉就静止下来了。

    有没办法确认到这个文件系统是被哪个进程操作中?

    12 条回复    2024-07-25 20:16:14 +08:00
    UXha45veSNpWCwZR
        1
    UXha45veSNpWCwZR  
       2024-07-19 15:50:56 +08:00
    我都不知道还能这样组的,我以为要么纯 raid,要么纯 lvm.
    不过 5 个机械硬盘组 raid0 我觉得很爽了.主要用来 PT.
    cwek
        2
    cwek  
    OP
       2024-07-19 16:48:09 +08:00
    @MeteorVIP
    md 设备也是一个块设备,可以加入 lvm 的 PV 中。这样搞主要是 mdadm 的 raid0 不支持容量扩展,lvm 可以对 lv 扩展容量,前面说过这组本来就只有 2 个 raid1 块。这是用来做暖存储的,下载空间是用另一个磁盘承载。
    adrianzhang
        3
    adrianzhang  
       2024-07-19 17:44:05 +08:00
    几 k 的写入是对谁的?
    cwek
        4
    cwek  
    OP
       2024-07-19 19:47:28 +08:00
    @adrianzhang
    磁盘
    adrianzhang
        5
    adrianzhang  
       2024-07-19 20:55:44 +08:00
    @cwek 如果卸载 LV 就没有写入,那说明是 LV 上的动作,ext4 是日志式文件系统,如果关闭日志试试呢?不过我还是建议你逐层监控一下,对磁盘,对 md ,对 vg ,对 lv 。以确定到底是什么导致的对磁盘写入,万一是 vg ,折腾 ext4 就没有意义。
    Ayahuasec
        6
    Ayahuasec  
       2024-07-19 21:06:07 +08:00 via Android
    刚格式化完的话,可能是 ext4 的 lazy init 导致的,以前有碰到过一次这个问题,导致几块硬盘一直不休眠。印象里是 mkfs.ext4 加一个啥参数可以立即把初始化数据写完的,而不是慢慢写。
    cwek
        7
    cwek  
    OP
       2024-07-19 21:11:03 +08:00
    @Ayahuasec
    has_journal ext_attr resize_inode dir_index filetype needs_recovery extent 64bit flex_bg inline_data sparse_super large_file huge_file dir_nlink extra_isize metadata_csum

    ext4 特性参数配置了这些,感觉有这个可能。
    UXha45veSNpWCwZR
        8
    UXha45veSNpWCwZR  
       2024-07-23 14:01:24 +08:00
    @cwek #2 好的,我用 omv 试试,打算是机械硬盘组 raid0,再和固态硬盘组 lvm,
    cwek
        9
    cwek  
    OP
       2024-07-25 16:55:00 +08:00
    @Ayahuasec @adrianzhang 由于之后往这个磁盘阵列写了一天多的数据,没再继续观察。然后拷完数据以后,就没再出现突然少量写入导致磁盘无法休眠的情况。可能就是新磁盘 lazy init 的问题。
    cwek
        10
    cwek  
    OP
       2024-07-25 16:58:56 +08:00
    @MeteorVIP 只是变相 raid10 ,而且看了资料,一个已有的 lv 再添加 pv 的话不会和之前的 pv 组合成连续的条带组,所以只有容量增加了,达不到 raid10 的 0 部分的效果。这次其实相当于整个阵列重建,因为新加入的 1 组合的大小和原有的不对,有弄丢之前创建时的参数,所以干脆整个拆掉重建。
    UXha45veSNpWCwZR
        11
    UXha45veSNpWCwZR  
       2024-07-25 19:29:02 +08:00
    @cwek #10 其实我不需要 raid10 ,只需要机械硬盘 raid0 的速度,lvm 加上固态硬盘的速度。等于是速度最大化吧,
    adrianzhang
        12
    adrianzhang  
       2024-07-25 20:16:14 +08:00
    @cwek 点赞!事事有回应。op 是个靠谱的人。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3880 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 05:26 PVG 13:26 LAX 21:26 JFK 00:26
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86