搞了一个 LTO 磁带管理系统,有兴趣的老哥可以看看 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要把任何和邀请码有关的内容发到 NAS 节点。

邀请码相关的内容请使用 /go/in 节点。

如果没有发送到 /go/in,那么会被移动到 /go/pointless 同时账号会被降权。如果持续触发这样的移动,会导致账号被禁用。
abc950309
V2EX    NAS

搞了一个 LTO 磁带管理系统,有兴趣的老哥可以看看

  •  
  •   abc950309 span title="2023-09-26 20:06:35 +08:00">2023-09-26 20:06:35 +08:00 3730 次点击
    这是一个创建于 821 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://github.com/samuelncui/yatm

    screenshot-jobs

    写了好几个月了,终于到了可用的程度。带一个 Web UI ,使用 LTFS 做存储,有文件管理、硬件加密、Hash 校验等功能。喜欢的大佬给个 Star ,如果能给一些 PR 就更好了。

    文件管理可以方便组织文件。备份到磁带后,可以在文件管理器里使用文件夹整理文件。

    备份的时候,可以一次性备份多个磁带的内容。会在第一个磁带满时,弹出提醒放入第二个磁带。

    恢复时,会计算出需要的磁带。放入驱动器后,会读取磁带 RFID 来确定放入的是哪个磁带,并读取对应的待恢复文件。

    对线性读写设备(比如 LTO 这种)做了特别优化,写入和读取时都会按位置顺序来。对写入小文件的场景,当来源文件在磁盘上时,会做 Prefetch Hint 。

    23 条回复    2023-10-09 12:12:05 +08:00
    yyzh
        1
    yyzh  
       2023-09-26 20:26:09 +08:00 via Android
    能用到磁带的那种都是大企业或者数据中心了吧
    flyqie
        2
    flyqie  
       2023-09-26 20:31:31 +08:00
    想请问下楼主是什么情况下考虑到用磁带的?

    感觉。。好麻烦而且成本很高。
    abc950309
        3
    abc950309  
    OP
       2023-09-26 20:32:45 +08:00
    @yyzh 比硬盘便宜呀,而且还带加密。LTO5 驱动现在 750 ,磁带 25 块一盘,每盘 1.5T 。
    abc950309
        4
    abc950309  
    OP
       2023-09-26 20:33:07 +08:00
    @flyqie 可以看看回复的成本,比硬盘成本低。
    vsyf
        5
    vsyf  
       2023-09-26 20:45:08 +08:00
    @yyzh #1
    视频博主那种要保存大量 4k/8k 素材的就需要。
    其他个人的话,我只能想到家里有多个监控摄像头,并且视频想存几十年这种场景了。
    bobryjosin
        6
    bobryjosin  
       2023-09-26 21:01:14 +08:00
    南方这种地方存储条件太高,维护太麻烦之前就放弃了,以后当数字仓鼠是不是要人手一台带库?哈哈。
    zhujinliang
        7
    zhujinliang  
       2023-09-26 21:22:03 +08:00
    再 3D 打印个磁带库,用步进电机做个自动加载/卸载就完美了
    rio
        8
    rio  
       2023-09-26 21:45:41 +08:00   1
    @abc950309 「 LTO5 驱动现在 750 ,磁带 25 块一盘,每盘 1.5T 。」想请问下这个价格在哪里有?一直想搞个来玩玩
    abc950309
        9
    abc950309  
    OP
       2023-09-26 21:48:55 +08:00
    @rio 直接海鲜市场就可以
    abc950309
        10
    abc950309  
    OP
       2023-09-26 21:49:26 +08:00
    @zhujinliang 有 3d 打印机,但是执行机构实在是不好做呀~~ 大佬搞过嘛~~
    tankren
        11
    tankren  
       2023-09-26 21:51:33 +08:00
    这个一般要公司才用的上吧
    Mogeko
        12
    Mogeko  
       2023-09-26 21:58:23 +08:00 via iPhone
    1.5 T 是压缩前还是压缩后的?
    abc950309
        13
    abc950309  
    OP
       2023-09-26 21:59:02 +08:00
    @Mogeko 不压缩是 1.5 ,压缩是 3 (文本的情况下)
    Atsushi
        14
    Atsushi  
       2023-09-26 22:45:34 +08:00 via Android
    厉害了 当年用的一台工作站上带个 dds 都没搞明白
    Reficul
        15
    Reficul  
       2023-09-26 23:06:35 +08:00
    磁带保存起来比较麻烦,不知道 OP 咋搞的
    MisakiOkusawa
        16
    MisakiOkusawa  
       2023-09-26 23:25:08 +08:00
    5 还是太小了 体积也是成本 感觉现在可用的至少 7 起步 我在日本这看日拍之类的地方 LTO7 的驱动器均价大概在 12-16w 日元 也就是 5k-8k 的样子 但是考虑到数据安全性可能还要每年读取一遍磁带充一下磁 最后还是搞了矿盘做冷备
    SkywalkerJi
        17
    SkywalkerJi  
       2023-09-26 23:44:28 +08:00
    磁带机买什么便宜?
    lm930129
        18
    lm930129  
       2023-09-27 08:36:25 +08:00
    @rio 我在海鲜市场看了下 ,L6 的大概是 1400-1600 这样,L5 大概是 750-800 ,磁带就没看了。有一个双 L6 驱动器的惠普 MSL2024 ,打包是 6K ,带 24 块盘的。
    sunnysab
        19
    sunnysab  
       2023-09-27 09:28:08 +08:00
    和 op 有类似的想法!目前有一台 LTO6 6250.

    暑假的时候用 Rust 重新写了一下 FreeBSD 中 mt 命令的一些实现,打算做一个磁带备份工具,见 https://github.com/sunnysab/nas-toolbox/tree/master/tape 。基于操作系统自带的磁带机驱动( sa )里的 record 、file 这些概念(功能)做的。不过由于现在接触不到磁带机,项目有很大可能烂尾了…

    我当时想解决的问题和 op 类似,比如我现在有 10T 数据,我想写入到若干 2.5T 磁带中,需要一个统一的文件管理器帮我记录文件具体在哪一盘磁带中。另外,我还想支持增量备份。

    目前遇到的问题: 不是很好判断剩余空间。比如:当前剩余 100G ,那么我 200G 的电影就写不下,但我可以找几个小文件塞进去。可实际情况下,我不知道剩余 100G (或对应的 record count ),有些头疼。

    LTFS 应该解决了这个问题?但我之前略微看了一下 LTFS 相关资料,他们有一些 index 、block 的结构,写入的时候好像不是纯线性的(现在不是很肯定),在我测试的时候写入速度很慢,比使用 tar 命令直接写差远了。

    感谢 op 做的工作,先 star 一下,有机会研究研究哈!
    abc950309
        20
    abc950309  
    OP
       2023-09-27 09:35:59 +08:00
    @sunnysab 我这边是直接写入到无法写入为止,回退失败的文件在下一个磁带写入。对于 1.5T 的磁带来讲,如果文件平均大小 10G ,最极端的场景不会浪费超过 1%。LTFS 的 index 时间点可以配置,对于这种场景,直接配置为 umount 时写入 index ,就能避免写入的时候 shoe-shining 了。
    rio
        21
    rio  
       2023-09-27 14:45:57 +08:00
    @Reficul 潮湿环境会发霉吗
    rio
        22
    rio  
       2023-09-27 14:51:16 +08:00
    @lm930129 LTO5/6 存储密度差点意思,7 的话价格就暴涨……
    akafeng
        23
    akafeng  
       2023-10-09 12:12:05 +08:00
    看完评论感觉保存似乎是个大问题?现在大容量机械价格也下来了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2663 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 33ms UTC 15:22 PVG 23:22 LAX 07:22 JFK 10:22
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86