存超大文件用啥比较好? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
lslqtz

存超大文件用啥比较好?

  •  
  •   lslqtz Aug 20, 2017 8177 views
    This topic created in 3172 days ago, the information mentioned may be changed or developed.
    担心硬盘损坏,准备整盘备份...
    但是很多云盘之类的好像都不支持上传超大文件...
    单个镜像应该是 100-250G 左右... 有什么好的方案么
    53 replies    2017-09-09 23:29:03 +08:00
    rssf
        1
    rssf  
       Aug 20, 2017 via iPhone
    自备 nas
    wtks1
        2
    wtks1  
       Aug 20, 2017 via iPhone
    分卷压缩添加恢复纪录,然后再上传到多个网盘互为备份不就行了?
    em70
        3
    em70  
       Aug 20, 2017
    再买块 1T 硬盘,385 元
    lslqtz
        4
    lslqtz  
    OP
       Aug 20, 2017   1
    @rssf NAS 也是用的硬盘,担心有损坏风险而且成本有点高了。。
    lslqtz
        5
    lslqtz  
    OP
       Aug 20, 2017
    @wtks1 恢复记录好像没啥办法...没有足够的临时空间来再次压缩
    rssf
        6
    rssf  
       Aug 20, 2017 via iPhone
    @lslqtz 你多买几块作 raid1 不比任何网盘更保险?考虑到传输成本,硬盘真的还贵吗?
    lslqtz
        7
    lslqtz  
    OP
       Aug 20, 2017
    @rssf 传输成本可以接受... 主要还是没钱
    xinglp
        8
    xinglp  
       Aug 20, 2017 via Android   1
    为什么不用差分备份,难道隔三差五来一次镜像备份么
    lslqtz
        9
    lslqtz  
    OP
       Aug 20, 2017
    @xinglp 差分备份是不错,但我并没找到(不了解)相关备份工具...
    如果是差分备份的话,对于网盘或许工具得支持每次新增 /删除的文件(信息)都额外使用新文件保存,否则只能全部重新上传覆盖网盘里的内容...
    wevsty
        10
    wevsty  
       Aug 20, 2017   1
    不缺带宽的话可以考虑 OSS,Amazon S3 之类的服务。
    不过如果长时间的储存,或者经常需要访问的话,自己买硬盘的储存成本可能比这种服务要低很多。
    具体的情况可能要根据楼主自己的情况来核算过才知道。
    lslqtz
        11
    lslqtz  
    OP
       Aug 20, 2017
    @wevsty 具体的话,我计算过了...
    便宜是都很便宜,主要是取回贵...
    价格是这样的,用 OSS 的话:
    OSS 归档型单价:0.033 / GB / 月,外网流出流量(00:00-08:00 / 闲时):0.25 元 / GB
    存储一个月(1000G) 是 33 元,但是下载的话就要 250 元...

    用归档存储的话:
    华南(深圳)
    数据存储:0.06 元 / GB / 月,数据取回:0.06 / 元 / GB,数据传出(公网) ( 0:00-7:59 ):0.375 元 / GB
    存储一个月(1000G) 是 60 元,但是下载要 60 + 375 元...

    用 Amazon Glacier 的话:
    欧洲(伦敦)
    存储定价:$0.0045(0.027 元) / 月 / GB,检索定价(批量):$0.0026(0.0156 元) / GB,数据传出:$0.090(0.54 元) / GB
    存储一个月(1000G) 是 27 元,下载是 15.6 + 540 元...
    citydog
        12
    citydog  
       Aug 20, 2017
    自备 NAS,raid1
    Marfal
        13
    Marfal  
       Aug 20, 2017
    本地备份最靠谱
    lslqtz
        14
    lslqtz  
    OP
       Aug 20, 2017
    @citydog nas 对我没用...我硬盘全部挂在电脑上,并且并不是存储媒体文件等之类的
    而且 nas 相对于单独购置一个 htpc / 低配置机子 之类的来说成本太高
    myliyifei
        15
    myliyifei  
       Aug 20, 2017 via Android
    @wevsty glaicer
    lslqtz
        16
    lslqtz  
    OP
       Aug 20, 2017
    感觉硬盘 + HTPC / 低配置机子做 RAID 1 是最不错的解决方案...
    通过内网可以直接进行网络备份(除 C 盘),不需要临时存储的空间,千兆内网的速度也可以支撑机械所需的传输速率。
    不过并不方便,我的路由只有一个千兆 LAN 口,所以大概备份时得直连两台设备。
    mhycy
        17
    mhycy  
       Aug 20, 2017   1
    RAID1 是小钱,云备份是大钱
    配个 HTPC ?完全不需要,用 win10 的话直接 refs 双盘 raid1 就好
    wzw
        18
    wzw  
       Aug 20, 2017
    百度云 115 可以吗,这也算的话,便宜很多很多了.
    lslqtz
        19
    lslqtz  
    OP
       Aug 20, 2017
    @mhycy 挂硬盘,看着红不舒服。。
    kruskal
        20
    kruskal  
       Aug 20, 2017 via iPad
    要不是磁带机太贵,磁带也算一种选择
    hundan
        21
    hundan  
       Aug 21, 2017 via Android
    @lslqtz 其实公网流量这个可以变通一下,取出的时候去买个同地域的主机,内网取,就不花钱了,然后通过主机流量传出来
    hundan
        22
    hundan  
       Aug 21, 2017 via Android
    emmm...也不是说不花钱,得再买个服务器来着
    msg7086
        23
    msg7086  
       Aug 21, 2017   1
    "NAS 也是用的硬盘"

    震惊!云存储服务也是用的硬盘!
    lslqtz
        24
    lslqtz  
    OP
       Aug 21, 2017
    @msg7086 主要是因为云存储都有 RAID 堆着...
    lslqtz
        25
    lslqtz  
    OP
       Aug 21, 2017
    @hundan 这个也没法变动啊,耗时长还更贵...
    按流量的那些机子很多都没有这个服务吧,阿里云国际和国内内网不互通吧。
    msg7086
        26
    msg7086  
       Aug 21, 2017   3
    @lslqtz RAID 有啥用。
    RAID 卡不会挂么。
    RAID 下的硬盘不会一起挂么。
    云服务的硬盘被几千几万人艹,寿命不会比你自己家里一块偶尔用用的硬盘短么。

    真正重要的数据才需要这么高的可用性。
    如果你手里的数据都很重要,都很珍贵,还是考虑拿出一两千的预算吧。

    PS: 我还听说过家里组了盘阵结果被一只猫从顶上尿了个透的故事。
    hundan
        27
    hundan  
       Aug 21, 2017 via Android
    @lslqtz 如果是按带宽计费的话,耗时长的确是真的,更贵倒不见得。我是按照腾讯云来说的。
    RqPS6rhmP3Nyn3Tm
        28
    RqPS6rhmP3Nyn3Tm  
       Aug 21, 2017 via iPad   1
    我的 OneDrive 1T 根本没用过,存这种东西感觉很适合
    或者用对象存储,谷歌和亚马逊都有冷存储
    RqPS6rhmP3Nyn3Tm
        29
    RqPS6rhmP3Nyn3Tm  
       Aug 21, 2017 via iPad   1
    说实话,你这种需求买个 BackBlaze 最方便了
    ryd994
        30
    ryd994  
       Aug 21, 2017 via Android   1
    全盘备份也可以分卷啊
    dd offset
    lslqtz
        31
    lslqtz  
    OP
       Aug 21, 2017
    @hundan 我用 OSS 来说吧。
    1Mbps 跑起来按量好像 230,全速直接下是 250。。
    lslqtz
        32
    lslqtz  
    OP
       Aug 21, 2017
    @msg7086 我的妈...
    云存储 RAID 堆着总比我就两块好吧
    lslqtz
        33
    lslqtz  
    OP
       Aug 21, 2017
    @ryd994 分卷这个我知道...
    但分卷后还是找不到好的存储地方
    lslqtz
        34
    lslqtz  
    OP
       Aug 21, 2017
    @BXIA 好东西,谢谢推荐
    晚一点试试看
    C00001
        35
    C00001  
       Aug 21, 2017 via iPhone
    国外 gdrive 教育版,国内妖妖舞最大 115G 单文件
    sofs
        36
    sofs  
       Aug 21, 2017 via Android
    多个硬盘
    iceland
        37
    iceland  
       Aug 21, 2017
    FreeNAS + ZFS
    atan
        38
    atan  
       Aug 21, 2017
    Dropbox Plus 1T
    Famio
        39
    Famio  
       Aug 21, 2017
    楼主,我和你遇到一个同样的问题。
    我家自建了 NAS,2T 的数据,每天都会做热备,周期保留一周,一周做一次冷备,导出到另一块未上机的硬盘。
    好辛苦啊。。。
    SharkIng
        40
    SharkIng  
       Aug 21, 2017
    - 网盘弄不好哪天就不做了的风险
    - 大点的服务例如 S3 基本来说流量不可能不考虑在内,尤其是如果内容很多的话
    - 自己 NAS 还是比较靠谱的,而且速度也快,安全性来说还行,最次上个云端的冷存储备份一个也就够了
    autoxbc
        41
    autoxbc  
       Aug 21, 2017
    数据至少有两重备份,加原始版一共三份,才可称基本安全。

    这三份数据不可在同一区域,即异地容灾。

    我自己的方案是双移动硬盘+网盘。

    1. 当前项目热数据同步到坚果云;
    2. 主备 3T 移动硬盘放在家里,一个月做一次完整镜像,至少保存两个不同时期的副本;
    3. 次备 1T 移动硬盘放在别处,每三个月和主备同步一次。

    数据无价,选型不要考虑性价比。
    106npo
        42
    106npo  
       Aug 21, 2017
    GDrive 支持单文件 5 TiB,看你能不能接受这个价钱了(或者开 team 版,10 USD/mo,5 用户起步)
    ppwangs
        43
    ppwangs  
       Aug 21, 2017
    除了高清小电影,我想不到啥文件占这么大
    imn1
        44
    imn1  
       Aug 21, 2017
    不信自己信别人的典型例子

    说到底只是懒,自己不想做定期备份操作,交给别人做这事

    而已
    msg7086
        45
    msg7086  
       Aug 21, 2017   1
    @lslqtz 云存储比你本地靠谱的那些,价格也不便宜。
    GPU
        46
    GPU  
       Aug 21, 2017
    Drobo 专用与储存 没有群晖的各种乱七八糟功能, 缺点是贵 。

    并且 HTPC 如果不是用 RAID 卡而是用自带的主板 RAID 丢盘之后恢复就有点麻烦了。
    kaer
        47
    kaer  
       Aug 21, 2017
    存七牛吧,价格方便比 OSS 便宜点 又拍也行
    Leonn
        48
    Leonn  
       Aug 21, 2017
    同推荐 Google Drive,月付 10 刀就有 1T 了。
    使用 rclone 这个工具,可以实时同步、备份。
    lslqtz
        49
    lslqtz  
    OP
       Aug 21, 2017
    @imn1 说到底,不管用什么存储备份还是我自己做的吧。。
    @ppwangs 整个硬盘,大概 3 块...
    @SharkIng 网盘之类的有很多家,可以分着存...
    @GPU 用软 RAID 呢
    SharkIng
        50
    SharkIng  
       Aug 22, 2017
    @lslqtz #49 我个人不喜欢分着存,一个是需要很多帐号 (虽然我也基本上每个帐号都有)另外你电脑里需要装很多客户端。而且分着存没什么意义啊,如果要丢还是会丢一部分,最多就是说“不是全部丢了”罢了,但是你丢失的部分也许很重要呢?
    还不如两个网盘全部存完全一样的。我现在就主要用 Dropbox 和 Google Drive 存完全意义的东西,体验还行。家里有 NAS 存电影和大资源,我的网流量是要计费的所以还是存本地的好
    lslqtz
        51
    lslqtz  
    OP
       Aug 22, 2017
    @SharkIng 分着存的话更方便
    上传一会后,其它的部分分片已经上传好了,就可以让其它网盘开始离线下载了。
    SharkIng
        52
    SharkIng  
       Aug 25, 2017 via iPhone
    @lslqtz 理论可以但是实际不是,而且不是所有网盘都有离线下载的
    1265578519
        53
    1265578519  
       Sep 9, 2017   1
    百度 api 分片上传 最大支持 2TB 单文件
    About     Help     Advertise     Blog     API     FAQ     Solana     3537 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 95ms UTC 00:37 PVG 08:37 LAX 17:37 JFK 20:37
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86