tar 打包慢应该从那查问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
cncmmdwl
V2EX    程序员

tar 打包慢应该从那查问题

  •  
      cncmmdwl 2022-01-10 12:13:21 +08:00 3508 次点击
    这是一个创建于 1438 天前的主题,其中的信息可能已经有所发展或是发生改变。

    电脑是 i9-10900k ssd 是 satassd 内存 128g 使用 7z 的 tar 打包 速度只有 24mb/s 打包的文件大多数在 50mb 左右 这里面是什么导致了压缩速度瓶颈?

    18 条回复    2022-01-10 17:27:37 +08:00
    momocraft
        1
    momocraft  
       2022-01-10 12:17:10 +08:00
    如果有压缩 大概率是压缩慢
    可以试试 tar c ITEMS | pv > /dev/null 有多快
    liuidetmks
        2
    liuidetmks  
       2022-01-10 12:18:54 +08:00
    是不是文件太小 太多?
    2i2Re2PLMaDnghL
        3
    2i2Re2PLMaDnghL  
       2022-01-10 12:19:05 +08:00
    @momocraft tar 没有压缩的
    villivateur
        4
    villivateur  
       2022-01-10 12:47:15 +08:00 via Android
    大概率是磁盘 io 瓶颈了,其他配置都不差
    ReysC
        5
    ReysC  
       2022-01-10 12:59:40 +08:00
    检查 SSD 的状态,可能 SSD 本身出问题
    zhangjinghua
        6
    zhangjinghua  
       2022-01-10 13:05:12 +08:00
    肯定是先看一下资源管理器,那个东西占满了。如果还找不到,那就尝试用别的软件进行压缩测试排除软件问题,最后看一下压缩算法,或者核心数占用问题。检查硬盘 IO/内存带宽和速度。
    2i2Re2PLMaDnghL
        7
    2i2Re2PLMaDnghL  
       2022-01-10 13:08:09 +08:00
    先过一个 CrystalDiskMark 吧
    kidonng
        8
    kidonng  
       2022-01-10 14:17:51 +08:00 via Android
    试试换别的 tar 实现,比如 GNU 或者 BSD tar
    nightwitch
        9
    nightwitch  
       2022-01-10 15:38:47 +08:00
    检查下 7z 的 tar 实现是不是带有压缩
    cncmmdwl
        10
    cncmmdwl  
    OP
       2022-01-10 15:41:20 +08:00
    @2i2Re2PLMaDnghL cdm 没问题,是一块固态应该有的速度
    cncmmdwl
        11
    cncmmdwl  
    OP
       2022-01-10 15:41:50 +08:00
    @liuidetmks 文件很多,但是不小,都在 4m 以上
    felixcode
        12
    felixcode  
       2022-01-10 15:41:56 +08:00 via Android
    做个 ramdisk ,在这里面试一下,反正你内存有富余
    cncmmdwl
        13
    cncmmdwl  
    OP
       2022-01-10 15:42:22 +08:00
    @villivateur satassd 再差应该也差不到哪里去吧
    cncmmdwl
        14
    cncmmdwl  
    OP
       2022-01-10 15:44:05 +08:00
    @zhangjinghua 资源管理器占用都很低, 我是 windows 系统 别的 2345 好压好像也一样,显示打包速度都在 30m 左右
    dem0ns
        15
    dem0ns  
       2022-01-10 15:56:08 +08:00
    是不是加了-v 参数? 屏幕输出会导致运行效率变低
    2i2Re2PLMaDnghL
        16
    2i2Re2PLMaDnghL  
       2022-01-10 16:07:44 +08:00
    对了,7z 的性能基准测试过一下?(这个测试应该是不走硬盘的)
    用 resmon 看一下 7z 的等待链?(是否在等待其他东西)
    文件系统?
    试试在 WSL 里跑个 tar (鉴于你文件在 Windows 里,应该用 WSL1 避免 9p 降速)

    @nightwitch tar 文件类型本身不支持压缩
    Felldeadbird
        17
    Felldeadbird  
       2022-01-10 17:26:27 +08:00
    之前我服务器 tar 打包 一个 500M 文件,2 小时都没打包完毕。服务器是 SSD 。 后来我查了进程,原来是有一个别的进程占用了大量 IO 。

    试下排除一下?
    cncmmdwl
        18
    cncmmdwl  
    OP
       2022-01-10 17:27:37 +08:00
    @2i2Re2PLMaDnghL
    基准测试 32m 20c 66GIPS 57609kb\s 基准性能测试和 tar 应该无关吧?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5252 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 40ms UTC 05:51 PVG 13:51 LAX 21:51 JFK 00:51
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86