这是一个创建于 1712 天前的主题，其中的信息可能已经有所发展或是发生改变。
我有这样一个情景：我要从服务器 A 下载一个巨大的文件夹到本地（大约 2T，文件夹中每个文件大约 10G ），但是无奈一个 IP 限速 10Mbps，所以我想要开启多个虚拟机，每个虚拟机拿不同 ip，同时对这一个文件夹进行同步，如果不对这个文件夹进行切分可以办到吗？或者有没有什么工具可以实现
 | 1 buster 2021-04-19 15:39:09 +08:00  1 rsync + 文件名正则呢 ？ |
 | 2 willis 2021-04-19 16:23:41 +08:00 按文件名或者子文件夹进行同步 |
 | 3 rationa1cuzz 2021-04-19 16:44:58 +08:00 我记得是由参数存在的就不复制，但是还是要扫描整个文件夹，你这么大估计也很慢 |
 | 4 GM 2021-04-19 16:52:37 +08:00 大文件没必要用 rsync，直接装个 nginx，然后把目录、文件名列出来，加上 IP 、端口，组装成完整网址，然后迅雷批量下载还方便一些。 |
 | &nbs; 7 ik 2021-04-19 17:34:35 +08:00 via iPhone 我能想到的也是 http 方便点， 配合 aria2 多线程拖，限速的问题可以套个 cdn，例如 cf(也许还要加一些魔法) |
 | 9 doyel 2021-04-19 17:42:29 +08:00 rsync 本身并不适合用来同步单个超大文件。。。 |
 | 10 killva4624 2021-04-19 19:19:48 +08:00 换个思路吧，服务器 A 上生成文件列表，然后切成几个文件，分发给不同的 IP 去下载（ rsync 可以从文件列表里读下载文件。） |
 | 12 herts 2021-04-20 00:13:28 +08:00 via Android 2T/10G=200 个， |
 | 13 peaceful123 2021-04-20 09:52:55 +08:00 可以先压缩再传，另外你考虑了服务器 A 的带宽限制吗，还有服务器 A 上有其它服务在运行吗，要注意不要因为带宽占满问题，影响其它服务。下载方法的话，太多了，需要考虑断点续传，因为文件太大了。 |
 | 14 jecvay 2021-04-20 10:56:29 +08:00 via iPhone |
Select Language